題目屬性定義一般有兩種情形:一種是在已經定義好了測量目標認知模型的情形下,有目標地命製適合不同屬性及其結構的題目;第二種情形是對於已經命製好的題目,需要事後給題目定義屬性。
一、題目屬性的事先定義
在定義好了測量目標認知模型的情形下命製題目,這應該是一個比較直接的過程。根據前麵關於測量目標認知模型定義的方法,同時結合文獻調查、專家定義對各類數據分析之後,可以得到一個關於測量目標認知模型的細致定義,包括各認知成分的定義及其結構關係的定義,而且還匹配一套關於認知成分的比較標準的示例題目。命題專家在這些信息的基礎上命製題目,隻需要嚴格按照認知模型的定義和提供的示例題目,這樣獲得的題目和屬性之間應該可以保持比較高的一致性。
二、題目屬性的事後定義和驗證
為命製好的題目事後進行屬性定義,這是一個過程。在進行題目屬性定義之前,當然也需要首先定義測驗的認知模型,測驗認知模型的定義過程和上一種情形是相同的,隻不過在當前這種情形下,題目命製和認知模型的定義是兩個獨立的過程,是事後再將兩者結合在一起的。事後題目屬性定義的方法主要有兩種:一種是專家定義法;另一種是統計推斷法。
專家定義法是領域專家參照定義的認知模型,為題目指定屬性。如果認知模型定義地足夠細致,且有參照示例題目,那麽,專家的題目屬性定義過程應該會比較有效。如果條件允許,最好能夠給領域專家提供代表性被試的作答過程原始資料,以保證屬性定義結果更加穩定有效。在專家定義法的實施過程中,針對每套題目,至少應該安排3位領域專家進行獨立屬性標定,最後對定義的結果進行一致性程度評價。如果整體一致性程度較低,那麽專家對測驗認知模型的理解可能存在歧義。如果隻是在某些題目屬性的定義上一致性程度較低,那麽就需要根據具體問題分析產生的原因,最後專家達成一致意見。