被試屬性掌握水平會影響其在測驗上的作答結果,同時,被試屬性掌握水平也是通過其在測驗上的作答表現反映出來的。測驗評價了哪些屬性或目標,會由測驗藍圖進行定義。在測驗藍圖的基礎上,就可以編製合適的題目組成測驗卷。對於認知診斷測驗來說,測驗題目的合適性,一方麵看它們是否測量了測驗藍圖所定義的所有目標,即要保證測驗有合理的內容效度,另一方麵要保證測驗有合理的信度。
一、關聯矩陣
在認知診斷評價理論中,測驗藍圖通過一個由二值元素組成的關聯矩陣(incidence matrix,一般稱為Q矩陣)來表示。假設測驗評價了K個屬性,共M個項目,則該矩陣為M×K階Q矩陣,該Q矩陣用1表示相應的項目測量了對應的屬性,用0表示相應的項目未測量對應的屬性。以包含6個題目3個屬性的測驗為例,其Q矩陣就可能如圖3-4所示。
圖3-4 測驗屬性Q矩陣
圖3-4表示測驗第一題測量了屬性1,沒有測量屬性2和屬性3;第四題測量了屬性1和屬性2,沒有測量屬性3;第六題測量了屬性1和屬性3,沒有測量屬性2。其他題目的解釋亦然。需要特別注意的是,某個題目可以測量所有的屬性,但絕對不會有題目沒有測量任何屬性。
二、縮減Q矩陣
測驗的每個項目可能測量了不同的屬性或屬性組合。測驗中,項目測量的屬性或屬性組合數目是有限的。假設一個測驗共測量了K個屬性,那麽,理論上可能的項目屬性組合模式就一共有2K-1種(除去未測量任何屬性的題目),如某測驗測量了6個屬性,那麽,可能的項目屬性組合模式就有26-1=63種。
然而,由於屬性之間可能存在層級關係,某些屬性必須以另外的屬性為前提,有些屬性組合就不可能存在。因此,構造一個測驗項目的可能的屬性組合模式就會減少。例如,6個屬性之間如果存在如圖3-2所示的層級關係,那麽,測量了屬性2或屬性4的題目必定測量了屬性1,而測量了屬性3的題目也必定測量了屬性2和屬性1,測量了屬性5或屬性6的題目則必定測量了屬性4和屬性1。在這種層級結構模式下,這6個屬性在構造測驗項目時,可能的項目屬性組合模式就隻有15種,這大大少於63種,如圖3-5所示。