在大規模評價項目中，最常用的測量工具就是測驗，基於對測驗及項目的深入分析，可以對被試個體和群體的水平進行評價。作為評價工具的測驗質量直接影響結果的準確性和有效性。經典測量理論和項目反應理論對被試的評價是基於一個累加總分或能力特質分數，這個指標能夠對被試水平進行排序，但很難進行更細致的評價。
一、認知診斷評價測驗設計目標
認知診斷評價理論提出的最根本目的就是實現對被試水平更細致的分析，診斷出影響被試作答表現的內部原因，發現被試在某特質領域裏的認知發展狀態和不足之處，從而協助被試和教育者針對不足進行輔導。為此，認知診斷評價理論需要首先定義測驗測量的領域知識、加工技能、加工策略等，雷通等人（Leighton，Gierl，& Hunka，2004）將這些認知屬性及其層級結構關係叫作認知模型，強調認知模型應該在測驗項目編製之前就定義好，以指導測驗項目的編製，這樣才能保證測驗內容結構的唯一性和穩定性。
艾姆布雷孫等人（Embretson & Gorin，2001）認為過去我們在編製測驗時幾乎忽略了認知心理學的指導價值。在傳統的測驗編製中，測驗結構的定義非常模糊，測驗項目編製者也是主要憑經驗進行工作，測驗項目編製完成後，由學科領域專家進行審核，最後通過試驗性數據分析來證明測驗的效度。大多數情況下，試驗數據分析結果並不會根本改變測驗的組成及其結構。其實，一開始的測驗設計和最後得到的測驗結構之間經常是不一致的，而且研究者會更相信最後的試驗分析結果。
艾姆布雷孫等人強調認知心理學理論、方法在指導測驗編製時具有的獨特的重要性。在典型的認知心理學研究中，主試在實驗中設置和操縱各種任務條件，以檢驗關於某個結構及其加工機製的假設。在實驗中，任務特征可以係統變化以產生不同的加工難度。關鍵是，在認知心理學研究中，理論是研究者預先精細假設的，設置和操縱任務是為了驗證該理論假設是否成立，理論和任務兩者之間的邏輯關係非常嚴密。這種研究範式和傳統的測驗編製模式存在明顯的不同。