認知診斷測驗的質量評價包括對單個項目質量的評價和對測驗整體質量的評價。測驗作為評價被試素質水平的工具，無論是單個項目質量的評價還是測驗整體質量的評價，其目標均是能夠為評價被試提供穩定的、有效的信息。
一、項目質量評價
在經典測量理論和項目反應理論中，項目質量分析包括項目呈現形式的分析（如文字表述方式、提問方式、選項內容長短不一等方麵的檢查）、選項分析、難度和區分度分析等，在項目反應理論中，還可以針對測驗目標分析每個項目的信息量（測量誤差信息）等。
在認知診斷評價中，項目質量分析的內容角度與項目反應理論基本是一樣的，但認知診斷測驗項目的應用情境還是有一些關鍵的不同之處，因此在具體的項目質量分析過程中存在一些差異。
首先，在認知診斷評價中，測驗項目編製的主要目的是對被試進行診斷，而不是對被試進行排序或選拔。診斷測驗一般是低厲害測驗。因此，項目的功能主要是診斷各類被試學習不足的方麵。
其次，在認知診斷評價中，對被試的評價並不是在一個一般（general）維度上的水平測量，而是對多個子屬性的掌握狀態的評估。因此，不同項目可能測量了不同的子屬性，項目質量評價就需要考慮在不同子屬性上的測量信息。
再次，在認知診斷評價中，不同的診斷模型或方法構建差異非常大，其參數意義也存在很大的不同。因此，在用模型參數對項目質量進行評價時並不能一概而論。
最後，在認知診斷評價中，作為評價的目標——被試屬性發展狀態的表示方式也存在差異。潛分類模型將被試屬性發展狀態表示為在一係列屬性上離散的掌握模式，而連續潛特質模型則將被試屬性發展狀態表示為在一係列屬性上連續的掌握模式。被試水平的不同表示方式會影響基於被試測試數據的分析方式。