認知診斷評價理論提出了諸多的模型，每種模型都有與之相適應的問題情境。在選擇一個合理的模型之前，首先需要分析問題情境，檢驗模型是否很好地描述了該問題情境。隻有模型和問題情境之間相互適應，基於該模型進行的數據分析和結果評價才是有效的，否則其結果就會偏離評價的目標，產生誤導。
一、作答過程真實性檢驗
在測量過程中，被試真實地表達自己的能力水平或意願，是保證測量結果和評價過程準確性的基礎。
檢驗被試作答過程是否真實的最直接的方法，就是通過客觀取證的手段，即重要的測量項目在嚴格的監控條件下進行，通過監控直接觀察被試的作答狀態。在許多情形下，通過直接查看監控以發現被試作答真實性是難以實現的，特別是當測量的對象規模非常大時，這時就需要通過能夠進行大規模篩查的方法進行甄別。當然，有些不真實作答即使通過監控也是很難辨別的，如不認真地隨機作答。
另外，可以從測量的具體過程進行分析，檢查測試過程是否能夠保證激發被試足夠的動機以盡量真實地表現自己的特質水平。首先，要看測試的目的是什麽，如果測試是用於研究的，那麽被試的行為動機可能就沒有那麽強烈，導致作答結果不能完全反映被試的真實能力水平。如果測試是用於選拔、達標等可能影響被試自身利益的，那麽就可能激發被試強烈的行為動機，從而使被試盡量真實地表現自己的能力水平。當然，對於社會傾向性測驗，其作答情形可能正好相反，即被試在作答這類測驗時，特別是當測驗結果可能會影響自身的前途時，被試往往會企圖掩蓋自己的不足，做出符合社會一般期許的反應。對於測驗目的可能給測驗數據造成不同結果的問題，我們需要謹慎地對待。我們很多時候收集數據都是用於研究的，相比用於選拔等的測驗，其結果的測量誤差一般會更大，信度也會更低，當然效度也就會受到影響。麥克丹尼爾（McDaniel）等人就通過元分析發現，麵試成績對工作績效的預測效度由於目的不同（研究目的和管理目的）而存在顯著差異。所以，用於不同目的的測驗一般不宜直接進行比較，需要首先進行必要的校正。其次，要檢查測驗施測時使用的指導語能否激發被試的作答動機，有些測驗即使是用於研究的，我們也可以通過恰當的指導語來激發被試足夠的作答動機。一般來說，除了一般需要說明的指導語之外，通過以下方法可以盡量地獲得被試的真實作答反應：①讓與被試有密切關係的人作為主試宣讀指導語並監控測試過程；②明確說明研究的意義，意義的表達必須能夠引起被試的關注，許多研究的意義可以從長遠意義和社會意義的角度進行闡述；③明確表達研究的艱巨性，以及被試的作答對研究成敗的關鍵性作用；④明確說明被試作答之後將會獲得獎賞；⑤明確說明作答結果完全保密，且絕對不用於個人評價，並親筆簽上研究者的姓名（不能打印和複印）以做出承諾。另外，檢查測試時的客觀環境是否能夠激發學生的作答動機也是非常重要的。在組織測試時，應該首先獲得與被試關係密切者的積極支持和配合，在這方麵應該花較多的時間進行溝通和商談，並得到正式的支持承諾。測試最好不要安排在被試的休閑時間，測試的過程和形式應該讓被試感覺到非常正規，還要注意測試地點的布置和安排不要影響被試正常作答。最後，要檢查是否保證了足夠的測試時間，以便被試能夠充分發揮正常水平來作答所有測驗項目。關於測驗測試的時間，首先需要有經驗的測驗編製者進行主觀估計，同時，還必須進行預測試以獲取測試真實的正常時間。