題目在線更新本來並不是計算機化自適應測驗的必要功能模塊,但是隨著題目更新對題庫維護的作用越來越重要,加上CAT在數據采集方麵的獨特優勢,題目在線更新功能將成為CAT係統中具有巨大附加值的模塊。
一、題目內容更新
題庫在使用的過程中,有些題目的內容可能已經不適合新的情境了,題目的參數可能也會隨著測試總體的發展而發生變化,另外,隨著題庫使用率的提高,也需要增加新的題目。題目在線更新主要涉及兩個方麵的問題:一是題目內容更新,包括增加新題和對已有題目內容的修訂;二是題目參數的在線標定,同樣包括對新題參數的標定和對已有題目參數的重新校準。
題目內容的更新主要涉及的是計算機軟件設計技術問題,從功能上保證題目內容更新過程的可用性和便利性。
CD-CAT題目參數的在線標定與IRT-CAT的題目參數在線標定並沒有什麽本質的不同,但CD-CAT題目參數的在線標定包括了題目的測量學參數和題目屬性的在線標定,主要涉及兩個方麵的問題:一是數據的采集方式設計;二是參數的在線標定方法,兩者的目的均是為了保證題目參數標定的精確性。
二、在線標定數據采集方式設計
關於數據的采集方式,主要是考慮如何將題目分配給被試作答,包括隨機分配和自適應分配。隨機分配就是將新題目隨機分配給不同的被試,而且題目在測試過程中的位置也是隨機插入的,隨機分配完全沒有體現現代測量理論數據采集的基本要求和優勢。自適應分配就是盡量預先獲得關於題目參數的初步估計值,如通過領域命題專家標定或通過部分作答數據獲得初步估計值,然後自適應地分配給相應水平的被試,正如自適應地估計被試水平一樣,通過自適應的方式分配題目也可以節省采集的被試樣本容量。當使用部分作答數據對題目參數進行初步估計時,被試的選擇就顯得非常重要。當前研究者主要關注的是如何設計測驗以更好地診斷被試屬性掌握模式,關於如何為估計題目參數而選擇被試的研究還未受到關注,也許我們可以借鑒認知診斷計算機化自適應測驗的設計模式。在CD-CAT情境下,被試屬性掌握模式和水平可以通過舊題的施測估計出來,於是可以在這個基礎上選擇合理的被試進行測試,按照一般規律,應該選擇不同屬性掌握模式的被試,但在每單個屬性上的掌握模式應該從整體上進行平衡,當然,這種模式還需要經過實驗論證。