Комп'ютеризований класифікаційний тест

Комп'ютеризо́ваний класифікаці́йний тест (ККТ, англ. computerized classification test, CCT) — це система оцінювання успішності, здійснюваного за допомогою комп'ютера з метою класифікування іспитників. Найпоширенішим ККТ є тест на засвоєння знань, у якому тест класифікує іспитників як «склав» або «провалив», але цей термін також охоплює й тести, які класифікують іспитників у понад дві категорії. Хоча цей термін можна вважати загальним для всіх комп'ютеризованих тестів для класифікування, зазвичай його застосовують до тестів, що проводяться інтерактивно або мають змінну довжину, подібно до комп'ютеризованого адаптивного тестування (КАТ). Як і КАТ, ККТ змінної довжини може досягати мети тесту (точної класифікації) із залученням меншої кількості завдань порівняно зі звичайним тестом незмінного вигляду.

Для проведення ККТ потрібні кілька складових:

1. Банк завдань, відкалібрований за обраною психометричною моделлю, визначеною розробником тесту
2. Початкова точка
3. Алгоритм вибору завдань
4. Критерій завершення та процедура оцінювання

Початкова точка не є предметом обговорення; дослідження ККТ здебільшого стосуються застосування різних методів для інших трьох складових. Примітка: Критерій завершення та процедура оцінювання відокремлені в КАТ, але є одним і тим же в ККТ, оскільки тест завершується, коли ухвалено рішення щодо класифікації. Тож для розробки КАТ потрібно визначати п'ять складових.

Вступ до ККТ представлено в Томпсона (2007)^[1] та книзі Паршалла, Спрея, Калона та Дейві (2006).^[2] Нижче наведено бібліографію опублікованих досліджень з ККТ.

Як він працює

ККТ дуже подібний до КАТ. Завдання надаються іспитникові по одному. Після відповіді іспитника на завдання комп'ютер оцінює її та визначає, чи вже можливо класифікувати іспитника. Якщо можливо, тест завершується, й іспитника класифіковано. Якщо ні, надається наступне завдання. Цей процес повторюється, доки іспитника не буде класифіковано або не буде досягнуто іншої точки завершення (усі завдання з банку завдань використані або досягнуто максимальної довжини тесту).

Психометрична модель

Для психометричної моделі ККТ доступні два підходи: класична теорія тестування (КТТ) та теорія відгуку завдання^[3] (ТВЗ, англ. item response theory, IRT). Класична теорія тестування виходить із моделі станів (англ. state model), оскільки її застосовують шляхом визначення параметрів завдань для вибірки іспитників, для яких визначено, до якої категорії вони належать. Наприклад, може бути відібрано кілька сотень «тих, хто засвоїв» та кілька сотень «тих, хто не засвоїв» для визначення складності й розрізнювальності кожного завдання, але це вимагає здатності легко встановлювати виразну множину людей, що є в кожній групі. ТВЗ, натомість, виходить із моделі рис^[4] (англ. trait model); знання або здібності, вимірювані тестом, це континуум. Класифікаційні групи потрібно буде більш-менш довільно визначити вздовж цього континууму, як-от використанням прохідного балу для розмежування тих, хто засвоїв, і тих, хто не засвоїв, але визначення параметрів завдань виходить із моделі рис.

Кожна має свої переваги й недоліки. КТТ пропонує більшу умоглядну простоту. Що важливіше, КТТ вимагає менше іспитників у вибірці для калібрування параметрів завдань, які згодом використовуватимуть у розробці ККТ, що робить її корисною для менших програм тестування. Опис ККТ на основі КТТ див. у Фріка (1992).^[5] Проте більшість ККТ використовують ТВЗ. ТВЗ пропонує вищу специфічність, але найважливішою причиною може бути те, що розробка ККТ (і КАТ) є дорогою, і, таким чином, частіше здійснюється великими програмами тестування зі значними ресурсами. Такі програми, ймовірно, використовуватимуть ТВЗ.

Початкова точка

ККТ мусить мати визначену початкову точку, щоби уможливити певні алгоритми. Якщо як критерій завершення використовують послідовний критерій співвідношення ймовірностей(інші мови) (англ. sequential probability ratio test, SPRT), він неявно виходить із початкового співвідношення 1,0 (однакова ймовірність того, що іспитник засвоїв, і що не засвоїв). Якщо ж критерій завершення ґрунтується на підході довірчого інтервалу, необхідно задати початкову точку на тета (${\displaystyle {\theta }}$). Зазвичай це 0,0, центр розподілу, але також можливо випадково обирати значення з певного розподілу, якщо параметри розподілу іспитників відомі. Крім того, можливо використовувати попередню інформацію про конкретного іспитника, наприклад, його результат, отриманий під час попереднього проходження тесту (в разі повторного складання).

Обирання завдань

У ККТ завдання обираються для надання упродовж усього тесту, на відміну від традиційного методу надання незмінного набору завдань усім іспитникам. Хоча зазвичай це роблять на рівні окремих завдань, можливе й обирання груп завдань, відомих як тестлети (Луехт і Нанґестер, 1998;^[6] Вос і Ґлас, 2000^[7]).

Методи обирання завдань поділяють на дві категорії: на основі прохідного балу, та на основі оцінки. Методи на основі прохідного балу (відомі також як послідовний вибір) максимізують інформацію, яку надає завдання на рівні прохідного балу або балів, якщо їх декілька, незалежно від кваліфікації іспитника. Методи на основі оцінки (відомі також як адаптивне обирання) максимізують інформацію на рівні поточної оцінки кваліфікації іспитника, незалежно від місця розташування прохідного балу. Обидва підходи працюють ефективно, але їхня ефективність залежить, зокрема, від критерію завершення. Оскільки послідовний критерій співвідношення ймовірностей(інші мови) оцінює ймовірності лише поблизу прохідного балу, доречніше обирання завдань на основі прохідного балу. Оскільки критерій завершення на основі довірчого інтервалу орієнтований на оцінку кваліфікації іспитника, доречніше адаптивне обирання завдань. Це пояснюється тим, що тест завершиться класифікацією, коли довірчий інтервал стане достатньо малим, щоби повністю перебувати вище або нижче прохідного балу (див. нижче). Довірчий інтервал буде меншим, якщо стандартна похибка вимірювання буде меншою, а вона, своєю чергою, буде меншою, якщо на рівні тета іспитника більше інформації.

Критерій завершення

Існує три основні критерії завершення, які зазвичай використовують для ККТ. Методи баєсової теорії рішень пропонують велику гнучкість, надаючи нескінченний вибір структур втрат/корисності та критеріїв оцінювання, але водночас вносять більшу довільність. Підхід довірчого інтервалу розраховує довірчий інтервал навколо поточної оцінки тета іспитника на кожному етапі тесту та класифікує іспитника, коли цей інтервал повністю потрапляє в область тета, що визначає класифікацію. Цей метод спочатку був відомий як адаптивне тестування на засвоєння (Kingsbury та Weiss, 1983), але він не обов'язково вимагає адаптивного обирання завдань і не обмежується ситуацією тестування на засвоєння з бінарною класифікацією. Метод послідовного критерію співвідношення ймовірностей(інші мови) (Reckase, 1983) визначає задачу класифікування як перевірку гіпотези того, що тета іспитника дорівнює заданій точці вище прохідного балу або заданій точці нижче прохідного балу.