Модель адаптивного тестового контроля

Процедура тестирования предполагает анализ ответов на последовательность тестовых заданий определенной сложности. Проведем аналогию с поведением поискового алгоритма оптимизации для некоторой гипотетической функция Y, максимум которой необходимо найти. В задачах оценивания по тестированию — это максимум функции уровня знаний.

Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента и выбора очередной области исследования. Если при оценке градиента имеют место помехи, то нельзя говорить о сходимости алгоритма. В обычном смысле он сходится вообще не будет, а будет “блуждать” вокруг области экстремума.

Аналогично можно поступить в случае тестового контроля. Если ответ правильный, то предполагается, что уровень подготовки студента выше сложности предъявленной задачи и он способен решать задачи заданной сложности, в противном случае — неспособен. Это подобно оценке градиента некоторой гипотетической функции регрессии, в которой градиент сам является случайной величиной.

Предлагается использовать следующий подход. Считаем, что если тестируемый решил задание, то у него появляется желание решить более сложное задание. Если нет — то им будет сделана еще одна попытка решения задания той же сложности. Если оно также не решено, то предъявляется задача пониженной сложности. Если сразу не решено менее сложное задание, то к решению предлагается задача меньшей сложности . Аналогично происходит процесс повышения сложности заданий. В результате, если исключить этап обучения при решении задач, студент выберет для себя определенный уровень сложности, вокруг которого и будет размываться сложность заданий.

Таким образом, функция «уровня знаний» является преобразованием функции «сложности» задачи через «способность решения задач» определенной «сложности». В этом высказывании термины «уровень знаний», «способность решения задач» и «сложности» носят нечеткий характер. Поэтому для формализации этих понятий целесообразно использование аппарата нечетких множеств. Кроме того, в указанной постановке заметна разница между «сложностью» и «способностью решения задач».

Понятия «сложность» и «уровень знаний» — это некоторые нечеткие переменные (только переменные, хотя они и задаются функцией), в то время как «способность решения задач» является нечетким отношением нечетких переменных «сложности» и «уровня знаний». Количество баллов также является переменной, однако эта переменная может не анализироваться, поскольку является преобразованием «уровня знаний».

При моделировании ответов в настоящее время наиболее развит анализ IRT теории, которая использует для моделирования вероятностей правильных ответов логистическую кривую. Проведен сравнительный анализ логистического и нормального распределений. Показано, что рассматривая логистическое распределение очень хорошо аппроксимируется нормальным. В свою очередь нормальный закон является предельным случаем биномиального распределения. Этот факт можно формально интерпретировать так, что «уровень знаний» является долей решенных задач, так как число решенных из общего числа задач при заданной вероятности решения подчинено биномиальному распределению.

Далее предполагается, что сложность задания задана некоторым числовым значением, и в результате выполнена формализация процесса тестирования в виде марковской цепи, в которой вероятности переходов по сложностям определяются на основании логистической кривой. Предполагается, что ответы на задания — независимые величины. Поэтому используется однородная марковская цепь, где состояниями цепи являются меры сложности заданий. Показано, что для построенной цепи существует единственное, не зависящее от начального состояния, стационарное распределение. Найдено аналитическое решение стационарных вероятностей.

Увеличивая дискретизацию сложности, т.е. увеличивая количество состояний марковской цепи показана сходимость к непрерывному распределению. Найдено предельное распределение, которое используется для визуализации преобразований «сложности» в «знание». На практике наиболее естественны случаи, когда оценки имеют постоянную дисперсию или постоянный коэффициент вариации. Постоянный коэффициент вариации объясняется увеличением неопределенности при возрастании «уровня знаний». Постоянная дисперсия может использоваться, когда изменение уровня знаний невелико. Для постоянной дисперсии показано, что преобразование носит экспоненциальный характер. Экспоненциальная функция монотонная и большим значениям функции «уровень знаний» соответствуют большие значения плотности распределения «сложности» решаемой задачи. Соответственно максимум плотности приходится на максимум целевой функции. Для постоянного коэффициента вариации (g) показано, что преобразование описывается степенной функцией, а при g=1 функция плотности вероятности с точностью до постоянного множителя на всей области определения совпадает со средним значением функционала. Таким образом, если есть мера «сложности» задания, то определена и мера «уровня знаний» и она совпадает с плотностью распределения адаптивного алгоритма тестирования.

Это интересно:

Формирование умение самостоятельно одеваться
Занятия по формированию у ребенка навыков, позволяющих самостоятельно одеваться, чаще чем какие-либо другие, вызывают у родителей известную реакцию: "Самим сделать это гораздо легче и быстрее". Ничего неверного в этих словах нет - более того, это совершеннейшая правда! К тому же, необходи ...

Особенности психического развития умственно отсталых детей
Умственная отсталость -- это стойкое, необратимое нарушение преимущественно познавательной деятельности, а также эмоционально-волевой и поведенческой сфер, обусловленное органическим поражением коры головного мозга, имеющим диффузный характер. Большинство среди умственно отсталых составляют лица, и ...

Описание рабочего места мастера и учащегося
Помещения для учебно-мастерских, их планировка и оснащение, особенности организации и учебно-производственной деятельности учебных мастерских для различных профессий, естественно различны. Различны и конкретные конструктивные варианты организации и оснащённости учебных мастерских. Они во многом опр ...