BC/NW 2010, №1 (16): 9.1
СПОСОБЫ ОЦЕНКИ РЕЗУЛЬТАТОВ ТЕСТОВ
Калитиненков М.С., Нестеров А.П., Чертков И.А.
Филиал ГОУВПО «МЭИ(ТУ)»в г. Смоленске
При проектировании любой системы тестирования, одной из наиболее сложных проблем является корректность оценки результатов. Введем классификацию типов вопросов. «Закрытый тип» - включает в себя вопрос и варианты ответа. «Открытый тип» - включает в себя вопрос и поле для ввода ответа. «Упорядочивание» - тип вопроса, в котором предлагается упорядочить варианты по какому-либо критерию. «Соотнесение» - тип вопроса, в котором предлагается провести связи между элементами двух представленных множеств. «Расположение» - тип вопроса, в котором предлагается заполнить предложенные области некоторыми фрагментами (например, восстановить незаполненные области изображения).
При анализе возможных методов оценки для введенной ранее классификации были получены следующие алгоритмы подсчета результатов.
Закрытый тип представляет собой наиболее простой случай оценки. Находится отношение правильно отмеченных и не отмеченных вариантов к общему количеству вариантов с последующим умножением на 100%. Таким образом, мы получаем процентный эквивалент правильности ответа.
Оценка открытого типа вопроса осложняется необходимостью учитывать ввод неправильных ответов. Для этого введенные ответы поочередно просматриваются на предмет нахождения их в наборе правильных вариантов, если соответствие найдено, то данный вариант засчитывается как правильный. Затем количество правильных вариантов делится на сумму вариантов в правильном наборе и количество неправильных вариантов данных студентом и умножается на 100%. Таким образом, любые неправильные варианты, данные студентом, снижают процент правильности.
В вопросе типа «Упорядочивание» для корректной оценки нужно учитывать требуемый критерий упорядоченности. Рассмотрим три возможных случая. Во-первых, это частичная упорядоченность множества. Во-вторых, наличие правильно расположенных элементов в подмножествах исходного множества вариантов. В-третьих, имеются вопросы корректная оценка которых возможна лишь путем проверки на абсолютное совпадение.
Главным критерием правильности вопроса типа «соотнесение» является связь установленная между элементами. Причем надо учитывать как правильные, так и неправильные связи. Для оценки просматриваются все варианты набора, который предложено расставить по группам. Если все связи для данного элемента установлены, то он засчитывается, как правильный. Отношение количества правильных вариантов к общему количеству вариантов и будет эквивалентом правильности ответа.
Оценка вопроса типа «расположение» является частным случаем оценки вопроса открытого типа. Находится отношение правильно заполненных областей к их общему количеству с последующим умножением на 100%. Однако, нельзя исключать случаев, когда необходимо проверять полное совпадение с данных ответов с эталоном.
В заключение можно отметить, что для корректной оценки результата теста также необходимо учитывать сложность каждого вопроса, что легко можно реализовать с помощью коэффициента важности вопроса, но выбор значения коэффициента требует наличие опытного эксперта в тематике теста [1].
Список литературы:
1. Нестеров А.П. «Способы подсчета результатов закрытых тестов». – Информационные технологии, энергетика и экономика. Сборник трудов V межрегиональной научно-технической конференции студентов и аспирантов в 3 т. Т1 –2008г.