BC/NW 2014 № 2 (25):11.1

ИССЛЕДОВАНИЕ ВОЗМОЖНОСТИ ОПТИМИЗАЦИИ АЛГОРИТМА ТЕСТИРОВАНИЯ ОБУЧАЕМЫХ НА ПРИМЕРЕ РАЗРАБОТКИ МОДУЛЕЙ ТЕСТИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ ДЛЯ ПРОГРАММНОГО КОМПЛЕКСА ДОПОЛНИТЕЛЬНОГО ОБУЧЕНИЯ СТУДЕНТОВ КАФЕДРЫ ВМСС

Кушелев И.Ю. Сокин Д.В.

(ФГБОУ ВПО  "Национальный исследовательский университет "МЭИ", Москва, Россия)

В настоящее время, в эпоху информационного общества, глобальной компьютеризации, развития технологии интернет и передачи данных все более актуальными становятся разнообразные компьютерные системы тестирования, способные дополнить или заменить традиционные методы контроля и методики преподавания. Благодаря компьютерным системам тестирования стало намного удобнее проводить тестирование во всех сферах, где применялись и применяются обычные тесты. Например, дистанционное образование, которое стало распространенным способом получения знаний.

На сегодняшний день компьютерное тестирование обладает рядом преимуществ перед традиционными методами тестирования. Оно отличается высокой оперативностью, производительностью процесса тестирования и объективностью результатов контроля знаний, так как преподаватель может провести опрос гораздо большего числа студентов за меньшее время по сравнению с обычным опросом, и позволяет проанализировать качество подготовки тестирующихся по большому кругу различных вопросов. Также компьютерные тестирования упрощают процесс адаптации содержания и сложности тестовых вопросов по отношению к уровню знаний обучаемых и предоставляют возможность самоконтроля. В отличие от бланковых систем тестирования, компьютерные тесты позволяют использовать сложные методы контроля оценки знаний учащихся, снизить финансовые и временные затраты при проведении тестирования, применять в тестах мультимедийные задания, а также повысить открытость процесса тестирования. Но наряду с достоинствами, у компьютерных тестов есть и свои недостатки: повышается вероятность случайного выбора ответа, понижается внимание на оформление решения, теряется логика рассуждения, теряется информация о процессе выполнения отдельных заданий учащимися, отношение многих людей к компьютеру не как к средству получения и контроля знаний, а как к средству развлечения.

Актуальность данной темы заключается в повсеместном использовании различных методов тестирования, с целью оценки уровня знаний представителей различных сфер деятельности. На основании этой оценки в дальнейшем может корректироваться метод оценки знаний или же вовсе меняться весь план обучения или стратегия и структура предприятия или фирмы. Для повышения качества дальнейшего обучения студента или школьника, требуется определить те знания, которыми он уже обладает, и уровень их понимания учащимся, а для этого надо выяснить уровень его знаний в определенной области.

Тестирование

Педагогическое тестирование — это форма измерения знаний учащихся, основанная на применении педагогических тестов. Она включает в себя подготовку качественных тестов, собственно проведение тестирования и последующую обработку результатов, которая даёт оценку обученности тестируемых.

Педагогический тест — это инструмент оценивания обученности учащихся, состоящий из системы тестовых заданий, стандартизованной процедуры проведения, обработки и анализа результатов.

Различают традиционные тесты, которые встречаются чаще всего из-за простоты реализации, и адаптивные, которые представляют из себя уже более серьезный вид тестирования, с более точной оценкой уровня знаний тестируемого.

Традиционный тест. Такой тест содержит список вопросов и различные варианты ответов. Каждый вопрос оценивается определенным количеством баллов. Результат традиционного теста зависит от количества вопросов, на которые был дан правильный ответ. По мнению, Аванесова В. С., традиционный тест — система заданий, предъявляемая в порядке увеличения сложности в одно и тоже время, с одинаковой системой оценивания для всех тестируемых.

Адаптивный тест – это особый вид теста, в котором каждое последующее задание выбирается в зависимости от ответов на предыдущие задания. Последовательность заданий и их количество в таком виде теста определяется динамически. Самыми значимыми преимуществами компьютерного адаптивного тестирования перед традиционным являются:

· возможность адаптации под уровень знаний тестируемого;

· экономия времени и сил за счет сокращения количества заданий без потери уровня достоверности.

Алгоритмы адаптивного тестирования

Условно адаптивное тестирование может выполняться по двум различным алгоритмам:

· Алгоритм «жесткого» адаптивного тестирования

· Алгоритм «мягкого» адаптивного тестирования

Алгоритм «жесткого» адаптивного тестирования.

Данный алгоритм основывается на формировании области незнания, т.е. вопросы будут задаваться по таким темам, с которыми пользователь не знаком, или же знает их, но довольно плохо. Таким образом, можно сказать, что пользователь будет наказываться за незнание какой-либо темы. В самом начале в область незнания входят все темы теста. По мере прохождения опроса, область может динамически меняться:

· Если пользователь верно ответит на вопрос, то тема, к которой принадлежит вопрос, будет удалена из области;

· Если пользователь ответит на вопрос лишь частично правильно или же вовсе неверно, то тема останется в области;

· Если же область пуста, то она снова заполнится всеми темами теста.

Если вопросы из области незнания закончились, то система задает вопросы из других тем.

Тестирование будет прекращено лишь в одном из следующих случаев:

· Пройден максимальный уровень сложности;

· Пользователь не сумел преодолеть минимальный уровень сложности;

· Истекло время на прохождение теста или преодоление уровня сложности;

· Исчерпан лимит вопросов.

После завершения процесса тестирования будет определен рейтинг пользователя.

Достоинства: при данном подходе практически полностью исключается удача при выборе очередного вопроса. Таким образом, пользователю недостаточно знать несколько тем, чтобы хорошо пройти тест, так как в случае верного ответа система начнет задавать вопросы из других тем, которые пользователь может не знать. А если он не знает какой-либо темы, то он может застрять на ней надолго и испортить себе оценку неправильными ответами.

Недостатки: если пользователь хорошо знаком с предметом, но несколько тем знает плохо, то система, выяснив это, будет «заваливать» пользователя, и он не сможет добиться хорошей оценки. Ситуация усугубляется тем, что если пользователю сразу попался вопрос из темы, которую он плохо знает, то он может сразу получить плохую оценку, даже если знает в совершенстве все остальные темы.

Алгоритм «мягкого» адаптивного тестирования.

Алгоритм основывается на формировании области знания, т.е. вопросы будут задаваться по тем темам, с которыми пользователь хорошо знаком. Таким образом, пользователь не будет наказываться за незнание какой-либо темы.

В самом начале в области знания находятся все темы теста. По мере прохождения опроса, область, так же как и в случае алгоритма «жесткого» адаптивного тестирования, может динамически меняться:

· Если пользователь неверно ответит на вопрос, то тема, к которой принадлежит вопрос, удалится из области;

· Если пользователь ответит на вопрос правильно или частично верно, то тема останется в области;

· Если область пуста, то она будет снова заполнена всеми темами теста.

Если вопросы из области знания закончились, то система задает вопросы из других тем.

Аналогично предыдущему алгоритму осуществляется прекращение тестирования и выставление оценки.

Достоинства: при данном подходе полностью исключается вероятность застрять на какой-нибудь теме и, следовательно, испортить себе оценку неправильными ответами.

Недостатки: если пользователь знает предмет довольно плохо или же знает всего несколько тем, то система будет «вытягивать» его и у пользователя всегда будет шанс получить хорошую оценку, даже если он ее не заслуживает. Ситуация усугубляется тем, что если пользователю сразу попался вопрос из темы, которую он знает, то он может сразу получить хорошую оценку, даже если вообще не знает все остальные темы.

Комбинированный алгоритм адаптивного тестирования.

Данный алгоритм сочетает в себе достоинства двух предыдущих алгоритмов. Пользователь не будет наказываться за незнание какой-либо темы, но и чрезмерно поощряться он тоже не будет. В данном алгоритме нет области знания и незнания – есть просто область тем, из которых выбираются вопросы.

Вначале в области находятся все темы теста. По мере прохождения опроса, область так же может динамически меняться:

· Если пользователь отвечает на вопрос неправильно и у него мало баллов, то тема, к которой принадлежит вопрос, удаляется из области;

· Если пользователь отвечает на вопрос правильно и у него много баллов, то тема, к которой принадлежит вопрос, также удаляется из области;

· Если область пуста, то она заполняется снова всеми темами теста.

Если вопросы из области тем закончились, то система задает вопросы из других тем.

Прекращение тестирования и выставление оценки осуществляется аналогично предыдущему алгоритму. Таким образом, пользователь не штрафуется, если у него мало баллов, но и не поощряется, если баллов много.

Формы и классификация тестовых заданий

Существует множество различных форм тестовых заданий, которые являются базовыми для составления тестов по любым учебным дисциплинам:

· Задания закрытой формы, в которых студенты выбирают правильный ответ из данного набора ответов к тексту задания;

· Задания открытой формы, требующие при выполнении самостоятельного формулирования ответа;

· Задание на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств;

· Задания па установление правильной последовательности, в которых от студента требуется указать порядок действий или процессов, перечисленных преподавателем.

Некоторые формы можно разделить на виды. Например, для закрытой формы можно выделить задания с двумя, тремя и большим числом выборочных ответов. Выбор формы задания зависит от целей тестирования и от содержания контролируемого материала. Предложенные четыре формы тестовых заданий являются основными, но при этом не исключается применение других, новых форм, имеющие в качестве основу одну или несколько из перечисленных.

Хотя существует и альтернативный способ классификации тестовых заданий:

Рис.1. Классификация тестовых заданий

Методы оценки ответов на тестовые задания

Методика оценивания ответов студентов должна быть проста, объективна и удобна для компьютерной обработки результатов тестирования. Для примера можно предложить две методики оценивания ответов. По первой методике за каждый правильный ответ студент получает один балл, за неправильный - ноль баллов. Возможны варианты ответов с определенной долей правильного решения вопроса. В этом случае ответу может быть присвоено дробное число баллов (от 0 до 1), а студенту предлагается выбрать из всей суммы ответов несколько, например три (из пяти-шести), которые, по его мнению, содержат правильные решения. Задание считается выполненным, если суммарное число набранных студентом баллов составляет от 0.7 до 1.

По второй методике устанавливаются четыре уровня усвоения учебного материала:

· первый уровень - запоминание;

· второй уровень - понимание;

· третий уровень - навыки;

· четвертый уровень - применение.

Соответственно четырем уровням усвоения учебного материала устанавливается четыре уровня сложности тестовых заданий.

Тестовые задания различного уровня сложности оцениваются по-разному. Например, первый уровень - 1.0 балл, второй – 1.5, третий - 2 и четвертый – 2.5 балла.