Эффективность применения инструментального программного комплекса для построения интеллектуальных тестирующих систем

В современных условиях наряду с традиционным обучением широко используется электронное. Существует большое количество разнообразных компьютерных средств обучения (КСО). Основной способ контроля знаний в КСО – тестирование. Тесты используются не только для измерения учебных достижений, но и для обучения, тренировки, повышения мотивации обучения и т.п. Тестирующие системы (ТС) входят в состав КСО и используются автономно. Модель традиционной ТС может быть представлена структурой тестирующей системы, множеством сценариев тестирования, реализованных в ТС, и множеством данных, необходимых для работы системы и генерируемых системой. Основными недостатками указанной модели являются отсутствие механизма автоматического создания тестовых заданий, «жесткая» база заданий, ограниченное число тестовых вопросов, что влечет за собой сложность индивидуализации обучения и адаптации к испытуемому. Один из путей решения этой задачи авторы данной работы видят в интеллектуализации тестирующих систем [1]. Интеллектуальными называют системы, ядром которых являются базы знаний или модель предметной области, описанные на языке представления знаний, приближенного к естественному. Применяются интеллектуальные системы для решения сложных задач, где основная сложность решения связана с использованием слабо формализованных знаний специалистов-практиков и логическая (или символьная) обработка превалирует над вычислительной. Именно в состав этой группы задач входит задача автоматической генерации тестовых заданий. В ряде работ (в т.ч. [2]) излагаются модели КСО, включающие генерацию ТЗ, но механизмы генерации при этом не рассматриваются.

На кафедре Автоматики и вычислительной техники Вологодского государственного технического университета (ВоГТУ) в течение ряда лет проводятся работы по программной реализации систем тестирования и их апробации на студенческой среде. Основными принципами построения интеллектуальных тестирующих систем ИТС являются:

автоматическая генерация на основе предложенного авторами метода (наиболее подробно изложен в [3]) произвольных множеств тестовых заданий в соответствии с заданной моделью обучения;

точная формализация порождаемых множеств вопросов путем описания их соответствующими формальными грамматиками;

автоматическое предъявление в динамике сгенерированных вопросов в соответствии с моделью тестирования.

Выделение инструментального интеллектуального программного комплекса (ИИПК) в самостоятельный модуль позволило использовать его и автономно и как компонент другой системы (тестирующей или обучающей, в том числе сетевых и Интернет версий). Обязательными элементами структуры ИИПК являются редактор грамматик, формирователь структуры теста, блок генерации вопросов по грамматикам и генератор теста. Редактор грамматик предназначен для создания и редактирования файлов с контекстно-свободными грамматиками (КСГ), добавления и удаления КСГ, пополнения списка дисциплин и т.п. Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа включаемых в конкретный тест. При определении типов заданий указываются также имена файлов, в которых записаны сформированные ранее КСГ. Блок генерации тестовых заданий решает проблему преобразования КСГ в тестовое задание и записи этого задания в выходной файл. Выходная информация может выводиться как в текстовый файл (для бланкового тестирования), так и в ТС (в этом случае тестовые задания генерируются и предъявляются в динамическом режиме).

Для количественной оценки эффективности применения ИИПК, использующей метод генерации тестовых заданий, был проведен ряд экспериментов по хронометрированию процессов тестирования. Для выяснения процентного соотношения между работами 1) по созданию теста и 2) собственно тестированию и оцениванию было составлено 360 заданий (18 вариантов по 20 вопросов) по дисциплине «Информационные технологии» представляющих собой вопросы с выбором ответа «одного из многих» или «с открытой формой ответа» и простые вычислительные задачи. Тесты выполнялись группой студентов среднетехнического факультета. Форма тестирования – бланковое Время тестирования в два раза превышает выполнение варианта теста экспертом. Качество теста удовлетворительное. Полученные результаты показывают, что затраты на подготовку тестовых заданий и формирование вариантов теста превышает 90 от общей трудоемкости (уже при составлении всего двух параллельных форм). Эксперименты по созданию заданий с помощью ИИПК (по дисциплинам «Интеллектуальные системы управления», «Метрология» и некоторым другим) подтвердили гарантированное снижение трудоемкости подготовительного этапа на 10% уже при составлении 5 параллельных вариантов тестов.

Читайте также:

Содержание и принципы полового и гигиенического воспитания
Одна из важнейших задач, которая стоит перед государством, обществом – укрепление семьи. Это особенно актуально для нашей республики, которая должна заботиться о сохранении и развитии людских ресурсов. Мы понимаем, что половое воспитание может способствовать решению проблемы роста рождаемости. Но к ...

Единственный ребёнок в семье и особенности его воспитания
Несмотря на повышение рождаемости и увеличения количества детей на детских площадках многие семьи ограничиваются одним ребенком. Некоторые родители делая выбор в пользу одного ребенка выходят из соображения о недостаточном материальном состоянии, другие, более обеспеченные – жалуются на недостаток ...

Разработка уроков по теме "Полные квадратные уравнения"
Урок-программирование по теме " Полные квадратные уравнения" (уравнения общего вида) Тип урока: изучение новой темы. Цели урока: ввести понятие полного квадратного уравнения, научить учащихся решать полные квадратные уравнения, развивать математическую речь, внимание, самостоятельность. О ...