Методы экспертной оценки

В основу технологии экспертизы и критериев оценки электронных изданий и ресурсов (ЭИР) А.В. Осина положен опыт Федерального экспертного совета по учебным электронным изданиям Минобразования России, опыт проведения российских фестивалей и конкурсов CD-ROM, а также принятые в мире критерии оценки на международных мероприятиях («Milia», «Festival Audiovisuel International» и др.). В части содержательной экспертизы использовался также многолетний опыт работы Федерального экспертного совета по учебному книгоизданию Минобразования России.

В результате разработана технология, при которой ЭИР подвергается комплексной экспертизе, включающей:

техническую экспертизу;

содержательную экспертизу;

экспертизу дизайн-эргономики.

Таким образом, каждое ЭИР должны исследовать, по меньшей мере, три эксперта разных профилей (на практике по 2-3 эксперта каждого профиля, всего от 6 до 9 человек). Каждый из них заполняет соответствующий Аттестат экспертной оценки, дает оценку рассмотренных качеств продукта в баллах.

Техническая экспертиза оценивает работоспособность ЭИР на программно-технических комплексах различных (по меньшей мере, трех) конфигураций. При этом рассматриваются:

установка/удаление продукта в системе (требуемая память, вторжение в предустановки ОС, корректность автоматической установки стандартного ПО, восстановление предустановок ОС при деинсталляции, удаление собственных элементов и пр.);

функциональное тестирование (работоспособность активных зон, всех заявленных функций, логических переходов, ресурсоемкость и пр.);

качество программной реализации (поведение при провокациях, при запуске параллельных приложений, скорость отклика на запросы и пр.).

Содержательная экспертиза направлена на оценку полноты содержания в предметной области, педагогических качеств ЭИР в традиционной интерпретации. Рассматривается позиционирование издания по виду, предмету, составу материала, характеристики по сравнению с ближайшими аналогами. Аттестат содержательной экспертизы включает:

оценку объема материала и степени разработки темы (соответствие обязательному минимуму по Федеральным стандартам, актуальность, новизна, оригинальность и пр.);

оценку содержания в целом (фактографическая, идеографическая, прагматическая содержательность, фоновое культурное знание, формирование целостной картины и пр.);

педагогическую оценку (соответствие интересам преподавателя, обучаемого, организация материала, культурологическая составляющая и пр.);

методическую состоятельность продукта (оценка используемых методик, системы контроля, соответствие принципам вариативности и пр.).

Экспертиза дизайн-эргономики электронного издания отвечает на главный вопрос: эффективно ли данное издание/ресурс в электронном исполнении? Иначе говоря – нужно ли было делать электронное издание или проще и лучше было бы выпустить книгу. Основное по существу этой экспертизы – искусство разработчиков, их умение использовать новые педагогические инструменты компьютерных технологий обучения – интерактив, мультимедиа, моделинг, коммуникативность, производительность в тех или иных сочетаниях.

Аттестат экспертизы дизайн-эргономики включает оценку:

аудиовизуальных средств и моделинга (полнота использования и гармония средств мультимедиа, оригинальность и качество мультимедиа компонентов, уровень моделирующих программ и пр.);

организации интерактива (способы передачи реакций сторон, оригинальные приемы, интеграция интерактива с мультимедиа и моделингом и пр.);

эргономики, комфортности для пользователя (интуитивная ясность, дружественность, удобство навигации и пр.);

Читайте также:

Контроль знаний учащихся как основной элемент оценки качества знаний
Контроль знаний учащихся является одним из основных элементов оценки качества образования. Учителя ежедневно контролируют учебную деятельность учащихся путем устных опросов в классе и путем оценки письменных работ. Эта неформальная оценка, которая преследует чисто педагогическую цель в рамках деяте ...

Цель и задачи исследования Характеристика состава экспериментальной и контрольной группы
Наглядно-действенное мышление - форма мышления, вплетенная в реальное манипулирование предметами и обслуживающая, прежде всего практические задачи. По мере усложнения этой формы мышления происходит постепенное отделение выполняемых действий по разрешению проблемной ситуации от внешних наглядно восп ...

Анализ результатов единого государственного экзамена по математике РС
Нами был проведен анализ результатов ЕГЭ по математике выпускниками 2013 года школ Республики Саха (Якутия). В основе исследования были рассмотрены данные предыдущих результатов, итоги подводились от общего количества выпускников. Количество участников ЕГЭ по математике в Республике Саха (Якутия) з ...