Оценка качества тестовых заданий

Качественная – экспертная оценка в целом, дискриминтативность  дифференцированная способность заданий, валидность заданий.

Количественная - характеристика «покрытия» измеряемой области (матрица).

А – интегральная характеристика, характеризующая « покрытие « измеряемой области, должна быть не менее 20. Число УЭ должно быть в 2 -3 раза меньше числа тестовых заданий.

Контроль успешности обучения с помощью тестовых заданий

Единицей, по которой можно судить о качестве выполнения теста является существенная операция (Р). Она связана с целью проверочной процедуры и она выделяется из общего числа операций, которые нужно применить к условию теста, чтобы его решить.

Коэффициент усвоения (К) позволяет судить о завершенности процесса обучения. К= А/Р ,

где: А - число правильно выполненных операций; Р - число ущественных операций, характеризующих проверяемый уровень учащихся.

При К < 0.7 материал не усвоен, учащийся систематически делает ошибки, у него не сформирован начальный опыт.

При К > 0,7 можно говорить о сформированной деятельности учащегося.

 Для выявления уровня усвоения при промежуточном контроле Р= 20 …35, при итоговом контроле Р= 60…65. Применительно к пятибалльной системе оценивания: К=0,9 - 1,0 оценка «5», 0,8 -0,9 оценка «4», 0,7 - 0,8 оценка «3», менее 0,7 оценка «2».                  

Технология разработки тестовых заданий (дополнение)

Уровни освоения деятельности (навыков и умений)

Тесты контроля трудовых умений соответствуют их критериальным показателям:

• качество выполнения учебно-производственных работ; производительность труда учащихся;

• применение технологических знаний в при выполнении практических работ учащихся;

• владение учащимися приемами и способами выполнения учебно-производственных работ, включая контроль процесса и результатов труда;

• организация труда и рабочего места;

• соблюдение правил и норм безопасности труда, производственной санитарии и гигиены, экологических требований.

Применительно к этим критериальным показателям рассмотрим технологии тестирования качества трудового обучения.

Тестирование качества выполнения учебно-производственных работ и производительности труда.

Основным «инструментом» такого тестирования является, как правило, единый тест качества и производительности труда. Объектом проверки (тестирования) являются: выполненная полностью практическая работа В тесте указывается также заданная норма времени (выработки) на выполнение работы (ученическая для соответствующего периода обучения). Эталоном качества выполненной работы могут быть технические требования к качеству работы с необходимыми количественными параметрами: допуски на размеры, зазоры, соосность, биение, сопряжения, погрешности измерений или вычислений допуска неровности и т.п.); образец изделия, параметры работы настроенного оборудования, требования СНиП; характеристики полученного продукта (органолептические, вкусовые и др. показатели) и т.п. Эталоном производительности труда является установленная для выполнения работы норма времени или выработки.

По результатам такого тестирования дается заключение о выполненной работе: «годная-негодная», «соответствует — не соответствует», «норма времени выполнена — не выполнена». Возможны также заключения типа «дефект исправимый», «дефект неисправимый». В этих случаях после исправления дефекта работа повторно контролируется и оценивается.

Единые тесты качества и производительности труда применяются, в основном, при проведении проверочных, контрольных работ, а также при итоговой аттестации.

Пример тестов качества и производительности труда:

Вид деятельности - слесарная обработка. Объект тестирования — плоскогубцы длиной 150 мм. Норма времени на изготовление— 12 часов Эталонные требования к качеству:

1 .Размеры губок — согласно чертежу +0,3 мм

2.Припасовка шарнира — просвет равномерный, неровности — до 0,5 мм

3.Параллельность губок — допуск 0,3 мм

4.Плоскостность губок — просвет равномерный, завал — не более 0.2 мм

5.Контуры ручек — зазор по шаблону — не более 1 мм

6.Шероховатость плоских поверхностей губок — не более Ral60 мкм

7.Насечка губок — равномерная, поперечная с шагом 1 мм, глубина 1 мм.

8.Плавность хода ручек — раздвигаются «от руки», качание не допускается.

Компьютерные тесты

Создание тестов - это весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Компьютер может оказать в этом деле немалую помощь. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты так называемых авторских систем.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний обучающегося и экспертной модели.

Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для выполнения знания свойств выбранного понятия. Более сложной является разработка тестовых заданий, определяющих отношения между понятиями. Еще более глубокий уровень заданий связан с их добором, выявляющим связь понятий между отдельными модулями.

Построение компьютерных тестов можно осуществлять по следующим последовательным шагам:

1)формализация экспертной целевой модели знаний;

2)нисходящее (или снизу вверх) проектирование тестового пространства;

3)формирование и наполнение тестовых заданий;

4)формирование полного компьютерного теста;

5)тестовый эксперимент;

6)выбор эффективного теста;

Для подготовки тестов по предметной области разработаны и разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий. Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди подобных программ можно назвать «Адонис» (Москва), «Linkway» (Microsoft), «Фея» (Томск), «Радуга» (Москва) и т. п. Специализированные тестовые оболочки предназначены лишь для формирования тестов. Это «Аист» (Москва), «Inow» (Иркутск), «Тест» (Красноярск) и др.

Для того чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо уяснить, какие формы тестовых заданий они допускают.

При создании тестов важно учитывать многие обстоятельства; личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т. .п. Хорошим считается тест, если он:

• восприимчив к угадыванию тестируемым;

• восприимчив к невнимательности и ошибочным действиям тестируемого;

• положительно влияет на тестируемого и педагога, который использует тест.

Можно отметить положительные моменты внедрения информационных технологий в процесс контроля знаний: 

• усиление учебной мотивации;

• повышение качества учебного опыта и переход от пассивного обучения к активному;

• изменение институциональной культуры, особенно в отношении способности пользоваться технологиями;

• усиление способности переносить навыки;

• повышение качества преподавания.