По результатам пробного тестирования. Анализ результатов пробного тестирования Анализ пробного тестирования по английскому языку

Анализ пробного тестирования

за 20. 01.2016г. в 11-х классах

В 11-х классах обучается 85 учеников. Из них , данный пробный тест писали 31 учеников с казахским языком обучения и 51 с русским языком обучения.

Итоги теста от 20 .01.2016 исключая пятый предмет:

класс

Кол-во учащихся

100

110

всего

писало

11а

11 ә

11б

11э

итого

11 «а» класс :

8

1.Абсаматов Ғ -38 баллов; 2. Мошқал Е-47 баллов;

3.Құмар А - 41балл; 4. Нурмуханова И - 37 баллов;

5.Хусаинов Н- 44 балла; 6. Дәурен Б - 46 баллов;

7.Ертаева М - - 44 баллов; 8. Ибуллаева Ж -34 балла

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Нурмуханова И - 3 балла);

От 4-11 баллов - 9;

От 12- 19 баллов – 3;

Выше 20 баллов -1;

Средний балл –10 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8

От 22-25 баллов -4;

Средний балл –-16,2 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов -0;

Средний балл –-14,3 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 10;

От 22-25 баллов – 0;

Средний балл –-14,6 баллов

Предмет по выбору

Физика-9 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 4;

От 12-19 баллов- 3;

Средний балл -10,6 баллаов.

География -2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -0;

Средний балл -13 баллов

Всемирная история – 2ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 2;

От 13-20 баллов – 0:

От21-25 баллов -0;

Средний балл -13 баллов

Английский язык -1

От 14-20 баллов-1;

Средний балл -19 баллов

Биология - 1 ученик

От4-12 баллов-0;

От 13-20 баллов -1;

От 21-25 баллов -1:

Средний балл -18 баллов

Әдебиет – 1

От 14-20 баллов -1;

Средний балл -18 баллов

Средний балл по классу- 52,14 баллов

11 «ә» класс :

Не набрали пороговый результат: 3

1.Есильбаева А -44 баллов; 2.Тойлыбай А – 25 баллов;

3.Кенженов К – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 0;

От 4-11 баллов - 8;

От 12- 19 баллов – 2;

Выше 20 баллов 0;

Средний балл –9,9 б

Қазақ тілі

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 6;

От 22-25 баллов -2;

Средний балл –-18,40 баллов

Қазақстан тарихы

От 0- 3 баллов -0 ;

От 4-13 баллов - 2;

От 14-21 баллов – 8;

От 22-25 баллов -0;

Средний балл –-15,7 баллов

Орыс тілі

От 0- 3 баллов 0 ;

От 4-13 баллов - 4;

От 14-21 баллов – 5;

От 22-25 баллов – 1;

Средний балл –-15,7 баллов

Предмет по выбору

Физика-1 уч-ся;

От 0- 3 баллов - 0 ;

От 4-11 баллов - 1;

От 12-19 баллов- 0;

Средний балл -4 баллаов.

География -3 ученика

От 0- 3 баллов - 0 ;

От 4-12 баллов - 1;

От 13-20 баллов – 1;

От 21-25 баллов -1;

Средний балл -13,6 баллов

Английский язык -2

От 14-20 баллов-2;

От 21-25 баллов -0;

Средний балл -17,5 баллов

Биология - 4 ученика

От4-12 балло-1;

От 13-20 баллов -3

От 21-25 баллов -0:

Средний балл -13,5 баллов

Средний балл по классу- 57,2 баллов

11 «б» класс :

Не набрали пороговый результат: 7

1. Абдрахмет А - 44 баллов; 2.Боргуль А- 43 баллов;

3. Гуляренко Е - 48 баллов; 4. Бурумбаев Т- 40 баллов;

5.Иванов А - 44 балла; 6. Кубжасарова А – 47 баллов;

7.Лигай К - 43 баллов;

Результаты по предметам:

Математика

От 0- 3 баллов - 1(Бурумбаев Т- 3б) ;

От 4-11 баллов - 11;

От12-19 баллов- 15;

От 20-25 баллов- 0;

Средний балл –12 баллов

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 4;

От 14-20 баллов-16;

От 21-25 баллов-7;

Средний балл -17,2 баллов;

История Қазақстана

От 0- 3 баллов - 0

От 4-11 баллов - 3;

От 12-20 баллов-12;

Выше 20 баллов-12;

Средний балл ---16,8 баллов;

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 2;

От 12-20 баллов -25;

Выше 20 баллов-0;

Средний балл -14,5 баллов

Пятый предмет по выбору.

Физика -11уч-ся;

От 0-3 баллов -0 ;

От 4-11 баллов - 4

От 12 -19- 7 ;

Средний балл 14 баллов ;

Биология – 4;

От4-11 баллов -0 балла;

От 12-19 баллов – 4;

Выше 20 баллов -0

Средний балл -13,75 баллов;

География -8 человек;

От 4-11 баллов -6

От 12-19 баллов –0 ;

От 20-25 баллов -2 ;

Средний балл -13,9 баллов ;

Всемирная история -1 ученика;

От13 -20 баллов – 1;

От 21-25 баллов -0;

Средний балл -20,0 баллов ;

Английский язык -3

От 4 -11 баллов-0;

От 12-19 баллов – 1:

От 20-25 баллов -2;

Средний балл -19,3 баллов ;

Средний балл по классу -57,7 баллов.

11 «э» класс :

Не набрали пороговый результат: 6

1. Абдрахманова А - 42 балла; 2. Сейпышева К - 47 баллов;

3. Нежелев В– 42 балла; 4. Калиев К – 42 балла;

5. Сәмиева Л - 46 баллов; 6. Талгатов Ж – 44 балла;

Результаты по предметам:

Математика

От 0- 3 баллов - 3(Абдрахманова А -3 б, Жибитенко М-3б, Сәмиева Л -3б);

От 4-11 баллов - 13;

От12-19 баллов-7 ;

От 20-25 баллов-0;

Средний балл –9,3 баллов

Русский язык

От 0- 3 баллов - 0

От 4-11 баллов - 1;

От 12-20 баллов -21

Выше 20 баллов-1 ;

Средний балл -15,8 баллов

История Қазақстана

От 0- 3 баллов - 0;

От 4-11 баллов - 6;

От 12-20 баллов-12;

Выше 20 баллов-5;

Средний балл ---15,5 баллов;

Қазақ тілі

От 0- 3 баллов - 0;

От 4-13 баллов - 5;

От 14-20 баллов-13

От 21-25 баллов-5;

Средний балл – 16,7 баллов;

Пятый предмет по выбору.

Физика -1 уч-ся;

От 4-11 баллов - 0;

От 12 -19- 1;

Средний балл -13 баллов ;

Биология – 5 учеников

От 0-3 баллов - 0;

От 4-11 баллов- 1;

От 12-19 баллов – 4;

От 20-25 баллов-0;

Средний балл - 11,2 баллов ;

География -5 ученика

От 4-11 баллов- 0;

От 12 -19 баллов- 5;

Средний балл - 13,4 баллов ;

Английский язык – 11

От 12-19 баллов -6;

Выше 20 баллов -5 ;

Средний балл - 18,7 баллов

Химия -1

От 12-19 баллов-1;

Средний балл - 12 баллов

Средний балл по классу- 56,4 баллов

Сранительный мониторинг по классам от 20.01.2016.

Сранительный мониторинг по результатм двух последних тестирований

Средний балл по школе составилл 55,9 баллов бех пятого предмета,что ниже предыдущего тестирования 2,1 баллов;

Количество учащихся, не набравщих пороговый результат составляет 24 учащихся, что составляет 32 % ;

Учителям –предметникам активизировать работу по анализу тестов и работы над ошибками;

Зам. дир. УВР: Кипчакбаева Л.С.

Система тестирования собирает и хранит различную информацию о самом тестировании и результатах участников. В ней доступны как итоговые результаты участников, так и их детальные ответы на каждое из заданий, а также сводная информация по тестовым заданиям, позволяющая оценить их качество. Рассмотрим как работать с результатами тестирования.

Результаты участников тестирования собираются в соответствии с анкетой персональных данных , которая была создана в системе. На основе данных, вводимых участниками тестирования, можно идентифицировать их результаты и использовать для анализа.

После получения ссылки на тест (например, http://app.startexam.com/Center/Web/kosmos) и выбора теста, участник тестирования вводит свои персональные данные в анкету и нажимает кнопку Далее .

После этого участник тестирования начинает знакомиться с вопросами и проходить тест.

Одновременно с этим инициатору тестирования уже доступна информация об участниках принимающих участие в тестировании, но без наличия результатов, т.к. тест ими еще не завершен. Администратор тестирования может посмотреть начатые сеансы тестирования, кликнув по ссылке Сеансы в центрах тестирования.

Перед Вами откроется окно с запущенными сеансами тестирования.

На этой странице доступна информация обо всех участниках, принимающих участие в тестировании. По каждому сеансу доступны следующие данные:

• Центр – название центра тестирования, под которым запущен тест
• Тест – название теста, которые решает участник
• Имя участника - фамилия, имя и отчество участника тестирования
• Дата начала сеанса тестирования
• Состояние сеанса тестирования (завершен/не завершен)
• и результаты тестирования

Как видно на изображении результаты еще недоступны, т.к. сеансы не завершены и информация по ответам участников не получена. По мере завершения сеансов их состояние будет меняться, но уже сейчас можно ознакомиться с персональными данными участников, кликнув на состояние сеанса.

Будет открыта страница с подробной информацией о сеансе участника тестирования и его персональных данных.

По мере выполнения теста участниками состояние сеансов будет меняться.

Как только участники тестирования завершат тестирование, состояние всех сеансов примет статус Завершен и результаты будут доступны в системе.

Теперь рассмотрим более подробно какие результаты собираются и какие средства для работы с ними имеются в системе тестирования. На странице с сеансами тестирования доступна следующая информация:

• Время , которое было затрачено на тестирование
• Макс - максимальный балл, который можно было набрать по тесту
• Балл – набранный участником балл
• (%) – результат участника в процентах
• Уровень , показанный участником в соответствии с созданной шкалой оценки
• Отзывы , оставленные участниками на задания, если такая опция была включена в тесте

Сеансы тестирования могут быть отфильтрованы в соответствии с Вашими предпочтениями. В системе можно вывести результаты за определенный период времени:

• последний час
• сегодня
• вчера
• на этой неделе
• на прошлой неделе
• в этом месяце
• в прошлом месяце
• в этом году
• в прошлом году
• за все время

Кроме того, можно показать нужное количество результатов на одной странице: 10, 50, 100 или все сразу.

Ненужные результаты могут быть удалены – для этого есть соответствующая кнопка Удалить , для удаления нужно предварительно отметить нужные результаты чекбоксами.

Результаты тестирования могут быть экспортированы в различные форматы:

• формат электронных таблиц Excel
• формат языка разметки XML
• результаты, упакованные в zip-архив

Результаты экспортируются в соответствии с выбранными Вами фильтрами. Если Вы выберите результаты только за неделю, то и экспортированы будут результаты, полученные на неделе. Кроме того, Вы можете отметить нужные Вам результаты для экспорта чекбоксами и только эти результаты будут представлены в выдаче.

При экспорте в Excel в таблицу будут добавлены не только результаты, но и персональная информация, указанная участником тестирования.

Результаты тестирования по определенному тесту

В системе тестирования можно посмотреть результаты тестирования как по всем тестам сразу, так и по каждому тесту в отдельности. Просмотр результатов по тестам имеет дополнительные возможности для работы с результатами.

Для просмотра результатов по определенному тесту, Вам необходимо перейти в проект и открыть вкладку Тесты .

Здесь будут доступны все тесты проекта. Возле каждого теста имеется ссылка Сеансы, нажав на которую можно посмотреть сеансы тестирования именно по этому тесту. Набор функций в целом аналогичен результатам в центрах тестирования , но имеются некоторые полезные дополнения.

Первое отличие – здесь доступен еще один вид отчетов – . В матрице ответов представлены все задания теста и ответы участников по каждому заданию.

С помощью этого вида отчета Вы можете экспортировать результаты в таблицу Excel и посмотреть на какие задания участники отвечали правильно, а где давали неправильные ответы.

По вертикальной оси представлены задания, которые входили в тест, по горизонтальной – имена участников, на пересечении представлены ответы участников. Единица означает, что участник дал правильный ответ на задание, ноль – ошибся. Если значения не будет, значит задание не попалось в окончательный набор заданий участника тестирования.

Детальные ответы участников тестирования

В сеансах тестирования по определенному тесту доступна статистика по ответам каждого участника. Для ее просмотра кликаем по состоянию сеанса тестирования.

Открывается страница с персональными данными, которые можно было посмотреть и в центрах тестирования, но здесь присутствует еще одна вкладка – Ответы .

На странице отображаются результаты ответов участника на каждое задание теста, аналогичные тем, что были представлены в матрице ответов.

Здесь можно посмотреть ответ, который дал участник тестирования на определенное задание. Например, нам хочется узнать какой вариант ответа выбрал участник на вопрос, в котором допустил ошибку. Кликаем по тесту вопроса и получаем результат.

Представлено задание теста и ошибочный вариант ответа, данный участником. Неправильно решенное задание отображается на красном фоне.

Аналогичным образом можно посмотреть задание, в котором участник ответил верно.

Оно отображается на зеленом фоне.

Статистика тестовых заданий

При детальном просмотре результатов участников тестирования доступна также статистика по каждому тестовому заданию. Кликнув по вкладке Статистика можно посмотреть информацию о задании и оценить его качество.

Здесь доступна информация о задании:

• дата создания тестового задания
• автор задания
• статус
• метод оценки

А также доступна статистика по нему:

• Кол-во результатов – количество решений задания участниками тестирования
• Выполнено – количество завершенных результатов (на задание был дан ответ)
• Пропущено – количество неоконченных результатов (на задание не был дан ответ)
• Средний балл – отношение количества правильных ответов на задание к общему количеству завершенных результатов
• Правильных ответов – процент правильных ответов на задание

Статистика тестового задания позволяет сделать вывод о его качестве. Хорошие задания должны попадать в интервал правильных ответов от 20% до 80%. Подробнее вопросы качества тестовых заданий рассмотрены на уроке Мастерство создания тестов .

Мы рассмотрели основные возможности использования результатов тестирования в системе OpenTest, которая включает в себя весь спектр процессов тестирования от создания задания до проведения тестирования и анализа результатов.

1

В статье рассматривается компьютерное тестирование как один из методов проверки знаний обучающихся. Проанализированы достоинства и недостатки тестирования и разработаны методические рекомендации для педагогов по использованию его в учебном процессе. Показана роль компьютерного тестирования как эффективного метода контроля качества подготовки обучающихся. Проведена оценка результатов контроля знаний обучающихся с учетом сложности тестов, определены критерии оценки результатов тестирования; выявлены причины наиболее часто встречающихся ошибок в тестовых заданиях; типы тестовых заданий, вызывающих наибольшие затруднения у тестируемых. Результативность тестовых методик зависит от направленности теста, грамотной компоновки типов тестовых заданий и структурированности процесса. Использование компьютерных технологий в практике педагогического тестирования позволяет не только значительно облегчить процесс интерпретации, применять единый подход к формированию тестовых заданий и оценке результатов тестирования, но и выявить достаточно точно уровень подготовленности тестируемого. Сегодня тестирование рассматривается как современная парадигма объективного оценивания учебных достижений обучающихся, что связано с широким применением компьютеров и их дидактических возможностей в системе контроля знаний.

тестовые задания

информационно-коммуникационные технологии

образовательный процесс

конструктор тестов

валидность

репрезентативность

компьютерное тестирование

1. Шевченко С.М., Тюмина Н.С. Тенденции инновационного развития общего образования / С.М. Шевченко, Н.С. Тюмина // Интеграция информационных технологий в систему профессионального обучения. Сборник статей по материалам региональной научно-практической конференции. – Нижний Новгород: НГПУ им. К. Минина, 2016. – С. 50-52.

2. Кадневский В.М. Генезис тестирования в истории отечественного образования / В.М. Кадневский. – Омск: ОмГУ, 2011. – 335 с.

3. Тюмина Н.С., Шевченко С.М. Информационные средства компьютерного тестирования / Н.С. Тюмина, С.М. Шевченко // Интеграция информационных технологий в систему профессионального и дополнительного образования сборник статей по материалам региональной научно-практической конференции. – Нижний Новгород: НГПУ им. К. Минина, 2016. – С. 174-177.

4. Ефремова Н.Ф. Тестовый контроль в образовании: учебное пособие для студентов, получающих образование по педагогическим направлениям и специальностям / Н.Ф. Ефремова. – М.: Логос, 2014. – 368 с.

5. Звонников В.И. Измерения и качество образования /В.И. Звонников. – М.: Логос, 2006. – 73 с.

6. Шевченко С.М., Тюмина Н.С. Компьютерное тестирование в образовательном процессе / С.М. Шевченко, Н.С. Тюмина // Материалы региональной н.-практ. конференции «Интеграция информационных технологий в систему дополнительного и профессионального образования». – Нижний Новгород: НГПУ им. К. Минина, 2017. – С. 55-58.

7. Чайкина Ж.В. Современные средства оценивания результатов обучения: учебно-методическое пособие / Ж.В. Чайкина. – Нижний Новгород: НГПУ им. К. Минина. – Н. Новгород, 2014. – 48 с.

8. Овчинников В.В. Оценивание учебных достижений учащихся при проведении тестирования /В.В. Овчинников. – М.: Центр тестирования МОРФ, 2011. – 27 с.

9. Симоненко В.Д. Программа «Технология.7 класс. ФГОС» [Электронный ресурс]. – URL: http://rusacademedu.ru (дата обращения: 25.01.2017).

10. Симоненко В.Д., Самородский П.С. Технология. 7 класс / под ред. В.Д. Симоненко. – М.: Вентана-Граф, 2014. – 153 с.

В Концепции модернизации российского образования задача создания независимой системы оценки качества образовательного процесса рассматривается как одна из важнейших современного образования. К важным элементам системы качества образования относится мониторинг результатов деятельности обучающихся, который должен проводиться на всех уровнях и ступенях образовательного процесса. Проблема выбора метода исследования уровня подготовки обучающихся, качества сформированных знаний, умений и навыков имеет важное значение для общего среднего образования .

Определенный вклад в решение этой проблемы в свое время внесли Френсис Гальтон, создавший тест как инструмент для мониторинга результатов обучения, Э. Торндайк и Р.Д. Фишер . Согласно современным требованиям, оцениваться должен уровень образовательных результатов обучающихся, определяемый для каждого учебного предмета в соответствии с образовательными программами и ФГОС. Одним из современных методов оценки уровня подготовки обучающихся является тестирование.

Тестирование как метод контроля позволяет получить оценку качества подготовки обучающихся, стандартизировать методику измерений и интерпретации результатов. Тестирование можно организовывать как работу обучающихся с тестом на печатной основе, так и с компьютером. Используя современные средства программирования, можно разрабатывать достаточно универсальные компьютерные тесты многоцелевого назначения. Данная форма контроля позволяет использовать различные виды наглядности, учитывать индивидуальные особенности тестируемых, автоматизировать обработку получаемых данных. Проблемой компьютерного тестирования является выбор инструментов и программ для разработки тестовых заданий.

К достоинствам этого метода относятся: технологичность исследования, возможность хранить и сравнивать результаты контроля, а также выявлять причины пробелов в обучении . Тестирование может выполнять различные функции в зависимости от этапа урока. Например, при актуализации знаний для правильного решения тестового задания обучающимся может понадобиться ранее изученный материал, таким образом, тестирование позволяет выявить «пробелы» в знаниях . Тестовые методики позволяют выделять главное в рассматриваемой теме, обратить внимание обучающихся на важные теоретические аспекты в процессе первичного закрепления материала. Тестирование предполагает реализацию как самостоятельной, так и коллективной форм работы, обсуждение наиболее трудных заданий, способствует активизации самоконтроля и рефлексии обучающихся на различных этапах урока .

Тестовые методики играют важную роль в оптимизации учебного процесса при разноуровневой подготовке класса, реализации широкого и глубокого контроля за освоением знаний обучающимися. С одной стороны, они способствуют решению проблемы индивидуализации заданий в зависимости от уровня освоения изучаемого материала обучающимся . С другой стороны, использование информационных технологий позволяет автоматизировать расчеты, организовать изучение нового материала с применением развивающих игр и программ, что, в свою очередь, способствует развитию познавательного интереса у обучающихся, развивает их информационную культуру, знакомит с современными подходами решения проблемных ситуаций на уроках.

Несомненными достоинствами тестовых методик являются: объективность получаемой оценки, «равенство» обучающихся в процессе контроля, охват значительного объема учебного материала при проверке, сравнительная легкость интерпретации результатов тестирования, экономия времени на проверку знаний. Применение компьютерного тестирования в учебном процессе способствует обобщению учебного материала, выявлению причинно-следственных связей, актуализации ранее изученных тем, развитию логического мышления при решении нетиповых тестовых заданий.

К недостаткам тестирования можно отнести: длительность и трудоемкость разработки тестов; необходимость конфиденциальности для обеспечения объективности результатов тестирования; возможность большой вероятности «угадывания» правильных ответов; необходимость устранения некорректных заданий после каждого тестирования.

Разработка тестов, по нашему мнению, предполагает выполнение следующих требований: значимость; научная достоверность; репрезентативность (наличие в тесте основных структурных элементов содержания предмета в необходимом для контроля объеме); возрастающая сложность учебного материала; вариативность в зависимости от содержания изучаемого материала и объема часов; системность содержания; валидность; комплексность и сбалансированность теста; взаимосвязь содержания и формы.

В работе представлены результаты эксперимента по оценке эффективности использования компьютерного тестирования на занятиях по технологии. Эксперимент проводился на базе МБОУ «Школа № 190» г. Нижнего Новгорода с обучающимися 7-х классов.

Апробация разработанных тестовых заданий в исследовании осуществлялась на уроках технологии в 7 «А» классе - экспериментальная группа, и 7 «Б» классе - контрольная группа. Обучающиеся 7 «А» класса проходили компьютерное тестирование, при этом в случае ошибки при ответе на конкретный вопрос они имели возможность ответить повторно на аналогичный вопрос. В 7 «Б» классе обучающимся выдавался бланковый тест, предполагающий только одну попытку ответа. Тестирование проводилось по теме «Технологии ручной обработки металлов и искусственных материалов», общее количество тестируемых - 24 мальчика (по 12 человек в каждой группе), количество тестовых заданий j =20. Для создания тестов использовалась программа Visual Studio . В работе определялось «среднее» достижение группы испытуемых (ДГ), позволяющее оценить эффективность тестирования как средства контроля знаний, валидность теста. Валидность тестовых заданий характеризуется ниже представленными показателями:

Частота выполнения j - го задания (количество правильных ответов j - го задания);

Доля правильных ответов, пропорциональная числу тестируемых;

Количество неправильных ответов j -го задания;

Индекс трудности, который определяется по формуле :

, (2)

где - количество тестируемых,

j - число тестовых заданий (j=20),

i - количество тестируемых,

Первичный балл испытуемых (дает оценку за пройденное тестирование).

Необходимо отметить, что при компьютерном тестировании в случае правильного ответа с первой попытки , при повторной попытке.

«Среднее» достижение группы испытуемых (ДГ) определялось по формуле :

Анализ полученных результатов (рисунки 1-3) позволяет сделать следующие выводы:

Тест валиден, так как индекс трудности тестовых заданий лежит в промежутке;

Имеют индекс трудности заданий, находится в пределах от 0,3 до 0,4, что свидетельствует о грамотности построения теста;

Процент угадывания находится в интервале от 0,14 до 0,25;

Эффективность тестирования как средства контроля знаний по технологии, определенная по формуле (3):

Полученные данные показывают, что при равном количестве тестируемых (12 обучающихся) «среднее» достижение класса 7 «А» выше, чем у контрольной группы 7 «Б». Во-первых, это связано с возможностью использования при компьютерном тестировании второй попытки ответа. Во-вторых, при компьютерном тестировании обучающиеся лучше понимают инструкцию и смысл вопроса в заданиях на установление соответствия, которые составляют 30 % теста. В-третьих, несмотря на то, что показатель эффективности теста лежит в интервале от 12 до 16 верно решенных заданий (рисунок 1), значительная часть обучающихся получила оценку «3». Количество обучающихся, получивших оценки «4» и «5», при компьютерном и при бланковом тестировании примерно одинаково.

Рис. 1. Сравнительный анализ оценок обучающихся экспериментальной и контрольной групп по результатам тестирования по технологии

Анализ матрицы ответов тестируемых обеих групп позволил выявить задания, вызвавшие наибольшие затруднения у обучающихся:

Задания на альтернативный ответ (воспроизведение), направленные на выявление умения рассуждать;

Задания множественного выбора (самостоятельное изучение), направленные на проверку знаний классификации токарных резцов и их назначения;

Задания на установление соответствия (самостоятельное изучение), направленные на проверку уровня знаний профессий, связанных с обработкой металла, умения соотносить элементы станков, ручных режущих инструментов, технологических операций с их названиями;

Задания множественного выбора (использование знаний при выполнении нестандартных заданий), направленные на выявление умения интерпретировать изученный материал и владения навыками соотношения элементов режущего инструмента и их буквенного обозначения.

Основными факторами, оказывающими влияние на качество выполнения тестовых заданий по теме «Технологии ручной обработки металлов и искусственных материалов», являются:

Снижение уровня самостоятельности обучающихся при работе с учебниками, в частности, такими как ;

Недостаточное количество учебников одного образца, что усложняет подготовку к тестированию;

Неумение обучающихся интерпретировать изученный материал в соответствии с тестовым вопросом;

Несформированность навыка соотносить технологические элементы и понятия с их названиями и обозначениями.

Задания в тестах были I, II и III уровней (I уровень - задания на воспроизведение знаний; II уровень - на применение знаний в нестандартной ситуации; III уровень - задания на самостоятельно освоенный материал). Следует отметить, что у обучающихся вызывали затруднения задания I и II уровней трудности (рисунок 2), что подтверждает вышеперечисленные причины наиболее частых ошибок при выполнении тестовых заданий. Анализ результатов тестирования 7 «А» класса показал, что при одинаковом количестве испытуемых общее число допущенных ошибок равно 84 (I - 29, II - 30, III - 25), в то время как у 7 «Б» класса - 97 (I - 35, II - 35, III - 27). Это связано с тем, что при компьютерном тестировании обучающиеся имели возможность повторно ответить на аналогичный вопрос, а для бланкового тестирования характерно невнимательное прочтение обучающимися инструкций по выполнению тестовых заданий и, как следствие, ошибки при ответе.

Рис. 2. Распределение тестовых заданий по уровню трудности

Наибольшее число ошибок было допущено при выполнении тестовых заданий на дополнение (рисунок 3), что свидетельствует о явных затруднениях в применении полученных знаний.

При компьютерном тестировании открытые вопросы вызвали меньше затруднений, чем при бланковом контроле, несмотря на то, что вероятность ошибки в первом случае значительно выше. Связано это с тем, что в программе ответ дается в конкретной форме и любое отличие от нее в ответе обучающегося (изменение окончания, орфографическая ошибка и т.п.) приводит к тому, что ответ не засчитывается. Индекс трудности тестовых заданий 7 «А» класса можно охарактеризовать как равномерно распределенный в отличие от результатов 7 «Б».

Основной ошибкой обучающихся при бланковом тестировании было неправильное распределение времени для выполнения заданий.

Рис.3. Распределение тестовых заданий по индексу трудности

Как правило, испытуемые в первую очередь отвечали на вопросы, не вызывающие у них сомнения, а затем приступали к остальным тестовым заданиям, пытаясь ответить на них, используя общую эрудицию и интуицию или пробуя просто угадать ответ. Это свидетельствует о том, что обучающиеся не всегда уверены в своих знаниях, умениях и навыках, полученных на учебных занятиях.

Тестирование по теме «Технологии ручной обработки металлов и искусственных материалов» можно считать эффективным, так как оно позволило выявить уровень знаний обучающихся, причины ошибок при выполнении ими тестовых заданий.

Проведение качественного анализа тестовых заданий предполагает выполнение следующих рекомендаций:

Предварительное изучение психолого-педагогических особенностей группы тестируемых;

Руководство правилом: чем больше число тестируемых, тем достовернее результаты интерпретации;

Анализ учебного материала для тестирования с учетом темпа освоения учебного материала обучающимися;

Построение тестовых заданий разного уровня сложности;

Исключение некорректных заданий после каждой апробации теста, увеличение его репрезентативности.

Необходимо учитывать, что незначительно на результаты тестирования могут влиять такие факторы, как окружающая обстановка (свет, погода, шум, температура), эмоциональное и физическое состояние тестируемых и другие. Ниже представлены особенности компьютерного тестирования как средства контроля знаний обучающихся:

1) обеспечение объективности оценки учебных достижений;

2) реализация автоматизированной статистической обработки достижений обучающихся;

3) возможность проводить проверку большого объема информации и уровня владения ею каждым испытуемым;

4) более точная шкала оценивания, состоящая из 20 делений (вопросов) в отличие от обычной, состоящей из четырех;

5) обеспечение равных условий для всех обучающихся за счет использования единой процедуры и критериев оценки, что снижает психоэмоциональные стрессы.

Таким образом, тест как инструмент проверки знаний обучающихся, основными задачами которого является контроль и обобщение изученного материала, является эффективным при организации учебного процесса. Однако следует отметить, что при решении других задач, например, творческих задач или в проектной деятельности, необходимо сочетать тесты с другими методами контроля усвоения обучающимися учебного материала, так как они не всегда позволяют в полной мере оценить умения и навыки обучающихся. В заключение следует отметить, что разработка адаптированных к личностным особенностям испытуемых программ тестирования, так называемых нетрадиционных тестов, возможна только с использованием информационных технологий.

Библиографическая ссылка

Пачурин Г.В., Тюмина Н.С., Шевченко С.М. АНАЛИЗ ТЕСТИРОВАНИЯ КАК СРЕДСТВА КОНТРОЛЯ ЗНАНИЙ ОБУЧАЮЩИХСЯ // Современные проблемы науки и образования. – 2017. – № 4.;
URL: http://science-education.ru/ru/article/view?id=26716 (дата обращения: 01.02.2020). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

тестовых результатов

Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).

Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов

Сфера применения тестов	Цель тестирования	Интерпретация результатов тестирования
Профессиональный отбор	Отбор наиболее соответствующих требованиям, со знаниями и умениями, критически важными для данной профессии	Ранжирование испытуемых по уровню профессиональной пригодности, компетентности, комплексный анализ результатов
Вступительное тестирование	Отбор наиболее подготовленных (определение проходного балла), выявление пробелов в структуре знаний	Ранжирование испытуемых по уровню подготовленности, статистическая обработка результатов
	Определение «места» в группе для каждого испытуемого в соответствии с выбранными критериями	Ранжирование испытуемых по измеряемому параметру, статистическая обработка результатов
Текущий контроль* 14 , мониторинг	Отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Анализ структуры и профиля знаний, статистическая обработка результатов
Дистанционное обучение	Стимулирование познавательной деятельности обучаемых, повышение мотивации к обучению, отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Ранжирование испытуемых по уровню подготовленности, анализ преподавателем (тьютором) структуры и профиля знаний, статистическая обработка результатов
Самостоятельное обучение (мультимедийные учебники, обучающие программы и т.п.)	Стимулирование познавательной деятельности обучаемых	Результаты тестирования испытуемые интерпретируют самостоятельно или с «подсказками» программы

Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.

При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.

Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.

Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.

Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).

Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).

Максимально возможное количество баллов в данном примере – 24.

Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.

При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).

Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.

Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.

Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.

Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.

Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.

Термин профиль знаний , которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).

Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов

№№ вариантов теста

Оценки за тестовые задания по разделам дисциплины (в пределах каждого раздела задания расположены в порядке возрастания их трудности)

Раздел 1

Раздел 2

Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний

№№ вариантов теста

Оценки за тестовые задания (задания расположены в порядке возрастания их трудности: №1 /самое легкое/  №10 /самое трудное/)

Суммарный балл по тесту

Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.

Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний .

Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.

Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы .* 15 В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.

Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.

К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).

Самостоятельная работа . Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.

Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.

В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».

Анализ результатов пробного тестирования гимназии № 1

2011-2012 учебный год

6.10 2011 года в гимназии проведено третье пробное тестирование, целью которого является адаптация учащихся к проведению ЕНТ, их информированности о технологии тестирования, контроля за качеством знаний и подготовки к ЕНТ.

Тестирование учащихся проведено по тестам НГЦТО КЭУ, результаты следующие

Всего в тестировании принимало участие 45 выпускников (из 49), т. е. 93 % учащихся.

100 и более баллов набрали 4 учащихся

Из результатов видно, что по сравнению с прошлым тестированием средний балл ниже на 2 ,8 балла. Учащиеся сидели по одному, сумки и сотовые телефоны убраны на последней парте, условия тестирования приближенные к условиям ЕНТ. Из предварительных результатов можно ожидать в этом году низкие результаты, поэтому необходимо активизировать подготовку к ЕНТ, использовать различные формы и методы работы.

Мониторинг результатов тестирований

Из диаграммы видно, что результаты нестабильные, ниже чем в прошлом году, однако наблюдается рост результатов в течение нескольких тестирований в этом году.

Результаты по сравнению с 1 тестирование несколько выше.

Результаты по математике повысились.

По всеобщей истории сдают 4 учащихся. результаты ниже, чем в прошлом году. Самое низкое качество знание по физике и математике. Плохо сдали на этом тестировании биологию.

Претендент на Алтын Белги первый раз подтвердила все пятерки.

Мониторинг тестирований претендентов на аттестат с отличием и Алтын Белги.

Фамилия

Русский язык р

История Казахстана

Математика

каз яз с рус яз

всего баллов

Фамилия

Русский

История Казахстана

Математика

каз яз с рус яз

предмет по выбору

всего баллов

наимен. пред.

Давлетшина

Абдрахметова

Кукетаева

Укубаева

Из результатов видно, что только имеет одну 4, остальные претенденты имеют тройки. Необходимо организовать индивидуальную работу с отличниками по подготовке к ЕНТ.

Пока никто не подтверждает все пятерки, плохие результаты по биологии, истории, математике.

1.Самые низкие результаты по физике, математике и истории Казахстана, высокие по англ. яз, каз. яз. Двоек нет. В этом учебном году 4 претендентов на аттестат с отличаем и 1 претендент Алтын белги все пятерки набрала только

2. Сравнительные результаты тестирования показывают нестабильность, рекомендовано всем преподавателям подготовить мониторинг индивидуальных результатов по пробным тестированиям.

3. Учителям–предметникам составить планы работы со слабоуспевающими и отличниками.

4. Классным руководителям проводить родительские собрания по субботам, пригласить родителей учащихся которые не набирают пороговый уровень поступления в ВУЗы.