Стандартизация (А. Анастази) - это "единообразие процедуры проведения и оценки выполнения теста". Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
Этапы стандартизации
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
- 1) условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
- 2) Содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.). Например, в тесте "10 слов" каждое слово должно предъявляться через определенный интервал времени в секундах.
- 3) Наличие стандартного стимульного материала. Например, достоверность полученных результатов существенно зависит от того, предлагаются ли респонденту изготовленные самодельные карты Г. Роршаха или стандартные - с определенной цветовой гаммой и цветовыми оттенками.
- 4) Временные ограничения выполнения данного теста. Например, для выполнения теста Равена взрослому респонденту дается 20 минут.
- 5) Стандартный бланк для выполнения данного теста. Использование стандартного бланка облегчает процедуру обработки.
- 6) Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
- 7) Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка "правильного ответа" и др.
- 8) Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации. Например, если респондент уже выполнял тест Равена, то, скорее всего, не стоит предлагать ему его во второй раз.
Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интер-претации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста (например, в тестах интеллекта), пола и т.д. (см. ниже).
Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.
Нормы разрабатываются для различных возрастов, профессий, полов и др. Вот некоторые из существующих видов норм:
Школьные нормы разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.
Профессиональные нормы устанавливаются на основе тестов для разных профессиональных групп (например, механиков разного про-филя, машинисток и др.).
Локальные нормы устанавливаются и применяются для узких кате-го-рий людей, отличающихся наличием общего признака возраста, пола, географического района, социо-экономического статуса и др. Например, для теста Векслера на интеллект нормы ограничены возрастными рамками.
Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходимость таких норм определяется конкретной культурой, моральными требованиями и традициями каждой нации.
Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.
Существуют требования к проведению эксперимента:
- 1. Инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
- 2. Ни одному испытуемому не следует давать никаких преимуществ перед другими;
- 3. В процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
- 4. Эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
- 5. Временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и так далее.
Всякая норма обычно со временем изменяется вместе с естественными изменениями, которые с годами происходят в психологии людей, поэтому есть правило, согласно которому нормы теста, особенно интеллектуального, должны пересматриваться, как минимум один раз в пять лет.
Для выполнения статистической нормы применяются приемы математической статистики х (х - среднее арифметическое, - станд. отклонения). Х 5
Процентиль - это процентная доля индивидов из выборки стандартизации.
Под руководством Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает независимый от результатов испытания, объективно заданный социально-психологический норматив. Он реализуется в совокупности заданий составляющих тест. Сам тест в полном его объеме и является таким нормативом.
При разработке и применении любой точки отсчета следует обратить внимание на выборку испытуемых. В математической статистике различают генеральную совокупность (популяция) и выборку. Всякая большая совокупность людей относительно которой мы собираемся делать выводы называется генеральной совокупностью.
Выборка - это часть, или подмножество, совокупности. Проводить исследования для популяции не принято. Обычно из нее выделяется группа людей - выборка стандартизации, которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер выборка должна быть репрезентативна, представительна для рассматриваемой популяции, то есть ее вероятные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.
Один из способов обеспечения репрезентативности выборки является ограничение популяции (пол, возраст, профессия, здоровье, социально-эконом. статус и др.). Такая популяция определяется как специфическая.
- 1. Отбор испытуемых в выборку стандартизации
- 2. Определение популяции с выделением в ее структуре переменных значимых, малозначимых (возраст, пол)
- 3. Популяция делится на части в зависимости от значимых переменных.
- 4. Испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Минимальный порог выборки - 200 человек.
Статистическая норма - критерий, по которому проводят сравнение результатов диагностических методик.
Возрастная норма - как показатель, который появляется в тестах Бене-Симона (норма - сделать все задания).
Внешний критерий - критерий выполнения.
Процентиль - это процентная доля индивидов из выборки стандартизации, первичный результат которому ниже данного первичного показателя. Процентили указывают на относительное положение индивида в выборке стандартизации. Чем ниже процентиль, тем хуже позиция индивида. Процентили нельзя смешивать с обычными процентными показателями, которые являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль - это производный показатель, указывающий на долю от общего числа членов группы.
стандартизация надёжность валидность тесты
Страница 1
Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос - необходимое условие работы. Поэтому первым шагом будет формулирование цели будущего теста. После этого следует обратиться к разработке спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в котором по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали - их манифестации, или пути, по которым содержательные области могут проявляться.
Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выделение различных форм их реализации.
В каждом задании может быть задан только один вопрос или сформулировано одно утверждение. Нельзя допускать появления заданий, в которых присутствует формулировки типа: "для этого человека и других людей", "как и другие" и тому подобное. Каждое задание (вопрос) должен быть предельно просто и ясно. Необходимо избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов. В то же время необходимо стремиться к тому, чтобы обследуемые не могли догадываться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на выраженность у себя этой черты, а не реальное положение дел.
Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.
Везде, где только можно, следует избегать употребления таких слов, как "часто", "редко" и тому подобное. Иначе говоря, в формулировке заданий нужно очень осторожно прибегать к словам, указывающим на частоту действий. Также следует избегать терминов, выражающих чувства. Лучше представить задание в контексте поведения.
Очень важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.
После разработки всех заданий к ним следует вернуться через некоторое время и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого требуется привлечь хотя бы двух-трех экспертов. В личностных опросниках, как правило, используются три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Весьма популярны задания с альтернативным выбором (дихотомические), которые просты для понимания, легки и удобны для обработки. Это задание требует наименьшего времени на ответы. К их недостатком относится то, что обследуемые часто не удовлетворены предполагаемой альтернативой, хотели бы видеть больше вариантов ответа. Задания трихотомитрические (три варианта ответа, например "да", "не знаю", "нет") также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точно выразить себя, нежели в случае альтернативы.
Какие-либо правила, определяющие количество вариантов выбора ответа, отсутствуют. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговые шкалы. Важно обеспечить достаточное количество градаций ответа, с тем, чтобы обследуемые были в состоянии адекватно выразить самих себя. Следует помнить о том, что в разрабатываемом опроснике желательно использовать только один тип заданий.
Разработчикам тестов хорошо известно, что от оформления, формы представления методики, что определяется как ее очевидная (лицевая) валидность, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок основной информации, который включает в себя его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. Обязательно указывается дата заполнения опросника.
Инструкция должна быть ясной, доступной для понимания. В ней должно быть указано, как выбрать ответ и каким образом отмечать его в отроснике. Здесь же содержится дополнительная информация, которую разработчик считает необходимым сообщить обследуемому.
Для компоновки текста опросника следует руководствоваться такими рекомендациями.
а) Нумеруется каждое задание.
б) Каждая строка на странице болжна быть короткой и содержать не более 10-12 слов.
в) Все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы.
Ранняя юность
Юность не так давно выделилась в самостоятельный период жизни человека, исторически относясь к «переходному этапу» возмужания, взросления. Если у животных наступление взрослости достаточно тесно связано с возможностью самостоятельного существования и произведения потомства, то в человеческом обществе критерием взросления становится не п...
Возможные признаки пограничного расстройства личности
При предъявлении проблем и симптомов:
1) разнообразный набор проблем и симптомов, которые могут меняться каждую неделю;
2) необычные симптомы или необычные комбинации симптомов;
3) интенсивные эмоциональные реакции, которые непропорциональны ситуации;
4) саморазрушительное поведение и склонность наказывать себя;
5) импульсивное, пл...
Социальный интеллект
Социальный интеллект рассматривает интеллект как проявление социально-полезной адаптации. Подобное определение интеллекта имеет давнюю традицию. В. Штерн давал определение интеллекта как "некоторую общую способность к новым жизненным условиям". Приспособительный акт - решение жизненной задачи с помощью интеллекта - осуществляе...
Преподаватель в своей работе не всегда пользуется готовыми тестами по ряду причин, одной из главных среди них является простое отсутствие качественно составленных тестов различного вида. Поэтому часто преподавателю необходимо самому разрабатывать те или иные тесты, а в связи с этим владеть методикой их составления. Остановимся на некоторых ее моментах.
Необходимо знать, что создание стандартизированных тестов - это длительный и кропотливый процесс. Внедрению тестов предшествует предварительная работа по их составлению и апробации. При разработке тестов выделяют три составные части: теоретическую, практическую и экспериментальную (рис.3.1.).
Теоретическая часть работы включает изучение литературы, на базе которой осуществляется разработка тестов, содержания и требований программ, учебников. Здесь определяется структура тестов, характерные их особенности, признаки, качественные показатели, выделяются те методы математической статистики, которые потребуются в экспериментальной части.
В ходе реализации практического этапа осуществляется изложение инструкций для тестируемого и лица, проводящего тестирование, составление тестовых заданий и ответов к ним. Важное место при этом уделяется поэлементному структурно-функциональному анализу учебного материала. В результате выделяются элементы знаний, умений и навыков, которые необходимы для овладения учебным материалом и имеют наибольшую применимость. Таким образом, тесты строятся на основе включения в них основных смысловых частей содержания обучения, то есть необходимых понятий, определений, фактов, операций, алгоритмов. При этом учитывается степень сформированности у учеников различных мыслительных операций (анализ, синтез, конкретизация, обобщение, сравнение и т.д.), исходя из возрастных особенностей испытуемых. Значительное внимание уделяется специфике и характеру типичных ошибок тестируемых, на основе чего составляются варианты ответов к тестовым заданиям.
В процессе практического этапа разработки тестов происходит первоначальная прикидка шкалы оценок, рассматривается механизм перевода количества баллов в результирующую оценку.
На практическом этапе разрабатываются также инструкции для учителя и тестируемых, бланки ответов.
Таблица 3.1. Технология проектирования дидактических тестов
|
Теоретический этап |
Практический этап |
Экспериментальный этап |
|
||
|
||
|
||
|
На основе теоретического и практического этапов строится экспериментальный этап разработки тестов. Здесь оценивается качество содержания тестов, проверяется соответствие заданий требованиям тестовой формы, выявляются статистические характеристики разработанных тестов, делаются выводы о пригодности тестов для намеченных целей.
На экспериментальном этапе разработки теста часто приходится возвращаться к предшествующим этапам, поэтому все три этапа - теоретический, практический и экспериментальный - тесно связаны между собой и оказывают друг на друга определенное влияние (см. рис.3.1.).
Более детально технология разработки дидактических тестов представлена в таблице 3.1.
Создание тестов - это длительный процесс, требующий работы коллектива специалистов (методистов, психологов, статистов и т.д.), и в то же время востребованность тестов, разработанных учителями-практиками для отдельно взятого класса, школы достаточно высока. В связи с этим учителю целесообразно при разработке тестов придерживаться нижеприведенных рекомендаций.
Памятка преподавателю по разработке теста
Определите цели тестирования.
Выделите знания, умения, навыки, определяемые программой и дающие информацию об уровне усвоения рассматриваемой темы или раздела.
Определите виды тестовых заданий, соответствующие выделенным знаниям, умениям и навыкам.
4. Спрогнозируйте или выделите трудности объективные (учебные) и субъективные (психологические и методические) и выявите типичные ошибки обучаемых при изучении темы, проанализируйте причины их возникновения. Используйте эту работу для составления дистракторов к тестовым заданиям.
Разработайте набор тестовых заданий для усвоения темы.
Проведите экспертизу тестовых заданий, предложив своим коллегам высказать свое мнение о тесте.
Проведите при необходимости корректировку тестовых заданий.
Разработайте критерии оценки, методику обработки результатов, постройте соответствующую шкалу по переводу тестового балла в оценку школьной успеваемости.
Разработайте инструкцию для преподавателя и инструкцию для учащихся по работе с тестом.
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап
стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1. условия тестирования (помещение, освещение и др. внешние факторы).
3. Наличие стандартного стимульного материала. Временные ограничения выполнения данного теста. Стандартный бланк для выполнения, данного теста. Использование стандартного бланка облегчает процедуру обработки.
4. Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
5. Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка «правильного ответа» и др.
6. Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации.
7. Второй этап
стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и стандартной предварительной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста
8. Третий этап
стандартизации психологического теста состоит в определении норм выполнения теста .
Нормы разрабатываются для различных возрастов, профессий, полов и др.
Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.
Нормы необходимы при интерпретации тестовых результатов (первичных показателей) в качестве эталона, с которым сравниваются результаты тестирования.
На этапе создания теста формируется некоторая группа испытуемых, на которой проводится данный тест. Средний результат выполнения этого теста в данной группе принято считать нормой. Средний результат – это не единственное число, а диапазон значений. Существуют определенные правила формирования такой группы испытуемых, или, как ее иначе называют, выборки стандартизации.
Правила формирования выборки стандартизации:
1. выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест,
2. выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т.д.,
Распределение результатов, полученных при тестировании испытуемых выборки стандартизации, можно изобразить с помощью графика – кривой нормального распределения.
Этот график показывает, какие значения первичных показателей входят в зону средних значений (в зону нормы), а какие выше и ниже нормы.
Производные показатели получаются путем математической обработки первичных показателей.
Первичные показатели по разным тестам нельзя сравнивать между собой по причине того, что тесты имеют различное внутреннее строение
Важно помнить, что, как писала А.Анастази, «Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась. Применительно к психологическим тестам они (нормы) никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации»
Клинические задачи
Задача 1 На приеме у врача больной в ясном сознании, правильно ориентирован в окружающей обстановке и собственной личности. Рассказывает, что уже около года ощущает на себе постороннее влияние. Предполагает, что с ним "работает какая-то организация", члены которой с помощью «телепатических аппаратов» действуют на его мысли, чув...
Методология психологии
Задачи социальной психологии: 1) исследование проблем социальной психологии, которые взаимодействуют с другими науками; 2) необходимость пересмотра социально-психологических проблем в связи с произошедшими социальными изменениями в нашей стране; 3) исследование этнических, экономических, классовых, политических, идеологических явлений; 4 ...
Признаки самоактуализирующейся личности
Маслоу отмечает, что нехватка благ, блокада базовых и физиологических потребностей в еде, отдыхе, безопасности приводит к тому, что эти потребности могут стать для обычного человека ведущими ("Человек может жить хлебом единым, когда не хватает хлеба"). Но если базовые, первичные потребности удовлетворены, то у человека проявляю...
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1. условия тестирования (помещение, освещение и др.
Внешние факторы). Очевидно, что объем кратковременной памяти (тест Векслера) лучше измерять, когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
3. Наличие стандартного стимульного материала.
4. Временные ограничения выполнения данного теста.
5. Стандартный бланк для выполнения данного теста, что облегчает процедуру обработки.
6. Учет влияния ситуационных переменных на процесс и результат тестирования (состояние испытуемого, внешние факторы, прерывание процедуры тестирования).
7. Учет влияния поведения диагноста на процесс и результата тестирования. Например, одобрительно – поощряющее поведение экспериментатора во время тестирования может восприниматься как подсказка правильного ответа.
8. Учет влияния опыта респондента в тестировании.
Второй этап стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста, пола.
Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.
Репрезентативность – понимается как характеристика качества психодиагностической процедуры.
Репрезентативная выборка – выборка, которая по основным параметрам соответствует генеральной совокупности.
Репрезентативность выборки можно проверить, сравнив между собой два распределения, полученных для двух случайных половин выборки стандартизации (та выборка, на которой определяются статистические нормы).
Генеральная совокупность – всякая большая (конечная или бесконечная) совокупность предметов (признаков), которые мы хотим обследовать, или относительно которых мы собираемся сделать выводы.
Выборка – часть генеральной совокупности, которая может быть обследована на практике и которая отвечает характеристикам генеральной совокупности.
Классификация выборок:
Репрезентативная – выборка, которая отражает адекватно всю генеральную совокупность в качественном и количественном отношении / нерепрезентативная;
Большая (более 200), средняя (менее 200) и малая (менее 19);
Случайная и неслучайная выборка.
Еще по теме Этапы стандартизации:
- 93. Менеджмент в здравоохранении. Управленческий цикл (этапы). Управленческое решение (степени, требования). Проведения контроля (виды).
- 10. Основные задачи, стадиииэтапы конструкторской подгот.
- 2. Основные этапы развития науки об организации производства.
- 5. Достоинства и недостатки психодиагностики на современном этапе в России.
- Достоинства и недостатки психодиагностики на современном этапе в России.
- Этапы и методика становления и развития воспитательной системы, критерии оценки
- Методика обучения биологии на современном этапе развития отечественного образования и ее особенности.
- 44. Сущность педагогической технологии. Задачная природа педагогической технологии. Этапы развития педагогической задачи.
- Понятие, цель и процедура стандартизации в профессиональном образовании. Общероссийская система оценки качества образования (ОСОКО).
