Основные этапы конструирования теста.

1.Формулирование цели будущего теста.Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять.

2. Разработка спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали — их манифестации, или пути, по которым содержательные области могут проявляться. При спецификации манифестаций важно обеспечить выделение различных форм их реализации .

Обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий часто приводит к созданию слишком узкого опросника, а большее может сделать обременительным процесс конструирования опросника. В итоге получается своего рода решетка, количество ячеек в которой будет равно количеству планируемых для изучения параметров, умноженному на количество их поведенческих манифестаций. При разработке опросников обычно считают, что решетка размером от 16 до25 ячеек (например, 4x4,4x5,5x4 или 5x5) считается идеальной для той длинытеста, который вполне реально сконструировать, предъявить и обработать.

Далее необходимо определить, сколько заданий, например вопросов, должно быть создано для каждой из ячеек. При решении этой задачи следует руководствоваться тем, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими.

Следующий шаг состоит в том, чтобы решить, какое количество заданий должно быть включено в тест. При этом необходимо учитывать такие факторы, как размер решетки и время, предполагаемое для выполнения заданий. Хорошо известно, что в определении количества заданий перед исследователем возникает дилемма: обеспечение, с одной стороны, надежности теста, что требует увеличения заданий, а с другой стороны — минимизация количества заданий для обеспечения эффективной работы испытуемого с ними, подразумевающей прежде всего поддержание концентрации внимания в ходе обследования. Так, для достижения удовлетворительной надежности опросника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Наконец, важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. Обычно при проводимом разработчиками пилотажном исследовании количество заданий предварительного варианта теста должно быть по крайней мере на 50 % больше числа тех, которые будут включены в окончательную версию.

Далее необходимо определить сколько заданий должно быть разработано для каждой ячейки. Для этого умножают общее число заданий, предназначенных для измерения некоторого свойства личности, на процентный вес его поведенческих проявлений.

Разработка заданий.

Предъявляемые требования при формулировании заданий:

· может быть задан только один вопрос или сформулировано одно утверждение;

· Нельзя допускать появления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей», «как и другие» и т. п.

· Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто, необходимо избегать двусмысленных формулировок.

· Необходимо стремиться к тому, чтобы обследуемые не могли догадаться о том, для измерения какой черты предназначено то или иное задание.

· Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.

· Везде, где только возможно, следует избегать употребления таких слов, как «часто», «редко» и т. п.

· Следует избегать терминов, выражающих чувства, лучше представить задание в контексте поведения.

· Очень важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный.

В личностных опросниках, как правило, используют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами.

Весьма популярны задания с альтернативным выбором (дихотомические), которые просты для понимания, легки и удобны для обработки. Эти задания требуют наименьшего времени для ответа. К их недостатком относится то, что обследуемые часто не удовлетворены предлагаемой альтернативой, хотели бы видеть больше вариантов ответа.

Задания трихотомические (три варианта ответа, например «да», «не знаю», «нет») также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точно выразить себя, нежели в случае альтернативы. Недостаток применения более двух вариантов ответов заключается в том, что могут актуализироваться установки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю», «иногда» и т. п.

Какие-либо правила, определяющие количество вариантов выбора ответа, отсутствуют. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговые шкалы. Важно обеспечить достаточное количество градаций ответа, с тем чтобы обследуемые были в состоянии адекватно выразить самих себя.

В разрабатываемом опроснике желательно использовать только один тип заданий.

Основные проблемы, возникающие при разработке заданий личностных опросников, касаются актуализации факторов, имеющих установочную природу.

Установка на согласие может быть преодолена с помощью введения так называемых обратных заданий, причем их количество должно быть равно или почти равно числу «прямых» заданий. Например, утверждение «Я удовлетворен отношениями с моей матерью» может быть дополнено обратным — «Я не удовлетворен отношениями с моей матерью». При введении обратных заданий необходимо тщательно выверить их смысл и убедиться в том, что они имеют то же самое значение, что и те, из которых были образованы. Также следует избегать двойных отрицаний.

Установка на социально одобряемый ответ может быть минимизирована с помощью исключения из опросника тех заданий, ответы на которые оцениваются обследуемым с точки зрения их социальной желательности—нежелательности.

Если это по тем или иным причинам сделать невозможно, следует попробовать сформулировать косвенный вопрос, с тем чтобы побудить к ответу, не являющемуся простым отражением желания обследуемого представить себя в лучшем свете. Например, утверждение «Люди постоянно интригуют против меня» (выявление параноидных тенденций) может быть сформулировано в виде: «Имеются некоторые люди, которым я полностью доверяю». Достаточно эффективной мерой в борьбе с этой установкой будет адресованное испытуемому требование отвечать на каждый вопрос, не слишком долго задумываясь, не пытаясь анализировать каждое задание.

Некоторые исследователи при разработке опросников используют специальную группу заданий, предназначенных для выявления лиц, склонных к социально одобряемым ответам. Эти задания состоят из вопросов, касающихся незначительных проступков, совершаемых фактически всеми людьми. Например, «Я никогда не лгу» или «Я всегда прихожу своевременно на встречи и свидания». Лица, набравшие достаточно большое количество баллов по такой шкале, рассматриваются как дающие социально одобряемые ответы, и их результаты не рассматриваются как достоверные.

Установка на неопределенные ответы (так называемые ответы средней категории), когда нельзя отказаться от присутствия таковых в опроснике, в известной мере преодолевается инструкцией, требующей от испытуемого как можно реже прибегать к таким ответам, а также количеством вопросов, число которых не должно приводить к рассеиванию внимания, а тем самым выбору «наиболее легкого ответа». Вполне оправданно считается, что эта категория ответов наиболее привлекательна тогда, когда оба крайних значения безразличны для испытуемых. Следовательно, задания должны быть сформулированы таким образом, чтобы выбор ответа средней категории не был притягателен. Задания, для которых необходима средняя категория ответов, не смогут пройти процедуру анализа и будут автоматически устранены. Если опросник предусматривает использование исключительно дихотомических заданий, то в ходе пилотажного исследования можно попросить испытуемых отмечать те из них, которые вызвали затруднение и требовали, по их мнению, неопределенного ответа; затем от них лучше отказаться.

Установка на крайние ответы обычно проявляется в заданиях с рейтинговыми шкалами. По мнению П. Клайна, преимущества рейтинговых шкал, дающих испытуемому широкие возможности для выбора, сводятся на нет действием установки на крайние ответы. Поэтому лучше избегать задания типа рейтинговых.

Оформление теста.

От оформления, формы представления методики, что определяется как ее очевидная (лицевая) валидность, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок основной информации, который включает его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. Обязательно указывается дата заполнения опросника.

Инструкция должна быть ясной, доступной для понимания. В ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике. Здесь же содержится дополнительная информация, которую разработчик считает необходимым сообщить обследуемому. Например, «отвечайте так быстро, насколько это возможно» или «отвечайте на каждый вопрос искренне, это очень важно для того, чтобы мы имели возможность оказать вам необходимую помощь». Следует выделить ту информацию, которая может способствовать эффективной работе испытуемого, например о соблюдении конфиденциальности.

Для компоновки текста опросника следует руководствоваться такими рекомендациями.

1. Нумеруется каждое задание.

2. Каждая строка на странице должна быть короткой и содержать не более 10-12 слов.

3. Все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы.

4. Варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы. Необходимо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него. Это может быть сделано с помощью введения пунктирной линии от колонки заданий к их вариантам ответов.

5. Каждое задание нужно отделить друг от друга, лучше это сделать, используя свободное пространство, а не горизонтальную линию.

6. Если используется более чем один тип заданий, одинаковые задания группируются вместе. Каждый тип заданий требует разных инструкций и своих вариантов ответов.

7. Опросник печатается так, чтобы он имел эстетически привлекательный вид. Современные компьютеры позволяют сравнительно легко добиться оптимального варианта текста. Дизайн опросника может способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий).

Пилотажное исследование

Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.

В том случае, когда опросник будет использоваться применительно к любым, скажем, взрослым и психически нормальным представителям популяции, необходимо сформировать репрезентативную группу испытуемых. Сделать это намного труднее, чем подобрать какую-либо специфическую группу. Обычно составление выборки отнимает много времени, поэтому не стоит этим заниматься при проведении пилотажного исследования. Если невозможно создать репрезентативную выборку, обычно достаточно составить выборку приблизительно похожую на репрезентативную. Лица, которые принимают участие в пилотажном исследовании, должны различаться по демографическим показателям, таким как возраст, пол, социальный статус. Пилотажную версию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного исследования, должно быть в два раза больше, чем количество заданий. Если невозможно получить такое количество испытуемых, лучше все-таки привлечь к исследованию меньшее количество людей, чем вообще отказаться от проведения пилотажной стадии исследования.

Анализ заданий.

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильнов соответствии с ключом (т.е. определение индекса эффективности задания) и дискриминантности каждого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как правило, требуется минимальная корреляция в 0,2. Задания с отрицательной или нулевой корреляцией почти всегда исключаются.

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффективности и дискриминантности нужно определить то количество заданий, которое потребуется для окончательной версии (не менее 20-30 заданий!) и насколько хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностыо, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показателем эффективности при условии, что оно обладает достаточной дискриминантностью. Также важно обеспечить приблизительно равное количество прямых и обратных заданий. Для испытуемых разных полов необходимо выполнить отдельные процедуры анализа заданий.

Способы улучшения заданий выясняются как раз на этой стадии конструирования теста. Например, изменение формулировки ответа в задании с «иногда» на «всегда» может повысить показатель эффективности. Однако эти изменения во всех вопросах (утверждениях) могут повлиять на надежность и валидность теста. Процедура анализа заданий дает необходимую информацию относительно параметров каждого задания. Тем не менее только исследователь может вынести решение о том, какой из критериев наиболее важен для реализации цели создаваемого теста.

7. Определение надежности теста. Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого обследуемого при повторном тестировании.

Виды надежности см. вопросы 34 и 17

Подчеркнем, что наилучшей процедурой определения надежности является

проведение повторных исследований через более или менее значительные временные интервалы.

Все исследования надежности должны выполняться на достаточно больших (рекомендуется 200 и более испытуемых) и репрезентативных выборках. Надежность — важная характеристика теста, но сама по себе ценности не представляет. Она необходима для достижения валидности.

Факторный анализ.

Во многих случаях перед разработчиком теста встает задача «сжатия» информации или, иначе говоря, компактного описания изучаемых явлений при наличии множества наблюдений или переменных. Факторный анализ как раз и является методом снижения размерности изучаемого многомерного явления.

В психологическом тестировании цель факторного анализа заключается в том,чтобы найти несколько фундаментальных факторов, которые объясняли бы большую часть дисперсии в группе оценок по различным тестам или другим психометрическим измерениям.Существует несколько процедур факторного анализа, но все они предполагают двестадии: 1) факторизацию матрицы корреляций, с тем чтобы получилась первоначальная факторная матрица; 2) вращение факторной матрицы, с тем чтобы обнаружить наиболее простую конфигурацию факторных нагрузок.

Стадия факторизации в этом процессе призвана определить количество факторов, необходимых для объяснения связей между различными тестами, и обеспечивает получение первичных оценок нагрузки (веса) каждого теста по каждому фактору. Вращение факторов необходимо для того, чтобы сделать их более понятными (интерпретируемыми) с помощью создания конфигурации факторов,которой совсем немного тестов имеют высокие нагрузки, тогда как большая частьтестов имеют низкие нагрузки по любому фактору.(Примечание: под факторными нагрузками понимаются значения корреляции переменных с данным фактором. При разработке теста корреляционному анализу подвергаются связи между заданиями, и в тесте оставляют только те из них, которые коррелируют с общим фактором. Этот фактор затем выступает в качестве конструкта.)

Факторный анализ был и остается одним из наиболее мощных инструментов психолога, разрабатывающего тесты.

9. Валидность теста. Тест называется валидным, если он измеряет то, для измерения чего предназначен. Существует достаточно много разных способов доказательства валидности теста (см. 18 и 35 вопросы). Не существует какого-либо единичного показателя, с помощью которого устанавливается валидность психологического теста. В отличие от показателей надежности и дискриминативности, нельзя осуществить точные статистические расчеты, подтверждающие валидность методики. Тем не менее разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.

10. Стандартизация теста.

Это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Таким образом, стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых. При этом вводится понятие нормы, или нормативных показателей, для их подсчета используются методы мат. статистики. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объём и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности достаточной будет выборка из 500 испытуемых. Однако репрезентативность выборки не зависит от ее объема. Например, для того чтобы получить нормативные показатели для всей популяции детей, обучающихся в начальной школе, потребуется выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как шеф-пилоты авиакомпаний, не может быть столь значительной. Репрезентативность выборки, таким образом, параметр более важный, нежели ее объем. В некоторых случаях приходится формировать несколько групп стандартизации или стратифицировать группу стандартизации относительно таких параметров, как возраст, пол, социальный статус. Устанавливать нормы не всегда обязательно. При использовании психологических тестов в научном исследовании нормы не столь важны и достаточно «сырых» показателей теста.

11. Пересмотр теста со временем. Созданием стандартизованного теста и его публикацией обычно завершается работа психолога, однако следует помнить и о том, что с течением времени необходим пересмотр (ревизия) теста. Достаточно вспомнить о тестах интеллекта, нормы по которым устаревают через каждые 5 лет, и можно предположить, что процесс их старения будет ускоряться. Для наглядности этапы конструирования теста представлены на рис.