Организация эмпирического исследования

В представленном параграфе рассматриваются требования к построению психологического, психолого-педагогического исследования, основные методы исследования. Способы представления исследования, требования к качественному и количественному анализу.

Тебе дано бесстрастной мерой

Измерить все, что видишь ты.

А. Блок

Рассмотрим исследовательские  методы, позволяющие получить эмпири­ческие данные о психолого-педагогических процессах. К ним относятся: научное наблюдение, разные виды психологических и педагогических экспериментов, работа с научны­ми фактами - описание полученных результатов, классификация фактов, их систематизация, всевозможные способы анализа и обоб­щения; опросы, беседы, изучение результатов деятельности конкрет­ных лиц и др.

Метод изучения психолого-педагогической научной и методической литературы, архивных материалов

Работа над литературой начинается с составления библиогра­фии — списка подлежащих изучению произведений, их перечня, на­учного описания, приведения необходимых указателей. Библиогра­фия обычно включает книги, учебники, учебные и учебно-методиче­ские пособия, журналы, статьи в сборниках научных и методических трудов, тезисы докладов на различного уровня конференциях, моно­графии, реферативные обзоры, авторефераты диссертаций и др.

Первичное ознакомление с литературой и другими источниками должно дать представление о проблематике, основном содержании того или иного произведения. Для этого полезно сначала ознако­миться с аннотацией, введением, оглавлением, заключением, бегло просмотреть содержание источника. После этого определяется спо­соб проработки издания: тщательное изучение с конспектированием;выборочное изучение, сопровождающееся выписками; общее озна­комление с аннотированием и т. д. Результаты работы с литературой по каждому изучаемому вопро­су желательно оформить в виде тематических обзоров, рефератов, рецензий и других источников, в которых излагаются основные ин­тересующие исследователя научные положения. При этом важно вскрыть существующие противоречия в подходах к изучаемой про­блеме, выявить совпадающие и несовпадающие точки зрения на пред­мет исследования. Следует выделить, что нового автор каждой работы вносит в исследование проблемы, какие ориги­нальные подходы и решения он предлагает, в чем их научная новиз­на, теоретическая и практическая значимость.

Один из эмпирических методов психолого-педагогического исследо­вания, которому уделяется большое внимание, - наблюдение. Этот метод предполагает целенаправленное, планомерное и систематиче­ское восприятие и фиксацию проявлений психолого-педагогических явлений и процессов.

Особенностями наблюдения как научного метода являются:

♦ направленность к ясной, конкретной цели;

♦ планомерность и систематичность;

♦ объективность в восприятии изучаемого и его фиксации;

♦ сохранение естественного хода психолого-педагогических про­цессов.

Наблюдение может быть:

♦ целенаправленным и случайным;

♦ сплошным и выборочным;

♦ непосредственным и опосредованным;

♦ длительным и кратковременным;

♦ открытым и скрытым («инкогнито»);

♦ констатирующим и оценивающим;

♦ неконтролируемым и контролируемым (регистрация наблюда­емых событий по заранее отработанной процедуре);

♦ каузальным и экспериментальным;

♦ полевым (наблюдение в естественных условиях) и лабораторным (в экспериментальной ситуации).

Наблюдение - процесс сложный: можно смотреть, но не видеть; смотреть вместе, а видеть разное; смотреть на то, что видели и видят многие, но, в отличие от них, увидеть новое и т. д. В психологии и педагогике наблюдение превращается в настоящее искусство: тембр голоса, движение глаз, расширение или сужение зрачков, чуть замет­ные изменения в общении с окружающими и другие реакции лич­ности, коллектива могут служить основаниями для психолого-педа­гогических выводов. Чем опытнее наблюдатель, тем более точно он оценивает ход педагогического процесса по конкретным, иногда едва заметным проявлениям. Длительность наблюдения зависит от его вида. Способы фиксирования результатов наблюдения могут быть разными. К ним относятся схемы и протоколы наблюдения, техника записи, распределение по категориям и шкалам.

Беседа как метод исследования

Беседа - один из основных методов психологии и педагогики. Научная ценность метода заключается в установлении личного кон­такта с объектом исследования, возможности получить данные опе­ративно, уточнить их в виде собеседования. Беседа может быть формализованной и неформализованной. Формализованная беседа предполагает стандартизированную поста­новку вопросов и регистрацию ответов на них, что позволяет быстро группировать и анализировать полученную информацию. Неформа­лизованная беседа проводится по нежестко стандартизированным вопросам, что дает возможность последовательно ставить дополнительные вопросы, исходя из сложившейся ситуации.

В практике психолого-педагогических исследований выработаны определенные правила применения метода беседы:

♦ беседовать только по вопросам, непосредственно связанным с ис­следуемой проблемой;

♦ формулировать вопросы четко и ясно, учитывая степень компе­тентности в них собеседника;

♦ подбирать и ставить вопросы в понятной форме, побуждающей респондентов давать на них развернутые ответы;

♦ избегать некорректных вопросов, учитывать настроение, субъек­тивное состояние собеседника;

♦ вести беседу так, чтобы собеседник видел в исследователе не ру­ководителя, а товарища, проявляющего неподдельный интерес к его жизни;

♦ не проводить беседу второпях, в возбужденном состоянии;

♦ выбирать такое место и время проведения беседы, чтобы никто не мешал ее ходу, поддерживать доброжелательный настрой.

Методы опроса в структуре психолого-педагогического исследования

Методы опроса психолого-педагогического исследования представ­ляют собой письменные или устные, непосредственные или опосре­дованные обращения исследователя к респондентам с вопросами, содержание ответов на которые раскрывает отдельные стороны изу­чаемой проблемы. Широкое применение методов опроса объясняется тем, что ин­формация, получаемая от респондентов, чаще богаче и подробнее, чем та, которую можно получить с использованием других методов. Она легко поддается обработке, получить ее можно сравнительно оперативно и дешево.

Анкетирование- метод эмпирического исследования, основанный на опросе значительного числа респондентов и используемый для полу­чения информации о типичности тех или иных психолого-педагогиче­ских явлений. Различают следующие варианты анкетирования: личностное (при непосредственном контакте исследователя и респондента) или опо­средованное (анкеты распространяются раздаточным способом, а ре­спонденты отвечают на них в удобное время); индивидуальное или групповое; сплошное или выборочное.

При разработке анкеты исследования целесообразно учитывать следующие основные требования:

♦ провести апробирование (пилотаж) анкеты с целью проверки и оценки ее обоснованности (валидности), поиска оптимального варианта и объема вопросов;

♦ разъяснить перед началом опроса его цели и значение для резуль­татов исследования;

♦ корректно ставить вопросы;

♦ оставлять возможность анонимных ответов;

♦ исключить возможность двусмысленного толкования вопросов и использования специальных терминов и иностранных слов, кото­рые могут быть непонятны респондентам;

♦ следить за тем, чтобы в вопросе не предлагалось оценивать не­сколько фактов сразу или высказывать мнение о нескольких со­бытиях одновременно;

♦ строить анкету по принципу: от более простых вопросов к более сложным;

♦ не увлекаться многословными, длинными вопросами и предло­женными вариантами ответов на них, так как это затрудняет вос­приятие и увеличивает время на их заполнение;

♦ предусматривать возможность быстрой обработки большого ко­личества ответов с использованием методов математической ста­тистики.

При составлении анкеты используются несколько вариантов по­строения вопросов. Это открытые, закрытые и полузакрытые вопро­сы, а также вопросы-фильтры и вопросы на ранжирование.

Интервью— разновидность метода опроса, специальный вид целена­правленного общения с человеком или группой людей. Специфика интервью состоит в том, что исследователь определя­ет заблаговременно лишь тему предстоящей беседы и основные во­просы, на которые он хотел бы получить ответы. От характера этого общения, от тесноты контакта и сте­пени взаимопонимания сторон во многом зависит успех интервью, полнота и качество полученной информации.

Одним из наиболее эффективных методов сбора информации в пси­холого-педагогическом исследовании является экспертный опрос,предполагающий получение данных с помощью знаний компетентных лиц.

Метод экспертного опроса в психолого-педагогических исследо­ваниях применяется для решения следующих задач:

♦ уточнения основных положений методики исследования, опреде­ления процедурных вопросов, выбора методов и приемов сбора и обработки информации;

♦ оценки достоверности и уточнения данных массовых опросов, особенно когда существует опасность их искажения;

♦ более глубокого анализа результатов исследования и прогнозиро­вания характера изменений изучаемого психолого-педагогиче­ского явления;

♦ подтверждения и уточнения сведений, полученных с помощью других методов;

♦ анализа результатов исследования, особенно если они допускают различное толкование.

Социометрический метод(метод социометрии) позволяет выявить межличностные отношения в группе людей с помощью их предвари­тельного опроса. Взаимоотношения людей предопределяются объективной необхо­димостью совместной деятельности (она рождает официальную структуру групп) и эмоциональным фактором — симпатиями и ан­типатиями (этот фактор порождает неофициальные взаимоотноше­ния в группе). Узнать неофициальные взаимоотношения людей, структуру их взаимоотношений, симпатий и антипатий можно с по­мощью простых вопросов типа: «С кем бы вы желали провести сво­бодное время?», «С кем бы вы желали работать?» и т. п. Эти вопросы и есть критерии социометрического выбора.

Метод тестирования- выполнение испытуемым заданий определен­ного рода с точными способами оценки результатов и их числового выражения.

Этот метод позволяет выявить уровень знаний, умений и навы­ков, способностей и других качеств личности, а также их соответст­вие определенным нормам путем анализа способов выполнения испытуемым ряда специальных заданий. Такие задания принято на­зывать тестами.

В настоящее время существуют отработанные, качественные, до­статочно эффективные тесты, для которых характерны, прежде всего, высокая валидность и надежность применения.

Надежность теста- его фундаментальная характеристика, пока­зывающая, в какой степени ответы одной и той же личности совпада­ют при ее неоднократном тестировании данным тестом.

Валидность теста- пригодность теста для измерения свойства, качества, явления, которое хотят измерить.

К эмпирическим методам, применяемым при проведении психолого-педагогических исследований, относится группа методов, связанная с изучением и обобщением передового педагогического опыта, а так­же с изучением педагогической документации и продуктов деятель­ности человека.

Психолого-педагогический эксперимент- комплексный метод исследования, который обеспечивает научно-объективную и доказа­тельную проверку правильности обоснованной в начале исследова­ния гипотезы.

Эксперимент начинается с проведения пилотажного, или пробного, исследования. Его задача – это проверить насколько хорошо продуман и подготовлен эксперимент, правильно ли определена его тема, точно ли сформулированы гипотезы, хорошо ли подобраны психологические методики, средства статистической обработки и способы интерпретации полученных результатов. Если проведенный пилотажный эксперимент дал положительные результаты, то после устранения замеченных недостатков приступают к проведению основного эксперимента.

Если же в процессе пилотажного исследования в замысле основного эксперимента обнаруживаются серьезные недостатки, то его перерабатывают и проверяют заново в ходе повторного пилотажного исследования.

В основном эксперименте собирают первичные данные, необходимые для доказательства предложенных гипотез. Далее, их систематизируют и представляют в виде таблиц, графиков, вводят, если в этом есть необходимость, в память компьютера и обрабатывают.

Если результаты эксперимента имеют не количественный, а качественный характер, то их также систематизируют, обобщают и логически обрабатывают.

Доказательство экспериментальной гипотезы состоит из трех основных компонентов: фактов, аргументов и демонстрации справедливости предложенной гипотезы, вытекающей из этих аргументов и фактов.

Факты и аргументы, как правило, представляют собой идеи, истинность которых уже проверена или доказана. В силу этого они могут без специального доказательства их справедливости приводиться в обоснование истинности или ложности гипотезы.

Демонстрация - это совокупность логических рассуждений, в процессе которых из аргументов и фактов выводится справедливость гипотезы.

Гипотеза, аргументы и факты должны быть суждениями, ясно и точно определенными.

Факты и аргументы, приводимые в процессе доказательства гипотезы, не должны противоречить друг другу, так как это также сводит доказательство на нет.

Необходимо строго следить за тем, чтобы соблюдалось следующее правило: аргументы и факты, приводимые в подтверждение гипотезы, сами должны быть истинными и не подлежать сомнению.

Основная логическая схема, позволяющая добиться установления причинно-следственных зависимостей между изучаемыми переменными, довольно простая. Она включает в себя проведение исследования не на одной, а на двух и более группах испытуемых, одна из которых является экспериментальной, а другие -  контрольными.

При этом экспериментальная группа предназначается для установления достоверных статистических зависимостей между изучаемыми переменными, а контрольные группы - для того, чтобы, сравнивая получаемые в них результаты с теми, которые установлены на экспериментальной группе, отклонять альтернативные причинно-следственному объяснения выявленной статистической зависимости.

В простейшем случае реализации этой схемы берутся одна экспериментальная и одна контрольная группы. В экспериментальной группе выделяется и целенаправленно изменяется переменная, которая рассматривается как вероятная причина объясняемого явления, а в контрольной группе ничего этого не происходит.

По завершению эксперимента оцениваются и сравниваются между собой изменения, которые в экспериментальной и контрольной группах произошли в другой переменной - зависимой, и если окажется, что в экспериментальной группе эти изменения больше, чем в контрольной, то делается вывод о том, что подлинной их причиной являются именно те вариации независимой переменной, которые имели место в экспериментальной группе.

Варианты  практической реализации общей схемы эксперимента

1)Метод единственного различия.

А, Б, В, Г,          Д, Е

А, Б, В, Г+         Д, Е+

В данном случае фиксируется единственное различие между экспериментальной и контрольной группами по признаку Г, которое по завершению эксперимента должно привести к появлению единственного различия по признаку Е.

На этом основании делается вывод о том, что изменение Г и есть причина замеченных изменений в Е.

2)Метод сопутствующих изменений (обобщенный вариант метода единственного различия).

А, Б, В, Г           Д, Е

А, Б, В, Г+         Д, Е+

А, Б, В, Г++       Д, Е++

А, Б, В, Г+++     Д, Е+++

Если, варьируя величину признака Г, мы неизменно получаем изменения только одного признака Е, то Г можно рассматривать в качестве наиболее вероятной причины Е.

3)Метод единственного сходства.

А, Б, В, Г      Д, Е

И, К, Л, Г      М, Е

Н, О, З, Г      П, Е

С, Т, У, Г      Ф, Е

Если при разнообразных вариациях признаков неизменным остается единственное сходство (в данном случае: Г - Е), то составляющие его переменные рассматриваются как причина (Г) и следствие (Е).

Помимо общих логических схем, следование которым в организации и проведении эксперимента помогает выявлению причинно-следственных связей, этой же цели могут служить планы экспериментов.

Планы экспериментов

1. Эксперимент, организованный по плану типа «только после».

2. Эксперимент, организованный по плану типа «до и после».

Анализ результатов эксперимента

Если данные, полученные в эксперименте, качественного характера, то правильность делаемых на их основе выводов полностью зависит от интуиции, эрудиции и профессионализма исследователя, а также от логики его рассуждений.

Если же эти данные количественного типа, то сначала проводят первичную, а затем вторичную статистическую обработку.

Первичная статистическая обработка заключается в определении необходимого числа элементарных математических статистик:

· выборочное среднее значение;

· дисперсия;

· квадратическое  отклонение;

· медиана;

· мода.

Вторичная статистическая обработка представляет собой сравнение средних, дисперсий, распределений данных, регрессивный анализ, корреляционный анализ, факторный анализ и др. Проводится в том случае, если для решения задач или доказательства предложенных гипотез необходимо определить статистические закономерности, скрытые в первичных экспериментальных данных.

Как осуществляется применение статистических методов и средств формализации в психолого-педагогическом исследовании. Результат психолого-педагогического исследования имеет вероятностный характер, следовательно, необходимо доказывать статистическую достоверность (значимость) полученных результатов.

По Д. Кэмпбеллу существуют следующие факторы, угрожающих валидности эксперимента:

1. Фактор фона — неконтролируемые события между начальным и контрольным измерениями.

2. Фактор естественного развития.

3. Эффект тестирования — влияние выполнения заданий первоначального тестирования на результаты следующего.

4. Инструментальная погрешность, связанная с неточностью измерительного инструмента.

5. Статистическая регрессия. Имеет место, когда группы отбираются на основе крайних показателей и оценок Известно, что точность измерений на крайних участках шкалы снижается.

6. Фактор отбора испытуемых - неэквивалентность групп составу.

7. Отсев в ходе эксперимента.

8. Взаимодействие фактора отбора с естественным развитием.

Можно выделить и не экспериментальные влияния, которые могут привести к искажению результатов:

1. Эффект плацебо, механизм которого основан на самовнушении и внушении.

2. Эффект Хоторна. Стимулируются осознанные или непроизвольные попытки соответствовать ожиданиям исследователя.

3. Эффект Пигмалиона (эффект Розенталя) — субъективные влияния исследователя, заинтересованного в том или ином результате.

4. Эффект аудитории — изменение поведения испытуемых под влиянием экспериментатора, публики.

5. Эффект первичности — зависимость оценки, суждения от первого впечатления.

Предусмотреть действие всех случайных факторов в социально-педагогическом или психологическом исследовании очень сложно. Но их минимизация возможна при использовании экспериментальных планов с контрольными группами.

Схема эксперимента с контрольной группой

В педагогике статистическими методами не доказывается окончательно правомерность того или иного вывода, а показывается мера правдоподобности принятия той или иной гипотезы.

Педагогическая гипотеза в процессе статистического анализа переводится на язык статистической науки и заново формулируется, по меньшей мере, в виде двух статистических гипотез.

Статистические гипотезы

I. Основная - нулевая гипотеза (Но), в которой исследователь говорит о своей исходной позиции. Он априори как бы декларирует, что новый метод (предполагаемый им) не обладает какими-либо преимуществами, и потому с самого начала исследователь психологически готов занять честную научную позицию: различия между новым и старым методами объявляются равными нулю.

II. Альтернативная гипотеза (Н1)– этопредположение о преимуществе экспериментального метода (программы и т.п.).

Альтернативные гипотезы принимаются тогда и только тогда, когда опровергается нулевая гипотез: это бывает в случаях, когда различия, скажем, в средних арифметических экспериментальной и контрольной групп настолько значимы (статистически достоверны), что риск ошибки отвергнуть нулевую гипотезу и принять альтернативную не превышает одного из трех принятых уровней значимости статистического вывода:

1. первый уровень - риск ошибки 5 % (в научных текстах пишут иногда р = 5 % или а < 0,05), где допускается риск ошибки в выводе в 5 случаях из 100 теоретически возможных таких же экспериментов при строго случайном отборе испытуемых для каждого эксперимента;

2. второй уровень - риск ошибки р=1 %, т. е. соответственно допускается риск ошибиться только в 1 случае из 100 (а < 0,01, при тех же требованиях);

3. третий уровень - риск ошибки р=0,1 %, т.е. допускается риск ошибиться только в одном случае из тысячи (а<0,001).

При сравнении средних арифметических экспериментальной и контрольной групп важно определить, какая средняя не только больше, но и насколько больше.

Чем меньше разница между ними, тем более приемлемой окажется нулевая гипотеза об отсутствии статистически значимых (достоверных) различий. Чтобы определить, является ли разность между средними значениями показателей эффективности в первой и во второй группах существенной (значимой), необходимо вычислить статистическую достоверность этой разницы. Проверка статистической гипотезы требует выбора статистического критерия, адекватного методике измерений и особенностям выборки.

Наибольшее распространение получили:

· t-критерий Стьюдента

· Т-критерий Вилкоксона

· Q-критерий Розенбаума

· Ф-критерий Фишера

· Метод хи-квадрата.

(Подробная информация: Сидоренко Е.В. Методы математической обработки в психологии. – СПб,2000).

Рекомендация 1

Если экспериментальная гипотеза содержит предположение о том, что в результате проводимого психолого-педагогического исследования возрастут (или уменьшатся) показатели какого-либо качества, то для сравнения до- и постэкспериментальных данных рекомендуется использовать критерий Стъюдента или х2-критерий. К последнему обращаются в том случае, если первичные экспериментальные данные относительны и выражены, например, в процентах.

Рекомендация 2

Если экспериментально проверяемая гипотеза включает в себя утверждение о причинно-следственной зависимости между некоторыми переменными, то ее целесообразно проверять, обращаясь к коэффициентам линейной или ранговой корреляции.

Линейная корреляция используется в том случае, когда измерения независимой и зависимой переменных производятся при помощи интервальной шкалы, а изменения этих переменных до и после эксперимента небольшие.

К ранговой корреляции обращаются тогда, когда достаточно оценить изменения, касающиеся порядка следования друг за другом по величине независимых и зависимых переменных, или когда их изменения достаточно велики, или когда измерительный инструмент был порядковым, а не интервальным.

Рекомендация 3

Иногда гипотеза включает предположение о том, что в результате эксперимента возрастут или уменьшатся индивидуальные различия между испытуемыми. Такое предположение хорошо проверяется с помощью критерия Фишера, позволяющего сравнить дисперсии до и после эксперимента. Заметим, что, пользуясь критерием Фишера, можно работать только с абсолютными значениями показателей, но не с их рангами.

Пример использования критерия Стьюдента

где X1 и Х2 - средние арифметические значения переменных в группах 1 и 2;

М1 и М2 — величины средних ошибок, которые вычисляются по формуле

                                   M = σ/N

где σ — средняя квадратическая, вычисляемая по формуле

    Далее, вычислив величину t-критерия, по специальной таблице определяют уровень статистической значимости различий между сред-ними показателями эффективности деятельности в экспериментальной и контрольной группах.

Чем выше значение t-критерия, тем выше значимость различий.

Для этого t расчетное сравниваем с t табличным. Табличное значение выбирается с учетом выбранного уровня достоверности (a = 0,05 или a= 0,01), а также в зависимости от числа степеней свободы U, которое находится по формуле

U = N1+N2 -2,  N1 и N2 — число людей в первой и во второй группе.