Валидность эксперимента и валидность выводов

В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, направленного на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Если проконтролированы все возможные или наиболее явные угрозы внутренней и внешней валидности, хорошо решены проблемы операционализации переменных и проблемы соответствия, то такой эксперимент оценивается как валидный, или «правильный». Из правильно построенного эксперимента можно сделать достоверные – валидные, или «правильные», выводы, подразумевая отсутствие в них ошибок обобщения или ошибок умозаключений, но в выводах можно ошибиться.

Ошибки выводов, или недостоверные выводы, возможны в результате как неверных обобщений, так и проведения невалидных экспериментов. При понимании экспериментирования как чувственно-предметной деятельности ученого не следует, таким образом, ограничиваться описанием и оценкой того, как операционализируются переменные или как осуществляется их регистрация. Формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как нормативы, или нормативные регуляторы, этой деятельности.

Выбор конкретной формы эксперимента связан с разработкой того или иного экспериментального плана (как схемы сбора данных при разных условиях НП) и с другими типами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительного варьирования» переменных, введение расширенной переменной и т.д.). Решение проблем планирования означает при этом «прописывание» эксперимента в системе классификаций типов экспериментов и видов экспериментальных схем. Это в свою очередь позволяет обозначить возможности и ограничения последующих выводов.

Именно предположения о возможностях последующих обобщений направляют исследователя при решении вопросов содержательного и формального планирования экспериментов. Тем самым проблема выводов и обобщений оказывается разведенной по двум достаточно отстоящим друг от друга этапам – мысленного планирования экспериментальных схем и процедур и обоснования выводов на основании результатов уже проведенного исследования. В реальных экспериментальных исследованиях этому соответствует двухэтапность обобщений: как исходных предположений о виде зависимости между НП и ЗП и как завершающих выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, испытуемых и т.д.).

Компоненты содержательного и формального планирования

Подходы к определению термина «планирование эксперимента»

Можно выделить следующие традиции в понимании того, что следует считать планированием психологического эксперимента.

1. Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем, сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует Р. Готтсданкер.

2. Определение типа переменных с точки зрения заданных гипотетических конструктов и решения вопросов об операционализации переменных, а исходя из этого – выбор методических средств, отражающих взаимосвязь аспектов содержательного и формального планирования.

3. Планирование с целью последующего использования статистических решений об экспериментальном факте, а значит, указание того минимального эффекта (в различиях ЗП), который будет принят в качестве критериального для принятия решения об экспериментальном факте.

Выбор из возможных экспериментальных планов

Р. Готтсданкер предлагает анализировать возможные экспериментальные схемы по следующим основным признакам:

q вид схем: предлагаются ли сравниваемые условия НП одному и тому же испытуемому или разным группам людей. В первом случае говорят об интраиндивидуальных схемах, а во втором – о межгрупповых. В качестве промежуточных схем выделяют кросс-индивидуальные, в которых предполагается предъявление всех условий НП каждому испытуемому, но их последовательности варьируют применительно к выделенным подгруппам;

q тип эксперимента: достигается ли условие выделения единичной НП, что характерно для лабораторных экспериментов, или НП представляется в комплексе других условий, в разной степени претендующих на выполнение условия соответствия экспериментальной модели той внешней реальности, на которую будет осуществлено обобщение;

q формы контроля угроз валидности: контролируются ли все те возможные источники возникновения угроз внутренней валидности со стороны побочных переменных (ПП), которые могут обеспечивать систематические, несистематические, сопутствующие смешения (НП с ПП) или ненадежность данных;

q число управляемых факторов: является ли экспериментальная схема факторной или схемой с одной управляемой НП; предполагается ли при этом количественное измерение основных результатов действия переменных (и их взаимодействий при факторных схемах);

q степень согласия с критериями мысленных эталонов эксперимента: достигается ли наилучшая репрезентативность реально проводимого эксперимента по сравнению с мысленными образцами, следование которым обеспечивало бы построение безупречного эксперимента.

Представление об эксперименте как гипотетико-дедуктивном методе при этом опускается, а оценка психологических гипотез рассматривается в одном основном аспекте – контроля угроз внутренней и внешней валидности. Основное внимание уделяется обоснованию преимуществ использованной стратегии подбора испытуемых в группы, их отбора из популяции, если речь идет о межгрупповых схемах, или распределения экспериментальных условий в общей их последовательности (при контроле факторов задач, времени, несистематической изменчивости), если речь идет об интраиндивидуальных схемах.

По-разному для этих схем решаются проблемы планирования для достижения приемлемой надежности данных. Оценка надежности зависит от контроля несистематической изменчивости, вариабельности использованных переменных и выбранного числа опытов для разных экспериментальных условий. С точки зрения контроля факторов ненадежности данных обсуждаются и возможности проводить усреднение показателей ЗП по разным условиям или для разных групп испытуемых и т.д. За выбранным числом проб, приходящихся на одно и то же условие НП, стоит принятый критерий количественной оценки необходимой величины экспериментального эффекта, без достижения которого экспериментальная гипотеза считается не выдержавшей опытную проверку и должна быть отвергнута.

По существу, элементы содержательного планирования присутствуют во всех проводимых экспериментах. Выбор схемы – это завершающий этап планирования. Формальное планирование начинается с этапа выбора между интраиндивидуальными и межгрупповыми способами сравнения ЗП. Учет дополнительных переменных или обсуждение общности экспериментальной выявленной тенденции для других испытуемых – это продолжение решения вопросов содержательного планирования, поскольку они прямо связаны с контролем уровня обобщений устанавливаемой зависимости.

Так, в примере с демонстрацией случайной стратегии образования экспериментальной последовательности условий НП – эксперимента на выявление предпочтений сортов томатного сока, представляемого также как пример эксперимента, дублирующего реальный мир, учитывается связь между обобщением как прогнозом для отдельного конкретного человека и необходимостью использовать интраиндивидуальные схемы. То, что эксперимент проводится в практических целях и то, каким образом в нем решены проблемы соответствия, определяет и обобщения (как рекомендации далее покупать сок определенного сорта). Чаще экспериментальная модель не так прямо определяет возможности обобщений.

Экскурс 8.2

В примере Р. Готтсданкера для демонстрации трудности выделения Психологической переменной (исследование «по трудовой этике») имеется в виду проверка гипотезы, относимой к среднегрупповой тенденции.

Авторы исследования Сингх и Кэри создали экспериментальную модель ситуации, в которой вознаграждение могло быть получено после приложения определенных усилий и без каких-либо усилий. Девочек-индианок предварительно обучали тому, как можно получить шарик: в одном случае для этого нужно было 10 раз нажать на специальный рычаг, а во втором – просто ждать у другого конца стола и через 15 с шарик выкатывался сам. Дети могли потом взять шарики себе или поменять их на любую понравившуюся им игрушку в лаборатории. В основной части опытов ребенку предлагалось самому выбирать, каким образом он будет получать шарик. Всего нужно было получить 5 наград – «заслуженных» или нет.

Среднегрупповая тенденция выразилась в том, что 60% испытуемых предпочли реализовывать усилия для получения вознаграждения, хотя знали, что оно будет и при бездействии. Предпочтение действия бездействию характеризовало только часть группы. Объяснение этого факта строилось как апелляция к этике в рамках протестантской морали: дети могли считать, что нехорошо получать вознаграждение без труда. Контроль этой переменной был осуществлен как выбор из популяции не белых детей.

Чтобы учесть отнесенность выявленной зависимости к конкретным популяциям, была использована вторая – дополнительная – переменная, по которой сравнивали по две этнически разные группы мальчиков и девочек (контрольными служили группы белых детей). Варьирование групп позволяло проконтролировать вклад культурного фона: конкурирующей гипотезой о причинах предпочтения действия бездействию могла выступать гипотеза о роли протестантской морали у белых детей, в соответствии с нормами которой получение награды предполагает работу, т.е. реализацию усилий для вознаграждения. Тот факт, что дети, имевшие предположительно разные культурные нормы представлений об этике получения вознаграждения, проявили примерно равные частотные предпочтения действия бездействию, позволило авторам обобщить гипотезу как верную для разных групп.

Приведенный пример демонстрирует довольно ограниченное понимание тех процессов, которые имели место в данной экспериментальной модели. Почему действие предпочитается бездействию? Нужно ли было вообще использовать ситуацию награды, чтобы показать это предпочтение? С какими базисными процессами все-таки связывать объяснение указанного предпочтения?

В европейский период работы школы К. Левина в ней было проведено исследование, знание которого, возможно, помогло бы авторам приведенного исследования определиться в более широком поле конкурирующих объяснений, чем только объяснение переменными культурного фона. Речь идет о работе А. Карстен, продемонстрировавшей феномен психического пресыщения. Было показано, что испытуемые склонны варьировать способ выполнения задания, чтобы только не оставаться в ситуации выполнения монотонной деятельности. Объяснительными конструктами выступили термины квазипотребности и психологического поля, реализующие принципы левиновской концепции. Возможно, в эксперименте Сингх и Кэри идет речь о других базисных процессах, но возможно о схожих. В любом случае в их объяснениях очевидна недостаточная охваченность имеющихся в литературе представлений о регуляции такого рода предпочтений в способах реализации действий, которые связаны с активностью испытуемого: в выходе за рамки требований ситуации, в переформулировании этих требований при построении образа задачи и т.д.

Таким образом, и валидный эксперимент может давать довольно слабые эмпирические доводы, если планирование совершалось в основном как формальное.

Содержательное планирование и выбор типа эксперимента

Содержательное планирование, как указывалось, включает этапы формулирования экспериментальных гипотез и обоснования их интерпретационных компонентов, связанных с введением гипотетических конструктов.

Для проведения эксперимента как в лабораторных условиях, так и в «полевых» на этапе содержательного планирования обосновываются также его конструктная валидность, связанная с контролем путей конкретизации теоретических понятий в гипотетические конструкты, и приемлемость именно экспериментального (а не «пассивно наблюдающего») подхода к организации сбора данных для проверки психологической гипотезы. К содержательному планированию можно отнести и обсуждение используемого методического арсенала фиксации переменных, т.е. решение проблем операционализации переменных, и утверждение постулируемых или неявно присутствующих в формулировке экспериментальной гипотезы предположений о сути психологической причинности или виде психологических законов.

Рассмотрение соотношения в ожидаемых эмпирических данных закономерного и случайного – также проблема содержательного планирования, которая, однако, не всегда в достаточной степени обсуждается (или эксплицируется) исследователем. Данные, полученные для отдельного испытуемого или отдельной выборки испытуемых, могут рассматриваться как случайные в том смысле, что при большом числе испытуемых (или нескольких выборках) они окажутся нехарактерными для основного массива результатов. При использовании понятия распределения выборочных значений ЗП, включающего переход к статистическим решениям о его виде, отдельные данные являются уже составной частью ряда значений измеренной переменной. При этом случайность означает лишь вариабельность самой переменной, а не степень отличия индивидуального случая от характерных, т.е. наиболее часто встречающихся, показателей.

Понятие случайного используется также для указания на не запланированные экспериментатором факторы (например, ПП) и для подчеркивания того факта, что исследуемая каузальная связь вынуждена «пробиться» сквозь сумму других составляющих. В последнем случае предполагается, что закономерная связь может проявляться лишь при определенном стечении обстоятельств, а не всегда, только при определенных сочетаниях свойств испытуемых, а не для всех испытуемых и т.д.

К. Левин посвятил в свое время специальную работу обоснованию того положения, что психологическая закономерность может связываться именно со схемой объяснения индивидуального случая, а не с попытками установить регулярность в каких-то изменениях событий. Понятие динамического закона и введение представления о динамических понятиях (примером служило понятие квазипотребности) открывали, с его точки зрения, возможность решения основных проблем в объяснительных схемах гештальттеории и телеологических концепций. Галилеевское мышление противопоставлялось им аристотелевскому именно в аспекте рассмотрения индивидуального как случайного или закономерного. «Вместо ссылок на частоту исторических случаев и нивелирование индивидуальных различий галилеевская физика понимает индивидуальный случай так же, как закономерный, и выводит динамику события из связи конкретного индивидуума со всем конкретным окружением, в котором он находится в данный момент» [35, с. 158]. Активность субъекта с точки зрения взаимодействия личностных и ситуационных составляющих мотивационной регуляции поведения человека описывалась в опытах левиновской школы в заданном русле рассмотрения законообразности индивидуального случая, т.е. детерминированности направленности действий динамической системой напряжений в психологическом поле.

Психологические исследования предполагают проверку и других типов детерминистски сформулированных гипотез. Сведение всех типов психологических законов к динамическим было бы вариантом качественного редукционизма, которым можно было бы дополнить ряд выделенных Ж. Пиаже редукционистских принципов в психологических объяснениях [47].

При построении эксперимента, предполагающего, что исследуемая закономерность регулируется совокупностью причинно-действующих условий или должна как бы пробиться сквозь сонм случайностей, именно принцип равновероятного получения данных (при равных шансах получить данные как в пользу, так и против экспериментальной гипотезы) направляет построение экспериментальной модели. Парадокс заключается в том, что детерминистски сформулированная гипотеза оценивается вероятностно. Закономерность понимается как нарушение случайности, репрезентированное изменениями ЗП в ту или иную сторону. С точки зрения построения ситуации – управления переменными – этот сдвиг может быть приписан только действию НП (поэтому он называется основным результатом действия). Тем самым выявление тенденций – направленных нарушений равновероятных исходов – может рассматриваться как проявление общего на уровне эмпирической закономерности, хотя по отношению к индивидуальному случаю закономерность-тенденция может не выступать в качестве детерминистской причины. Для установления проявившихся в группе испытуемых (и в этом смысле «среднегрупповых») тенденций достаточно, что зависимость проявляется для части испытуемых, которые обеспечивают сдвиг в показателях, как было в примере 2).

Сам Ж. Пиаже более важное место отводит принципу синхронной причинности при рассмотрении психологических законов. Его исследования стадий развития детского мышления показывают, в частности, что становление символической функции (функции означивания) в действиях ребенка с замещающими другой предмет объектами на стадии символического мышления влекут за собой одновременные и параллельные изменения в его познавательных возможностях. Когнитивное развитие в этом аспекте не предполагает актуализации динамических законов и рассматривается в контексте иной психологической реальности.

Например, в исследованиях продуктивного мышления взрослого человека можно выделить в качестве обоснованных и сосуществующих разные подходы к пониманию закономерного. Так, недетерминированность, или свобода, мышления подразумевается как возможность произвольной постановки познавательных целей, постановки проблем, управления со стороны самого субъекта мышления своими стратегиями при ее решении и т.д. Однако саморегуляция мышления как возможность проявлять познавательную активность не означает, что невозможны косвенные пути влияния на продуктивность мышления. Например, управление инструкциями позволяет выявить качественные и количественные сдвиги в показателях решений так называемых малых творческих задач [65], а управление режимом диалога в компьютеризованной процедуре образования искусственных понятий – влиять на аналогичные показатели развернутых в диалоге интеллектуальных стратегий [25]. Законообразность, таким образом, может быть отнесена к разным реалиям саморегуляции и косвенной регуляции мыслительной деятельности.

Тип закономерностей, устанавливаемых в социально-психологических исследованиях, обычно задан формулировками популяционных гипотез, заведомо утверждающих связи последующих обобщений с анализом реальных условий жизнедеятельности людей и реальной принадлежностью испытуемых к определенным социальным группам. В таких исследованиях может подразумеваться сочетание динамических, детерминистских и собственно вероятностных закономерностей.

Путь от защищаемого теоретического понимания каузальной зависимости к эмпирически наполненным утверждениям (как экспериментальной и контргипотезам) и означает реализацию этапов содержательного планирования. Это верно, если не рассматриваются еще две проблемы: конкурирующих объяснений зависимости при тех же компонентах методического воплощения эксперимента и повышения уровня обобщения зависимости на основе проведения разных экспериментов, отличающихся именно по компонентам методического воплощения переменных.

Обе указанные проблемы могут, в свою очередь, включать решение вопросов о представленности в той или иной методической процедуре возможности измерения не только психологической переменной, но и соответствующего ей психологического конструкта. Эти решения будут также учитывать элементы формального планирования, поскольку психологические измерения всегда будут иметь приближенный характер. Ошибка измерений должна учитываться как основание установления разных зависимостей при некотором разбросе данных. Вероятностный характер оценки вида эмпирически установленной зависимости определяет ту проблему, что всегда будет оставаться открытым вопрос о возможности переинтерпретации того гипотетического конструкта, который связывался с базисным процессом, реконструируемым по значениям ЗП.

Какое бы психологическое понятие ни использовал экспериментатор при формулировке каузальной зависимости, он обязательно оказывается перед необходимостью выбора из ряда возможных методических средств, уже разработанных для эмпирической репрезентации изучаемых базисных процессов (психического отражения, психической регуляции, психических свойств и т.д.), или создания новых методик, если для представления интересующих его переменных таковые пока отсутствуют. Разработка методического арсенала, в свою очередь, предполагает возникновение и возможность проверки новых психологических гипотез. Поэтому этапы содержательного планирования могут быть представлены как обоснования тех или иных специальных методик, т.е. могут быть вынесены в другие работы, результаты которых уже будут использоваться при реализации экспериментальных планов.

Под формальным планированием также имеется в виду выбор плана исследования, или экспериментальной схемы. Однако при выделении этапа содержательного планирования выбор планов как форм экспериментального контроля нельзя представить только на уровне сравнения их преимуществ между собой и с точки зрения возможностей последующих обобщений.

Например, как показал X. Хекхаузен, реконструкция базисного процесса, стоящего за изменениями ЗП, в экспериментальных исследованиях мотивации определяет разные соотношения между понятиями «мотив» и «мотивация» в построении схем, реализующих разные предположения о причинном характере действия побудительных факторов [68]. Если «мотив» связывается с факторами ситуации, то исследовательский план будет предполагать реализацию соответствующих воздействий для актуализации мотивационных состояний. В случае если отличия в мотивации связываются с присущими личности диспозициями, то способом планирования исследования станет подбор групп, предполагающих функциональный контроль этих скрытых (латентных) мотивационных диспозиций.

При использовании одних и тех же интраиндивидуальных схем в рамках психофизического эксперимента переход от пороговых к надпороговым диапазонам изменения стимуляции, т.е. от фехнеровских к стивенсовским методикам построения субъективных шкал ощущений, означал содержательное изменение понимания получаемых количественных зависимостей. Одновременно изменился и процедурный способ установления психофизических зависимостей. «Фехнеровский» испытуемый должен был доверяться своим ощущениям, и классические методики измерения пороговой чувствительности включали предположения об одинаковых «отрезках» прироста ощущений на субъективной шкале. Стивенсовские методики построения психологических шкал предполагали возможность опосредствования субъективного ряда прямыми оценками его величин, и «стивенсовский» испытуемый выносил количественные суждения об отношениях между ощущениями.

Аналогично в любой области психологических знаний можно проследить взаимосвязи изменений исследовательских подходов и стоящих за ними способов реконструкции психологической реальности, с одной стороны, и относительную автономность использования экспериментальных схем – с другой. Содержательное планирование не заменяет собой, а предполагает переход к этапу формального планирования. Формальное планирование обычно выносится за скобки содержательного планирования только в той его части, где методические тонкости обоснования схемы не влияют принципиально на понимание изучаемых явлений или процессов. Даже решение о том, проводить ли межгрупповой или интраиндивидуальный эксперимент, включает оценку возможности последующих обобщений представленной в гипотезе зависимости.

Для измерения порогов ощущений выбор индивидуальной схемы адекватен, поскольку речь идет о чувствительности конкретного человека. Однако уже гипотеза о возможности распределения внимания (она предполагает отсутствие снижения продуктивности выполнения первой задачи при одновременном выполнении второй) может предполагать как сугубо индивидуальную направленность обобщения, так и «среднегрупповую» закономерность, допускающую использование межгрупповых схем проведения эксперимента.