Внешняя валидность и виды обобщений за пределами исследовательской ситуации - Виды валидности в оценке психологического эксперимента

Оглавление:

Оценка валидности реально проведенных экспериментов осуществляется через «внутренние очки», сквозь призму которых видны направления возможных или уже допущенных ошибок при разработке и проведении эксперимента. Р. Готтсданкер использовал удобную технику представления мысленных образцов эксперимента в виде таких инструкций.

Не следует путать термины «мысленный эксперимент» (МЭ) и «мысленная схема» эксперимента. ДОЭ можно понимать, во-первых, как принятую норму размышлений психолога на всех этапах следования логике экспериментальной проверки психологической гипотезы. Во-вторых, DOE можно рассматривать в контексте использования психологом мысленной репетиции для оценки контроля угрозы для вывода эмпирической зависимости. В-третьих, МЭ может представлять собой такой эксперимент, который невыполним из-за отсутствия средств операционализации переменных, принятия определенных этических норм или экономических соображений и т.д.

В первых двух случаях путь продуманного экспериментирования — это обсуждение экспериментальной модели, которая определяет взаимосвязь между переменными, интересующими исследователя, при анализе эксперимента, который был фактически проведен или запланирован для фактического сбора данных. В третьем случае МЭ может представлять собой разработку заведомо нереального, т.е. в принципе невыполнимого, исследования. Тем не менее, он представляет собой один из способов, с помощью которого можно было бы спроектировать результаты, если бы у исследователя был доступ к предполагаемым формам экспериментального контроля.

Как и реальный эксперимент, мысленный эксперимент является средством проверки не всех психологических гипотез. Детерминистически сформулированные гипотезы, проверяемые в ДОЭ, могут быть причинно-следственными и структурно-функциональными. Последние не являются предметом экспериментов в строгом смысле слова, но могут направлять построение, например, формирующих экспериментов. Методы теоретического моделирования, которые больше подходят для проверки структурно-функциональных гипотез, не рассматриваются в данном учебнике, который построен как введение в эксперимент как метод сбора эмпирических данных.

При планировании психологического эксперимента можно понимать ДОЭ и как реализуемый во внутреннем, психическом ходе экспериментальной деятельности, внешне реально развернутый в этапах проведения эксперимента. Фактически, все этапы планирования являются вариантами мысленного экспериментирования с целью определения лучших форм экспериментального контроля, выбора лучшего из возможных экспериментальных планов.

Помимо планирования, функция мысленного эксперимента заключается в обосновании или оценке валидности фактически проведенных экспериментов. Ментальные паттерны, в терминах которых оцениваются свойства реального эксперимента, позволяют нам обсудить основные аспекты «правильности» построения экспериментальной модели. Правильность в данном случае означает лишь степень приближения к наилучшему мысленному воплощению условий эксперимента, соответствующих данной экспериментальной гипотезе. Экспериментатор может выбрать переменные, технику как средство операционализации этих переменных правильно или неправильно, обосновать или нет. Экспериментатор может вводить смеси НП с другими переменными или успешно избегать смесей. Он может получить более или менее надежные данные, задав определенное количество образцов для каждого из условий НП; он может обеспечить случайное распределение условий для вспомогательных переменных по уровням НП, или он может не контролировать несистематическую изменчивость (НП, ПД, вспомогательные факторы).

Именно такое прочтение функций ментальных паттернов представлено в понятиях идеальных и бесконечных экспериментов, экспериментов полного согласия и безошибочных экспериментов, используемых Р. Готтсданкером. Все эти четыре термина служат для уточнения критериев, по которым следует оценивать успех планирования, организации и проведения реалистичного эксперимента.

В контексте рассматриваемых норм профессиональной аргументации психолога термин «мысленный эксперимент» является одной из таких норм (или «внутренних точек»), которые психолог может использовать для ответа на многие вопросы об уровне эмпирической поддержки, достигнутой для проверяемой каузальной гипотезы. Однако не существует рецепта, как использовать эти «очки» в каждом конкретном случае. Иногда от них приходится отказываться, если характер исследования не таков, чтобы к нему можно было применить установленные нормы оценки экспериментальных гипотез. Такой отказ, однако, не следует путать с неспособностью правильно организовать и провести психологический эксперимент.

Виды валидности в оценке психологического эксперимента

Виды валидности — это направления сравнения реально проведенных экспериментов с мысленными образцами. Оценка валидности относится как к оценке реализации выбранных форм экспериментального контроля, так и к оценке системы выводов в организации исследования с точки зрения соответствия нормам экспериментального вывода. Нормы, связанные с возможными обобщениями по результатам психологических экспериментов, включают в себя различные типы валидности.

Внутренняя и внешняя валидность — это обязательно обсуждаемые аспекты валидного эксперимента, будь то эксперимент в научных или практических целях. Различия в выводах из этих экспериментов будут связаны с тем, как построено обобщение: переносимо ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.

Внутренняя валидность эксперимента говорит лишь что-то об изучаемой зависимости, то есть о связи между независимыми и зависимыми переменными, но ничего о возможности их распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смещений (систематических, несистематических, сопутствующих), утверждение, сформулированное в экспериментальной гипотезе, не может считаться достоверным, даже если получен соответствующий ему экспериментальный эффект.

Если внутренняя валидность проведенного эксперимента классифицируется как высокая, из этого еще не следует, что экспериментально установленная зависимость также соответствует действительности. Таким образом, в лабораторных экспериментах экспериментальная модель может представлять собой научную модель, которая отражает определенные отношения между операционализированными переменными. Возможно, что для этих моделей типы субъективной реальности, которые они должны представлять в экспериментальной ситуации, впоследствии не обнаруживаются. Таким образом, не существует эмпирии, к которой можно было бы применить обобщение зависимости, обнаруженной в эксперименте.

Внешняя валидность, которая включает решение проблем соответствия (NP, PD, DP), обеспечивает возможность обобщения на типы ситуаций или деятельности, которым соответствуют экспериментально контролируемые переменные. Когда дело доходит до теоретических обобщений, оценка внешней валидности уступает место оценке валидности конструкции. Прояснение вопросов валидности конструкции и внешней валидности приводит исследователя к выбору типа эксперимента: естественный («дублирующий реальный мир»), искусственный (расширяющий реальный мир) или лабораторный.

Необходимо различать системы теоретических утверждений, предполагающих, что они относятся к миру реальности (для психологических теорий это мир субъективной или психологической реальности), и утверждений, не ставящих целью соотнести мир теории и эмпирии (как онтологическую реальность, если использовать терминологию П. Фресса и Ж. Пиаже). Это различие может касаться позиции автора: «Если моя теория несовместима с миром реальности, то она — реальность — должна быть хуже». Это может быть следствием того, что сформулированные психологические конструкты не согласуются на уровне экспериментальных данных. При рассмотрении свойств экспериментального метода речь идет о другом — о способности эмпирически оценить теоретические причинные объяснения.

В экспериментальном методе исследование строится таким образом, чтобы отвергнуть неадекватные объяснения или «ложные» теории как не соответствующие эмпирически установленным зависимостям. Чаще всего различие между продуктивным теоретизированием и псевдотеоретизированием связано с тем, что всегда необходим значительный «прорыв» в обобщении, чтобы связать закономерности, обнаруженные при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей, хотя бы через гипотетические конструкты. Только содержательное обсуждение связи между переменными, установленной в каузальной гипотезе, с учетом объяснительных принципов, сложившихся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической нагрузке», психологических концепций, стоящих за изучаемыми переменными и зависимостями. Анализ эмпирической нагрузки гипотез, вытекающих из теории, играет существенную роль в качестве «ограничителя» для утверждения псевдозаконов.

Понятие валидности конструкта включает в себя актуальный аспект оценки правильности экспериментального дизайна: насколько обоснованным был переход от представленных в теоретической гипотезе понятий — психологических конструктов к их эмпирическим репрезентациям в виде NP, ST, DP, а также насколько объяснение установленной зависимости действительно следует из представленной автором теории. Еще до выбора конкретных методов или уже при их обосновании экспериментатор совершает тот «прорыв» в обобщении (от теории к эмпирике), который связан с разнообразными экспериментальными воплощениями универсальных утверждений. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать различные модели возникновения и регуляции изучаемых явлений, т.е. всегда возникает вопрос об авторской позиции, стоящей за используемой психологической концепцией. От этой позиции во многом зависит, как будут заданы переменные на уровне экспериментальных и контргипотез.

Оценка

Проблема возможных множественных интерпретаций одной и той же экспериментальной зависимости, рассмотренная ранее, охватывает другой аспект валидности конструкта, а именно, насколько валидным выглядит введение автором гипотетических конструктов в причинно-следственную зависимость в качестве объяснения связи между НП и СТ. Хорошо известно, что отсутствие сильных конкурирующих объяснений является третьим условием причинного вывода. В действительности конкурирующие объяснения всегда остаются, вопрос лишь в том, насколько более обоснованной кажется авторская интерпретация по сравнению с другими объяснениями одной и той же установленной зависимости. Очевидно, что эта оценка является содержательной, а не просто формально-логической (которую также следует рассматривать как проявление логической компетентности автора). Уже принятие той или иной позиции может обозначить предвзятость экспериментатора, но оценка валидности конструкта не может быть тем более предвзятой, поскольку связана с отражением в гипотезе накопленных знаний об изучаемой реальности.

Проблема заключается не в различии между старыми и новыми гипотезами, которые в той или иной степени поддерживаются эмпирическими аргументами. V. Налимов назвал эту проблему одним из парадоксов в понимании развития науки вслед за К. Поппером. Кажется парадоксальным, что новая гипотеза, в пользу которой существует меньше теоретических и эмпирических аргументов, со временем вытесняет старую, которая, как правило, лучше подтверждается проведенными исследованиями. Проблема заключается в том, как автор может заставить предполагаемого профессионального читателя исследовательского отчета признать, что автор достоверно представил теоретически подразумеваемые конструкты на уровне эмпирической реальности, а не вольно или невольно заменил их другими.

Таким образом, оценка валидности перехода от уровня теоретических предложений к уровню экспериментальных и контргипотез — это вопросы конструктивной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и контроля) — это вопросы операциональной валидности. Если обобщение зависимости предполагает ее перенос на «реальные», т.е. реально существующие типы человеческих ситуаций и деятельности, то это и есть решение проблем приспособления переменных с точки зрения внешней или, как ее теперь иногда называют, экологической валидности.

Оценка операциональной валидности включает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического оформления. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована с совершенно разными «техническими» или операционными проявлениями контрольных и измерительных переменных.

Популяционные гипотезы, направленные на обобщение на конкретные группы людей и целые популяции, могут быть оценены с помощью ментальной выборки, но не поддаются ментальной проверке. Эти дополнительные переменные, которые должны учитываться исследователем в целях обобщения, не дают обоснования условий необходимости или достаточности, связанных с представлением в реальном поведении человека или в реальных ситуациях механизмов, рассматриваемых в МЭ.

Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в контексте обсуждения формального дизайна как условия принятия решения об экспериментальных фактах. Разработка межгрупповых или внутрииндивидуальных схем направлена в первую очередь на обеспечение контроля внутренней валидности. Что касается стратегий отбора испытуемых в группы из популяций, то здесь также следует обсудить соотношение между внешней (популяционной) и внутренней валидностью, поскольку эти стратегии решают одновременно две проблемы: обеспечение репрезентативности выборки испытуемых и эквивалентности сравниваемых групп.

Конструктивная валидность и концептуальные репликации

Психологическая гипотеза, которая была эксплицирована или выведена как следствие теоретической концепции, может быть несколько изменена при повторной проверке, если меняются средства операционализации содержащихся в ней переменных. Когда необходимо раскрыть одну и ту же теоретически предположенную зависимость, но психологические конструкты инстанцируются различными методологическими средствами, это известно как концептуальная репликация. Таким образом, при многократном измерении зависимой переменной с использованием различных методик повышается достоверность утверждений о природе изучаемого процесса. Изменения в типах задания независимой переменной также расширяют диапазон обобщений наблюдаемой психологической закономерности. Важно, чтобы не нарушалась однозначная интерпретация самого психологического конструкта («мотивация достижения», «функциональные состояния», «гибкость — ригидность контроля» и т.д.).

На самом деле, одно и то же понятие часто используется в психологии для изучения глубинных процессов на разных уровнях, т.е. эксперименты с терминологически схожими формулировками гипотез имеют совершенно разные типы переменных. В качестве примера рассмотрим конструкт «импульсивность». Существует множество теоретических расхождений в обосновании процедур, претендующих на измерение переменной импульсивности как индивидуальной или личностной черты. Некоторые из них связывают импульсивность со снижением рациональности, функции планирования, отсутствием самоконтроля, то есть с одной из обобщенных особенностей человеческого поведения. Другие измеряют импульсивность как когнитивный стиль. Другие настаивают на связи импульсивности с особенностями темперамента. Допустим, что авторы находятся в рамках сходных методологических подходов к пониманию личности, например, с позиции теории черт, но даже в этом случае трудно достичь согласия относительно того, что является психологической реальностью, соответствующей данной черте.

По мнению Г. Айзенка, необходимо различать черты личности, понимаемые как проявления поведения в строго ограниченных областях, и типы или измерения личности, которые связаны с проявлением значимых форм поведения в более общем виде. Черта Импульсивность отличается тем, что занимает промежуточное положение в иерархии личностных черт между этими двумя уровнями. Он включает в себя 4 фактора: стремление к риску, снижение или отсутствие планирования, живость реакции и «узкая импульсивность». Существенно, что благодаря структуре этого «гибрида» Г. Айзенк соглашается с одним из утверждений, вытекающих из результатов исследования Р. Кеттелла: с правомерностью взаимных корреляций между различными шкалами, выделяемыми в теориях черт.

Впоследствии термин «импульсивность» претерпел следующие изменения в совместной работе Ганса и Сибил Айзенк. Во-первых, «импульсивность» была включена вместе с «общительностью» и «живостью» как часть фактора «экстраверсия». Затем, из-за выделения «психотизма» как фактора второго порядка, было проведено различие между «склонностью к риску», которая связана с экстраверсией, и «импульсивностью» в более узком смысле, которая более тесно связана с «психотизмом» (импульсивностью в широком смысле). Попытка выделить «склонность к риску» и «узкую импульсивность» в качестве отдельных шкал оказалась по-разному успешной для женской и мужской выборок.

Таким образом, существует достаточно возможностей для уточнения психологического конструкта «импульсивность» даже в рамках одного исходного понятия. Обобщение для проверки гипотез, связанных с переменной импульсивности, должно учитывать внешние и внутренние детерминанты, которые были определены для этой черты.

Особенности оценки достоверности лабораторного эксперимента

Особым случаем является обобщение, которое предполагает организацию «очищенных» условий в эксперименте для проверки так называемых точных гипотез. Обычно это функция лабораторных экспериментов: получение данных в условиях, соответствующих причинно-следственным связям в специально сформулированной модели, чтобы эмпирически оценить объяснительную силу этой теоретической модели. Теоретические обобщения, однако, относятся не только к линии рассуждений типа «эксперимент — модель — теория». Оценка силы определенных обобщений выявляется также при анализе свойств самой теории — относящейся к «миру теорий» (а не к миру «психологической реальности»). Независимо от того, моделирует ли эксперимент ситуацию, которая отражает теоретическую модель или модель «внешнего мира», оценивается как объяснительная сила предложения, сформулированного в качестве экспериментальной гипотезы, так и возможность перехода от теории как объяснительной системы к этому эмпирически нагруженному предложению. ЭГ как эмпирическая гипотеза будет включать переменные, которые можно не только наблюдать, но и измерять (по той или иной шкале).

Конструктивная валидность обсуждается во всех типах экспериментов с научной целью как адекватность перехода от научной гипотезы к экспериментальной гипотезе или от «рабочей» к интерпретационной теоретической гипотезе. Обсуждение вопросов операциональной валидности включает фазу перехода от уже сформулированных экспериментальных и контргипотез к методологическим процедурам реализации в экспериментальной модели или ситуации. Р. Готтсданкер рассматривает понятие операциональной валидности только применительно к такому типу эксперимента, как лабораторный эксперимент. В этом случае два этапа развития методологических процедур, упомянутых выше, не различаются, поскольку предполагается, что психологический конструкт представлен в том, как он измеряется. Это может быть обосновано, с одной стороны, несводимостью обобщенного понятия к его эмпирическому содержанию, а с другой — возможной неспецифичностью методологических показателей.

В целом, считается, что валидность эксперимента подразумевает все формы экспериментального контроля, направленные на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основой для надежных выводов, если в целом реализована логически обоснованная система умозаключений, включающая взаимные переходы между различными уровнями гипотез, проверяемых в эксперименте. Если все возможные или очевидные угрозы внутренней и внешней валидности контролируются, а проблемы операционализации и сопоставления переменных хорошо решены, то такой эксперимент считается валидным или «правильным». Valid — валидные или «правильные» — выводы могут быть сделаны из правильно поставленного эксперимента, что означает, что в нем нет ошибок обобщения или умозаключения, но ошибки в умозаключениях возможны.

Ошибки в выводах или ненадежные заключения возможны как из-за неправильных обобщений, так и из-за недействительных экспериментов. Поэтому понимание экспериментирования как сенсорно-объективной деятельности ученого не должно ограничиваться описанием и оценкой того, как операционализируются переменные или как они регистрируются. Формулировка системы гипотез, оценка достоверности эксперимента и реализация выводов относятся к нормативным или нормативно-правовым регуляторам этой деятельности.

Выбор определенной формы эксперимента связан с разработкой того или иного экспериментального дизайна (как схемы сбора данных в различных условиях НП) и с другими видами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительное варьирование» переменных, введение расширенной переменной и т.д.). Решение проблем дизайна в данном случае означает «прописывание» эксперимента в системе классификаций типов экспериментов и типов экспериментальных дизайнов. Это, в свою очередь, позволяет очертить возможности и ограничения следующих выводов.

Именно предположениями о возможностях последующих обобщений руководствуется исследователь при планировании содержания и формы экспериментов. Таким образом, проблема вывода и обобщения решается в два достаточно отдаленных этапа — мысленное планирование экспериментальных конструкций и процедур и обоснование выводов на основе результатов уже проведенного исследования. В реальных экспериментальных исследованиях это соответствует двухэтапному обобщению: в виде исходных предположений о характере зависимости между НП и БП и в виде окончательных выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, субъектов и т.д.).

На странице курсовые работы по психологии вы найдете много готовых тем для курсовых по предмету «Психология».

Здесь темы рефератов по психологии

Читайте дополнительные лекции: