Однако при проведении большинства педагогичес-
ких и социально-психологических экспериментов необходимо жест-
ко контролировать исходный уровень зависимой переменной, будь
то интеллект, тревожность, знания или статус личности в группе.
Рандомизация - лучшая процедура из возможных, но не дающая
абсолютной гарантии правильности выбора. Когда существуют со-
мнения в результатах рандомизации, применяют план с предвари-
тельным тестированием.
2. План для двух рандомизированных групп с предварительным
и итоговым тестированием. Рассмотрим структуру этого плана:
1. Экспериментальная группаR 0,ХО,
2. Контрольная группаR Оз 04
План с предварительным тестированием пользуется популяр-
ностью у психологов. Биологи больше доверяют процедуре рандо-
мизации. Психолог прекрасно знает, что каждый человек своеобра-
зен и отличен от других, и подсознательно стремится уловить эти
различия с помощью тестов, не доверяя механической процедуре ран-
домизации. Однако гипотеза большинства психологических иссле-
дований, особенно в области психологии развития ("формирующий
эксперимент"), содержит прогноз определенного изменения свой-
ства индивида под влиянием внешнего фактора. Поэтому план "тест -
воздействие - ретест" с рандомизацией и контрольной группой очень
распространен.
При отсутствии процедуры уравнивания групп этот план пре-
образуется в квазиэкспериментальный (он будет рассмотрен вразд.
5.2).
Главный источник артефактов, нарушающий внешнюю валид-
ность процедуры, - взаимодействие тестирования с эксперименталь-
ным воздействием. Например, тестирование уровня знаний по оп-
ределенному предмету, перед проведением эксперимента по заучи-
ванию материала, может привести к актуализации исходных знаний
и к общему повышению продуктивности запоминания. Достигается
это за счет актуализации мнемических способностей и создания ус-
тановки на запоминание.
Однако с помощью этого плана можно контролировать другие
внешние переменные. Контролируется фактор "истории" ("фона"),
так как в промежутке между первым и вторым тестированием обе
группы подвергаются одинаковым ("фоновым") воздействиям. Вмес-
те с тем Кэмпбелл отмечает необходимость контроля "внутригруп-
повых событий", а также эффекта неодновременности тестирова-
ния в обеих группах. В реальности невозможно добиться, чтобы тест
и ретест проводились в них одновременно. План превращается в
квазиэкспериментальный, например:
R О, Х О,
К 0, 04
Обычно контроль неодновременности тестирования осуществля-
ют два экспериментатора, проводящие тестирование двух групп
одновременно. Оптимальной считается процедура рандомизации по-
рядка тестирования: тестирование членов экспериментальной и кон-
трольной групп производится в случайном порядке. То же самое де-
лается и с предъявлением - не предъявлением экспериментального
воздействия. Разумеется, такая процедура требует значительной чис-
ленности экспериментальной и контрольной выборок (не менее 30-
35 человек в каждой).
Естественное развитие и эффект тестирования контролируются
за счет того, что они одинаково проявляются в экспериментальной
и контрольной группах, а эффекты состава групп и регрессии (Кэмп-
белл, 1980) - процедурой рандомизации.
Результаты применения плана "тест - воздействие - ретест"
представлены в 4-клеточной таблице 2х2:
При обработке данных обычно используются параметрические
критерии t и F (для данных в интервальной шкале). Вычисляются
три значения t: сравнение 1) 0, и Оу 2) 0" и 0 3) 0 и 0. Гипотезу о
значимом влиянии независимой переменной на зависимую можно
принять в том случае, если выполняются два условия: а) различия
между 0 и 0 значимы, а между 0, и 0"- незначимы и б) различия
между 0 и 0 значимы. Гораздо удобнее сравнивать не абсолютные
значения, а величины прироста показателей от первого тестирова-
ния ко второму ((,). Вычисляются 8 и 8 и сравниваются по t-кри-
терию Стьюдента. В случае значимости различий принимается экс-
периментальная гипотеза о влиянии независимой переменной на
зависимую.
ГруппаТест
1-и2-й
1-яО.02
2-я0,04
Рекомендуется также применять ковариационный анализ по Фи-
шеру. При этом показатели предварительного тестирования берутся
в качестве дополнительной переменной, а испытуемые разбиваются
на подгруппы в зависимости от показателей предварительного тес-
тирования. Тем самым получается следующая таблица для обработ-
ки данных по методу MANOVA:
ГруппаУровень
Эксперимент12..... п
Oi0, .....0,
Контроль0,,.,0 0..
Применение плана "тест - воздействие - ретест" позволяет кон-
тролировать влияние "побочных" переменных, нарушающих внут-
реннюю валидность.
Внешняя валидность связана с возможностью переноса данных
на реальную ситуацию. Главным же моментом, отличающим экспе-
риментальную ситуацию от реальной, является введение предвари-
тельного тестирования. Как мы уже отметили, план "тест - воздей-
ствие - ретест" не позволяет контролировать эффект взаимодейст-
вия тестирования и экспериментального воздействия: предваритель-
но тестируемый испытуемый "сенсибилизируется" - становится
более чувствительным к воздействию, так как мы измеряем в экспе-
рименте именно ту зависимую переменную, на которую собираемся
воздействовать с помощью варьирования независимой переменной.
136
Х
Х
Для контроля внешней валидности используется план Р.Л.Соло-
мона, который был предложен в 1949 г.
3. План Соломона для четырех групп. Этот план объединил два
ранее рассмотренных плана.
1. Эксперимент 1: R О,
2. Контроль 1: R 0
3. Эксперимент 2: R
4. Контроль 2: R
План включает две экспериментальные и две контрольные группы
и по сути является мультигрупповым (типа 2 х 2), но для удобства
изложения он рассматривается в этом разделе.
План Соломона представляет собой объединение двух планов:
первого, когда не производится предварительного тестирования, и
второго - "тест - воздействие - ретест". С помощью "первой час-
ти" плана можно контролировать эффект взаимодействия первого
тестирования и экспериментального воздействия. Соломон с по-
мощью своего плана выявляет эффект экспериментального воздей-
ствия четырьмя разными способами: при сравнении 1)0 -0; 2) 0 -
О,; 3) 0,-О, и 4) 0,-О,.
Если провести сравнение 0 с 0, и 0,, то можно выявить совмест-
ное влияние эффектов естественного развития и "истории" (фоно-
вых воздействий) на зависимую переменную.
Кэмпбелл, критикуя предложения Соломона по поводу схемы
обработки данных, предлагает не обращать внимания на предвари-
тельное тестирование и свести данные к схеме 2х 2, пригодную для
применения дисперсионного анализа.
ПредварительноеВоздействие
ДаНет
Есть020<
Нет0.0.
Сравнение средних по столбцам позволяет выявлять эффект экспе-
риментального воздействия - влияние независимой переменной на
зависимую. Средние по строкам показывают эффект предваритель-
ного тестирования. Сравнение средних по ячейкам характеризует
взаимодействие эффекта тестирования и экспериментального воз-
действия, что свидетельствует о мере нарушения внешней валиднос-
ти.
В том случае, когда эффектами предварительного тестирования
и взаимодействия можно пренебречь, переходят к сопоставлению О
и 0 методом ковариационного анализа.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77
ких и социально-психологических экспериментов необходимо жест-
ко контролировать исходный уровень зависимой переменной, будь
то интеллект, тревожность, знания или статус личности в группе.
Рандомизация - лучшая процедура из возможных, но не дающая
абсолютной гарантии правильности выбора. Когда существуют со-
мнения в результатах рандомизации, применяют план с предвари-
тельным тестированием.
2. План для двух рандомизированных групп с предварительным
и итоговым тестированием. Рассмотрим структуру этого плана:
1. Экспериментальная группаR 0,ХО,
2. Контрольная группаR Оз 04
План с предварительным тестированием пользуется популяр-
ностью у психологов. Биологи больше доверяют процедуре рандо-
мизации. Психолог прекрасно знает, что каждый человек своеобра-
зен и отличен от других, и подсознательно стремится уловить эти
различия с помощью тестов, не доверяя механической процедуре ран-
домизации. Однако гипотеза большинства психологических иссле-
дований, особенно в области психологии развития ("формирующий
эксперимент"), содержит прогноз определенного изменения свой-
ства индивида под влиянием внешнего фактора. Поэтому план "тест -
воздействие - ретест" с рандомизацией и контрольной группой очень
распространен.
При отсутствии процедуры уравнивания групп этот план пре-
образуется в квазиэкспериментальный (он будет рассмотрен вразд.
5.2).
Главный источник артефактов, нарушающий внешнюю валид-
ность процедуры, - взаимодействие тестирования с эксперименталь-
ным воздействием. Например, тестирование уровня знаний по оп-
ределенному предмету, перед проведением эксперимента по заучи-
ванию материала, может привести к актуализации исходных знаний
и к общему повышению продуктивности запоминания. Достигается
это за счет актуализации мнемических способностей и создания ус-
тановки на запоминание.
Однако с помощью этого плана можно контролировать другие
внешние переменные. Контролируется фактор "истории" ("фона"),
так как в промежутке между первым и вторым тестированием обе
группы подвергаются одинаковым ("фоновым") воздействиям. Вмес-
те с тем Кэмпбелл отмечает необходимость контроля "внутригруп-
повых событий", а также эффекта неодновременности тестирова-
ния в обеих группах. В реальности невозможно добиться, чтобы тест
и ретест проводились в них одновременно. План превращается в
квазиэкспериментальный, например:
R О, Х О,
К 0, 04
Обычно контроль неодновременности тестирования осуществля-
ют два экспериментатора, проводящие тестирование двух групп
одновременно. Оптимальной считается процедура рандомизации по-
рядка тестирования: тестирование членов экспериментальной и кон-
трольной групп производится в случайном порядке. То же самое де-
лается и с предъявлением - не предъявлением экспериментального
воздействия. Разумеется, такая процедура требует значительной чис-
ленности экспериментальной и контрольной выборок (не менее 30-
35 человек в каждой).
Естественное развитие и эффект тестирования контролируются
за счет того, что они одинаково проявляются в экспериментальной
и контрольной группах, а эффекты состава групп и регрессии (Кэмп-
белл, 1980) - процедурой рандомизации.
Результаты применения плана "тест - воздействие - ретест"
представлены в 4-клеточной таблице 2х2:
При обработке данных обычно используются параметрические
критерии t и F (для данных в интервальной шкале). Вычисляются
три значения t: сравнение 1) 0, и Оу 2) 0" и 0 3) 0 и 0. Гипотезу о
значимом влиянии независимой переменной на зависимую можно
принять в том случае, если выполняются два условия: а) различия
между 0 и 0 значимы, а между 0, и 0"- незначимы и б) различия
между 0 и 0 значимы. Гораздо удобнее сравнивать не абсолютные
значения, а величины прироста показателей от первого тестирова-
ния ко второму ((,). Вычисляются 8 и 8 и сравниваются по t-кри-
терию Стьюдента. В случае значимости различий принимается экс-
периментальная гипотеза о влиянии независимой переменной на
зависимую.
ГруппаТест
1-и2-й
1-яО.02
2-я0,04
Рекомендуется также применять ковариационный анализ по Фи-
шеру. При этом показатели предварительного тестирования берутся
в качестве дополнительной переменной, а испытуемые разбиваются
на подгруппы в зависимости от показателей предварительного тес-
тирования. Тем самым получается следующая таблица для обработ-
ки данных по методу MANOVA:
ГруппаУровень
Эксперимент12..... п
Oi0, .....0,
Контроль0,,.,0 0..
Применение плана "тест - воздействие - ретест" позволяет кон-
тролировать влияние "побочных" переменных, нарушающих внут-
реннюю валидность.
Внешняя валидность связана с возможностью переноса данных
на реальную ситуацию. Главным же моментом, отличающим экспе-
риментальную ситуацию от реальной, является введение предвари-
тельного тестирования. Как мы уже отметили, план "тест - воздей-
ствие - ретест" не позволяет контролировать эффект взаимодейст-
вия тестирования и экспериментального воздействия: предваритель-
но тестируемый испытуемый "сенсибилизируется" - становится
более чувствительным к воздействию, так как мы измеряем в экспе-
рименте именно ту зависимую переменную, на которую собираемся
воздействовать с помощью варьирования независимой переменной.
136
Х
Х
Для контроля внешней валидности используется план Р.Л.Соло-
мона, который был предложен в 1949 г.
3. План Соломона для четырех групп. Этот план объединил два
ранее рассмотренных плана.
1. Эксперимент 1: R О,
2. Контроль 1: R 0
3. Эксперимент 2: R
4. Контроль 2: R
План включает две экспериментальные и две контрольные группы
и по сути является мультигрупповым (типа 2 х 2), но для удобства
изложения он рассматривается в этом разделе.
План Соломона представляет собой объединение двух планов:
первого, когда не производится предварительного тестирования, и
второго - "тест - воздействие - ретест". С помощью "первой час-
ти" плана можно контролировать эффект взаимодействия первого
тестирования и экспериментального воздействия. Соломон с по-
мощью своего плана выявляет эффект экспериментального воздей-
ствия четырьмя разными способами: при сравнении 1)0 -0; 2) 0 -
О,; 3) 0,-О, и 4) 0,-О,.
Если провести сравнение 0 с 0, и 0,, то можно выявить совмест-
ное влияние эффектов естественного развития и "истории" (фоно-
вых воздействий) на зависимую переменную.
Кэмпбелл, критикуя предложения Соломона по поводу схемы
обработки данных, предлагает не обращать внимания на предвари-
тельное тестирование и свести данные к схеме 2х 2, пригодную для
применения дисперсионного анализа.
ПредварительноеВоздействие
ДаНет
Есть020<
Нет0.0.
Сравнение средних по столбцам позволяет выявлять эффект экспе-
риментального воздействия - влияние независимой переменной на
зависимую. Средние по строкам показывают эффект предваритель-
ного тестирования. Сравнение средних по ячейкам характеризует
взаимодействие эффекта тестирования и экспериментального воз-
действия, что свидетельствует о мере нарушения внешней валиднос-
ти.
В том случае, когда эффектами предварительного тестирования
и взаимодействия можно пренебречь, переходят к сопоставлению О
и 0 методом ковариационного анализа.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77