Провести на каждом испытуе1
из выборки тест в сжатые сроки (чтобы устранить иррелевантный {
брос, вызванный внешними событиями, происшедшими за время об<
дования).
2. Произвести группировку <сырых> баллов с учетом выбран
интервала квантования (интервала равнозначности). Интервал oi
деляется величиной W/m, где W=Xma-x- Xmin - размах; m - кол]
ство интервалов равнозначности (градаций шкалы).
3. Построить распределение частот тестовых баллов (для задан
STR.67
интервалов равнозначности) в виде таблицы и в виде соответствую-
.щих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонений, а также
асимметрии и эксцесса с помощью компьютера. Проверить гипотезы о
значимости асимметрии и эксцесса. Сравнить результаты проверки с
визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений с
помощью критерия Колмогорова (при п<200 с помощью более мощ-
ных критериев) или произвести процентильную .нормализацию с пере-
водом в стандартную шкалу, а также линейную стандартизацию и
сравнить их результаты (с точностью до целых значений стандартных
<очков).
6. Если совпадения не будет - нормальность отвергается, тогда
произвести проверку устойчивости распределения расщеплением вы-
борки на две случайные половины. При совпадении нормализованных
баллов для половины и для целой выборки считать нормализованную
шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьи-
.рованию заданного популяционного признака (пол, профессия и т. п.)
-с помощью критерия Колмогорова. Построить в совмещенных коорди-
натах графики гистограммы и кумуляты для полной и частной выбо-
рок. При значимых различиях разбить выборку на разнородные под-
выборки.
8. Построить таблицы процентильных и нормализованных тестовых
.норм (для каждого интервала равнозначности <сырого> балла). При
наличии разнородных подвыборок для каждой Подвыборки должна
быть своя таблица.
9. Определить критические точки (верхнюю и нижнюю) для дове-
рительных интервалов (на уровне Р<0,01) с учетом стандартной
ошибки в определении среднего значения.
10. Обсудить конфигурацию полученных распределений с учетом
предполагаемого механизма решения того или иного теста.
II. В случае негативных результатов - отсутствия устойчивых
<орм для шкалы с заданным числом градаций (с заданной точностью
прогноза критериальной деятельности) - осуществить обследование
<)олее широкой выборки или отказаться от плана использования данно-
го теста.
3.2. НАДЕЖНОСТЬ ТЕСТА
В дифференциальной психометрике проблемы валидности и надеж-
ности тесно взаимосвязаны, тем не менее мы последуем традиции раз-
дельного изложения методов проверки этих важнейших психометриче-
ских свойств теста.
Надежность и точность. Как уже отмечалось в 3.1, общий раз-
брос (дисперсию) результатов произведенных измерений можно пред-
ставить как результат суммации двух источников разнообразия: само-
го измеряемого свойства и нестабильности измерительной процедуры,
обусловливающей наличие ошибки измерения. Это представление вы-
ражено в формуле, описывающей надежность теста в виде отношения
истинной .дисперсии к дисперсии эмпирически зарегистрированных
баллов:
i.
s
(3.2.1)
67
STR.68
Так как истинная дисперсия и дисперсия ошибки связаны очевид-
ным соотношением, формула (3.2,1) легко преобразуется в формулу
Рюлона:
(3.2.2)
Одиее
распределение
Распределение 1 Распределение
эмпирическом / инШидумьнвго
среднего ~\ /~\\Вчта
где а - надежность теста; S - дисперсия ошибки;
Si - дисперсия теста (эмпирическая);
S - истинная дисперсия (дисперсия измеряемого свойства).
Величина ошибки измерения - обратный индикатор точности из-
мерения. Чем выше ошибка, тем шире диапазон неопределенности на
шкале (доверительный интервал индивидуального балла), внутри ко-
торого оказывается статистически
возможной локализация истинного
балла данного испытуемого. Таким
образом, для проверки гипотезы о зна-
чимости отличия балла испытуемого
от среднего значения оказывается не-
достаточным только оценить ошибку
среднего, нужно еще оценить ошибку
измерения, обусловливающую разбро
в положении индивидуального балла
Возникает картина, схематически пред
ставленная на рис. 7.
Как же определить ошибку изм(
рения? На помощь приходят коррел?
ционные методы, позволяющие опр<
делить точность (надежность) чер(
устойчивость и согласованность р
зультатов, получаемых как на ypoal
целого теста, так и на уровне о
дельных его пунктов.
Рис. 7. Соотношение общего распре-
деления, распределения индивиду-
ального балла и распределения эм-
пирического среднего: Sm-стан-
дартное отклонение эмпирического
среднего, S" - стандартное отклоне-
ние (дисперсия) ошибки
Надежность целого теста. 1. Надежность-устойчивость (ретестов
надежность). Измеряется с помощью повторного проведения теста
той же выборке испытуемых, обычно через две недели после первс
тестирования. Для интервальных шкал подсчитывается хорошо изве
ный коэффициент корреляции произведения моментов Пирсона:
ltst
2х112х21
"12=
Vi - (2х1 In) (2х1, - (2x")2/n)
где хц - тестовый балл i-того испытуемого при первом измере1
X2i - тестовый балл того же испытуемого при повторном и:
рении;
ч - количество испытуемых.
Оценка значимости этого коэффициента основывается на неско.
иной логике, чем это обычно делается при проверке нулевой гипотез
о равенстве корреляций нулю. Высокая надежность достигается т(
когда дисперсия ошибки оказывается пренебрежительно малой. С
сительную долю дисперсии ошибки легко установить из формулы
STR.69
=--i-- (3.2.4)
"
Таким образом, для нас существеннее близость к единице, а не от-
даленность от нуля. Обычно в тестологической практике редко удает-
ся достичь коэффициентов, превышающих 0,7-0,8. При г==0,75 относи-
тельная доля стандартной ошибки равна 1-0,75 == 0,5. Этой ошиб-
кой, очевидно, нельзя пренебречь. При такой ошибке эмпирически по-
лученное отклонение индивидуального тестового балла от среднего по
выборке оказывается, как правило, завышенным. Для того чтобы вы-
яснить <истинное> значение тестового балла индивида, применяется
формула
x>=rXi+\\- r)x, (3.2.4.1)
где Xw - истинный балл;
х, - эмпирический балл i-того испытуемого;
т - эмпирически измеренная надежность теста;
х - среднее для теста.
Предположим, испытуемый получил балл ZQ по шкале Стэнфор-
да - Вине, равный 120 нормализованным очкам, М==100, г==0,9. Тог-
да истинный балл будет равен: Хоо=0,90Х120+0,10Х100=118.
Конечно, требование ретестовой надежности является корректным
лишь по отношению к таким психическим характеристикам индивидов,
которые сами являются устойчивыми во времени. Если мы строим
тест для измерения эмоциональных состояний (бодрости, тревоги
и т. д.), то, очевидно, требовать от него ретестовой надежности бес-
смысленно: у испытуемых быстрее изменится состояние, чем они за>
будут свои ответы по первому тестированию.
Для шкал порядка в качестве меры устойчивости к перетестирова-
нию используется коэффициент ранговой корреляции Спирмена:
Р=1- \. (3.2.5)
п (-i)
где di - разность рангов i-того испытуемого в первом и втором ранго-
вом ряду.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133
из выборки тест в сжатые сроки (чтобы устранить иррелевантный {
брос, вызванный внешними событиями, происшедшими за время об<
дования).
2. Произвести группировку <сырых> баллов с учетом выбран
интервала квантования (интервала равнозначности). Интервал oi
деляется величиной W/m, где W=Xma-x- Xmin - размах; m - кол]
ство интервалов равнозначности (градаций шкалы).
3. Построить распределение частот тестовых баллов (для задан
STR.67
интервалов равнозначности) в виде таблицы и в виде соответствую-
.щих графиков гистограммы и кумуляты.
4. Произвести расчет среднего и стандартного отклонений, а также
асимметрии и эксцесса с помощью компьютера. Проверить гипотезы о
значимости асимметрии и эксцесса. Сравнить результаты проверки с
визуальным анализом кривых распределения.
5. Произвести проверку нормальности одного из распределений с
помощью критерия Колмогорова (при п<200 с помощью более мощ-
ных критериев) или произвести процентильную .нормализацию с пере-
водом в стандартную шкалу, а также линейную стандартизацию и
сравнить их результаты (с точностью до целых значений стандартных
<очков).
6. Если совпадения не будет - нормальность отвергается, тогда
произвести проверку устойчивости распределения расщеплением вы-
борки на две случайные половины. При совпадении нормализованных
баллов для половины и для целой выборки считать нормализованную
шкалу устойчивой.
7. Проверить однородность распределения по отношению к варьи-
.рованию заданного популяционного признака (пол, профессия и т. п.)
-с помощью критерия Колмогорова. Построить в совмещенных коорди-
натах графики гистограммы и кумуляты для полной и частной выбо-
рок. При значимых различиях разбить выборку на разнородные под-
выборки.
8. Построить таблицы процентильных и нормализованных тестовых
.норм (для каждого интервала равнозначности <сырого> балла). При
наличии разнородных подвыборок для каждой Подвыборки должна
быть своя таблица.
9. Определить критические точки (верхнюю и нижнюю) для дове-
рительных интервалов (на уровне Р<0,01) с учетом стандартной
ошибки в определении среднего значения.
10. Обсудить конфигурацию полученных распределений с учетом
предполагаемого механизма решения того или иного теста.
II. В случае негативных результатов - отсутствия устойчивых
<орм для шкалы с заданным числом градаций (с заданной точностью
прогноза критериальной деятельности) - осуществить обследование
<)олее широкой выборки или отказаться от плана использования данно-
го теста.
3.2. НАДЕЖНОСТЬ ТЕСТА
В дифференциальной психометрике проблемы валидности и надеж-
ности тесно взаимосвязаны, тем не менее мы последуем традиции раз-
дельного изложения методов проверки этих важнейших психометриче-
ских свойств теста.
Надежность и точность. Как уже отмечалось в 3.1, общий раз-
брос (дисперсию) результатов произведенных измерений можно пред-
ставить как результат суммации двух источников разнообразия: само-
го измеряемого свойства и нестабильности измерительной процедуры,
обусловливающей наличие ошибки измерения. Это представление вы-
ражено в формуле, описывающей надежность теста в виде отношения
истинной .дисперсии к дисперсии эмпирически зарегистрированных
баллов:
i.
s
(3.2.1)
67
STR.68
Так как истинная дисперсия и дисперсия ошибки связаны очевид-
ным соотношением, формула (3.2,1) легко преобразуется в формулу
Рюлона:
(3.2.2)
Одиее
распределение
Распределение 1 Распределение
эмпирическом / инШидумьнвго
среднего ~\ /~\\Вчта
где а - надежность теста; S - дисперсия ошибки;
Si - дисперсия теста (эмпирическая);
S - истинная дисперсия (дисперсия измеряемого свойства).
Величина ошибки измерения - обратный индикатор точности из-
мерения. Чем выше ошибка, тем шире диапазон неопределенности на
шкале (доверительный интервал индивидуального балла), внутри ко-
торого оказывается статистически
возможной локализация истинного
балла данного испытуемого. Таким
образом, для проверки гипотезы о зна-
чимости отличия балла испытуемого
от среднего значения оказывается не-
достаточным только оценить ошибку
среднего, нужно еще оценить ошибку
измерения, обусловливающую разбро
в положении индивидуального балла
Возникает картина, схематически пред
ставленная на рис. 7.
Как же определить ошибку изм(
рения? На помощь приходят коррел?
ционные методы, позволяющие опр<
делить точность (надежность) чер(
устойчивость и согласованность р
зультатов, получаемых как на ypoal
целого теста, так и на уровне о
дельных его пунктов.
Рис. 7. Соотношение общего распре-
деления, распределения индивиду-
ального балла и распределения эм-
пирического среднего: Sm-стан-
дартное отклонение эмпирического
среднего, S" - стандартное отклоне-
ние (дисперсия) ошибки
Надежность целого теста. 1. Надежность-устойчивость (ретестов
надежность). Измеряется с помощью повторного проведения теста
той же выборке испытуемых, обычно через две недели после первс
тестирования. Для интервальных шкал подсчитывается хорошо изве
ный коэффициент корреляции произведения моментов Пирсона:
ltst
2х112х21
"12=
Vi - (2х1 In) (2х1, - (2x")2/n)
где хц - тестовый балл i-того испытуемого при первом измере1
X2i - тестовый балл того же испытуемого при повторном и:
рении;
ч - количество испытуемых.
Оценка значимости этого коэффициента основывается на неско.
иной логике, чем это обычно делается при проверке нулевой гипотез
о равенстве корреляций нулю. Высокая надежность достигается т(
когда дисперсия ошибки оказывается пренебрежительно малой. С
сительную долю дисперсии ошибки легко установить из формулы
STR.69
=--i-- (3.2.4)
"
Таким образом, для нас существеннее близость к единице, а не от-
даленность от нуля. Обычно в тестологической практике редко удает-
ся достичь коэффициентов, превышающих 0,7-0,8. При г==0,75 относи-
тельная доля стандартной ошибки равна 1-0,75 == 0,5. Этой ошиб-
кой, очевидно, нельзя пренебречь. При такой ошибке эмпирически по-
лученное отклонение индивидуального тестового балла от среднего по
выборке оказывается, как правило, завышенным. Для того чтобы вы-
яснить <истинное> значение тестового балла индивида, применяется
формула
x>=rXi+\\- r)x, (3.2.4.1)
где Xw - истинный балл;
х, - эмпирический балл i-того испытуемого;
т - эмпирически измеренная надежность теста;
х - среднее для теста.
Предположим, испытуемый получил балл ZQ по шкале Стэнфор-
да - Вине, равный 120 нормализованным очкам, М==100, г==0,9. Тог-
да истинный балл будет равен: Хоо=0,90Х120+0,10Х100=118.
Конечно, требование ретестовой надежности является корректным
лишь по отношению к таким психическим характеристикам индивидов,
которые сами являются устойчивыми во времени. Если мы строим
тест для измерения эмоциональных состояний (бодрости, тревоги
и т. д.), то, очевидно, требовать от него ретестовой надежности бес-
смысленно: у испытуемых быстрее изменится состояние, чем они за>
будут свои ответы по первому тестированию.
Для шкал порядка в качестве меры устойчивости к перетестирова-
нию используется коэффициент ранговой корреляции Спирмена:
Р=1- \. (3.2.5)
п (-i)
где di - разность рангов i-того испытуемого в первом и втором ранго-
вом ряду.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133