A. Katzell, 1968). Ошибки могут возникнуть также, если сравниваются
этнические выборки, сформированные из людей различной социальной
и профессиональной принадлежности. В таких случаях, по всей вероятно-
сти, смешиваются этнические и социально-профессиональные факторы
(J.J. Kirkpatrick et aL, 1968).
Трудности часто вытекают из того, что число испытуемых значи-
тельно меньше в выборке меньшинств, чем в выборке большинства. При
этих условиях один и тот же коэффициент валидности может оказаться
статистически значимым для выборки большинства и незначимым для
выборки меньшинств. Для группы в 100 человек, например, коэффициент
корреляции 0,27 значим на уровне 0,01, тогда как при 30 испытуемых тот
же коэффициент далек от минимальной значимости даже на уровне 0,05.
По этой причине следует определять не значимость валидности раздель-
но для каждой группы, а оценивать значимость разности между двумя
коэффициентами валидности (Standards..., 1974, ?9). В противном случае
можно легко доказать, что тест валиден, скажем, для белых и не валиден
для негров. Для этого требуется лишь, чтобы выборка белых была до-
статочно велика, а выборка негров-достаточно мала! Желательно по-
этому проверить на другой паре независимых выборок, действительно
ли валидность для первой группы больше, чем для второй.
Систематическая ошибка интерцепта. Даже когда тест обла-
дает одинаковой валидностью в двух группах, может иметь место систе-
матическая ошибка интерцепта. Интерцепт линии регрессии-это точка,
в которой она пересекает вертикальную ось. Систематическая ошибка
интерцепта означает, что тест систематически завышает или занижает
значение критерия для частной группы. Вернемся к рис. 21. В случае
1 выборки меньшинства и большинство имеют идентичную регрессию.
В этих условиях нет ни ошибки наклона, ни ошибки интерцепта, хотя
группы значимо отличаются друг от друга и по среднему результату те-
ста, и по критериальному показателю. В случае 3 линии регрессии двух
групп имеют один и тот же наклон, но разные интерцепты. Здесь
у группы большинства {В) более высокий интерцепт, чем у группы мень-
шинства {А), т. е. линия регрессии большинства пересекает ось Y выше,
чем линия регрессии меньшинства. Несмотря на то что коэффициент ва-
лидности для обеих групп один и тот же, тестовый результат Х будет
для них соответствовать различным критериальным показателям - Уд
и YB.
Таким образом, один и тот же тестовый результат для этих групп
имеет разное прогнозирующее значение. В этих обстоятельствах средний
показатель большинства, как и в случае 1, превышает средний показа-
тель меньшинства как по тесту, так и по критерию. Но ввиду различия
интерцептов применение линии регрессии большинства привело бы к за
амшснию кпитепиальных показателей членов группы меньшинства. Если
178 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
его применение поставит группу меньшинства в более благоприятные ус-
ловия. Систематическая ошибка интерцептаозначает, что группа с более
высоким интерцептом находится в менее выгодных условиях.
Психологи, которые озабочены возможной неблагоприятностью те-
стов для меньшинств, имеют в виду случай 4 из рис. 21. Заметим, что
здесь большинство показывает более высокие результаты в тесте, но
и большинство, и меньшинства равны по критерию. Теперь уже у мень-
шйнств более высокий интерцепт. Отбор всех претендентов с помощью
проходного минимума, установленного для большинства, будет озна-
чать, что меньшинство попадает в неблагоприятные условия. В этих ус-
ловиях использование линии регрессии большинства для обеих групп
приводит к недооценке критериальных показателей членов группы мень-
шинства. Такая ситуация, по-видимому, может возникнуть, когда значи-
тельная часть дисперсии теста безотносительна к прогнозируемому кри-
терию и определяется функциями, в которых большинство превосходит
меньшинство. Полный анализ выполняемой работы и удовлетворитель-
ная валидность теста являются гарантией против такого рода явлений.
Математические расчеты показывают (R.R. Reilly, 1973), что случай
3 имеет место, если обе группы отличаются по третьей переменной (на-
пример, по социокультурным традициям), которая положительно корре-
лирует как с тестом, так и с критерием. В этих условиях тест дает завы-
шенный прогноз для группы меньшинства и использование одного
и того же нормативного результата для обеих групп ставит меньшин-
ство в привилегированное положение. Этот теоретический результат
подтвердился эмпирически. Пользуясь преимущественно статистической
процедурой, разработанной X. Гулликсеном и С. С. Уилксом
(Н. Gulliksen, S.S. Wilks, 1950), ряд исследователей выявили наличие си-
стематической ошибки интерцепта при предсказании успеваемости в кол-
ледже (Т. A. Cleary, 1968; G. Temp, 1971), на юридическом факультете
(R.L. Linn, 1975), успешности выполнения программы подготовки армей-
ских и военно-воздушных сил (М.А. Gordon, 1953; М.Н. Maier,
C.W. Shore, R. Marion, 1972) и многочисленных производственных обя-
занностей (J.T.Campbell et aJ" 1973; D.L. Grant, D.W. Bray, 1970;
W. W. Ruch, 1972).
Интересно отметить, что те же результаты были получены при срав-
нении групп, распределенных по образовательному или социоэкономиче-
скому уровню. Армейская классификационная батарея завышала прогно-
зируемое выполнение программы обучения военной специальности для
тех, кто был отсеян из старших классов школы, и занижала его для вы-
пускников колледжей (М.Н. Maier, 1972). Заниженный прогноз по резуль-
татам тестов способности к обучению имел место для студентов, у ко-
торых профессиональное положение отцов было достаточно высоко,
и завышенный прогноз-для студентов, чьи отцы занимали более низкое
профессиональное положение (V. Н. Hewer, 1965). Во всех этих работах
сравнение групп с высокими и низкими результатами теста либо вообще
не обнаруживало разницы в интерцептах, либо выявляло в них неболь-
шую систематическую ошибку, ставившую группу с более низкими пока-
зателями в несколько лучшие условия.
Проблема систематической ошибки теста сложнее, чем она может
показаться при столь упрощенном изложении. Это область, в которую,
не имея серьезных статистических знаний, следует вторгаться с осторож-
ностью. Некоторые специалисты предложили птг"" -
179 АНАЛИЗ ЗАДАНИЙ
ния систематической ошибки теста, основанные не на прогнозируемых
критериальных показателях, а на проценте лиц в группах меньшинств
и большинства, превосходящих нормативные показатели теста и крите-
рия (N.S. Cole, 1972; R.L. Linn, 1973; F.L.Schmidt, J.E. Hunter, 1974;
R.L. Thorndike, 1971). Но другие исследователи, проводя сравнительную
оценку нескольких моделей систематической ошибки теста и поставив
под сомнение концептуальную и методическую обоснованность этих
процедур, сформулировали общую математическую модель отбора пер-
сонала, инвариантного относительно культуры (A. L. Gross, W.H.Su,
1975; N.S.Petersen, 1974; N.S.Petersen, M.R.Novick, 1976). На основе
теории решений в модели объединяются данные вероятности различных
исходов и субъективные оценки относительной полезности каждого из
них (принятие ненужного работника, непринятие нужного работника
и т.д.). Кроме того, доказывается, что не существует единой оптималь-
ной модели беспристрастного отбора, а предлагаемая модель лишь поз-
воляет применительно к определенным условиям сформулировать сгра-
тегию решений, максимизирующую ожидаемую общую полезность
сообразно конкретным целям тестирования и оценкам полезности раз-
личных исходов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
этнические выборки, сформированные из людей различной социальной
и профессиональной принадлежности. В таких случаях, по всей вероятно-
сти, смешиваются этнические и социально-профессиональные факторы
(J.J. Kirkpatrick et aL, 1968).
Трудности часто вытекают из того, что число испытуемых значи-
тельно меньше в выборке меньшинств, чем в выборке большинства. При
этих условиях один и тот же коэффициент валидности может оказаться
статистически значимым для выборки большинства и незначимым для
выборки меньшинств. Для группы в 100 человек, например, коэффициент
корреляции 0,27 значим на уровне 0,01, тогда как при 30 испытуемых тот
же коэффициент далек от минимальной значимости даже на уровне 0,05.
По этой причине следует определять не значимость валидности раздель-
но для каждой группы, а оценивать значимость разности между двумя
коэффициентами валидности (Standards..., 1974, ?9). В противном случае
можно легко доказать, что тест валиден, скажем, для белых и не валиден
для негров. Для этого требуется лишь, чтобы выборка белых была до-
статочно велика, а выборка негров-достаточно мала! Желательно по-
этому проверить на другой паре независимых выборок, действительно
ли валидность для первой группы больше, чем для второй.
Систематическая ошибка интерцепта. Даже когда тест обла-
дает одинаковой валидностью в двух группах, может иметь место систе-
матическая ошибка интерцепта. Интерцепт линии регрессии-это точка,
в которой она пересекает вертикальную ось. Систематическая ошибка
интерцепта означает, что тест систематически завышает или занижает
значение критерия для частной группы. Вернемся к рис. 21. В случае
1 выборки меньшинства и большинство имеют идентичную регрессию.
В этих условиях нет ни ошибки наклона, ни ошибки интерцепта, хотя
группы значимо отличаются друг от друга и по среднему результату те-
ста, и по критериальному показателю. В случае 3 линии регрессии двух
групп имеют один и тот же наклон, но разные интерцепты. Здесь
у группы большинства {В) более высокий интерцепт, чем у группы мень-
шинства {А), т. е. линия регрессии большинства пересекает ось Y выше,
чем линия регрессии меньшинства. Несмотря на то что коэффициент ва-
лидности для обеих групп один и тот же, тестовый результат Х будет
для них соответствовать различным критериальным показателям - Уд
и YB.
Таким образом, один и тот же тестовый результат для этих групп
имеет разное прогнозирующее значение. В этих обстоятельствах средний
показатель большинства, как и в случае 1, превышает средний показа-
тель меньшинства как по тесту, так и по критерию. Но ввиду различия
интерцептов применение линии регрессии большинства привело бы к за
амшснию кпитепиальных показателей членов группы меньшинства. Если
178 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
его применение поставит группу меньшинства в более благоприятные ус-
ловия. Систематическая ошибка интерцептаозначает, что группа с более
высоким интерцептом находится в менее выгодных условиях.
Психологи, которые озабочены возможной неблагоприятностью те-
стов для меньшинств, имеют в виду случай 4 из рис. 21. Заметим, что
здесь большинство показывает более высокие результаты в тесте, но
и большинство, и меньшинства равны по критерию. Теперь уже у мень-
шйнств более высокий интерцепт. Отбор всех претендентов с помощью
проходного минимума, установленного для большинства, будет озна-
чать, что меньшинство попадает в неблагоприятные условия. В этих ус-
ловиях использование линии регрессии большинства для обеих групп
приводит к недооценке критериальных показателей членов группы мень-
шинства. Такая ситуация, по-видимому, может возникнуть, когда значи-
тельная часть дисперсии теста безотносительна к прогнозируемому кри-
терию и определяется функциями, в которых большинство превосходит
меньшинство. Полный анализ выполняемой работы и удовлетворитель-
ная валидность теста являются гарантией против такого рода явлений.
Математические расчеты показывают (R.R. Reilly, 1973), что случай
3 имеет место, если обе группы отличаются по третьей переменной (на-
пример, по социокультурным традициям), которая положительно корре-
лирует как с тестом, так и с критерием. В этих условиях тест дает завы-
шенный прогноз для группы меньшинства и использование одного
и того же нормативного результата для обеих групп ставит меньшин-
ство в привилегированное положение. Этот теоретический результат
подтвердился эмпирически. Пользуясь преимущественно статистической
процедурой, разработанной X. Гулликсеном и С. С. Уилксом
(Н. Gulliksen, S.S. Wilks, 1950), ряд исследователей выявили наличие си-
стематической ошибки интерцепта при предсказании успеваемости в кол-
ледже (Т. A. Cleary, 1968; G. Temp, 1971), на юридическом факультете
(R.L. Linn, 1975), успешности выполнения программы подготовки армей-
ских и военно-воздушных сил (М.А. Gordon, 1953; М.Н. Maier,
C.W. Shore, R. Marion, 1972) и многочисленных производственных обя-
занностей (J.T.Campbell et aJ" 1973; D.L. Grant, D.W. Bray, 1970;
W. W. Ruch, 1972).
Интересно отметить, что те же результаты были получены при срав-
нении групп, распределенных по образовательному или социоэкономиче-
скому уровню. Армейская классификационная батарея завышала прогно-
зируемое выполнение программы обучения военной специальности для
тех, кто был отсеян из старших классов школы, и занижала его для вы-
пускников колледжей (М.Н. Maier, 1972). Заниженный прогноз по резуль-
татам тестов способности к обучению имел место для студентов, у ко-
торых профессиональное положение отцов было достаточно высоко,
и завышенный прогноз-для студентов, чьи отцы занимали более низкое
профессиональное положение (V. Н. Hewer, 1965). Во всех этих работах
сравнение групп с высокими и низкими результатами теста либо вообще
не обнаруживало разницы в интерцептах, либо выявляло в них неболь-
шую систематическую ошибку, ставившую группу с более низкими пока-
зателями в несколько лучшие условия.
Проблема систематической ошибки теста сложнее, чем она может
показаться при столь упрощенном изложении. Это область, в которую,
не имея серьезных статистических знаний, следует вторгаться с осторож-
ностью. Некоторые специалисты предложили птг"" -
179 АНАЛИЗ ЗАДАНИЙ
ния систематической ошибки теста, основанные не на прогнозируемых
критериальных показателях, а на проценте лиц в группах меньшинств
и большинства, превосходящих нормативные показатели теста и крите-
рия (N.S. Cole, 1972; R.L. Linn, 1973; F.L.Schmidt, J.E. Hunter, 1974;
R.L. Thorndike, 1971). Но другие исследователи, проводя сравнительную
оценку нескольких моделей систематической ошибки теста и поставив
под сомнение концептуальную и методическую обоснованность этих
процедур, сформулировали общую математическую модель отбора пер-
сонала, инвариантного относительно культуры (A. L. Gross, W.H.Su,
1975; N.S.Petersen, 1974; N.S.Petersen, M.R.Novick, 1976). На основе
теории решений в модели объединяются данные вероятности различных
исходов и субъективные оценки относительной полезности каждого из
них (принятие ненужного работника, непринятие нужного работника
и т.д.). Кроме того, доказывается, что не существует единой оптималь-
ной модели беспристрастного отбора, а предлагаемая модель лишь поз-
воляет применительно к определенным условиям сформулировать сгра-
тегию решений, максимизирующую ожидаемую общую полезность
сообразно конкретным целям тестирования и оценкам полезности раз-
личных исходов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132