Рассмотрим случай, когда валидность теста
равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная
валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-
ствующим таблицам Тейлора-Расселла показывает, что процент успе-
хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и
в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при
базовом уровне 0,50 составит 25" тогда как при более крайних его зна-
чениях приращение меньше: соответственно II и 9Ї/,.
Поведение инкрементной валидноста при базовых уровнях, близких
к нулю или единице, представляет особый интерес для клинической пси-
хологии, где базовый уровень равен доле случаев патологии в тестируе-
мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,
A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-
пуляции имеется органическое поражение мозга, то базовый уровень для
данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-
го теста повысит точность диагностики, выигрыш будет максимальным,
если базовый уровень близок к 0,50. При низком базовом уровне, озна-
чающем крайне редкий патологический случай, инкрементная валидность
Таблица 14
Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-
дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)
ВалидностьИндекс отбора
1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95
0,000,690,600,600,600.600,600,600,600,600,600,60
0,050,640,630,630,620,620,620,610,610,610,600,60
0,100,680,670,650.640.640,630,620,610,610,610,60
0,150,710,700.680.670,660,650,640,630,620,610,61
0,200,750,730,710,690.670,660,650,640,630,620,61
0,250,780,760,730,710,690,680,660,650,630,620.61
0,300.820,790,760,730.710.690,680,660,640,620,61
0,350,850,820,780,750.730,710,690,670,650,630,62
0,400,880,850,810,780.750,730,700,680,660,630,62
0,450,900,870,830,800,770,740,720,690,660,640,62
0,500,930,900.860,820,790,760,730,700,670,640,62
0,550,950,920,880.840,810,780,750,710,680,640,62
0,600.960,940,900,870,830,800,760,730,690,650,63
0,650,980,960,920,890,850,820,780,740,700,650,63
0,700,990,970,940,910,870,840,800,750,710,660,63
0,750,990,990,960,930,900,860,810.770,710,660,63
0,801,000,990.980,950.920,880,830,780,720,660,63
0,851,001,000.990,970,950.910.860.800.730.660.63
0,901,001,001,000,990,970,940,880,820,740,670,63
0,951,001,001,001,000,990,970,920,840,750,670,63
1,001,001,001,001.001.001.001,000,860,750,670,63
158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
теста может оказаться настолько ничтожной, что его применение нельзя
будет считать оправданным, учитывая издержки, связанные с его приме-
нением и обработкой.
Когда редкое заболевание настолько серьезно, что необходим
срочный диагноз, на первом этапе цепи последовательных решений мож-
но применить тест с умеренной валидностью. Например, всех пациентов
можно проверить посредством легко осуществимого теста с невысокой
валидностью. Если нормативный результат установлен достаточно высо-
ким (высокие показатели вообще предпочтительней), то число неверных
отрицательных решений будет мало, а число ложных положительных
диагнозов, т.е. норма, диагностированная как патология, будет велико.
Последние затем могут быть выявлены при более интенсивном индиви-
дуальном обследовании получивших положительный диагноз. Такой
подход целесообразен, когда, например, имеющееся оборудование не по-
зволяет проводить интенсивного индивидуального обследования всех
случаев.
Отношение валидности к среднему уровню выработки. Во
многих практических ситуациях требуется оценить эффективность отбора
теста не по проценту лиц, справляющихся с работой, а по общей выра-
ботке тех, кто был принят. Каков реальный профессиональный уровень
работников, отобранных с помощью теста, по сравнению с теми, кто
был принят на работу без использования теста? После появления ра-
боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-
лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;
R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,
что ожидаемый прирост выработки прямо пропорционален валидности
теста. Так, эффект от применения теста с валидностью 0,50 составляет
50Їо того, который имел бы место при стопроцентной валидности.
Соотношение между валидностью теста и ожидаемым повышением
критериальных достижений видно из табл. 15\ в которой приведены
критериальные показатели, выраженные в виде стандартного показателя
сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-
ствующего выполнению деятельности работниками, принятыми без ис-
пользования данного теста, приводится в колонке нулевой валидности,
ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста
вообще. Покажем, как пользоваться этой таблицей. Предположим, при-
ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-
изводится с помощью теста, валидность которого равна 0,5. По табл. 15
находим, что средний уровень выработки в отобранной груйпе превы-
шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш
от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое
большим, чем при валидности 0,5. Подобная линейная зависимость
имеет место в пределах любой строки табл. 15. Например, при индексе
отбора 0,60 валидность 0,25 повышает средний критериальный показа-
тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.
Опять-таки удвоение валидности ведет к удвоению конечного результа-
та.
Судить о валидности теста с точки зрения среднего значения про-
Более подробную таблицу см. в работе Дж. Найлопа и Л ТТТяпча т r <;hin> in?c\
ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Q 000101~ОЮГ~-ОООГ1Г~-ОНГ1Г~-0
о oг~~д " " О" О" О О" О" О" О" О" О" О" О" О
О -
Щ о 00гГЧчOOOOt~-\0lrfftlч
О" 0" о" о" О" О" О" О" О" О" О" о" о"
о" о" о" о" о" о" о" о" о" о" о" о" о"
ffl ___
гt0oooo0""">oc~<ПООГОгН~~-0
О " О" О" О" О" О" О" О" О" О" О" О" О" О" О"
\с> "-1 l гч т сч 1-[> о 1-00 г 0 о г ос с 0
о" о" о О" О" О" О" О О" О" О" О" О"
1Г1 г ч О а\ 00 (--г--0 <э " о" о" о" о" о" о" о" о" о" о" о" о" о" о"
о огооооаооооооа-
1-г о. о оо оо г~-\о о <"о" О" о" о" О" О" О" О" о" о" о" о" о" о" о
И r<тггlагlt~-гlггг~-гчггloorlг-
"о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
r)гoofooгooгlcootг~
О О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О
l~- in [--С> 1-00 гО 00 "-I-О ч Г--г"1 0 v") \0
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
И о 00 Г-О с 00 гП 00 t О (М 00 1 00 О "
О и
S о о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
1 -
0t~~-OrlrlгnflГГтчOO
О" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о" о" о" о"
" Q OCГ~-01 О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
00
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
3 I "i
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
f)гfггггfч~oooo
S о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
s о
гч 1/-) т-ч оо г") 1-1 а\ оо t г т-< о оо г~~ vi "j г
о" о" о" о" о" о о" о" о" о" о" о" о" о" о" О" О" О" о"
О" о" о" о" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о"
S "00""-1 о 0 00 1~-0 0 Tf 1 c-j "-1
g" гчооооооооооо
- о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
-
000~OOr>llгOгltNCмч
000000000000000000
о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
5 йЯЯЯ SS ЯЯЯЯ
Q о о о о о о 000 .0 000000000
" о" о" о" о" о" о" о" о" о"- о" о" о" о" о" о" о" о" о" о"
VOIOIOIOVO>OVOVOO>
------ --- . . п г т~-оо оо 0 а\
160
ПРИНЦИПЫ ПСИХОЛОГИЧРСКОГО Т1-ГТИРОВАНИЯ
гнозируемой выработки или процента работников, нрсныснвших крите-
риальную норму, очевидно, намного полезнее, чем судить о ней на осно-
ве рассмотренной выше ошибки оценки. Причина в том, что ошибки
прогноза, не влияющие на решение, несущественны для ситуации отбора.
Например, если и Смит, и Джонс-хорошие работники и оба были
приняты на основании теста, то нет белы в том. что с тестом Смит спра-
вился лучше Джонса, тогда как по работе Джонс превосходит Смита.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная
валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-
ствующим таблицам Тейлора-Расселла показывает, что процент успе-
хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и
в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при
базовом уровне 0,50 составит 25" тогда как при более крайних его зна-
чениях приращение меньше: соответственно II и 9Ї/,.
Поведение инкрементной валидноста при базовых уровнях, близких
к нулю или единице, представляет особый интерес для клинической пси-
хологии, где базовый уровень равен доле случаев патологии в тестируе-
мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,
A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-
пуляции имеется органическое поражение мозга, то базовый уровень для
данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-
го теста повысит точность диагностики, выигрыш будет максимальным,
если базовый уровень близок к 0,50. При низком базовом уровне, озна-
чающем крайне редкий патологический случай, инкрементная валидность
Таблица 14
Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-
дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)
ВалидностьИндекс отбора
1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95
0,000,690,600,600,600.600,600,600,600,600,600,60
0,050,640,630,630,620,620,620,610,610,610,600,60
0,100,680,670,650.640.640,630,620,610,610,610,60
0,150,710,700.680.670,660,650,640,630,620,610,61
0,200,750,730,710,690.670,660,650,640,630,620,61
0,250,780,760,730,710,690,680,660,650,630,620.61
0,300.820,790,760,730.710.690,680,660,640,620,61
0,350,850,820,780,750.730,710,690,670,650,630,62
0,400,880,850,810,780.750,730,700,680,660,630,62
0,450,900,870,830,800,770,740,720,690,660,640,62
0,500,930,900.860,820,790,760,730,700,670,640,62
0,550,950,920,880.840,810,780,750,710,680,640,62
0,600.960,940,900,870,830,800,760,730,690,650,63
0,650,980,960,920,890,850,820,780,740,700,650,63
0,700,990,970,940,910,870,840,800,750,710,660,63
0,750,990,990,960,930,900,860,810.770,710,660,63
0,801,000,990.980,950.920,880,830,780,720,660,63
0,851,001,000.990,970,950.910.860.800.730.660.63
0,901,001,001,000,990,970,940,880,820,740,670,63
0,951,001,001,001,000,990,970,920,840,750,670,63
1,001,001,001,001.001.001.001,000,860,750,670,63
158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
теста может оказаться настолько ничтожной, что его применение нельзя
будет считать оправданным, учитывая издержки, связанные с его приме-
нением и обработкой.
Когда редкое заболевание настолько серьезно, что необходим
срочный диагноз, на первом этапе цепи последовательных решений мож-
но применить тест с умеренной валидностью. Например, всех пациентов
можно проверить посредством легко осуществимого теста с невысокой
валидностью. Если нормативный результат установлен достаточно высо-
ким (высокие показатели вообще предпочтительней), то число неверных
отрицательных решений будет мало, а число ложных положительных
диагнозов, т.е. норма, диагностированная как патология, будет велико.
Последние затем могут быть выявлены при более интенсивном индиви-
дуальном обследовании получивших положительный диагноз. Такой
подход целесообразен, когда, например, имеющееся оборудование не по-
зволяет проводить интенсивного индивидуального обследования всех
случаев.
Отношение валидности к среднему уровню выработки. Во
многих практических ситуациях требуется оценить эффективность отбора
теста не по проценту лиц, справляющихся с работой, а по общей выра-
ботке тех, кто был принят. Каков реальный профессиональный уровень
работников, отобранных с помощью теста, по сравнению с теми, кто
был принят на работу без использования теста? После появления ра-
боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-
лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;
R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,
что ожидаемый прирост выработки прямо пропорционален валидности
теста. Так, эффект от применения теста с валидностью 0,50 составляет
50Їо того, который имел бы место при стопроцентной валидности.
Соотношение между валидностью теста и ожидаемым повышением
критериальных достижений видно из табл. 15\ в которой приведены
критериальные показатели, выраженные в виде стандартного показателя
сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-
ствующего выполнению деятельности работниками, принятыми без ис-
пользования данного теста, приводится в колонке нулевой валидности,
ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста
вообще. Покажем, как пользоваться этой таблицей. Предположим, при-
ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-
изводится с помощью теста, валидность которого равна 0,5. По табл. 15
находим, что средний уровень выработки в отобранной груйпе превы-
шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш
от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое
большим, чем при валидности 0,5. Подобная линейная зависимость
имеет место в пределах любой строки табл. 15. Например, при индексе
отбора 0,60 валидность 0,25 повышает средний критериальный показа-
тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.
Опять-таки удвоение валидности ведет к удвоению конечного результа-
та.
Судить о валидности теста с точки зрения среднего значения про-
Более подробную таблицу см. в работе Дж. Найлопа и Л ТТТяпча т r <;hin> in?c\
ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Q 000101~ОЮГ~-ОООГ1Г~-ОНГ1Г~-0
о oг~~
О -
Щ о 00гГЧчOOOOt~-\0lrfftlч
О" 0" о" о" О" О" О" О" О" О" О" о" о"
о" о" о" о" о" о" о" о" о" о" о" о" о"
ffl ___
гt0oooo0""">oc~<ПООГОгН~~-0
О " О" О" О" О" О" О" О" О" О" О" О" О" О" О"
\с> "-1 l гч т сч 1-[> о 1-00 г 0 о г ос с 0
о" о" о О" О" О" О" О О" О" О" О" О"
1Г1 г ч О а\ 00 (--г--0 <э " о" о" о" о" о" о" о" о" о" о" о" о" о" о"
о огооооаооооооа-
1-г о. о оо оо г~-\о о <
И r<тггlагlt~-гlггг~-гчггloorlг-
"о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
r)гoofooгooгlcootг~
О О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О
l~- in [--С> 1-00 гО 00 "-I-О ч Г--г"1 0 v") \0
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
И о 00 Г-О с 00 гП 00 t О (М 00 1 00 О "
О и
S о о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
1 -
0t~~-OrlrlгnflГГтчOO
О" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о" о" о" о"
" Q OCГ~-0
00
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
3 I "i
О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О" О"
f)гfггггfч~oooo
S о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
s о
гч 1/-) т-ч оо г") 1-1 а\ оо t г т-< о оо г~~ vi "j г
о" о" о" о" о" о о" о" о" о" о" о" о" о" о" О" О" О" о"
О" о" о" о" О" О" О" О" О" О" О" О" О" О" о" о" о" о" о"
S "00""-1 о 0 00 1~-0 0 Tf 1 c-j "-1
g" гчооооооооооо
- о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
-
000~OOr>llгOгltNCмч
000000000000000000
о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о" о"
5 йЯЯЯ SS ЯЯЯЯ
Q о о о о о о 000 .0 000000000
" о" о" о" о" о" о" о" о" о"- о" о" о" о" о" о" о" о" о" о"
VOIOIOIOVO>OVOVOO>
------ --- . . п г т~-оо оо 0 а\
160
ПРИНЦИПЫ ПСИХОЛОГИЧРСКОГО Т1-ГТИРОВАНИЯ
гнозируемой выработки или процента работников, нрсныснвших крите-
риальную норму, очевидно, намного полезнее, чем судить о ней на осно-
ве рассмотренной выше ошибки оценки. Причина в том, что ошибки
прогноза, не влияющие на решение, несущественны для ситуации отбора.
Например, если и Смит, и Джонс-хорошие работники и оба были
приняты на основании теста, то нет белы в том. что с тестом Смит спра-
вился лучше Джонса, тогда как по работе Джонс превосходит Смита.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132