,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг. нашего столетия, но позднее было забыто.
В том или ином виде нормы всегда дают о себе знать независимо от
того, как выражаются показатели теста (W.H. Angoff, 1974). Сам выбор
содержания или навыков, подлежащих измерению, определяется знанием
экспериментатора, чего можно добиться от испытуемого на определен-
ном уровне его развития или обучения. Такой выбор предполагает нали-
чие сведений о том, как в подобных ситуациях действовали другие испы-
туемые. Более того, наложение дихотомии <овладел-не овладел> на
континуум умений не снимает индивидуальных различий. Например, ес-
ли уровень понимания текста задается формулировкой <умение понять
содержание газеты <Нью-Йорк Тайме>, то все еще остается достаточно
места для значительных индивидуальных различий в степени понимания.
Прогностические таблицы. Результаты теста можно также
интерпретировать в соответствии с критерием ожидаемого выполнения
предстоящей программы обучения или работы. В этом случае термин
<критерий> употребляется сообразно тому, как это вообще принято
в психометрии, т. е. так, как, скажем, в выражении <валидность теста
определяется относительно некоторого критерия> (см. гл. 2). Строго го-
воря, термин <критериально-ориентированное тестирование> должен
был бы относиться к этому типу интерпретации выполнения теста, тогда
как другие подходы, обсуждавшиеся в этом разделе, правильнее было бы
назвать отнесением к содержанию. Собственно, именно эта терминоло-
гия и используется в тестовых стандартах Американской психологиче-
ской ассоциации (Standards.., 1974).
В прогностической таблице приводится вероятность различных кри-
териальных результатов испытуемых в зависимости от полученного ими
результата теста. Например, если учащийся в тесте SAT показал резуль-
тат 530, то каковы шансы на то, что первый курс колледжа он закончит
со средней оценкой А, В, С, D или f? Информацию такого рода можно
получить, сверив двумерное распределение показателей предиктора
В американских колледжах и старших классах средних школ принята следующая
система оценки успеваемости. По каждому предмету учащийся получает итоговую оценку
по пятибалльной системе А, В, С, D и F. Эти балльные оценки переводятся в цифровую
форму: А приравнивается к 4 (наивысший балл), В-к 3, С-к 2, D-к 1 и. наконец, FK 0.
Каждая из полученных оценок в цифровом выражении умножается на зачетное число ча-
сов по соответствующему предмету. Все такие произведения складываются, и результат
делится на сумму зачетных часов по всем предметам. Полученная таким образом средняя
90 11"ИНЦИ11Ы ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
(SAT) с критерием будущего статуса (средняя оценка успеваемости пер-
вокурсника). Заменив число случаев в каждой ячейке такого двумерного
распределения на проценты, мы получим прогностическую таблицу.
Примером может служить табл. 6, в которой представлены данные, по-
лученные мальчиками-старшеклассниками (всего 171 человек), записав-
шимися на курс истории США. В качестве предиктора здесь использо-
ван показатель теста словесного мышления из батареи DAT, применен-
ного в начале курса, а в качестве критерия будущего статуса-оценки, по-
лученные по окончании курса. Корреляция между показателем теста
и данным критерием составила 0,66.
В первой колонке табл. 6 приведены тестовые результаты, распреде-
ление на классы интервалов, во второй-число учеников, результаты ко-
торых попали в тот или иной интервал. Остальные цифры таблицы
указывают процент учеников из каждого интервала значений предикто-
ра, получивших ту или иную оценку по окончании курса. Так, из 46 уче-
ников, получивших в тесте на словесное мышление 40 и более очков, 15Їо
получили оценки в 100-балльной системе в интервале 70-79, 22Їо-в ин-
тервале 80-89 и 63Їо-90 и выше. С другой стороны, из 46 учеников, по-
казавших в тесте результат ниже 20, 30Ї получили оценки ниже 70,
52Їо-между 70 и 79 и 17Їо-между 80 и 89. В пределах рассматриваемых
данных эти проценты лучше всего выражают вероятность получения ин-
дивидом того или иного критериального балла. Например, если новый
ученик получит тестовый показатель 34 (т.е. попадет в интервал 30-39),
то его шансы получить балл 90 и выше составляет 17 из 100, шансы по-
лучить балл в интервале 80-90 будут равны 39 из 100 и т.д.
На практике критерий будущего статуса может быть заменен
бинарным критерием-предсказанием успеха или неудачи в работе,
в прохождении учебного курса и т.д. Вероятности успеха или неудачи по
каждому интервалу значений показателя прогностического теста могут
быть представлены в виде так называемой карты прогноза. Рис. 7 есть
пример такой карты, составленной для батареи отбора пилотов, разра-
ботанной для военно-воздушных сил США, на которой для каждого ста-
найна показан процент курсантов, не закончивших начального курса лет-
ной подготовки. Так, в процессе подготовки отсеялось 77Їд, получивших
станайн 1 и только 4% получивших станайн 9. В пределах этих крайних
значений от более низких к более высоким станайнам процент отсева по-
стоянно уменьшается. С
помощью этой карты про-
гноза можно, например,
предсказать, что примерно
40"о курсантов, получив-
ших станайн 4, потерпят
неудачу и приблизительно
60% из них удовлетвори-
тельно завершат началь-
ный курс. Аналогичные
прогнозы по каждому ста-
найну можно строить и от-
носительно вероятности
успеха или неудачи от-
дельных курсантов. Так,
Таблица 6
Прогностическая таблица соотношении результатов те-
ста словесного мышления и оценок, полученных по кур-
су истории США, 171 мальчиком >i XI класса
С разрешения Психологической корпорации штата
Нью-Йорк
Результат тестаЧисло случаевllpoueui получивших критериальную оценку
ниже 7070-7980-8990 и выше
40 и выше 30-39 20-29 ниже 2046 36 6 43 12 46 3015 39 63 5222 39 21 1763 i7 5
97
НАДЕЖНОСТЬ
-г-.
.Станаин Число Процент отчисленных с курсов летной подготовки
человек
9 21,4741f,
8 19,44410%
17 32,129
1 1.6 39,398
i 15 34,975
4 23,69940%
13 11,209i i
2 2,13957%
1 9047%
3 10 20 30 40 50 60 70 80 90 100
Рис. 7. Карта прогноза соотношения выполнения батареи по отбору пилотов и от-
числения с к/рсов летной подготовки (J. С. Flanagan, 1947, р. 58)
S сант имеет 60 шансов против 40, т.е. 3 шанса против 2, успешно за-
.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132