В известных ситуациях
критерий может быть также дихотомичным (например, окончание кол-
леджа или отчисление из него, успех или неудача в работе). Более того,
непрерывный критерий для целей анализа может быть превращен в ди-
хотомический. На рис. 26 изображены три характеристические кривые,
иллюстрирующие основные соотношения между заданием и критерием.
Каждая из этих кривых дает представление о взаимосвязи между про-
центом справившихся с заданием испытуемых и соответствующим клас-
сом интервалов критериального показателя. Нетрудно видеть, что зада-
ние 1 обладает низкой валидностью, поскольку его выполняет приблизи-
тельно один и тот же процент испытуемых во всем диапазоне критерия.
С заданиями 2 и 3 дело обстоит лучше, поскольку соответствие между
процентом выполнивших задания и критериальным показателем выра-
жено более четко. Из этих двух более валидно задание 3, ибо его харак-
теристическая кривая круче идет вверх.
Рис. 26. Харокте-
.ристические кри-
вые для трех ги-
потетических зада-
188 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Характеристические кривые заданий дают наглядное представление
о различиях между заданиями с точки зрения их валидности. Вместе
с тем отбор заданий лучше осуществлять, если валидность каждого из
них выражена числовым индексом. В настоящее время при разработке
тестов используется свыше пятидесяти таких индексов. Они, в частности,
различаются по признаку применимости к дихотомическим или
непрерывным мерам. Более того, среди индексов, применимых к дихото-
мическим переменным, одни предполагают непрерывность и нормальное
распределение измеряемого с помощью теста свойства, на которое ис-
кусственно накладывается дихотомия, тогда как другие вводятся в пред-
положении истинной дихотомии. Одни меры валидности не зависят от
трудности заданий, в то время как валидность других тем выше, чем
ближе уровень трудности к 0,50.
Независимо от способа получения и исходных допущений большин-
ство индексов валидности задания дают весьма сходные результаты. Хо-
тя численные значения индексов могут быть разными, на их основе со-
храняются или отвергаются в основном одни и те же задания.
Собственно говоря, колебания данных о валидности задания от выборки
к выборке в целом больше, чем при использовании различных методов
их получения. Поэтому выбор метода часто определяется удобством вы-
числений и наличием соответствующих таблиц и номограмм. Последние
представляют собой расчетные диаграммы, по которым, например, зна-
чение корреляции между заданием и критерием легко вычисляется, если
известен процент испытуемых, справившихся с заданием в группах с вы-
соким и низким критериальным выполнением (J.P. Guilford, В. Fruchter,
1973, р. 445-458; S. Henrysson, 1971).
Использование экстремальных групп. Распространенный ме-
тод анализа заданий-сравнение числа выполнивших задание в двух
группах с контрастирующим критериальным выполнением. Если крите-
рий выражен в непрерывной шкале (как. скажем, в случае годовых оце-
нок, субъективных оценок качества работы, показателей производитель-
ности труда и т.д.), то по распределению значений критериальных
показателей, по верхнему (В) и нижнему (Я), формируются крите-
риальные группы. Очевидно, что группы с экстремальными показателя-
ми резче отличаются друг от друга. Однако использование для включе-
ния в группу предельных значений, скажем верхних и нижних 10%,
уменьшит надежность результатов вследствие малочисленности групп.
В случае нормального распределения оптимальный вариант, уравнове-
шивающий эти два условия, достигается при верхних и нижних 27Їо
(T.L. Kelley, 1939). Когда распределение более плоско, чем нормальная
кривая, оптимальная цифра приближается к 33Їо (E.E.Cureton, 1957).
В случае малых групп-таких, как обычный класс,-ошибка выборки при
анализе заданий настолько велика, что можно рассчитывать только на
грубые оценки. Поэтому здесь не приходится заботиться о точном про-
центе случаев в двух контрастных группах. Приемлема любая цифра ме-
жду 25 и 33Ї".
Большие и нормально распределенные выборки используются при
разработке стандартизованного теста, и в этом случае обычно берут
189 АНАЛИЗ ЗАДАНИЙ
верхние и нижние 27Їо распределения значений критериальных показате-
лей. Многие таблицы и номограммы, по которым рассчитываются пока-
затели валидности заданий, составлены в предположении, что сравни-
ваемые группы формировались согласно <правилу 27Ї">. По-видимому,
распространение быстродействующих компьютеров позволит заменить
различные вспомогательные приемы, разработанные для облегчения ана-
лиза заданий, более точными и совершенными методами. Вычислитель-
ная техника позволяет проанализировать результаты всей выборки, не
ограничиваясь краями распределения. Разработаны также методы мате-
матической обработки характеристических кривых для измерения валид-
ности заданий, но их применение неосуществимо без соответствующей
вычислительной техники (F.B. Baker, 1971 ; S. Henrysson, 1971; F.M. Lord,
M. R. Novick, 1968).
Анализ заданий в случае малых групп. Поскольку анализ за-
даний часто проводится на небольших группах, например с учащимися
одного класса, отвечающими на серию вопросов, рассмотрим сначала
простую процедуру, особенно подходящую для такой ситуации. Предпо-
ложим, в классе всего 60 человек, из которых отобрано 20 учеников (33"о)
с самым высоким и 20-е самым низким общим числом правильных от-
ветов. Разложим листки с ответами на три стопки, принадлежащие верх-
ней (В), средней (С) и нижней (Н) группе. Теперь нам нужно определить,
сколько правильных ответов в каждой из этих групп было дано на
каждый вопрос. Для этого выпишем в столбик номера заданий, оставив
справа место для трех колонок, которые обозначим буквами В, С а Н.
Возьмем из стопки В любой листок и в колонке В проставим палочки
против тех вопросов, на которые данный ученик ответил правильно. Это
нужно проделать для каждого из 20 листков группы В, затем для 20
листков группы С и, наконец, для всех листков группы Н. Подсчитаем
теперь палочки и выпишем результаты по образцу табл. 19 (для кратко-
сти в ней приведены цифры только по первым семи вопросам анкеты).
Приблизительный индекс валидности, или разрешающей силы, любого
из вопросов находится вычитанием из числа учеников, правильно отве-
тивших на него в группе В, соответствующего числа, стоящего в колонке
Н. Их разности приведены в последней колонке табл. 19. Пользуясь те-
ми же исходными данными, можно оценить трудность каждого вопроса,
для чего требуется сложить числа, стоящие в соответствующей строке
таблицы {В+С+Н).
Анализ табл. 19 выявляет 4 задания, подлежащие дальнейшему рас-
смотрению или обсуждению в классе. Два вопроса, а именно 2-й и 7-й,
выделены, поскольку один из них слишком легок (56 из 60 учеников от-
ветили на него правильно), а другой слишком труден (всего 5 пра-
вильных ответов). Вопросы 4 и 5 приемлемы с точки зрения трудности.
но разность В - Н для одного из них равна нулю, а для другого отрица-
тельна. В ту же категорию были бы включены вопросы и с очень малы-
ми положительными значениями разности В - Я-примерно 3 и мень-
ше. Такая граничная цифра действительна для групп того же размера,
что и в нашем примере.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
критерий может быть также дихотомичным (например, окончание кол-
леджа или отчисление из него, успех или неудача в работе). Более того,
непрерывный критерий для целей анализа может быть превращен в ди-
хотомический. На рис. 26 изображены три характеристические кривые,
иллюстрирующие основные соотношения между заданием и критерием.
Каждая из этих кривых дает представление о взаимосвязи между про-
центом справившихся с заданием испытуемых и соответствующим клас-
сом интервалов критериального показателя. Нетрудно видеть, что зада-
ние 1 обладает низкой валидностью, поскольку его выполняет приблизи-
тельно один и тот же процент испытуемых во всем диапазоне критерия.
С заданиями 2 и 3 дело обстоит лучше, поскольку соответствие между
процентом выполнивших задания и критериальным показателем выра-
жено более четко. Из этих двух более валидно задание 3, ибо его харак-
теристическая кривая круче идет вверх.
Рис. 26. Харокте-
.ристические кри-
вые для трех ги-
потетических зада-
188 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Характеристические кривые заданий дают наглядное представление
о различиях между заданиями с точки зрения их валидности. Вместе
с тем отбор заданий лучше осуществлять, если валидность каждого из
них выражена числовым индексом. В настоящее время при разработке
тестов используется свыше пятидесяти таких индексов. Они, в частности,
различаются по признаку применимости к дихотомическим или
непрерывным мерам. Более того, среди индексов, применимых к дихото-
мическим переменным, одни предполагают непрерывность и нормальное
распределение измеряемого с помощью теста свойства, на которое ис-
кусственно накладывается дихотомия, тогда как другие вводятся в пред-
положении истинной дихотомии. Одни меры валидности не зависят от
трудности заданий, в то время как валидность других тем выше, чем
ближе уровень трудности к 0,50.
Независимо от способа получения и исходных допущений большин-
ство индексов валидности задания дают весьма сходные результаты. Хо-
тя численные значения индексов могут быть разными, на их основе со-
храняются или отвергаются в основном одни и те же задания.
Собственно говоря, колебания данных о валидности задания от выборки
к выборке в целом больше, чем при использовании различных методов
их получения. Поэтому выбор метода часто определяется удобством вы-
числений и наличием соответствующих таблиц и номограмм. Последние
представляют собой расчетные диаграммы, по которым, например, зна-
чение корреляции между заданием и критерием легко вычисляется, если
известен процент испытуемых, справившихся с заданием в группах с вы-
соким и низким критериальным выполнением (J.P. Guilford, В. Fruchter,
1973, р. 445-458; S. Henrysson, 1971).
Использование экстремальных групп. Распространенный ме-
тод анализа заданий-сравнение числа выполнивших задание в двух
группах с контрастирующим критериальным выполнением. Если крите-
рий выражен в непрерывной шкале (как. скажем, в случае годовых оце-
нок, субъективных оценок качества работы, показателей производитель-
ности труда и т.д.), то по распределению значений критериальных
показателей, по верхнему (В) и нижнему (Я), формируются крите-
риальные группы. Очевидно, что группы с экстремальными показателя-
ми резче отличаются друг от друга. Однако использование для включе-
ния в группу предельных значений, скажем верхних и нижних 10%,
уменьшит надежность результатов вследствие малочисленности групп.
В случае нормального распределения оптимальный вариант, уравнове-
шивающий эти два условия, достигается при верхних и нижних 27Їо
(T.L. Kelley, 1939). Когда распределение более плоско, чем нормальная
кривая, оптимальная цифра приближается к 33Їо (E.E.Cureton, 1957).
В случае малых групп-таких, как обычный класс,-ошибка выборки при
анализе заданий настолько велика, что можно рассчитывать только на
грубые оценки. Поэтому здесь не приходится заботиться о точном про-
центе случаев в двух контрастных группах. Приемлема любая цифра ме-
жду 25 и 33Ї".
Большие и нормально распределенные выборки используются при
разработке стандартизованного теста, и в этом случае обычно берут
189 АНАЛИЗ ЗАДАНИЙ
верхние и нижние 27Їо распределения значений критериальных показате-
лей. Многие таблицы и номограммы, по которым рассчитываются пока-
затели валидности заданий, составлены в предположении, что сравни-
ваемые группы формировались согласно <правилу 27Ї">. По-видимому,
распространение быстродействующих компьютеров позволит заменить
различные вспомогательные приемы, разработанные для облегчения ана-
лиза заданий, более точными и совершенными методами. Вычислитель-
ная техника позволяет проанализировать результаты всей выборки, не
ограничиваясь краями распределения. Разработаны также методы мате-
матической обработки характеристических кривых для измерения валид-
ности заданий, но их применение неосуществимо без соответствующей
вычислительной техники (F.B. Baker, 1971 ; S. Henrysson, 1971; F.M. Lord,
M. R. Novick, 1968).
Анализ заданий в случае малых групп. Поскольку анализ за-
даний часто проводится на небольших группах, например с учащимися
одного класса, отвечающими на серию вопросов, рассмотрим сначала
простую процедуру, особенно подходящую для такой ситуации. Предпо-
ложим, в классе всего 60 человек, из которых отобрано 20 учеников (33"о)
с самым высоким и 20-е самым низким общим числом правильных от-
ветов. Разложим листки с ответами на три стопки, принадлежащие верх-
ней (В), средней (С) и нижней (Н) группе. Теперь нам нужно определить,
сколько правильных ответов в каждой из этих групп было дано на
каждый вопрос. Для этого выпишем в столбик номера заданий, оставив
справа место для трех колонок, которые обозначим буквами В, С а Н.
Возьмем из стопки В любой листок и в колонке В проставим палочки
против тех вопросов, на которые данный ученик ответил правильно. Это
нужно проделать для каждого из 20 листков группы В, затем для 20
листков группы С и, наконец, для всех листков группы Н. Подсчитаем
теперь палочки и выпишем результаты по образцу табл. 19 (для кратко-
сти в ней приведены цифры только по первым семи вопросам анкеты).
Приблизительный индекс валидности, или разрешающей силы, любого
из вопросов находится вычитанием из числа учеников, правильно отве-
тивших на него в группе В, соответствующего числа, стоящего в колонке
Н. Их разности приведены в последней колонке табл. 19. Пользуясь те-
ми же исходными данными, можно оценить трудность каждого вопроса,
для чего требуется сложить числа, стоящие в соответствующей строке
таблицы {В+С+Н).
Анализ табл. 19 выявляет 4 задания, подлежащие дальнейшему рас-
смотрению или обсуждению в классе. Два вопроса, а именно 2-й и 7-й,
выделены, поскольку один из них слишком легок (56 из 60 учеников от-
ветили на него правильно), а другой слишком труден (всего 5 пра-
вильных ответов). Вопросы 4 и 5 приемлемы с точки зрения трудности.
но разность В - Н для одного из них равна нулю, а для другого отрица-
тельна. В ту же категорию были бы включены вопросы и с очень малы-
ми положительными значениями разности В - Я-примерно 3 и мень-
ше. Такая граничная цифра действительна для групп того же размера,
что и в нашем примере.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132