Как было сказано выше,
максимальный разброс полного результата теста имеет место, когда
трудность заданий в основном близка к р = 0,50. Тот факт, что подоб-
ный отбор заданий обеспечивает лучшую дифференциацию, чем в случае
широкого разброса уровней трудности, поясняет рис. 25. Три распреде-
ления суммарных результатов, приведенные на этом рисунке, получены
Р. Ибелом (R.L. Ebel, 1965) для трех тестов, состоявших каждый из 16
заданий. Задания для теста 1 были отобраны так, чтобы они группирова-
лись вблизи уровня трудности 0,50. В тесте 2 трудность заданий была
распределена по всему диапазону значений р. В тесте же 3 использова-
лись задания, для которых значения р были расположены вблизи краев
этого диапазона. Отметим, что наиболее широкий разброс результатов
теста был получен при р, сосредоточенных вокруг 0,50. Коэффициент
надежности в этом случае оказался максимальным, тогда как в случае
теста с крайними значениями трудности заданий этот коэффициент был
чрезвычайно низким. Эти примеры приведены только в целях иллюстра-
ции, но к аналогичным выводам нас приводит и более специальный ана-
лиз этой проблемы с применением статистических и экспериментальных
средств исследования (L.J. Cronbach, W.A. Warrington, 1952; F.M. Lord,
1952; F.M. Lord, M.R. Novick, 1968).
Связь между трудностью задания и назначением теста.
Стандартизованные психологические тесты в целом строятся так, чтобы
обеспечить наибольшую дифференциацию испытуемых на всех уровнях.
В действительности нормальная кривая обеспечивает более тонкое различение на
краях, чем в центре шкалы. Равная разрешающая способность во всех точках шкалы име-
ла бы место при прямоугольном распределении. Однако нормальная кривая предпочти-
тельнее для последующего статистического анализа результатов, поскольку многие суще-
ствующие статистические методы основываются на распределении, близком к нормально-
му. По этой и другим причинам составители большинства тестов, предназначенных для
общего пользования, вероятно, будут еще какое-то время ориентироваться на нормаль-
185
АНАЛИЗ ЗАДАНИЙ
Наше обсуждение трудности заданий до сих пор относилось к тестам
именно такого рода. Однако при построении тестов специального назна-
чения выбор трудности заданий, так же как и оптимальная форма их
распределения, зависит от типа необходимого различения. Так, тесты,
предназначенные для отсеивания испытуемых, должны содержать зада-
ния, для которых значения р весьма близки к установленному индексу
отбора (F.M. Lord, 1953). Например, чтобы отобрать верхние 20"/о
группы, лучше всего пользоваться заданиями с р, приблизительно рав-
Рис. 25. Соотношение между распределением результатов теста и распределением
заданий по трудности (R. L. Ebel, 1965, р. 363)
186 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ной 0,20. Поскольку при отсеивании никакой дифференциации испы-
туемых, как отсеянных, так и оставшихся, не требуется, время тестирова-
ния используется наиболее эффективно, если задания по трудности
группируются вблизи проходного результата. Отсюда, например, выте-
кает, что если тест предназначен для отбора стипендиатов, то его зада-
ния должны быть значительно труднее среднего задания для да "on по-
пуляции. Аналогично, если отбираются плохо успевающие ученики для
коррекционного обучения, задания желательно выбирать намного легче
обычных.
Еще одним примером может служить национальная программа
оценки прогресса в образовании (F.B. Womer, 1970). Эта программа за-
думывалась как попытка получить непосредственные сведения о качестве
образования в Соединенных Штатах и предусматривала обследование
тщательно подобранных репрезентативных выборок популяции на четы-
рех возрастных уровнях: 9, 13, 17и 26-35 лет. В программе никак не от-
ражались индивидуальные достижения, ее целью было описать знания,
понимание и навыки, свойственные американцам указанных возрастных
категорий. В рамках каждой области содержания для каждой возрастной
группы нужно было получить ответы на следующие три вопроса: (1) Что
знают почти все американцы? (2) Что знает типичный, или средний, аме-
риканец? (3) Что знают наиболее способные американцы? Чтобы отве-
тить на эти вопросы, были подготовлены упражнения трех уровней
трудности: одну треть составляли легкие упражнения (р = 0,9), другую
треть-упражнения средней трудности (р = 0,5) и последнюю треть-
трудные упражнения (р = 0,1). Фактически процент лиц, выполнявших
эти упражнения, каждый раз несколько отклонялся от этих значений. Од-
нако целью составителей тестов было максимальное приближение к вы-
бранным значениям р.
Третий пример, иллюстрирующий выбор трудности заданий со-
образно назначению теста, связан с тестированием владения навыком.
Напомним (см. гл. 4), что тесты владения навыком типичны для крите-
риально-ориентированного тестирования. Если назначение теста-устано-
вить, овладел ли индивид как следует основными, существенными эле-
ментами того или иного навыка или усвоил ли он знания, необходимые
для перехода к следующему этапу обучения, то трудность задания долж-
на быть на уровне 0,8-0,9. При выполнении этого условия мы можем
ожидать, что большинство обследуемых справится почти со всеми зада-
ниями. Таким образом, весьма легкие задания, которые были изъяты из
обычного стандартизованного теста из-за их низкой разрешающей спо-
собности, даже те, с которыми справляется 100Їо испытуемых, как раз
и включаются в тест владения навыком. Аналогично тест, проводимый
перед началом обучения с тем, чтобы выявить учеников, уже освоивших
подлежащие выработке навыки, должен состоять из заданий с весьма
низким р. В этом случае задания с очень низким и даже нулевым р впол-
не допустимы, поскольку они выявляют то, что еще осталось неус-
военным.
Из приведенных примеров явствует, что уровень трудности заданий
зависит от назначения теста. Хотя в большинстве случаев максимум ин-
Ввиду специфики многих тестов, термин <упражнение> к-ячяттгя Дпгтрр v--ru
187
АНАЛИЗ ЗАДАНИЙ
формации об индивидуальном уровне выполнения теста обеспечивают
задания средней трудности (0,50), решение о трудности задания нельзя
принимать бездумно, без учета того, как предполагается использовать
тест.
ВАЛИДШИСТЬ ЗАДАНИЙ
Соотношение между заданием и контрольным критерием. Все
индексы валидности заданий основаны на соотношении между выполне-
нием задания и критериальным выполнением. Любой критерий, исполь-
зуемый для определения валидности теста, годится и для валидации за-
даний, анализ которых может быть использован для повышения не
только конвергентной, но и дискриминантной валидности теста (см.
гл. 6). Задания, таким образом, можно выбирать по признаку высокой
корреляции с критерием и низкой корреляции с безотносительными
к тесту факторами, влияющими на выполнение теста испытуемым. При
разработке, например, теста на арифметическое мышление задания, зна-
чимо коррелирующие с тестом на понимание читаемого текста, должны
быть изъяты.
Поскольку обычно регистрируется лишь факт выполнения или невы-
полнения задания, измерение его валидности, как правило, означает со-
поставление дихотомического показателя (результат выполнения зада-
ния) с непрерывной переменной (критерием).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
максимальный разброс полного результата теста имеет место, когда
трудность заданий в основном близка к р = 0,50. Тот факт, что подоб-
ный отбор заданий обеспечивает лучшую дифференциацию, чем в случае
широкого разброса уровней трудности, поясняет рис. 25. Три распреде-
ления суммарных результатов, приведенные на этом рисунке, получены
Р. Ибелом (R.L. Ebel, 1965) для трех тестов, состоявших каждый из 16
заданий. Задания для теста 1 были отобраны так, чтобы они группирова-
лись вблизи уровня трудности 0,50. В тесте 2 трудность заданий была
распределена по всему диапазону значений р. В тесте же 3 использова-
лись задания, для которых значения р были расположены вблизи краев
этого диапазона. Отметим, что наиболее широкий разброс результатов
теста был получен при р, сосредоточенных вокруг 0,50. Коэффициент
надежности в этом случае оказался максимальным, тогда как в случае
теста с крайними значениями трудности заданий этот коэффициент был
чрезвычайно низким. Эти примеры приведены только в целях иллюстра-
ции, но к аналогичным выводам нас приводит и более специальный ана-
лиз этой проблемы с применением статистических и экспериментальных
средств исследования (L.J. Cronbach, W.A. Warrington, 1952; F.M. Lord,
1952; F.M. Lord, M.R. Novick, 1968).
Связь между трудностью задания и назначением теста.
Стандартизованные психологические тесты в целом строятся так, чтобы
обеспечить наибольшую дифференциацию испытуемых на всех уровнях.
В действительности нормальная кривая обеспечивает более тонкое различение на
краях, чем в центре шкалы. Равная разрешающая способность во всех точках шкалы име-
ла бы место при прямоугольном распределении. Однако нормальная кривая предпочти-
тельнее для последующего статистического анализа результатов, поскольку многие суще-
ствующие статистические методы основываются на распределении, близком к нормально-
му. По этой и другим причинам составители большинства тестов, предназначенных для
общего пользования, вероятно, будут еще какое-то время ориентироваться на нормаль-
185
АНАЛИЗ ЗАДАНИЙ
Наше обсуждение трудности заданий до сих пор относилось к тестам
именно такого рода. Однако при построении тестов специального назна-
чения выбор трудности заданий, так же как и оптимальная форма их
распределения, зависит от типа необходимого различения. Так, тесты,
предназначенные для отсеивания испытуемых, должны содержать зада-
ния, для которых значения р весьма близки к установленному индексу
отбора (F.M. Lord, 1953). Например, чтобы отобрать верхние 20"/о
группы, лучше всего пользоваться заданиями с р, приблизительно рав-
Рис. 25. Соотношение между распределением результатов теста и распределением
заданий по трудности (R. L. Ebel, 1965, р. 363)
186 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ной 0,20. Поскольку при отсеивании никакой дифференциации испы-
туемых, как отсеянных, так и оставшихся, не требуется, время тестирова-
ния используется наиболее эффективно, если задания по трудности
группируются вблизи проходного результата. Отсюда, например, выте-
кает, что если тест предназначен для отбора стипендиатов, то его зада-
ния должны быть значительно труднее среднего задания для да "on по-
пуляции. Аналогично, если отбираются плохо успевающие ученики для
коррекционного обучения, задания желательно выбирать намного легче
обычных.
Еще одним примером может служить национальная программа
оценки прогресса в образовании (F.B. Womer, 1970). Эта программа за-
думывалась как попытка получить непосредственные сведения о качестве
образования в Соединенных Штатах и предусматривала обследование
тщательно подобранных репрезентативных выборок популяции на четы-
рех возрастных уровнях: 9, 13, 17и 26-35 лет. В программе никак не от-
ражались индивидуальные достижения, ее целью было описать знания,
понимание и навыки, свойственные американцам указанных возрастных
категорий. В рамках каждой области содержания для каждой возрастной
группы нужно было получить ответы на следующие три вопроса: (1) Что
знают почти все американцы? (2) Что знает типичный, или средний, аме-
риканец? (3) Что знают наиболее способные американцы? Чтобы отве-
тить на эти вопросы, были подготовлены упражнения трех уровней
трудности: одну треть составляли легкие упражнения (р = 0,9), другую
треть-упражнения средней трудности (р = 0,5) и последнюю треть-
трудные упражнения (р = 0,1). Фактически процент лиц, выполнявших
эти упражнения, каждый раз несколько отклонялся от этих значений. Од-
нако целью составителей тестов было максимальное приближение к вы-
бранным значениям р.
Третий пример, иллюстрирующий выбор трудности заданий со-
образно назначению теста, связан с тестированием владения навыком.
Напомним (см. гл. 4), что тесты владения навыком типичны для крите-
риально-ориентированного тестирования. Если назначение теста-устано-
вить, овладел ли индивид как следует основными, существенными эле-
ментами того или иного навыка или усвоил ли он знания, необходимые
для перехода к следующему этапу обучения, то трудность задания долж-
на быть на уровне 0,8-0,9. При выполнении этого условия мы можем
ожидать, что большинство обследуемых справится почти со всеми зада-
ниями. Таким образом, весьма легкие задания, которые были изъяты из
обычного стандартизованного теста из-за их низкой разрешающей спо-
собности, даже те, с которыми справляется 100Їо испытуемых, как раз
и включаются в тест владения навыком. Аналогично тест, проводимый
перед началом обучения с тем, чтобы выявить учеников, уже освоивших
подлежащие выработке навыки, должен состоять из заданий с весьма
низким р. В этом случае задания с очень низким и даже нулевым р впол-
не допустимы, поскольку они выявляют то, что еще осталось неус-
военным.
Из приведенных примеров явствует, что уровень трудности заданий
зависит от назначения теста. Хотя в большинстве случаев максимум ин-
Ввиду специфики многих тестов, термин <упражнение> к-ячяттгя Дпгтрр v--ru
187
АНАЛИЗ ЗАДАНИЙ
формации об индивидуальном уровне выполнения теста обеспечивают
задания средней трудности (0,50), решение о трудности задания нельзя
принимать бездумно, без учета того, как предполагается использовать
тест.
ВАЛИДШИСТЬ ЗАДАНИЙ
Соотношение между заданием и контрольным критерием. Все
индексы валидности заданий основаны на соотношении между выполне-
нием задания и критериальным выполнением. Любой критерий, исполь-
зуемый для определения валидности теста, годится и для валидации за-
даний, анализ которых может быть использован для повышения не
только конвергентной, но и дискриминантной валидности теста (см.
гл. 6). Задания, таким образом, можно выбирать по признаку высокой
корреляции с критерием и низкой корреляции с безотносительными
к тесту факторами, влияющими на выполнение теста испытуемым. При
разработке, например, теста на арифметическое мышление задания, зна-
чимо коррелирующие с тестом на понимание читаемого текста, должны
быть изъяты.
Поскольку обычно регистрируется лишь факт выполнения или невы-
полнения задания, измерение его валидности, как правило, означает со-
поставление дихотомического показателя (результат выполнения зада-
ния) с непрерывной переменной (критерием).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132