3, гл. 4). Принимая это
во внимание, рассмотрим рис. 22, на котором представлен уровень труд-
ности задания, выполненного 84Ї испытуемых. Поскольку испытуемые,
84%
Рис. 22. Соотноше-
ние между процен-
-С.. :, i. аИВШИХСЯ С
;... .. г. и его
.,,.:". (1.о при
нормальном рас-
пределении
182 ПРИНЦИПЫ психологичг.ского ТЕСТИРОВАНИЯ
выполнившие задание, относятся к верхней части распределения, то эти
84Їо займут всю правую половину распределения (50%) и часть (34"д) ле-
вой половины (50 + 34 = 84).
Таким образом, как видно из рис. 22, трудность задания приходится
на 1ст слева от среднего значения. Задание, выполненное 16% группы, бу-
дет соответствовать 1ст справа от среднего, поскольку на область справа
от этой точки приходится 16% случаев (50 -34 = 16). Задание, выпол-
ненное половиной группы, соответствует среднему распределению, т.е.
нулю этой шкалы, положительные значения которой относятся к более
трудным, а отрицательные-к менее трудным заданиям. Уровень трудно-
сти, отвечающий любому проценту справившихся с заданием, можно
найти по таблице нормального распределения, имеющейся в любом
учебнике по статистике.
Поскольку представление трудности заданий в единицах стандартно-
го отклонения нормального распределения сопряжено с использованием
отрицательных чисел и десятичных дробей, такие значения обычно пере-
водят в более удобную шкалу. Одна из таких шкал Д, используемая
Службой тестирования в образовании при разработке тестов, связана со
шкалой (7 следующим соотношением:
Л = 13 + 4х,
где х-трудность задания, выраженная в единицах стандартного отклоне-
ния нормального распределения. Константы 13и4 выбраны произволь-
но с тем, чтобы избежать отрицательных значений и получить достаточ-
но широкий диапазон величин, позволяющий обходиться без десятичных
дробей. Задание, выполняемое почти всеми (точнее, в 99,8% случаев)
и приходящееся на - 3(7, имеет А, равное 13+ 4х(- 3) = 1. Это самое
низкое значение для большинства групп. В противоположность этому за-
дание, с которым справляется 0,13% испытуемых, соответствует 3(7,
и для него Д = 13+4 х 3 = 25. Среднее по трудности задание с ну-
левым значением в шкале ст будет иметь А = 13. Таким образом, шкала
устроена так, что практически все задания охватываются диапазоном
значений А от 1 до 25, причем заданию средней трудности для каждой
данной группы соответствует число 13.
Важным практическим преимуществом шкалы А перед другими ана-
логичными шкалами является то, что для нее составлена таблица
(С. Т. Fan, 1952), с помощью которой по значению р (т.е. по относитель-
ному количеству выполнивших задание) можно непосредственно найти А.
Эта таблица избавляет от необходимости отыскивать сначала место
задания в нормальном распределении и затем переходить к А. На прак-
тике чаще всего можно обойтись порядковой мерой трудности задания,
такой, как величина р. Если же намечается провести более точный стати-
стический анализ, требующий измерения трудности в интервальной шка-
ле, то определить значение А можно без особых усилий.
Распределение результатов теста. Трудность теста в целом,
разумеется, непосредственно зависит от трудности заданий, из которых
он состоит. Полная проверка трудности всего теста применительно к по-
пуляции, для которой он предназначен, осуществляется с помощью рас-
пределения суммарных результатов. Если выборка стандартизации ре-
презентативна срезу такой популяции, то можно ожидать, что эти
183 АНАЛИЗ ЗАДАНИЙ
Предположим, однако, что полученная кривая распределения не нор-
мальна, а явно скошена, так как это изображено на рис. 23. Первое из
этих распределений (часть А), у которого значительная часть результатов
сосредоточена на левом его конце, указывает на то, что для данной
группы тест содержит мало относительно легких заданий, достаточное
число которых необходимо для лучшего различения испытуемых, чьи ре-
зультаты находятся на нижнем конце диапазона значений. В силу этого
испытуемые, результаты которых обычно распределены в довольно ши-
роком диапазоне, получат в этом тесте результаты близкие или равные
О, отсюда и нахождение пика кривой вблизи нижнего края шкалы. Схема
такого искусственного сосредоточения результатов, когда нормальное
распределение показателей по какому-то тесту дает распределение, ско-
шенное влево, приведена на рис. 24, Противоположный этому скос рас-
пределения дается на рис. 23 (в части В). Здесь результаты сосредото-
чены преимущественно на верхнем конце шкалы, что свидетельствует
о чересчур низком потолке трудности в данном тесте. Такого рода ско-
шенное распределение наблюдается, например, когда тест, предназна-
ченный для общей популяции, дается выборке студентов или аспирантов,
многие из которых показывают почти 100Ї(,-ный результат. С помощью
такого теста невозможно измерять индивидуальные различия между ис-
пытуемыми, чьи показатели принадлежат к верхнему краю распределе-
ния. Если бы в тест были включены более трудные задания, многие из
испытуемых, несомненно, набрали бы еще больше очков, чем максимум
для данной серии заданий.
Когда распределение результатов теста, полученное на выборке
стандартизации, заметно отличается от нормального, обычно произво-
дится корректировка трудности заданий, пока не достигается приблизи-
тельно нормальная кривая. В зависимости от типа отклонений от нор-
мального распределения добавляются более легкие или более трудные
Рис. 23. Скошенные .кривые
рамредепцая
А. Сосредоточение результатов на нижнем конце шкалы
Рис. 24. Скос распределения
результатов вследствие не-
достаточного числа легких
заданий
м>м>я> распределение способности
.-- распределение гестовых
результатов
В. Сосредоточение результатов на верхнем конце шкалы
184 ПРИНЦИПЫ ПСИХОЛОГИЧР-СКОГО ТЕСТИРОВАНИЯ
задания, первоначальные задания изымаются или пересматриваются, ме-
няется их положение в шкале трудности, некоторым из пересмотренных
ответов приписываются новые веса. В итоге наиболее частым становится
результат, близкий к 50Їо от максимального количества очков. Тому, кто
не знаком с методами построения психологического теста, 50Їо-ный ре-
зультат может показаться поразительно низким и иногда либо слышатся
возражения против якобы слишком низкого проходного минимума оч-
ков, либо делается вывод, будто протестированная группа оказалась ис-
ключительно слабой. Несостоятельность подобных мнений сразу стано-
вится очевидной, если принять во внимание процедуру разработки
психологического теста, который сознательно конструируется и коррек-
тируется с таким расчетом, чтобы среднее количество правильно выпол-
ненных заданий составляло приблизительно 50Їо от общего их числа.
Только таким путем удается добиться максимальной дифференциации
способностей испытуемых на всех полученных в тесте уровнях. При сред-
нем, приблизительно 50Їо-ном результате создается максимальная воз-
можность получить нормальное распределение и широкий разброс инди-
видуальных показателей
Уровень трудности заданий, составляющих тест, определяет не толь-
ко средний уровень трудности теста, его минимальную и максимальную
трудности, но и разброс тестовых результатов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
во внимание, рассмотрим рис. 22, на котором представлен уровень труд-
ности задания, выполненного 84Ї испытуемых. Поскольку испытуемые,
84%
Рис. 22. Соотноше-
ние между процен-
-С.. :, i. аИВШИХСЯ С
;... .. г. и его
.,,.:". (1.о при
нормальном рас-
пределении
182 ПРИНЦИПЫ психологичг.ского ТЕСТИРОВАНИЯ
выполнившие задание, относятся к верхней части распределения, то эти
84Їо займут всю правую половину распределения (50%) и часть (34"д) ле-
вой половины (50 + 34 = 84).
Таким образом, как видно из рис. 22, трудность задания приходится
на 1ст слева от среднего значения. Задание, выполненное 16% группы, бу-
дет соответствовать 1ст справа от среднего, поскольку на область справа
от этой точки приходится 16% случаев (50 -34 = 16). Задание, выпол-
ненное половиной группы, соответствует среднему распределению, т.е.
нулю этой шкалы, положительные значения которой относятся к более
трудным, а отрицательные-к менее трудным заданиям. Уровень трудно-
сти, отвечающий любому проценту справившихся с заданием, можно
найти по таблице нормального распределения, имеющейся в любом
учебнике по статистике.
Поскольку представление трудности заданий в единицах стандартно-
го отклонения нормального распределения сопряжено с использованием
отрицательных чисел и десятичных дробей, такие значения обычно пере-
водят в более удобную шкалу. Одна из таких шкал Д, используемая
Службой тестирования в образовании при разработке тестов, связана со
шкалой (7 следующим соотношением:
Л = 13 + 4х,
где х-трудность задания, выраженная в единицах стандартного отклоне-
ния нормального распределения. Константы 13и4 выбраны произволь-
но с тем, чтобы избежать отрицательных значений и получить достаточ-
но широкий диапазон величин, позволяющий обходиться без десятичных
дробей. Задание, выполняемое почти всеми (точнее, в 99,8% случаев)
и приходящееся на - 3(7, имеет А, равное 13+ 4х(- 3) = 1. Это самое
низкое значение для большинства групп. В противоположность этому за-
дание, с которым справляется 0,13% испытуемых, соответствует 3(7,
и для него Д = 13+4 х 3 = 25. Среднее по трудности задание с ну-
левым значением в шкале ст будет иметь А = 13. Таким образом, шкала
устроена так, что практически все задания охватываются диапазоном
значений А от 1 до 25, причем заданию средней трудности для каждой
данной группы соответствует число 13.
Важным практическим преимуществом шкалы А перед другими ана-
логичными шкалами является то, что для нее составлена таблица
(С. Т. Fan, 1952), с помощью которой по значению р (т.е. по относитель-
ному количеству выполнивших задание) можно непосредственно найти А.
Эта таблица избавляет от необходимости отыскивать сначала место
задания в нормальном распределении и затем переходить к А. На прак-
тике чаще всего можно обойтись порядковой мерой трудности задания,
такой, как величина р. Если же намечается провести более точный стати-
стический анализ, требующий измерения трудности в интервальной шка-
ле, то определить значение А можно без особых усилий.
Распределение результатов теста. Трудность теста в целом,
разумеется, непосредственно зависит от трудности заданий, из которых
он состоит. Полная проверка трудности всего теста применительно к по-
пуляции, для которой он предназначен, осуществляется с помощью рас-
пределения суммарных результатов. Если выборка стандартизации ре-
презентативна срезу такой популяции, то можно ожидать, что эти
183 АНАЛИЗ ЗАДАНИЙ
Предположим, однако, что полученная кривая распределения не нор-
мальна, а явно скошена, так как это изображено на рис. 23. Первое из
этих распределений (часть А), у которого значительная часть результатов
сосредоточена на левом его конце, указывает на то, что для данной
группы тест содержит мало относительно легких заданий, достаточное
число которых необходимо для лучшего различения испытуемых, чьи ре-
зультаты находятся на нижнем конце диапазона значений. В силу этого
испытуемые, результаты которых обычно распределены в довольно ши-
роком диапазоне, получат в этом тесте результаты близкие или равные
О, отсюда и нахождение пика кривой вблизи нижнего края шкалы. Схема
такого искусственного сосредоточения результатов, когда нормальное
распределение показателей по какому-то тесту дает распределение, ско-
шенное влево, приведена на рис. 24, Противоположный этому скос рас-
пределения дается на рис. 23 (в части В). Здесь результаты сосредото-
чены преимущественно на верхнем конце шкалы, что свидетельствует
о чересчур низком потолке трудности в данном тесте. Такого рода ско-
шенное распределение наблюдается, например, когда тест, предназна-
ченный для общей популяции, дается выборке студентов или аспирантов,
многие из которых показывают почти 100Ї(,-ный результат. С помощью
такого теста невозможно измерять индивидуальные различия между ис-
пытуемыми, чьи показатели принадлежат к верхнему краю распределе-
ния. Если бы в тест были включены более трудные задания, многие из
испытуемых, несомненно, набрали бы еще больше очков, чем максимум
для данной серии заданий.
Когда распределение результатов теста, полученное на выборке
стандартизации, заметно отличается от нормального, обычно произво-
дится корректировка трудности заданий, пока не достигается приблизи-
тельно нормальная кривая. В зависимости от типа отклонений от нор-
мального распределения добавляются более легкие или более трудные
Рис. 23. Скошенные .кривые
рамредепцая
А. Сосредоточение результатов на нижнем конце шкалы
Рис. 24. Скос распределения
результатов вследствие не-
достаточного числа легких
заданий
м>м>я> распределение способности
.-- распределение гестовых
результатов
В. Сосредоточение результатов на верхнем конце шкалы
184 ПРИНЦИПЫ ПСИХОЛОГИЧР-СКОГО ТЕСТИРОВАНИЯ
задания, первоначальные задания изымаются или пересматриваются, ме-
няется их положение в шкале трудности, некоторым из пересмотренных
ответов приписываются новые веса. В итоге наиболее частым становится
результат, близкий к 50Їо от максимального количества очков. Тому, кто
не знаком с методами построения психологического теста, 50Їо-ный ре-
зультат может показаться поразительно низким и иногда либо слышатся
возражения против якобы слишком низкого проходного минимума оч-
ков, либо делается вывод, будто протестированная группа оказалась ис-
ключительно слабой. Несостоятельность подобных мнений сразу стано-
вится очевидной, если принять во внимание процедуру разработки
психологического теста, который сознательно конструируется и коррек-
тируется с таким расчетом, чтобы среднее количество правильно выпол-
ненных заданий составляло приблизительно 50Їо от общего их числа.
Только таким путем удается добиться максимальной дифференциации
способностей испытуемых на всех полученных в тесте уровнях. При сред-
нем, приблизительно 50Їо-ном результате создается максимальная воз-
можность получить нормальное распределение и широкий разброс инди-
видуальных показателей
Уровень трудности заданий, составляющих тест, определяет не толь-
ко средний уровень трудности теста, его минимальную и максимальную
трудности, но и разброс тестовых результатов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132