Следовательно, он применим
лишь к тем условиям дихотомии, для которых был найден и не может
быть перенесен на любые другие соотношения между свойствами, ко-
торые измеряет задание, и критерием. Как и индекс D, (р принимает наи-
большие значения для заданий средних уровней трудности, когда дихо-
томия близка к соотношению 50:50.
Существует ряд таблиц для определения коэффициента (р. При рав-
ном численном составе критериальных групп В и Н (р можно найти по
таблицам Иоргенсена (C.E.Jurgensen, 1947), составленным на основе
процентов выполнивших задание в каждой из этих групп. Поскольку при
анализе заданий обычно легко сделать группы В и Н численно равными,
эти таблицы находят широкое применение. Если же критериальные
группы неодинаковы по размеру, (р находят по серии таблиц Эдгертона
(H.A.Edgerton, 1960), хотя их применение требует больших затрат
времени.
Уровень значимости коэффициента (р нетрудно вычислить, исходя из
соотношения между ним, и соотношениями нормальной кривой. С по-
мощью последнего показателя можно найти минимальное (р, значимое
на уровне 0,05 или 0,01, по следующим формулам:
1,96
]//v
2,58
IV
В этих формулах N есть суммарное число испытуемых в обеих группах.
Так, если группы В и Н содержат по 50 человек, то N = 100, и минимум
(р, значимый на уровне 0,05, будет равен 1,96:1/100 = 0,196. Любое зна-
4fHWfffn ГЯ11ИМТТТДГТТТ1ТаП10 ff,r"-~---
193 АНАЛИЗ ЗАДАНИЙ
Бисериальная корреляция. В заключение рассмотрим весьма
распространенную меру валидности задания-коэффициент бисериальной
корреляции (rbis), отличающийся от (р в двух существенных моментах. Во-
первых, rjs предполагает существование непрерывного и нормального
распределения свойства, лежащего в основе ответов на дихотомические
задания. Во-вторых, г как мера отношений между заданием и крите-
рием не зависит от трудности задания. Для вычисления г нужно знать
среднее значение критериального показателя выполнивших и не выпол-
нивших задание, процент справившихся и не справившихся с заданием
по всей выборке и стандартное отклонение показателей критерия.
Подсчет всех необходимых параметров и применение для каждого за-
дания формулы бисериальной корреляции может оказаться весьма дли-
тельным процессом. Но существуют таблицы, с помощью которых мож-
но получить ?ь", зная процент справившихся с заданием в группах,
соответствующих верхним и нижним 1ЧЇ/о распределения значений крите-
рия (С. Т. Fan, 1952; 1954). С помощью этих таблиц по процентам спра-
вившихся с заданием в группах В и Н можно найти три величины: р, т. е.
процент справившихся с заданием по всей выборке; описанный ранее по-
казатель Д, являющийся мерой трудности задания в интервальной шка-
ле, и Гы" между заданием и критерием. Но таблицами можно пользовать-
ся при условии, что В и Н содержат каждая в точности 27Їо всей
выборки.
Способа, который позволял бы точно рассчитать уровни значимости
для так оцениваемой бисериальной корреляции, не существует. Однако
было установлено, что их стандартные ошибки несколько больше, чем для
коэффициентов бисериальной корреляции, подсчитанных обычным пу-
тем. Это значит, что коэффициент г, полученный по таблицам Фана,
сильнее колеблется от выборки к выборке, чем г, вычисленный по фор-
муле. Принимая это во внимание, можно использовать стандартную
ошибку г, чтобы приблизительно оценить, насколько большой должна
быть статистически значимая корреляция. И в этом случае вычисли-
тельная техника позволяет легко определить значение бисериальной кор-
реляции, основываясь на более адекватной процедуре, т. е. по ответам ис-
пытуемых из всей выборки.
ВНУТРЕННЯЯ СОГЛАСОВАННОСТЬ
Анализ заданий нередко проводится относительно суммарного результа-
та теста. Этот метод находит свое применение в тестах достижений
и особенно при составлении учителем контрольных работ, когда трудно
получить внешние критериальные данные. Как отмечалось в главе 6,
этот подход позволяет получить меру внутренней согласованности, а не
внешней валидности. Он годится для уточнения валидации по содержа-
нию и некоторых аспектов конструктной валидации.
Однако если тест должен быть валидным относительно критерия,
использование суммарного результата для анализа заданий нуждается
в тщательном изучении. При определенных условиях эти два подхода
могут привести к противоположным выводам: задания, выбираемые по
Формулу для ет можно найти в любом учебнике статистики (J. P. Guilford,
194 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
признаку внешней валидности, могут оказаться неудовлетворительными
с точки зрения внутренней согласованности. Предположим, что предва-
рительная форма теста способности к обучению состоит из 100 арифме-
тических и 50 словарных заданий. Для отбора заданий из первоначаль-
ной их совокупности методом внутренней согласованности можно
воспользоваться бисериальной корреляцией между выполнением каждо-
го задания и суммарными результатами по всем 150 заданиям. Очевид-
но, что такая бисериальная корреляция будет выше для арифметических,
а не для лексических заданий, потому что суммарный результат основан
на вдвое большем числе арифметических заданий. Если в окончательной
форме теста предполагается сохранить лучшие 75 заданий, то вполне ве-
роятно, что в большинстве своем они будут состоять из арифметических
заданий. Но с точки зрения достижений в учении словарные задания мо-
гут оказаться по сравнению с арифметическими более валидными
предикторами. В этом случае анализ заданий будет служить не повыше-
нию, а понижению валидности теста.
Изъятие заданий, имеющих низкую корреляцию с суммарным ре-
зультатом, является средством повышения однородности, или <очище-
ния>, теста. Благодаря применению этой процедуры сохраняются зада-
ния с наибольшими средними взаимокорреляциями. Данный метод
отбора заданий повышает валидность теста, только когда первоначаль-
ная совокупность заданий измеряет одно и то же свойство и когда это
свойство присутствует и в критерии. Однако некоторые типы тестов из-
меряют комбинацию свойств, отвечающих сложному критерию. В таком
случае очищение теста от инородных элементов может сузить охват та-
кого критерия и тем самым понизить валидность.
Отбор заданий с целью довести до максимума валидность теста
аналогичен отбору тестов, с тем чтобы получить батарею тестов с на-
иболее высокой валидностью. Напомним (гл. 7), что вклад теста в ва-
лидность батареи тем больше, чем выше его корреляция с критерием
и чем ниже корреляция с другими тестами батареи. Если этот принцип
применить к отбору заданий, то наилучшими окажутся задания, имею-
щие наибольшие значения валидности и наименьшие коэффициенты вну-
тренней согласованности. На этой основе можно определить чистую эф-
фективность задания, т.е. чистый прирост валидности теста при
добавлении к нему конкретного задания. Так, если задание тесно корре-
лирует с внешним критерием, но относительно слабо коррелирует с сум-
марным показателем теста, то оно предпочтительнее такого задания, ко-
торое имеет высокую корреляцию и с критерием, и с тестом в целом,
ибо первое задание, по-видимому, измеряет некоторый аспект критерия,
не учитываемый должным образом остальными заданиями.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
лишь к тем условиям дихотомии, для которых был найден и не может
быть перенесен на любые другие соотношения между свойствами, ко-
торые измеряет задание, и критерием. Как и индекс D, (р принимает наи-
большие значения для заданий средних уровней трудности, когда дихо-
томия близка к соотношению 50:50.
Существует ряд таблиц для определения коэффициента (р. При рав-
ном численном составе критериальных групп В и Н (р можно найти по
таблицам Иоргенсена (C.E.Jurgensen, 1947), составленным на основе
процентов выполнивших задание в каждой из этих групп. Поскольку при
анализе заданий обычно легко сделать группы В и Н численно равными,
эти таблицы находят широкое применение. Если же критериальные
группы неодинаковы по размеру, (р находят по серии таблиц Эдгертона
(H.A.Edgerton, 1960), хотя их применение требует больших затрат
времени.
Уровень значимости коэффициента (р нетрудно вычислить, исходя из
соотношения между ним, и соотношениями нормальной кривой. С по-
мощью последнего показателя можно найти минимальное (р, значимое
на уровне 0,05 или 0,01, по следующим формулам:
1,96
]//v
2,58
IV
В этих формулах N есть суммарное число испытуемых в обеих группах.
Так, если группы В и Н содержат по 50 человек, то N = 100, и минимум
(р, значимый на уровне 0,05, будет равен 1,96:1/100 = 0,196. Любое зна-
4fHWfffn ГЯ11ИМТТТДГТТТ1ТаП10 ff,r"-~---
193 АНАЛИЗ ЗАДАНИЙ
Бисериальная корреляция. В заключение рассмотрим весьма
распространенную меру валидности задания-коэффициент бисериальной
корреляции (rbis), отличающийся от (р в двух существенных моментах. Во-
первых, rjs предполагает существование непрерывного и нормального
распределения свойства, лежащего в основе ответов на дихотомические
задания. Во-вторых, г как мера отношений между заданием и крите-
рием не зависит от трудности задания. Для вычисления г нужно знать
среднее значение критериального показателя выполнивших и не выпол-
нивших задание, процент справившихся и не справившихся с заданием
по всей выборке и стандартное отклонение показателей критерия.
Подсчет всех необходимых параметров и применение для каждого за-
дания формулы бисериальной корреляции может оказаться весьма дли-
тельным процессом. Но существуют таблицы, с помощью которых мож-
но получить ?ь", зная процент справившихся с заданием в группах,
соответствующих верхним и нижним 1ЧЇ/о распределения значений крите-
рия (С. Т. Fan, 1952; 1954). С помощью этих таблиц по процентам спра-
вившихся с заданием в группах В и Н можно найти три величины: р, т. е.
процент справившихся с заданием по всей выборке; описанный ранее по-
казатель Д, являющийся мерой трудности задания в интервальной шка-
ле, и Гы" между заданием и критерием. Но таблицами можно пользовать-
ся при условии, что В и Н содержат каждая в точности 27Їо всей
выборки.
Способа, который позволял бы точно рассчитать уровни значимости
для так оцениваемой бисериальной корреляции, не существует. Однако
было установлено, что их стандартные ошибки несколько больше, чем для
коэффициентов бисериальной корреляции, подсчитанных обычным пу-
тем. Это значит, что коэффициент г, полученный по таблицам Фана,
сильнее колеблется от выборки к выборке, чем г, вычисленный по фор-
муле. Принимая это во внимание, можно использовать стандартную
ошибку г, чтобы приблизительно оценить, насколько большой должна
быть статистически значимая корреляция. И в этом случае вычисли-
тельная техника позволяет легко определить значение бисериальной кор-
реляции, основываясь на более адекватной процедуре, т. е. по ответам ис-
пытуемых из всей выборки.
ВНУТРЕННЯЯ СОГЛАСОВАННОСТЬ
Анализ заданий нередко проводится относительно суммарного результа-
та теста. Этот метод находит свое применение в тестах достижений
и особенно при составлении учителем контрольных работ, когда трудно
получить внешние критериальные данные. Как отмечалось в главе 6,
этот подход позволяет получить меру внутренней согласованности, а не
внешней валидности. Он годится для уточнения валидации по содержа-
нию и некоторых аспектов конструктной валидации.
Однако если тест должен быть валидным относительно критерия,
использование суммарного результата для анализа заданий нуждается
в тщательном изучении. При определенных условиях эти два подхода
могут привести к противоположным выводам: задания, выбираемые по
Формулу для ет можно найти в любом учебнике статистики (J. P. Guilford,
194 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
признаку внешней валидности, могут оказаться неудовлетворительными
с точки зрения внутренней согласованности. Предположим, что предва-
рительная форма теста способности к обучению состоит из 100 арифме-
тических и 50 словарных заданий. Для отбора заданий из первоначаль-
ной их совокупности методом внутренней согласованности можно
воспользоваться бисериальной корреляцией между выполнением каждо-
го задания и суммарными результатами по всем 150 заданиям. Очевид-
но, что такая бисериальная корреляция будет выше для арифметических,
а не для лексических заданий, потому что суммарный результат основан
на вдвое большем числе арифметических заданий. Если в окончательной
форме теста предполагается сохранить лучшие 75 заданий, то вполне ве-
роятно, что в большинстве своем они будут состоять из арифметических
заданий. Но с точки зрения достижений в учении словарные задания мо-
гут оказаться по сравнению с арифметическими более валидными
предикторами. В этом случае анализ заданий будет служить не повыше-
нию, а понижению валидности теста.
Изъятие заданий, имеющих низкую корреляцию с суммарным ре-
зультатом, является средством повышения однородности, или <очище-
ния>, теста. Благодаря применению этой процедуры сохраняются зада-
ния с наибольшими средними взаимокорреляциями. Данный метод
отбора заданий повышает валидность теста, только когда первоначаль-
ная совокупность заданий измеряет одно и то же свойство и когда это
свойство присутствует и в критерии. Однако некоторые типы тестов из-
меряют комбинацию свойств, отвечающих сложному критерию. В таком
случае очищение теста от инородных элементов может сузить охват та-
кого критерия и тем самым понизить валидность.
Отбор заданий с целью довести до максимума валидность теста
аналогичен отбору тестов, с тем чтобы получить батарею тестов с на-
иболее высокой валидностью. Напомним (гл. 7), что вклад теста в ва-
лидность батареи тем больше, чем выше его корреляция с критерием
и чем ниже корреляция с другими тестами батареи. Если этот принцип
применить к отбору заданий, то наилучшими окажутся задания, имею-
щие наибольшие значения валидности и наименьшие коэффициенты вну-
тренней согласованности. На этой основе можно определить чистую эф-
фективность задания, т.е. чистый прирост валидности теста при
добавлении к нему конкретного задания. Так, если задание тесно корре-
лирует с внешним критерием, но относительно слабо коррелирует с сум-
марным показателем теста, то оно предпочтительнее такого задания, ко-
торое имеет высокую корреляцию и с критерием, и с тестом в целом,
ибо первое задание, по-видимому, измеряет некоторый аспект критерия,
не учитываемый должным образом остальными заданиями.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132