Если тест предназначен для всей популяции, то это правильно. В
случае, когда тест предназначен для высокообразованных испытуе-
187
мых, то наша выборка должна, соответственно, состоять из таких
людей. В общем, не следует уделять особого внимания этим перемен-
ным при условии, что наша выборка адекватно отражает ту катего-
рию лиц (популяцию), для которой тест предназначен.
Анализ заданий: два полезных показателя
С этого момента мы будем предполагать, что наши выборки адек-
ватны по составу и достаточно велики. Сейчас мы подходим к реаль-
ному анализу заданий. Поскольку целью является получить одно-
родный дискриминирующий тест, из этого следует, что существует
два полезных показателя: (1) доля испытуемых, давших ключевые
ответы; и (2) величина корреляции заданий с общим показателем.
Корреляция заданий и общего показателя
Существует несколько формул для вычисления корреляции зада-
ний с общим показателем. Они перечислены ниже вместе с коммен-
тариями по их использованию при анализе заданий.
(1) Коэффициент произведения моментов Пирсона . Nunnally
(1978) рекомендует его для заданий с оцениванием по многобалль-
ным шкалам. Однако, в случае пяти-балльных шкал (или с меньшим
количеством градаций) правомочность использования этого коэффи-
циента корреляции вызывает сомнения.
(2) Точечно-бисериальная корреляция. Эта формула использует-
ся для дихотомических заданий. Ответы на другие задания могут
быть приведены к виду "правильно/неправильно" или "ключевой/
неключевой ответ" и также обработаны при помощи этой формулы.
(3) Коэффициент (р . Этот коэффициент можно использовать,
если мы приведем общий показатель к дихотомическому виду ("тест
выполнен / не выполнен" или "показатель выше / ниже среднего") .
Строго говоря, для этой формулы предполагается, что это неконти-
нуальные градации.
(4) Четырехпольный коэффициент корреляции. Эта формула
может использоваться как и коэффициент (р. Однако, делается пред-
положение, что градации "тест выполнен/не выполнен" или "верно/
неверно" являются континуальными. Для четырехпольного коэффи-
циента корреляции существует проблема, состоящая в том, что его
стандартная погрешность является большой: вдвое больше, чем для
коэффициента произведения моментов. И четырехпольный коэффи-
циент net , и коэффициент <р из-за дихотомизации общего показа-
теля, приводят к отбрасыванию определенных объемов данных.
Anstey (1966) перечисляет еще 66 коэффициентов. Однако, мно-
гие из них разрабатывались, чтобы сэкономить время при вычисле-
188
ниях. Это оригинальные краткие формулы, дающие эффективные
оценки корреляции с общим показателем. Однако сейчас, при нали-
чии микрокомпьютеров, необходимость в таких методах отпала.
Вместо этого мы можем выбрать, какие, с точки зрения разработчи-
ков тестов, методы являются наилучшими.
ВЫБОР СТАТИСТИЧЕСКИХ КОЭФФИЦИЕНТОВ ДЛЯ АНА-
ЛИЗА ЗАДАНИЙ
Дихотомизировать показатели на высокий и низкий, как это тре-
буется для многих статистических формул анализа заданий, - зна-
чит потерять многоценной информации. Представляется, что у дан-
ного подхода нет никаких достоинств, и я не склонен рекомендовать
его использовать. Теперь, при наличии компьютеров, утрачено его
основное преимущество - экономия времени.
При использовании континуального критерия, общего показателя
по тесту, какой же статистический коэффициент будет наилучшим?
Самым лучшим, несомненно, будет коэффициент точечно-бисери-
альной корреляции, или грЬк Anstey, сравнивая бисериальный и
точечно-бисериальный коэффициенты корреляции, проводит два
важных различия между этими показателями. При бисериальной
корреляции предполагается, что распределение показателей по кри-
терию является нормальным и есть количественное различие между
правильными и неправильными ответами. При точечно-бисериаль-
ной корреляции таких предположений о распределениях не делается
и допускается лишь количественное различие между правильными и
неправильными ответами. Более того, значение коэффициента бисе-
риальной корреляции может, если распределение не является нор-
мальным, превзойти 1; для нее также предполагается линейность
регрессии между заданиями и критерием.
Если мы помним, что, согласно классической модели погрешно-
стей измерения, корреляция заданий с общим показателем равна
средней корреляции некоторого задания со всеми остальными зада-
ниями, то коэффициент rpbis является чрезвычайно значимым. Коро-
че говоря, этот коэффициент корреляции дает нам наилучшее сред-
ство измерения корреляции заданий с общим показателем, что суще-
ственно при конструировании однородного теста.
ТРУДНОСТИ ВЫЧИСЛЕНИЯ ПОКАЗАТЕЛЕЙ ПО НЕЗАВЕР-
ШЕННЫМ ТЕСТАМ
Существует практическая проблемы, особенно для тестов способ-
ностей, в работе с которыми некоторые испытуемые не укладываются
во время, отведенное для тестирования. Следовательно, некоторые
задания в конце теста остаются невыполненными. Это приводит к
189
искусственному возрастанию корреляции этих заданий с общим по-
казателем теста. Как видно по формулам, приведенным Anstey
(1966); делались попытки учесть это при вычислении корреляции.
Однако, как указывает Anstey, это вряд ли стоит делать. С нашей
точки зрения, лучше всего предъявлять такое количество заданий,
чтобы все они могли быть выполнены. Если, наконец, 10% испытуе-
мых из выборки не выполнили некоторое задание, то это только 10%
утерянной информации, и никакие статистические ухищрения не
могут на это повлиять. Если же это неосуществимо, то, вероятно,
лучше предъявлять задания случайным образом, так, чтобы количе-
ство испытуемых, не выполнивших какое-либо одно задание, было
незначительным.
Доля испытуемых, давших ключевые ответы
Нет необходимости говорить что-либо об этом статистическом
показателе. Единственной трудностью может быть упомянутая выше
- наличие невыполненных заданий. В общем, все, что необходимо
сделать - это подсчитать количество ответов на каждое задание.
Процедуры анализа заданий
Сейчас будут описаны основные практические шаги, необходи-
мые для анализа заданий. Метод, который я проиллюстрирую, был
рекомендован Nunnally (1978) и использовался автором данной кни-
ги при конструировании его собственных тестов. Это коэффициент
точечно-бисериальной корреляции грЬц . Прежде чем описывать вы-
числения и процедуры, остается отметить одну маленькую деталь.
При вычислении корреляции задания с общим показателем не ис-
ключается вклад в общий показатель данного задания, следователь-
но, полученное значение будет выше, чем корреляция этого задания
со всеми другими заданиями. Когда производится испытание большо-
го количества заданий (скажем, около 100), этот эффект можно не
принимать во внимание. Однако, Nunnally (1978) приводит коррек-
тирующую формулу:
гц (corrected) =
r-ltOt-Oi
V(7? +ff? -20i0t Гц
где гц - корреляция задания с общим показателем, 0i - стандар-
тное отклонение для задания, 0( - стандартное отклонение для
теста.
Эту формулу следует применять, если у вас гораздо меньше
заданий.
190
Будем предполагать, что множество испытываемых заданий было
предъявлено большой выборке подходящих испытуемых, как обсуж-
далось выше, и результаты были обработаны.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88