Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание; Х
- количество правильных ответов "нет"; W - количество непра-
вильных ответов "нет"; п - количество вариантов выбора в задани-
ях.
Следует отметить четыре момента, касающиеся этой формулы.
(1) Предполагается, что все неправильные ответы даны в резуль-
тате угадывания. Это не всегда так, поскольку испытуемые могут
часто иметь неверные сведения.
(2) Предполагается, что при угадывании каждый вариант ответа
может быть выбран с одинаковой вероятностью. Это не так, посколь-
ку в заданиях с несколькими вариантами выбора испытуемый может
правильно отбросить все варианты, кроме двух. Следовательно, для
данного испытуемого коррекция на угадывание будет занижена (од-
нако, см. пункт 4).
(3) Для заданий с различным количеством вариантов ответов
нужна различная коррекция угадывания.
(4) Коррекция угадывания применима к так называемому средне-
му испытуемому. В индивидуальных случаях она будет неверной.
Из сказанного ясно, что коррекция на угадывание - это в лучшем
случае лишь грубое оценивание.
В общем, я соглашаюсь с Vernon (1950), который утверждает, что
на практике при условии, что тест имеет достаточное количество
заданий, угадыванием можно пренебречь. Это особенно верно для
заданий с несколькими вариантами выбора. Альтернативные задания
больше подвержены влиянию угадывания, и это является причиной
отказа от использования этого вида заданий, если только он не явля-
ется единственным удовлетворительным. Если требуется высокая
скорость выполнения тестов, то это подстегивает испытуемых к слу-
чайному угадыванию ответов. Однако проведение тестов в столь сжа-
тые сроки, что испытуемые не могут завершить их выполнения, не
будет хорошей практикой тестирования. Это привносит в тест внеш-
нюю переменную скорости выполнения. Короче говоря, случайное
угадывание не является основной проблемой тестирования, а коррек-
89
ция угадывания полезна только для тестов с альтернативными зада-
ниями, использование которых, однако, не рекомендовано.
Заключение
Полагаю, было сказано уже достаточно, чтобы основные положе-
ния формулирования заданий для тестов способностей и достижений
стали понятными. Имея большое количество правильно сконструи-
рованных заданий, не измеряющих тривиальные вещи лишь потому,
что их легко измерять, и используя статистические процедуры, кото-
рые будут обсуждаться в последующих главах, можно будет разраба-
тывать эффективные тесты для выявления способностей человека. Я
также надеюсь, что подробная демонстрация методик формулирова-
ния заданий (возможно, даже раздражающая своей подробностью)
выявила также, почему так много объективных тестов, особенно те-
стов достижений, являются такими слабыми. Многие объективные
тесты разрабатывались неопытными энтузиастами-любителями. Не
достаточно применять мощный статистический аппарат для подбора
заданий. Прежде всего сами задания должны быть эффективными.
Формулирование заданий не является простым делом. Основных
принципы, указанные в данном руководстве, должны способствовать
устранению многих крупных просчетов.
Глава 3. Создание надежных тестов II;
Личностные опросники. Разработка заданий
Личностные опросники - широко используемые методики изме-
рения личностных качеств, поскольку они могут разрабатываться
так, что им будут присущи многие атрибуты эффективных тестов:
надежность, дискриминативность и стандартизованность. Однако, в
силу природы личностных переменных, труднее всего бывает устано-
вить валидность именно этих методик.
Проблемы конструирования личностных опросников
Как и в случае тестов способностей, качество отдельных заданий
(вопросов, утверждений) является определяющим для всего опрос-
ника, и поэтому в данной главе будут рассматриваться трудности,
возникающие при формулировании заданий, а также преимущества
различных типов заданий.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88