Время его реакции сравнивается со временем
реакции в условиях, когда обучения (инструктирования) не было.
(4) Задача на лексическое решение. Является ли некоторая после-
довательность букв словом или нет? Является ли слово членом неко-
торого класса или нет?
(5) Задача на лексическое решение. Имеет ли предложение
смысл?
(6) Идентичность наименований и физическая идентичность.
Стимулы считаются одинаковыми или различными. Предъявляются
вариации из фигур и их наименований.
Надеюсь, что этого описания достаточно для читателей, чтобы
понять суть когнитивного похода к изучению способностей человека.
269
А сейчас мы обратимся к вопросу о том, как эти методы могут влиять
на конструирование тестов.
Применение для конструирования тестов
Одним из следствий когнитивного подхода является, как утверж-
дает Carroll (1980), то, что можно было бы использовать ECTs в
качестве тестов, если бы была показана их надежность и валидность.
Если, например, для вербальных способностей важендоступ к долго-
временной памяти, то для ее измерения полезно будет использовать
надежную и дискриминативную ЕСТ. Однако использование в каче-
стве тестов не является наиболее важным аспектом ECTs, хотя у нас
в Эксетере мы зашли настолько далеко, что продемонстрировали
надежность ряда ECTs (Cooper и др., в печати).
Гораздо более важным, с точки зрения конструирования тестов,
является тот факт, что хорошее понимание когнитивных процессов,
имеющих место при выявлении способностей, позволяет разработчи-
кам тестов формулировать задания с точно известными характерис-
тиками, почти по алгоритму. Я приведу пример способности к про-
странственной ориентации, так как он иллюстрирует как сильные,
так и слабые стороны этого метода.
Kyllonen и др. (1984), помимо прочего, исследовали влияние тре-
нинга и специальных способностей на решение задач, связанных с
пространственной ориентацией. Одним из исследовавшихся факто-
ров были некоторые аспекты или характеристики заданий - в дан-
ном случае заданий на складывание бумажных фигур, взятых из
соответствующего теста (French, Ekstrom и Price, 1963). Исследова-
ния успешности в этой задаче выявили, что существует три измере-
ния трудности заданий и они являются важными детерминантами
индивидуальных различий в успешности их решения. Этими тремя
аспектами являются: количество изгибов на задание, количество
краев изгибов, скрытых от взгляда последующими изгибами, и коли-
чество асимметричных изгибов (то есть таких, которые не разделяют
симметричную фигуру).
Основным в данном случае для конструирования тестов является
то, что знание об измерениях трудности заданий (и о стратегиях,
используемых испытуемыми для решения задач, так как эти два
явления связаны) позволяет разработчикам тестов формулировать
задания с точным уровнем трудности, изменяющимся в зависимости
от количества изгибов, их скрытости и симметрии. Таким способом
задания данного уровня трудности, действительно измеряющие дан-
Эксетер (Exeter) - город в Великобритании, в котором работает автор и находится
университет (Прим.перев.)
270
ную переменную, могут быть сконструированы более или менее ав-
томатически, по правилам. В данном случае нет необходимости при-
влекать искусство формулирования заданий.
Интересно заметить, что уровень трудности задания связан со
стратегиями, используемыми испытуемыми и со способностью испы-
туемых к пространственной ориентации (как специальной способно-
стью) . Следует отметить, что трудность в этом смысле не является
нормативной, как уровень трудности заданий, устанавливаемый в
процедуре анализа заданий. Она объективно зависит от сложности
отдельных аспектов задания.
Преимущества этого метода формулирования заданий, его объек-
тивность и алгоритмическое качество очевидны. Обычно, однако,
такие отдельные аспекты заданий могут быть выделены только для
относительно узких и специфических переменных. Более общие или
широкие факторы, такие как, скажем, гибкость (flexibility), будет
трудно анализировать подобным образом.
Работа Стернберга с невербальными аналогиями подобна той,
которая уже обсуждалась выше. Сходство в том, что в его тесте People
Pieces Test использовались такие задания на аналогии, для которых,
опять-таки, исходя из знания о модели, лежащей в основе решения
таких заданий, может быть точно задан их уровень трудности. Так,
Стернберг представляет схематические человеческие фигуры, кото-
рые могут различаться по четырем двузначным параметрам: высоте,
толщине, полу и цвету одежды. В соответствии с моделью Стернберга
уровнем трудности заданий на аналогии можно точно управлять при
помощи варьирования количества изменяемых параметров у пар эле-
ментов, между которыми должны устанавливаться аналогии. Как и
выше, прианализеотдельныхаспектов, уровеньтрудностьобъектив-
но определяется характеристиками задания и не является норматив-
ным понятием.
Этот раздел будет закончен утверждением, что в случаях, когда
существуют хорошие модели способностей (и если это не весьма
"узкие" задачи, такие как невербальные или геометрические анало-
гии и задания на пространственную ориентацию) анализ отдельных
аспектов заданий может позволить формулировать задания с точно
заданным уровнем трудности. Однако, для способностей многих ви-
дов это невозможно, и наши собственные исследования флексибиль-
ности предполагают, что предстоит еще долгий путь исследования
переменных такого рода (May и др., 1986). Несмотря на это, для
определенных переменных способностей анализ аспектов будет по-
лезным методом анализа заданий. Однако, необходима и некоторая
предосторожность. Поскольку было показано, что индивидуумы не
всегда используют одни и те же стратегии, и что стратегии разных
индивидуумов различаются, то для заданий, полученных при помо-
щи анализа аспектов, полученные уровни трудности будут все же
изменяться, так что для практической разработки тестов трудность
заданий должна быть изучена и проверена на выборках. Тем не
менее, верно то, что когда исследования когнитивных процессов
окончательно выявят процессы, лежащие в основании всех факторов,
тогда анализ аспектов заданий станет возможным и формулирование
заданий будет полностью алгоритмизировано. До этого времени су-
щественно важным остается искусство формулирования заданий, об-
суждавшееся в данной книге.
Должна быть поставлена последняя точка. Я не думаю, что для
разработчика тестов разумной стратегией будет попытка разработать
когнитивную модель способностей человека, так чтобы при форму-
лировании заданий можно было использовать аспекты заданий. Та-
кие исследования будут очень длинными, и нет никакой гарантии,
что можно будет получить модель, эффективную для данной задачи.
Разработчики тестов могут использовать модели, работоспособность
которых уже была показана. Как говорилось, для большинства спо-
собностей все еще необходимо менее точное, более интуитивное фор-
мулирование заданий. Для других тестовых переменных такие моде-
ли процессов являются делом далекого будущего.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
реакции в условиях, когда обучения (инструктирования) не было.
(4) Задача на лексическое решение. Является ли некоторая после-
довательность букв словом или нет? Является ли слово членом неко-
торого класса или нет?
(5) Задача на лексическое решение. Имеет ли предложение
смысл?
(6) Идентичность наименований и физическая идентичность.
Стимулы считаются одинаковыми или различными. Предъявляются
вариации из фигур и их наименований.
Надеюсь, что этого описания достаточно для читателей, чтобы
понять суть когнитивного похода к изучению способностей человека.
269
А сейчас мы обратимся к вопросу о том, как эти методы могут влиять
на конструирование тестов.
Применение для конструирования тестов
Одним из следствий когнитивного подхода является, как утверж-
дает Carroll (1980), то, что можно было бы использовать ECTs в
качестве тестов, если бы была показана их надежность и валидность.
Если, например, для вербальных способностей важендоступ к долго-
временной памяти, то для ее измерения полезно будет использовать
надежную и дискриминативную ЕСТ. Однако использование в каче-
стве тестов не является наиболее важным аспектом ECTs, хотя у нас
в Эксетере мы зашли настолько далеко, что продемонстрировали
надежность ряда ECTs (Cooper и др., в печати).
Гораздо более важным, с точки зрения конструирования тестов,
является тот факт, что хорошее понимание когнитивных процессов,
имеющих место при выявлении способностей, позволяет разработчи-
кам тестов формулировать задания с точно известными характерис-
тиками, почти по алгоритму. Я приведу пример способности к про-
странственной ориентации, так как он иллюстрирует как сильные,
так и слабые стороны этого метода.
Kyllonen и др. (1984), помимо прочего, исследовали влияние тре-
нинга и специальных способностей на решение задач, связанных с
пространственной ориентацией. Одним из исследовавшихся факто-
ров были некоторые аспекты или характеристики заданий - в дан-
ном случае заданий на складывание бумажных фигур, взятых из
соответствующего теста (French, Ekstrom и Price, 1963). Исследова-
ния успешности в этой задаче выявили, что существует три измере-
ния трудности заданий и они являются важными детерминантами
индивидуальных различий в успешности их решения. Этими тремя
аспектами являются: количество изгибов на задание, количество
краев изгибов, скрытых от взгляда последующими изгибами, и коли-
чество асимметричных изгибов (то есть таких, которые не разделяют
симметричную фигуру).
Основным в данном случае для конструирования тестов является
то, что знание об измерениях трудности заданий (и о стратегиях,
используемых испытуемыми для решения задач, так как эти два
явления связаны) позволяет разработчикам тестов формулировать
задания с точным уровнем трудности, изменяющимся в зависимости
от количества изгибов, их скрытости и симметрии. Таким способом
задания данного уровня трудности, действительно измеряющие дан-
Эксетер (Exeter) - город в Великобритании, в котором работает автор и находится
университет (Прим.перев.)
270
ную переменную, могут быть сконструированы более или менее ав-
томатически, по правилам. В данном случае нет необходимости при-
влекать искусство формулирования заданий.
Интересно заметить, что уровень трудности задания связан со
стратегиями, используемыми испытуемыми и со способностью испы-
туемых к пространственной ориентации (как специальной способно-
стью) . Следует отметить, что трудность в этом смысле не является
нормативной, как уровень трудности заданий, устанавливаемый в
процедуре анализа заданий. Она объективно зависит от сложности
отдельных аспектов задания.
Преимущества этого метода формулирования заданий, его объек-
тивность и алгоритмическое качество очевидны. Обычно, однако,
такие отдельные аспекты заданий могут быть выделены только для
относительно узких и специфических переменных. Более общие или
широкие факторы, такие как, скажем, гибкость (flexibility), будет
трудно анализировать подобным образом.
Работа Стернберга с невербальными аналогиями подобна той,
которая уже обсуждалась выше. Сходство в том, что в его тесте People
Pieces Test использовались такие задания на аналогии, для которых,
опять-таки, исходя из знания о модели, лежащей в основе решения
таких заданий, может быть точно задан их уровень трудности. Так,
Стернберг представляет схематические человеческие фигуры, кото-
рые могут различаться по четырем двузначным параметрам: высоте,
толщине, полу и цвету одежды. В соответствии с моделью Стернберга
уровнем трудности заданий на аналогии можно точно управлять при
помощи варьирования количества изменяемых параметров у пар эле-
ментов, между которыми должны устанавливаться аналогии. Как и
выше, прианализеотдельныхаспектов, уровеньтрудностьобъектив-
но определяется характеристиками задания и не является норматив-
ным понятием.
Этот раздел будет закончен утверждением, что в случаях, когда
существуют хорошие модели способностей (и если это не весьма
"узкие" задачи, такие как невербальные или геометрические анало-
гии и задания на пространственную ориентацию) анализ отдельных
аспектов заданий может позволить формулировать задания с точно
заданным уровнем трудности. Однако, для способностей многих ви-
дов это невозможно, и наши собственные исследования флексибиль-
ности предполагают, что предстоит еще долгий путь исследования
переменных такого рода (May и др., 1986). Несмотря на это, для
определенных переменных способностей анализ аспектов будет по-
лезным методом анализа заданий. Однако, необходима и некоторая
предосторожность. Поскольку было показано, что индивидуумы не
всегда используют одни и те же стратегии, и что стратегии разных
индивидуумов различаются, то для заданий, полученных при помо-
щи анализа аспектов, полученные уровни трудности будут все же
изменяться, так что для практической разработки тестов трудность
заданий должна быть изучена и проверена на выборках. Тем не
менее, верно то, что когда исследования когнитивных процессов
окончательно выявят процессы, лежащие в основании всех факторов,
тогда анализ аспектов заданий станет возможным и формулирование
заданий будет полностью алгоритмизировано. До этого времени су-
щественно важным остается искусство формулирования заданий, об-
суждавшееся в данной книге.
Должна быть поставлена последняя точка. Я не думаю, что для
разработчика тестов разумной стратегией будет попытка разработать
когнитивную модель способностей человека, так чтобы при форму-
лировании заданий можно было использовать аспекты заданий. Та-
кие исследования будут очень длинными, и нет никакой гарантии,
что можно будет получить модель, эффективную для данной задачи.
Разработчики тестов могут использовать модели, работоспособность
которых уже была показана. Как говорилось, для большинства спо-
собностей все еще необходимо менее точное, более интуитивное фор-
мулирование заданий. Для других тестовых переменных такие моде-
ли процессов являются делом далекого будущего.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88