Естественно, чем больше заданий, различающихся по уровню
трудности, предложил разработчик для первичного варианта теста,
тем меньше итераций он будет проводить.
Главным недостатком модели Раша теоретики считают пренебре-
жение "крутизной" характеристических кривых: "крутизна" их по-
лагается одинаковой.
Задания с более "крутыми" характеристическими кривыми по-
зволяют лучше "различать" испытуемых (особенно в среднем диа-
пазоне шкалы способности), чем задания с более "пологими" кри-
выми.
Параметр, определяющий "крутизну" характеристических кри-
вых 3с1даний, называют дифференцирующей силой задания. Он ис-
пользуется в двухпараметрической модели Бирнбаума.
Модель Бирнбаума аналитически описывается формулой
_ ел-ра, (в, - )
1+ехр(в)-
Параметр а. определяет "крутизну" кривой в точке ее перегиба;
его значение прямо пропорционально тангенсу угла наклона каса-
тельной к характеристической кривой задания теста в точкеб = (3.
Интервал изменения параметра аот- <>до +Їо. Если значения а
близки к 0 (для заданий разной трудности), то испытуемые, разли-
чающиеся по уровню выраженности свойства, равновероятно дают
"ключевой" ответ на это задание теста. При выполнении такого за-
дания у испытуемых не обнаруживается различий.
Парадоксальный вариант получаем при а < 0. В этом случае бо-
лее способные испытуемые отвечают правильно с меньшей вероят-
ностью, а менее способные - с большей вероятностью. Опытные пси-
ходиагносты знают, что такие случаи встречаются в практике тести-
рования очень часто.
Ф.ЛордиМ.Р.Новиквевоей классической работе приводят фор-
мулы оценки параметра а. При а = 1 задание соответствует одно-
215
параметрической модели Раша. Практики рекомендуют использо-
вать задания, характеризующие значениеа в интервале от 0.5 до 3.
Все психологические тесты можно разделить в зависимости от
формального типа ответов испытуемого на "открытые" и "закры-
тые". В тестах с "открытым" ответом, к которым относятся TCCTWAIS
Д.Векслера или методикадополнения предложений, испытуемый сам
порождает ответ. Тесты с "закрытыми" заданиями содержат вари-
анты ответов. Испытуемый может выбрать один или несколько ва-
риантов из предлагаемого множества. В тестах способностей (тест
Д.Равена, GABT и др.) предусмотрено несколько вариантов непра-
вильного решения и один правильный. Испытуемый может приме-
нить стратегию угадывания. Вероятность угадывания ответа:
Р,=!/ч,
где
п - число вариантов.
Результаты эмпирических исследований показали, что относи-
тельные частоты решения "закрытых" заданий отклоняются от тео-
ретически предсказанных вероятностей двухпараметрической модели
Бирнбаума. Чем ниже уровень способностей испытуемого (низкие
значения параметра 9), тем чаще он прибегает к стратегии угадыва-
ния. Аналогично, чем труднее задание, тем больше вероятность того,
что испытуемый будет пытаться угадать правильный ответ, а не ре-
шать задачу.
Бирнбаум предложил трехпараметрическую модель, которая по-
зволила бы учесть влияние угадывания на результат выполнения теста.
Трехпараметрическая модель Бирнбаума выглядит так:
ехра. (в.-Р>.)
Р = С+(1-С )
" 1+схрав-)
Соответственно оценка "силы" пункта (трудности задания) в ло-
гистической форме модели
c-ft-p)
РГО-С.) i+Ly
С характеризует вероятность правильного ответа на задание j в
том случае, если испытуемый угадывал ответ, а не решал задание,
т.е. при 9 -> 0. Для заданий с пятью вариантами ответов С. = 0,2, с
четырьмя вариантами - С. = 0,25 и т.д.
Нетрудно заметить, что характеристическая кривая задания при
учете параметра С становится более пологой, так как 0 < С < 1,но
при всех С = 0 кривая поднимается над осью 9 на величину С.. Тем
самым даже самый неспособный испытуемый не может показать
нулевой результат. Дифференцирующая сила тестового задания при
введении параметра С. снижается. Из этого следует нетривиальный
вывод: тесты с "закрытыми" заданиями (вынужденным выбором от-
вета) хуже дифференцируют испытуемых по уровням свойства, чем
тесты с "открытыми" заданиями.
Модель Бирнбаума не объясняет парадоксального, но встречаю-
щегося в практике тестирования феномена: испытуемый может реже
выбирать правильный ответ, чем неправильный. Таким образом, час-
тота решения некоторых заданий может не соответствовать предска-
заниям модели Р. < С., тогда как, согласно модели Бирнбаума, в пре-
деле Р. = С..
Рассмотрим еще одну модель, которую предложил В.С.Аванесов.
Как мы уже заметили, в IRT не решается проблема валидности: ус-
пешность решения задачи зависит в моделях IRT только от одного
свойства. Иначе говоря, каждое задание теста считается априорно
валидным.
Аванссов обратил внимание на это обстоятельство и ввел допол-
нительный, четвертый, параметр, который можно обозначить как
внутреннюю валидность задания. Успешность решения задания оп-
ределяется нетолько "основной" способностью (6), но и множест-
вом условий, нерелевантных заданию, однако влияющих на деятель-
ность испытуемого.
Четырехпараметрическая модель представляет, по мнению ряда
исследователей, лишь теоретический интерес:
схра (в,-Р,)
р = с+ fv_Г ) -------
ч Ч (Ъ l+cxpa,(Q,-f>
где
у. - валидность тестового задания.
Ьсли у < 1, то тест не является абсолютно валиднным. Следова-
тельно, вероятность решения задания не только определяется тео-
ретически выделенным свойством, но и зависит от других психи-
ческих особенностей личности.
Бирнбаум считает, что количество информации, обеспеченное j-м
заданием теста, при оценивании 9. является величиной, обратно про-
порциональной стандартной ошибке измерения данного значения
9 j-м заданием. Более подробно вычисление информационной функ-
ции рассмотрено в работе М.Б.Челышковой.
Многие авторы, в частности Пол Клайн, отмечают, что IRT об-
ладает множеством недостатков. Для того, чтобы получить надеж-
ную и независимую от испытуемых шкалу свойств, требуется про-
вести тестирование большой выборки (не менее 1000 испытуемых).
Тестирование достижений показывает, что существуют значитель-
ные расхождения между предсказаниями модели и эмпирическими
данными.
В 1978 г. Вуддоказал, что любые произвольные данные могутбыть
приведены в соответствие с моделью Раша. Кроме того, существует
очень высокая корреляция шкал Раша с классическими тестовыми
шкалами (около 0,90).
Шкалирование, по мнению Раша, способно привести к образо-
ванию бессмысленных шкал. Например, попытка применить его мо-
дель к опроснику EPQ Айзенка породила смесь шкал N, Е, Р и L.
Главный же недостаток IRT - игнорирование проблемы валид-
ности. В психологической практике не наблюдается случаев, когда
ответы на задания теста были бы обусловлены лишь одним факто-
ром. Даже при тестировании общего интеллекта модели ГТ непри-
менимы.
Клайн рекомендует использовать модели IRT для коротких тес-
тов с валидными заданиями (факторно простые тесты).
В пособии Клайна "Справочное руководство по конструирова-
нию тестов" (Киев, 1994) приведен алгоритм конструирования тес-
тов на основе модели Раша.
В заключение рассмотрим вероятностную модель тестов "уров-
ня" Ф.М.Юсупова, аспиранталаборатории психологии способнос-
тей Института психологии РАН.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77
трудности, предложил разработчик для первичного варианта теста,
тем меньше итераций он будет проводить.
Главным недостатком модели Раша теоретики считают пренебре-
жение "крутизной" характеристических кривых: "крутизна" их по-
лагается одинаковой.
Задания с более "крутыми" характеристическими кривыми по-
зволяют лучше "различать" испытуемых (особенно в среднем диа-
пазоне шкалы способности), чем задания с более "пологими" кри-
выми.
Параметр, определяющий "крутизну" характеристических кри-
вых 3с1даний, называют дифференцирующей силой задания. Он ис-
пользуется в двухпараметрической модели Бирнбаума.
Модель Бирнбаума аналитически описывается формулой
_ ел-ра, (в, - )
1+ехр(в)-
Параметр а. определяет "крутизну" кривой в точке ее перегиба;
его значение прямо пропорционально тангенсу угла наклона каса-
тельной к характеристической кривой задания теста в точкеб = (3.
Интервал изменения параметра аот- <>до +Їо. Если значения а
близки к 0 (для заданий разной трудности), то испытуемые, разли-
чающиеся по уровню выраженности свойства, равновероятно дают
"ключевой" ответ на это задание теста. При выполнении такого за-
дания у испытуемых не обнаруживается различий.
Парадоксальный вариант получаем при а < 0. В этом случае бо-
лее способные испытуемые отвечают правильно с меньшей вероят-
ностью, а менее способные - с большей вероятностью. Опытные пси-
ходиагносты знают, что такие случаи встречаются в практике тести-
рования очень часто.
Ф.ЛордиМ.Р.Новиквевоей классической работе приводят фор-
мулы оценки параметра а. При а = 1 задание соответствует одно-
215
параметрической модели Раша. Практики рекомендуют использо-
вать задания, характеризующие значениеа в интервале от 0.5 до 3.
Все психологические тесты можно разделить в зависимости от
формального типа ответов испытуемого на "открытые" и "закры-
тые". В тестах с "открытым" ответом, к которым относятся TCCTWAIS
Д.Векслера или методикадополнения предложений, испытуемый сам
порождает ответ. Тесты с "закрытыми" заданиями содержат вари-
анты ответов. Испытуемый может выбрать один или несколько ва-
риантов из предлагаемого множества. В тестах способностей (тест
Д.Равена, GABT и др.) предусмотрено несколько вариантов непра-
вильного решения и один правильный. Испытуемый может приме-
нить стратегию угадывания. Вероятность угадывания ответа:
Р,=!/ч,
где
п - число вариантов.
Результаты эмпирических исследований показали, что относи-
тельные частоты решения "закрытых" заданий отклоняются от тео-
ретически предсказанных вероятностей двухпараметрической модели
Бирнбаума. Чем ниже уровень способностей испытуемого (низкие
значения параметра 9), тем чаще он прибегает к стратегии угадыва-
ния. Аналогично, чем труднее задание, тем больше вероятность того,
что испытуемый будет пытаться угадать правильный ответ, а не ре-
шать задачу.
Бирнбаум предложил трехпараметрическую модель, которая по-
зволила бы учесть влияние угадывания на результат выполнения теста.
Трехпараметрическая модель Бирнбаума выглядит так:
ехра. (в.-Р>.)
Р = С+(1-С )
" 1+схрав-)
Соответственно оценка "силы" пункта (трудности задания) в ло-
гистической форме модели
c-ft-p)
РГО-С.) i+Ly
С характеризует вероятность правильного ответа на задание j в
том случае, если испытуемый угадывал ответ, а не решал задание,
т.е. при 9 -> 0. Для заданий с пятью вариантами ответов С. = 0,2, с
четырьмя вариантами - С. = 0,25 и т.д.
Нетрудно заметить, что характеристическая кривая задания при
учете параметра С становится более пологой, так как 0 < С < 1,но
при всех С = 0 кривая поднимается над осью 9 на величину С.. Тем
самым даже самый неспособный испытуемый не может показать
нулевой результат. Дифференцирующая сила тестового задания при
введении параметра С. снижается. Из этого следует нетривиальный
вывод: тесты с "закрытыми" заданиями (вынужденным выбором от-
вета) хуже дифференцируют испытуемых по уровням свойства, чем
тесты с "открытыми" заданиями.
Модель Бирнбаума не объясняет парадоксального, но встречаю-
щегося в практике тестирования феномена: испытуемый может реже
выбирать правильный ответ, чем неправильный. Таким образом, час-
тота решения некоторых заданий может не соответствовать предска-
заниям модели Р. < С., тогда как, согласно модели Бирнбаума, в пре-
деле Р. = С..
Рассмотрим еще одну модель, которую предложил В.С.Аванесов.
Как мы уже заметили, в IRT не решается проблема валидности: ус-
пешность решения задачи зависит в моделях IRT только от одного
свойства. Иначе говоря, каждое задание теста считается априорно
валидным.
Аванссов обратил внимание на это обстоятельство и ввел допол-
нительный, четвертый, параметр, который можно обозначить как
внутреннюю валидность задания. Успешность решения задания оп-
ределяется нетолько "основной" способностью (6), но и множест-
вом условий, нерелевантных заданию, однако влияющих на деятель-
ность испытуемого.
Четырехпараметрическая модель представляет, по мнению ряда
исследователей, лишь теоретический интерес:
схра (в,-Р,)
р = с+ fv_Г ) -------
ч Ч (Ъ l+cxpa,(Q,-f>
где
у. - валидность тестового задания.
Ьсли у < 1, то тест не является абсолютно валиднным. Следова-
тельно, вероятность решения задания не только определяется тео-
ретически выделенным свойством, но и зависит от других психи-
ческих особенностей личности.
Бирнбаум считает, что количество информации, обеспеченное j-м
заданием теста, при оценивании 9. является величиной, обратно про-
порциональной стандартной ошибке измерения данного значения
9 j-м заданием. Более подробно вычисление информационной функ-
ции рассмотрено в работе М.Б.Челышковой.
Многие авторы, в частности Пол Клайн, отмечают, что IRT об-
ладает множеством недостатков. Для того, чтобы получить надеж-
ную и независимую от испытуемых шкалу свойств, требуется про-
вести тестирование большой выборки (не менее 1000 испытуемых).
Тестирование достижений показывает, что существуют значитель-
ные расхождения между предсказаниями модели и эмпирическими
данными.
В 1978 г. Вуддоказал, что любые произвольные данные могутбыть
приведены в соответствие с моделью Раша. Кроме того, существует
очень высокая корреляция шкал Раша с классическими тестовыми
шкалами (около 0,90).
Шкалирование, по мнению Раша, способно привести к образо-
ванию бессмысленных шкал. Например, попытка применить его мо-
дель к опроснику EPQ Айзенка породила смесь шкал N, Е, Р и L.
Главный же недостаток IRT - игнорирование проблемы валид-
ности. В психологической практике не наблюдается случаев, когда
ответы на задания теста были бы обусловлены лишь одним факто-
ром. Даже при тестировании общего интеллекта модели ГТ непри-
менимы.
Клайн рекомендует использовать модели IRT для коротких тес-
тов с валидными заданиями (факторно простые тесты).
В пособии Клайна "Справочное руководство по конструирова-
нию тестов" (Киев, 1994) приведен алгоритм конструирования тес-
тов на основе модели Раша.
В заключение рассмотрим вероятностную модель тестов "уров-
ня" Ф.М.Юсупова, аспиранталаборатории психологии способнос-
тей Института психологии РАН.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77