Пока по этим методам разработано еще недостаточное количество
тестов для того, чтобы убедиться, насколько эффективно они могли
бы работать на практике. Nunnally (1978) показал, что корреляция
между тестами, сконструированными по этим методам и по обычно-
му методу, является высокой. Тем не менее, один из этих методов, а
именно метод Раша (Rasch, 1966), получил как сильную поддержку
(например, Elliot и др., 1978), так был подвергнут и некоторой кри-
тике (например, Mellenbergh, 1983), и в качестве особой версии ме-
тодов конструирования тестов, основанных на кривых зависимости
"задание-ответ", заслуживает краткого обсуждения.
44
Модель Раша
Эта модель (Rasch, 1960) может быть описана несколькими спо-
собами. Здесь мы представляем один из них, наиболее легко интерп-
ретируемый. Модель позволяет: (1) предоставить процедуру, кото-
рая могла бы показывать, является ли шкала внутренне согласован-
ной, вне зависимости от диапазона изменения черты в выборочной
совокупности; и (2) выявлять любые взаимозависимости между за-
даниями и выборочной совокупностью заданий (так как дисперсия
заданий внутри выборочной совокупности должна отличаться от дис-
персии между выборочными совокупностями), что, конечно, свиде-
тельствует о сомнительных моментах при любых сравнениях между
выборочными совокупностями, например, в кросс-культурных исс-
ледованиях.
Когда испытуемый V выполняет задание k и отвечает на него "Да"
или "Нет", переменная ответа xvk получает значение 0 или 1, в
зависимости от того, соответствует ли ответ высокой или малой сте-
пени проявления измеряемой черты. Полагается, что значение отве-
та зависит как от возможности задания k выявить степень присутст-
вия данной черты у всех испытуемых, так и от степени выраженности
этой черты у некоторого испытуемого, дающего ответы на все зада-
ния. Пусть выраженность черты испытуемого, которая будет назва-
на мерой черты испытуемого, будет представлена параметром Ту, и
пусть характеристика того, что в задании k имеется для выявления
степени выраженности черты (в тестах способностей, например, на-
зываемая трудностью задания), будет представлена параметром аъ..
Модель ответа, дающая вероятность показателя xvk, принимает тогда
следующий вид:
)-
Очевидно, что чем больше мераТУ, тем больше вероятность того,
что испытуемыйУполучит показатель 1 за свой ответ, и, аналогично,
чем ниже характеристика аь. задания k, тем больше вероятность того,
что испытуемый также получит показатель 1 за свой ответ. Также
понятно, что параметры испытуемого и задания считаются одномер-
ными. Если ответы испытуемых на некоторое множество заданий
удовлетворяют условиям данной модели, то очевидно, что задания
дают одномерные шкалы, или, в традиционной терминологии, что
задания внутренне согласованы или однородны.
Определяющим свойством модели ответа, определяемой форму-
лой (1.9), явно указанным у Rasch (1960, 1961) и Wright (1968),
45
является то, что оценки a.k независимы от значений TV и являются,
следовательно, также независимыми от распределения данной черты
в любой выборке испытуемых, ответы которых анализируются. Как
следствие, могут быть получены данные, касающиеся внутренней
согласованности шкалы в рамках выборочной совокупности, без ка-
кого-либо влияния слабого разброса в измеряемой выборке. Кроме
того, поскольку приблизительная оценка значения a.k для каждого
задания k должна быть эквивалентна, независимо от способов изме-
рения испытуемого, используемых для получения результатов, мо-
жет быть выполнена проверка согласованности шкалы между выбо-
рочными совокупностями.
Для оценивания параметров ад и Ту , а также для идентификации
тех заданий, ответы на которые не описываются данной моделью или
не соответствуют ей, был разработан ряд процедур.
При оценивании параметров производится максимизация вероят-
ности матрицы ответов по отношению к параметрам заданий и испы-
туемых одновременно, тогда как проверка соответствия заключается
в проверке того, могут ли исследуемые данные быть описаны данной
моделью, и выполняется уже после оценивания параметров.
Проверка того, являются ли задания внутренне согласованными
относительно некоторой одной выборочной совокупности, будет на-
зываться согласованностью заданий в рамках выборочной совокуп-
ности (within-population item-fit). Проверка того, соответствуют ли
задания данной модели относительно нескольких выборочных сово-
купностей, будет называться согласованностью заданий между выбо-
рочными совокупностями (among-population item-fit). Процедура
для выполнения этой проверки получается непосредственно из того
свойства, что оценки параметров заданий должны быть независимы-
ми от того, какие испытуемые выполняли эти задания. Для каждого
задания значения параметров, полученные для выборки из каждой
выборочной совокупности испытуемых, статистически сравнивают-
ся. Для подробного ознакомления со сложными уравнениями оцени-
вания читатели могут обратиться к Wright (1968) или Rasch (1961).
Модель Раша является математически гораздо более сложной,
чем классическая модель, и для вычислений по ней нужна компью-
терная программа. Говорят, что ее преимуществом, как основания
для конструирования тестов, является то, что можно использовать
задания для получения точных показателей для испытуемых, неза-
висимо от уровня способностей этих испытуемых, поскольку трудно-
сть заданий может быть дифференцирована в зависимости от способ-
ностей испытуемых (если мы измеряем переменную из сферы способ-
ностей) . Как было указано выше, модель Раша является фактически
46
частным случаем модели латентных черт Бирнбаума, и это может с
точки зрения психологии не соответствовать многим областям изме-
рений.
Ниже перечислены различные трудности, возникающие при ис-
пользовании модели Раша, которые до некоторой степени уравнове-
шивают преимущества не зависящих от заданий и не зависящих от
выборочных совокупностей измерений.
Некоторые из наиболее детализированных предположений моде-
ли Раша, почти наверное, являются ошибочными: это то, что задания
эквивалентны по своей дискриминативности; что нет угадывания
ответов; что задания затрагивают только одну черту. Конечно, чтобы
учесть случай угадывания, можно ввести в модель Раша дополни-
тельный параметр, но если мы сделаем это, ее процедуры станут
слишком громоздкими для практических приложений.
Более того, как указывает Lord (1974), если мы хотим получить
надежную, не зависимую от выборочной совокупности градуировку,
должны быть использованы огромные выборки. Вдобавок, опыт тес-
тирования достижений (например, Chopin, 1976) показывает, что
задания часто не соответствуют модели, и в любом случае есть зна-
чительные разногласия по поводу статистических процедур для из-
мерения этого соответствия. Что еще хуже, Wood (1978) показал, что
произвольные данные могут быть приведены в соответствие с мо-
делью Раша. И наконец, у Nunnally (1978) доказано, что в любом
случае существует очень высокая корреляция между шкалами Раша
и шкалами, сделанными в соответствии с классической моделью.
Barrett и Kline (1984) показали, что шкалирование по Рашу может
породить бессмысленные шкалы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88