Либо задания должны
представлять различные генеральные совокупности заданий (напри-
мер, они измеряют различные переменные), либо есть ошибка выбор-
ки, вносимая испытуемыми.
Таким образом, легко видеть, что формула ( 1.5) дает разработчи-
ку тестов уверенность в том, что случайные ошибки, похоже, не
смогут нарушить логику построения теста. Даже при наличии не-
большого количества заданий оценки надежности могут быть точны-
ми.
Nunnally (1978) выводит из этой классической модели ряд прин-
ципов, которые имеют значение при практическом конструировании
тестов. Методическая мощь этой классической модели заключается
в том, что из нее можно сделать много полезных выводов. Фактиче-
ски, охватываются три важных области : соотношение величины
теста и его надежности, надежность любой выборки заданий и оцени-
37
вание истинных показателей по полученным или выборочным пока-
зателям.
Надежность и величина теста
Представляется очевидным, что надежность возрастает с величи-
ной теста. Поскольку истинные показатели определены как показа-
тели генеральной совокупности заданий, должно выполняться пред-
положение, что чем больше величина теста, тем выше корреляция с
истинным показателем; в предельном случае рассматривается гипо-
тетическая ситуация, когда тест состоит из всех заданий генеральной
совокупности, за исключением одного.
С точки зрения разработчика тестов важной является быстрота
возрастания надежности с возрастанием количества заданий. Всегда
трудно разработать большое количество валидных заданий (напри-
мер, таких, которые принадлежат именно нужной генеральной сово-
купности); следовательно, если мы хотим продемонстрировать, что,
скажем, надежность двадцати пяти заданий (с заданной средней кор-
реляцией) является высокой, то достижение этой цели будет иметь
смысл. Nunnally (1978) показал, как это может быть сделано.
В результате получена формула Спирмена-Брауна (Spearman-
Brown Prophecy formula) (используемая в вычислении надежности
теста при его расщеплении на части):
= . + {k-l)T,
(1.6)
где rkk - надежность теста после расщепления, k - количество
заданий, и гц - средняя взаимная корреляция между заданиями.
Как было показано, формула Спирмена-Брауна является чрезвы-
чайно полезной при конструировании тестов. Предположим, что у
нас есть три набора заданий: (а) десять заданий, (Ь) двадцать зада-
ний, (с) тридцать заданий. Пусть средняя корреляция между задани-
ями равна 0,20. Тогда:
= 1 О) =
Set В = rkk
20х0.20
1+(19 X 0.20)
=L)=
rkk является надежностью теста, и квадратный корень из нее дает
нам оценочные корреляции заданий с истинным показателем. Даже
38
для теста из десяти заданий удается получить удовлетворительное
значение надежности, тогда как при тридцати достигается очень
большое ее значение. Причем эти цифры были получены для зада-
ний, взаимная корреляция которых была низкой, всего 0,20. Для
болееоднородного теста из 30 заданий, гдесредняя корреляция выше,
например, 0,40, получаем:
Set D = rkk
30х0.40
1+(29х0.40)
Таким образом, разработчик тестов, который может сформулиро-
вать большой набор однородных заданий, уже готов создать надеж-
ный тест. Следует также заметить, что, если он разобьет эти тридцать
заданий на две параллельные формы по пятнадцать заданий, они обе
также будут иметь удовлетворительную надежность. В самом деле,
rkk дает нам ожидаемую корреляцию теста, состоящего из k заданий,
с другим тестом из k заданий из одной и той же генеральной совокуп-
ности. rkk - это надежность, вычисляемая по взаимным корреля-
циям заданий теста.
Формула Спирмена-Брауна (1.6) используется при вычислении
надежности теста при расщеплении его на две части (когда корреля-
ция между половинами теста пересчитывается в зависимости от их
величины). Здесь каждая половина теста рассматривается как выбор-
ка из генеральной совокупности. Это позволяет упростить формулу
для частного случая (при k=2). Формула Спирмена-Брауна для вы-
числения надежности теста при расщеплении его пополам имеет вид:
_ 2п2
1+П2
где /12 - корреляция между двумя половинами теста.
В самом деле, основная формула (1.6) выполняется независимо
от величины оцениваемых методик.
Надежность и выборки заданий
Методы вычисления надежности тестов, которые подробно для
практической разработки тестов будут описаны в главе 5, имеют свои
статистические основания в данной модели погрешностей измерения.
Действительно, для вычисления надежности теста может быть ис-
пользована формула Спирмена-Брауна. Однако, вычисление корре-
ляционных матриц является громоздким, и, в результате, были раз-
работаны другие методы, по сути, аналогичные, хотя и выглядят они
иначе.
39
КОЭФФИЦИЕНТ
И Cronbach (1971), и Nunnally (1978) рассматривают коэффици-
ента как наиболее важный показатель надежности теста, а формула
его вычисления относительно проста. Как показано у Nunnally
(1978), она выведена из классической модели погрешностей измере-
ния. Коэффициент а определяется как оценка корреляции данного
теста с другим тестом такой же длины из одной генеральной совокуп-
ности заданий. Квадратный корень из нее - это оценка корреляции
данного теста с истинным показателем. Таким образом:
coefficient О.
k
"k=\
()
(1.7)
(1.8)
где k - количество заданий в тесте, "Lo - сумма дисперсий для
заданий, и о у - дисперсия для данного теста.
Формула Kuder-Richardson 20 (K-R20) является частным случаем
коэффициента О. для заданий дихотомического типа:
k /1 PQ.
-Т(--.
где Р-доля испытуемых, давших правильные (ключевые) отве-
ты на задания, от общего количества испытуемых, Q ==1- Р,о
-дисперсия для теста.
Этот коэффициент прост для вычисления и, естественно, имеет те
же характеристики, что и коэффициент G., причем PQ является эк-
вивалентом и для дихотомического случая.
Из формулы коэффициента О. можно также сделать вывод, что
надежные тесты имеют большую дисперсию (и, следовательно, явля-
ются более дискриминативными), чем ненадежные тесты - важное
практическое следствие этого аспекта данной модели .
Используя классическую модель погрешностей измерения, мож-
но оценить истинные показатели по полученным эксперименталь-
ным показателям. Однако, это не имеет большого отношения к кон-
струированию тестов вследствие малой практической значимости, и
мы не будем обсуждать здесь этот вопрос.
Из данной модели можно получить одну важную статистическую
величину (она упоминалась в начале данного раздела) - стандар-
Дисперсия и дискриминативность связаны косвенно. При большой дисперсии
надежность низкая (в понимании повторяемости результатов) (Прим.ред.)
40
тную погрешность измерения. Это ожидаемое стандартное откло-
нение от показателей для любого индивидуума, выполняющего боль-
шое количество параллельных тестов. Оно может быть использовано
для определения доверительных границ полученных показателей,
хотя эти зоны располагаются симметрично вокруг истинного, а не
эмпирического показателя (момент, обычно игнорируемый на прак-
тике) .
ffmeas =Ox/VT
(I.I)
где х - это множество полученных показателей и t - это множе-
ство истинных показателей.
= CTx/Vl -Гхх
(надежность)
Таким образом, стандартная погрешность измерения является
стандартной погрешностью оценивания истинных показателей, ис-
ходя из полученных показателей.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
представлять различные генеральные совокупности заданий (напри-
мер, они измеряют различные переменные), либо есть ошибка выбор-
ки, вносимая испытуемыми.
Таким образом, легко видеть, что формула ( 1.5) дает разработчи-
ку тестов уверенность в том, что случайные ошибки, похоже, не
смогут нарушить логику построения теста. Даже при наличии не-
большого количества заданий оценки надежности могут быть точны-
ми.
Nunnally (1978) выводит из этой классической модели ряд прин-
ципов, которые имеют значение при практическом конструировании
тестов. Методическая мощь этой классической модели заключается
в том, что из нее можно сделать много полезных выводов. Фактиче-
ски, охватываются три важных области : соотношение величины
теста и его надежности, надежность любой выборки заданий и оцени-
37
вание истинных показателей по полученным или выборочным пока-
зателям.
Надежность и величина теста
Представляется очевидным, что надежность возрастает с величи-
ной теста. Поскольку истинные показатели определены как показа-
тели генеральной совокупности заданий, должно выполняться пред-
положение, что чем больше величина теста, тем выше корреляция с
истинным показателем; в предельном случае рассматривается гипо-
тетическая ситуация, когда тест состоит из всех заданий генеральной
совокупности, за исключением одного.
С точки зрения разработчика тестов важной является быстрота
возрастания надежности с возрастанием количества заданий. Всегда
трудно разработать большое количество валидных заданий (напри-
мер, таких, которые принадлежат именно нужной генеральной сово-
купности); следовательно, если мы хотим продемонстрировать, что,
скажем, надежность двадцати пяти заданий (с заданной средней кор-
реляцией) является высокой, то достижение этой цели будет иметь
смысл. Nunnally (1978) показал, как это может быть сделано.
В результате получена формула Спирмена-Брауна (Spearman-
Brown Prophecy formula) (используемая в вычислении надежности
теста при его расщеплении на части):
= . + {k-l)T,
(1.6)
где rkk - надежность теста после расщепления, k - количество
заданий, и гц - средняя взаимная корреляция между заданиями.
Как было показано, формула Спирмена-Брауна является чрезвы-
чайно полезной при конструировании тестов. Предположим, что у
нас есть три набора заданий: (а) десять заданий, (Ь) двадцать зада-
ний, (с) тридцать заданий. Пусть средняя корреляция между задани-
ями равна 0,20. Тогда:
= 1 О) =
Set В = rkk
20х0.20
1+(19 X 0.20)
=L)=
rkk является надежностью теста, и квадратный корень из нее дает
нам оценочные корреляции заданий с истинным показателем. Даже
38
для теста из десяти заданий удается получить удовлетворительное
значение надежности, тогда как при тридцати достигается очень
большое ее значение. Причем эти цифры были получены для зада-
ний, взаимная корреляция которых была низкой, всего 0,20. Для
болееоднородного теста из 30 заданий, гдесредняя корреляция выше,
например, 0,40, получаем:
Set D = rkk
30х0.40
1+(29х0.40)
Таким образом, разработчик тестов, который может сформулиро-
вать большой набор однородных заданий, уже готов создать надеж-
ный тест. Следует также заметить, что, если он разобьет эти тридцать
заданий на две параллельные формы по пятнадцать заданий, они обе
также будут иметь удовлетворительную надежность. В самом деле,
rkk дает нам ожидаемую корреляцию теста, состоящего из k заданий,
с другим тестом из k заданий из одной и той же генеральной совокуп-
ности. rkk - это надежность, вычисляемая по взаимным корреля-
циям заданий теста.
Формула Спирмена-Брауна (1.6) используется при вычислении
надежности теста при расщеплении его на две части (когда корреля-
ция между половинами теста пересчитывается в зависимости от их
величины). Здесь каждая половина теста рассматривается как выбор-
ка из генеральной совокупности. Это позволяет упростить формулу
для частного случая (при k=2). Формула Спирмена-Брауна для вы-
числения надежности теста при расщеплении его пополам имеет вид:
_ 2п2
1+П2
где /12 - корреляция между двумя половинами теста.
В самом деле, основная формула (1.6) выполняется независимо
от величины оцениваемых методик.
Надежность и выборки заданий
Методы вычисления надежности тестов, которые подробно для
практической разработки тестов будут описаны в главе 5, имеют свои
статистические основания в данной модели погрешностей измерения.
Действительно, для вычисления надежности теста может быть ис-
пользована формула Спирмена-Брауна. Однако, вычисление корре-
ляционных матриц является громоздким, и, в результате, были раз-
работаны другие методы, по сути, аналогичные, хотя и выглядят они
иначе.
39
КОЭФФИЦИЕНТ
И Cronbach (1971), и Nunnally (1978) рассматривают коэффици-
ента как наиболее важный показатель надежности теста, а формула
его вычисления относительно проста. Как показано у Nunnally
(1978), она выведена из классической модели погрешностей измере-
ния. Коэффициент а определяется как оценка корреляции данного
теста с другим тестом такой же длины из одной генеральной совокуп-
ности заданий. Квадратный корень из нее - это оценка корреляции
данного теста с истинным показателем. Таким образом:
coefficient О.
k
"k=\
()
(1.7)
(1.8)
где k - количество заданий в тесте, "Lo - сумма дисперсий для
заданий, и о у - дисперсия для данного теста.
Формула Kuder-Richardson 20 (K-R20) является частным случаем
коэффициента О. для заданий дихотомического типа:
k /1 PQ.
-Т(--.
где Р-доля испытуемых, давших правильные (ключевые) отве-
ты на задания, от общего количества испытуемых, Q ==1- Р,о
-дисперсия для теста.
Этот коэффициент прост для вычисления и, естественно, имеет те
же характеристики, что и коэффициент G., причем PQ является эк-
вивалентом и для дихотомического случая.
Из формулы коэффициента О. можно также сделать вывод, что
надежные тесты имеют большую дисперсию (и, следовательно, явля-
ются более дискриминативными), чем ненадежные тесты - важное
практическое следствие этого аспекта данной модели .
Используя классическую модель погрешностей измерения, мож-
но оценить истинные показатели по полученным эксперименталь-
ным показателям. Однако, это не имеет большого отношения к кон-
струированию тестов вследствие малой практической значимости, и
мы не будем обсуждать здесь этот вопрос.
Из данной модели можно получить одну важную статистическую
величину (она упоминалась в начале данного раздела) - стандар-
Дисперсия и дискриминативность связаны косвенно. При большой дисперсии
надежность низкая (в понимании повторяемости результатов) (Прим.ред.)
40
тную погрешность измерения. Это ожидаемое стандартное откло-
нение от показателей для любого индивидуума, выполняющего боль-
шое количество параллельных тестов. Оно может быть использовано
для определения доверительных границ полученных показателей,
хотя эти зоны располагаются симметрично вокруг истинного, а не
эмпирического показателя (момент, обычно игнорируемый на прак-
тике) .
ffmeas =Ox/VT
(I.I)
где х - это множество полученных показателей и t - это множе-
ство истинных показателей.
= CTx/Vl -Гхх
(надежность)
Таким образом, стандартная погрешность измерения является
стандартной погрешностью оценивания истинных показателей, ис-
ходя из полученных показателей.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88