Расчеты
показывают, что в тестовом задании целесообразно брать от 6 до 10 вариантов
ответа, чтобы минимизировать вероятность случайного решения.
Число заданий в тесте уровня не должно быть слишком велико для того,
чтобы значения показателей сложности соседних по уровню сложности заданий
надежно различались. Кроме того, нужно учесть, что правильный ответ может
быть выбран испытуемым случайно.
При 6 вариантах ответа в каждом тестовом задании количество заданий не
может быть более 6-7 (см. табл. 3).
Таблица 3. Расчетные значения показателей сложности тестовых задании
Номер задания1234567
Показатель0,0350,1460,3090,50,690,8340,97
сложности
Модель, предложенная Ф. М. Юсуповым, позволяет спрогнозировать мини-
мальный объем выборки, достаточной для стандартизации теста.
Соответствующая модель для расчета параметров теста с эквивалентными
по трудности заданиями (тест лскорость») предложена в работе В. Н. Дружини-
на [б].
Эмпирически проверка теста интеллекта на валидность и надежность Д про-
цедура стандартная и хорошо отражена в методических руководствах [11.
Главное, что следует заметить: все разработанные тесты рассматривают ин-
теллект как некоторую непрерывную величину (по аналогии с ростом или ве-
сом), которой люди характеризуются в разной степени.
Рис. 14. Отношения между шкалой IQ и шкалами отдельных тестов интеллекта
Подразумевается, что, как большинство биологических и социальных пара-
метров, интеллект характеризуется нормальным распределением людей вдоль
оси континуума.
Можно предположить, что существующие тесты интеллекта, включающие в
себя задания разной сложности, захватывают разные участки этого континуума.
Парадоксально, что это не отражается на характеристиках распределения людей
по результатам тестирования! Возможно, к этому приводит искусственный под-
бор заданий и процедура нормализации шкалы.
Число баллов в каждом тесте интеллекта имеет верхнюю и нижнюю грани-
цы, а не простирается в бесконечность, следовательно, уместно говорить лишь о
квазинормальности любого распределения людей по отношению к шкале тесто-
вого балла.
При подсчете баллов во всех тестах используется кумулятивная аддитивная
модель: суммируются баллы, набранные за выполнение каждого отдельного зада-
ния, несмотря на их (заданий) содержательную разнородность.
На первый взгляд пользоваться гипотезой о прямой зависимости вероятно-
сти решения задачи от уровня способности, с определенными оговорками, можно
лишь для тестов с эквивалентными по трудности заданиями. В тестах луровня»
более целесообразно было бы применять шкалу трудности, измеряя способность
самым сложным заданием, которое решил испытуемый. Однако решение зави-
сит от массы случайных факторов, начиная с угадывания и кончая индивидуаль-
ной интерпретацией тестовой задачи испытуемым.
На примере теста Равена мой аспирант Ф. М. Юсупов проверил, в какой
мере валидны различные модели подсчета тестовых баллов:
1) традиционный, применявшийся в тесте балльный показатель,
2) сумма рангов сложности решенных заданий,
3) количество правильно выполненных заданий (оценка трудности заданий не
учитывалась),
Таблица 4. Коэффициенты вариации и их ошибки
для четырех видов показателей тестовой шкалы
Система оценкиКоэффициент вариацииОшибка коэффициента вариации
Без учета сложности19,49%1,4%
Модиф. показатель сложности38,34%2,76%
Сложность в баллах24,43%1,76%
Сложность в рангах30,53%2,19%
2. Учитывающий с
в ранговой фор
3. Не учитывающи
тестовых задан
4. Учитывающий с
форме весовых
5. Используемый
4) сумма показателей сложности решенных задач (сложность определялась
отношением числа решивших задачу к общему числу испытуемых).
Время работы испытуемых с тестом не ограничивалось. Результаты иссле-
дования показали, что наихудшей дифференцирующей способностью обладает
показатель, не учитывающий трудности задания, что естественно, поскольку мы
имеем дело с тестом уровня. Наилучшая дифференцирующая способность у
модифицированного показателя трудности [5]. Показатель, учитывающий слож-
ность в рангах, и традиционный показатель заняли второе и третье место.
1.0-
0.9-
0.8-
0.7 -
0,6 -
0,5 -
0,4-
0,3 -
0,2-
0.1 -
10
11 12 13 14 15 16
m
Рис. 15. График зависимости диапазона изменения показателя сложности от числа
вариантов ответов в тестовом задании (по Ф. M. Юсупову)
Таблица 5. Коэффициенты интеркорреляции для пяти различных показателей шкалы
Показатель шкалы1234
1. Используемый в тесте Равена10,9880,9610,909
2. Учитывающий сложность в ранговой форме0,98810,940,981
3. Не учитывающий сложности тестовых заданий0,9610,9410,885
4. Учитывающий сложность в форме весовых коэффициентов0,9090,9810,8851
5. Используемый в тесте0,7150,7540,6780,79
Таблица 6. Результаты факторного анализа для пяти показателей шкалы
Показатель шкалыIIIh2
1. Используемый в тесте Равена0,9110,3850,978
2. Учитывающий сложность в ранговой форме0,8890,4540,995
3. Не учитывающий сложность тестовых заданий0,9150,3360,95
4. Учитывающий сложность в форме весовых коэффициентов0,8050,540,94
5. Используемый в тесте луровня»0,3880,9180,993
Для удобства факторизации показателей был введен пятый ранг наиболее
сложного выполненного задания.
Факторизация по методу главных компонент с последующим их вращением
по методу Г. Кайзера дала два значимых фактора (см. табл. 6). Наибольший вес
по первому фактору имел традиционный показатель продуктивности, используе-
мый в тесте Равена, а наименьший Д показатель, учитывающий ранг наиболее
сложного решенного задания.
Соответственно второй фактор имел максимальную нагрузку на последний
показатель и минимальную Д на традиционный, используемый в тесте Равена.
Поскольку первый фактор объяснял 64,9% дисперсии, а второй только 32%,
можно было сделать совершенно очевидный вывод, что успешность выполнения
теста Равена, несмотря на то что он является типичным тестом луровня», опре-
деляется скоростным фактором интеллекта в большей мере, чем фактором,
обусловливающим решение сложных заданий. Естественно, результаты факто-
ризации показали, что это разные факторы, и, следовательно, тесты лскорости»
измеряют иной линтеллект», чем тесты луровня». Этот результат тем более
интересен, что тест Равена мы использовали без ограничения времени решения
(не как тест лскорости», а как тест луровня»).
Второй фактор интерпретируется как предельная возможность испытуемого
при выполнении теста, что в большей мере соответствует теоретическому пони-
манию способности как свойства психики.
Однако тестовая шкала, по которой способность будет определяться решени-
ем лишь одного тестового задания, будет очень подвержена действию случайных
факторов. Данные шкалограммного анализа показали, что испытуемые, решив-
шие сложные задания, часто не справляются с простым.
Коэффициент корреляции реальной шкалограммы с идеальной равен 0,82
(желательная величина Д 0,9).
Тем самым наиболее приемлем комплексный показатель, учитывающий как
число заданий, так и их эмпирически установленную сложность (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89
показывают, что в тестовом задании целесообразно брать от 6 до 10 вариантов
ответа, чтобы минимизировать вероятность случайного решения.
Число заданий в тесте уровня не должно быть слишком велико для того,
чтобы значения показателей сложности соседних по уровню сложности заданий
надежно различались. Кроме того, нужно учесть, что правильный ответ может
быть выбран испытуемым случайно.
При 6 вариантах ответа в каждом тестовом задании количество заданий не
может быть более 6-7 (см. табл. 3).
Таблица 3. Расчетные значения показателей сложности тестовых задании
Номер задания1234567
Показатель0,0350,1460,3090,50,690,8340,97
сложности
Модель, предложенная Ф. М. Юсуповым, позволяет спрогнозировать мини-
мальный объем выборки, достаточной для стандартизации теста.
Соответствующая модель для расчета параметров теста с эквивалентными
по трудности заданиями (тест лскорость») предложена в работе В. Н. Дружини-
на [б].
Эмпирически проверка теста интеллекта на валидность и надежность Д про-
цедура стандартная и хорошо отражена в методических руководствах [11.
Главное, что следует заметить: все разработанные тесты рассматривают ин-
теллект как некоторую непрерывную величину (по аналогии с ростом или ве-
сом), которой люди характеризуются в разной степени.
Рис. 14. Отношения между шкалой IQ и шкалами отдельных тестов интеллекта
Подразумевается, что, как большинство биологических и социальных пара-
метров, интеллект характеризуется нормальным распределением людей вдоль
оси континуума.
Можно предположить, что существующие тесты интеллекта, включающие в
себя задания разной сложности, захватывают разные участки этого континуума.
Парадоксально, что это не отражается на характеристиках распределения людей
по результатам тестирования! Возможно, к этому приводит искусственный под-
бор заданий и процедура нормализации шкалы.
Число баллов в каждом тесте интеллекта имеет верхнюю и нижнюю грани-
цы, а не простирается в бесконечность, следовательно, уместно говорить лишь о
квазинормальности любого распределения людей по отношению к шкале тесто-
вого балла.
При подсчете баллов во всех тестах используется кумулятивная аддитивная
модель: суммируются баллы, набранные за выполнение каждого отдельного зада-
ния, несмотря на их (заданий) содержательную разнородность.
На первый взгляд пользоваться гипотезой о прямой зависимости вероятно-
сти решения задачи от уровня способности, с определенными оговорками, можно
лишь для тестов с эквивалентными по трудности заданиями. В тестах луровня»
более целесообразно было бы применять шкалу трудности, измеряя способность
самым сложным заданием, которое решил испытуемый. Однако решение зави-
сит от массы случайных факторов, начиная с угадывания и кончая индивидуаль-
ной интерпретацией тестовой задачи испытуемым.
На примере теста Равена мой аспирант Ф. М. Юсупов проверил, в какой
мере валидны различные модели подсчета тестовых баллов:
1) традиционный, применявшийся в тесте балльный показатель,
2) сумма рангов сложности решенных заданий,
3) количество правильно выполненных заданий (оценка трудности заданий не
учитывалась),
Таблица 4. Коэффициенты вариации и их ошибки
для четырех видов показателей тестовой шкалы
Система оценкиКоэффициент вариацииОшибка коэффициента вариации
Без учета сложности19,49%1,4%
Модиф. показатель сложности38,34%2,76%
Сложность в баллах24,43%1,76%
Сложность в рангах30,53%2,19%
2. Учитывающий с
в ранговой фор
3. Не учитывающи
тестовых задан
4. Учитывающий с
форме весовых
5. Используемый
4) сумма показателей сложности решенных задач (сложность определялась
отношением числа решивших задачу к общему числу испытуемых).
Время работы испытуемых с тестом не ограничивалось. Результаты иссле-
дования показали, что наихудшей дифференцирующей способностью обладает
показатель, не учитывающий трудности задания, что естественно, поскольку мы
имеем дело с тестом уровня. Наилучшая дифференцирующая способность у
модифицированного показателя трудности [5]. Показатель, учитывающий слож-
ность в рангах, и традиционный показатель заняли второе и третье место.
1.0-
0.9-
0.8-
0.7 -
0,6 -
0,5 -
0,4-
0,3 -
0,2-
0.1 -
10
11 12 13 14 15 16
m
Рис. 15. График зависимости диапазона изменения показателя сложности от числа
вариантов ответов в тестовом задании (по Ф. M. Юсупову)
Таблица 5. Коэффициенты интеркорреляции для пяти различных показателей шкалы
Показатель шкалы1234
1. Используемый в тесте Равена10,9880,9610,909
2. Учитывающий сложность в ранговой форме0,98810,940,981
3. Не учитывающий сложности тестовых заданий0,9610,9410,885
4. Учитывающий сложность в форме весовых коэффициентов0,9090,9810,8851
5. Используемый в тесте0,7150,7540,6780,79
Таблица 6. Результаты факторного анализа для пяти показателей шкалы
Показатель шкалыIIIh2
1. Используемый в тесте Равена0,9110,3850,978
2. Учитывающий сложность в ранговой форме0,8890,4540,995
3. Не учитывающий сложность тестовых заданий0,9150,3360,95
4. Учитывающий сложность в форме весовых коэффициентов0,8050,540,94
5. Используемый в тесте луровня»0,3880,9180,993
Для удобства факторизации показателей был введен пятый ранг наиболее
сложного выполненного задания.
Факторизация по методу главных компонент с последующим их вращением
по методу Г. Кайзера дала два значимых фактора (см. табл. 6). Наибольший вес
по первому фактору имел традиционный показатель продуктивности, используе-
мый в тесте Равена, а наименьший Д показатель, учитывающий ранг наиболее
сложного решенного задания.
Соответственно второй фактор имел максимальную нагрузку на последний
показатель и минимальную Д на традиционный, используемый в тесте Равена.
Поскольку первый фактор объяснял 64,9% дисперсии, а второй только 32%,
можно было сделать совершенно очевидный вывод, что успешность выполнения
теста Равена, несмотря на то что он является типичным тестом луровня», опре-
деляется скоростным фактором интеллекта в большей мере, чем фактором,
обусловливающим решение сложных заданий. Естественно, результаты факто-
ризации показали, что это разные факторы, и, следовательно, тесты лскорости»
измеряют иной линтеллект», чем тесты луровня». Этот результат тем более
интересен, что тест Равена мы использовали без ограничения времени решения
(не как тест лскорости», а как тест луровня»).
Второй фактор интерпретируется как предельная возможность испытуемого
при выполнении теста, что в большей мере соответствует теоретическому пони-
манию способности как свойства психики.
Однако тестовая шкала, по которой способность будет определяться решени-
ем лишь одного тестового задания, будет очень подвержена действию случайных
факторов. Данные шкалограммного анализа показали, что испытуемые, решив-
шие сложные задания, часто не справляются с простым.
Коэффициент корреляции реальной шкалограммы с идеальной равен 0,82
(желательная величина Д 0,9).
Тем самым наиболее приемлем комплексный показатель, учитывающий как
число заданий, так и их эмпирически установленную сложность (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89