Его модель разработана для тестов
с "закрытыми" заданиями (выбором ответов из множества), разли-
чающимися по уровню трудности. В "закрытых" тестах испытуемый
может применить стратегию "угадывания" ответа. Вероятность уга-
дывания
Р=1/т,
где
m - число альтернатив.
Сложность тестового задания
Wn/N,
п - число испытуемых, способных решить задание,
N - общее количество испытуемых в выборке валидизации.
При WP невозможно определить, решена задача случайно или за-
кономерно. Полагается, что биноминальное распределение вероят-
ности успешного выполнения тестового задания при больших N апп-
роксимируется нормальным.
Должны выполняться следующие условия:
1. Правильный ответ выбирается неслучайно, если:
егоэкспериментально полученная частота больше I/in:
это превышение статистически значимо;
оценить его можно с помощью t-критерия Стьюдента.
2. Все ложные варианты ответов должны выбираться нечаще, чем
случайные:
q=n,/N< 1/т,
п. - частота выбора неверного ответа.
Тем самым тестовое задание стимулирует испытуемого к выбору
правильного ответа.
3. В тестах "уровня" диапазон изменения показателя сложности
О W < 1 должен быть уменьшен "слева" на величину W, значимо
отличающуюся от W, в которой t = t (t- критерий Стьюдента).
Чем больше вариантов ответов в тесте, тем меньше W и шире об-
ласть допустимых значений показателя сложности тестового зада-
ния. Например, для N = 100, а= 0,05 (t. = 1,90) и 10>m>3 расчет
показывает, что уже при m > 6 скорость расширения области значе-
ний показателя сложности значимо замедляется. Поэтому рекомен-
дуется выбирать 6-10 вариантов ответа.
В тесте "уровня" число градаций сложности и число заданий свя-
зано. Чем точнее оценка свойства, тем больше число градаций. Но
это влечет снижение достоверности измерения, так как длина теста
(число заданий) ограниченна. Уменьшение числа градаций приве-
дет к нивелированию различий между испытуемыми.
Предельно возможное число заданий в тесте выбирается при ус-
ловии, что различие в уровне их сложности гарантируется с выбран-
ной вероятностью.
Поскольку дисперсия биноминального распределения максималь-
на в центре интервала 0 - 1 и уменьшается к периферии до 0, шаг
градаций сложности на разных участках этого интервала будет раз-
личным: на периферии он должен стремиться к нулю.
Удобно принять в качестве шага градации сложности 1/10 интер-
вала. Для а == 0,05, N = 100 получается 7 значений показателя слож-
ности, что при шаге, равном 0,1, гарантирует различение междууров-
нями с вероятностью 0,9.
Если учесть условие минимизации случайного выбора правиль-
ного ответа, то число градаций сложности должно быть еще мень-
ше. Например, при 6 вариантах ответа число заданий разного уров-
ня сложности не может быть больше 6.
Эти выводы верны в том случае, если биноминальное распреде-
ление аппроксимируется нормальным распределением. При боль-
шом числе испытуемых такая аппроксимация возможна.
Расчеты показывают, что минимально необходимый объем вы-
борки для апробации тестовых заданий не так уж и велик - 56 чело-
век при достоверности 0,9.
Следовательно, исходя из вероятностной модели теста и не при-
бегая кдопущениям о моделях тестирования, можно рассчитать пара-
метры теста как предельные характеристики, обеспечивающие до-
стоверность измерения.
Литература
Психологические измерения. М.: Мир, 1976.
Паповян С.С. Математические методы в социальной психологии.
М.: Наука, 1983.
Клийн П. Справочное руководство по конструированию тестов.
Киев, 1994.
ДюкВ.А. Компьютерная психодиагностика. СПб.: Братство, 1994.
Вопросы
1. Какие основные типы шкалы используются в психологических
исследованиях?
2. В чем состоят отличия классической модели теста от теории
выбора ответа (IRT)?
3. Что такое "логит"?
4. Каким должно быть число уровней трудности заданий в тесте?
5. В каких случаях применяется шкалограммный анализ?
ГЛАВА 7
ИНТЕРПРЕТАЦИЯ
И ПРЕДСТАВЛЕНИЕ РЕЗУЛЬТАТОВ
Содержание. Результаты эмпирического исследования и их пред-
ставление. Принятие решения о гипотезе (подтверждение, опровер-
жение). Ошибки первого и второго рода, их причины и средства
минимизации. Обобщение экспериментальных результатов на дру-
гие выборки, другие условия эксперимента и на других эксперимен-
таторов. Представление результатов исследования: графическое, сим-
волическое и вербальное. Требования к научному тексту. Структура
и содержание научной статьи. Оформление научной статьи. Стан-
дарт "Психологического журнала" и стандарт АРА (США).
Основные понятия. Принятие решения, ошибки первого и второ-
го рода, достоверность, обобщение, текст, график, граф, диаграм-
ма, полигон распределения, гистограмма, стандарт.
7.1. Результаты исследования,
их интерпретация и обобщение
Автор этого учебника сознательно не включил главу с изложени-
ем методов математико-статистической обработки данных. Во-пер-
вых, существует обширная учебная литература, справочники и мо-
нографии, где эти вопросы изложены профессионально и подробно.
Во-вторых, студенты-психологи изучают отдельный курс "Матема-
тические методы в психологии", а попрактиковаться в их примене-
нии они могут, обрабатывая результаты лабораторных исследований
на практикуме по общей психологии. Поэтому содержание этой гла-
вы начинается с того момента, когда данные исследования уже об-
работаны и представлены в той или иной форме. Кроме того, при-
менение статистических критериев уже позволило сделать вывод о
принятии или отвержении статистической гипотезы Н или Н .
Предположим, что статистическая гипотеза о различии результа-
тов экспериментальной и контрольной групп принята. Какие выво-
ды мы можем сделать после обработки экспериментальных резуль-
татов? Итог любого исследования - преобразование "сырых" дан-
ных в решение об обнаружении явления (различий в поведении двух
и более групп), о статистической связи или причинной зависимос-
ти. Подтверждение или опровержение статистической гипотезы о
значимости обнаруженных сходств - различий, связей и т.д. долж-
но быть интерпретировано как подтверждение (неопровержение) или
опровержение экспериментальной гипотезы. Как правило, исследо-
ватель пытается подтвердить гипотезу о различиях поведения кон-
трольной и экспериментальной групп. Нуль-гипотеза- гипотеза о
тождестве групп.
При статистическом выводе возможны различные варианты ре-
шений. Исследователь может принять или отвергнуть статистичес-
кую нуль-гипотезу, но она может быть объективно ("на самом деле")
верной или ложной. Соответственно возможны четыре исхода: 1)
принятие верной нуль-гипотезы; 2) отвержение ложной нуль-гипо-
тезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной
нуль-гипотезы. Два варианта решения правильны, два - ошибоч-
ны. Ошибочные варианты называются ошибками 1-го и 2-го рода.
Ошибку 1-го рода исследователь совершает, если отвергает ис-
тинную нуль-гипотезу. Ошибка 2-го рода состоит в принятии лож-
ной нуль-гипотезы (и отвержении верной исследовательской гипо-
тезы о различиях).
РешениеГипотеза
Нуль-гипотеза верпаИсследовательская гипотеза верна
Отвержсиие нуль-гипотезы Принятие нуль-гипотезыОшибка 1 -го рода Верное решениеВерное решение Ошибка 2-го рода
Чем больше число испытуемых и опытов, чем выше статистичес-
кая достоверность вывода (принятый уровень значимости), тем мень-
ше вероятность совершения ошибок 1 -го рода.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77
с "закрытыми" заданиями (выбором ответов из множества), разли-
чающимися по уровню трудности. В "закрытых" тестах испытуемый
может применить стратегию "угадывания" ответа. Вероятность уга-
дывания
Р=1/т,
где
m - число альтернатив.
Сложность тестового задания
Wn/N,
п - число испытуемых, способных решить задание,
N - общее количество испытуемых в выборке валидизации.
При WP невозможно определить, решена задача случайно или за-
кономерно. Полагается, что биноминальное распределение вероят-
ности успешного выполнения тестового задания при больших N апп-
роксимируется нормальным.
Должны выполняться следующие условия:
1. Правильный ответ выбирается неслучайно, если:
егоэкспериментально полученная частота больше I/in:
это превышение статистически значимо;
оценить его можно с помощью t-критерия Стьюдента.
2. Все ложные варианты ответов должны выбираться нечаще, чем
случайные:
q=n,/N< 1/т,
п. - частота выбора неверного ответа.
Тем самым тестовое задание стимулирует испытуемого к выбору
правильного ответа.
3. В тестах "уровня" диапазон изменения показателя сложности
О W < 1 должен быть уменьшен "слева" на величину W, значимо
отличающуюся от W, в которой t = t (t- критерий Стьюдента).
Чем больше вариантов ответов в тесте, тем меньше W и шире об-
ласть допустимых значений показателя сложности тестового зада-
ния. Например, для N = 100, а= 0,05 (t. = 1,90) и 10>m>3 расчет
показывает, что уже при m > 6 скорость расширения области значе-
ний показателя сложности значимо замедляется. Поэтому рекомен-
дуется выбирать 6-10 вариантов ответа.
В тесте "уровня" число градаций сложности и число заданий свя-
зано. Чем точнее оценка свойства, тем больше число градаций. Но
это влечет снижение достоверности измерения, так как длина теста
(число заданий) ограниченна. Уменьшение числа градаций приве-
дет к нивелированию различий между испытуемыми.
Предельно возможное число заданий в тесте выбирается при ус-
ловии, что различие в уровне их сложности гарантируется с выбран-
ной вероятностью.
Поскольку дисперсия биноминального распределения максималь-
на в центре интервала 0 - 1 и уменьшается к периферии до 0, шаг
градаций сложности на разных участках этого интервала будет раз-
личным: на периферии он должен стремиться к нулю.
Удобно принять в качестве шага градации сложности 1/10 интер-
вала. Для а == 0,05, N = 100 получается 7 значений показателя слож-
ности, что при шаге, равном 0,1, гарантирует различение междууров-
нями с вероятностью 0,9.
Если учесть условие минимизации случайного выбора правиль-
ного ответа, то число градаций сложности должно быть еще мень-
ше. Например, при 6 вариантах ответа число заданий разного уров-
ня сложности не может быть больше 6.
Эти выводы верны в том случае, если биноминальное распреде-
ление аппроксимируется нормальным распределением. При боль-
шом числе испытуемых такая аппроксимация возможна.
Расчеты показывают, что минимально необходимый объем вы-
борки для апробации тестовых заданий не так уж и велик - 56 чело-
век при достоверности 0,9.
Следовательно, исходя из вероятностной модели теста и не при-
бегая кдопущениям о моделях тестирования, можно рассчитать пара-
метры теста как предельные характеристики, обеспечивающие до-
стоверность измерения.
Литература
Психологические измерения. М.: Мир, 1976.
Паповян С.С. Математические методы в социальной психологии.
М.: Наука, 1983.
Клийн П. Справочное руководство по конструированию тестов.
Киев, 1994.
ДюкВ.А. Компьютерная психодиагностика. СПб.: Братство, 1994.
Вопросы
1. Какие основные типы шкалы используются в психологических
исследованиях?
2. В чем состоят отличия классической модели теста от теории
выбора ответа (IRT)?
3. Что такое "логит"?
4. Каким должно быть число уровней трудности заданий в тесте?
5. В каких случаях применяется шкалограммный анализ?
ГЛАВА 7
ИНТЕРПРЕТАЦИЯ
И ПРЕДСТАВЛЕНИЕ РЕЗУЛЬТАТОВ
Содержание. Результаты эмпирического исследования и их пред-
ставление. Принятие решения о гипотезе (подтверждение, опровер-
жение). Ошибки первого и второго рода, их причины и средства
минимизации. Обобщение экспериментальных результатов на дру-
гие выборки, другие условия эксперимента и на других эксперимен-
таторов. Представление результатов исследования: графическое, сим-
волическое и вербальное. Требования к научному тексту. Структура
и содержание научной статьи. Оформление научной статьи. Стан-
дарт "Психологического журнала" и стандарт АРА (США).
Основные понятия. Принятие решения, ошибки первого и второ-
го рода, достоверность, обобщение, текст, график, граф, диаграм-
ма, полигон распределения, гистограмма, стандарт.
7.1. Результаты исследования,
их интерпретация и обобщение
Автор этого учебника сознательно не включил главу с изложени-
ем методов математико-статистической обработки данных. Во-пер-
вых, существует обширная учебная литература, справочники и мо-
нографии, где эти вопросы изложены профессионально и подробно.
Во-вторых, студенты-психологи изучают отдельный курс "Матема-
тические методы в психологии", а попрактиковаться в их примене-
нии они могут, обрабатывая результаты лабораторных исследований
на практикуме по общей психологии. Поэтому содержание этой гла-
вы начинается с того момента, когда данные исследования уже об-
работаны и представлены в той или иной форме. Кроме того, при-
менение статистических критериев уже позволило сделать вывод о
принятии или отвержении статистической гипотезы Н или Н .
Предположим, что статистическая гипотеза о различии результа-
тов экспериментальной и контрольной групп принята. Какие выво-
ды мы можем сделать после обработки экспериментальных резуль-
татов? Итог любого исследования - преобразование "сырых" дан-
ных в решение об обнаружении явления (различий в поведении двух
и более групп), о статистической связи или причинной зависимос-
ти. Подтверждение или опровержение статистической гипотезы о
значимости обнаруженных сходств - различий, связей и т.д. долж-
но быть интерпретировано как подтверждение (неопровержение) или
опровержение экспериментальной гипотезы. Как правило, исследо-
ватель пытается подтвердить гипотезу о различиях поведения кон-
трольной и экспериментальной групп. Нуль-гипотеза- гипотеза о
тождестве групп.
При статистическом выводе возможны различные варианты ре-
шений. Исследователь может принять или отвергнуть статистичес-
кую нуль-гипотезу, но она может быть объективно ("на самом деле")
верной или ложной. Соответственно возможны четыре исхода: 1)
принятие верной нуль-гипотезы; 2) отвержение ложной нуль-гипо-
тезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной
нуль-гипотезы. Два варианта решения правильны, два - ошибоч-
ны. Ошибочные варианты называются ошибками 1-го и 2-го рода.
Ошибку 1-го рода исследователь совершает, если отвергает ис-
тинную нуль-гипотезу. Ошибка 2-го рода состоит в принятии лож-
ной нуль-гипотезы (и отвержении верной исследовательской гипо-
тезы о различиях).
РешениеГипотеза
Нуль-гипотеза верпаИсследовательская гипотеза верна
Отвержсиие нуль-гипотезы Принятие нуль-гипотезыОшибка 1 -го рода Верное решениеВерное решение Ошибка 2-го рода
Чем больше число испытуемых и опытов, чем выше статистичес-
кая достоверность вывода (принятый уровень значимости), тем мень-
ше вероятность совершения ошибок 1 -го рода.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77