Очевидно, что содержа-
те-дьная валидность как теоретический конструкт будет полезна
только тогда, когда могут быть определены специальные навыки и
особенности поведения. Это можно сделать довольно легко на эле-
ментарном уровне, при тестировании арифметических навыков
(правил выполнения четырех арифметических операций, правил вы-
числений с 0 и т.п.), знаний в области музыки (знает ли испытуемый
правила нотной записи, может ли гармонизировать простой тон, и
др.), а также знаний базовых элементов для большинства научных
дисциплин, в которых накоплен определенный багаж фактических
данных. Однако, определить содержание теста таким образом для
более высокого уровня знаний становится чрезвычайно трудно. Поэ-
тому понятие "содержательная валидность" наиболее уместно для
тестов достижений в обучении.
Содержательный критерий применим к показателям теста, кото-
рый был разработан как содержательно валидный. Это замечание
поясним на примере. Тест музыкальных навыков может быть связан
с проверкой овладения нотной записью. Тогда задания будут состоять
из четвертей и половинных нот и т.п. на различных нотных линиях и
в разных ключах, а испытуемые должны будут указать, что это за
ноты. В таком тесте показатель 100% будет представлять полное
овладение нотной грамотой. В тестах такого типа необходимо иметь
веское основание для того, чтобы по некоторому пороговому значе-
нию можно было бы принимать решение о переводе учащегося на
следующий этап курса обучения. Для этого требуется подтвержде-
ние, что ученики с показателями выше некоторого порогового явля-
ются успевающими, а те, у кого показатели ниже - нет. Обычно,
однако, такие пороговые значения задаются произвольно, на основа-
нии опыта преподавателей данной дисциплины. Для тестов такого
типа эффективным будет всего лишь двубалльный показатель: удов-
228
летворительно и неудовлетворительно. Мимоходом следует заме-
1 тить, что приведенный пример является гипотетическим. При нали-
1 чии времени прочитать музыкальную запись довольно просто. Зада-
1 ча состоит в том, чтобы ответы давались немедленно и были правиль-
1 ными.
1 Проблемы с содержательным критерием
1 Скрытая слабость показателей по содержательному критерию со-
стоит в трудности формирования выборок заданий по тем дисципли-
i нам, для обследования навыков и знаний в которых предназначен
i тест. Каково значение 90%-ного показателя? Правильно ли гово-
< рить, что индивидуум с таким показателем знает 90% из данной
t дисциплины? Почтинаверноеэтонетак; идажееслибыэтобылотак,
? два испытуемых с одинаковым значением показателя могди непра-
вильно выполнить различные задания, поэтому эти показатели не
являются совершенно эквивалентными. Наличие этой трудности оз-
начает, что использование таких тестов должно ограничиваться
только областью дисциплин с точно описываемым материалом и теми
уровнями, на которых знания являются настолько фиксированными
и определенными, что становится возможным реально формировать
соответствующие выборки заданий, как, например, в случае с про-
стейшими арифметическими операциями. Обратите внимание, что
для тех дисциплин, в которых любое множество заданий теста будет
лишь крохотной выборкой изо всей выборочной совокупности зада-
ний, использование тестов с содержательным критерием неуместно.
ВЫВОДЫ
Содержательный критерий полезен для тех тестов, в которых
требуется проверка овладением некоторыми навыками или специ-
альными знаниями> Это означает, что он имеет значение только для
тестирования достижений. На самом низком уровне в начальной
школе, где важны базовые навыки, он может рассматриваться в ка-
честве методики для конструирования тестов. Тесты чтения Schonell
(1951) являются образцовыми примерами тестов с содержательным
критерием, так как они точно указывают на источник трудностей:
например, испытуемый путает латинские буквы "р" и "Ь", или "d"
и "Ь", и тому подобное. Однако следует заметить, что оценка выпол-
нения заданий в форме "правильно" и "неправильно" также указала
бы на этот факт. Можно утверждать, что содержательный критерий
не всегда является полезным методом для оценки показателей тестов:
в любом случае, сфера его использования ограничивается только
тестами достижений.
Прогнозирование критерия
Вторым методом интерпретации показателей, отличным от ис-
пользования норм, является построение серий таблиц ожиданий, в
которых указывается вероятность того, что испытуемые, получив-
шие некоторый показатель по тесту, достигнут критериального пока-
зателя. Здесь существует несколько заслуживающих рассмотрения
моментов. Во-первых, этот метод применим только тогда, когда воз-
можно явное определение некоторого критериального показателя.
Это чаще всего имеет место при тестировании результатов обучения,
когда могут быть получены экзаменационные оценки и степени. Ана-
логичные показатели возможны в промышленности, где для профот-
бора используются экзамены и разного рода рейтинговые процедуры.
В инженерной психологии могут использоваться предоставляемые
контролирующими лицами (экспертами) рейтинги успехов в работе,
хотя надежность и валидность таких критериев может подвергаться
сомнению.
И во-вторых, значения этих вероятностей должны определяться
экспериментально. Чтобы сделать это, должны быть проведены круп-
номасштабные исследования на соответствующих популяциях. Это,
конечно, приводит к тем же самым проблемам формирования выбо-
рок, которые обсуждались при рассмотрении выборок для определе-
ния норм. В этом смысле значения вероятностей из таблиц ожиданий
- это также нормативные данные. Вместо стандартных показателей
для отдельных групп или группового среднего и стандартного откло-
нения, представлены вероятности достижения некоторого критери-
ального показателя.
В-третьих, таблицы ожиданий иллюстрируют с особой ясностью
дилемму практической психологии: различие между статистическим
и индивидуальным прогнозом. Если конкретному показателю по тес-
ту соответствует вероятность 0,38 успешной сдачи конкретного экза-
мена, то это означает, что 38% испытуемых с таким показателем (в
нормативной группе) успешно пройдут этот экзамен. Имеется в ви-
ду, что 38 % испытуемых с таким показателем смогут сдать экзамен
- но какие 38 % ? Имея дело с отдельными индивидуумами в практи-
ческих приложениях психологии, трудно интерпретировать такие
статистические предсказания. Однако, отсев испытуемого с таким
показателем будет вообще-то означать, что производящий отбор бу-
дет чаще прав, чем неправ. В этом смысле такие цифры полезны, но
только в этом смысле. Недейственность статистических прогнозов в
индивидуальных случаях имеет место для большинства норматив-
ных исследований в психометрии. Это непосредственно очевидно и в
случае с таблицами ожиданий, которые, казалось бы, предоставляют
230
такие явные прогнозы. Разработчики тестов должны иметь это в
виду, прежде чем браться за составление таких таблиц.
ШАГИ ВЫЧИСЛЕНИЯ ТАБЛИЦЫ ОЖИДАНИЙ
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
те-дьная валидность как теоретический конструкт будет полезна
только тогда, когда могут быть определены специальные навыки и
особенности поведения. Это можно сделать довольно легко на эле-
ментарном уровне, при тестировании арифметических навыков
(правил выполнения четырех арифметических операций, правил вы-
числений с 0 и т.п.), знаний в области музыки (знает ли испытуемый
правила нотной записи, может ли гармонизировать простой тон, и
др.), а также знаний базовых элементов для большинства научных
дисциплин, в которых накоплен определенный багаж фактических
данных. Однако, определить содержание теста таким образом для
более высокого уровня знаний становится чрезвычайно трудно. Поэ-
тому понятие "содержательная валидность" наиболее уместно для
тестов достижений в обучении.
Содержательный критерий применим к показателям теста, кото-
рый был разработан как содержательно валидный. Это замечание
поясним на примере. Тест музыкальных навыков может быть связан
с проверкой овладения нотной записью. Тогда задания будут состоять
из четвертей и половинных нот и т.п. на различных нотных линиях и
в разных ключах, а испытуемые должны будут указать, что это за
ноты. В таком тесте показатель 100% будет представлять полное
овладение нотной грамотой. В тестах такого типа необходимо иметь
веское основание для того, чтобы по некоторому пороговому значе-
нию можно было бы принимать решение о переводе учащегося на
следующий этап курса обучения. Для этого требуется подтвержде-
ние, что ученики с показателями выше некоторого порогового явля-
ются успевающими, а те, у кого показатели ниже - нет. Обычно,
однако, такие пороговые значения задаются произвольно, на основа-
нии опыта преподавателей данной дисциплины. Для тестов такого
типа эффективным будет всего лишь двубалльный показатель: удов-
228
летворительно и неудовлетворительно. Мимоходом следует заме-
1 тить, что приведенный пример является гипотетическим. При нали-
1 чии времени прочитать музыкальную запись довольно просто. Зада-
1 ча состоит в том, чтобы ответы давались немедленно и были правиль-
1 ными.
1 Проблемы с содержательным критерием
1 Скрытая слабость показателей по содержательному критерию со-
стоит в трудности формирования выборок заданий по тем дисципли-
i нам, для обследования навыков и знаний в которых предназначен
i тест. Каково значение 90%-ного показателя? Правильно ли гово-
< рить, что индивидуум с таким показателем знает 90% из данной
t дисциплины? Почтинаверноеэтонетак; идажееслибыэтобылотак,
? два испытуемых с одинаковым значением показателя могди непра-
вильно выполнить различные задания, поэтому эти показатели не
являются совершенно эквивалентными. Наличие этой трудности оз-
начает, что использование таких тестов должно ограничиваться
только областью дисциплин с точно описываемым материалом и теми
уровнями, на которых знания являются настолько фиксированными
и определенными, что становится возможным реально формировать
соответствующие выборки заданий, как, например, в случае с про-
стейшими арифметическими операциями. Обратите внимание, что
для тех дисциплин, в которых любое множество заданий теста будет
лишь крохотной выборкой изо всей выборочной совокупности зада-
ний, использование тестов с содержательным критерием неуместно.
ВЫВОДЫ
Содержательный критерий полезен для тех тестов, в которых
требуется проверка овладением некоторыми навыками или специ-
альными знаниями> Это означает, что он имеет значение только для
тестирования достижений. На самом низком уровне в начальной
школе, где важны базовые навыки, он может рассматриваться в ка-
честве методики для конструирования тестов. Тесты чтения Schonell
(1951) являются образцовыми примерами тестов с содержательным
критерием, так как они точно указывают на источник трудностей:
например, испытуемый путает латинские буквы "р" и "Ь", или "d"
и "Ь", и тому подобное. Однако следует заметить, что оценка выпол-
нения заданий в форме "правильно" и "неправильно" также указала
бы на этот факт. Можно утверждать, что содержательный критерий
не всегда является полезным методом для оценки показателей тестов:
в любом случае, сфера его использования ограничивается только
тестами достижений.
Прогнозирование критерия
Вторым методом интерпретации показателей, отличным от ис-
пользования норм, является построение серий таблиц ожиданий, в
которых указывается вероятность того, что испытуемые, получив-
шие некоторый показатель по тесту, достигнут критериального пока-
зателя. Здесь существует несколько заслуживающих рассмотрения
моментов. Во-первых, этот метод применим только тогда, когда воз-
можно явное определение некоторого критериального показателя.
Это чаще всего имеет место при тестировании результатов обучения,
когда могут быть получены экзаменационные оценки и степени. Ана-
логичные показатели возможны в промышленности, где для профот-
бора используются экзамены и разного рода рейтинговые процедуры.
В инженерной психологии могут использоваться предоставляемые
контролирующими лицами (экспертами) рейтинги успехов в работе,
хотя надежность и валидность таких критериев может подвергаться
сомнению.
И во-вторых, значения этих вероятностей должны определяться
экспериментально. Чтобы сделать это, должны быть проведены круп-
номасштабные исследования на соответствующих популяциях. Это,
конечно, приводит к тем же самым проблемам формирования выбо-
рок, которые обсуждались при рассмотрении выборок для определе-
ния норм. В этом смысле значения вероятностей из таблиц ожиданий
- это также нормативные данные. Вместо стандартных показателей
для отдельных групп или группового среднего и стандартного откло-
нения, представлены вероятности достижения некоторого критери-
ального показателя.
В-третьих, таблицы ожиданий иллюстрируют с особой ясностью
дилемму практической психологии: различие между статистическим
и индивидуальным прогнозом. Если конкретному показателю по тес-
ту соответствует вероятность 0,38 успешной сдачи конкретного экза-
мена, то это означает, что 38% испытуемых с таким показателем (в
нормативной группе) успешно пройдут этот экзамен. Имеется в ви-
ду, что 38 % испытуемых с таким показателем смогут сдать экзамен
- но какие 38 % ? Имея дело с отдельными индивидуумами в практи-
ческих приложениях психологии, трудно интерпретировать такие
статистические предсказания. Однако, отсев испытуемого с таким
показателем будет вообще-то означать, что производящий отбор бу-
дет чаще прав, чем неправ. В этом смысле такие цифры полезны, но
только в этом смысле. Недейственность статистических прогнозов в
индивидуальных случаях имеет место для большинства норматив-
ных исследований в психометрии. Это непосредственно очевидно и в
случае с таблицами ожиданий, которые, казалось бы, предоставляют
230
такие явные прогнозы. Разработчики тестов должны иметь это в
виду, прежде чем браться за составление таких таблиц.
ШАГИ ВЫЧИСЛЕНИЯ ТАБЛИЦЫ ОЖИДАНИЙ
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88