ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
вое впечатление. Другая возможная опасность кроется в том, что термин
<конструктная валидность> иногда отождествляют с субъективными не-
проверенными утверждениями относительно валидности теста. Посколь-
ку конструктная валидность является столь широким и расплывчатым
понятием, ее часто истолковывают неправильно. Некоторые авторы
учебников и тестов, видимо, воспринимают ее как валидность по содер-
жанию, представленную на языке психологических категорий. В резуль-
тате они выдают за конструктную валидность чисто субъективные рассу-
ждения о том, что, по их представлениям, измеряет тест.
Еще один источник возможных недоразумений коренится в утвер-
ждении, что конструктная валидация <применяется, когда тест подлежит
интерпретации в качестве меры свойства или качества, не поддающегося
операциональному определению> (L.J.Cronbach, P.E.Meehl, 1955,
р. 282). Поскольку эта формулировка содержится в первом появившемся
в печати детальном анализе конструктной валидности, ее ошибочно
принимают за обоснование необходимости пользоваться конструктной
валидностью за неимением иных данных. То, что авторы этой формули-
ровки не имели в виду ничего подобного, говорит следующая фраза из
той же статьи: <прибегать к конструктной валидности бессмысленно, ес-
ли теоретические построения никак не согласуются с наблюдениями>
(ibid, р. 291). В этой же связи они критикуют тесты, <валидация которых
подменена логическими хитросплетениями> (ibid, р. 291). В самом деле,
измеряемый тестом теоретический конструкт, свойство или область по-
ведения можно адекватно определить только в свете данных, собранных
в процессе его валидации. Такое определение должно учитывать пере-
менные, с которыми тест значимо коррелирован, условия, реально
влияющие на его результаты, а также то, какие группы тест значимо
дифференцирует. Эти процедуры находятся в полном согласии с тем по-
ложительным, что пришло в тестирование вместе с понятием <кон-
структная валидность>. Только эмпирическое исследование соотношений
между тестовыми показателями и другими внешними данными позво-
ляет выяснить, что измеряет тест.
ГЛАВА 7. ВАЛИДНОСТЬ.
ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Гл. 6 была посвящена различным понятиям валидности и тому, как они
соотносятся с тем или иным назначением теста. В этой главе обсу-
ждаются способы количественного выражения валидности и интерпрета-
ция получаемых результатов. Пользующийся тестом обращается к ва-
лидности в следующих двух случаях. Первый раз, оценивая пригодность
теста для своих целей, он изучает данные о валидности, приведенные
в руководстве к тесту или в других доступных источниках. На основе
этой информации он получает представление о том, какие психические
функции тест измеряет, и решает, соответствуют ли такие функции це-
лям его использования теста. В этом случае, полагаясь на опублико-
ванные данные о валидности теста, пользователь, какие бы конкретные
процедуры при сборе таких данных ни применялись, имеет дело с кон-
структной валидностью. В гл. 6 уже отмечалось, что критерии, употре-
блявшиеся в опубликованных исследованиях, не обязательно идентичны
тем к-пт-ппые ппгттуюптайся тестом собипается ппогнозиповать. Лаже
150 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
одноименные должности на двух различных предприятиях редко совпа-
дают по своим обязанностям, точно так же, как два курса английского
языка в разных колледжах могут значительно отличаться друг от друга.
Ввиду специфичности каждого критерия, пользователю обычно реко-
мендуется проверить, если возможно, валидность выбранного теста от-
носительно локального критерия. Даже когда опубликованные данные
явно указывают на высокую валидность теста в частной ситуации, всегда
желательно их непосредственное подтверждение. При определении ва-
лидности относительно конкретных локальных критериев пользующийся
тестом оценивает его валидность второй раз. Методы, рассматриваемые
в этой главе, имеют непосредственное отношение к анализу данных ва-
лидации, получаемых самим пользователем теста, но их также можно
использовать (по крайней мере большую их часть) для понимания и ин-
терпретации сведений о валидности, приводимых в руководствах
к тестам.
КОЭФФИЦИЕНТ ВАЛИДНОСТИ И ОШИБКА ПРОГНОЗА
Измерение с оотношени я.; Коэффициент валидности есть корреляция
между показателями теста и критериальной мерой. Этот коэффициент
позволяет характеризовать валидность единственным показателем,; и по-
этому его часто приводят в руководствах к тестам, сообщая его значение
для каждого из использованных критериев. Данные, по которым вычис-
ляется коэффициент валидности, можно также представить в форме про-
гностической таблицы или карты прогноза (см. гл. 4, табл. 6, рис. 7).
Собственно говоря, такие таблицы и карты-наглядные иллюстрации то-
го, что коэффициент валидности означает для тестируемого индивида.
Напомним, что на карте прогноза приводится вероятность для испытуе-
мого, показавшего определенный результат, достижения определенного
уровня критериального выполнения. Например, с помощью табл. 6
(гл. 4, с. 96), зная результат ученика по тесту словесного мышления ба-
тареи DAT, можно определить вероятность получения им той или иной
оценки по тому или иному учебному предмету. Согласно этим данным,
коэффициент валидности такого теста равен 0,66. Если, как в приведен-
ном примере, тестовые и критериальные переменные-континуальны, то
применим уже знакомый нам коэффициент корреляции произведения мо-
ментов Пирсона. Если же исходные данные выражены в различной фор-
ме (скажем, когда критериальные переменные имеют значение <выполне-
но-невыполнено>-см. рис. 7, гл. 4), то коэффициенты корреляции
вычисляются иными методами. Конкретные процедуры вычислений
можно найти в любом учебнике по статистике.
Условия, влияющие на коэффициент валидности. Как и
в случае надежности, необходимо точно определить характер группы,
для которой найден коэффициент валидности. Один и тот же тест может
измерять различные функции, если его дать лицам разного возраста, по-
ла, образовательного уровня, рода занятий и т. д. Имея различный опыт,
испытуемые, например, могут по-разному подойти к решению одной
и той же задачи. Следовательно, тест может обладать высокой валид-
ностью относительно некоторого критерия в одной популяции и низкой
или нулевой валидностью-в другой. Он может также измерять разные
(ЬУНКЦИИ В ОаЗНЫХ ПОПУЛЯТТИЯХ ПпчтпУ w-nw паттигтаттипчнаа тп-тйпгнга uf
151 ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
репрезентативна для популяции, в которой предполагается использовать
тест, валидность необходимо определить заново на соответствующей
выборке..
/ Разнородность выборки имеет для измерения валидности такое же
значение, как и для измерения надежности, поскольку обе характеристи-
ки обычно приводятся в виде коэффициентов корреляции. Напомним,
что при прочих равных условиях чем больше разброс результатов, тем
выше корреляция. Это обстоятельство необходимо иметь в виду при ин-
терпретации коэффициентов валидности, приводимых в руководствах
к тестам.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
вое впечатление. Другая возможная опасность кроется в том, что термин
<конструктная валидность> иногда отождествляют с субъективными не-
проверенными утверждениями относительно валидности теста. Посколь-
ку конструктная валидность является столь широким и расплывчатым
понятием, ее часто истолковывают неправильно. Некоторые авторы
учебников и тестов, видимо, воспринимают ее как валидность по содер-
жанию, представленную на языке психологических категорий. В резуль-
тате они выдают за конструктную валидность чисто субъективные рассу-
ждения о том, что, по их представлениям, измеряет тест.
Еще один источник возможных недоразумений коренится в утвер-
ждении, что конструктная валидация <применяется, когда тест подлежит
интерпретации в качестве меры свойства или качества, не поддающегося
операциональному определению> (L.J.Cronbach, P.E.Meehl, 1955,
р. 282). Поскольку эта формулировка содержится в первом появившемся
в печати детальном анализе конструктной валидности, ее ошибочно
принимают за обоснование необходимости пользоваться конструктной
валидностью за неимением иных данных. То, что авторы этой формули-
ровки не имели в виду ничего подобного, говорит следующая фраза из
той же статьи: <прибегать к конструктной валидности бессмысленно, ес-
ли теоретические построения никак не согласуются с наблюдениями>
(ibid, р. 291). В этой же связи они критикуют тесты, <валидация которых
подменена логическими хитросплетениями> (ibid, р. 291). В самом деле,
измеряемый тестом теоретический конструкт, свойство или область по-
ведения можно адекватно определить только в свете данных, собранных
в процессе его валидации. Такое определение должно учитывать пере-
менные, с которыми тест значимо коррелирован, условия, реально
влияющие на его результаты, а также то, какие группы тест значимо
дифференцирует. Эти процедуры находятся в полном согласии с тем по-
ложительным, что пришло в тестирование вместе с понятием <кон-
структная валидность>. Только эмпирическое исследование соотношений
между тестовыми показателями и другими внешними данными позво-
ляет выяснить, что измеряет тест.
ГЛАВА 7. ВАЛИДНОСТЬ.
ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Гл. 6 была посвящена различным понятиям валидности и тому, как они
соотносятся с тем или иным назначением теста. В этой главе обсу-
ждаются способы количественного выражения валидности и интерпрета-
ция получаемых результатов. Пользующийся тестом обращается к ва-
лидности в следующих двух случаях. Первый раз, оценивая пригодность
теста для своих целей, он изучает данные о валидности, приведенные
в руководстве к тесту или в других доступных источниках. На основе
этой информации он получает представление о том, какие психические
функции тест измеряет, и решает, соответствуют ли такие функции це-
лям его использования теста. В этом случае, полагаясь на опублико-
ванные данные о валидности теста, пользователь, какие бы конкретные
процедуры при сборе таких данных ни применялись, имеет дело с кон-
структной валидностью. В гл. 6 уже отмечалось, что критерии, употре-
блявшиеся в опубликованных исследованиях, не обязательно идентичны
тем к-пт-ппые ппгттуюптайся тестом собипается ппогнозиповать. Лаже
150 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
одноименные должности на двух различных предприятиях редко совпа-
дают по своим обязанностям, точно так же, как два курса английского
языка в разных колледжах могут значительно отличаться друг от друга.
Ввиду специфичности каждого критерия, пользователю обычно реко-
мендуется проверить, если возможно, валидность выбранного теста от-
носительно локального критерия. Даже когда опубликованные данные
явно указывают на высокую валидность теста в частной ситуации, всегда
желательно их непосредственное подтверждение. При определении ва-
лидности относительно конкретных локальных критериев пользующийся
тестом оценивает его валидность второй раз. Методы, рассматриваемые
в этой главе, имеют непосредственное отношение к анализу данных ва-
лидации, получаемых самим пользователем теста, но их также можно
использовать (по крайней мере большую их часть) для понимания и ин-
терпретации сведений о валидности, приводимых в руководствах
к тестам.
КОЭФФИЦИЕНТ ВАЛИДНОСТИ И ОШИБКА ПРОГНОЗА
Измерение с оотношени я.; Коэффициент валидности есть корреляция
между показателями теста и критериальной мерой. Этот коэффициент
позволяет характеризовать валидность единственным показателем,; и по-
этому его часто приводят в руководствах к тестам, сообщая его значение
для каждого из использованных критериев. Данные, по которым вычис-
ляется коэффициент валидности, можно также представить в форме про-
гностической таблицы или карты прогноза (см. гл. 4, табл. 6, рис. 7).
Собственно говоря, такие таблицы и карты-наглядные иллюстрации то-
го, что коэффициент валидности означает для тестируемого индивида.
Напомним, что на карте прогноза приводится вероятность для испытуе-
мого, показавшего определенный результат, достижения определенного
уровня критериального выполнения. Например, с помощью табл. 6
(гл. 4, с. 96), зная результат ученика по тесту словесного мышления ба-
тареи DAT, можно определить вероятность получения им той или иной
оценки по тому или иному учебному предмету. Согласно этим данным,
коэффициент валидности такого теста равен 0,66. Если, как в приведен-
ном примере, тестовые и критериальные переменные-континуальны, то
применим уже знакомый нам коэффициент корреляции произведения мо-
ментов Пирсона. Если же исходные данные выражены в различной фор-
ме (скажем, когда критериальные переменные имеют значение <выполне-
но-невыполнено>-см. рис. 7, гл. 4), то коэффициенты корреляции
вычисляются иными методами. Конкретные процедуры вычислений
можно найти в любом учебнике по статистике.
Условия, влияющие на коэффициент валидности. Как и
в случае надежности, необходимо точно определить характер группы,
для которой найден коэффициент валидности. Один и тот же тест может
измерять различные функции, если его дать лицам разного возраста, по-
ла, образовательного уровня, рода занятий и т. д. Имея различный опыт,
испытуемые, например, могут по-разному подойти к решению одной
и той же задачи. Следовательно, тест может обладать высокой валид-
ностью относительно некоторого критерия в одной популяции и низкой
или нулевой валидностью-в другой. Он может также измерять разные
(ЬУНКЦИИ В ОаЗНЫХ ПОПУЛЯТТИЯХ ПпчтпУ w-nw паттигтаттипчнаа тп-тйпгнга uf
151 ВАЛИДНОСТЬ. ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
репрезентативна для популяции, в которой предполагается использовать
тест, валидность необходимо определить заново на соответствующей
выборке..
/ Разнородность выборки имеет для измерения валидности такое же
значение, как и для измерения надежности, поскольку обе характеристи-
ки обычно приводятся в виде коэффициентов корреляции. Напомним,
что при прочих равных условиях чем больше разброс результатов, тем
выше корреляция. Это обстоятельство необходимо иметь в виду при ин-
терпретации коэффициентов валидности, приводимых в руководствах
к тестам.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132