Дискриминативность измеряется показателем дельта
Фергюсона и принимает максимальное значение при равномерном
(прямоугольном) распределении показателей ( Прежде, чем завершить обсуждение надежности, валидности и
дискриминативности, я кратко опишу модель измерения, в неявном
виде подразумевавшуюся во всей предыдущей дискуссии. Даже бег-
лое знакомство с этой моделью прольет свет на внутреннюю природу
конструирования тестов. Она также обеспечивает обоснованную ста-
тистическую базу для вычислений и процедур конструирования тес-
тов, рассматриваемых в данной книге.
Классическая теория погрешностей измерения
Замечание: Этот раздел о классической теории погрешностей из-
мерения - единственный в данной книге, который содержит матема-
тические формулы, а приведенные математические сведения содер-
жат лишь минимальный объем понятий, необходимый для изучения
предмета. Как я указывал, они приведены здесь, чтобы обеспечить
разумное объяснение статистических процедур конструирования те-
стов. Если они покажутся вам слишком утомительными, можно опу-
стить этот раздел или использовать его как справочный, когда воз-
никнет необходимость иметь дело с этими процедурами на практике.
Не очень настойчивые читатели могут перейти прямо к чтению главы
2.
Теория погрешностей измерения, которая здесь описана, названа
классической, поскольку она была разработана исходя из наиболее
простых предположений, которые делались создателями тестов с са-
мого начала использования тестирования. И Guilford (1958), и Nun-
31
nally (1978) подчеркивают тот факт, что, хотя в последнее время
были разработаны более сложные и изощренные модели, основные
принципы классической теории остаются в силе. Более того, эти
принципы просты при реализации их в тестах, и, поэтому, имеют
особое значение в практике конструирования тестов.
Истинный показатель
В данной теории предполагается, что для любой черты (свойства)
(например, текучего интеллекта, экстраверсии, тревожности) каж-
дый индивидуум имеет истинный показатель. Любой показатель по
тесту для некоторого индивидуума в каждом отдельном случае отли-
чается от его истинного показателя на величину случайной погреш-
ности. Если бы мы тестировали индивидуума несколько раз, то пол-
учили бы распределение показателей вокруг его истинного показате-
ля. Среднее значение этого распределения, которое принимается в
качестве нормального, аппроксимирует истинный показатель.
Стандартная погрешность измерения
Истинный показатель - это основа для определения стандартной
погрешности измерения. Так, если мы обнаружим, что для некоторо-
го индивидуума полученные показатели значительно различаются,
то это явно можно рассматривать как погрешность измерения. По-
скольку резонно предположить, что погрешность будет аналогично
появляться у всех индивидуумов, стандартное отклонение погрешно-
стей становится стандартной погрешностью измерения. Поскольку
ретестовая надежность представляет собой корреляцию между пол-
ученными показателями в двух случаях, то, очевидно, чем выше
ретестовая надежность, тем меньше стандартная погрешность изме-
рения, - в рамках данной модели. Это показано в следующей фор-
муле для стандартной погрешности измерения (ffmeas)-
Omeas =0t /V l-rtt (I.I)
где Of - стандартное отклонение результатов данного теста, a r(f -
коэффициент ретестовой надежности.
Генеральная совокупность (universe), выборочная
совокупность (population) или конкретная область (domain)
заданий теста
В классической теории погрешностей измерения предполагается,
что каждый тест составляет случайная выборка заданий из генераль-
ной совокупности (universe), выборочной совокупности (population)
32
или области (domain) заданий, релевантных данной черте (свойст-
ву). Так, если мы разрабатываем тест для диагностики обсессивных
черт, то предполагается, что наши задания являются случайной вы-
боркой из всех возможных заданий, с помощью которых могут быть
обнаружены обсессивные черты. Конечно, эта генеральная совокуп-
ность заданий является гипотетической, в отличие от тестов письма
и чтения, для которых должен быть составлен полный словарь (гене-
ральная совокупность заданий), а если мы включаем и грамматиче-
ские варианты, - то выборочная совокупность.
В большинстве случаев задания выбираются не так произвольно.
Однако, как указывает Nunnally (1978), тотфакт, что разработчики
тестов преднамеренно нацелены на создание разнообразных зада-
ний, имеет тот же результат. Тест будет работать ошибочно, когда
задания не отражают удовлетворительно генеральную совокупность
заданий.
Отношение истинного показателя к генеральной
совокупности заданий
В данной модели истинный показатель - это показатель, который
бы получил индивидуум, если бы ему были предъявлены все возмож-
ные задания. Следовательно, погрешность тестов отражает степень,
в которой реальная выборка заданий охватывает их генеральную
совокупность. Следует отметить, что в этой модели, таким образом,
не учитываются другие источники погрешности измерений, такие,
например, как самочувствие испытуемого, температура воздуха в
помещении и адекватность лица, проводящего обследование.
Статистические основания классической модели
Статистические основы классической модели полностью описаны
у Nunnally (1978). Здесь же будут представлены основные положе-
ния . Как уже было оговорено, истинный показатель - это показатель
испытуемого в гипотетической генеральной совокупности заданий.
Эта генеральная совокупность заданий порождает корреляционную
матрицу (бесконечно большую) попарных корреляций между зада-
ниями. Среднее значение корреляции между заданиями для этой
матрицы, nj , указывает степень общих пересечений между задани-
ями. Так, если, например, мы вставили в тест одно задание из всего
множества несвязанных между собой заданий, то среднее значение
корреляции между заданиями должно быть равно 0,00 , указывая,
довольно правильно, что между заданиями не было ни одного пере-
сечения. Аналогично, разброс корреляций вокруг указывает меру
различия заданий по степени их вхождения в общие пересечения. В
2 4-196
данной модели предполагается, что все задания имеют одинаковое
значение вхождения в общее пересечение, что означает, что средняя
корреляция каждого задания с другими одна и та же для всех заданий.
Это и есть базовое предположение данной модели.
Исходя из классической модели, можно показать, что корреляция
некоторого задания с истинным показателем равна квадратному
корню от его средней корреляции с другими заданиями. У Nunnally
(1978) приведен полностью вывод следующей формулы:
гн=У7ц (1.2)
Строго говоря, это верно только тогда, когда количество заданий
приближается к бесконечности, но если даже используются только
100 заданий, изменение коэффициентов корреляции будет неболь-
шим.
С точки зрения конструктора тестов, формула (1.2) имеет боль-
шое значение, поскольку если он разработает большое количество
заданий и выберет из них те, для которых значение квадратного
корня из средних корреляций с другими заданиями является боль-
шим, тогда по определению его тест будет иметь более высокую
корреляцию с истинным показателем;
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
Фергюсона и принимает максимальное значение при равномерном
(прямоугольном) распределении показателей ( Прежде, чем завершить обсуждение надежности, валидности и
дискриминативности, я кратко опишу модель измерения, в неявном
виде подразумевавшуюся во всей предыдущей дискуссии. Даже бег-
лое знакомство с этой моделью прольет свет на внутреннюю природу
конструирования тестов. Она также обеспечивает обоснованную ста-
тистическую базу для вычислений и процедур конструирования тес-
тов, рассматриваемых в данной книге.
Классическая теория погрешностей измерения
Замечание: Этот раздел о классической теории погрешностей из-
мерения - единственный в данной книге, который содержит матема-
тические формулы, а приведенные математические сведения содер-
жат лишь минимальный объем понятий, необходимый для изучения
предмета. Как я указывал, они приведены здесь, чтобы обеспечить
разумное объяснение статистических процедур конструирования те-
стов. Если они покажутся вам слишком утомительными, можно опу-
стить этот раздел или использовать его как справочный, когда воз-
никнет необходимость иметь дело с этими процедурами на практике.
Не очень настойчивые читатели могут перейти прямо к чтению главы
2.
Теория погрешностей измерения, которая здесь описана, названа
классической, поскольку она была разработана исходя из наиболее
простых предположений, которые делались создателями тестов с са-
мого начала использования тестирования. И Guilford (1958), и Nun-
31
nally (1978) подчеркивают тот факт, что, хотя в последнее время
были разработаны более сложные и изощренные модели, основные
принципы классической теории остаются в силе. Более того, эти
принципы просты при реализации их в тестах, и, поэтому, имеют
особое значение в практике конструирования тестов.
Истинный показатель
В данной теории предполагается, что для любой черты (свойства)
(например, текучего интеллекта, экстраверсии, тревожности) каж-
дый индивидуум имеет истинный показатель. Любой показатель по
тесту для некоторого индивидуума в каждом отдельном случае отли-
чается от его истинного показателя на величину случайной погреш-
ности. Если бы мы тестировали индивидуума несколько раз, то пол-
учили бы распределение показателей вокруг его истинного показате-
ля. Среднее значение этого распределения, которое принимается в
качестве нормального, аппроксимирует истинный показатель.
Стандартная погрешность измерения
Истинный показатель - это основа для определения стандартной
погрешности измерения. Так, если мы обнаружим, что для некоторо-
го индивидуума полученные показатели значительно различаются,
то это явно можно рассматривать как погрешность измерения. По-
скольку резонно предположить, что погрешность будет аналогично
появляться у всех индивидуумов, стандартное отклонение погрешно-
стей становится стандартной погрешностью измерения. Поскольку
ретестовая надежность представляет собой корреляцию между пол-
ученными показателями в двух случаях, то, очевидно, чем выше
ретестовая надежность, тем меньше стандартная погрешность изме-
рения, - в рамках данной модели. Это показано в следующей фор-
муле для стандартной погрешности измерения (ffmeas)-
Omeas =0t /V l-rtt (I.I)
где Of - стандартное отклонение результатов данного теста, a r(f -
коэффициент ретестовой надежности.
Генеральная совокупность (universe), выборочная
совокупность (population) или конкретная область (domain)
заданий теста
В классической теории погрешностей измерения предполагается,
что каждый тест составляет случайная выборка заданий из генераль-
ной совокупности (universe), выборочной совокупности (population)
32
или области (domain) заданий, релевантных данной черте (свойст-
ву). Так, если мы разрабатываем тест для диагностики обсессивных
черт, то предполагается, что наши задания являются случайной вы-
боркой из всех возможных заданий, с помощью которых могут быть
обнаружены обсессивные черты. Конечно, эта генеральная совокуп-
ность заданий является гипотетической, в отличие от тестов письма
и чтения, для которых должен быть составлен полный словарь (гене-
ральная совокупность заданий), а если мы включаем и грамматиче-
ские варианты, - то выборочная совокупность.
В большинстве случаев задания выбираются не так произвольно.
Однако, как указывает Nunnally (1978), тотфакт, что разработчики
тестов преднамеренно нацелены на создание разнообразных зада-
ний, имеет тот же результат. Тест будет работать ошибочно, когда
задания не отражают удовлетворительно генеральную совокупность
заданий.
Отношение истинного показателя к генеральной
совокупности заданий
В данной модели истинный показатель - это показатель, который
бы получил индивидуум, если бы ему были предъявлены все возмож-
ные задания. Следовательно, погрешность тестов отражает степень,
в которой реальная выборка заданий охватывает их генеральную
совокупность. Следует отметить, что в этой модели, таким образом,
не учитываются другие источники погрешности измерений, такие,
например, как самочувствие испытуемого, температура воздуха в
помещении и адекватность лица, проводящего обследование.
Статистические основания классической модели
Статистические основы классической модели полностью описаны
у Nunnally (1978). Здесь же будут представлены основные положе-
ния . Как уже было оговорено, истинный показатель - это показатель
испытуемого в гипотетической генеральной совокупности заданий.
Эта генеральная совокупность заданий порождает корреляционную
матрицу (бесконечно большую) попарных корреляций между зада-
ниями. Среднее значение корреляции между заданиями для этой
матрицы, nj , указывает степень общих пересечений между задани-
ями. Так, если, например, мы вставили в тест одно задание из всего
множества несвязанных между собой заданий, то среднее значение
корреляции между заданиями должно быть равно 0,00 , указывая,
довольно правильно, что между заданиями не было ни одного пере-
сечения. Аналогично, разброс корреляций вокруг указывает меру
различия заданий по степени их вхождения в общие пересечения. В
2 4-196
данной модели предполагается, что все задания имеют одинаковое
значение вхождения в общее пересечение, что означает, что средняя
корреляция каждого задания с другими одна и та же для всех заданий.
Это и есть базовое предположение данной модели.
Исходя из классической модели, можно показать, что корреляция
некоторого задания с истинным показателем равна квадратному
корню от его средней корреляции с другими заданиями. У Nunnally
(1978) приведен полностью вывод следующей формулы:
гн=У7ц (1.2)
Строго говоря, это верно только тогда, когда количество заданий
приближается к бесконечности, но если даже используются только
100 заданий, изменение коэффициентов корреляции будет неболь-
шим.
С точки зрения конструктора тестов, формула (1.2) имеет боль-
шое значение, поскольку если он разработает большое количество
заданий и выберет из них те, для которых значение квадратного
корня из средних корреляций с другими заданиями является боль-
шим, тогда по определению его тест будет иметь более высокую
корреляцию с истинным показателем;
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88