4,2, 5,1 и 6,0. Таким образом, либо ученики класса А резко поумнели, а через год так же резко поглупели, либо их учительница немножко поколдовала своим карандашом. Как вы думаете, что более вероятно?
Есть два заслуживающих внимания момента, которые касаются отношения детей из класса А к мошенничеству как таковому. Во-первых, от результатов теста зависело, перейдут ли они в следующий класс или же останутся на второй год. А во-вторых, их ожидало огромное потрясение в седьмом классе. Они думали только о том, что благополучно продолжили учиться лишь благодаря результатам своих тестов. (Действительно, ни один ученик не был оставлен на второй год.) Это не они искусственно завысили показатели. Но они ожидали высоких результатов в седьмом классе и были горько разочарованы. Это, пожалуй, является самой неприятной стороной итогового тестирования. Учитель может сколько угодно говорить себе, что помогает ученикам, но на самом деле он делает им только хуже, поскольку гораздо больше беспокоится о себе.
Анализ всех данных по Чикаго обнаружил факты мошенничества учителей в более чем двухстах классах ежегодно, что дает примерно 5% от общей цифры. И это по скромным подсчетам, поскольку алгоритм позволил определить только самый грубый обман, когда учителя систематически подменяли ответы учеников. К сожалению, более изощренные формы нарушений он доказать не мог. Однако при недавнем опросе учителей Северной Каролины 35% респондентов сказали, что были свидетелями мошенничества их коллег в той или иной форме. Например, оно проявлялось в предоставлении ученикам дополнительного времени на тест, подсказывании ответов и их фальсификации [6.2].
Каковы же общие приметы такого мошенника? Собранные в школах Чикаго данные свидетельствуют, что к обману почти в равной степени склонны и мужчины, и женщины. Как правило, нечестную игру ведут более молодые и менее квалифицированные учителя. Причем, как правило, они начинают обманывать после смены своих стимулов. Поскольку чикагские исследования охватывают период с 1993 по 2000 год, в них упоминается введение итогового тестирования в 1996-м. Нетрудно догадаться, что главный пик мошенничества пришелся именно на этот год. И обман был в школах совсем не редким явлением. Наиболее к нему были склонны учителя самых слабых классов. Следует также отметить, что премию в двадцать пять тысяч долларов для учителей Калифорнии со временем отменили, частично из-за подозрений, что деньги идут мошенникам.
Впрочем, не все результаты чикагского анализа свидетельствовали о нарушениях. Помимо выявления обмана, алгоритм позволял также определить лучших учителей. Ведь влияние хорошего учителя было почти так же заметно, как и влияние мошенника. Вместо отдельных правильных ответов его ученики демонстрировали реальное улучшение знаний по тем вопросам, в которых ранее “плавали”. Кроме того, ученики хорошего учителя не теряли, а только набирали темпы освоение наук в следующем классе.
Большинство академических аналитических отчетов подобного рода имеют свойство тихо пылиться непрочтенными на дальних полках библиотек. Но в начале 2002 года с авторами исследований связался новый директор общественных школ Чикаго Арни Дункан. Он вовсе не хотел оспорить сделанные ими открытия или заставить их умолкнуть. Скорее, он желал убедиться, что учителя, определенные алгоритмом как мошенники, действительно вели себя нечестно, и дать делу ход.
Дункан был отнюдь не типичным человеком на этой должности. Ему было всего тридцать шесть лет, ранее он преподавал в Гарварде и даже профессионально играл в баскетбол в Австралии. До того как возглавить общественные школы Чикаго, он сотрудничал с ними только три года, ни разу не занимая достаточно серьезную должность, чтобы иметь собственного секретаря. Между тем Дункан вырос в Чикаго. Его отец преподавал психологию в местном университете, а мать на протяжении сорока лет бесплатно занималась после школы с детьми бедных соседей. Когда Арни был маленьким мальчиком, его товарищами по играм были отпрыски малообеспеченных семей. Поэтому, когда он возглавил общественные школы, его симпатии были больше на стороне учеников и их родителей, чем учителей и их профсоюза [6.3].
Дункан решил, что оптимальным способом избавиться от мошенников среди учителей будет повторное проведение тестов. Однако у него были ресурсы, чтобы протестировать заново только сто двадцать классов, а потому он попросил создателей алгоритма помочь ему с выбором.
Каким образом можно было использовать эти тесты с максимальной эффективностью? Казалось, разумнее было бы перепроверить только те классы, которые вызывали подозрение. Но даже если бы новые результаты были ниже, учителя могли заявить, что дети просто работали хуже, так как им сказали, что тесты не повлияют на их судьбу. И к этому заявлению было бы трудно придраться, поскольку все ученики действительно знали, что им нечего бояться. Чтобы сделать результаты повторной проверки убедительными, необходимо было привлечь несколько честных учителей в качестве контрольной группы. Но кто мог войти в такую группу? Ответ очень прост: учителя тех классов, в которых, как определил алгоритм, баллы учеников были получены справедливо. Если бы успеваемость в их классах осталась на том же уровне, а ученики подозреваемых учителей провалили тест, не могло бы быть никаких отговорок. Уж тогда бы мошенники не могли сказать, что их ученики отвечали хуже потому, что их ответы ни на что не влияли.
Итак, все было готово. Более половины из 120 классов, которым предстояла повторная проверка, входили в число тех, чьи учителя подозревались в мошенничестве. Остальные представляли собой классы, высокие результаты учеников которых не вызывали сомнений, и, для большей уверенности, посредственные классы, также свободные от подозрений.
Повторный тест провели через несколько недель после исходного. Ни детям, ни учителям его истинную причину не объяснили. Впрочем, последние могли догадаться и сами, когда было объявлено, что проводить тест будут представители общественных школ Чикаго. Учителей при этом попросили побыть в кабинетах вместе со своими учениками, но даже близко не подходить к листочкам с ответами.
Результаты оказались именно такими, как предсказывал алгоритм мошенничества. В классах, выбранных для контроля, где не подозревался обман, средний балл почти не изменился, а то и стал выше. Зато те ученики, чьих учителей подозревали в мошенничестве, получили баллы гораздо ниже — более чем на один балл.
Это привело к тому, что общественные школы Чикаго постепенно начали увольнять учителей, пойманных на жульничестве. Конечно, доказательств хватило только на то, чтобы избавиться от дюжины мошенников, зато остальные получили серьезное предупреждение. Главным результатом чикагского исследования стало отличное подтверждение силы стимулов: на следующий год количество случаев мошенничества в школах сократилось более чем на треть.
Вы можете подумать, что, чем старше классы, тем более изощренно работают в них мошенники. Однако эту мысль опровергает исследование, проведенное осенью 2001 года в Университете Джорджии. Объектом его был итоговый тест по курсу “Тренерские принципы и стратегии в баскетболе”, который включал двадцать вопросов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
Есть два заслуживающих внимания момента, которые касаются отношения детей из класса А к мошенничеству как таковому. Во-первых, от результатов теста зависело, перейдут ли они в следующий класс или же останутся на второй год. А во-вторых, их ожидало огромное потрясение в седьмом классе. Они думали только о том, что благополучно продолжили учиться лишь благодаря результатам своих тестов. (Действительно, ни один ученик не был оставлен на второй год.) Это не они искусственно завысили показатели. Но они ожидали высоких результатов в седьмом классе и были горько разочарованы. Это, пожалуй, является самой неприятной стороной итогового тестирования. Учитель может сколько угодно говорить себе, что помогает ученикам, но на самом деле он делает им только хуже, поскольку гораздо больше беспокоится о себе.
Анализ всех данных по Чикаго обнаружил факты мошенничества учителей в более чем двухстах классах ежегодно, что дает примерно 5% от общей цифры. И это по скромным подсчетам, поскольку алгоритм позволил определить только самый грубый обман, когда учителя систематически подменяли ответы учеников. К сожалению, более изощренные формы нарушений он доказать не мог. Однако при недавнем опросе учителей Северной Каролины 35% респондентов сказали, что были свидетелями мошенничества их коллег в той или иной форме. Например, оно проявлялось в предоставлении ученикам дополнительного времени на тест, подсказывании ответов и их фальсификации [6.2].
Каковы же общие приметы такого мошенника? Собранные в школах Чикаго данные свидетельствуют, что к обману почти в равной степени склонны и мужчины, и женщины. Как правило, нечестную игру ведут более молодые и менее квалифицированные учителя. Причем, как правило, они начинают обманывать после смены своих стимулов. Поскольку чикагские исследования охватывают период с 1993 по 2000 год, в них упоминается введение итогового тестирования в 1996-м. Нетрудно догадаться, что главный пик мошенничества пришелся именно на этот год. И обман был в школах совсем не редким явлением. Наиболее к нему были склонны учителя самых слабых классов. Следует также отметить, что премию в двадцать пять тысяч долларов для учителей Калифорнии со временем отменили, частично из-за подозрений, что деньги идут мошенникам.
Впрочем, не все результаты чикагского анализа свидетельствовали о нарушениях. Помимо выявления обмана, алгоритм позволял также определить лучших учителей. Ведь влияние хорошего учителя было почти так же заметно, как и влияние мошенника. Вместо отдельных правильных ответов его ученики демонстрировали реальное улучшение знаний по тем вопросам, в которых ранее “плавали”. Кроме того, ученики хорошего учителя не теряли, а только набирали темпы освоение наук в следующем классе.
Большинство академических аналитических отчетов подобного рода имеют свойство тихо пылиться непрочтенными на дальних полках библиотек. Но в начале 2002 года с авторами исследований связался новый директор общественных школ Чикаго Арни Дункан. Он вовсе не хотел оспорить сделанные ими открытия или заставить их умолкнуть. Скорее, он желал убедиться, что учителя, определенные алгоритмом как мошенники, действительно вели себя нечестно, и дать делу ход.
Дункан был отнюдь не типичным человеком на этой должности. Ему было всего тридцать шесть лет, ранее он преподавал в Гарварде и даже профессионально играл в баскетбол в Австралии. До того как возглавить общественные школы Чикаго, он сотрудничал с ними только три года, ни разу не занимая достаточно серьезную должность, чтобы иметь собственного секретаря. Между тем Дункан вырос в Чикаго. Его отец преподавал психологию в местном университете, а мать на протяжении сорока лет бесплатно занималась после школы с детьми бедных соседей. Когда Арни был маленьким мальчиком, его товарищами по играм были отпрыски малообеспеченных семей. Поэтому, когда он возглавил общественные школы, его симпатии были больше на стороне учеников и их родителей, чем учителей и их профсоюза [6.3].
Дункан решил, что оптимальным способом избавиться от мошенников среди учителей будет повторное проведение тестов. Однако у него были ресурсы, чтобы протестировать заново только сто двадцать классов, а потому он попросил создателей алгоритма помочь ему с выбором.
Каким образом можно было использовать эти тесты с максимальной эффективностью? Казалось, разумнее было бы перепроверить только те классы, которые вызывали подозрение. Но даже если бы новые результаты были ниже, учителя могли заявить, что дети просто работали хуже, так как им сказали, что тесты не повлияют на их судьбу. И к этому заявлению было бы трудно придраться, поскольку все ученики действительно знали, что им нечего бояться. Чтобы сделать результаты повторной проверки убедительными, необходимо было привлечь несколько честных учителей в качестве контрольной группы. Но кто мог войти в такую группу? Ответ очень прост: учителя тех классов, в которых, как определил алгоритм, баллы учеников были получены справедливо. Если бы успеваемость в их классах осталась на том же уровне, а ученики подозреваемых учителей провалили тест, не могло бы быть никаких отговорок. Уж тогда бы мошенники не могли сказать, что их ученики отвечали хуже потому, что их ответы ни на что не влияли.
Итак, все было готово. Более половины из 120 классов, которым предстояла повторная проверка, входили в число тех, чьи учителя подозревались в мошенничестве. Остальные представляли собой классы, высокие результаты учеников которых не вызывали сомнений, и, для большей уверенности, посредственные классы, также свободные от подозрений.
Повторный тест провели через несколько недель после исходного. Ни детям, ни учителям его истинную причину не объяснили. Впрочем, последние могли догадаться и сами, когда было объявлено, что проводить тест будут представители общественных школ Чикаго. Учителей при этом попросили побыть в кабинетах вместе со своими учениками, но даже близко не подходить к листочкам с ответами.
Результаты оказались именно такими, как предсказывал алгоритм мошенничества. В классах, выбранных для контроля, где не подозревался обман, средний балл почти не изменился, а то и стал выше. Зато те ученики, чьих учителей подозревали в мошенничестве, получили баллы гораздо ниже — более чем на один балл.
Это привело к тому, что общественные школы Чикаго постепенно начали увольнять учителей, пойманных на жульничестве. Конечно, доказательств хватило только на то, чтобы избавиться от дюжины мошенников, зато остальные получили серьезное предупреждение. Главным результатом чикагского исследования стало отличное подтверждение силы стимулов: на следующий год количество случаев мошенничества в школах сократилось более чем на треть.
Вы можете подумать, что, чем старше классы, тем более изощренно работают в них мошенники. Однако эту мысль опровергает исследование, проведенное осенью 2001 года в Университете Джорджии. Объектом его был итоговый тест по курсу “Тренерские принципы и стратегии в баскетболе”, который включал двадцать вопросов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64