XX век богат на запоминающиеся и волнующие слова. Однако компьютерная программа оценивания школьных сочинений, разработанная в США, поставила низкие оценки великим произведениям. Так, знаменитая речь Уинстона Черчилля «Это был их звёздный час», по мнению компьютера, изобилует лексическими повторами. В этом тексте программа расценила существительное «might» («могущество») как неправильный случай употребления оборота «might have». Всё это означает, что если бы Черчилль сдавал британский экзамен уровня «А», то компьютер поставил бы ему оценку «ниже среднего».
Вот окончание знаменитой речи:
What General Weygand called the Battle of France is over. I expect that the Battle of Britain is about to begin. Upon this battle depends the survival of Christian civilization. Upon it depends our own British life, and the long continuity of our institutions and our Empire. The whole fury and might of the enemy must very soon be turned on us. Hitler knows that he will have to break us in this Island or lose the war. If we can stand up to him, all Europe may be free and the life of the world may move forward into broad, sunlit uplands. But if we fail, then the whole world, including the United States, including all that we have known and cared for, will sink into the abyss of a new Dark Age made more sinister, and perhaps more protracted, by the lights of perverted science. Let us therefore brace ourselves to our duties, and so bear ourselves that, if the British Empire and its Commonwealth last for a thousand years, men will still say, «This was their finest hour».
Аудио: This was their finest hour
Также были негативно оценены отрывки из произведений известных писателей. Например, Эрнест Хемингуэй получил тройку с минусом за стилистически и лексически небрежный язык. Уияльм Голдинг в своей знаменитой книге «Повелитель мух», по мнению компьютера, неправильно строил предложения. А начало романа «Заводной апельсин» Энтони Бёрджесса компьютер вообще не понял.
Для справки:
Уровень «А» (GCE Advanced Level, A-level) – уровень британского школьного экзамена повышенной сложности.
Дэвид Райт, исполнительный директор Привилегированного института оценщиков образования (CIEA) – родительского органа для образовательных комиссий и прочих организаций – рассказал, что в речи Черчилля компьютер раскритиковал частое употребление предлога «upon» и местоимения «our», а также не понял метафору «broad, sunlit uplands» («высокие, солнечные вершины»).
Грэхем Херберт, заместитель главы института, сказал: «Компьютер ограничен в области применения. Он не понимает метафор и предназначения речи. Мы также попробовали проверить отрывок из Хемингуэя, и он не выявил того факта, что стиль писателя – очень спартанский. Напротив, компьютер счёл, что нужно писать более внимательно и детально. Хемингуэй тоже получил оценку «ниже среднего».
Сотрудники института также решили проверить с помощью программы выдержку из романа «Повелитель мух» Уияльяма Голдинга. Был выбран очень напряженный отрывок, в котором есть абзац, состоящий всего из одной фразы – «A face» (лицо). Мистер Херберт сказал: «Мы как читатели понимаем весь ужас повествования. Но компьютер счёл этот абзац ошибочным. Странным ему показалось и начало произведения «Заводной апельсин» Энтони Бёрджесса.
На Вестминстерском образовательном форуме, который состоялся на прошлой неделе, были озвучены все потенциально слабые места такой системы. Британские экзаменационные комиссии тестируют онлайн-системы оценивания школьных работ и, возможно, внедрят их в течение ближайших нескольких лет.
Компьютеры уже используются на экзаменах GCSE с мультивариантными ответами. В Америке также существуют попытки анализа работ, выполненных в виде эссе. Эта компьютерная программа была создана на основе оценок экзаменационных работ людьми-проверяющими. И хоть она и может оценить структуру предложений, но не в состоянии воспринять стиль или художественный замысел. Мистер Херберт сказал, что некоторые американские дети уже научились писать в том стиле, который компьютер оценивает положительно. «Сейчас у нас нет надёжного и проверенного программного обеспечения для оценки англоязычных текстов, хотя в нём есть потребность», – добавил он.
Сью Кирхем, учительница на пенсии, считает маловероятным, чтобы современные выпускники школ смогли в свои 18 лет высидеть во время экзамена уровня «А», если придётся писать ответы на бумаге. Она рассказала на форуме: результаты недавнего исследования свидетельствуют, что школы тратят больше на проведение экзаменов, чем на закупку книг и школьного оборудования. Другой докладчик заявил, что на тестирование детей в школах каждый год тратится порядка £750 миллионов.
Грэг Уотсон, исполнительный директор OCR – одной из крупнейших приёмных комиссий Британии, – высказал на форуме мнение, что уровень «А» уже обесценился. Он сказал: «Уровень «A», который изначально служил пропуском в университет, начал присваиваться более широкому кругу учеников. Поэтому нельзя считать его справедливой возможностью попасть на университетские занятия».
