Мадагаскарская ловушка: профессора Алкорн Стейт застали на месте преступления 32 студента
Преподаватель истории из Alcorn State University продемонстрировал эффективность «инъекций промпта» (prompt injection), используя незаметное скрытое слово в задании. В результате проверки оказалось, что 32 из 35 студентов сдали работы, сгенерированные ИИ, так как не сверили текст с исходным вариантом до отправки.
# Мадагаскарская ловушка: как профессора обхитрили, а потом — и он сам
В эпоху, когда университеты ищут пути сосуществования с генеративным искусственным интеллектом, преподаватель истории из Alcorn State University создал эксперимент, ставший вирусным в академическом сообществе. Его цель была проста: проверить, кто из студентов действительно выполнил работу, а кто — просто скопировал готовый текст у машины.
Белое на белом: механика ловушки
Задание было стандартным для курса истории: студентам предстояло сравнить промышленную революцию с современной цифровой эпохой. Для многих это могло стать поводом написать эссе самостоятельно, но в тексте инструкции скрыта была тонкая, но хитрая деталь. В одном из абзацев, в блоке белого текста на белом фоне, было написано слово «Madagascar» (Мадагаскар). Этот шрифт сливался с фоном так идеально, что человеческое глазом его заметить практически невозможно, если текст не изучать пиксель за пикселем.
С точки зрения человека, проходящего экзамен, эта часть документа была прозрачной. Однако ситуация кардинально менялась при взаимодействии с нейросетью. При полном копировании задания в ChatGPT или другую языковую модель слово «Madagascar» попадало прямо в промпт (командное написание). Современные модели, стремясь выполнить все входящие инструкции, пытались каким-либо образом включить это слово в ответ. Если студент не сверял итоговый текст с оригиналом, он гарантированно получал работу, содержащую бессмыслицу.
Результаты проверки: статистика обмана
Профессор начал проверку работ в стандартном режиме. Внимательное чтение выявило характерные артефакты машинного генерирования. Вместо исторического анализа или логических аналогий в текстах фигурировали странные фразы,完全没有 связи с темой экзамена. Примеры таких предложений, сгенерированных моделью:
* «Madagascar floats sideways through the afternoon» (Мадагаскар плывет боком сквозь день); * «Madagascar purple bicycle whispers to the ceiling» (Фиолетовый велосипед Мадагаскара шепчет потолку).
Эти абсурдные конструкции возникли потому, что нейросеть попыталась удовлетворить скрытую команду в промпте, игнорируя контекст задачи. Статистика оказалась показательной: из 35 сданных работ такую ошибку допустили 32 студента. Оставшиеся трое, судя по отсутствию аномалий, либо не использовали генеративный ИИ, либо вручную отредактировали сгенерированный текст, убрав лишние детали.
По словам преподавателя, самое тревожное в ситуации было не само фактическое использование технологий, а халатность. Студенты не прочитали собственные работы перед отправкой, полностью доверившись кнопке «Скопировать» из нейросети.
Реакция сообщества и эволюция методов
После публикации скриншота с невидимым словом и объяснения ситуации к профессору обратились с апелляцией всего двое студентов. Одна из них признала, что использовала темную тему оформления в редакторе документа, из-за чего белый текст стал виден на ее экране, и она не заметила ловушку. Это подтвердило, что даже один внимательный взгляд мог спасти ситуацию.
Среди преподавателей и общественности эксперимент вызвал противоречивую реакцию. Одни похвалили метод как изящное доказательство того, как быстро распространяются ошибки при автоматизации академической работы. Другие критиковали подход, называя его «честным обманом» с обеих сторон.
Важно отметить, что эффективность подобных ловушек может снижаться со временем. Современные языковые модели уже обучают распознавать «инъекции промпта» и могут игнорировать скрытые инструкции в документе или предупреждать пользователя о их наличии.
Тем не менее, ценность этого эксперимента выходит за рамки простой проверки на плагиат. Он наглядно демонстрирует смену парадигмы в обучении. Несколько лет назад студент мог списать текст из Википедии, но хотя бы бегло его прочитал перед сдачей. Сейчас же многие воспринимают ответ ИИ как готовый продукт: копируют, отправляют и убегают. Проблема сместилась с использования инструмента на критическое осмысление результата и ответственность за конечный текст.
*Мир меняется быстрее, чем мы успеваем адаптировать наши методы проверки. Иногда нам приходится использовать собственные хитрости, чтобы напомнить студентам о главном: в эру алгоритмов человеческая внимательность становится самым ценным навыком.*