Галлюцинации ИИ: от судебных штрафов до вирусных пакетов кода. Практические уроки 2023–2026 годов

# Галлюцинации ИИ: реальные уроки последних лет

Искусственный интеллект сегодня часто воспринимают как «оракла», способного находить ответы там, где человек заблудится. Однако природа языковых моделей (LLM) такова, что они генерируют текст на основе статистических вероятностей, а не поиска истины в базах данных. Когда модель уверенно излагает то, чего не существует, это называется галлюцинацией. На протяжении 2023–2026 годов мы наблюдали переход этих ошибок из категории «технических багов» в разряд серьезных проблем права, безопасности и доверия.

*«Внешне выдача неотличима, но по сути это разница между библиотекой и очень начитанным импровизатором»*. > — этот тезис, сформулированный в 2023 году по случаю одного из первых крупных судебных кейсов, остается актуальным и сегодня.

Юридическая ответственность: от штрафа за шесть дел до трибуналов

В мае 2023 года история юриста Стивена Шварца из Нью-Йорка стала поворотным моментом в восприятии ИИ профессиональным сообществом. Для подготовки иска против авиакомпании Avianca Шварц использовал ChatGPT для поиска прецедентов. Модель предоставила ему шесть «существенных» судебных дел, включая «Варгезе против China Southern Airlines». Юрист проверил данные, убедившись в их достоверности, и отправил документы судье. В ответ суд констатировал, что все шесть дел являются полностью сфабрикованными: ссылки мнимые, цитаты выдуманы, а названия звучат бессмысленно. Шварц был оштрафован на 5000 долларов, а его коллега — на аналогичную сумму.

Этот случай выявил критическое различие между поисковыми системами и генеративными моделями. Поисковик возвращает существующие документы, а генератор — новые тексты под запрос пользователя. Однако масштаб проблемы быстро расширился. Исследователь Дамьен Шарлотен начал вести базу судебных дел с выдуманными цитатами ИИ. К августу 2026 года количество таких эпизодов выросло с 120 до 1980, при этом большинство нарушений фиксировалось в США. В базе выделяют два типа ошибок: полная фальсификация дела и искажение цитат внутри реального дела. Последнее обнаруживать значительно сложнее.

Планка юридической ответственности смещается вверх. Если ранее штраф рассматривался как урок для новичка, то сейчас следуют более жесткие санкции. Дело Закарии Крабилла из Колорадо (отстранение от практики за попытку скрыть вину стажера, использующего ИИ) показало, что система не прощает попытки замаскировать ошибку под человеческий промах. Более того, в Миннесоте адвоката отстранили уже за сам факт использования сгенерированного контента, не проверив его, независимо от намерений скрыть это.

Принципиально важным стал прецедент, касающийся ответственности самих компаний за чат-ботов на их ресурсах. В феврале 2024 года трибунал Британской Колумбии решил дело авиакомпании Air Canada против её клиента Джейка Моффатта. Бот ошибочно сообщил пассажиру о возможности получения скидки на билеты, купленные год назад, после смерти близкого человека. Трибунал отверг аргумент авиакомпании о том, что чат-бот является отдельной сущностью. Было постановлено: компания несет полную ответственность за всё, что говорит её бот, так как для пассажира это и есть голос компании. Решение было историческим: цена ошибки не в миллионах долларов, а в признании того, что автоматизация не освобождает от ответственности.

Репутационные потери компаний могут быть колоссальными. В феврале 2023 года рекламный ролик Google Bard, в котором модель ошиблась в историческом факте получения первого снимка экзопланеты телескопом «Джеймс Уэбб» (сфотографирован VLT еще в 2004 году), привела к падению акций Alphabet на 7,7%, уронив капитализацию на 100 миллиардов долларов за день.

Крупнейшие консалтинговые фирмы также столкнулись с кризисом доверия. В 2025 году отчёт Deloitte для австралийского министерства занятости стоимостью 439 тысяч долларов содержал несуществующие научные работы. Отчёт был отозван, и фирме пришлось вернуть последний платеж. Похожая история произошла в Канаде с отчётом о здравоохранении. В июне 2026 года аудит KPMG по агентному ИИ показала, что из 45 проверенных ссылок были подтверждены лишь пять. Это привело к отзыву отчётов и извинениям со стороны NHS и других организаций.

Опасность «человекоподобного» вранья и код как вектор атак

Есть категория галлюцинаций, где цена ошибки измеряется не деньгами, а моральным ущербом и нарушением приватности. В 2024 году немецкий журналист Мартин Бернклау обнаружил, что Microsoft Copilot генерирует тексты, в которых обвиняет его в преступлениях (растлении детей, побегах из клиник), склеивая его личность с фигурантами реальных дел. Прокуратура отказалась возбуждать дело против Microsoft, так как в тексте не нашлось конкретного лица, но скандал показал невозможность точечного удаления таких связей из весов модели.

Особенно тревожный случай произошел с системой распознавания речи Whisper от OpenAI. Исследования показали, что модель активно добавляет в транскрибации выдуманные фразы, особенно в паузах при речи людей с афазией. До 38% таких вставок несут вред: несуществующие медицинские назначения или ложные обвинения в насилии. Поскольку многие сервисы, включая медицинский Nabla, стирают оригинальный аудиофайл после обработки, ошибку становится невозможно выявить постфактум.

В сфере разработки программного обеспечения галлюцинации трансформировались в угрозу кибербезопасности. Исследование 2025 года показало, что 19,7% рекомендованных ИИ пакетов кода на Python и JavaScript не существовало. Более того, выдуманные имена пакетов часто повторяются, создавая паттерны. Исследователь Бар Ланьядо зарегистрировал несуществующий пакет huggingface-cli, который модели начали советовать. За три месяца его скачали более 30 тысяч раз. Этот механизм, названный «словсквоттингом» (slp squatting), позволяет злоумышленникам создавать поддельные репозитории для распространения вирусов, так как ИИ сам рекомендует их использовать.

Поиск истины: бенчмарки и новые вызовы

Измерить точность ИИ непросто. Ранние попытки создать рейтинговые таблицы (например, от Vectara) показывали, что даже лучшие модели 2023 года ошибались в 3–5% случаев при пересказе документов. Однако к 2025 году бенчмарки стали сложнее, и лучшие модели показали рост ошибок на длинных текстах до 1,8% и выше, что свидетельствует о возможности «натюнинга» моделей на тесты.

Проблема усугубилась с появлением «рассуждающих» моделей. В документации OpenAI за 2025 год отмечалось, что модель o3 галлюцинирует на вопросах о публичных фигурах вдвое чаще предшественницы (33% против 16%), а o4-mini ошибается в каждом втором ответе (48%) на сложных фактологических тестах. Это доказало, что развитие способности к логическим цепочкам не гарантирует улучшения фактологической точности.

В ответ на это, в 2025 году модель GPT-5 с включенным веб-поиском показала улучшение точности до 9,6% ошибок, но без поиска — до 50%. Это четко обозначило границу возможностей: модели могут имитировать понимание мира, но без внешнего доступа к актуальным фактам риск выдумки остается критически высоким.

Технический глоссарий

* Gаллюцинация (Hallucination): Термин, описывающий способность нейросети выдавать правдоподобный, но ложный или несуществующий контент. В отличие от сбоя (бага), галлюцинация — это осознанное (моделью) продолжение вероятностной последовательности, не соответствующее реальности. * Авторовегрессионный декодер: Алгоритм, который предсказывает следующий символ или слово на основе предыдущих. Именно он заставляет модели выдумывать текст, когда исходная информация исчерпана или отсутствует. * Слопсквоттинг (Slop squatting): Метод атаки, при котором злоумышленник регистрирует вымышленные названия пакетов или библиотек, которые генерируют ИИ, с целью их эксплуатации. * Веб-поиск (Web Search): Внешний инструмент, подключаемый к ИИ для проверки фактов в реальном времени. Его отсутствие — главный фактор риска галлюцинаций на фактологии.

Галлюцинации ИИ — это не приговор технологии, а сигнал к изменению процессов их внедрения. Будущее за комбинацией мощных генераторов и строгих механизмов валидации, где ответственность человека за результат не размыта алгоритмическими уловками.