Генерация против поиска: Эксперимент над системой ELM, отказывающейся выдумывать
В попытке снизить стоимость и исключить галлюцинации, разработчик собрал систему ELM (Excerpt-Driven Model), которая вместо того чтобы писать ответы, строго выбирает цитаты из предоставленных документов. На выборке Natural Questions такой подход показал результаты, близкие к топовым языковым моделям, но ценой огромного расхода токенов и сложности поиска релевантных фрагментов среди миллионов строк.
# Ответ цитатой вместо генерации: проверка гипотез на практике
Идея проста, но радикальна: заменить генеративный процесс на точный поиск и выбор. Обычно крупные языковые модели стоят дорого, требуют гигабайты памяти и часто уверенно говорят правду, которой не существует. Альтернативный подход предполагает хранение всего текста на диске, поиск подходящих фрагментов обычными алгоритмами и использование нейросети-судьи, которая лишь выбирает правильную строку из множества кандидатов. В этой модели выдумать фразу невозможно по определению.
Автор статьи, разрабатывающий проект под названием ELM, провел серию экспериментов, чтобы проверить, насколько далеко можно зайти с таким ограничением. Результатом работы становится либо дословная цитата с указанием источника, либо честный отказ, если ответ не найден в корпусе данных. В статье приводятся данные о точности, стоимости и ограничениях такого подхода на выборке Natural Questions и других бенчмарках.
Архитектура без генерации
Система ELM разделена на три основных компонента: хранилище документов, поисковый движок и классификатор-судью. Документы размещаются на диске в виде абзацев. Поисковый код находит набор кандидатов (пул), а судья принимает решение, какой из них использовать.
Ключевое отличие от традиционных RAG-систем заключается в ограничениях нейросети. Судья в ELM — это не генератор текста, а классификатор с типизированными действиями: «выбери один из вариантов», «верно/неверно» или «оцени по шкале». Текст она не пишет. Ответом для пользователя всегда является дословная копия исходной строки. Это гарантирует невозможность галлюцинаций, так как ответ существует заранее.
Однако поиск — это слабое звено. Если поисковый алгоритм не найдет нужный абзац, судья не сможет его увидеть. Автор сравнивал простой словесный поиск на базе SQLite и современный векторный поиск на базе FAISS с использованием кодератора DPR. Переход к семантическому поиску резко увеличил количество токенов, которые должен прочитать судья, что значительно повысило стоимость запроса.
Метрики и стоимость экспериментов
Для оценки системы использовались стандартные бенчмарки: BoolQ, SQuAD 2.0, Natural Questions (NQ) и LongBench. Сравнивались результаты ELM с топовыми моделями, такими как Claude Opus 5 и DeepSeek.
На отложенных выборках ELM показал следующие результаты: * BoolQ: Точность совпала с Claude Opus (p=1.000). * SQuAD 2.0: Различия статистически незначимы (p=1.000). * Natural Questions: Строгая точность ELM составила 49.3% против 62.0% у Opus. При этом ELM чаще отказывался отвечать (27.3% случаев), что сглаживает разницу в итоговом счете. * LongBench: На отложенной выборке результат составил 50.0% на одном запросе (окно 40 строк), что значительно ниже 76.7% у Opus на отладочной выборке.
Экономическая эффективность сильно зависит от задачи. Для BoolQ стоимость 1000 вопросов у ELM в 395–527 раз ниже, чем у Opus. Однако для Natural Questions преимущество сокращается до 7.7 раза, что связано с более высокой стоимостью обработки больших окон текста. В тесте на безопасность (внедренные инструкции) модель показала 0 успешных атак из 60 попыток, но процитировала подложный факт в 1/30 случаев.
Ошибки измерения и ограничения
В процессе исследований были выявлены и исправлены четыре ошибки в методологии измерений, которые могли исказить результаты. Например, код изначально считал верным ответ «нет» как провал, а встроенный генератор случайно включал в ответы поисковые догадки. После пересчета базы данных и исключения некорректных прогонов точность на отладочных данных сместилась с 56% до 46.3%.
Основные ограничения подхода связаны с масштабируемостью поиска. При работе с полным корпусом из 21 миллиона абзацев охват поиска снижается из-за редких слов. Даже использование сложных векторных индексов не всегда гарантирует попадание нужной строки в «окно» судьи. Кроме того, система не является полностью детерминированной: при изменении конфигурации или обновлении индекса результаты могут колебаться.
Автор отмечает, что репозиторий с кодом и полным набором данных пока закрыт, а препринт на arXiv не опубликован из-за отсутствия рекомендации сообщества. Несмотря на это, эксперимент доказывает, что отказ от генерации в пользу строгого выбора возможен, но требует тщательной настройки поисковых алгоритмов и понимания того, что в сложных задачах цена за точность может быть непомерно высокой.