Миф о непрозрачности: почему интерпретируемость больших языковых моделей переоценивается
В научном сообществе возобновились споры о природе интерпретируемости больших языковых моделей (LLM). Ник Каммарата выдвинул гипотезу, утверждающую, что сложность нейросетей обусловлена не «суперпозицией» функций, а исправимыми причинами, однако предварительные данные вызывают вопросы у экспертов, привыкших разделять заявления исследователей и проверенные факты.
# Интерпретируемость LLM: между гипотезой и рыночным шумом
Вокруг темы интерпретируемости больших языковых моделей (LLM) сложился устойчивый нарратив: модели являются «чёрными ящиками», внутренние процессы которых невозможно проследить без риска фальсификации выводов. Однако недавняя публикация на платформе Goodfire.com, инициированная Нику Каммаратой (Nick Cammarata), ставит этот устоявшийся тезис под сомнение. Автор утверждает, что эксперименты позволяют отследить формирование ответа модели и что большинство нейронов, даже в гигантских сетях, выполняют одну понятную задачу. При этом важно помнить: сам автор называет материал рабочей гипотезой, а полноценная техническая статья с описанием всех метрик пока не опубликована.
Спектр интерпретаций и роль бизнеса
Публикация породила волну репортажей, где гипотетические доводы часто подавались как установленные истины. Это типичная реакция на громкие заголовки. Хорошая новость заключается в том, что статья Каммараты написана достаточно доступно: даже при использовании автоматического перевода основные доводы понятны. Однако контекст издания требует осторожности. Goodfire — коммерческая компания, предлагающая услуги верификации LLM, и её основной инструмент анализа называется Silico.
Этот фактор создает напряжение между научной строгостью и давлением бизнес-интересов. В прошлом история знает множество случаев, когда стремление к продаже услуг верификации заставляло авторов делать выводы более жёсткими или необоснованными, чем того требовали данные. В данном случае использование LLM для проверки интерпретируемости LLM создаёт замкнутый круг: модель пытается доказать собственную прозрачность агентами, обученными на той же архитектуре. Это забавно, но методологически недостаточно надёжно для окончательного заключения.
Абляция хвоста и иллюзия точности
Центральный аргумент Каммараты строится на наблюдении за активациями нейронов. Он утверждает, что слабые активации являются лишь второстепенным рекурсивным обобщением. Для проверки этого он применяет метод абляции: удаляет около 75% «слабых» нейронов и измеряет среднюю точность модели. В его экспериментах точность упала незначительно — с 72% до 71%.
На первый взгляд это выглядит убедительно: модель сохраняет работоспособность даже при значительном упрощении, значит, ключевые функции распределены равномерно. Однако автор сам признаёт, что при такой абляции меняется каждый десятый ответ, и считает эти изменения мелкими различиями между классами, с которыми модель и так путается. Критики указывают, что такая проверка может создавать иллюзию стабильности, если тестирование проводится исключительно на типовых, «чистых» примерах.
Самый яркий контраргумент был предложен исследователем, воспроизведшим логику эксперимента на своей микросети (MLP-512). При удалении аналогичной части активаций точность на стандартном тесте выросла даже немного — с 97,5% до 98,3%. Это кажется полной поддержкой гипотезы Каммараты. Но ситуация меняется кардинально, когда тесты проводятся на пограничных примерах — тех самых случаях, где соседние элементы последовательности переставлены местами.
На таких примерах точность сети при абляции «хвоста» катастрофически упала — с 93,1% до 72,4%. Потеря составила почти половину способности модели различать сложные случаи. Более того, полнота распознавания нарушений упала вдвое: с около 88% до около 44%. Это доказывает, что в слабые активации как раз зашиты границы классов, определяющие, способна ли модель различать близкие случаи. Каммарата проверял типичные случаи, где «хвост» действительно кажется несущественным, игнорируя критическую важность границ.
Выводы и путь к верификации
Суть проблемы заключается в том, что текущий критерий проверки, основанный на абляции средней точности, может быть методологически неполным. Случайное удаление той же массы активаций даёт почти тот же эффект, что подтверждает: границы классов держит слабая распределённая масса в целом, а «хвост» — это лишь большая её часть, ответственная за тонкие нюансы. Каммарата видит эти нюансы как мелочь, тогда как для реальной применимости модели они критичны.
Полный разбор тезисов возможен только после публикации детального технического отчёта. До этого момента любые утверждения о том, что интерпретируемость LLM доказана, остаются преждевременными. Тем не менее, дискуссия уже запустила важные дебаты о методах оценки прозрачности нейросетей и о том, насколько эффективно мы используем инструменты самоверификации.
Термины и понятия: * Интерпретируемость LLM — способность понимать, как именно языковая модель принимает решения и формирует ответы на основе внутренней структуры. * Суперпозиция — концепция в машинном обучении, предполагающая, что различные логические функции могут кодироваться в нейронных сетях совместно, создавая сложные запутанные состояния. * Абляция — экспериментальный метод, при котором часть элементов системы удаляется или модифицируется для оценки её влияния на работу в целом. * Пограничные примеры — случаи в наборе данных, которые находятся на стыке классов и наиболее сложны для классификации моделью.