Агент, живущий днём и учась ночью: биоинспирированная архитектура без backprop
Разработчик Михаил Бурлаков представил NOWA-Cognitive — когнитивную архитектуру искусственного интеллекта, имитирующую цикл «быстрое запоминание — консолидация во сне». В отличие от стандартных методов машинного обучения, опирающихся на глобальную функцию потерь и обратное распространение ошибки, новая система разделяет оперативный опыт и долговременную память. Агент принимает решения на основе накопленных нейромодуляторов и локальных оценок, меняя свои алгоритмы поведения только в фазе сна. Этот подход направлен на преодоление проблемы катастрофического забывания в средах с длительным периодом обучения.
# Сутки из жизни агента G3A1SF: как учится ИИ без backprop
Приветствую. Сегодня мы поговорим о проекте, который начался не с вопроса «как сделать модель умнее», а с вопроса «как агент может жить». Речь идёт о симуляции колонии шиншилл, где каждое животное — это отдельный экземпляр когнитивного ядра NOWA-Cognitive. Автор эксперимента, Михаил Бурлаков, разработал систему, которая отказывается от привычных методов глубокého обучения в пользу биологического сценария: днём агент действует и записывает черновики воспоминаний, а ночью, во время сна, перерабатывает их в долговременную память.
Ниже представлен детальный разбор того, как это работает на примере одного полного цикла жизни одной особи.
Цикл жизни: от восприятия к консолидации
Система моделирует реальное существование агента G3A1SF (третье поколение, самка), чей «день» длится 60 секунд модельного времени. Мир для агента — не видео, а набор контекстных токенов, таких как context:forage или event:found_hay. На эти данные реагирует её «гиппокамп» — модуль быстрой памяти, который ищет похожие эпизоды. У молодой особи их пока мало, поэтому новые события фиксируются немедленно, без сложных проверок.
Параллельно работает система настроения. В NOWA эмоции представлены не набором простых флагов (например, «испуган» или «рад»), а непрерывным 8-мерным вектором, охватывающим валентность, возбуждение, стресс и другие параметры. Вектор постоянно возвращается к базовой линии, затухая по собственным коэффициентам: стресс гасится быстро (0.75), а доминирование — медленно (0.97). На этот процесс влияют внешние стимулы, текущие воспоминания и внутренние состояния.
Выбор действия происходит в базальных ганглиях, где соревнуются две силы: Go (инициация действия) и NoGo (торможение). Их баланс зависит от давления контекста, уровня дофамина (подкрепление), кортизола (страх) и привычки. Важный принцип архитектуры: нейромодуляторы не принимают решений напрямую. Они лишь изменяют пороги и масштабы, оставляя финальный выбор за конкуренцией каналов. Например, высокий норадреналин делает выбор более разбросанным, заставляя агента исследовать новое.
Ошибка предсказания вместо градиента
Главное отличие от классического машинного обучения — отсутствие глобальной функции потерь и обратного распространения ошибки (backprop) для обновления весов. В обычном RL агент видит всю задачу целиком и пытается минимизировать ошибку сразу. Здесь всё иначе.
Агент получает локальную оценку каждого шага через вычисление TD-ошибки (разницы между ожидаемой и полученной наградой). Если результат лучше ожидания, возникает положительный скачок дофамина; если хуже — отрицательный. Этот скачок является единственной обучающей метрикой в реальном времени.
Важный нюанс: во время «бодрствования» (дня) агент не меняет веса своих нейронных связей. Он лишь накапливает эпизоды, помечая их уровнем неожиданности (шок предсказания) и текущими значениями ацетилхолина. Обновление весов каналов действий запрещено до наступления фазы сна. Таким образом, днём агент живёт, ошибается и записывает опыт «начерно», не затрачивая ресурсы на глобальную донастройку.
Ночная консолидация: сон как время обучения
Наступает ночной цикл. Агент засыпает, и именно тогда происходит главная магия системы. Модуль сна проверяет, пригоден ли материал для обучения. Если оценки ценности слишком разбросаны (высокая дисперсия), консольдация блокируется — нестабильный опыт не должен закрепляться.
Затем запускается фильтрация. Эпизоды проходят жёсткий отбор: слишком малые ошибки предсказания или рутинные действия отбрасываются. Проходят только неожиданные и значимые события.
Выборка для повторного прогона вероятностна и ограничена бюджетом (например, 32 повтора за ночь). Приоритет отдается эпизодам с высокой неожиданностью и низкой текущей стабильностью — то есть тому, что удивило агента и ещё не стало привычкой. Каждому эпизоду присваивается «причинная глубина»: если награда пришла после цепочки действий, заслуга в ней распределяется с затуханием по расстоянию до момента получения подкрепления.
Только после этого происходит реальное изменение весов. Каналы действий, приведшие к успеху, усиливаются, а при неудаче — ослабляются. Паттерны похожих эпизодов сливаются в долговременные знания в коре, а нестабильные следы забываются. Нейромодуляторы ночью работают иначе: они усиливают паттерны коры и повышают стабильность свежих эпизодов под влиянием серотонина.
Генетика и эволюция параметров
Уникальность проекта ещё и в том, что параметры агента наследуются. У каждой особи есть геном из 39 генов, определяющих конкретные коэффициенты системы: скорость затухания стресса, инерцию настроения, фазу циркадного ритма и пороги обучения. Потомок получает среднее значение генов родителей, с вероятностью 5% подвергаясь случайной мутации.
Кроме того, существует механизм эпигенетического наследования: часть консолидированных паттернов памяти (около 32 штук) передается детенышу. Это работает как подсказка, а не полная перезапись чужой личности. Такой подход позволяет моделировать эволюцию поведения целой колонии без необходимости перепроучивать архитектуру с нуля для каждого нового поколения.
Преимущества и ограничения архитектуры
Архитектура NOWA-Cognitive демонстрирует, что отказ от градиентного спуска в пользу эвристического, биологического цикла может быть эффективен для задач, требующих длительного обучения в изменяющейся среде. Отсутствие глобальной функции потерь снижает риск катастрофического забывания, когда новое знание уничтожает старое.
Однако стоит отметить, что на данный момент прямых сравнительных бенчмарков с методами вроде PPO или SAC в открытом репозитории нет. Оценка эффективности проводится через правдоподобность поведения и регрессионные тесты. Система также не обладает обученной моделью мира (воображением) и полагается на эвристическую оценку новизны и конфликта.
Проект демонстрирует интересный взгляд на создание агентов, которые не просто решают задачи, а живут, ошибаются, спят и эволюционируют в соответствии с принципами, заложенными природой.