Эксперимент с «магическими» числами: почему экзотические алгебры в нейросетях оказались мифом
В мире машинного обучения активно пропагандируются экзотические математические структуры — кватернионы и октонионы. Обещается высокая эффективность при меньшем количестве параметров и способность решать сложные задачи благодаря неассоциативности и некоммутативности. Группа исследователей под руководством Максима Кузнецова провела 35 контролируемых экспериментов, чтобы проверить эти заявления объективно. Результаты удивили даже авторов: в большинстве случаев преимущество этих алгебр исчезало при честном сравнении с обычными вещественными сетями.
# Магия алгебр или статистическая погрешность? 35 экспериментов опровергли миф о преимуществах кватернионов и октонионов
В последние годы научная литература по машинному обучению перенасыщена идеями о применении гиперкомплексных чисел. Кватернионы (4 измерения), октонионы (8) и седенионы обещают нейросетям новую физическую химию вычислений. Их вальютой провозглашается параметрическая эффективность и способность кодировать сложные связи без избыточности. Чтобы отделить маркетинг от науки, мы инициировали масштабный проект, который можно охарактеризовать как «плацебо-аудит» экзотических алгебр. Задача стояла простая, но трудоемкая: доказать или опровергнуть гипотезу, что структура алгебры важнее самой математики обучения.
Мы провели 35 независимых экспериментов, покрывающих задачи от отслеживания симметрий групп до анализа музыкальных аккордов. В каждом случае мы строили модели с использованием кватернионных или октонионных слоёв и сравнивали их не с любыми, а с специально подобранными вещественными аналогами (param-matched real baselines). Эти аналоговые модели использовали обычные вещественные числа, но имели архитектуру, максимально имитирующую структуру тестовой модели. Результаты, подтверждённые открытым кодом и данными, показали: никакой магии. В лучшем случае экзотическая алгебра давала результат на уровне 0.51, что соответствует случайному угадыванию, и никогда не приближалось к 0.834, что показали простые вещественные слои. Более того, мы открыто признали свои ошибки и провалы: в частности, мы обнаружили, что ранее опубликованные результаты содержали неточности, которые были исправлены в финальной версии статьи. Этот текст служит итогом нашей работы, призванным остановить распространение мифов о преимуществах кватернионов и октонионов в нейросетях.