EXAONE Finance: новый подход к прогнозированию финансовых рынков без механизма внимания
Исследование, опубликованное на arXiv, знакомит с моделью EXAONE Forecast for Finance (EXAONE Finance), разработанной для решения специфических проблем финансового прогнозирования. В отличие от существующих фундаментальных моделей временных рядов, новая архитектура отказывается от вычислительно дорогих механизмов само-внимания (self-attention), заменяя их линейно масштабирующими операторами, что делает работу с длинными последовательностями и пропусками данных более эффективной и устойчивой.
# EXAONE Finance: отказ от «само-внимания» ради точности и скорости
Развитие искусственного интеллекта в финансовой сфере часто упирается в компромиссы между скоростью вычислений, потреблением ресурсов и способностью модели работать с реальными, а не идеализированными данными. Новый технический отчет, опубликованный в августе 2026 года, представляет модель EXAONE Forecast for Finance (EXAONE Finance), созданную исследователями из компании Kakao (по данным источника) с целью преодоления этих ограничений.
Традиционные фундаментальные модели временных рядов (TSFMs) демонстрируют высокую эффективность в задачах без предварительной настройки (zero-shot), однако их применение в финансах сопряжено с серьезными техническими трудностями. Основные препятствия включают квадратический рост вычислительной стоимости при увеличении длины последовательности и количество переменных, а также допущение о полноте наблюдаемых данных.
Новая архитектура: линейное время вместо квадратичного
В основе большинства современных фундаментальных моделей лежит механизм само-внимания (self-attention). Хотя этот подход позволил достичь значительных успехов в общедоступных задачах обработки естественного языка, в финансах он становится узким местом. Стоимость вычислений для само-внимания растет квадратично как от длины временного ряда, так и от количества анализируемых активов. Для финансовых панелей, где могут одновременно рассматриваться тысячи инструментов за месяцы исторических данных, это приводит к непомерным затратам на вычисления.
Команда разработчиков EXAONE Finance выбрала смелый путь отказа от механизма внимания. Вместо этого они внедрили архитектуру, основанную на двух операторах, обеспечивающих линейное время выполнения:
1. Причинная одномерная свертка (causal 1D convolution): Этот оператор отвечает за смешивание временных зависимостей. «Причинность» здесь означает, что модель не «заглядывает» в будущее, используя только доступные на текущий момент данные, что критически важно для реального прогнозного анализа. 2. Свертка с объединением групп (group-aware pooling MLP): Этот компонент обрабатывает зависимость между различными переменными (активами). Использование многослойного перцептрона (MLP) вместо механизма внимания позволяет модели улавливать сложные взаимосвязи между акциями, валютами или сырьевыми товарами, сохраняя вычислительную эффективность.
*Техническое примечание:* Замена квадратично сложных механизмов внимания на линейно масштабируемые свертки и MLP кардинально снижает нагрузку на вычислительные ресурсы, позволяя обрабатывать огромные объемы исторических данных без необходимости их жесткой обрезки или агрегации, что часто приводит к потере важной информации.
Обучение на неполных данных: решение проблемы пропусков
Еще одной фундаментальной проблемой финансовых данных являются пропуска. Рыночные торговые данные часто являются не полностью наблюдаемыми (intermittently observed), особенно когда речь заходит о макроэкономических индикаторах или данных по малой ликвидности. Традиционные модели, обученные на предположении полноты данных, часто теряют точность при столкновении с реальностью.
EXAONE Finance включает в себя специальную технику подготовки данных, называемую аугментацией с замаскированным контекстом (masked context augmentation). В процессе обучения модели искусственно создаются сегменты отсутствующих данных (пропуски) в последовательностях. Это «учит» модель игнорировать пропуски и делать обоснованные прогнозы на основе имеющихся фрагментов истории, значительно повышая ее устойчивость (robustness) к неточностям реальных рыночных данных.
Данные для обучения модели охватывают широкий спектр классов активов: не только акции, но и валюты (forex), сырье, криптовалюты, долговые инструменты (fixed income) и макроэкономические индикаторы. Такой подход позволяет модели учить универсальные закономерности, не привязываясь к специфике одного лишь рынка акций.
Результаты на бенчмарке FinVerse
Эффективность новой модели была проверена на независимом бенчмарке FinVerse, который охватывает различные классы активов и учитывает различные аспекты качества прогноза.
Итоги тестирования показывают выдающиеся результаты. EXAONE Finance занимает первое место во всех трех уровнях оценки:
* Точность точечных прогнозов (point-forecast accuracy): Модель наиболее точно предсказывает конкретное значение будущего значения временного ряда. * Ранжирование активов (cross-sectional asset ranking): Модель лучше определяет, какой из активов в данный момент будет показывать лучший результат, чем другие. * Прибыльность портфеля (portfolio profitability): На основе прогнозов модели формируются инвестиционные портфели, демонстрирующие высокую доходность.
Эти результаты подтверждают гипотезу разработчиков о том, что отказ от механизмов внимания и фокус на линейной сложности, а также обучение на неполных данных, являются более практичным и эффективным путем для финансовых задач, чем универсальные архитектуры, заимствованные из NLP.
В то время как многие компании продолжают гонку за размером контекстного окна и сложностью архитектур с вниманием, EXAONE Finance предлагает более элегантное и экономичное решение, опираясь на математическую простоту и устойчивость к шумам реального мира. Для финансовых аналитиков это может означать возможность использования более детальных временных рядов в реальном времени без необходимости значительного увеличения вычислительных мощностей.