Новый масштабный датасет финансового анализа на португальском: проблемы слабой разметки и путь к надёжности
Разработка систем обработки естественного языка (NLP) для финансового сегмента сталкивается с хроническим дефицитом специализированных данных, особенно в контексте бразильского португальского языка. Группа исследователей представила на arXiv новый корпус из приблизительно 160 000 новостных статей, призванный стать фундаментом для обучения моделей. Предварительные эксперименты, опубликованные в статье arXiv:2610.20630, обнажают критическую зависимость точности классификации от качества ручных аннотаций, демонстрируя значительное падение метрик при использовании слабого надзора на основе больших языковых моделей.
# Новая база данных для финансового анализа на бразильском португальском языке
В области искусственного интеллекта и обработки естественного языка (NLP) существует нехватка качественных данных для специфических доменов. Для бразильской финансовой сферы это стало особенно острой проблемой, тормозящей развитие автоматизированных систем аналитики. Новое исследование, представленное на платформе arXiv, предлагает решение этой дилеммы, предоставив сообществу учёных и разработчиков масштабный корпус данных для многоклассовой классификации финансовых новостей.
Масштаб корпуса и источник данных
Центральным элементом данной работы является сбор и структурирование огромного массива информации. Исследователи Leomax Bandeira и соавторы создали новый датасет, содержащий около 160 000 новостных статей, написанных на бразильском португальском языке. Все материалы были собраны из открытых веб-источников.
Основная цель создания этого ресурса — преодоление дефицита узкодоменных данных, который часто приводит к созданию моделей, плохо адаптированных к реальным рыночным условиям. Наличие такого крупномасштабного набора данных позволяет проводить более серьёзные эксперименты и устанавливать начальные эталонные показатели (benchmarks) для дальнейших исследований в области финансового NLP.
Эксперименты с методами слабой разметки
Для оценки потенциала использования слабого надзора (weak supervision) исследователи применили подход, основанный на семантической схожести. Корпус данных был разделён на подмножества, которые были аннотированы двумя путями: часть была обработана вручную экспертами, а вторая — с помощью крупных языковых моделей (LLM).
В качестве инструментов для классификации были выбраны три метода, работающие на основе поиска ближайших соседей и семантических эмбеддингов (векторных представлений слов): 1. Косинусное сходство (Cosine Similarity); 2. Метод K-ближайших соседей (K-Nearest Neighbors или KNN); 3. Поиск ближайших соседей на базе библиотеки FAISS.
Все эти алгоритмы использовали многоязыковые семантические эмбеддинги для определения темы статьи. Важно отметить, что такой подход позволяет автоматизировать процесс разметки, что существенно ускоряет подготовку данных для обучения.
Качество разметки как критический фактор
Результаты экспериментов говорят о том, что задача классификации финансовых новостей крайне чувствительна к качеству меток и балансу классов в выборке.
На подмножестве данных, где аннотации были выполнены вручную, метод KNN показал наилучшие результаты: точность (accuracy) составила 47,3%, а F1-score — 31,9%. Метод FAISS показал близкие показатели. Эти цифры, хоть и не достигают идеальных значений, считаются надежной базой для сложной задачи многоклассовой классификации в данной языковой паре.
Однако ситуация кардинально меняется при использовании данных, аннотированных LLM. Хотя точность (accuracy) в этом случае достигала примерно 50%, показатель F1-score падал до отметок около 20%. Такой разрыв обусловлен дисбалансом классов и наличием «шума» в автоматических аннотациях. Это доказывает, что при слабой разметке ошибки в метках существенно влияют на конечную производительность модели.
Что такое F1-score?
F1-score — это метрика, которая учитывает баланс между точностью (Precision) и полнотой (Recall). В задачах классификации, где некоторые классы представлены реже (несбалансированные данные), простая точность может вводить в заблуждение, показывая высокие результаты, при этом модель ошибается в важных случаях. F1-score даёт более честную оценку качества работы алгоритма.
Заключение и значение для науки
Представленный датасет и полученные предварительные результаты служат отправной точкой для будущих исследований в области финансового NLP на бразильском языке. Эксперименты однозначно подчеркивают необходимость высококачественных ручных аннотаций при разработке сложных систем. Пока автоматизированные методы, основанные на больших языковых моделях, не обеспечивают достаточной точности меток для надёжного обучения, человеческий контроль остаётся незаменимым элементом в создании надежных инструментов финансового анализа.
Этот корпус данных предоставляет обществу открытую платформу для сравнения различных архитектур нейросетей и методов обработки текста, помогая постепенно совершенствовать технологии анализа рынка в регионе Южноамериканского континента.