Счетный бейзлайн оказался быстрее и почти так же точен как трансформеры: анализ на отзывах

# Где счетный бейзлайн бьет трансформер: честное сравнение на русских отзывах

В эпоху, когда дефолтным выбором для классификации текста становится предобученный трансформер, стоит задуматься о стоимости этого решения. Методы вроде TF-IDF часто воспринимаются как устаревшие, однако их редко проверяют на реальных корпоративных данных в паре с глубокими моделями.

Было проведено исследование, сравнивающее три подхода к задаче: счетный бейзлайн на TF-IDF, сверточную сеть TextCNN и дообученный русский энкодер (трансформер). Эксперимент проводился на одном наборе данных, одной метрике и без использования графических процессоров (GPU).

Неочевидные результаты: скорость против качества

Краткий итог экспериментов удивителен: метод на основе TF-IDF обучается всего за три секунды и достигает метрики макро-F1 (macro-F1), сопоставимой с результатом трансформера, дообученного на протяжении восьми минут. Более того, если использовать трансформер по стандартному рецепту без коррекции весов классов, он может показывать высокий коэффициент точности (accuracy), но проигрывать по реальной способности классифицировать редкие случаи.

| Модель | Метрика Macro-F1 | Время обучения (CPU) | Скорость предсказания (на 1000 текстов) | Параметры | | :--- | :--- | :--- | :--- | :--- | | TF-IDF (биграммы) | 0.671 | 2.8 сек | 0.03 сек | ~300 тыс. | | TextCNN | 0.624 | 166 сек | 0.82 сек | 3.8 млн | | Rubert-tiny2 (без весов) | 0.574 | 293 сек | 0.92 сек | 29 млн | | Rubert-tiny2 (с весами) | 0.675 | 478 сек | 1.18 сек | 29 млн |

Как видно из таблицы, разница между лучшим бейзлайном и оптимизированным трансформером по метрике качества составляет всего 0.004, тогда как время обучения трансформера превышает время обучения бейзлайна в 170 раз.

Почему трансформеры «обманывают» Accuracy

Одним из ключевых выводов исследования стала ловушка метрики точности (accuracy). В наборе данных для анализа тональности отзывов классический «позитив» составлял 86%, а классы «негатив» и «нейтрально» — всего 9% и 4% соответственно.

Модели, обученные с весами классов, смогли корректно разделять данные. Однако трансформер, обученный стандартным способом (без балансировки), продемонстрировал accuracy 0.923, но macro-F1 0.574. Это произошло потому, что модель научилась всегда предсказывать доминирующий класс «позитив», игнорируя редкие случаи. Высокий accuracy маскирует провал в распознавании миноритарных классов, в то время как макро-F1, усредняющая показатели по всем классам, сразу выявляет эту неэффективность.

Когда имеет смысл использовать тяжелые модели

Исследование подчеркивает, что вывод не сводится к утверждению, что трансформеры бесполезны. Напротив, они незаменимы в задачах, требующих глубокого понимания семантики, разрешения кореференции или работы с длинными контекстами. Однако в задачах классификации коротких отзывов с явными сигналами тональности счетные признаки показывают высокую эффективность.

Рекомендуемый алгоритм действий: 1. Сначала бейзлайн: Начинать проект с TF-IDF и логистической регрессии. Это даст честную планку качества за доли секунды. 2. Анализ метрик: Использовать макро-F1, а не accuracy, особенно при дисбалансе классов данных. 3. Расчет стоимости: Учитывать время обучения и инференса как часть стоимости внедрения. 4. Эскалация: Переходить к трансформерам только тогда, когда бейзлайн уперся в потолок качества.

В заключение стоит отметить, что для промышленных задач на процессорах скучная линейная модель может давать 90% результата за 1% цены от сложной архитектуры.

*Упоминаемый в исследовании курс по NLP доступен в образовательных программах по искусственному интеллекту.*

# NLP #ИИ #МашинноеОбучение #PyTorch #Трансформеры #Бизнес