Легкость в тексте: LFM2.5-Encoders ускоряют обработку длинного контекста на процессорах
Команда Liquid AI представила новые модели LFM2.5-Encoders, предназначенные для обработки контекста длиной до 8 192 токен. Эти модели демонстрируют высокую эффективность при выполнении задач классификации и маршрутизации на обычных процессорах (CPU), сокращая время обработки на 3,7 раза по сравнению с современными аналогами, такими как ModernBERT. Разработчики подчеркивают, что новые модели сохраняют высокую точность, даже когда входные данные становятся значительно длиннее.
# LFM2.5-Encoders: новый стандарт скорости для длинного контекста
В мире искусственного интеллекта поиск способов снизить вычислительные затраты на обработку больших объёмов текста остается ключевой задачей. Сегодня Liquid AI представила две новые архитектуры — LFM2.5-Encoder-230M и LFM2.5-Encoder-350M. Эти модели созданы для решения задач понимания текста, где критически важна скорость работы на процессорах (CPU), а не только на графических картах. Основной акцент разработчиков сделан на то, что эффективность работы не падает даже при увеличении объёма входного текста.
Архитектура и подход к обучению
Новые энкодеры развивают архитектуру LFM2, в основе которой лежит идея линейного роста вычислительных затрат при увеличении контекста. Это существенное отличие от традиционных моделей BERT, где расходы растут квадратично. Процесс создания энкодеров включал несколько важных этапов:
* Исходная база: Модели были инициализированы на основе декодеров LFM2.5 (версий 230M и 350M). Изначально эти модели были направлены на генерацию текста, но затем были перестроены. * Бидирекционная внимательность: В классических моделях типа BERT внимание фокусируется на обоих направлениях. В LFM2.5 энкодер также видит токены до и после текущего, используя бидирективную маску внимания. * Сверточные слои: Вместо использования только внимания, в модель внедрены короткие сверточные слои. Они настроены так, чтобы каждый токен смешивал информацию с соседними токен симметрично. * Моделирование языка: Во время обучения использовалась задача маскированного моделирования языка, при которой 30% токенов скрывались для проверки способности модели предсказывать пропущенные части.
Обучение проходило в два этапа. Сначала модель осваивала общие языковые навыки на корпусе из веб-страниц с контекстом в 1 024 токена. Затем последовала адаптация к длинному контексту, где модель обучалась на смешанном наборе данных с поддержкой фактической информации, юридических текстов и многоязычного контента.
Сравнительная эффективность
Тесты показали, что LFM2.5-Encoders превосходят своих конкурентов в точности, сохраняя при этом высокую скорость работы. В частности, LFM2.5-Encoder-350M продемонстрировал точность 92% на бенчмарке BoolQ при обработке контекста в 8 192 токена, что делает его более быстрым и точным, чем аналогичные модели.
Производительность на различных задачах
Команда Liquid AI протестировала энкодеры на ряде реальных приложений, демонстрируя их способность работать как на GPU, так и на CPU:
1. Маскированная диффузия: Модель с энкодером LFM2.5 на CPU генерирует изображения быстрее, чем аналогичные системы на GPU, используя меньшие ресурсы. 2. Определение личной информации (PII): Многоязычная система детекции чувствительных данных показывает высокую эффективность на серверном оборудовании с процессором. 3. Аудит политик безопасности: Проверка документов на соответствие внутренним правилам происходит в два раза быстрее с использованием новых энкодеров. 4. Маршрутизация запросов: Система умно направляет запросы к нужным инструментам с минимальной задержкой, что критично для агентов ИИ. 5. Проверка орфографии: На CPU энкодер исправляет опечатки в английском тексте с высокой точностью, работая локально на компьютере пользователя.
Доступ и цитирование
Модели LFM2.5-Encoders уже доступны для скачивания в реестре Hugging Face под адресами LiquidAI/LFM2.5-Encoder-230M и LiquidAI/LFM2.5-Encoder-350M. Разработчики обещают поддерживать эти модели и обновлять их в будущем. При использовании разработчики просят ссылаться на блог компании.
«Мы стремимся сделать технологии обработки естественного языка доступными для широкого круга задач, не требуя мощной инфраструктуры», — отмечают создатели.
Примеры использования
Для быстрого старта разработчики подготовили демо-версии, где можно выполнить такие задачи, как: * Поиск личных данных в тексте (PII Detection). * Проверка документов на соответствие правилам (Policy Linting). * Определение тематики запроса (Prompt Routing). * Исправление ошибок в тексте (Spellchecker).
Все эти приложения работают локально, не требуя сложной настройки и доступа к облаку.
---
Модели, упомянутые в статье:
* LiquidAI/LFM2.5-230M — Текстовая генерация, 0.2B параметров. * LiquidAI/LFM2.5-350M — Текстовая генерация, 0.4B параметров. * LiquidAI/LFM2.5-Encoder-230M — Заполнение маски (Fill-Mask), 0.2B параметров. * LiquidAI/LFM2.5-Encoder-350M — Заполнение маски (Fill-Mask), 0.4B параметров. * answerdotai/ModernBERT-base — Заполнение маски, 0.1B параметров.
Пространства (Spaces) с примерами:
* Masked Diffusion на CPU. * Многоязычная детекция PII. * Аудит политик безопасности. * Маршрутизация запросов. * Исправление опечаток.
Научные работы:
* *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding* (2018). * *Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference* (2024).
Коллекции:
* *EuroBERT Collection: Scaling Multilingual Encoders for European Languages*.
Команда Liquid AI продолжает развивать эту технологию, чтобы она стала стандартом для задач, где требуется высокая скорость и низкие вычислительные затраты, особенно при работе с большими объёмами текстовой информации.