Живые агенты на вашем устройстве: как LFM2.5-24B-A2B делает инференс быстрым и приватным
В мире искусственного интеллекта возникает напряжение между мощью облачных вычислений и необходимостью приватности локальных решений. LiquidAI представляет модель LFM2.5-24B-A2B — результат масштабирования архитектуры экспертных смесей (MoE) для создания агентов, способных к многошаговому мышлению, но требующих лишь малой доли ресурсов при генерации каждого токена. Эта статья рассматривает архитектуру модели, её результаты в бенчмарках по сравнению с конкурентами и возможности внедрения в существующие экосистемы агентного кодинга.
# Лёгкие агенты: LFM2.5-24B-A2B на грани возможностей железа
Компания LiquidAI представила новую версию своей модели, LFM2.5-24B-A2B, созданную с одной главной целью: обеспечить выполнение сложных агентных задач непосредственно на локальном оборудовании пользователя. В отличие от предыдущих моделей, ориентированных на широкий спектр задач, эта версия сфокусирована исключительно на логике и цепочках рассуждений (reasoning-only). Ключевая особенность архитектуры заключается в использовании механизма MoE (Mixture of Experts), где из 24 миллиардов общих параметров в процесс генерации каждого токена включается лишь около 2 миллиардов активных.
*«Поскольку только 2 миллиарда параметров активны на каждый токен, каждый токен рассуждений становится дешевым, что позволяет запускать агентов непрерывно на собственном оборудовании»* — отмечается в блоге разработчиков.
Такой подход позволяет модели конкурировать по эффективности с моделями значительно большего размера, предлагая при этом скорость инференса, необходимую для интерактивного взаимодействия, и полную независимость от внешних API.
Архитектура и эволюция: от контекста к агентству
Модель LFM2.5-24B-A2B базируется на архитектуре предшественницы LFM2-24B-A2B, сохраняя узнаваемую структуру из 40 слоев и 64 экспертов в каждом блоке MoE. Однако обновления привнесли значительные изменения в обработку данных. Размер контекстного окна увеличен с 32 тысяч до 131 тысяч токенов, а словарь токенизера расширен с 65 тыс. до 128 тыс. благодаря встраиваемому расширению токенизатора. Это критически важно для работы с нестандартными алфавитами и длинными документами.
Самым заметным изменением стала трансформация модели в специализированного агента. В процессе обучения было реализовано пять стадий, превращающих базовую нейросеть в инструмент, способный планировать действия:
1. SFT (Fine-tuning): Первоначальная настройка на диалоги. 2. Specialization: Углубленная специализация в конкретных навыках. 3. MOPD (Multi-domain On-policy Distillation, non-agentic): Передача знаний от «учителей»-специалистов по неагентским задачам. 4. MOPD (agentic): Вторая фаза дистилляции, фокусирующаяся на агентских способностях. 5. Agentic RL (Reinforcement Learning): Обучение модели внутри симуляторов агентных сред, таких как OpenClaw, Hermes Agent и Pi.
Система предобучения была масштабирована с 17 триллионов до 33 триллионов токенов. Дополнительные этапы обучения включали 2 триллиона токенов на 32K контексте (с акцентом на математику, код и инструкции) и 300 миллиардов токенов на контексте 131K (данные длинного контекста). Инструментальные вызовы и многоходовые траектории появлялись на всех этапах.
Термин для понимания: *MoE (Mixture of Experts)* — это архитектура, где модель состоит из множества «экспертов» (подсетей). Для ответа на вопрос активируется лишь небольшая часть этих экспертов, что делает вычисление быстрее и менее затратным по памяти, чем в плотных моделях, где активны все параметры.
Результаты тестирования: скорость против объема
Для оценки эффективности разработчики провели сравнительный анализ LFM2.5-24B-A2B с моделями Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning. Несмотря на то, что LFM2.5-24B-A2B является наименьшей в этой группе (имея примерно на 50% меньше активных параметров, чем Qwen3.6), она демонстрирует превосходные результаты в задачах использования инструментов (tool-use) и выполнения инструкций.
На бенчмарке LiveClaw, оценивающем способность агента к автономным действиям, модель LiquidAI набрала 48,09 балла, опередив Qwen3.6, получившего 38,19. В категории AutomationBench разница еще более существенна: 27,69 против 8,72 у ближайшего конкурента.
| Бенчмарк | LFM2.5-24B-A2B | Qwen3.6-35B-A3B | Gemma-4-26B-A4B-it | Nemotron-3.5-Lightning | | :--- | :--- | :--- | :--- | :--- | | AutomationBench | 27.69 | 8.72 | 5.46 | 2.61 | | BFCLv4 | 65.01 | 65.00 | 57.09 | 53.78 | | ToolSandbox | 80.71 | 75.02 | 72.09 | 75.13 | | LiveClaw | 48.09 | 38.19 | 41.25 | 37.72 | | SWE-Bench Verified | 51.00 | 66.20 | 25.80 | 53.40 |
Сильные стороны модели очевидны: она лидирует или сопоставима по результатам в пяти из восьми бенчмарков инструментального использования и во всех трех тестах на следование инструкциям (IFEval, IFBench, Multi-IF). Однако, как и ожидалось от модели меньшего размера, она уступает более крупным аналогам в задачах, требующих глубоких фактологических знаний (GPQA Diamond, HLE) или сложного программирования (SWE-Bench, SciCode). Разработчики честно отмечают, что для таких задач модель следует парировать системами поиска или веб-поиска.
Производительность: скорость на CPU и GPU
Скорость вывода является критическим параметром для локальных агентов. LFM2.5-24B-A2B демонстрирует лучшие показатели среди сравниваемых MoE-моделей. На процессоре Apple M5 Max модель генерирует 184 токена в секунду, а на Ryzen AI Max+ 395 — 114 токенов в секунду. Это на 1,7 раза быстрее следующего лучшего результата при меньшем потреблении памяти.
В сегменте высокопроизводительных GPU модель показывает феноменальную скорость: на одной видеокарте NVIDIA B300 она достигает 21 000 токенов в секунду при высокой конценуренции вычислений. Такая производительность обеспечивается за счет нативной поддержки популярных фреймворков инференса, включая llama.cpp, MLX, vLLM, SGLang и ONNX.
Внедрение: как запустить агента на своем ПК
Команда LiquidAI предоставляет готовое решение для интеграции модели в различные экосистемы агентного кодинга. Модель доступна в открытой конфигурации на платформе Hugging Face. Для работы требуется установить версии библиотеки transformers не ниже 5.0.0.
Базовый пример запуска через Python предполагает использование стандартного API трансформеров с поддержкой потоковой передачи (streaming), что обеспечивает интерактивность ответа:
```python from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_id = "LiquidAI/LFM2.5-24B-A2B" model = AutoModelForCausalLM.from_pretrained( model_id, device_map="auto", dtype="bfloat16" ) tokenizer = AutoTokenizer.from_pretrained(model_id) streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
prompt = "What is C. elegans?" # ... подготовка input_ids ... output = model.generate(input_ids, streamer=streamer, do_sample=True, ...) ```
Для работы внутри полноценных агентных фреймворков, таких как Hermes Agent, модель можно развернуть локально через любой OpenAI-совместимый бэкенд (llama.cpp, MLX, vLLM, SGLang, LM Studio). В зависимости от выбранного движка порты могут варьироваться (например, 8080 для llama.cpp или 8000 для vLLM). Конфигурация в Hermes Agent требует указания базового URL, контекстного окна в 131072 токена и включения принудительного использования инструментов (tool_use_enforcement).
Таким образом, LFM2.5-24B-A2B представляет собой баланс между компактностью, интеллектуальной способностью планировать действия и производительностью, делающий локальные агенты реальностью для разработчиков, ценящих приватность и скорость.