CMF: решение для мгновенного классифицирования задач без генерации текста
В мире искусственного интеллекта, где доминируют генеративные модели, создающие длинные текстовые ответы, появилась альтернатива, ориентированная на скорость и точность. Новая модель CMF Decision способна принимать верифицированные решения за миллисекунды, определяя категорию запроса, пока конкуренты все еще ищут слова в лексиконе.
# CMF: решение за миллисекунды без генерации токенов
В эпоху повсеместного внедрения больших языковых моделей (LLM) индустрия часто фокусируется на способности ИИ генерировать творческий текст или сложные диалоги. Однако существует огромный пласт задач в бизнес-процессах и поддержке пользователей, где требуется не поэтичное изложение мыслей, а мгновенный и однозначный выбор: «Это жалоба на доставку» или «Заявка на отмену подписки».
Над созданием таких инструментов работает проект Cortiq, представленный автором статьи в сообществе Habr. Центральным элементом является модель CMF (Content Modulation Field). Её ключевая особенность — способность определять класс запроса, отказываться от неуверенных ответов и передавать сложные случаи внешним моделям (оракулам) для обучения, без необходимости генерации текстовых токенов.
Архитектура, основанная на резонансе
Традиционные подходы к классификации часто предполагают использование энкодера для перевода текста в вектор, который затем проходит через предсказательную сеть. В модели CMF используется принципиально иной метод, названный автором «резонанс routing».
Вместо поиска номера правильного класса, модель пытается восстановить исходный вектор-признак. В файле формата .cmf хранятся не просто нейросети, а набор обученных топологий. Каждая из них представляет собой средний вектор класса и набор направлений в пространстве признаков.
Когда поступает новый запрос: 1. Текст превращается в вектор признаков. 2. Каждая топология пытается реконструировать этот вектор. 3. Побеждает та топология, которая дает наименьшую ошибку реконструкции.
Этот принцип позволяет не переобучать весь энкодер при добавлении нового навыка. Можно добавить новые примеры только для нужной категории, что значительно упрощает поддержку модели и делает её гибкой. Весь пакет данных — веса, токенизатор, описания навыков и правила принятия решений — упакован в один файл, гарантируя согласованность версий.
Технические термины: что такое «резонанс»?
В данном контексте «резонанс» — это метафора физического согласования. Представьте, что разные задачи (классы) — это разные частоты вибрации в пространстве данных. Модель «подстраивает» входной сигнал под известные частоты. Если сигнал точно совпадает с одной из частот, ошибка реконструкции стремится к нулю. Это означает высокую уверенность. Если же сигнал не находит совпадений с известными паттернами, модель может либо отказаться от ответа, либо направить запрос к «оракулу» — внешней нейросети (например, LLM), которая поможет разобраться в проблеме.
Сравнительный анализ: CMF против Jev и Laya
Основным конкурентом, с которым сравнивают CMF, является модель Jev от компании Typesafe, также направленная на типизированные решения. Автор провел тщательные тесты на трех наборах открытых данных: банковские обращения (BANKING77), намерения пользователей (CLINC150) и команды для ассистентов (MASSIVE).
Результаты тестов показали высокую эффективность CMF Decision: * BANKING77: Точность составила 93,34%, что на 7,76 процентных пункта выше, чем у Jev (85,58%). * CLINC150: Результаты сопоставимы, с небольшим перевесом в пользу Jev (96,76% против 96,18% для CMF). * MASSIVE: Модель CMF показала 86,15%, что примерно на уровне Jev (85,78%).
Интересно отметить разницу в работе с локальными моделями. При тесте на чипе Apple M4 модель CMF достигла 93,34% точности за 3,10 мс. В сравнении с ней базовая модель Laya, которая должна была прочитать все 77 вариантов меток каждый раз заново, показала лишь 35,65% точности и потребовала более 900 мс на решение. Это демонстрирует главное преимущество CMF: навык уже «выучен» и зашит в файл, что позволяет мгновенно применять его без повторного анализа огромного списка кандидатов.
Производительность на оборудовании
Одной из целей проекта является оптимизация для локальных устройств и серверов. Автор провел стресс-тесты на различных конфигурациях, включая процессоры Xeon и новейшие видеокарты.
На мощной видеокарте RTX PRO 4000 Blackwell (архитектура Blackwell) в непрерывной серии модель демонстрирует впечатляющую скорость: * Медианная задержка составляет 1,10–1,24 миллисекунды.
Для сравнения: тот же локальный путь на обычном процессоре Xeon занял бы в 14–20 раз больше времени. Важно отметить, что эти показатели достигнуты при полном переносе вычислений на GPU без генерации текста.
Также были проведены тесты на Apple Silicon (M4). Здесь медианное время упало с 2,28–2,58 мс (на CPU) до 2,18–2,41 мс (на GPU Metal). Хотя разрыв меньше, чем на профессиональных серверах, он показывает, что модель оптимизирована и для потребительского железа, включая мобильные устройства, где задержка может составлять около 20 мс.
Однако есть нюанс: стабильность работы GPU зависит от нагрузки. Паузы между запросами или перегрузка системы могут вызывать просадки частот памяти, что увеличит задержку. Поэтому для критичных систем рекомендуется проверять не только медианное время, но и распределение пиковых значений.
Практическое применение и обучение
Модель CMF Decision доступна в виде готового файла с тремя предустановленными навыками: BANKING77, CLINC150 и MASSIVE. Но её главное преимущество — возможность расширения.
Пользователь может добавить собственный навык, используя инструмент cortiq decision add-skill. Для этого требуются: 1. Файл с обучающими примерами (train.jsonl), где каждая строка содержит текст и соответствующую метку. 2. Файл с вопросами (question.json), описывающий инструкции и критерии для классификатора.
Процесс обучения происходит без необходимости переписывать основной энкодер. Новая топология добавляется к существующим, и файл обновляется, сохраняя предыдущие навыки.
Для работы с неизвестными случаями модель интегрируется с API и поддерживает подключение к внешним оракулам (например, через OpenRouter). Если запрос не соответствует ни одному из известных паттернов с высоким порогом уверенности, система может передать его LLM для анализа, а затем использовать полученный ответ для дообучения локальной модели.
Вывод
CMF Decision представляет собой важный шаг в развитии прикладного ИИ, смещая фокус с генерации контента на мгновенную категоризацию и маршрутизацию. С задержкой в 1,2 миллисекунды на серверах Blackwell и возможностью легкой интеграции через CLI или HTTP API, эта модель решает конкретные задачи бизнеса: фильтрацию заявок, распределение задач операторам и быструю сортировку обращений пользователей.
В то время как большие языковые модели учатся писать стихи и ковать стратегии, решения типа CMF обеспечивают стабильный каркас для автоматизации рутинных операций, заставляя генеративные модели заниматься тем, что им действительно хорошо — обработкой исключительных и нестандартных ситуаций.