Голосовой агент, обученный на одном протоколе: как ИИ справляется с новыми правилами сбора долгов

# Обучение голосовых агентов закону: от теоретических правил к практической надежности

Голосовые агенты, основанные на больших языковых моделях (LLM), все чаще берут на себя обработку звонков клиентов. Однако в регулируемых сферах, таких как сбор долгов, простое понимание задачи недостаточно. Агент должен не только решить проблему, но и строго следовать разговорному потоку, установленному законом или внутренними правилами компании. Это включает подтверждение личности должника перед упоминанием долга, идентификацию агента и кредитора, озвучивание суммы и избегание запрещенной лексики. Поскольку каждый кредитор имеет свои уникальные и часто меняющиеся процедуры, возникает вопрос: может ли система, обученная один раз, адаптироваться к новым правилам без повторного масштабного переобучения?

Аппаратная часть регулирования: метод FlowSpec

Для решения этой проблемы исследователи предложили архитектуру, использующую единый машинно-читаемый стандарт, названный FlowSpec. Эта спецификация действует как «машинный оператор» для агента в момент развертывания. FlowSpec генерирует инструкцию по политике, управляет доступом к инструментам, предоставляет надзор за процессом и определяет тесты для проверки корректности. Ключевое ограничение здесь заключается в том, что агент говорит только утверждениями из предварительно одобренного каталога предложений. Такой подход сводит на нет риск генерации нежелательного контента и гарантирует, что каждое слово произнесено в соответствии с предписанным сценарием.

В основе эксперимента лежат данные, полученные на 9-миллиардной параметрической модели. Исследователи использовали 2 506 разговоров, взятых из 297 рандомизированных процедур, для дообучения (fine-tuning) модели. Целью было проверить, способен ли обученный агент перенести свои навыки на четыре совершенно новые процедуры развертывания: три относятся к сбору долгов, одна — к иной сфере. Примечательно, что одна из этих процедур принадлежала к линии данных, которая была полностью скрыта от модели при обучении.

Результаты переноса и точность соблюдения протоколов

Результаты тестирования показали впечатляющую способность модели адаптироваться к новым правилам. До проведения специализированной настройки точность выполнения проверок, которые жестко фиксированы процедурой (документированные проверки), колебалась в диапазоне 67–71%. После применения метода Fine-tuning эти показатели выросли до 93–100%. Проверки, зависящие от контекста разговора (заземленные проверки), изначально проходили успешно на уровне 97–100% еще до обучения, что говорит о высокой базовой способности модели понимать контекст.

Более того, общий показатель успешного прохождения сценария (scenario pass rate) вырос с 15 из 43 попыток до 40 из 43. Это свидетельствует о том, что агент научился выстраивать диалог согласно сложной логической цепочке, требуемой законом, даже не имея прямой тренировочной истории по конкретным новым клиентам.

Аудит и скрытые уязвимости

Несмотря на успехи, исследование не обошлось без критического аудита. Анализ общего стандарта спецификации выявил 11 дефектов в самом методе тестирования или формулировках правил. Тревожным фактом стало то, что собственная метрика оценки системы не смогла обнаружить три из этих十一 дефектов. Это подчеркивает важность внешнего независимого аудита систем на искусственном интеллекте: автоматические метрики успешности могут быть неочевидными для человека и пропускать логические ошибки, которые формально не нарушают заданные условия теста.

В заключение, работа демонстрирует путь к созданию безопасных и регулируемых голосовых интерфейсов. Использование ограниченного словаря и четких спецификаций позволяет преодолеть хаос естественного языка, требуемого в юридических процедурах. Тем не менее, даже при таких строгох ограничениях человеческий надзор и аудит остаются необходимыми для гарантии полной надежности системы.