От поиска похожего к предсказанию намерений: эволюция рекомендательных систем

# «Вам может это понравиться»: почему рекомендательные системы перестали предлагать похожее

Открывая стриминговый сервис или музыкальный плеер, пользователь редко задумывается о том, как было подобрано следующее произведение. Тем не менее, за экраном скрывается сложная трансформация алгоритмов. Если десятилетия назад логика сервисов сводилась к анализу «подобных», то сегодня инженеры стремятся предугадать намерение человека здесь и сейчас. Об инсайтах из мира Data Science с конференции «Урбан ML» в Москве.

В рамках выступления спикеры компании MWS (бренд МТС, ВТБ и «Тинькофф») разобрали практические кейсы внедрения генеративного ИИ, объяснили, почему вечная проблема «холодного старта» так и не получила окончательного решения и как баланс между качеством и скоростью определяет будущее отрасли.

От коллаборативной фильтрации к прогнозированию действий

Долгое время фундамент рекомендательных систем строился на принципе коллаборативной фильтрации. Алгоритм искал пользователей со схожим профилем и предлагал им товары или контент, который потребляли их «друзья». Логика была проста: если А смотрел фильм Б, то и С, обладающий похожими вкусами, может оценить его. Такой подход, основанный на анализе истории взаимодействий, стал классикой индустрии.

Однако с экспоненциальным ростом объемов данных традиционные методы перестали справляться. Знаний о прошлых предпочтениях оказалось недостаточно для качественной персонализации в условиях, когда интересы пользователя могут меняться мгновенно, а контекст (время, устройство, локация) играет решающую роль.

Согласно выступлению Данилы Бугриенко, ведущего инженера по машинному обучению в MWS, отрасль перешла на качественно новый уровень. Разработчики меньше интересуются тем, *что именно* нравится пользователю в глобальном смысле, и больше сосредоточились на *вероятности конкретного действия*.

Системы теперь прогнозируют ближайшие шаги человека: откроет ли он карточку товара, перейдет к описанию, запустит видео или оформит заказ. Вместо жесткой привязки к статичным интересам создается модель гибкого поведения, где оценивается множество небольших вероятностей. Эти локальные прогнозы затем объединяются для оптимизации бизнес-показателей высшего уровня: удержания аудитории, вовлеченности и общей удовлетворенности сервисом.

Проблема «холодного старта» остается неразрешенной

Несмотря на прогресс в области искусственного интеллекта, одна из древнейших проблем рекомендательных систем — «холодный старт» — сохраняется. Она возникает в двух случаях: когда новый пользователь еще не оставил цифрового следа, или когда появился новый товар без истории взаимодействий.

Данил Бугриенко отметил, что универсального решения для этой дилеммы не существует. Однако современные платформы используют два ключевых подхода для минимизации проблемы:

1. Анализ входов в форму. Сервисы могут предлагать товары, релевантные тем полям, которые пользователь уже заполнил (например, регион доставки или тип контента). Даже частичные данные позволяют сократить круг поиска. 2. Синтез рекомендаций. При нехватке данных системы используют предписания от экспертов и контентные алгоритмы. Например, если нет данных о новом фильме, но известно, что он снят режиссером, чьи работы нравятся конкретному зрителю, система выдаст этот фильм как потенциально подходящий.

Эти методы позволяют сократить время работы пользователя в поиске нужного контента, даже если полноценного профиля еще не сформировано.

LLM как инструмент: от обхода к интеграции

Одним из главных трендов конференции стало обсуждение роли больших языковых моделей (LLM). В отличие от традиционных ML-моделей, которые обучаются на цифровых метаданных, LLM работают с текстовыми описаниями, что открывает новые возможности для понимания контекста.

Эксперты выделили три основных сценария использования LLM в рекомендательных системах:

* Обогащение признаков (оффлайн). Самый распространенный и экономически эффективный кейс. LLM анализируют длинные текстовые описания товаров или контента и сжимают их в компактные эмбеддинги или теги. Это позволяет классическим моделям быстрее и точнее работать с структурированными данными, не перегружая их исходным объемом текста. * Генерация кандидатов (оффлайн). Здесь LLM могут решать задачу холодного старта. Модель, обученная на текстовых описаниях, способна предложить новый товар или фильм, просто поняв его суть и контекст запроса пользователя, даже если у него еще нет истории просмотров. * Конверсационные сценарии (онлайн). Наиболее сложный, но перспективный вариант. Вместо пассивной выдачи списков система вступает в диалог. LLM выступает в роли агента, задавая уточняющие вопросы, переформулируя запрос и уточняя контекст, что значительно повышает релевантность выдачи.

На практике в MWS для реализации такого диалогового интерфейса выбрали модель Gemma. По словам Сергея Кузнецова, она немного уступает по качеству другим лидерам рынка, но ее низкая стоимость и высокая скорость обработки запросов (RPS) позволили увеличить пропускную способность системы. Это яркий пример осознанного компромисса, когда технические ограничения перекрываются экономическими выгодами.

Экономика безопасности: когда красивый код не всегда выгоден

Интеграция генеративных моделей в критически важные сервисы несет в себе серьезные риски. Эксперты отметили, что «выглядеть хорошо на презентации» часто отличается от «отдавать деньги в бизнесе». Точное прогнозирование поведения пользователя в рамках стандартизированных сценариев является рутинной задачей для современных алгоритмов.

Главная проблема LLM кроется в безопасности и надежности. Модели могут генерировать нежелательные ответы, что становится критичным при работе с персональными данными или коммерческими предложениями. Разработчикам приходится внедрять дополнительные защитные механизмы на ранних стадиях, чтобы предотвратить возникновение абсурдных или небезопасных ситуаций.

В то же время, для LLM экономика редко сходится сразу. Инвестиции требуют «прыжка веры» в то, что со временем стоимость обработки запросов снизится благодаря масштабированию и развитию технологий.

Какие метрики определяют успех?

Хотя каждый сервис имеет свои KPI, эксперты выделили несколько универсальных показателей эффективности:

1. Возвращаемость (Retention). Ключевая бизнес-метрика, показывающая, насколько часто пользователи возвращаются в сервис. Сложность работы с ней заключается в том, что трудно напрямую связать изменения алгоритма с изменением retention. 2. Коэффициент ежедневной активности (Stickiness Factor). Рассчитывается как отношение ежедневной аудитории к месячной. Высокий показатель свидетельствует о сильной привязке пользователя к платформе. 3. Уменьшение обращений в техподдержку. Качественные рекомендации позволяют пользователю находить нужное самостоятельно, снижая нагрузку на поддержку и повышая лояльность. 4. Экономика (Деньги). В конечном счете, все сводится к окупаемости. Продукты рассчитывают LTV (пожизненную ценность клиента) и оценивают, сколько средств приносит каждый привлеченный пользователь, учитывая стоимость внедрения новых моделей.

Перспективы: от точности к эмпатии

Главный вывод спикеров заключается в том, что следующий этап развития рекомендательных систем будет оцениваться не по точности предсказания «похожих товаров», а по способности понимать намерения пользователя и помогать достигать целей здесь и сейчас.

Российские компании, в том числе MWS, находятся в авангарде этих изменений. Они строят собственные платформы, экспериментируют с LLM и ищут разумные компромиссы между качеством моделей, скоростью ответа, стоимостью инфраструктуры и надежностью сервиса. Судя по всему, это только начало новой эры персонализированного опыта в цифровых сервисах.