HolmesGPT в Kubernetes: как AI-агент стал первым ответчиком на инциденты SRE
Команда разработчиков внедрила open-source SRE-агента HolmesGPT в шесть кластеров Kubernetes на трёх проектах. Решение сократило время первичного расследования инцидентов до четырёх минут, предоставив дежурным готовые гипотезы сразу после срабатывания алерта. Для автоматизации интеграции с Alertmanager был создан собственный шлюз — holmes-alert-bridge.
# Внедрение HolmesGPT: опыт работы SRE-агента с алертами
Системы мониторинга генерируют множество сигналов, но большинство из них приходят без контекста. Фраза «Pod перезапускается» или «очередь переполнена» заставляет дежурного тратить первые минуты на поиск логов и дашбордов. Команда, работающая с инструментом HolmesGPT, решила делегировать эту рутину искусственному интеллекту.
В их эксперименте AI-агент интегрировался в работу с алертами в шести кластерах Kubernetes. Результат: через несколько минут после возникновения проблемы в чат оператора приходит структурированный разбор с гипотезой о причине сбоя. Это позволяет перейти от сбора данных к принятию решения практически мгновенно.
Проблематика «слепых» алертов и создание шлюза
HolmesGPT — это открытый агент (проект CNCF Sandbox), созданный командой Robusta.dev. Его способность анализировать метрики, логи и состояние кластера делает его мощным инструментом для SRE. Однако в стандартной открытой версии отсутствует прямая интеграция с Alertmanager для автоматического запуска расследований по входящим вебхукам.
Чтобы автоматизировать процесс, разработчики написали и открыли собственный инструмент — holmes-alert-bridge. Этот сервис выступает посредником между Alertmanager и агентом. Его задача — принять сигнал, отсеять лишнее и передать запрос агенту с необходимым контекстом. Ответ от HolmesGPT возвращается в тот же чат, где originated оповещение.
Процесс внедрения позволил сократить время реакции. В среднем от момента срабатывания алерта до получения детального отчёта с гипотезой проходит около четырёх минут. При этом сам агент работает только в режиме чтения: он формулирует версии событий, но не выполняет автоматических исправлений (auto-healing), оставляя финальные действия за человеком.
По итогам первого месяца внедрения стало ясно, что гипотеза, предложенная ИИ, оказывается верной в 90–95% случаев. Хотя системная проверка всех случаев пока не проводилась, оценка дежурных однозначна: агент существенно уменьшает нагрузку на людей, снимая необходимость начинать расследование с нуля.
Экономика анализа и выбор модели
Одним из неожиданных побочных эффектов внедрения стало прозрачное ценообразование на алерты. Каждый разбор теперь имеет свою стоимость, что заставляет команду пересматривать подход к настройке правил. Если повторяющийся ложный срабатывание продолжает обходиться дорого, его гораздо проще устранить системно, чем игнорировать.
Для выбора оптимальной модели ИИ было проведено тестирование восьми кандидатов. В эксперименте участвовали модели от Qwen до Gemini и DeepSeek. Критериями служили цена, стабильность и качество анализа.
Выиграла модель DeepSeek V4.1 Flash. Она продемонстрировала наилучший баланс: 16 прогонов тестов без единого сбоя и верный ответ во всех случаях. Хотя её цена за запрос выше, чем у самых дешёвых аналогов, надёжность и стабильность выкупают разницу. В некоторых сценариях, особенно с малым объёмом алертов, использование более дорогих моделей (например, Claude Sonnet 5) экономически оправдано за счёт меньшего количества вызовов.
Стоимость разбора варьируется от нескольких рублей до десятков центов, в зависимости от модели и объема контекста. Основной объём данных при расследовании — это историческая информация о состоянии системы, которую модель считывает из кэша, что удешевляет каждый отдельный шаг анализа.
Риски безопасности и архитектура
Агент HolmesGPT имеет доступ к логам, метрикам и конфигурациям кластера. Это открывает путь к конфиденциальным данным, если они неочищены. Перед подключением ИИ необходимо провести аудит логов на предмет токенов, паролей и персональных данных.
Кроме того, критически важно обеспечить политику "Zero Data Retention" (отсутствие хранения данных). При использовании внешних API (через OpenRouter или других провайдеров) нужно убедиться, что провайдер не сохраняет запросы и ответы. В настройках HolmesGPT это можно реализовать через специальный параметр запроса, который сигнализирует модели о необходимости соблюдения конфиденциальности.
Архитектура внедрения включает ограничение количества запросов (троттлинг) в сервисе-шлюзе. Это защищает от неконтролируемого роста расходов в случае массовых ложных срабатываний алертов. По умолчанию ограничено до двух расследований в час на алерт.
Внедрение показывает, что AI-агенты могут стать эффективным дополнением к инструментам мониторинга, делая работу SRE быстрее и более предсказуемой, при условии строгого контроля за безопасностью данных и экономической эффективностью используемых моделей.
*Время и точность — главные ресурсы дежурного. HolmesGPT помогает тратить их только там, где это действительно необходимо, предлагая обоснованные версии проблем вместо слепых догадок.*