Пьеса про дежурство с AIOps-агентом: как ИИ склеивает шум, но человек держит руль
Внедрение агента искусственного интеллекта (AIOps) для мониторинга инфраструктуры обещает снять нагрузку с дежурных инженеров. Однако, как показывает практика в компании «Лукоморье», алгоритмы превосходно справляются с рутинным анализом логов и корреляцией алертов, но окончательное решение о действиях, особенно в критических ситуациях, всегда остается за человеком.
# Пьеса про дежурство с AIOps-агентом: как ИИ склеивает шум, но человек держит руль
В современной IT-инфраструктуре мониторинг превратился в проблему избыточного количества данных. Дежурные инженеры часто сталкиваются с ситуацией, когда сотни системных предупреждений (алертов) всплывают одновременно, создавая информационный шум, который затрудняет поиск реальной причины сбоя. Компания «Лукоморье» (Лукоморье IT-компании) провела эксперимент, разыграв неделю работы с AIOps-агентом в формате пьесы. Эксперимент показал, что ИИ способен эффективно снижать время реакции и фильтровать данные, но окончательное принятие решений, особенно связанных с рисками, должно оставаться за человеком.
От массовки к единственному инциденту: работа алгоритмов
Основная задача AIOps-агента в этом эксперименте заключалась в преобразовании хаотичного потока сигналов в структурированную информацию. Если классический пороговый мониторинг срабатывает просто при превышении значения параметра (например, загрузка CPU выше 80%), то AIOps учитывает контекст и историю системы.
Экспериментальные данные показали поразительную эффективность такого подхода. За три недели наблюдения среднее время восстановления (MTTR) сократилось с 47 до 12 минут. При этом количество ложных срабатываний, называемых «шумовыми алертами», уменьшилось на 73%. Вместо того чтобы дежурный инженер тратил часы на разбор 340 отдельных уведомлений о сбое одной сетевой ноды, агент автоматически группирует эти сигналы в один инцидент. Это позволяет быстро сузить круг подозреваемых и предоставить инженеру факты для проверки гипотезы, а не просто сырые цифры.
Как анализируется сложная картина
Для выявления причин сбоев агент использует данные из пяти различных источников, объединяя их в единую картину происшествия:
* Метрики: Мониторинг состояния системы (CPU, память, время ответа, очередь запросов). Они показывают, что сервис замедлился, но не объясняют причину. АИОps сопоставляет текущее поведение с динамической моделью нормального состояния, обученной на истории за 7–14 дней, чтобы отличить реаномалию от пиковой нагрузки. * Логи: Бортовые журналы, содержащие миллионы записей в сутки. Агент фильтрует их, извлекая ключевые сообщения об ошибках. * Трассировки: Данные, восстанавливающие маршрут запроса через все сервисы (сайт, корзина, платежный шлюз, база данных). Это позволяет увидеть, где именно запрос застрял. * История изменений: Информация о выпусках версий и изменениях конфигурации, которая часто коррелирует с инцидентами. * Обращения клиентов: Жалобы пользователей могут стать первым сигналом проблемы, иногда раньше того, чем она зафиксируется в автоматизированных системах.
Агент анализирует эти данные, предлагая наиболее вероятные версии причин сбоя. Например, он может выдвинуть три гипотезы: перегрузка платёжного шлюза, деградация соединения с базой данных или зависание процесса на отдельной ноде. Инженер же проверяет эти версии и принимает решение.
Ограничения ИИ и важность человеческого опыта
В ходе эксперимента была выявлена критическая уязвимость полностью автоматизированных систем анализа: зависимость от качества входных данных (принцип «mусор на входе — мусор на выходе»). Если схема связей между компонентами устарела или ключевые данные потеряны, выводы ИИ могут быть убедительными, но неверными.
Особый случай произошел в четверг, когда агент заметил аномалии в работе платёжного сервиса и рекомендовал расширить кластер до 6 нод, прогнозируя перегрузку. Анализ показал 87% вероятность сбоя и потенциальные потери в 2,3 млн рублей. Однако дежурный инженер, Алексей, отклонил эту рекомендацию. Оказалось, что проблема была вызвана не аппаратной нагрузкой, а неоптимальным запросом, который проявлялся только при специфическом профиле конкурентных записей. Масштабирование инфраструктуры не решило бы эту проблему, но могло бы усугубить ситуацию из-за увеличения числа блокировок. Кроме того, модель агента не имела в своей обучающей выборке данных о прошлогодней аналогичной распродаже, так как охватывала только последние 90 дней. Этот пример подчеркивает, что человеческий опыт и понимание общей бизнес-картины незаменимы при принятии стратегических решений.
Безопасность и право на отмену
Финальная сцена эксперимента продемонстрировала этические и технические границы автономности ИИ. Когда возникла проблема с зависшим приложением на ночном дежурстве, агент предложил выполнить перезапуск. Риск операции оценивался как низкий, и система уже подготовила черновик отчета и уведомления для стейкхолдеров.
Однако дежурный инженер отказался от автоматического действия. Анализ трассировок показал, что в момент сбоя приложение обслуживало активные операции клиентов. Перезапуск в этот момент мог бы оборвать эти операции и обрушить нагрузку на соседние компоненты. Инженер выбрал безопасную стратегию: вывод ноды из балансировки нагрузки, ожидание завершения активных процессов и ручной перезапуск. После инцидента команда скорректировала правила агента: операции высокого риска, такие как перезапуск в условиях активности, теперь требуют обязательного подтверждения человека.
Выводы
AIOps-агент доказал свою эффективность как мощный инструмент поддержки принятия решений. Он берет на себя рутинную работу: фильтрацию алертов, первичную диагностику, сбор логов и написание отчетов. Это освобождает инженеров для решения сложных задач, требующих понимания контекста и ответственности.
Однако ключевой принцип, заложенный в проект: последнее слово всегда остается за человеком. АИОps может предложить решение, но не может нести ответственность за его последствия в полной системе, особенно когда речь идет о безопасности данных и непрерывности бизнеса. Как отметил автор материала, Денис Романов, дирекция центра развития ИИ-продуктов «Лукоморье», красивые дашборды и автоматические отчеты не должны подменять собой реальную ценность продукта для пользователя — надежной и быстрой работы сервиса.
Эксперимент «Лукоморья» показывает перспективный путь внедрения ИИ в IT-инфраструктуру: не как замена человеку, а как его «цифровой напарник», который дает рекомендации, но не забирает управление.