Алгоритм безопасности: как создатели агрегатора ИБ-новостей научили ИИ отличать реальную угрозу от маркетингового шума

# Как создавался агрегатор ИБ-новостей: склейка сюжетов, семь признаков важности и порог по данным

В мире информационной безопасности информационный шум часто громче, чем сама угроза. Чтобы отфильтровать десятки тысяч материалов и оставить только критически важные новости, инженеры отказались от универсальных языковых моделей в пользу гибридной системы. Вместо того чтобы просить нейросеть «судить о важности», команда внедрила формула из семи признаков, где каждый балл имеет математический смысл, а порог публикации калибруется под реальные последствия атак.

От «глупой» суммаризации к гибридной системе

Идея агрегатора новостей по кибербезопасности зародилась давно: цель была проста — получать самое важное без инфошума. Однако путь к этому был долгим. Первую версию реализовали на модели суммаризации rut5_base_sum_gazeta с расчетом важности через алгоритм textrank. Результат оказался непредсказуемым: модель не понимала специфики отрасли.

Ситуация усугубилась появлением универсальных сервисов подбора лент. Обычно они работают так: либо дают все подряд, либо фокусируются на одной узкой теме. Задача создания идеального агрегатора казалась простой, но практика показала обратное. Первые недели ушли только на настройку порогов. Увеличение порога — канал молчал сутками; снижение — лента наполнялась вебинарами, презентациями продуктов и квадрантами аналитических агентств.

Из этого опыта родилось гибридное решение. Сейчас агрегатор обрабатывает около тысячи материалов в сутки из более чем 200 источников. Только около 0,5% из них доходит до публикации. Решение принимает двухступенчатый отсев: сначала формула отсекает сюжеты ниже порога важности, а затем языковая модель отсекает нерелевантные материалы и пишет итоговый текст.

Почему нельзя просто спросить модель?

На первый взгляд, кажется логичным дать модель полную ленту и спросить: «Что из этого важно?». Такой подход работает до первого вопроса «почему». Ответ нейросети будет непрогнозируемым: два прогона могут дать разные вердикты, а скорректировать поведение можно только переписывая промпты.

Для информационной безопасности критически важно ранжирование, где каждый балл имеет физический смысл и виден в логе. Лог должен объяснять решение: «есть 5 изданий с этой новостью, есть первоисточник, обозначен CVSS 9,8, и уязвимость уже эксплуатируется». При таком устройстве порог калибруется по весам конкретного признака, а не по «чёрному ящику» ИИ.

Семь признаков и борьба с промо

Сжатые новости — это давний стандарт. Почти каждый поисковик предоставляет новости одной строкой. Яндекс.Новости, например, выстраивают вес сообщения из цитируемости, свежести и информативности, собирая аннотацию из фрагментов лучших материалов. Аннотация сюжета собирается из трех лучших сообщений.

В нашем решении используется генеративный пересказ, где модель пишет текст, отсекая лишнее. Главный подход совпадает с проверенными алгоритмами: ранжируется сюжет, склеенный из материалов об одном событии, и оценка считается один раз на этот сюжет.

Система работает на основе формулы из семи признаков. Признаки прибавляют баллы, а штрафы вычитают. Итоговая оценка попадает в одну из пяти полос.

Технические термины

* CVSS (Common Vulnerability Scoring System): стандарт оценки серьезности уязвимостей по шкале от 0 до 10. Высокий балл означает, что последствия эксплуатации будут катастрофическими. * EPSS (Exploit Prediction Scoring System): вероятность того, что уязвимость будет использована злоумышленниками в течение следующих 30 дней, на основе реальных данных об атаках. * KEV (Kill Chain Catalog): каталог CISA, содержащий список уязвимостей, которые уже используются в реальных атаках.

Семь признаков важности

1. Подтверждённость: количество независимых изданий в сюжете. Перепечатки одного и того же материала не считаются. 2. Серьёзность: базируется на CVSS. CVSS > 9 дает полный вес. Однако критически важным является статус «эксплуатируется» — при таком статусе дается полный вес даже при любом CVSS. Атаки, использующие ИИ без описания объекта, получают низкий балл из-за избыточности подобных заголовков. 3. Первоисточник: наличие материала от источника категории primary (CERT, бюллетени вендоров) или оригинальное исследование вендора дают максимальный балл. 4. Близость к читателю: новости российских компаний получают повыше вес, далее идет российский контекст и глобальные тренды. 5. Глубина разбора: наличие анализа «анатомии атаки» или «как устроено». Материал, несущий и то и другое, ценнее вдвойне. Анонсы функций не считаются разбором. 6. Авторитет: лучший тир источника в сюжете (исследователь, аналитик, профильное издание). 7. Скорость: количество публикаций в час. Публикации быстрее одной в час дают полный вес.

Штрафы за саморекламу

Система автоматически штрафует материалы, похожие на промо: вакансии, вебинары, награды, анонсы продуктов («Introducing…»), маркетинговые маркеры («при поддержке», сгенерированные статьи ради призыва к действию в конце) и материалы без четкого источника.

Важное правило: штраф за саморекламу снимается автоматически, как только событие подтверждает второе независимое издание с полезным контекстом. Это позволяет избежать создания бесконечного списка «важных вендоров». Пример: новость об обновлении UI-дашбордов от вендора получит штраф, но если о том же событии напишут профильные издания, статус изменится.

Калибровка порога: математика тишины

Поиск оптимального числа публикаций — ключевой этап настройки. Порог публикации изначально выставили на 55 баллов. За первые сутки в ленту попало два материала, а дальше тишина.

Анализ всего диапазона от 35 до 55 баллов показал четкую границу: * 35–34 балла: сырые бюллетени ICS-CERT и пакеты соответствия регуляторам. Они имеют первоисточник и авторитет, но не несут конкретной угрозы «здесь и сейчас». * 36–39 баллов: зона вендорского промо, например, «Defender изолировал устройство за 128 секунд» или рейтинги компаний. * 40 баллов и выше: реальная угроза. Сюда попадают новости вроде «Citrix NetScaler отдаёт root без пароля» (45 баллов) или подтвержденные эксплуатация уязвимости (63+ баллов).

Порог опущен на 40 баллов, сразу над промо-полосой. Опускать ниже 35 нельзя: туда сразу попадают бюллетени и реклама.

Реестр источников: тиры

В реестре более 220 источников. У каждого есть «тир» (коэффициент бонуса для сюжета): * primary: CERT, каталог KEV, бюллетени вендоров. * research: блоги исследователей. * security: профильные издания. * consulting: аналитические агентства. * eng: инженерные блоги. * industry/corp_ru: корпоративные и индустриальные блоги. * general: деловые СМИ.

Уязвимости: когда балл обманывает

Ежедневно выходят тысячи новостей об уязвимостях. Важно научиться их правильно ранжировать. Для каждой уязвимости в системе учитывается три оценки:

1. CVSS: тяжесть последствий. 2. EPSS: вероятность атаки в ближайшие 30 дней. 3. KEV: наличие в каталоге эксплуатируемых уязвимостей CISA.

Пример: уязвимость CVE-2026-19516 имеет CVSS 9,1 (тяжелые последствия), но EPSS 0,2% и отсутствует в KEV. Это значит, что она маловероятна для использования в ближайшие месяцы. Другой пример — CVE-2026-34486 (Apache Tomcat): CVSS 7,5, но EPSS 98,6% и статус в KEV. Эта уязвимость слабее по баллу, но её используют уже сейчас.

Правило очередности публикаций: 1. Сначала KEV (эксплуатируется). 2. Затем EPSS выше 10% (вероятность высока). 3. CVSS (тяжесть последствий).

Проблемы будущего

Несмотря на успехи, остаются вопросы. Изображения пока выдергиваются примитивно. Если в статье есть иллюстрация, сначала проверяют, что это не абстракция или стоковый коллаж. В будущем модель должна одобрить логотип на фоне или переработать данные в осмысленный график.

Видео контент совсем не собирается и не публикуется, но очевидно, что его стоит включать в ленту. Также отмечается, что в выходные дни порог иногда снижается «костылями», что требует адаптивного подхода в будущем.

Как заявил один из разработчиков, живые результаты работы системы доступны в Telegram-канале, где ежедневно публикуются отфильтрованные сюжеты, прошедшие все проверки на валидность и значимость.

В итоге, создание агрегатора ИБ-новостей стало не просто задачей по сбору данных, а инженерным процессом тонкой настройки баланса между скоростью, точностью и релевантностью. Гибридный подход, сочетающий жесткие правила формулы и гибкость генеративной модели, показал свою эффективность в борьбе с информационным шумом.