Искусственный интеллект · Бототрафик · Интернет-маркетинг · Кибербезопасность · Парсинг · Генеративный ИИ8 сентября в 05:09 · 6 мин

Боты превысили людей в интернете: статистика перехода к «мертвому» вебу

По данным последних исследований, в 2024 году автоматизированный трафик впервые за десятилетие уверенно перешагнул порог в 50%, заняв более половины всех запросов в сети. Если к 2025–2026 годам эта тенденция сохранится, доля человеческого взаимодействия может упасть до 47%. Эксперты обсуждают риски появления «мертвого интернета», синтетического контента и новой инфраструктуры для разделения пользователей и алгоритмов.

# Боты превысили людей в интернете: статистика перехода к «мертвому» вебу

Идея «мертвого интернета» не нова: первые робкие предположения о будущем, где машинный шум заглушит человеческий голос, звучали ещё в 2014 году. Однако с появлением генеративного ИИ и доступности инструментов автоматизации этот сценарий из теории заговора стал объективной статистикой. По последним данным, роботы теперь не просто участвуют в жизни сети, но и доминируют в её инфраструктуре.

В этой статье мы разберем, как менялась пропорция человеческого и ботового трафика за последние 13 лет, что такое «серые» боты и агенты, и с какими вызовами столкнется бизнес и пользователи в ближайшее время.

Эволюция трафика: от смартфонов к нейросетям

Анализ данных за период с 2013 по 2024 год показывает сложную картину развития цифровой парадигмы. Спиктор ботового трафика в середине 2010-х был вызван естественными потребностями поисковых систем в индексации растущего массива контента. Всплеск «хороших» ботов в 2014 году был необходим для структурирования информации.

После этого бототрафик уступил лидерство людям. Основной причиной стала массовая смартфонизация и развитие сетей 4G/LTE. Приток сотен миллионов новых пользователей из Азии (Китай, Индия, Индонезия) создал иллюзию человеческого большинства. В это время доля вредоносных ботов оставалась низкой, так как автоматизация требовала специальных знаний программирования, которых у большинства пользователей не было.

Переломный момент настал во время пандемии (2019–2020). Вынужденный переход бизнеса в онлайн спровоцировал бум автоматизации. Компании стали активно использовать инструменты для аналитики и парсинга данных конкурентов. С 2020 по 2023 год наблюдалось постепенное снижение доли людей и рост вредоносных ботов, при этом количество «хороших» ботов оставалось стабильным.

Данные статистики (2013–2024)

| Год | Человеческий трафик (%) | Общий бототрафик (%) | Хорошие боты (%) | Вредоносные боты (%) | | :--- | :--- | :--- | :--- | :--- | | 2013 | 57.00 | 43.00 | 19.40 | 23.60 | | 2014 | 40.90 | 59.10 | 36.30 | 22.80 | | 2015 | 54.40 | 45.60 | 27.00 | 18.60 | | 2016 | 61.30 | 38.70 | 18.80 | 19.90 | | 2017 | 57.80 | 42.20 | 20.40 | 21.80 | | 2018 | 62.10 | 37.90 | 17.50 | 20.40 | | 2019 | 62.80 | 37.20 | 13.10 | 24.10 | | 2020 | 59.20 | 40.80 | 15.20 | 25.60 | | 2021 | 57.70 | 42.30 | 14.60 | 27.70 | | 2022 | 52.60 | 47.50 | 17.30 | 30.20 | | 2023 | 50.40 | 49.60 | 17.60 | 32.00 | | 2024 | 49.00 | 51.00 | 17.60 | 33.40 |

*Примечание: Данные за 2024 год являются оценочными, основанными на трендах и исследованиях компаний Imperva, Cloudflare и Akamai.*

Эра генеративного ИИ и появление «серых» агентов

2023–2024 годы стали точкой невозврата. Развитие нейросетей позволило любому пользователю («вайбкодеру») создавать сложные скрипты и парсеры за считанные часы. Барьер входа в мир автоматизации упал до нуля.

Доля автоматизированного трафика впервые за 10 лет превысила 50% и продолжает расти. Ключевую роль здесь играют так называемые «серые» боты: ИИ-агенты и нейротрафик.

1. ИИ-краулеры: Роботы, которые используются поисковыми системами и платформами для обобщения информации. Они составляют около 85% нейротрафика. Их цель — наполнение баз данных и индексация. 2. ИИ-агенты: Автономные помощники, способные сравнивать цены, читать документацию, бронировать отели или покупать билеты без участия человека.

Хотя ИИ-агенты пока составляют лишь около 15% от всего нейротрафика, их темпы роста колоссальны (7% прирост в год). Эти инструменты работают по принципу «личного помощника» для каждого пользователя, а не только для корпораций.

По данным Akamai, среди всех запросов 49,3% исходят от людей, тогда как 42,1% — от ботов, из которых 65,3% являются вредоносным парсингом. Облачные сервисы вроде Cloudflare указывают на то, что 87% автоматизированного трафика генерируется десктопными скриптами.

Риски для бизнеса: инфраструктурный налог и дилемма защиты

Рост ботового трафика несет скрытые издержки для владельцев ресурсов, известные как «инфраструктурный налог». Серверные мощности должны обрабатывать огромный объем запросов, которые никогда не приведут к покупке товара или услуги.

На примере небольшого интернет-магазина: если трафик вырос с 200 до 5000 посетителей в день, владельцу приходится платить за более мощное оборудование и дорогое хостинг-место. Однако большую часть этой нагрузки создают боты, которые ничего не покупают. Для крупных платформ с миллионным трафиком такой «налог» может составлять тысячи долларов в месяц.

Это создает сложную дилемму безопасности: * Блокировка ботов: Традиционные методы защиты (CAPTCHA) становятся неэффективными перед продвинутыми скриптами. Однако блокировка IP-адресов (особенно мобильных прокси) рискует повредить доступ обычных пользователей, так как множество людей находятся за одним виртуальным IP (технология CGNAT). * Доступ к данным: ИИ-агенты уже умеют бронировать билеты и покупать услуги. Если жестко закрыть доступ, бизнес теряет клиентов, переключившихся на алгоритмы. Если открыть — инфоэкосистема будет «высосана», а контент будет заполняться синтетическими данными.

Будущее: «Мертвый интернет» и возможные сценарии

Гипотеза «мертвого интернета» предсказывает сценарий, где информационное поле станет полностью синтетическим. Если алгоритмы будут обучаться только на данных, собранных ботами, а пользователи взаимодействовать через интерфейсы, оптимизированные под машинное чтение, а не человеческий диалог, уникальность контента исчезнет.

Крупные медиа (BBC, CNN) уже начали жестко блокировать доступ ИИ-бота к своим базам данных, понимая, что это единственная гарантия сохранения качества их материалов. Но эффективность такой борьбы под вопросом: даже закрытый сайт продолжает цитироваться нейросетями.

Специалисты выделяют несколько возможных путей развития событий:

1. Цифровой изоляционизм: Люди мигрируют в закрытые, верифицированные сообщества (платные подписки, мессенджеры с биометрией), оставляя общий интернет для ботов. 2. Вечная гонка вооружений: Появление антифрод-систем нового поколения, которые анализируют микродвижения мыши, историю браузера и поведенческие паттерны. Анонимность исчезнет, а доступ к сети станет сложной проверкой на «человечность». 3. Легализация и дробление: Создание двух слоев интернета — визуального (UI для людей) и машинного (структурированные данные для ИИ). Может появиться протокол ai.txt или платные условия для парсинга: чтобы бот прочитал статью, он должен внести микротранзакцию. Однако гарантировать соблюдение таких правил со стороны нейросетей невозможно.

На данный момент решение не найдено, и интернет движется по пути постоянных трансформаций, где баланс между человеком и алгоритмом становится всё более хрупким.

Первоисточники

Habr AI
← Вернуться в эфир