Исследователи ИИ предупреждают: сверхразум может быть настолько опасен, насколько звучит
Группа ведущих ученых из OpenAI, Google и Anthropic озвучила в видеозаписях тревожные прогнозы относительно эволюции искусственного интеллекта. Они утверждают, что вероятность уничтожения человечества суперинтеллектом оценивается не как фантастика, а как реальная угроза, сопоставимая с вероятностью подбрасывания монетки, что вынуждает их пересмотреть этические границы и методы разработки новых алгоритмов.
# Исследователи ИИ предупреждают: сверхразум может быть настолько опасен, насколько звучит
В последнее время пространство вокруг разработки искусственного интеллекта наполнилось новыми сигналами тревоги. На платформе frominside.ai была опубликована серия интервью, в которых участвуют текущие и бывшие сотрудники ведущих технологических гигантов: OpenAI, Google и Anthropic. Основная тема дискуссий смещается от вопросов эффективности к экзистенциальным рискам.
Организатором инициативы выступила некоммерческая организация Palisade Research. Её миссия заключается в изучении возможностей и мотиваций искусственного интеллекта. Специалисты организации собрали материал в формате видеоинтервью, чтобы дать голос тем, кто находится «изнутри» процесса создания нейросетей и осознает масштаб потенциальных последствий.
Шанс вымирания оценивается в «орла или решку»
Одним из ключевых участников дискуссии является Джеффри Ирвинг (Geoffrey Irving). Ранее работавший в лабораториях OpenAI и Google DeepMind, он озвучил одну из самых резких оценок рисков. Согласно его словам, вероятность того, что развитие искусственного интеллекта приведет к полному уничтожению человечества, составляет около 50%.
«В моём мнении шанс человеческого вымирания — это примерно подбрасывание монеты», — заявил Ирвинг.
Эта оценка вызывает сильный отклик у коллег по цеху. Ниел Нанда (Neel Nanda), научный сотрудник Google DeepMind, выразил сходную точку зрения, но с еще более категоричным тоном. Он считает, что вероятность возникновения катастрофических последствий для человечества не ниже 10%.
«Это невероятно высокий показатель», — отметил Нанда. Для сравнения, в мире физики и биологии шансы на успех часто измеряются в процентах или долях процента. Утверждение о риске на уровне 10% для события, которое должно произойти в будущем, подчеркивает фундаментальный скептицизм части научного сообщества по отношению к текущим траекториям развития технологий.
Суперинтеллект как «божественная» сила
Другой бывший исследователь OpenAI, Даниэль Кокотайло (Daniel Kokotajlo), перенес дискуссию в философскую плоскость. Он заявил, что появление сверхразумного ИИ будет означать приход сущности, обладающей властью, сопоставимой с божественной.
«К сожалению, мы не знаем, как их контролировать. Скорее всего, никто не сможет взять их под контроль», — подчеркнул он.
Кокотайло добавил, что текущая ситуация требует немедленных действий, чтобы предотвратить сценарий, «каким он и звучит». По его мнению, отсутствие механизмов контроля делает эти системы по определению опасными. Ученые отмечают, что корпорации, создающие подобные системы, не остановят свои разработки даже при увольнении ключевых сотрудников, которые видят в этом прямую угрозу безопасности мира.
Дилемма исследователей безопасности
Интервью также проливают свет на сложную моральную дилемму, в которой оказались сами исследователи. Мары Фуанг (Mary Phuong) из Google обратила внимание на важность критического восприятия их заявлений.
«Вы должны относиться к тому, что я говорю, с подозрением, поскольку я получаю зарплату от лаборатории», — призналась она.
Однако многие, включая Нанду, подчеркивают, что продолжать работу на таком опасном фронте без убежденности в правильности методов невозможно. Нанда указал на то, что если бы он не верил в то, что его труд непосредственно снижает экзистенциальные риски, он бы покинул компанию. Но, признавая мощь корпораций, он также отметил, что уход одного сотрудника не остановит процесс создания систем, способных нанести непоправимый вред.
Пока что сообщество безопасности ИИ не предлагает единого решения, как нейтрализовать эти риски. Видеоинтервью служат напоминанием о том, что за алгоритмами стоят люди, глубоко переживающие за будущее цивилизации, и что игнорировать их предупреждения становится все сложнее.