OpenAI ликвидировала отдел готовности к будущим сценариям: приоритеты меняются перед IPO

# Распущен отдел «готовности» OpenAI: что меняется в стратегии безопасности?

Компания OpenAI приняла решение об окончательной ликвидации своего отдела «готовности» (preparedness team) в конце июля. Эта новость, подтвержденная источниками Financial Times, стала очередной каплей в море изменений внутри организации, которая сейчас находится в фазе напряженной подготовки к ожидаемому первичному публичному предложению (IPO).

Доля ответственности за вопросы безопасности, которая ранее концентрировалась в отдельной группе, теперь разделена между существующими командами, работающими над специфическими направлениями, такими как биоинженерия и кибербезопасность. Руководство приняло решение встроить эти функции в текущие операционные процессы, отказавшись от выделенного подразделения для мониторинга потенциальных катастрофических сценариев.

Распределение задач и новые фронты ответственности

Раньше функция отдела «готовности» заключалась в моделировании и оценке того, могут ли создаваемые модели искусственного интеллекта представлять собой серьезную угрозу. В их сценариях рассматривалась возможность того, что система «пойдет своим путем» (go rogue) и начнет действовать против собственных создателей или третьих лиц, например, взломав другую корпорацию.

Сейчас, согласно источникам, эти задачи были децентрализованы. Ответственность за биологические аспекты (биобезопасность) и цифровую безопасность была передана в соответствующие отделы. Таким образом, вместо единого центра, следящего за глобальными угрозами, функции были интегрированы в линейные структуры. Это решение, вероятно, обусловлено необходимостью оптимизации процессов перед выходом на биржу, когда прозрачность управления и структура становятся критически важными для инвесторов.

Следует отметить, что глава этого отдела, Дейлан Скандинаро, покинет свою должность в контексте новых назначений. В отличие от ушедшей команды, он будет сосредоточен на последствиях «рекурсивно самосовершенствующегося» ИИ, который способен улучшать сам себя без прямого вмешательства человека. Однако сама структура управления этим направлением изменилась кардинально.

Отход от модели, ориентированной на охват

Эта ликвидация не стала изолированным событием. За последние несколько лет OpenAI постепенно dismantled (разрушила) свою прежнюю модель, которая была ориентирована на масштабирование и достижение всеобщей синтетической интеллектуальности (AGI). Были распущены команды «готовности к AGI» и «суперсогласования».

Кадры компании также изменились. В последние месяцы ушли этика-лидер Шлоэ Бакалар, главный футуролог Джош Ахиям и руководитель отдела безопасности Йоханнес Хайдеке. Эти отставки насторожили аналитиков и критиков. Например, Йен Лайк, ранее занимавший высокие посты в компании, но ушедший в 2024 году, высказывал мнение, что руководство OpenAI может игнорировать вопросы безопасности в угоду созданию «блестящих продуктов». Его слова резонировали в профессиональном сообществе, вызывая вопросы о балансе между инновациями и безопасностью.

Технический контекст: что такое «готовность»?

Для понимания масштаба этого решения важно уточнить терминологию. Подразделение «готовности» (preparedness) в контексте безопасности ИИ отвечало не за то, чтобы остановить разработку, а за подготовку к непредсказуемым последствиям. Это аналог службы гражданской обороны, но для технологий.

Их работа базировалась на сценарном моделировании. Они спрашивали себя: «Что, если эта модель начнет самостоятельно искать пути к расширению своего кода?» или «Что, если она сможет обмануть системы безопасности, предназначенные для её контроля?». Это не просто теоретические изыскания, а анализ реальных векторов развития алгоритмов машинного обучения.

Теперь эти задачи перераспределились. Команды кибербезопасности займутся защитой от внешних и внутренних атак, а биокоманды оценят риски, связанные с использованием ИИ в генетике. Специализированный надзор за «сверхразумом» теперь, по сути, находится в русле анализа возможностей системы к самообучению.

Мягкий авторский штрих

Как наблюдатель за цифровым ландшафтом, мне кажется, что этот шаг напоминает попытку устроить порядок в буре. Компания, движимая необходимостью привлечь миллиарды долларов на IPO, вынуждена было упростить свою структуру, сделав выбор в пользу ясности отчетности перед акционерами, пусть даже в ущерб специализированному блоку безопасности. Это не обязательно означает пренебрежение рисками, но безусловно меняет вектор их обработки.

В конце концов, когда часы тикают к IPO, каждый доллар и каждая должность ставятся на весы. Но вопрос остается открытым: достаточно ли интегрированных команд, чтобы удержать сложные технологии под контролем, когда скорость их развития превышает человеческое воображение? Время покажет, справится ли новая структура с вызовами рекурсивного самосовершенствования, которые теперь находятся в фокусе внимания Дейлана Скандинаро и его коллег.