Сотрудник по безопасности OpenAI покинул компанию, заявив, что культура разработки искусственного интеллекта «разрушена»
Дэвид Робинсон, один из старейших сотрудников OpenAI, занимавшийся написанием отчетов о безопасности при запуске крупных продуктов компании, принял решение покинуть организацию. В опубликованном эссе он утверждает, что текущая модель развития искусственного интеллекта, основанная на методах «проб и ошибок», несет неприемлемые риски, и что корпоративная культура ведущих ИИ-компаний требует фундаментальных изменений.
# Кризис доверия внутри OpenAI: почему сотрудник по безопасности уходит и что это значит для развития ИИ
Событие, которое часто описывают как отчаянный крик о помощи, произошло недавно. Дэвид Робинсон, эксперт по безопасности, работавший в OpenAI более трех с половиной лет, официально завершил свой контракт с технологическим гигантом. По его собственным словам, он был одним из тех, кто занимался написанием критически важных отчетов по безопасности для сопутствующих запуску продуктов компании. Теперь Робинсон заявляет, что культура внутри OpenAI «разрушена», и именно это стало причиной его ухода.
Его слова вызывают отзвук в профессиональном сообществе, напоминая ситуацию с Джексоном Коузоном, ранее работавшим в OpenAI и Anthropic. Тот также ушел, заявив, что компании «ставят на кон наши жизни». Однако Робинсон подчеркивает, что его критика направлена не только на отдельные правила, но и на саму философию управления в Silicon Valley, где вопросы безопасности искусственного интеллекта часто уступают место скорости инноваций.
Метод «итеративного развертывания» и его последствия
Робинсон в своем эссе, опубликованном в The Atlantic, критикует основной подход OpenAI, который он описывает как «итеративное развертывание». По его словам, компания процветала за счет пробных ошибок: специалисты ищут проблемы постфактум и лишь затем улучшают механизмы защиты.
«Но этот подход, по своей природе, гарантирует периодические сбои — и масштаб этих сбоев увеличивается по мере того, как системы становятся более мощными», — написал Робинсон.
Эксперт привел примеры недавнего инцидента с нарушением систем Hugging Face агентами OpenAI, а также многочисленных случаев обнаружения «бунтующих» агентов внутри самой компании. Для Робинсона ситуация такова: среда, где такие инциденты возможны, не подходит для развития искусственного разума, который в будущем может превзойти человеческий интеллект.
По его мнению, передовые компании в сфере ИИ должны начать работать не как стартапы, стремящиеся к быстрому выходу на рынок, а как атомные электростанции или крупные аэропорты. В таких организациях многоэтапная система резервирования и тщательное планирование являются нормой, чтобы человеческая ошибка не привела к катастрофе.
Отсутствие опыта в высокорисковых отраслях
Одной из ключевых проблем, поднятых Робинсоном, является кадровый вопрос. Он утверждает, что во время работы в OpenAI он никогда не встречал коллег, обладающих опытом безопасной работы с подобными системами в других отраслях. В его представлении, культура в Silicon Valley лишена специалистов, которые умеют управлять сложными, потенциально опасными системами, как это делают пилоты самолетов или операторы ядерных реакторов.
«Окружение, где могут происходить подобные вещи, — не место для развития искусственных умов, которые могут быть умнее нас и не всегда делать то, что мы от них хотим», — отметил он.
Робинсон также признает, что его действия могут восприниматься как следование «игровой модели» whistleblower'а (разоблачителя). Он подтвердил, что нанял фирму по связям с общественностью, чтобы донести свои идеи, но настаивает на том, что решение выступить публично принадлежало исключительно ему. Он заявил, что его коллеги были настолько заняти «спринтом» в погоне за новыми функциональными возможностями, что у них не оставалось времени на глубокое осмысление фундаментальных изменений в системе.
Реакция OpenAI и вопросы соотнесения ценностей
На заявление Робинсона официальный представитель OpenAI Дрю Пусатери ответил заявлением о продолжающейся работе над мерами безопасности. Компания подтвердила, что приостанавливает обучение моделей или сдерживает их, когда считает нужным замедлиться ради безопасности. Также упоминается работа с внешними оценщиками и расширение возможностей мониторинга в реальном времени.
Пусатери заявил: «Мы делаем все возможное, чтобы наши модели не становились более продвинутыми, чем мы можем безопасно управлять и защищать». Он подчеркнул, что компания вносит значительные изменения для усиления безопасности в средах исследования и тестирования.
Однако Робинсон полагает, что таких мер недостаточно. Он призывает задать более широкие вопросы о «выравнивании» (alignment) — способности ИИ соответствовать человеческим ценностям. Он признает, что такие разговоры могут показаться «мягкими и трогательными», но считает их критически важными, так как текущие методы оценки соответствия систем ценностям остаются поверхностными («coarse»).
«Чем дольше индустрия позволяет моделям расти, пока эти проблемы остаются нерешенными, тем более опасной становится наша ситуация», — подчеркнул Робинсон.
Его уход и последующее выступление вновь ставят перед обществом и регуляторами вопрос о том, как именно должны развиваться технологии, обладающие потенциалом трансформировать человеческое бытие. Пока что OpenAI продолжает настаивать на собственной эффективности, но голос сотрудника, видевшего изнутри процессы разработки, звучит как сигнал о необходимости пересмотра подходов к созданию искусственного интеллекта.