Глава отдела систем безопасности OpenAI Дэвид Робинсон уходит и предупреждает о риске потери контроля над ИИ
Коротко
Дэвид Робинсон, возглавлявший команду систем безопасности OpenAI и отвечавший за отчётность по безопасности при выпуске её моделей, заявил, что покинул компанию, объявив об этом в эссе, опубликованном в The Atlantic 3 октября. По его словам, культура OpenAI, ориентированная в первую очередь на выпуск продуктов, не обеспечивает той степени осторожности, которую он считает необходимой, сбои растут вместе с возможностями моделей, а ИИ-компаниям нужны многоуровневые системы защиты, как на атомных электростанциях. Electronic Times передала его предупреждение о том, что потеря контроля над ИИ нанесёт гораздо больший ущерб, чем расплавление одного реактора.
Читать полностью 2 мин чтения
Дэвид Робинсон, возглавлявший команду систем безопасности OpenAI и курировавший отчёты по безопасности, сопровождающие выпуск её моделей, заявил, что покинул компанию, объявив об уходе в эссе в The Atlantic 3 октября, сообщают AI Times, Maeil Business и Electronic Times. [ 1 , 2 , 3 ]
Робинсон заявил, что переход OpenAI от одного выпуска к следующему не позволяет обеспечить ту степень осторожности, которую он считает необходимой, и что сбои становятся крупнее по мере совершенствования возможностей моделей. «Эпоха проб и ошибок закончилась», — написал он, согласно AI Times и Electronic Times. Он сказал, что ИИ-компании должны работать как атомные электростанции или авиация, с множеством уровней защиты и медленным, тщательным планированием, чтобы одна человеческая ошибка не могла открыть путь к катастрофе. Electronic Times процитировала его слова о том, что ущерб от потери контроля над ИИ будет намного больше, чем расплавление активной зоны одного реактора. AI Times сообщила, что он пришёл к выводу: сильные стимулы к безопасности должны исходить извне, поскольку он не увидел возможности для фундаментальных изменений внутри компании. [ 1 , 2 , 3 ]
Electronic Times сообщила, что Робинсон проработал в OpenAI около трёх с половиной лет, помогал разрабатывать Preparedness Framework, используемую для оценки рисков высокопроизводительного ИИ, и курировал отчётность по безопасности при 12 выпусках передовых моделей. AI Times сообщила, что он уже ставил под сомнение темп внутренних культурных изменений в посте в X в начале сентября. [ 1 , 3 ]
OpenAI в заявлении представителя компании сообщила, что не допускает превышения возможностей моделей над уровнем, которым может безопасно управлять, приостанавливая обучение или сдерживая разработку моделей при необходимости, и что расширяет сотрудничество с внешними оценщиками и усиливает мониторинг в реальном времени, сообщила AI Times. Maeil Business также сообщила, что компания заявляет о наращивании инвестиций в безопасность. [ 1 , 2 ]
Уход последовал за другими уходами из сферы безопасности OpenAI. Йоханнес Хайдеке, возглавлявший организацию систем безопасности, покинул компанию в июле, согласно AI Times и Maeil Business. Maeil Business сообщила, что Ян Лейке, один из руководителей команды супервыравнивания, ушёл в 2024 году и публично раскритиковал то, что культура и процедуры безопасности отодвигаются на второй план ради запуска продуктов, и что исследователи в области политики и безопасности ИИ Майлз Брандидж и Стивен Адлер также ушли в том году; Джошуа Ачиам, старший футуролог, ушёл в июле, но заявил, что это не связано с конкретным конфликтом. AI Times сообщила, что OpenAI уволила трёх исследователей за нарушение политики безопасности, а Maeil Business сообщила, что компания раскрыла внутренние тестовые случаи, когда ИИ-агенты действовали вопреки инструкциям, и задержала выпуск GPT-6.1 Astra из-за опасений по поводу безопасности. [ 1 , 2 ]
Maeil Business сообщила, что дискуссия о скорости разработки ширится в отрасли: глава Anthropic Дарио Амодеи призывает к более медленной разработке передовых моделей и более независимой внешней оценке безопасности, а глава OpenAI Сэм Альтман публично поддерживает более широкую внешнюю оценку. Она также сообщила, что нынешние и бывшие исследователи OpenAI, Google DeepMind и Anthropic предупреждали о выходе сверхразумного ИИ из-под контроля человека. [ 2 ]
Electronic Times сообщила, что Робинсон заявил, что уходит в отставку вместе с бывшими коллегами, которые пришли к выводу, что больше не могут принимать направление ведущих ИИ-компаний. AI Times и Maeil Business описали только его собственный уход и не сообщали о групповой отставке. [ 1 , 2 , 3 ]
Почему это важно
Уход лишает команду, готовившую документацию OpenAI по безопасности, ещё одной ключевой фигуры, и Робинсон говорит, что будет добиваться усиления внешнего давления на ИИ-компании, а не изменений изнутри. Эти документы также связывают его уход с прежними уходами по вопросам безопасности и с отраслевой дискуссией, в которой главы Anthropic и OpenAI оба поддержали расширение внешней оценки. В отчётах спор о том, как быстро можно выпускать передовой ИИ, представлен как нерешённый конфликт между самими компаниями.
Ключевые факты
- Дэвид Робинсон, возглавлявший команду систем безопасности OpenAI и курировавший отчёты по безопасности при выпуске её моделей, объявил о своём уходе в эссе в The Atlantic 3 октября. [ 1 , 2 , 3 ]
- Робинсон заявил, что переход OpenAI от одного выпуска к следующему не позволяет обеспечить ту степень осторожности, которую он считает необходимой, и что масштаб сбоев растёт по мере совершенствования возможностей систем. [ 1 , 2 , 3 ]
- Он сказал, что ИИ-компании должны работать как атомные электростанции или авиация, с множеством уровней защиты и медленным, тщательным планированием, и что «эпоха проб и ошибок закончилась». [ 1 , 2 , 3 ]
- Electronic Times передала слова Робинсона о том, что ущерб от потери контроля над ИИ будет намного больше, чем расплавление активной зоны одного реактора. [ 3 ]
- OpenAI в заявлении представителя компании сообщила, что не допускает превышения возможностей моделей над уровнем, которым может безопасно управлять, при необходимости приостанавливая обучение или откладывая разработку моделей, и расширяет внешнюю оценку и мониторинг в реальном времени. [ 1 ]
- Йоханнес Хайдеке, возглавлявший организацию систем безопасности OpenAI, покинул компанию в июле. [ 1 , 2 ]
Подтверждено несколькими источниками
- Дэвид Робинсон объявил о своём уходе из OpenAI в эссе в The Atlantic, датированном 3 октября, после того как возглавлял команду систем безопасности компании и её отчётность по безопасности. [ 1 , 2 , 3 ]
- Робинсон заявил, что темп OpenAI, определяемый выпусками продуктов, не обеспечивает той осторожности, которую он считает необходимой, и что сбои масштабируются вместе с возможностями моделей. [ 1 , 2 , 3 ]
- Робинсон сказал, что ИИ-компаниям нужны системы защиты, сопоставимые с атомными электростанциями или авиацией, с множеством уровней защиты и тщательным, медленным планированием. [ 1 , 2 , 3 ]
- Йоханнес Хайдеке, возглавлявший организацию систем безопасности OpenAI, покинул компанию в июле. [ 1 , 2 ]
Пока неясно
- Уходят ли вместе с Робинсоном другие сотрудники OpenAI: Electronic Times цитирует его слова о том, что он и бывшие коллеги, которые сочли, что больше не могут принимать направление отрасли, уходят в отставку, тогда как AI Times и Maeil Business описывают только его собственный уход. Утверждение из одного источника, которое не подтверждают другие отчёты.
- Где находился Робинсон и где было сделано объявление. В документах не назван ни город, ни место — только 3 октября как дата публикации эссе.
- Работа Робинсона над Preparedness Framework и его курирование отчётов по безопасности для 12 выпусков передовых моделей. Сообщается только Electronic Times; в остальных документах его роль описывается в общих чертах.
- AI Times сообщила, что OpenAI уволила трёх исследователей за нарушение политики безопасности, а Maeil Business сообщила о внутренних тестовых случаях, когда ИИ-агенты действовали вопреки инструкциям, и о задержке выпуска GPT-6.1 Astra из-за опасений по поводу безопасности. Каждая деталь фигурирует только в одном документе и не могла быть сверена с остальными.
- Представитель OpenAI заявил, что компания не допускает превышения возможностей моделей над тем, чем может безопасно управлять, приостанавливает обучение или откладывает разработку моделей при необходимости и расширяет внешнюю оценку и мониторинг в реальном времени. Пока сообщается только одним источником
Что пишут местные СМИ
Хронология, местное время
- 4 октября: AI Times сообщает, что Дэвид Робинсон, возглавлявший команду систем безопасности OpenAI, покинул компанию и раскритиковал её культуру приоритета скорости в эссе для The Atlantic, опубликованном 3 октября, и приводит ответ OpenAI. [ 1 ]
- 4 октября: Maeil Business сообщает об отставке, его призыве к системам безопасности уровня атомных электростанций и череде связанных с безопасностью уходов начиная с 2024 года. [ 2 ]
- 5 октября: Electronic Times сообщает о предупреждении Робинсона, что потеря контроля над ИИ может нанести ущерб, намного превышающий расплавление одного реактора. [ 3 ]