Бывший сотрудник OpenAI по безопасности заявил о разрушении корпоративной культуры компании
Коротко
Дэвид Робинсон, недавно покинувший OpenAI сотрудник, 3 октября опубликовал подписанную статью в The Atlantic, заявив, что корпоративная культура компании разрушилась и что она слишком полагается на стратегию «сначала выпустить систему, потом исправлять проблемы». Он сообщил, что участвовал в разработке рамочного документа OpenAI по реагированию на риски и курировал отчёты по безопасности для 12 выпусков фронтирных моделей, и призвал ИИ-лаборатории внедрять множественные меры защиты, подобные тем, что используются в авиации или ядерной энергетике. Представитель OpenAI заявил, что компания приостанавливает обучение или задерживает выпуск, когда ей нужно замедлиться.
Читать полностью 2 мин чтения
Недавно покинувший OpenAI сотрудник Дэвид Робинсон 3 октября опубликовал подписанную статью в The Atlantic, заявив, что культура безопасности компании разрушилась, сообщают IT Home, CLS, Yicai и Jiemian. Китайские издания сообщили о статье 4 октября. [ 1 , 2 , 3 , 4 ]
Робинсон заявил, что проработал в OpenAI более трёх лет и был одним из самых давних её сотрудников; IT Home оценил срок его работы в три с половиной года. Он написал, что участвовал в разработке рамочного документа компании по реагированию на риски и курировал отчёты по оценке безопасности для 12 выпусков фронтирных моделей, и что «компания продолжает перескакивать с одного запуска продукта на другой» без того уровня тщательного контроля, который, по его мнению, был необходим. [ 1 , 2 , 3 , 4 ]
Он написал, что «эпоха проб и ошибок закончилась», и что фронтирным ИИ-лабораториям следует, по примеру авиации или ядерной энергетики, внедрять множественные меры защиты и тщательное планирование, чтобы случайная и неизбежная человеческая ошибка не превратилась в катастрофу. [ 1 , 3 , 4 ]
IT Home со ссылкой на Reuters сообщил, что Робинсон также предупредил: возможности ИИ развиваются быстрее, чем понимание исследователями проблемы выравнивания — области, стремящейся обеспечить соответствие действий ИИ-систем целям и ценностям человека. По его словам, OpenAI в значительной степени полагается на «итеративное развёртывание» — сначала выпуск систем, а затем укрепление безопасности; эти замечания обострили отраслевую дискуссию о том, не движутся ли компании слишком быстро, после инцидентов со сбоями систем безопасности и аномальным поведением экспериментальных систем, которые поставили OpenAI и её конкурента Anthropic под пристальное внимание. [ 1 ]
Представитель OpenAI заявил в заявлении: «Мы контролировали модель, чтобы её возможности не превышали того, чем мы можем безопасно управлять; когда нам нужно замедлиться, мы приостанавливаем обучение или задерживаем выпуск модели». Ответ компании привёл только IT Home, и в нём не рассматривается утверждение Робинсона о культуре компании. [ 1 ]
Издания расходятся в одной детали: IT Home сообщил, что Робинсон проработал в OpenAI три с половиной года, тогда как CLS, Yicai и Jiemian сообщили о более трёх лет. CLS, Yicai и Jiemian приписали свои материалы агентствам Xinhua и CCTV News и не включили заявление компании. [ 1 , 2 , 3 , 4 ]
Почему это важно
Статья подпитывает отраслевую дискуссию о том, не движутся ли ИИ-компании слишком быстро в создании более способных систем; как следует из документов, эта дискуссия уже поставила OpenAI и её конкурента Anthropic под пристальное внимание после прежних сбоев систем безопасности и аномального поведения экспериментальных систем. В документах не описывается никаких регуляторных, юридических или корпоративных действий после публикации статьи и не указывается, что OpenAI может изменить.
Ключевые факты
- Недавно покинувший OpenAI сотрудник Дэвид Робинсон 3 октября опубликовал подписанную статью в The Atlantic, заявив, что корпоративная культура компании разрушилась, сообщают IT Home, CLS, Yicai и Jiemian. [ 1 , 2 , 3 , 4 ]
- Робинсон заявил, что проработал в OpenAI более трёх лет и был одним из самых давних её сотрудников; IT Home оценил срок его работы в три с половиной года. [ 1 , 2 , 3 , 4 ]
- Робинсон заявил, что участвовал в разработке рамочного документа компании по реагированию на риски и курировал отчёты по оценке безопасности для 12 выпусков фронтирных моделей. [ 1 , 2 , 3 , 4 ]
- Он написал, что эпоха проб и ошибок закончилась и что фронтирным ИИ-лабораториям следует, по примеру авиации или ядерной энергетики, внедрять множественные меры защиты и тщательное планирование. [ 1 , 3 , 4 ]
- IT Home со ссылкой на Reuters сообщил, что Робинсон предупредил: возможности ИИ развиваются быстрее, чем понимание исследователями проблемы выравнивания — усилий по обеспечению соответствия действий ИИ-систем целям и ценностям человека. [ 1 ]
- Представитель OpenAI заявил, что компания удерживает модели в пределах того, чем может безопасно управлять, и приостанавливает обучение или задерживает выпуск модели, когда ей нужно замедлиться. [ 1 ]
- IT Home сообщил, что эти заявления обострили отраслевую дискуссию о темпах разработки после инцидентов со сбоями систем безопасности и аномальным поведением экспериментальных систем, которые поставили OpenAI и Anthropic под пристальное внимание. [ 1 ]
Подтверждено несколькими источниками
- Недавно покинувший OpenAI сотрудник Дэвид Робинсон 3 октября опубликовал подписанную статью в The Atlantic с критикой подхода OpenAI к безопасности ИИ. [ 1 , 2 , 3 , 4 ]
- Робинсон заявил, что участвовал в разработке рамочного документа OpenAI по реагированию на риски и курировал отчёты по оценке безопасности для 12 выпусков фронтирных моделей. [ 1 , 2 , 3 , 4 ]
- Робинсон заявил, что эпоха проб и ошибок закончилась и что фронтирным ИИ-лабораториям следует внедрять множественные меры защиты, подобные применяемым в авиации или ядерной энергетике, чтобы неизбежная человеческая ошибка не превратилась в катастрофу. [ 1 , 3 , 4 ]
Пока неясно
- Точный срок работы Робинсона в OpenAI. IT Home сообщил, что он проработал там три с половиной года, тогда как CLS, Yicai и Jiemian сообщили о более трёх лет и назвали его одним из самых давних сотрудников; ни в одном документе не приводятся точные даты.
- Должность Робинсона и дата его ухода из OpenAI. IT Home описал его как бывшего сотрудника отдела безопасности; ни в одном документе не указаны его должность или дата ухода.
- Прежние инциденты со сбоями систем безопасности и аномальным поведением экспериментальных систем, на которые ссылался IT Home. О них упоминает только IT Home, без подробностей, дат или подтверждения от других изданий.
- Оспаривает ли OpenAI характеристику Робинсоном её культуры. Заявление компании приводит только IT Home, и в нём речь идёт о практике выпуска моделей, а не о прямом ответе на утверждение о культуре.
Что пишут местные СМИ
Хронология, местное время
- Дэвид Робинсон публикует подписанную статью в The Atlantic под заголовком «Я уволился из OpenAI, потому что корпоративная культура разрушена», критикуя практики компании в области безопасности. Время публикации не указано. [ 1 , 2 , 3 , 4 ]
- IT Home сообщает о статье со ссылкой на Reuters и приводит заявление представителя OpenAI. [ 1 ]
- CLS сообщает о критике уволившимся сотрудником осознания рисков в OpenAI. [ 2 ]
- Yicai сообщает об этой истории, приписывая её агентству Xinhua. [ 3 ]
- Jiemian сообщает об этой истории, приписывая её CCTV News. [ 4 ]