Информаторы по ИИ предупреждают горсовет Нью-Йорка об угрозе вымирания и призывают к надзору
Коротко
Бывшие сотрудники Anthropic, OpenAI и Google DeepMind заявили на слушаниях в горсовете Нью-Йорка в понедельник, что компании, работающие над ИИ, спешат создать технологию, которую не могут контролировать, и призвали к усилению надзора. Бывший инженер Anthropic Джейкоб Коксон заявил, что вероятность потери человечеством контроля над ИИ превышает 50% и это может закончиться вымиранием человечества. Отдельная группа нынешних сотрудников OpenAI, Anthropic, Google и Meta заявила совету, что их системы уже улучшают повседневную жизнь и что безопасность является приоритетом.
Читать полностью 2 мин чтения
Бывшие сотрудники ведущих компаний, работающих над ИИ, заявили на слушаниях горсовета Нью-Йорка в Манхэттене в понедельник, что отрасль спешит создать технологию, которую не понимает, как контролировать, и призвали к усилению надзора. Джейкоб Коксон, бывший инженер Anthropic, сказал, что «компании ведут себя крайне безрассудно с учётом ставок», добавив, что компании руководствуются стартап-мышлением — двигаться быстро, ломать вещи и чинить их позже — что, по его словам, работает для приложения для обмена фото, но не для «самой мощной технологии, когда-либо созданной». [ 1 , 2 , 3 ]
Коксон заявил, что при текущей траектории «вероятность потери человечеством контроля над этими ИИ превышает 50% и это может закончиться вымиранием человечества». Он сказал, что исследователи и работники уже потеряли способность полностью контролировать системы ИИ, заявив совету, что на его последней работе «большинство кода теперь пишется ИИ, и люди больше не проверяют его так тщательно». Associated Press сообщило, что он был малоизвестным инженером в Anthropic, пока не объявил о своём уходе серией постов в соцсетях, привлёкших глобальное внимание. [ 1 , 2 , 3 ]
Другие свидетели приводили схожие аргументы. Алекс Тёрнер, бывший исследователь Google DeepMind, сказал, что «сверхинтеллектуальный роящийся интеллект мог бы захватить контроль над человеческой цивилизацией» и, вероятно, выждал бы до момента, когда его отключение станет слишком поздним, оценив вероятность захвата власти ИИ примерно в один к трём. Дэниел Кокотайло, бывший исследователь OpenAI, который теперь руководит AI Futures Project, сказал, что даже если технологические лидеры сохранят контроль над технологией, «я не думаю, что мы должны доверять им этот контроль». [ 1 ]
Отдельная группа нынешних сотрудников компаний, работающих над ИИ, — Морган Дуайер из OpenAI, Шейн Кэхилл из Meta, Элис Френд из Google и Логан Грэм из Anthropic — свидетельствовала по Zoom, заявив чиновникам, что их системы уже улучшают повседневную жизнь людей, и подчеркнув, что они сосредоточены на безопасности. «Я разделяю вашу приверженность обеспечению того, чтобы технология разрабатывалась безопасно и её преимущества широко распределялись», — сказал Дуайер. [ 2 , 3 ]
Слушания прошли в то время, когда правительства штатов и городов рассматривают способы регулирования ИИ, а администрация Трампа, по описанию AP, занимает пассивную позицию, и Конгресс бездействует. Президент Дональд Трамп назвал опасения по поводу ИИ «мистификацией» и в конце прошлого месяца подписал соглашение, которое в значительной степени позволяет компаниям самим регулировать себя, сообщило AP. Коксон выступил по просьбе спикера горсовета Джули Менин, которая призвала информаторов по ИИ дать показания, поскольку город стремится активнее участвовать в регулировании отрасли, согласно New York Post. [ 1 , 2 , 3 ]
Почему это важно
Слушания вовлекают крупный американский город в дискуссию о правилах регулирования ИИ в то время, когда, как утверждают документы, администрация Трампа заняла пассивную позицию, а Конгресс бездействует. Они также дают публичную трибуну отраслевым инсайдерам, которые утверждают, что компаниям, разрабатывающим технологию, нельзя доверять саморегулирование.
Ключевые факты
- В понедельник в Манхэттене горсовет Нью-Йорка провёл слушания о безопасности искусственного интеллекта. [ 1 , 2 , 3 ]
- Джейкоб Коксон, бывший инженер Anthropic, свидетельствовал, что компании ведут себя «крайне безрассудно с учётом ставок» и что мышление стартапа не подходит для «самой мощной технологии, когда-либо созданной». [ 1 , 2 , 3 ]
- Коксон заявил, что при текущей траектории вероятность потери человечеством контроля над ИИ превышает 50% и это может закончиться вымиранием человечества. [ 1 , 2 , 3 ]
- Бывший исследователь Google DeepMind Алекс Тёрнер и бывший исследователь OpenAI Дэниел Кокотайло также свидетельствовали о рисках; Тёрнер оценил вероятность захвата власти ИИ примерно в один к трём. [ 1 ]
- Коксон выступил по просьбе спикера горсовета Джули Менин, которая призвала информаторов по ИИ дать показания. [ 1 ]
- Нынешние сотрудники OpenAI, Anthropic, Google и Meta свидетельствовали, что их системы уже улучшают повседневную жизнь людей и что они сосредоточены на безопасности. [ 2 , 3 ]
- Правительства штатов и городов рассматривают регулирование ИИ, в то время как администрация Трампа заняла пассивную позицию, а Конгресс бездействует, сообщает AP. [ 2 , 3 ]
- Президент Дональд Трамп назвал опасения по поводу ИИ «мистификацией» и в конце прошлого месяца подписал соглашение, которое в значительной степени позволяет компаниям самим регулировать себя, сообщило AP. [ 2 , 3 ]
Подтверждено несколькими источниками
- В понедельник в Манхэттене состоялись слушания горсовета Нью-Йорка о безопасности искусственного интеллекта, на которых выступили недавно уволившиеся сотрудники Anthropic, OpenAI и Google DeepMind. [ 1 , 2 , 3 ]
- Бывший инженер Anthropic Джейкоб Коксон заявил совету, что компании ведут себя безрассудно, сказав, что стартап-подход «двигаться быстро, ломать вещи, чинить их позже» работает для приложения для обмена фото, но не для самой мощной технологии, когда-либо созданной. [ 1 , 2 , 3 ]
- Коксон заявил, что вероятность потери человечеством контроля над ИИ превышает 50% и это может закончиться вымиранием человечества. [ 1 , 2 , 3 ]
- Группа нынешних сотрудников OpenAI, Anthropic, Google и Meta свидетельствовала, что их системы уже улучшают повседневную жизнь и что они сосредоточены на безопасности. [ 2 , 3 ]
- По данным AP, правительства штатов и городов рассматривают регулирование ИИ, в то время как администрация Трампа заняла пассивную позицию; Трамп назвал опасения по поводу ИИ «мистификацией» и в конце прошлого месяца подписал соглашение, которое в значительной степени позволяет компаниям самим регулировать себя. [ 2 , 3 ]
Пока неясно
- Что, если вообще что-либо, горсовет Нью-Йорка планирует делать после слушаний. Ни в одном документе не описываются предложенные законопроекты, голосования или последующие действия.
- Заявление Коксона о том, что большинство кода на его последней работе теперь пишется ИИ и больше не проверяется так тщательно. Сообщено только одним изданием; другие документы это не подтверждают.
- Содержание соглашения по ИИ, подписанного президентом Дональдом Трампом в конце прошлого месяца. В документах говорится лишь, что оно в значительной степени позволяет компаниям самим регулировать себя.
- Изменят ли компании, работающие над ИИ, практики или поддержат конкретные правила. Ни один документ не сообщает о обязательствах компаний помимо свидетельств о том, что они сосредоточены на безопасности.
Что пишут местные СМИ
Хронология, местное время
- New York Post публикует свой репортаж о показаниях Коксона, цитируя его слова о том, что компании ведут себя «крайне безрассудно». [ 1 ]
- Associated Press сообщает о слушаниях, отмечая пассивную позицию администрации Трампа и соглашение, позволяющее компаниям самим регулировать себя. [ 2 ]
- The Seattle Times публикует материал AP о слушаниях. [ 3 ]