722 математические статьи OpenAI, написанные ИИ, вызвали вопросы; три отозваны из-за ошибок

OpenAI опубликовала 722 математические рукописи, написанные внутренней моделью искусственного интеллекта, которая не была обнародована, и заявила, что в них содержатся новые результаты по сотням нерешённых задач, однако математики говорят, что значительная часть результатов остаётся непроверенной, а три рукописи уже отозваны. По данным Newsis со ссылкой на Decrypt от 8 октября по местному времени, статьи были размещены на GitHub и сгруппированы в 372 группы связанных результатов, так что 722 статьи не означают 722 решённые задачи. OpenAI заявила, что предложила модели около 4000 задач и опубликовала только результаты, которые сочла значимыми; задачи охватывают такие области, как алгебра и математическая логика. [ 1 , 2 ]

ZDNet Korea со ссылкой на TechCrunch сообщило, что OpenAI опубликовала рукописи 6 октября и в течение суток отозвала три после обнаружения ошибок. Chosun Ilbo сообщило, что для следующего шага доказательства в одной из рукописей требовалось, чтобы некое значение равнялось нулю, но знак «плюс или минус» был применён неверно, поэтому необходимое условие не выполнялось; ещё две рукописи, зависевшие от этого вычисления, были отозваны вместе с ней. OpenAI также пересмотрела 14 рукописей, чтобы дополнить доказательства или исправить объяснения. Компания заявила, что обнаружила ошибки в ходе собственных проверок и быстро исправит их или отзовёт то, что исправить нельзя. [ 2 , 3 ]

OpenAI использовала Lean — программу, механически проверяющую каждый логический шаг доказательства, — чтобы проверить часть результатов, и издания приводят разные цифры о том, какую именно. Newsis сообщило, что ключевой результат был подтверждён с помощью Lean в 162 из 722 статей, около 22%. ZDNet Korea сообщило, что материалы компьютерной проверки существовали для 300 из 719 рукописей, около 42%, и что даже работа, проверенная машиной, требует дополнительного подтверждения математиками. OpenAI признала, что проверены не все результаты и что некоторые неформализованные результаты могут содержать проблемы. [ 1 , 2 ]

Исследователи из Кембриджского университета и Королевского колледжа Лондона изучили работу по задаче Навье — Стокса, которую, по заявлению OpenAI в прошлом месяце, она решила, и обнаружили, что написанное решение и код проверки на Lean расходятся как минимум в двух местах. По данным Chosun Ilbo, код, проверявший одно промежуточное вычисление, содержал более сильные условия, чем рукопись, в которой утверждалось, что вычисление верно при меньшем числе условий, поэтому успешное прохождение проверки не означает, что написанное объяснение проверено. Исследователи заявили, что само по себе это не доказывает ошибочность конечного вывода по задаче Навье — Стокса, и эта рукопись отозвана не была. [ 2 , 3 ]

OpenAI заявила, что большинство результатов получено от одного агента ИИ по одному запросу, причём для некоторых потребовалось несколько попыток, и что на каждый результат в среднем ушло около трёх часов вычислений ChatGPT Pro на этапе вывода — значительно меньше, чем 10 000 агентов, работавших 88 часов над задачей Навье — Стокса в прошлом месяце. Профессор MIT Andrew Sutherland отметил, что утверждение об одном агенте следует считать непроверенным, пока модель не будет выпущена, а другие исследователи не воспроизведут результаты. OpenAI не опубликовала запросы, хотя консультативная группа Института перспективных исследований в Принстоне в прошлом месяце рекомендовала сопровождать математические результаты ИИ названием модели, запросами, краткими изложениями рассуждений, временем и стоимостью вычислений; OpenAI опубликовала средние объёмы вычислений и краткие изложения рассуждений для 10 исследований. [ 1 , 2 ]

Консультативная группа IAS назвала публикацию важным событием для математики, но заявила, что консультирование OpenAI не означает одобрения результатов или способа их объявления, и выступила против того, чтобы компании в области ИИ решали задачи с помощью моделей, недоступных посторонним. Математик Терренс Тао раскритиковал случаи, когда те, кто утверждал, что ИИ решил задачу, не могли ответить на вопросы других математиков или объяснить работу на конференциях. По словам профессора математики Гарварда Melanie Wood, когда модели поручают решить трудную задачу, в момент объявления результата люди его не понимают, и настоящая работа начинается именно тогда. Профессор Abhishek Saha назвал этот день очень важным для математики, но отметил, что большинство результатов — это продвижения в рамках уже существующих направлений исследований; Newsis сообщило, что лишь об одной задаче, квази-гипотезе Римана, говорилось, что она приближается к уровню премий тысячелетия. OpenAI заявила, что опубликует дополнительные результаты проверки на Lean, рассмотрит возможность выпуска модели и поддержит семинары и конференции, чтобы математики могли проверить результаты. [ 1 , 2 ]