Los 722 artículos de matemáticas escritos por IA de OpenAI, bajo escrutinio; tres retirados por errores

OpenAI ha publicado 722 manuscritos de matemáticas escritos por un modelo interno de inteligencia artificial que no se ha hecho público y afirmó que contienen resultados nuevos sobre cientos de problemas sin resolver, pero matemáticos señalan que gran parte de los resultados sigue sin verificarse y tres manuscritos ya se han retirado. Según Newsis, que cita a Decrypt el 8 de octubre hora local, los artículos se publicaron en GitHub y están organizados en 372 grupos de resultados relacionados, por lo que 722 artículos no significan 722 problemas resueltos. OpenAI dijo que planteó al modelo unos 4000 problemas y publicó solo los resultados que consideró significativos; los problemas abarcan campos como el álgebra y la lógica matemática. [ 1 , 2 ]

ZDNet Korea, citando a TechCrunch, informó de que OpenAI publicó los manuscritos el 6 de octubre y retiró tres en un día tras detectarse errores. Chosun Ilbo informó de que un manuscrito necesitaba que cierto valor fuera igual a cero para el siguiente paso de la demostración, pero aplicó de forma incorrecta un signo más o menos, de modo que no se cumplía la condición requerida; otros dos manuscritos que dependían de ese cálculo se retiraron con él. OpenAI también revisó 14 manuscritos para completar demostraciones o corregir explicaciones. La compañía dijo que detectó los errores en sus propias comprobaciones y que los corregiría con rapidez o retiraría lo que no pudiera corregirse. [ 2 , 3 ]

OpenAI usó Lean, un programa que comprueba de forma mecánica cada paso lógico de una demostración, para verificar parte de los resultados, y los medios ofrecen cifras distintas sobre cuánto. Newsis informó de que el resultado central se confirmó con Lean en 162 de los 722 artículos, alrededor del 22%. ZDNet Korea informó de que existía material de verificación por ordenador para 300 de 719 manuscritos, alrededor del 42%, y de que incluso el trabajo comprobado por máquina requiere una confirmación adicional por parte de matemáticos. OpenAI reconoció que no todos los resultados están verificados y que algunos resultados que no se han formalizado pueden contener problemas. [ 1 , 2 ]

Investigadores de la Universidad de Cambridge y del King's College de Londres examinaron el trabajo sobre Navier-Stokes que OpenAI dijo el mes pasado haber resuelto y hallaron que la solución escrita y el código de verificación con Lean difieren en al menos dos puntos. Según Chosun Ilbo, el código que comprobaba un cálculo intermedio incluía condiciones más fuertes que el manuscrito, que afirmaba que el cálculo se cumplía con menos condiciones, por lo que superar la comprobación no significa que la explicación escrita se haya verificado. Los investigadores dijeron que eso por sí solo no demuestra que la conclusión final sobre Navier-Stokes sea errónea, y ese manuscrito no se ha retirado. [ 2 , 3 ]

OpenAI dijo que la mayoría de los resultados provienen de un solo agente de IA con una única instrucción, y que algunos requirieron varios intentos, y que cada resultado usó en promedio unas tres horas de cómputo de inferencia de ChatGPT Pro, muy por debajo de los 10 000 agentes ejecutados durante 88 horas en Navier-Stokes el mes pasado. Andrew Sutherland, del MIT, dijo que la afirmación del agente único debe considerarse no verificada hasta que se publique el modelo y otros investigadores reproduzcan los resultados. OpenAI no publicó las instrucciones, aunque un grupo asesor del Instituto de Estudios Avanzados de Princeton recomendó el mes pasado que los resultados matemáticos de IA vayan acompañados del nombre del modelo, las instrucciones, los resúmenes de razonamiento, el tiempo y el coste de cómputo; OpenAI publicó el cómputo medio y los resúmenes de razonamiento de 10 estudios. [ 1 , 2 ]

El grupo asesor del IAS calificó la publicación de acontecimiento importante para las matemáticas, pero dijo que haber asesorado a OpenAI no significa que respalde los resultados ni la forma en que se anunciaron, y se ha opuesto a que las empresas de IA resuelvan problemas con modelos que los ajenos no pueden usar. El matemático Terence Tao criticó casos en que quienes afirmaban que una IA había resuelto un problema no podían responder a las preguntas de otros matemáticos ni explicar el trabajo en conferencias. Melanie Wood, de matemáticas en Harvard, dijo que cuando se le pide a un modelo que resuelva un problema difícil, las personas no entienden el resultado en el momento en que se anuncia y es entonces cuando empieza el trabajo real. Abhishek Saha, docente de matemáticas, lo calificó de día muy importante para las matemáticas, pero dijo que la mayoría de los resultados eran avances dentro de líneas de investigación existentes; Newsis informó de que solo un problema, la hipótesis cuasi-Riemann, se decía cercano al nivel de los Premios del Milenio. OpenAI dijo que publicaría más verificaciones con Lean, estudiaría publicar el modelo y apoyaría talleres y conferencias para que los matemáticos puedan revisar los resultados. [ 1 , 2 ]