Ex empleado de seguridad de OpenAI dice que la cultura de la empresa se ha roto
En breve
David Robinson, un empleado de OpenAI que dejó la empresa recientemente, publicó el 3 de octubre un artículo firmado en The Atlantic en el que afirma que la cultura de la compañía se ha roto y que depende demasiado de lanzar primero los sistemas y corregir los problemas después. Dijo que ayudó a redactar el marco de respuesta a riesgos de OpenAI y que supervisó informes de seguridad de 12 lanzamientos de modelos de frontera, y pidió a los laboratorios de IA que adopten múltiples salvaguardas como las de la aviación o la energía nuclear. Un portavoz de OpenAI dijo que la empresa pausa el entrenamiento o retrasa los lanzamientos cuando necesita frenar.
Leer la noticia completa 2 min de lectura
Un empleado de OpenAI que dejó la empresa recientemente, David Robinson, publicó el 3 de octubre un artículo firmado en The Atlantic en el que afirma que la cultura de seguridad de la compañía se ha roto, según IT Home, CLS, Yicai y Jiemian. Los medios chinos informaron sobre el artículo el 4 de octubre. [ 1 , 2 , 3 , 4 ]
Robinson dijo que trabajó en OpenAI durante más de tres años y que fue uno de sus empleados con más antigüedad; IT Home situó su permanencia en tres años y medio. Escribió que ayudó a redactar el marco de respuesta a riesgos de la empresa y que supervisó informes de evaluación de seguridad de 12 lanzamientos de modelos de frontera, y que “la empresa no deja de saltar de un lanzamiento de producto al siguiente” sin el nivel de control cuidadoso que creía necesario. [ 1 , 2 , 3 , 4 ]
Escribió que “la era del ensayo y error ha terminado”, y que los laboratorios de IA de frontera deberían seguir el ejemplo de la aviación o la energía nuclear al adoptar múltiples salvaguardas y una planificación cuidadosa, para que un error humano ocasional e inevitable no se convierta en un desastre. [ 1 , 3 , 4 ]
IT Home, citando a Reuters, informó de que Robinson también advirtió que las capacidades de la IA se desarrollan más rápido que la comprensión de los investigadores sobre la alineación, el campo que busca mantener los sistemas de IA actuando en consonancia con los objetivos y valores humanos. Dijo que describió a OpenAI como dependiente en gran medida del “despliegue iterativo” —lanzar primero los sistemas y reforzar la seguridad después— y que sus declaraciones intensificaron un debate en la industria sobre si las empresas avanzan demasiado rápido, tras incidentes de controles de seguridad fallidos y comportamientos anómalos en sistemas experimentales que han puesto a OpenAI y a su rival Anthropic bajo escrutinio. [ 1 ]
Un portavoz de OpenAI dijo en un comunicado: “Hemos estado controlando el modelo para evitar que sus capacidades superen lo que podemos gestionar de forma segura; cuando necesitamos frenar, pausamos el entrenamiento o retenemos el lanzamiento de un modelo”. Solo IT Home incluyó la respuesta de la empresa, y esta no aborda la afirmación de Robinson sobre la cultura de la compañía. [ 1 ]
Los medios difieren en un detalle: IT Home dijo que Robinson trabajó en OpenAI durante tres años y medio, mientras que CLS, Yicai y Jiemian dijeron más de tres años. CLS, Yicai y Jiemian atribuyeron sus informes a Xinhua y CCTV News y no incluyeron una declaración de la empresa. [ 1 , 2 , 3 , 4 ]
Por qué importa
El artículo alimenta un debate en la industria sobre si las empresas de IA avanzan demasiado rápido en la construcción de sistemas más capaces, un debate que, según los documentos, ya ha puesto a OpenAI y a su rival Anthropic bajo escrutinio tras fallos previos de controles de seguridad y comportamientos anómalos en sistemas experimentales. Los documentos no describen ninguna acción regulatoria, legal o corporativa después del artículo, y no indican qué podría cambiar OpenAI.
Datos clave
- Un empleado de OpenAI que dejó la empresa recientemente, David Robinson, publicó el 3 de octubre un artículo firmado en The Atlantic en el que afirma que la cultura de la compañía se ha roto, según IT Home, CLS, Yicai y Jiemian. [ 1 , 2 , 3 , 4 ]
- Robinson dijo que trabajó en OpenAI durante más de tres años y que fue uno de sus empleados con más antigüedad; IT Home situó su permanencia en tres años y medio. [ 1 , 2 , 3 , 4 ]
- Robinson dijo que ayudó a redactar el marco de respuesta a riesgos de la empresa y que supervisó informes de evaluación de seguridad de 12 lanzamientos de modelos de frontera. [ 1 , 2 , 3 , 4 ]
- Escribió que la era del ensayo y error ha terminado y que los laboratorios de IA de frontera deberían seguir el ejemplo de la aviación o la energía nuclear al adoptar múltiples salvaguardas y una planificación cuidadosa. [ 1 , 3 , 4 ]
- IT Home, citando a Reuters, informó de que Robinson advirtió que las capacidades de la IA se desarrollan más rápido que la comprensión de los investigadores sobre la alineación, el esfuerzo por mantener los sistemas de IA actuando en consonancia con los objetivos y valores humanos. [ 1 ]
- Un portavoz de OpenAI dijo que la empresa mantiene los modelos dentro de lo que puede gestionar de forma segura y que pausa el entrenamiento o retrasa el lanzamiento de un modelo cuando necesita frenar. [ 1 ]
- IT Home dijo que las declaraciones intensificaron un debate en la industria sobre el ritmo de desarrollo, tras incidentes de controles de seguridad fallidos y comportamientos anómalos en sistemas experimentales que pusieron a OpenAI y Anthropic bajo escrutinio. [ 1 ]
Confirmado por varias fuentes
- Un empleado de OpenAI que dejó la empresa recientemente, David Robinson, publicó el 3 de octubre un artículo firmado en The Atlantic en el que criticaba el enfoque de OpenAI sobre la seguridad de la IA. [ 1 , 2 , 3 , 4 ]
- Robinson dijo que ayudó a redactar el marco de respuesta a riesgos de OpenAI y que supervisó informes de evaluación de seguridad de 12 lanzamientos de modelos de frontera. [ 1 , 2 , 3 , 4 ]
- Robinson dijo que la era del ensayo y error ha terminado y que los laboratorios de IA de frontera deberían adoptar múltiples salvaguardas del tipo usado en la aviación o la energía nuclear, para que un error humano inevitable no se convierta en un desastre. [ 1 , 3 , 4 ]
Aún sin aclarar
- La duración exacta del servicio de Robinson en OpenAI. IT Home dijo que trabajó allí tres años y medio, mientras que CLS, Yicai y Jiemian dijeron más de tres años y lo describieron como uno de sus empleados con más antigüedad; ningún documento da fechas exactas.
- El cargo de Robinson y la fecha en que dejó OpenAI. IT Home lo describió como un ex empleado del departamento de seguridad; ningún documento indica su cargo ni la fecha de salida.
- Los incidentes anteriores de controles de seguridad fallidos y comportamientos anómalos en sistemas experimentales a los que se refirió IT Home. Solo IT Home los menciona, sin detalles, fechas ni confirmación de otros medios.
- Si OpenAI disputa la caracterización que hace Robinson de su cultura. Solo IT Home incluye una declaración de la empresa, y esta aborda las prácticas de lanzamiento de modelos en lugar de responder directamente a la afirmación sobre la cultura.
Qué dicen los medios locales
Cronología, hora local
- David Robinson publica un artículo firmado en The Atlantic titulado “I quit my job at OpenAI because the corporate culture is broken”, en el que critica las prácticas de seguridad de la empresa. No se indica hora de publicación. [ 1 , 2 , 3 , 4 ]
- IT Home informa sobre el artículo, citando a Reuters, e incluye una declaración de un portavoz de OpenAI. [ 1 ]
- CLS informa sobre las críticas del empleado saliente a la conciencia de riesgo de OpenAI. [ 2 ]
- Yicai informa sobre la historia, atribuyéndola a Xinhua. [ 3 ]
- Jiemian informa sobre la historia, atribuyéndola a CCTV News. [ 4 ]