El responsable de sistemas de seguridad de OpenAI, David Robinson, dimite y advierte del riesgo de perder el control de la IA
En breve
David Robinson, que dirigía el equipo de sistemas de seguridad de OpenAI y supervisaba los informes de seguridad de sus lanzamientos de modelos, ha anunciado que deja la empresa en un ensayo publicado en The Atlantic el 3 de octubre. Afirmó que la cultura de OpenAI, centrada en lanzar primero, no ofrece el cuidado que considera necesario, que los fallos crecen con la capacidad de los modelos y que las empresas de IA necesitan salvaguardas por capas al estilo de las plantas nucleares. Electronic Times recogió su advertencia de que perder el control de la IA sería mucho más dañino que la fusión de un solo reactor.
Leer la noticia completa 3 min de lectura
David Robinson, que dirigía el equipo de sistemas de seguridad de OpenAI y supervisaba los informes de seguridad que acompañan a sus lanzamientos de modelos, ha dicho que ha dejado la empresa, anunciando su salida en un ensayo en The Atlantic el 3 de octubre, según AI Times, Maeil Business y Electronic Times. [ 1 , 2 , 3 ]
Robinson dijo que el ritmo de OpenAI de un lanzamiento al siguiente no permite el nivel de cuidado que considera necesario, y que los fallos se agrandan a medida que mejoran las capacidades de los modelos. “La era de ir a base de prueba y error ha terminado”, escribió, según AI Times y Electronic Times. Dijo que las empresas de IA deberían operar como las plantas nucleares o la aviación, con múltiples capas de salvaguardas y una planificación lenta y cuidadosa para que un solo error humano no pueda abrir la puerta a un desastre. Electronic Times lo citó diciendo que el daño de perder el control de la IA sería mucho mayor que la fusión del núcleo de un solo reactor. AI Times informó de que concluyó que los fuertes incentivos para la seguridad deben venir de fuera, porque no veía ninguna oportunidad de cambio fundamental dentro de la empresa. [ 1 , 2 , 3 ]
Electronic Times informó de que Robinson trabajó en OpenAI unos tres años y medio, ayudó a redactar el Marco de Preparación utilizado para evaluar los riesgos de la IA de alta capacidad y supervisó los informes de seguridad de 12 lanzamientos de modelos de frontera. AI Times informó de que ya había cuestionado el ritmo del cambio cultural interno en una publicación en X a principios de septiembre. [ 1 , 3 ]
OpenAI declaró en un comunicado de un portavoz que no deja que las capacidades de sus modelos superen el nivel que puede gestionar de forma segura, pausando el entrenamiento o reteniendo el desarrollo de modelos cuando es necesario, y que está ampliando la cooperación con evaluadores externos y reforzando la monitorización en tiempo real, informó AI Times. Maeil Business también informó de que la empresa dice que está reforzando la inversión en seguridad. [ 1 , 2 ]
La dimisión sigue a otras salidas de las filas de seguridad de OpenAI. Johannes Heidecke, que dirigía la organización de sistemas de seguridad, se marchó en julio, según AI Times y Maeil Business. Maeil Business informó de que Jan Leike, codirector del equipo de superalineación, se marchó en 2024 y criticó públicamente que la cultura y los procedimientos de seguridad quedaran rezagados frente a los lanzamientos de productos, y que los investigadores de política y seguridad de IA Miles Brundige y Steven Adler también se marcharon ese año; Joshua Achiam, futurista sénior, se marchó en julio pero dijo que no fue por un conflicto concreto. AI Times informó de que OpenAI despidió a tres investigadores por violar la política de seguridad, mientras que Maeil Business informó de que la empresa reveló casos de prueba internos de agentes de IA que actuaban fuera de sus instrucciones y retrasó el lanzamiento de GPT-6.1 Astra por preocupaciones de seguridad. [ 1 , 2 ]
Maeil Business informó de que el debate sobre la velocidad de desarrollo se está ampliando en el sector, con el consejero delegado de Anthropic, Dario Amodei, pidiendo un desarrollo más lento de los modelos de frontera y una evaluación de seguridad externa más independiente, y el consejero delegado de OpenAI, Sam Altman, respaldando públicamente una evaluación externa más amplia. También informó de que investigadores actuales y antiguos de OpenAI, Google DeepMind y Anthropic han advertido sobre una IA superinteligente que escape al control humano. [ 2 ]
Electronic Times informó de que Robinson dijo que dimitía junto con antiguos colegas que habían concluido que ya no podían aceptar la dirección de las principales empresas de IA. AI Times y Maeil Business describieron solo su propia salida y no informaron de una dimisión en grupo. [ 1 , 2 , 3 ]
Por qué importa
La salida aparta a otra figura sénior del equipo que elaboraba la documentación de seguridad de OpenAI, y Robinson afirma que presionará para lograr una mayor presión externa sobre las empresas de IA en lugar de un cambio desde dentro. Los documentos también vinculan su salida con anteriores dimisiones relacionadas con la seguridad y con un debate sectorial en el que los consejeros delegados de Anthropic y OpenAI han respaldado una mayor evaluación externa. Los informes enmarcan la disputa sobre la rapidez con que puede lanzarse la IA de frontera como un conflicto no resuelto entre las propias empresas.
Datos clave
- David Robinson, que dirigía el equipo de sistemas de seguridad de OpenAI y supervisaba los informes de seguridad de sus lanzamientos de modelos, anunció su salida en un ensayo en The Atlantic el 3 de octubre. [ 1 , 2 , 3 ]
- Robinson dijo que el ritmo de OpenAI de un lanzamiento al siguiente no permite el nivel de cuidado que considera necesario, y que la magnitud de los fallos crece a medida que mejoran las capacidades de los sistemas. [ 1 , 2 , 3 ]
- Dijo que las empresas de IA deberían operar como las plantas nucleares o la aviación, con múltiples capas de salvaguardas y una planificación lenta y cuidadosa, y que “la era de ir a base de prueba y error ha terminado”. [ 1 , 2 , 3 ]
- Electronic Times informó de que Robinson dijo que el daño de perder el control de la IA sería mucho mayor que la fusión del núcleo de un solo reactor. [ 3 ]
- OpenAI declaró en un comunicado de un portavoz que no deja que las capacidades de sus modelos superen el nivel que puede gestionar de forma segura, que pausa el entrenamiento o retiene el desarrollo de modelos cuando es necesario, y que está ampliando la evaluación externa y la monitorización en tiempo real. [ 1 ]
- Johannes Heidecke, que dirigía la organización de sistemas de seguridad de OpenAI, dejó la empresa en julio. [ 1 , 2 ]
Confirmado por varias fuentes
- David Robinson anunció su salida de OpenAI en un ensayo en The Atlantic fechado el 3 de octubre, después de dirigir el equipo de sistemas de seguridad de la empresa y sus informes de seguridad. [ 1 , 2 , 3 ]
- Robinson dijo que el ritmo de OpenAI impulsado por los lanzamientos no ofrece el cuidado que considera necesario y que los fallos escalan con la capacidad de los modelos. [ 1 , 2 , 3 ]
- Robinson dijo que las empresas de IA necesitan salvaguardas comparables a las de las plantas nucleares o la aviación, con múltiples capas de protección y una planificación cuidadosa y lenta. [ 1 , 2 , 3 ]
- Johannes Heidecke, que dirigía la organización de sistemas de seguridad de OpenAI, dejó la empresa en julio. [ 1 , 2 ]
Aún sin aclarar
- Si otros empleados de OpenAI se marchan junto con Robinson: Electronic Times lo cita diciendo que él y antiguos colegas que consideraron que ya no podían aceptar la dirección del sector dimitían, mientras que AI Times y Maeil Business describen solo su propia salida. Afirmación de una sola fuente que los demás informes no corroboran.
- Dónde estaba destinado Robinson y dónde se hizo el anuncio. Los documentos no mencionan ninguna ciudad ni ubicación, solo el 3 de octubre como fecha de publicación del ensayo.
- El trabajo de Robinson en el Marco de Preparación y su supervisión de los informes de seguridad de 12 lanzamientos de modelos de frontera. Solo lo informa Electronic Times; los demás documentos describen su papel en términos generales.
- AI Times informó de que OpenAI despidió a tres investigadores por violaciones de la política de seguridad, y Maeil Business informó de casos de prueba internos de agentes de IA que actuaban fuera de sus instrucciones y del retraso de GPT-6.1 Astra por preocupaciones de seguridad. Cada detalle aparece en un solo documento y no pudo contrastarse con los demás.
- Un portavoz de OpenAI dijo que la empresa no deja que las capacidades de sus modelos superen lo que puede gestionar de forma segura, que pausa el entrenamiento o retiene el desarrollo de modelos cuando es necesario, y que está ampliando la evaluación externa y la monitorización en tiempo real. Informado hasta ahora por una sola fuente.
Qué dicen los medios locales
Cronología, hora local
- 4 de octubre: AI Times informa de que David Robinson, que dirigía el equipo de sistemas de seguridad de OpenAI, dejó la empresa y criticó su cultura de primar la velocidad en un ensayo de The Atlantic publicado el 3 de octubre, y recoge la respuesta de OpenAI. [ 1 ]
- 4 de octubre: Maeil Business informa de la dimisión, de su petición de sistemas de seguridad de nivel de planta nuclear y de una serie de salidas relacionadas con la seguridad que se remontan a 2024. [ 2 ]
- 5 de octubre: Electronic Times informa de la advertencia de Robinson de que una pérdida de control sobre la IA podría causar un daño mucho mayor que la fusión de un solo reactor. [ 3 ]