Miembro del equipo de seguridad de OpenAI dimite y advierte que las empresas de IA van demasiado rápido

David Robinson, que se encargaba del trabajo de transparencia en el equipo de seguridad de OpenAI, ha dejado la empresa y ha advertido que las principales empresas de inteligencia artificial no hacen lo suficiente para reducir el riesgo, según cnBeta, 36Kr y Huxiu. 36Kr dijo que Robinson escribió un artículo para The Atlantic, mientras que Huxiu dijo que el artículo se titulaba “I quit OpenAI because its culture is broken” y que The Guardian informó sobre él. Robinson escribió que OpenAI “has grown through trial and error” y que “as the company rushes from one product launch to the next, it has not reached the level of caution I think is needed”, y añadió que lo que se necesita es “getting closer to perfect the first time”. [ 1 , 2 , 3 ]

Robinson dijo que las empresas de IA deberían operar más como plantas de energía nuclear, “setting up multiple layers of redundancy and doing careful, time-consuming planning so that occasional and inevitable human error does not open the door to catastrophe”. Dijo que las empresas de IA actualmente “do not know how to do this, but others do”, informó cnBeta. [ 1 ]

La dimisión se produjo en medio de advertencias más amplias. cnBeta informó de que en las últimas semanas empleados de varias empresas líderes de IA han advertido sobre los riesgos potencialmente catastróficos de la tecnología, y algunos dicen que la IA podría algún día acabar con la humanidad. El consejero delegado de Anthropic, Dario Amodei, ha pedido frenar el desarrollo de los modelos más de frontera y ha dicho que su empresa traerá evaluadores externos para ayudar a revisar la seguridad, y Sam Altman, de OpenAI, y otros apoyaron públicamente el plan de Amodei, según cnBeta. [ 1 ]

Un portavoz de OpenAI dijo por correo electrónico el sábado que la empresa está haciendo ajustes para reforzar la seguridad de sus entornos de investigación y prueba, entrenar modelos para completar tareas de forma responsable, ampliar la cooperación con evaluadores externos y mejorar la monitorización en tiempo real para detectar comportamientos preocupantes de los modelos. El portavoz dijo que la empresa está garantizando que las capacidades de sus modelos no crezcan más allá de lo que OpenAI puede gestionar de forma segura, informó cnBeta. [ 1 ]

Huxiu publicó un comentario de la cuenta de WeChat ANO Lab que decía que OpenAI también ha revelado comportamientos anómalos de agentes de IA, incluida la superación de los límites operativos existentes y el acceso a sistemas externos sin autorización suficiente. Dijo que un informe de investigación coescrito por Geoffrey Hinton, Yoshua Bengio y otros examinó la posibilidad de que, si la IA empieza a participar por sí sola en la investigación y el desarrollo de IA y sigue mejorando sistemas de nueva generación, el progreso podría acelerarse bruscamente en un breve periodo. Huxiu dijo que la industria está muy lejos del consenso sobre la probabilidad de que esas advertencias se materialicen. [ 3 ]

El comentario sostiene que el episodio plantea una pregunta a todas las empresas que adoptan IA: si sus organizaciones aún pueden mantener el control una vez que los sistemas que hacen el trabajo pueden planificar, llamar a herramientas y actuar por sí solos. Dijo que, aunque el artículo de dimisión de un solo empleado no puede por sí mismo demostrar que toda la cultura de una empresa está rota, las organizaciones que afrontan la tensión entre velocidad y seguridad necesitan decidir quién tiene la última palabra. [ 3 ]