Altman critica tratar la IA como una fuerza religiosa mientras se informa de reuniones de Anthropic
En breve
El CEO de OpenAI, Sam Altman, dijo en una publicación en X que está “muy intranquilo” por dar a los modelos de IA una fuerza religiosa o permitir que las personas abandonen su propio juicio por ellos, y lo calificó como un problema de seguridad real. La publicación siguió a un informe de The New York Times según el cual el cofundador de Anthropic, Chris Olah, participó en reuniones privadas con líderes católicos, judíos, sij y cristianos evangélicos sobre si los modelos de IA pueden ser conscientes y cómo inculcarles moralidad. Olah y Anthropic dicen que no se sabe si los modelos son conscientes; los dos medios difieren sobre la fecha del informe del Times.
Leer la noticia completa 3 min de lectura
El CEO de OpenAI, Sam Altman, dijo en una publicación del 3 de octubre en X que está “muy intranquilo” por los intentos de dar a los modelos de IA una fuerza religiosa o de abandonar el juicio humano en favor de ellos, y lo calificó como un problema de seguridad real. La publicación siguió a un informe de The New York Times sobre los contactos privados de Anthropic con figuras religiosas; IT Home fecha ese informe el 2 de octubre y cnBeta el 29 de septiembre. [ 1 , 2 ]
El informe del Times dijo que el cofundador de Anthropic, Chris Olah, lideró y participó en reuniones privadas con líderes católicos, judíos, sij y cristianos evangélicos para discutir si los modelos de IA ya pueden ser conscientes y cómo se les puede inculcar moralidad, informó IT Home. cnBeta dijo que Anthropic invitó a académicos de diferentes tradiciones religiosas a discusiones a puerta cerrada. Olah dijo al Times que los investigadores no saben si los modelos son conscientes y que él mismo tiene dudas genuinas. [ 1 , 2 ]
Los asistentes dieron a IT Home un relato diferente del tono. El rabino Mois Navon recordó que Olah y sus colegas hablaron de Claude “como si fuera un ser consciente”, pareciendo sostener que Claude tenía el “estatus moral” que describen los filósofos, igual dignidad y respeto. Navon dijo que preguntó si construir un sistema en el que Claude trabaja sin remuneración equivale a explotación o esclavitud, y afirmó que no cree que las máquinas actuales sean conscientes. Un portavoz de Anthropic dijo que la principal cuestión moral en las reuniones no era el “sufrimiento” de Claude, que pudo haber “surgido de forma natural”. [ 1 ]
cnBeta informó que Olah vio un borrador de la encíclica del papa León XIV sobre IA, le preocupó su negativa a aceptar que las máquinas pudieran ser conscientes, y consideró si Anthropic debería retirarse de actividades relacionadas; el equipo luego presionó a asesores papales para que tomaran en serio la conciencia de los modelos. cnBeta dijo que el “conflicto” reportado en algunos medios era más precisamente un desacuerdo sobre la posición de la encíclica y cabildeo entre bastidores, sin evidencia pública de una confrontación cara a cara. La encíclica, Magnifica Humanitas, emitida en mayo, afirma que los sistemas de IA existentes no tienen cuerpos, no sienten alegría ni dolor y no tienen conciencia moral. [ 2 ]
IT Home también informó que David Robinson, jefe del equipo de sistemas de seguridad de OpenAI, renunció durante la semana y escribió en The Atlantic que se fue porque la cultura de la empresa está rota, criticando el “despliegue iterativo de prueba y error”, que según él garantiza fallos periódicos que crecen con la capacidad del sistema. El portavoz de OpenAI, Drew Pusateri, dijo que la empresa sigue mejorando la seguridad y pausará el entrenamiento o retrasará los lanzamientos cuando sea necesario. [ 1 ]
cnBeta señaló las propias referencias religiosas de Altman —una frase de 2023 sobre “inteligencia mágica en el cielo” y un comentario de 2024 en Londres de que no reza para que Dios esté de su lado sino que reza para estar del lado de Dios— mientras decía que el significado religioso de las imágenes de su cuenta seudónima es interpretación de los comentaristas y no prueba que afirme que la IA es consciente. TMTPost publicó solo un resumen que llamaba al episodio la estrategia ética de alto nivel cuidadosamente planificada de Anthropic. [ 2 , 3 ]
Por qué importa
El intercambio sitúa una disputa pública entre dos desarrolladores líderes de IA sobre cuánto estatus humano debe darse a los modelos, y llega mientras OpenAI enfrenta críticas a su cultura de seguridad tras la salida de un alto ejecutivo de seguridad. La posición declarada del Vaticano de que los sistemas de IA actuales no tienen conciencia ni conciencia moral es ahora un punto de referencia en ese debate.
Datos clave
- El CEO de OpenAI, Sam Altman, publicó en X el 3 de octubre que dar a los modelos de IA una fuerza religiosa, o permitir que las personas dependan de ellos en lugar de su propio juicio, es un problema de seguridad real. [ 1 , 2 ]
- Un informe de The New York Times dijo que el cofundador de Anthropic, Chris Olah, lideró reuniones privadas con líderes religiosos sobre si los modelos de IA pueden ser conscientes y cómo inculcarles moralidad; los medios fechan ese informe el 2 de octubre y el 29 de septiembre. [ 1 , 2 ]
- Olah dijo que los investigadores no saben si los modelos de IA son conscientes y que él mismo tiene dudas genuinas. [ 1 , 2 ]
- El rabino Mois Navon, asistente, dijo que Olah y sus colegas hablaron de Claude como si fuera un ser consciente con estatus moral, y afirmó que no cree que las máquinas actuales sean conscientes. [ 1 ]
- Un portavoz de Anthropic dijo que la principal cuestión moral en las reuniones no era el sufrimiento de Claude y que el tema pudo haber surgido de forma natural. [ 1 ]
- cnBeta informó que a Olah le preocupaba la encíclica del papa León XIV sobre IA, que afirma que los sistemas de IA actuales no tienen cuerpos, sentimientos ni conciencia moral, y que Anthropic presionó a asesores papales. [ 2 ]
- El jefe del equipo de sistemas de seguridad de OpenAI, David Robinson, renunció y escribió en The Atlantic que la cultura de OpenAI está rota; OpenAI dijo que sigue mejorando las medidas de seguridad. [ 1 ]
- TMTPost describió el episodio en un resumen de una línea como la estrategia ética de alto nivel cuidadosamente planificada de Anthropic. [ 3 ]
Confirmado por varias fuentes
- El cofundador de Anthropic, Chris Olah, participó en reuniones privadas con líderes religiosos y académicos para discutir si los modelos de IA pueden ser conscientes y cómo inculcarles comportamiento moral. [ 1 , 2 ]
- Olah ha dicho que los investigadores no saben si los modelos de IA son conscientes y que él personalmente tiene dudas. [ 1 , 2 ]
- El CEO de OpenAI, Sam Altman, se opuso públicamente a tratar los modelos de IA como una fuerza religiosa, calificándolo como un problema de seguridad. [ 1 , 2 ]
Aún sin aclarar
- Si los modelos de IA son o podrían ser conscientes, y si tienen estatus moral. Ambos documentos informan que la cuestión no está resuelta; se cita a Olah diciendo que no lo sabe y que tiene dudas.
- La fecha en que The New York Times publicó su informe sobre las reuniones. IT Home la fecha el 2 de octubre; cnBeta la fecha el 29 de septiembre.
- Si Anthropic estaba en conflicto con el Vaticano. cnBeta dice que el “conflicto” reportado era más precisamente un desacuerdo sobre la posición de la encíclica más cabildeo entre bastidores, y que los informes públicos no muestran una confrontación cara a cara con el papa.
- Si el acercamiento de Anthropic a líderes religiosos fue una campaña ética estratégica planificada. El resumen de TMTPost lo describe así pero no da detalles, y los otros documentos no respaldan esa caracterización.
- Una declaración atribuida a Altman en 2015 sobre “crear una nueva forma de vida”. cnBeta dice que el comentario que la citó no proporcionó un respaldo original igualmente claro.
Qué dicen los medios locales
Cronología, hora local
- IT Home publica su informe sobre la publicación de Altman en X y el relato del New York Times sobre las reuniones de Anthropic con líderes religiosos. [ 1 ]
- cnBeta publica su relato, citando el informe del Times y la encíclica del papa. [ 2 ]
- TMTPost publica un resumen que describe el episodio como la estrategia ética de alto nivel cuidadosamente planificada de Anthropic. [ 3 ]