OpenAI y Anthropic son dos de las compañías que más compiten por construir modelos de inteligencia artificial cada vez más capaces. Esta semana, sin embargo, sus máximos responsables se sentaron ante el Consejo de Seguridad de Naciones Unidas con un mensaje sorprendentemente parecido: avanzar más rápido deja de tener sentido si los humanos pierden la capacidad de entender o controlar lo que están construyendo.
Sam Altman y Dario Amodei intervinieron el 23 de septiembre en una sesión dedicada a la IA y la seguridad internacional. Altman sostuvo que las empresas no deberían entrenar sistemas si no pueden defender con pruebas sólidas que permanecerán bajo control humano. Amodei fue incluso más lejos al advertir de que, mal gestionada, la tecnología podría convertirse en “un riesgo para la humanidad en su conjunto”.
No es simplemente otro llamamiento genérico a utilizar la IA de forma responsable. Ambos están reclamando mecanismos internacionales para vigilar precisamente los sistemas que sus propias empresas están tratando de hacer más potentes.
El miedo ya no es solo que alguien utilice mal la IA
Una de las claves de las intervenciones fue que el problema planteado ante Naciones Unidas tiene dos caras. La primera es relativamente conocida: alguien podría utilizar modelos avanzados para ciberataques, desarrollar armas biológicas o causar daños a gran escala. La segunda resulta bastante más extraña: que los propios sistemas se vuelvan tan autónomos y rápidos que sus desarrolladores tengan dificultades para supervisarlos.
Altman habló específicamente de la llamada recursive self-improvement, el escenario en el que la IA empieza a participar cada vez más en la construcción de versiones futuras de sí misma. Si ese proceso acelera el progreso de forma drástica, explicó, las instituciones humanas podrían no ser capaces de seguirle el ritmo.
De ahí una de sus afirmaciones más contundentes: da igual que alguien estime el riesgo de una catástrofe en un 10%, un 1% o una fracción todavía menor. Para el CEO de OpenAI, esos niveles siguen siendo demasiado elevados como para justificar entrenar un sistema que no pueda mantenerse bajo control.
Amodei planteó algo similar desde Anthropic. Diferenció entre el mal uso deliberado de los modelos y una eventual pérdida de control sobre sistemas que mejoren y actúen más rápido que sus creadores.
Y esta vez han puesto propuestas concretas sobre la mesa
OpenAI pidió estándares nacionales e internacionales compatibles para medir las capacidades de los modelos, evaluar sus riesgos y comprobar si sus salvaguardias son suficientes. Altman también reclamó protocolos rápidos para comunicar incidentes y canales seguros entre gobiernos, operadores de infraestructuras críticas y expertos técnicos.
Anthropic propuso comenzar por terrenos donde resulte más sencillo alcanzar consensos: por ejemplo, acuerdos para impedir el uso de IA en la fabricación de armas biológicas. Después llegarían sistemas internacionales de evaluación y verificación, pruebas comunes para modelos avanzados y mecanismos para notificar incidentes relevantes.
El investigador Yoshua Bengio fue todavía más lejos. Ante el mismo Consejo propuso que las IA de frontera estén sometidas a licencias, comparando su supervisión con la de ámbitos como la aviación, la medicina o la energía nuclear. También pidió mecanismos de responsabilidad para sus desarrolladores.
El problema es que todavía no existe consenso político sobre hasta dónde debería llegar esa gobernanza. Mientras China defendió reforzar la cooperación y los mecanismos regulatorios transfronterizos, el representante estadounidense rechazó que Naciones Unidas establezca un esquema mundial de regulación y apostó por compartir buenas prácticas entre países.
Ahí está probablemente la parte más llamativa de la escena. Las empresas que desarrollan algunos de los modelos más avanzados del planeta están diciendo públicamente que la seguridad no puede depender únicamente de ellas. Altman lo resumió de otra manera: las decisiones importantes sobre la IA no deberían tomarse exclusivamente dentro de unos cuantos laboratorios de San Francisco.
La carrera por construir sistemas cada vez más potentes continúa. Lo que OpenAI y Anthropic llevaron ahora a Naciones Unidas es una pregunta mucho más difícil: qué debería ocurrir cuando ganar esa carrera empiece a ser menos importante que saber detenerse a tiempo.
