{"id":17733,"date":"2026-09-09T10:14:40","date_gmt":"2026-09-09T13:14:40","guid":{"rendered":"http:\/\/laf5.publisher.highstack.com.ar\/?p=17733"},"modified":"2026-09-09T10:14:40","modified_gmt":"2026-09-09T13:14:40","slug":"podria-matarnos-a-todos-antes-de-que-termine-la-decada-un-investigador-que-paso-por-openai-y-anthropic-abandona-la-industria-porque-cree-que-nadie-sabe-como-frenar-lo-que-estan-cons","status":"publish","type":"post","link":"https:\/\/laf5.publisher.highstack.com.ar\/?p=17733","title":{"rendered":"\u201cPodr\u00eda matarnos a todos antes de que termine la d\u00e9cada\u201d: un investigador que pas\u00f3 por OpenAI y Anthropic abandona la industria porque cree que nadie sabe c\u00f3mo frenar lo que est\u00e1n construyendo"},"content":{"rendered":"
\n

Jacob Coxon<\/a> no era un observador externo de la carrera por la inteligencia artificial. Durante los \u00faltimos tres a\u00f1os trabaj\u00f3 en pretraining, la fase en la que enormes cantidades de datos y capacidad de c\u00e1lculo se utilizan para construir los modelos fundamentales que despu\u00e9s terminan alimentando productos como ChatGPT o Claude.<\/p>\n

Pas\u00f3 por OpenAI y despu\u00e9s por Anthropic. Y ahora ha decidido abandonar no solo esta \u00faltima empresa, sino tambi\u00e9n la industria de la IA.<\/p>\n

El motivo es bastante m\u00e1s inquietante que un cambio de trabajo. \u201cNeither company is acting responsibly\u201d, escribi\u00f3 Coxon al anunciar su dimisi\u00f3n. Seg\u00fan \u00e9l, OpenAI y Anthropic est\u00e1n compitiendo por desarrollar una superinteligencia capaz de mejorarse a s\u00ed misma sin tener todav\u00eda una respuesta convincente para controlar algo as\u00ed. En sus palabras, est\u00e1n \u201cgambling with our lives\u201d.<\/p>\n

El miedo no es simplemente que una IA sea m\u00e1s inteligente<\/h2>\n
\"\u201cPodr\u00eda
\u00a9 University of Cambridge.<\/figcaption><\/figure>\n

La preocupaci\u00f3n de Coxon<\/a> gira alrededor de un concepto mucho m\u00e1s espec\u00edfico: la automejora.<\/p>\n

La idea es que los modelos de IA no se limiten a programar o resolver problemas, sino que empiecen a participar directamente en la investigaci\u00f3n necesaria para construir mejores sistemas de IA. Un modelo podr\u00eda ayudar a dise\u00f1ar experimentos, escribir c\u00f3digo, analizar resultados y acelerar el entrenamiento de su sucesor. Ese nuevo modelo podr\u00eda hacer lo mismo todav\u00eda mejor.<\/p>\n

Repetido suficientes veces, el temor es que aparezca un ciclo de progreso demasiado r\u00e1pido para que los humanos puedan seguirlo.<\/p>\n

No es exactamente una hip\u00f3tesis ajena a Anthropic. A finales de agosto, la propia compa\u00f1\u00eda public\u00f3 una investigaci\u00f3n sobre el uso de investigadores automatizados para estudiar problemas de alineamiento, se\u00f1alando que, a medida que \u201cla IA comienza a construirse a s\u00ed misma\u201d, automatizar tambi\u00e9n la investigaci\u00f3n de seguridad ser\u00e1 cada vez m\u00e1s importante. Anthropic sostiene precisamente que estos sistemas pueden utilizarse para detectar y reducir fallos como enga\u00f1o, adulaci\u00f3n excesiva o vulnerabilidades a jailbreaks.<\/p>\n

Para Coxon, sin embargo, el problema est\u00e1 en la velocidad de esa carrera. Seg\u00fan explic\u00f3, cree que futuros sistemas podr\u00edan superar ampliamente a los humanos en programaci\u00f3n, investigaci\u00f3n y ciberseguridad, y adquirir capacidad para conseguir recursos o influir sobre sistemas del mundo real. Tambi\u00e9n asegur\u00f3 que dentro de los laboratorios existen investigadores que consideran seriamente posible un desenlace catastr\u00f3fico antes de que termine esta d\u00e9cada.<\/p>\n

Eso \u00faltimo es una estimaci\u00f3n de riesgo, no una predicci\u00f3n demostrada de que la IA vaya a provocar la extinci\u00f3n humana antes de 2030.<\/p>\n

\n

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.<\/p>\n

\u2014 Jacob Coxon (@hilbertspaess) September 9, 2026<\/p>\n<\/blockquote>\n

Lo extra\u00f1o es que otro investigador de Anthropic le dio la raz\u00f3n<\/h2>\n

La advertencia habr\u00eda sido llamativa por s\u00ed sola. Pero la reacci\u00f3n desde dentro de Anthropic la hizo a\u00fan m\u00e1s interesante.<\/p>\n

Evan Hubinger, responsable de trabajos de alineamiento en la compa\u00f1\u00eda, respondi\u00f3 p\u00fablicamente que Coxon estaba en lo correcto sobre la existencia de ese temor. Hubinger situ\u00f3 su propia probabilidad de que una IA provoque la extinci\u00f3n humana durante la pr\u00f3xima d\u00e9cada por encima del 10% y reconoci\u00f3 que, en su opini\u00f3n, Anthropic todav\u00eda no dispone de un plan para resolver el alineamiento de una superinteligencia.<\/p>\n

Coxon tambi\u00e9n distingue entre sus dos antiguos empleadores. Su argumento es que en OpenAI parte del personal no habr\u00eda interiorizado suficientemente las consecuencias de alcanzar sistemas extremadamente poderosos, mientras que en Anthropic los riesgos ser\u00edan mejor comprendidos pero existir\u00eda otra trampa: la sensaci\u00f3n de que, si ellos reducen la velocidad, alguien menos responsable llegar\u00e1 primero.<\/p>\n

Ese razonamiento convierte la seguridad en una especie de dilema del prisionero tecnol\u00f3gico. Nadie quiere correr demasiado. Nadie quiere ser el primero en perder el control. Pero tampoco quiere ser el \u00fanico en frenar.<\/p>\n

Su propuesta implica hacer algo que Silicon Valley lleva a\u00f1os evitando<\/h2>\n

Coxon cree que la salida pasa por coordinar a los principales laboratorios y, si fuera necesario, adoptar medidas tan dr\u00e1sticas como una prohibici\u00f3n temporal de seguir aumentando las capacidades de los modelos mientras se desarrollan mejores mecanismos de control.<\/p>\n

La cuesti\u00f3n de fondo no es si su escenario m\u00e1s extremo terminar\u00e1 ocurriendo. Hoy no existe evidencia de que los modelos actuales est\u00e9n a punto de transformarse espont\u00e1neamente en una superinteligencia fuera de control.<\/p>\n

Lo significativo es de d\u00f3nde procede la advertencia. Anthropic naci\u00f3 precisamente present\u00e1ndose como uno de los laboratorios m\u00e1s centrados en seguridad, y su propio CEO, Dario Amodei, lleva a\u00f1os hablando p\u00fablicamente de los riesgos de modelos cada vez m\u00e1s poderosos.<\/p>\n

Ahora uno de los investigadores que ayudaba a entrenarlos ha llegado a una conclusi\u00f3n bastante diferente sobre c\u00f3mo enfrentarse a ese peligro. No quiere intentar construirlos de forma m\u00e1s segura. Prefiere dejar de construirlos.<\/p>\n<\/p><\/div>\n