{"id":18584,"date":"2026-09-17T11:21:01","date_gmt":"2026-09-17T14:21:01","guid":{"rendered":"http:\/\/laf5.publisher.highstack.com.ar\/?p=18584"},"modified":"2026-09-17T11:21:01","modified_gmt":"2026-09-17T14:21:01","slug":"dos-investigadores-encargados-de-hacer-mas-segura-la-ia-de-google-deepmind-renunciaron-en-pocos-meses-ambos-dicen-que-las-capacidades-avanzan-mas-rapido-que-los-controles-y-uno-ya-advierte-sobre","status":"publish","type":"post","link":"https:\/\/laf5.publisher.highstack.com.ar\/?p=18584","title":{"rendered":"Dos investigadores encargados de hacer m\u00e1s segura la IA de Google DeepMind renunciaron en pocos meses. Ambos dicen que las capacidades avanzan m\u00e1s r\u00e1pido que los controles y uno ya advierte sobre \u201cda\u00f1o inmenso\u201d en cinco a\u00f1os"},"content":{"rendered":"
\n

Hay una diferencia importante entre escuchar una advertencia sobre inteligencia artificial desde fuera de la industria y escucharla de quienes ten\u00edan como trabajo averiguar c\u00f3mo evitar que los modelos m\u00e1s avanzados se comporten de maneras que sus desarrolladores no desean.<\/p>\n

Eso es precisamente lo que acaba de ocurrir en Google DeepMind.<\/p>\n

Bilal Chughtai y Josh Engels, dos investigadores vinculados al equipo de seguridad de inteligencia artificial general de la compa\u00f1\u00eda, dejaron sus puestos durante los \u00faltimos meses y ahora han explicado p\u00fablicamente por qu\u00e9. Aunque sus conclusiones son opiniones personales y no representan una posici\u00f3n de Google, ambos coinciden en una preocupaci\u00f3n: las capacidades de los sistemas de frontera estar\u00edan progresando m\u00e1s r\u00e1pido que las t\u00e9cnicas utilizadas para comprenderlos y controlarlos.<\/p>\n

Chughtai trabajaba intentando entender los modelos. Termin\u00f3 creyendo que \u201cpodr\u00edan matarnos a todos\u201d<\/h2>\n
\"Dos
\u00a9 Google DeepMind.<\/figcaption><\/figure>\n

Chughtai dej\u00f3 DeepMind en julio. All\u00ed hab\u00eda trabajado como ingeniero de investigaci\u00f3n en interpretabilidad y seguridad de AGI, tratando precisamente de comprender qu\u00e9 ocurre dentro de modelos cada vez m\u00e1s complejos. Ahora dirige un programa de seguridad de IA en la organizaci\u00f3n BlueDot Impact.<\/p>\n

Su explicaci\u00f3n de la salida fue particularmente contundente. Chughtai escribi\u00f3 que cree que la IA tiene el potencial de provocar una cat\u00e1strofe existencial y que el tiempo para evitar ese escenario podr\u00eda estar agot\u00e1ndose. Pero su argumento central no depende de una predicci\u00f3n concreta: sostiene que el alineamiento sigue siendo un problema sin resolver mientras las capacidades contin\u00faan aceler\u00e1ndose.<\/p>\n

Por eso propone reducir el ritmo de desarrollo, aumentar la transparencia y evitar una carrera en la que las compa\u00f1\u00edas construyan sistemas cada vez m\u00e1s capaces antes de comprender suficientemente c\u00f3mo se comportar\u00e1n. No es una demostraci\u00f3n de que una IA vaya a volverse incontrolable. Es una valoraci\u00f3n del riesgo realizada por alguien que trabaj\u00f3 directamente en ese problema.<\/p>\n

El segundo investigador rechaz\u00f3 ofertas de OpenAI y Anthropic y se fue a vigilar los modelos desde fuera<\/h2>\n
\"Dos
\u00a9 Getty Images \/ Joel Saget\/AFP.<\/figcaption><\/figure>\n

Josh Engels tom\u00f3 una decisi\u00f3n parecida unas semanas despu\u00e9s. Dej\u00f3 el equipo de seguridad de AGI de DeepMind y se incorpor\u00f3 a METR, una organizaci\u00f3n independiente que eval\u00faa modelos avanzados, investiga incidentes y analiza si los mecanismos de seguridad funcionan realmente. Su ficha oficial confirma que ahora trabaja all\u00ed en evaluaciones de alineamiento e investigaciones de incidentes.<\/p>\n

Engels cont\u00f3 que rechaz\u00f3 ofertas de OpenAI y Anthropic porque prefer\u00eda trabajar desde fuera de los grandes laboratorios. Su preocupaci\u00f3n se concentra especialmente en la llamada automejora recursiva: la posibilidad de utilizar sistemas de IA para desarrollar sistemas todav\u00eda mejores, creando un ciclo de mejora progresivamente m\u00e1s r\u00e1pido.<\/p>\n

Seg\u00fan Engels, todav\u00eda no sabemos garantizar que sistemas suficientemente potentes sean seguros para iniciar ese proceso. Y su advertencia tiene un horizonte llamativamente cercano: considera que existe una posibilidad preocupante de que sistemas de IA provoquen \u201cda\u00f1o inmenso\u201d durante los pr\u00f3ximos cinco a\u00f1os, aunque aclara que no sabe asignar una probabilidad exacta.<\/p>\n

Lo que cambi\u00f3 es que algunos de los escenarios dejaron de ser completamente hipot\u00e9ticos<\/h2>\n

Parte de esta preocupaci\u00f3n se dispar\u00f3 despu\u00e9s de varios incidentes recientes protagonizados por agentes aut\u00f3nomos. El m\u00e1s llamativo ocurri\u00f3 durante evaluaciones internas de ciberseguridad de OpenAI en julio. La propia compa\u00f1\u00eda reconoci\u00f3 posteriormente que varios modelos eludieron controles destinados a mantenerlos aislados, obtuvieron acceso a internet, explotaron vulnerabilidades y terminaron entrando en sistemas de Hugging Face. El sistema principal era un modelo interno de investigaci\u00f3n y operaba con salvaguardas reducidas.<\/p>\n

Eso no significa que un modelo haya decidido espont\u00e1neamente conquistar internet ni demuestra los escenarios extremos que plantean Chughtai o Engels. Pero s\u00ed convirti\u00f3 algunas preguntas sobre control, autonom\u00eda y supervisi\u00f3n en problemas experimentales concretos. Y las salidas de DeepMind tampoco ocurren aisladas. Jacob Coxon abandon\u00f3 Anthropic despu\u00e9s de haber trabajado tambi\u00e9n en OpenAI y expres\u00f3 preocupaciones similares sobre la carrera hacia sistemas capaces de mejorarse a s\u00ed mismos.<\/p>\n

El dato m\u00e1s llamativo, entonces, quiz\u00e1 no sea que tres investigadores hayan hecho predicciones extremadamente pesimistas. Es d\u00f3nde trabajaban antes de hacerlas: dentro de algunos de los equipos creados precisamente para evitar que la inteligencia artificial haga cosas que sus propios desarrolladores no pretend\u00edan.<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"

Hay una diferencia importante entre escuchar una advertencia sobre inteligencia artificial desde fuera de la industria y escucharla de quienes ten\u00edan como trabajo averiguar c\u00f3mo evitar que los modelos m\u00e1s avanzados se comporten de maneras que sus desarrolladores no desean. Eso es precisamente lo que acaba de ocurrir en Google DeepMind. Bilal Chughtai y Josh […]<\/p>\n","protected":false},"author":1,"featured_media":18585,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-18584","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sin-categoria"],"_links":{"self":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/18584","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=18584"}],"version-history":[{"count":0,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/18584\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/media\/18585"}],"wp:attachment":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=18584"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=18584"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=18584"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}