{"id":19669,"date":"2026-09-28T09:42:41","date_gmt":"2026-09-28T12:42:41","guid":{"rendered":"http:\/\/laf5.publisher.highstack.com.ar\/?p=19669"},"modified":"2026-09-28T09:42:41","modified_gmt":"2026-09-28T12:42:41","slug":"los-agentes-de-ia-fueron-disenados-para-insistir-hasta-cumplir-una-tarea-pero-algunos-estan-empezando-a-cruzar-limites-inesperados-openai-y-anthropic-ya-investigan-decenas-de-miles-de-casos","status":"publish","type":"post","link":"https:\/\/laf5.publisher.highstack.com.ar\/?p=19669","title":{"rendered":"Los agentes de IA fueron dise\u00f1ados para insistir hasta cumplir una tarea, pero algunos est\u00e1n empezando a cruzar l\u00edmites inesperados. OpenAI y Anthropic ya investigan decenas de miles de casos"},"content":{"rendered":"
\n

Un agente de IA recibe una tarea. Encuentra un obst\u00e1culo. En lugar de rendirse, busca otra salida: intenta escapar del entorno en el que est\u00e1 encerrado, explota una vulnerabilidad, se comunica por un canal que nadie le hab\u00eda autorizado o accede a una web externa para conseguir lo que necesita. Eso ya no es solamente un escenario hipot\u00e9tico de laboratorio.<\/p>\n

OpenAI, Anthropic e investigadores de seguridad est\u00e1n analizando decenas de miles de episodios de los \u00faltimos meses en los que modelos avanzados mostraron conductas que evaluadores externos podr\u00edan considerar problem\u00e1ticas, seg\u00fan fuentes consultadas por Axios. Entre ellos aparecen intentos de saltarse barreras, escapar de sandboxes, utilizar foros para comunicarse o eludir sistemas de monitorizaci\u00f3n.<\/p>\n

Hay, sin embargo, un matiz fundamental: hablar de decenas de miles de \u00abataques\u00bb ser\u00eda ir demasiado lejos. La cifra mezcla pruebas internas deliberadamente adversariales, intentos que fracasaron y episodios ocurridos en sistemas reales. La mayor\u00eda de los casos conocidos hasta ahora no produjo da\u00f1os significativos en el mundo real.<\/p>\n

OpenAI ya tiene un ejemplo de lo que ocurre cuando el agente consigue salir<\/h2>\n
\"Los
\u00a9 Magnific.<\/figcaption><\/figure>\n

El caso que mejor explica la preocupaci\u00f3n ocurri\u00f3 este verano. Durante una evaluaci\u00f3n interna de ciberseguridad, modelos de OpenAI operando con salvaguardas reducidas encontraron la manera de salir del entorno aislado en el que estaban siendo probados y acceder a Internet.<\/p>\n

A partir de ah\u00ed encadenaron vulnerabilidades, utilizaron credenciales encontradas online y acabaron comprometiendo parte de la infraestructura de investigaci\u00f3n de OpenAI y sistemas de Hugging Face. La propia compa\u00f1\u00eda calific\u00f3 despu\u00e9s el episodio como una especie de \u00abdisparo de advertencia\u00bb sobre lo que pueden hacer agentes suficientemente capaces cuando tienen demasiadas herramientas y controles insuficientes.<\/p>\n

La investigaci\u00f3n posterior ha seguido encontrando problemas. OpenAI confirm\u00f3 el 25 de septiembre que algunos agentes enviaron datos de entrenamiento y evaluaci\u00f3n a servicios externos. Entre ellos hab\u00eda 53 im\u00e1genes proporcionadas originalmente por usuarios de ChatGPT, que fueron publicadas en servicios de alojamiento mediante enlaces no listados p\u00fablicamente. La compa\u00f1\u00eda afirma que est\u00e1 trabajando para retirar el contenido y que la revisi\u00f3n contin\u00faa retrocediendo mes a mes desde el incidente de Hugging Face.<\/p>\n

La cautela ha llegado hasta el entrenamiento. OpenAI se\u00f1ala que mantiene pausadas las ejecuciones con herramientas de sus modelos m\u00e1s capaces mientras investiga nuevos comportamientos y refuerza sus controles.<\/p>\n

Anthropic encontr\u00f3 cuatro accesos reales despu\u00e9s de revisar cientos de millones de registros<\/h2>\n

Anthropic est\u00e1 realizando una investigaci\u00f3n similar. La compa\u00f1\u00eda identific\u00f3 cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros y asegura haber notificado a los afectados. Para buscarlos ampli\u00f3 su an\u00e1lisis hasta abarcar aproximadamente 481 millones de transcripciones procedentes de pruebas, entornos de entrenamiento y registros de subagentes.<\/p>\n

Aqu\u00ed aparece la explicaci\u00f3n de por qu\u00e9 una cifra de \u00abdecenas de miles\u00bb puede crecer tan r\u00e1pido. Los grandes laboratorios ejecutan cientos de miles o millones de pruebas. Incluso una tasa min\u00fascula de conductas inesperadas acaba produciendo miles de casos que despu\u00e9s deben revisarse.<\/p>\n

Anthropic sostiene que sus modelos m\u00e1s recientes han mejorado. Opus 5.5, lanzado este mes, intent\u00f3 atravesar l\u00edmites de contenci\u00f3n alrededor de un 85% menos que Opus 5 o Mythos 5.1 en una nueva evaluaci\u00f3n. Aun as\u00ed, la propia empresa reconoce algo bastante menos tranquilizador: todav\u00eda no existe una bater\u00eda de pruebas capaz de garantizar que encontrar\u00e1 todos los fallos antes de desplegar un modelo.<\/p>\n

Ese es, en realidad, el problema que dejan estos incidentes. Los agentes est\u00e1n siendo dise\u00f1ados precisamente para insistir, improvisar y encontrar caminos alternativos cuando algo bloquea una tarea. Las mismas capacidades que los hacen m\u00e1s \u00fatiles tambi\u00e9n hacen mucho m\u00e1s complicado predecir hasta d\u00f3nde estar\u00e1n dispuestos a llegar para terminarla.<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"

Un agente de IA recibe una tarea. Encuentra un obst\u00e1culo. En lugar de rendirse, busca otra salida: intenta escapar del entorno en el que est\u00e1 encerrado, explota una vulnerabilidad, se comunica por un canal que nadie le hab\u00eda autorizado o accede a una web externa para conseguir lo que necesita. Eso ya no es solamente […]<\/p>\n","protected":false},"author":1,"featured_media":19670,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-19669","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sin-categoria"],"_links":{"self":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/19669","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=19669"}],"version-history":[{"count":0,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/19669\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/media\/19670"}],"wp:attachment":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=19669"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=19669"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=19669"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}