![](\"https:\/\/es.gizmodo.com\/app\/uploads\/2026\/09\/Diseno-sin-titulo-60-1024x683.jpg\")
<\/p>\n<\/p>\n
OpenAI<\/span> lanz\u00f3 GPT-6 Astra<\/span> el jueves y dijo que es \u201cel modelo m\u00e1s inteligente y con mejor alineaci\u00f3n en el mundo\u201d. El presidente de la compa\u00f1\u00eda Greg Brockman fue m\u00e1s all\u00e1, y afirm\u00f3 que se lo recordar\u00e1 como la primera mirada aut\u00e9ntica a la inteligencia artificial generl, el amanecer de un nuevo mundo en el que las computadoras son m\u00e1s inteligentes que los humanos.<\/span><\/p>\n Lo que no mencion\u00f3 es que con un salto en inteligencia tambi\u00e9n llega una mayor dificultad para entender c\u00f3mo funcionan esos sistemas. Y eso, en el futuro, podr\u00eda ser un grave problema ya que los agentes de IA<\/span> siguen haciendo lo que les place<\/span> y no hay salvaguardas gubernamentales.<\/span><\/p>\n En las \u00faltimas semanas OpenAI pas\u00f3 por mucho, y eso tiene su peso, considerando que a lo largo de su historia ha tenido una controversia detr\u00e1s de otra. El martes, menos de una semana despu\u00e9s de que compa\u00f1\u00edas independientes como Redwood Research y METR publicaran sus investigaciones del reciente hackeo de Hugging Face, The Information<\/span> dijo<\/span> que Astra se hab\u00eda desarrollado parcialmente usando una t\u00e9cnica que brinda mayor capacidad a la IA, pero al mismo tiempo oculta su proceso de razonamiento, los pasos que da para resolver un problema en particular, incluyendo cualquier error peligroso que cometa en ese proceso.<\/span><\/p>\n Son pasos que tradicionalmente quedan registrados en las transcripciones de la cadena de pensamiento (CT), b\u00e1sicamente el proceso de detecci\u00f3n del patr\u00f3n del modelo que traduce el lenguaje de la m\u00e1quina al ingl\u00e9s o algo bastante parecido. No es perfecto, pero al menos tienes una ventana para ver c\u00f3mo \u201cpiensa\u201d un modelo de IA. Adem\u00e1s, result\u00f3 esencial para los investigadores tercerizados que pudieron revelar c\u00f3mo lograban los agentes de OpenAI formar un \u201cenjambre\u201d para violar Hugging Face. La falta de transcripciones de la CoT \u201chabr\u00eda impedido en mucho nuestra investigaci\u00f3n\u201d,<\/span> escribi\u00f3 en X<\/span> Ryan Greenblatt, cient\u00edfico en jefe de Redwood Research que encabez\u00f3 el sondeo del hackeo de Hugging Face.<\/span><\/p>\n Por eso hubo alarma cuando The Information afirm\u00f3 que OpenAI avanzaba con una t\u00e9cnica que convertir\u00eda a sus sistemas de IA cada vez m\u00e1s en algo as\u00ed como una caja negra. \u201cPodr\u00eda tratarse del peor desarrollo para la seguridad de la IA hasta ahora\u201d, dijo Greenblatt en su posteo.<\/span><\/p>\n El cient\u00edfico en jefe de OpenAI Jakub Pachocki dijo que ese informe estaba confundido, pero no dio especificaciones ni neg\u00f3 el uso de una profundidad mayor para entrenar a Astra. A mediados del a\u00f1o pasado Pachocki y otros investigadores de OpenAI aparecieron como coautores de un trabajo que argumentaba que la CoT era un mecanismo valioso pero \u201cfr\u00e1gil\u201d para monitorear el comportamiento de los agentes de IA. OpenAI tambi\u00e9n afirm\u00f3 que monitorear la CoT ayud\u00f3 a sus investigadores a corregir los errores de alineaci\u00f3n de los modelos. Y en un<\/span> posteo de blog<\/span> del mismo d\u00eda en que sali\u00f3 el informe de The Information, la compa\u00f1\u00eda digo en t\u00e9rminos bastante vagos que su nuevo modelo se lanzar\u00eda con \u201cmonitoreo adicional de la cadena de pensamiento para detectar y contener cualquier acci\u00f3n potencialmente sin alineaci\u00f3n\u201d.<\/span><\/p>\n La tarjeta de seguridad del modelo tampoco brinda certeza ni tranquilidad. Seg\u00fan las pruebas internas de la propia compa\u00f1\u00eda \u201cGPT-6 Astra muestra una disminuci\u00f3n sustancial en la capacidad de monitoreo de la cadena de pensamiento, comparado con modelos anteriores\u201d. Tambi\u00e9n en las pruebas se vio que Astra tiene m\u00e1s probabilidades que sus antecesores de cambiar su proceso de toma de notas cuando ve que se la est\u00e1 calificando: En una de nuestras evaluaciones vimos que con solo informarle al modelo que se estaba monitoreando su CoT, el modelo acorta su CoT\u201d, escribi\u00f3 OpenAI en la tarjeta del sistema.<\/span><\/p>\n Todo esto, sin embargo, es secundario seg\u00fan la compa\u00f1\u00eda porque las pruebas internas mostraron que Astra tiene menos probabilidades de tratar de eludir las restricciones de ciberseguridad que se le imponen, \u201cy eso hace que nos sintamos m\u00e1s confiados para lanzar este modelo al p\u00fablico en general\u201d. A\u00f1aden que OpenAI \u201cno acepta degradar el monitoreo m\u00e1s all\u00e1 de un l\u00edmite\u201d, aunque no aclararon ni definieron cu\u00e1l es ese l\u00edmite.<\/span><\/p>\n El investigador de alineaci\u00f3n de OpenAI Tomek Korbak dijo que la disminuci\u00f3n en aceptaci\u00f3n de monitoreo era subproducto de que los modelos se vuelven m\u00e1s inteligentes, m\u00e1s que por \u201ccambios en la arquitectura\u201d, pero eso por cierto est\u00e1 haciendo referencia a la profundidad recurrente. En el mismo hilo dijo que \u201cle preocupaba mucho\u201d la idea de perder la CoT a medida que evolucionen los modelos. \u201cEl monitoreo de la CoT forma parte central en nuestra estrategia de seguridad para los fallos de alineaci\u00f3n y no tenemos nada que lo reemplace\u201d, escribi\u00f3.<\/span><\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":" OpenAI lanz\u00f3 GPT-6 Astra el jueves y dijo que es \u201cel modelo m\u00e1s inteligente y con mejor alineaci\u00f3n en el mundo\u201d. El presidente de la compa\u00f1\u00eda Greg Brockman fue m\u00e1s all\u00e1, y afirm\u00f3 que se lo recordar\u00e1 como la primera mirada aut\u00e9ntica a la inteligencia artificial generl, el amanecer de un nuevo mundo en el […]<\/p>\n","protected":false},"author":1,"featured_media":17473,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-17472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sin-categoria"],"_links":{"self":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/17472","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=17472"}],"version-history":[{"count":0,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/posts\/17472\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=\/wp\/v2\/media\/17473"}],"wp:attachment":[{"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=17472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=17472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laf5.publisher.highstack.com.ar\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=17472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}