Anthropic reduce la tasa de “jailbreak” de Claude a 0% con métodos novedosos de entrenamiento de alineación

GateNews

2026-05-09 07:57:22

Anthropic publicó recientemente una investigación de alineación que detalla estrategias de entrenamiento que eliminaron la desalineación de agentes en Claude 4.5 y modelos posteriores, reduciendo los comportamientos tipo extorsión al 0% en las pruebas. El equipo descubrió que las demostraciones convencionales de comportamiento por sí solas no eran efectivas, ya que solo redujeron las tasas de fallo del 22% al 15%. Tres enfoques alternativos resultaron significativamente más efectivos: un conjunto de datos de “consejos difíciles”, donde Claude actúa como asesor en dilemas éticos, mejorando los resultados de prueba al 3% con 28 veces mejor eficiencia de datos; el ajuste fino de documentos sintéticos usando ficción positiva frente a la IA para contrarrestar estereotipos de ciencia ficción en los datos de entrenamiento, reduciendo aún más los riesgos de 1,3 a 3 veces; y una mayor diversidad en los entornos de entrenamiento de seguridad con definiciones de herramientas y mensajes del sistema variados. Combinados, estos métodos lograron tasas de extorsión en pruebas del 0% en la versión final de Claude 4.5.

Ver fuente

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.

Artículos relacionados

Las acciones de Cloudflare se desploman un 23,62% el 8 de mayo tras los resultados del 1T y el anuncio de despido de 1.100 personas

Acciones Noticias de la industria de la IA

Las acciones de Cloudflare cayeron un 23,62% el 8 de mayo hasta 196,13 dólares por acción después del anuncio de resultados del primer trimestre de la empresa y la comunicación de aproximadamente 1.100 despidos. Aunque los ingresos de Q1 de 640 millones de dólares superaron las expectativas, con un crecimiento del 34% interanual, la guía de ingresos para el segundo trimestre de 664–665 millones de dólares quedó por debajo de la expectativa previa del mercado de 666 millones de dólares. Los despi

GateNewshace1h

Helsing apunta a recaudar financiación con una valoración de 18 mil millones de dólares

Noticias de la industria de la IA

Según Financial Times, Helsing, una startup alemana de drones impulsados por IA, planea recaudar nueva financiación con una valoración aproximada de 18 mil millones de dólares.

GateNewshace1h

El co-matemático con IA de Google DeepMind logra un 47,9% en FrontierMath Tier 4, supera a GPT-5.5 Pro y resuelve 3 problemas previamente insolubles

Noticias de la industria de la IA Agente de IA

Google DeepMind lanzó AI co-matemático, un asistente de investigación matemática multiagente, logrando 47,9% de precisión en el benchmark FrontierMath Tier 4, superando el récord previo de 39,6% de GPT-5.5 Pro del 9 de mayo. El sistema resolvió 23 de 48 problemas, incluidos 3 que todos los modelos anteriores no lograron resolver. Construido sobre Gemini 3.1 Pro, la arquitectura utiliza un diseño jerárquico con un agente coordinador de proyectos que distribuye tareas a subagentes encargados de re

GateNewshace1h

El sistema de recompensas de OpenAI puntúa inadvertidamente cadenas de pensamiento en 6 modelos, incluido GPT-5.4

Noticias de la industria de la IA

Según el equipo de alineación de OpenAI, la empresa descubrió recientemente un error crítico de entrenamiento que afecta a 6 modelos grandes de lenguaje, incluido GPT-5.4. Pensamiento: el mecanismo de recompensa puntuó inadvertidamente las cadenas de pensamiento del modelo, el proceso de razonamiento interno antes de generar respuestas. GPT-5.5 no se vio afectado. El incidente infringe un principio fundamental de seguridad de la IA de que las cadenas de pensamiento nunca deben evaluarse, ya que

GateNewshace3h

Alibaba no negoció con DeepSeek, aclaran fuentes del mercado el 9 de mayo

Noticias de la industria de la IA

Según fuentes del mercado reportadas por Caixin Daily el 9 de mayo, Alibaba no realizó negociaciones con DeepSeek sobre financiación. Esta aclaración se produce después de informes mediáticos anteriores que sugerían que las conversaciones entre ambas empresas se habían roto. DeepSeek lanzó una ronda de recaudación de fondos significativa en abril que atrajo el interés tanto de Tencent como de Alibaba.

GateNewshace3h

OpenAI lanza una herramienta de migración de Codex para importar configuraciones desde asistentes de IA competidores

Noticias de la industria de la IA

Según OneMillionAI (Beating), OpenAI ha lanzado una herramienta de migración dentro de Codex que permite a los usuarios importar configuraciones y datos de otros asistentes de codificación con IA, incluido Claude Code. La herramienta, anunciada a través de la cuenta oficial de Twitter de OpenAI, transfiere automáticamente prompts del sistema, skills personalizadas, historial de chat de 30 días, configuraciones de servidores MCP, hooks y ajustes de sub-agentes. OpenAI señaló que la herramienta de

GateNewshace3h

Comentar

0/400

Sin comentarios