Claude Fable 5 reanuda operaciones con intercepciones mejoradas del clasificador de seguridad; los datos de BridgeBench se desploman.

Claude Fable 5 reabrió por completo el 1 de julio y, desde entonces, han aparecido en Reddit comentarios de usuarios sobre una «reducción de inteligencia» y un aumento en la activación de los mecanismos de revisión de seguridad. La prueba de referencia BridgeBench de BridgeMind AI muestra que la puntuación de Debug cayó de 86,2 a 25,9, y la puntuación de refactorización bajó de 73,6 a 38,4.

Prueba de referencia de BridgeMind AI: Puntuación de Debug cae de 86,2 a 25,9

(Fuente: BridgeMind AI)

Según las pruebas realizadas por BridgeMind AI con BridgeBench, la puntuación de Debug de Fable 5 tras su reintroducción bajó de 86,2 a 25,9, y la puntuación de refactorización de 73,6 a 38,4; BridgeMind AI concluye que el rendimiento de Fable 5 se ha debilitado.

Sin embargo, Decrypt señala que, de las 12 tareas de Debug de BridgeBench, solo 3 fueron procesadas con éxito por Fable 5; las otras 9 fueron interceptadas por el clasificador de seguridad antes de iniciarse y reenviadas al modelo Opus 4.8, de menor rendimiento. Las tareas interceptadas reciben una puntuación de cero en el recuento, lo que provoca la fuerte caída general de los datos de BridgeBench, y no una degradación del rendimiento del propio modelo Fable 5.

Prueba ciega humana de Arena.ai: Elo de código frontend baja de 1650 a 1623

Según los resultados de Arena.ai, que recopila miles de votos de preferencia en pruebas ciegas humanas y utiliza el sistema de puntuación Elo para clasificar:

Código frontend: Elo baja ligeramente de 1650 a 1623 (la diferencia está dentro del intervalo de confianza)

Capacidad de procesamiento de documentos: sube 34 puntos

Texto experto: mejora 25 puntos

Código (general): desciende ligeramente 18 puntos

Conclusión de Arena.ai: Fable 5 sigue ofreciendo una calidad de salida excelente al ejecutar tareas reales, y su capacidad de cálculo central no se ha degradado; el rendimiento general apenas ha cambiado antes y después del lanzamiento.

Contexto de la actualización del clasificador de seguridad: Anthropic adopta una estrategia de interceptación conservadora

Según informes, Anthropic implementó un clasificador de seguridad más estricto para prevenir el problema técnico de «jailbreak» de Fable 5 descubierto anteriormente por investigadores de Amazon. Dicha técnica llevó a Fable 5 a ayudar a identificar y mostrar vulnerabilidades de software, lo que fue clasificado por el gobierno estadounidense como una amenaza a la seguridad nacional y motivó restricciones temporales de exportación.

Por ello, Anthropic adoptó una estrategia conservadora, ampliando el alcance de tolerancia de la revisión de seguridad, haciendo que el modelo tienda a rechazar solicitudes ambiguas para garantizar el bloqueo de daños. Tras las pruebas, BleepingComputer señaló que el rendimiento del modelo Fable 5 en sí no ha disminuido, pero la estricta red de seguridad afecta la comodidad diaria.

Palabras clave como C, C++, Rust o términos como «seguridad», «vulnerabilidad» provocan un reenvío frecuente de tareas a Opus 4.8

Según el informe de pruebas de BleepingComputer, el nuevo clasificador clasifica erróneamente con frecuencia solicitudes de Debug inofensivas como riesgos y las reenvía al modelo Opus 4.8. Los desarrolladores ven activado frecuentemente el mecanismo de reenvío si sus indicaciones incluyen palabras clave como C, C++, Rust, o términos como «seguridad», «vulnerabilidad».

Anthropic ya ha reconocido el problema de interceptación excesiva y afirma que seguirá optimizando el sistema, pero hasta el momento del informe no ha proporcionado un calendario de ajustes específico. Esto supone el obstáculo de uso más directo para los desarrolladores, especialmente aquellos que dependen de las funciones auxiliares de Debug.

Preguntas frecuentes

¿Fable 5 ha sufrido realmente una «reducción de inteligencia» tras su reintroducción?

Según los resultados de las pruebas de dos organismos de evaluación, el rendimiento central de Fable 5 no se ha degradado: la puntuación Elo de la prueba ciega humana de Arena.ai muestra que el rendimiento general apenas ha cambiado; la fuerte caída en la puntuación de BridgeBench de BridgeMind AI se debe fundamentalmente a que el nuevo clasificador de seguridad interceptó 9 de las 12 tareas de Debug y las reenvió a Opus 4.8, sumando cero puntos en las tareas interceptadas, lo que provoca la caída de los datos, no una degradación del rendimiento del modelo.

¿Por qué Anthropic reforzó el clasificador de seguridad de Fable 5?

Según informes, Anthropic implementó un clasificador de seguridad más estricto para prevenir el problema técnico de «jailbreak» de Fable 5 descubierto por investigadores de Amazon, que permitió a Fable 5 ayudar a identificar y mostrar vulnerabilidades de software, considerado una amenaza a la seguridad nacional por el gobierno estadounidense y que motivó restricciones de exportación.

¿Qué tipo de solicitudes son más propensas a ser interceptadas erróneamente por el nuevo clasificador?

Según el informe de pruebas de BleepingComputer, las indicaciones que incluyen palabras clave de lenguajes de programación como C, C++, Rust, o términos como «seguridad», «vulnerabilidad» en solicitudes de Debug son las que más fácilmente activan el mecanismo de interceptación del clasificador, reenviando la tarea al modelo Opus 4.8, de menor rendimiento.