Sau khi Claude Fable 5 khôi phục trực tuyến, bộ phân loại an toàn tăng cường chặn, dữ liệu BridgeBench giảm mạnh.

Claude Fable 5 sau khi khôi phục mở cửa hoàn toàn vào ngày 1 tháng 7, trên Reddit lần lượt xuất hiện các cuộc thảo luận của người dùng phản ánh về việc "giảm trí thông minh" và cơ chế kiểm duyệt an toàn bị kích hoạt thường xuyên hơn. Bài kiểm tra chuẩn BridgeBench của BridgeMind AI cho thấy điểm Debug giảm mạnh từ 86,2 xuống 25,9, điểm tái cấu trúc giảm từ 73,6 xuống 38,4.

Bài kiểm tra chuẩn BridgeMind AI: Điểm Debug giảm từ 86,2 xuống 25,9

(Nguồn: BridgeMind AI)

Theo bài kiểm tra của BridgeMind AI sử dụng BridgeBench, điểm Debug của Fable 5 sau khi tái xuất giảm từ 86,2 xuống 25,9, điểm tái cấu trúc giảm từ 73,6 xuống 38,4; BridgeMind AI dựa vào đó cho rằng hiệu suất của Fable 5 bị suy yếu.

Tuy nhiên, Decrypt chỉ ra rằng, trong số 12 tác vụ Debug của BridgeBench, chỉ có 3 tác vụ được Fable 5 xử lý thành công, 9 tác vụ còn lại bị bộ phân loại an toàn chặn lại trước khi khởi động và chuyển tiếp sang mô hình Opus 4.8 có hiệu suất thấp hơn; các tác vụ bị chặn đều bị tính điểm 0 khi chấm điểm, dẫn đến tổng thể dữ liệu của BridgeBench giảm mạnh, không phải do hiệu suất của bản thân mô hình Fable 5 bị suy thoái.

Bài kiểm tra mù của con người Arena.ai: Elo mã front-end giảm từ 1650 xuống 1623

Theo kết quả kiểm tra của Arena.ai thông qua việc thu thập hàng nghìn phiếu bầu ưu tiên trong bài kiểm tra mù của con người và sử dụng hệ thống điểm Elo để xếp hạng:

Mã front-end: Elo giảm nhẹ từ 1650 xuống 1623 (khoảng cách nằm trong khoảng tin cậy)

Khả năng xử lý tài liệu: tăng 34 điểm

Văn bản chuyên gia: tăng 25 điểm

Mã (tổng thể): giảm nhẹ 18 điểm

Kết luận của Arena.ai: Khi Fable 5 thực sự thực hiện tác vụ, chất lượng đầu ra vẫn xuất sắc, khả năng tính toán cốt lõi không bị suy thoái; hiệu suất tổng thể trước và sau khi ra mắt hầu như không thay đổi.

Bối cảnh cập nhật bộ phân loại an toàn: Anthropic áp dụng chiến lược chặn bảo thủ

Theo báo cáo, lý do Anthropic triển khai bộ phân loại an toàn nghiêm ngặt hơn là để phòng ngừa vấn đề kỹ thuật jailbreak Fable 5 mà các nhà nghiên cứu của Amazon phát hiện trước đó; kỹ thuật này từng khiến Fable 5 hỗ trợ xác định và hiển thị các lỗ hổng phần mềm, bị chính phủ Mỹ coi là mối đe dọa an ninh quốc gia và từng hạn chế xuất khẩu.

Vì vậy, Anthropic áp dụng chiến lược bảo thủ, mở rộng phạm vi cho phép của kiểm duyệt an toàn, khiến mô hình có xu hướng từ chối trước các yêu cầu mơ hồ, đảm bảo ngăn chặn tác hại. BleepingComputer sau khi kiểm tra chỉ ra rằng, bản thân hiệu suất của mô hình Fable 5 không giảm, nhưng mạng lưới bảo vệ an toàn nghiêm ngặt ảnh hưởng đến sự tiện lợi hàng ngày.

Các từ khóa như C, C++, Rust hoặc liên quan đến "an toàn", "lỗ hổng" thường xuyên kích hoạt chuyển tiếp tác vụ sang Opus 4.8

Theo báo cáo kiểm tra của BleepingComputer, bộ phân loại mới thường xuyên đánh giá sai các yêu cầu Debug vô hại là rủi ro và chuyển tiếp sang mô hình Opus 4.8; các nhà phát triển chương trình nếu prompt chứa các từ khóa như C, C++, Rust, hoặc đề cập đến các từ ngữ như "an toàn", "lỗ hổng", sẽ thường xuyên kích hoạt cơ chế chuyển tiếp.

Anthropic đã thừa nhận vấn đề chặn quá mức, cho biết sẽ tiếp tục tối ưu hóa hệ thống, nhưng tính đến thời điểm báo cáo chưa cung cấp lịch trình điều chỉnh cụ thể; điều này gây ra trở ngại sử dụng trực tiếp nhất cho các nhà phát triển chương trình (đặc biệt là người dùng phụ thuộc vào chức năng hỗ trợ Debug).

Các câu hỏi thường gặp

Fable 5 sau khi khôi phục trực tuyến có thực sự bị "giảm trí thông minh"?

Theo kết quả kiểm tra của hai tổ chức đánh giá, hiệu suất cốt lõi của Fable 5 không bị suy thoái: Điểm Elo trong bài kiểm tra mù của con người từ Arena.ai cho thấy hiệu suất tổng thể hầu như không thay đổi; điểm BridgeBench của BridgeMind AI giảm mạnh, nguyên nhân căn bản là do bộ phân loại an toàn mới đã chặn 9 trong số 12 tác vụ Debug và chuyển tiếp sang Opus 4.8, các tác vụ bị chặn bị tính điểm 0 dẫn đến dữ liệu giảm, chứ không phải do hiệu suất của bản thân mô hình bị suy thoái.

Tại sao Anthropic tăng cường bộ phân loại an toàn của Fable 5?

Theo báo cáo, Anthropic triển khai bộ phân loại an toàn nghiêm ngặt hơn là để phòng ngừa vấn đề kỹ thuật jailbreak Fable 5 do các nhà nghiên cứu của Amazon phát hiện, kỹ thuật này từng khiến Fable 5 hỗ trợ xác định và hiển thị các lỗ hổng phần mềm, bị chính phủ Mỹ coi là mối đe dọa an ninh quốc gia và từng hạn chế xuất khẩu.

Loại yêu cầu nào dễ bị bộ phân loại mới chặn nhầm nhất?

Theo báo cáo kiểm tra của BleepingComputer, các prompt chứa từ khóa ngôn ngữ lập trình như C, C++, Rust, hoặc các yêu cầu Debug liên quan đến từ ngữ như "an toàn", "lỗ hổng", dễ kích hoạt cơ chế chặn của bộ phân loại nhất và chuyển tiếp tác vụ sang mô hình Opus 4.8 có hiệu suất thấp hơn.