Tin tức Gate ngày 27 tháng 4 — Logan Kilpatrick, quản lý sản phẩm cấp cao tại Google DeepMind và là người phụ trách sản phẩm của Google AI Studio, cho biết trên X rằng mọi công ty đang xây dựng các sản phẩm dựa trên AI đều nên thiết lập các bộ chuẩn tùy chỉnh của riêng mình để đo hiệu suất của mô hình AI. Ông mô tả đây là một cách để làm cho các cải tiến mô hình “mang lại lợi ích một cách không tương xứng cho công ty của bạn” và kêu gọi những người sáng lập cùng lãnh đạo doanh nghiệp hãy “bắt đầu từ ngày mai.”

Hầu hết các công ty hiện nay dựa vào các bảng xếp hạng công khai để lựa chọn mô hình AI, nhưng những bảng này đo các năng lực chung thường không khớp với các kịch bản kinh doanh cụ thể. Kilpatrick nêu ví dụ về một công ty rà soát hợp đồng vốn đặc biệt quan tâm đến độ chính xác trích xuất điều khoản — một năng lực không có trong các bộ chuẩn công khai, khiến việc đánh giá hiệu suất mô hình trên nhiệm vụ đó là không thể. Các bộ chuẩn tùy chỉnh mang lại hai lợi thế chính: thứ nhất, chúng cho phép các công ty đánh giá từng lần cập nhật mô hình dựa trên các nhiệm vụ kinh doanh của chính họ và chọn mô hình hoạt động tốt nhất trong tình huống sử dụng thực tế của mình thay vì mô hình được xếp hạng cao nhất nói chung; thứ hai, chúng cho phép các công ty chia sẻ các bộ kiểm thử này với các nhà cung cấp mô hình, thúc đẩy tối ưu hóa liên tục trong những lĩnh vực quan trọng đối với doanh nghiệp của họ.

Kilpatrick cho biết các công ty như Zapier và Sierra đã đang triển khai cách tiếp cận này, khẳng định rằng “có rất nhiều alpha có thể được tạo ra ở đây.”

Xem nguồn

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.