Các mô hình AI hàng đầu tụt lại ở các tác vụ doanh nghiệp thường ngày, Databricks nói rằng các mô hình chuyên biệt nhỏ hơn vượt trội

Tin Gate News, ngày 20 tháng 4 — Các mô hình AI hàng đầu tỏ ra xuất sắc trong việc giải các vấn đề phức tạp như toán Olympic, nhưng lại gặp khó khăn với công việc doanh nghiệp thường nhật, theo David Meyer của Databricks. Một số mô hình có thể sửa một mã số hóa đơn sai thay vì gắn cờ đó là lỗi, trong khi các công cụ lập trình như Claude cũng có thể hoạt động kém hiệu quả trong các tác vụ kỹ thuật dữ liệu.

Khoảng cách này xuất phát từ sự khác biệt cơ bản giữa dữ liệu doanh nghiệp và văn bản công khai trên web được dùng để huấn luyện các mô hình lớn. Dữ liệu doanh nghiệp thường có nhãn cột mơ hồ, nhiều trường trống và các mã được lưu dưới dạng văn bản thuần. Trong một nghiên cứu học thuật, điểm F1 của một mô hình AI—điểm cân bằng giữa độ chính xác và độ thu hồi—giảm từ 0.94 trên dữ liệu công khai xuống 0.07 trên dữ liệu doanh nghiệp cho một tác vụ kỹ thuật dữ liệu. Ngoài ra, các mô hình lớn thường mặc định theo những khuôn mẫu quen thuộc từ quá trình huấn luyện; một số mô hình mặc định sang Structured Query Language (SQL) dù đã nhận được hướng dẫn và tài liệu về ngôn ngữ truy vấn độc quyền của một công ty.

Các mô hình nguồn mở nhỏ được tinh chỉnh bằng học tăng cường có thể xử lý các công việc cụ thể hiệu quả hơn với chi phí huấn luyện thấp hơn đáng kể so với các mô hình tổng quát lớn. Databricks đang xây dựng các tác nhân AI nhỏ cho các quy trình làm việc cụ thể, như KARL, sử dụng học tăng cường cho suy luận nhiều bước với tài liệu của công ty. Ngành đang chuyển từ việc phụ thuộc vào các mô hình khổng lồ sang các kiến trúc lai, trong đó các mô hình nhỏ hiệu quả xử lý khối lượng thường ngày, rồi chỉ nâng cấp lên các hệ thống lớn hơn, tốn kém hơn cho những trường hợp không rõ ràng hoặc phức tạp.

Gần đây Databricks đã mua Quotient AI để giúp các doanh nghiệp lớn chạy các tác nhân AI đáng tin cậy hơn. Cuộc cạnh tranh trong mảng kinh doanh AI hiện tập trung vào việc vận hành toàn bộ vòng đời AI, bao gồm các hệ thống phản hồi để theo dõi lỗi và liên tục cải thiện mô hình theo thời gian, khiến các công cụ đánh giá và tinh chỉnh ngày càng có giá trị sau khi triển khai.