Để thực sự hiểu một sản phẩm AI, trước tiên hãy nắm rõ 5 khái niệm kỹ thuật này

Gần đây tôi đã trải nghiệm khá nhiều công cụ AI, có một số trông có vẻ chức năng tương tự nhau, nhưng khi thực sự sử dụng, tốc độ phản hồi, độ chính xác và độ ổn định lại hoàn toàn khác. Có sản phẩm có thể đọc hết tài liệu hàng trăm trang trong một lần, có cái nói vài lượt đã quên mất những gì đã nói trước đó; có cái cơ sở kiến thức trả lời rất chính xác, có cái dù đã tải lên tài liệu, mô hình vẫn có thể bịa ra một cách nghiêm túc.
Ban đầu tôi cũng đơn giản quy kết những vấn đề này thành: Có phải mô hình không đủ mạnh? Hay tôi chưa tìm đúng cách sử dụng?
Sau đó, tôi nghiên cứu logic đằng sau sản phẩm và phát hiện ra rằng, một sản phẩm AI có tốt hay không thực sự không chỉ phụ thuộc vào việc nó kết nối mô hình nào. Token, cửa sổ ngữ cảnh, RAG, prompt, fine-tuning, chi phí suy luận - những từ ngữ kỹ thuật này thực ra đều ảnh hưởng trực tiếp đến trải nghiệm sử dụng của chúng ta.
Tôi đã tổng hợp 5 khái niệm quan trọng hơn cả, giải thích bằng ngôn ngữ dễ hiểu. Bạn không cần biết viết code, cũng không cần nghiên cứu thuật toán phức tạp, đọc xong bạn sẽ hiểu tại sao một sản phẩm AI hoạt động tốt, và tại sao nó lại gặp sự cố.
1. Token và cửa sổ ngữ cảnh
Khi sử dụng công cụ AI, bạn thường thấy từ Token. Có thể hiểu đơn giản nó là đơn vị đo lường mà mô hình sử dụng khi xử lý nội dung.
Văn bản chúng ta nhập vào, tài liệu tải lên, cũng như câu trả lời do mô hình tạo ra, đều được chia thành Token để tính toán. Càng nhập nhiều, câu trả lời càng dài, Token tiêu thụ thường càng nhiều, và chi phí gọi cũng tăng theo.
Cửa sổ ngữ cảnh quyết định lượng nội dung mô hình có thể xử lý trong một lần.
Ví dụ: để AI phân tích một hợp đồng dài hàng chục trang, liệu toàn bộ tài liệu có thể đưa vào một lần không; trò chuyện liên tục với AI hàng chục lượt, nó có còn nhớ những gì đã nói trước đó không; yêu cầu AI đọc đồng thời nhiều tài liệu rồi phân tích, liệu nó có nắm bắt được trọng tâm không - những điều này cơ bản đều liên quan đến cửa sổ ngữ cảnh.
Tuy nhiên, cửa sổ ngữ cảnh không phải càng lớn càng tốt. Càng nhồi nhét nhiều nội dung, tốc độ phản hồi càng chậm, chi phí cũng tăng. Quá nhiều tài liệu và quá lộn xộn, mô hình thậm chí có thể không tìm thấy thông tin thực sự quan trọng.
Vì vậy, lần sau khi thấy một sản phẩm AI quảng cáo cửa sổ ngữ cảnh siêu lớn, đừng chỉ nhìn vào số lượng chữ tối đa nó có thể nhồi nhét, mà quan trọng hơn là liệu nó có thể tìm chính xác trọng tâm trong một lượng lớn nội dung hay không.
2. RAG
Chắc hẳn nhiều người đã gặp tình huống này: tài liệu đã được tải lên cơ sở kiến thức AI, nhưng khi hỏi, mô hình vẫn trả lời sai, thậm chí bịa ra một nội dung hoàn toàn không tồn tại.
Lúc này cần nói đến RAG.
RAG có thể hiểu đơn giản là: tra cứu tài liệu trước, sau đó yêu cầu mô hình trả lời dựa trên tài liệu.
Sau khi người dùng đặt câu hỏi, hệ thống sẽ tìm nội dung liên quan từ tài liệu đã tải lên hoặc cơ sở kiến thức, sau đó gửi câu hỏi cùng tài liệu tìm được cho mô hình. Nhờ vậy, mô hình có thể trả lời dựa trên tài liệu nội bộ doanh nghiệp, quy tắc sản phẩm mới nhất và thông tin cá nhân, mà không cần hoàn toàn dựa vào kiến thức cũ đã học trong quá trình huấn luyện.
Hiện nay, nhiều công cụ chăm sóc khách hàng AI, cơ sở kiến thức doanh nghiệp và công cụ hỏi đáp tài liệu đều có logic này đằng sau.
Nhưng việc tích hợp RAG không đồng nghĩa với việc cơ sở kiến thức hoàn toàn chính xác.
Nếu tài liệu được cắt quá nhỏ, có thể dẫn đến thông tin bị phân tán; nếu quá trình truy xuất không tìm thấy đoạn quan trọng, mô hình sẽ không có câu trả lời đúng; nếu truy xuất quá nhiều nội dung không liên quan trong một lần, cũng có thể trực tiếp làm lệch hướng mô hình.
Vì vậy, cơ sở kiến thức trả lời không chính xác không hẳn là do khả năng mô hình yếu. Thường thì vấn đề có thể nằm ở khâu tổ chức tài liệu, phân chia tài liệu và truy xuất.
Đây cũng là lý do tại sao sử dụng cùng một mô hình lớn, hiệu quả của các sản phẩm cơ sở kiến thức AI khác nhau lại có thể chênh lệch rất nhiều.
3. Kỹ thuật prompt
Nhiều người có thể vẫn hiểu về prompt như sau:
"Bạn là một chuyên gia giàu kinh nghiệm với 10 năm trong nghề."
Khi trò chuyện với AI hàng ngày, viết như vậy tất nhiên không có vấn đề gì. Nhưng prompt thực sự được đưa vào sản phẩm giống như một bản tài liệu yêu cầu viết cho mô hình.
Mô hình hiện tại đang ở vai trò gì, cần hoàn thành nhiệm vụ gì, cần tham khảo nội dung nào, định dạng đầu ra ra sao, những câu hỏi nào không được trả lời - tất cả đều phải được viết rõ trước.
Ví dụ, cùng yêu cầu AI tạo một báo cáo tuần, chỉ nói "giúp tôi viết báo cáo tuần", mỗi lần mô hình tạo ra cấu trúc, độ dài và trọng tâm có thể khác nhau.
Nếu quy định trước phải bao gồm tiến độ tuần này, kế hoạch tuần tới và các vấn đề rủi ro, đồng thời nói rõ số lượng từ, giọng điệu và định dạng, kết quả sẽ ổn định hơn nhiều.
Những vấn đề thường gặp như câu trả lời quá dài dòng, trọng tâm không rõ, định dạng lộn xộn, nhiều khi không nhất thiết phải đổi mô hình mạnh hơn. Chỉ cần nói rõ yêu cầu trước, hiệu quả có thể thay đổi rõ rệt.
Prompt cũng không phải viết một lần là xong. Sau khi thực sự đưa vào sản phẩm, cần phải liên tục kiểm tra và điều chỉnh dựa trên phản hồi của người dùng, để đầu ra của mô hình dần dần tiếp cận hiệu quả mà sản phẩm yêu cầu.
4. Làm thế nào để chọn giữa RAG, fine-tuning và pre-training?
Khi nghiên cứu sản phẩm AI, thường thấy ba từ: RAG, fine-tuning, pre-training.
Chúng đều có vẻ như đang làm cho mô hình mạnh hơn, nhưng vấn đề thực tế chúng giải quyết lại khác nhau.
Nếu mô hình thiếu thông tin mới nhất, hoặc cần đọc dữ liệu nội bộ doanh nghiệp, thường ưu tiên sử dụng RAG. Ví dụ, tài liệu sản phẩm của công ty thường xuyên cập nhật, chỉ cần cập nhật cơ sở kiến thức là được, không cần phải đào tạo lại mô hình.
Nếu mô hình đã biết nội dung liên quan, nhưng cách thức đầu ra không ổn định, hoặc cần duy trì lâu dài các thuật ngữ ngành, quy trình nhiệm vụ và thói quen viết cố định, lúc đó mới có thể xem xét fine-tuning.
Pre-training tương đương với việc đào tạo một mô hình cơ bản từ đầu, cần lượng dữ liệu khổng lồ, sức mạnh tính toán, đội ngũ thuật toán và chi phí bảo trì lâu dài. Đa số các sản phẩm ứng dụng không cần tự làm điều này.
Vì vậy, một sản phẩm AI hoạt động kém hiệu quả không nhất thiết phải fine-tuning, cũng không nhất thiết phải tự huấn luyện mô hình.
Đầu tiên hãy xác định xem nó thiếu tài liệu, chưa hiểu nhiệm vụ, hay bản thân mô hình thực sự không đủ khả năng. Nếu hướng xác định sai, dù có đầu tư nhiều cũng khó giải quyết được vấn đề thực sự.
5. Hiệu suất và chi phí
Nhiều sản phẩm AI khi demo trông rất ấn tượng, nhập một câu, vài giây sau đã tạo ra báo cáo, hình ảnh, mã nguồn hoặc giải pháp hoàn chỉnh.
Nhưng Demo chạy được không có nghĩa là sản phẩm có thể vận hành lâu dài.
Khi thực sự lên sóng, số lượng người dùng tăng lên, các cuộc hội thoại càng dài, tài liệu tải lên ngày càng nhiều, tốc độ phản hồi và chi phí gọi của mô hình đều sẽ thay đổi.
Lúc này, cần xem xét ít nhất một số vấn đề:
Một yêu cầu cần chờ bao lâu; khi có nhiều người dùng đồng thời trong giờ cao điểm, dịch vụ có phải xếp hàng không; chi phí tạo ra mỗi nội dung là bao nhiêu; mỗi người dùng mỗi tháng phát sinh bao nhiêu chi phí; sau khi mở rộng số lượng người dùng, doanh thu có đủ bù đắp chi phí mô hình và máy chủ hay không.
Đây cũng là lý do tại sao một số sản phẩm AI ban đầu có nhiều hạn mức miễn phí, nhưng sau đó nhanh chóng giới hạn số lần, giới hạn ngữ cảnh, hoặc đưa ra gói thành viên đắt hơn.
Đằng sau không nhất thiết chỉ là để thu phí.
Mỗi lần tạo nội dung, mỗi cuộc hội thoại dài và mỗi lần phân tích tài liệu của sản phẩm AI đều phát sinh chi phí thực tế. Mô hình càng mạnh, nội dung xử lý càng nhiều, chi phí thường càng cao.
Một số chức năng về mặt kỹ thuật có thể thực hiện được, nhưng nếu mỗi người dùng đều sử dụng không giới hạn, mô hình kinh doanh này có thể không khả thi.
Cuối cùng, mục đích viết bài này thực ra rất đơn giản.
Hy vọng lần sau khi bạn thấy các từ như cửa sổ ngữ cảnh, RAG, fine-tuning, chi phí suy luận, bạn không chỉ thấy chúng phức tạp, mà có thể hiểu đại khái chúng giải quyết vấn đề gì.
Sau này khi trải nghiệm một sản phẩm AI, bạn cũng có thể có thêm một lớp đánh giá:
Nó thực sự tốt, hay chỉ Demo được làm đẹp;
Vấn đề nằm ở mô hình, hay ở cơ sở kiến thức và prompt?
Chức năng trông mạnh mẽ, nhưng chi phí có đủ để duy trì không?
Không nhất thiết phải biết viết code, cũng không cần trở thành chuyên gia kỹ thuật.
Nhưng hiểu thêm một chút, ít nhất bạn sẽ không bị dẫn dắt bởi các thông số và quảng cáo, cũng có thể tránh được một số rủi ro không cần thiết.
Bạn có thể lưu bài viết này lại, và nếu có bạn bè đang nghiên cứu công cụ AI, làm sản phẩm AI, cũng có thể chia sẻ cho họ xem.