a16z：Tại sao các mô hình lớn cần học liên tục trong thời đại AI

Tác giả: Malika Aubakirova, Matt Bornstein；Nguồn: a16z；Dịch: Shaw, Jinse Caijing

Trong bộ phim của Christopher Nolan, “Memento”, Leonard Shelby sống trong một hiện tại vỡ vụn. Sau chấn thương sọ não gây ra, anh mắc chứng mất trí nhớ tiền đình, không thể hình thành ký ức mới. Mỗi vài phút, thế giới của anh lại được đặt lại, khiến anh bị mắc kẹt trong khoảnh khắc vĩnh cửu, tách rời khỏi mọi thứ vừa xảy ra, cũng không thể xác định điều gì sẽ xảy ra tiếp theo. Để tồn tại, anh xăm các gợi ý trên cơ thể, chụp ảnh Polaroid, dùng các công cụ bên ngoài để ghi nhớ những thông tin não không thể lưu giữ.

Mô hình ngôn ngữ lớn (LLM) cũng sống trong một hiện tại vĩnh cửu tương tự. Chúng thu nhận lượng kiến thức khổng lồ trong quá trình huấn luyện, được cố định trong các tham số, nhưng không thể hình thành ký ức mới — không thể cập nhật tham số của chính mình dựa trên trải nghiệm mới. Để bù đắp cho nhược điểm này, chúng ta xây dựng các khung hỗ trợ khác nhau: xem lịch sử đối thoại như ghi chú ngắn hạn, hệ thống truy xuất như sổ ghi chép bên ngoài, hướng dẫn hệ thống như hình xăm chỉ dẫn. Nhưng bản thân mô hình chưa từng thực sự nội tại hóa thông tin mới.

Ngày càng nhiều nhà nghiên cứu cho rằng, điều này là chưa đủ. Học theo ngữ cảnh (ICL) đã đủ cho các câu hỏi có sẵn câu trả lời hoặc đoạn trả lời đã tồn tại ở đâu đó trong thế giới. Nhưng đối với các câu hỏi cần phát hiện sáng tạo thực sự (như các vấn đề toán học mới), các kịch bản đối kháng (như an ninh mạng), hoặc kiến thức tiềm ẩn khó diễn đạt bằng lời, có lý do rõ ràng để cho rằng: mô hình cần một khả năng, sau khi triển khai, có thể cập nhật kiến thức và kinh nghiệm trực tiếp vào tham số của chính nó.

Học theo ngữ cảnh là tạm thời. Học thực sự đòi hỏi nén thông tin. Nếu không thể để mô hình liên tục thực hiện học nén, chúng ta có thể mãi mãi bị mắc kẹt trong hiện tại vĩnh cửu kiểu “Memento”. Ngược lại, nếu chúng ta có thể giúp mô hình xây dựng cấu trúc ghi nhớ của riêng nó, thay vì dựa vào các công cụ bên ngoài tùy chỉnh, có thể sẽ mở ra một chiều mới về mở rộng quy mô.

Lĩnh vực nghiên cứu này được gọi là học liên tục. Mặc dù khái niệm này không mới (có thể truy nguyên từ nghiên cứu của McCloskey và Cohen năm 1989), nhưng chúng tôi cho rằng, nó là một trong những hướng nghiên cứu quan trọng nhất trong lĩnh vực trí tuệ nhân tạo hiện nay. Trong hai đến ba năm qua, khả năng của mô hình đã đạt được bước nhảy ngoạn mục, và khoảng cách giữa “đã biết” và “có thể biết” ngày càng rõ ràng hơn. Do đó, bài viết này muốn chia sẻ các quan điểm chúng tôi đã trao đổi với các nhà nghiên cứu hàng đầu trong lĩnh vực, làm rõ các phương pháp kỹ thuật khác nhau của học liên tục, và thúc đẩy sự phát triển của chủ đề này trong hệ sinh thái khởi nghiệp.

Trước tiên, nói về ngữ cảnh

Trước khi bàn về học tham số (tức là học thông qua cập nhật trọng số của mô hình), cần thừa nhận rằng: học theo ngữ cảnh thực sự hiệu quả, và có lý do chính đáng để tin rằng nó sẽ duy trì lợi thế này.

Transformer về bản chất là mô hình dự đoán từ tiếp theo dựa trên điều kiện của chuỗi. Chỉ cần đầu vào là chuỗi phù hợp, không cần thay đổi trọng số, nó có thể thể hiện các hành vi phong phú đáng kinh ngạc. Đây cũng là lý do tại sao quản lý ngữ cảnh, kỹ thuật gợi ý, tinh chỉnh hướng dẫn và học mẫu nhỏ lại mạnh mẽ như vậy. Trí tuệ tiềm ẩn trong các tham số tĩnh, còn biểu hiện bên ngoài của mô hình sẽ thay đổi mạnh mẽ theo nội dung của cửa sổ đầu vào.

Phân tích sâu của Cursor về quy mô trí tuệ tự lập trong các hệ thống lập trình tự động cũng minh chứng rõ ràng điều này: “Hiệu suất lớn của hệ thống, về cơ bản, phụ thuộc vào cách chúng ta thiết kế các gợi ý cho trí tuệ nhân tạo. Khung và mô hình đều quan trọng, nhưng gợi ý mới là yếu tố then chốt.”

Trọng số của mô hình là cố định. Điều giúp hệ thống thực sự vận hành là việc sắp xếp ngữ cảnh một cách tinh vi: bao gồm những thông tin nào cần có, khi nào cần tóm tắt, làm thế nào để duy trì tính liên tục trong quá trình vận hành tự lập trong vài giờ.

OpenClaw là một ví dụ tuyệt vời khác. Nó nổi bật không phải dựa vào đặc quyền mô hình đặc biệt (mô hình nền mở cho tất cả mọi người), mà vì nó có thể chuyển đổi hiệu quả ngữ cảnh và công cụ thành trạng thái có thể vận hành: theo dõi thao tác của bạn, cấu trúc hóa các sản phẩm trung gian, quyết định nội dung nào cần được đưa trở lại gợi ý, và giữ ký ức lâu dài về các công việc đã làm. OpenClaw đã nâng cao thiết kế khung trí tuệ nhân tạo thành một kỹ thuật chuyên nghiệp độc lập.

Khi gợi ý xuất hiện lần đầu, nhiều nhà nghiên cứu nghi ngờ “Chỉ dựa vào gợi ý” có thể trở thành phương thức tương tác chính thức hay không, khi đó nó trông giống như một thủ thuật tạm thời hơn. Nhưng phương pháp này vốn phù hợp tự nhiên với kiến trúc Transformer, không cần huấn luyện lại, và còn có thể tự mở rộng theo sự tiến bộ của hiệu năng mô hình. Do đó, mô hình càng mạnh, hiệu quả của gợi ý càng cao. “Đơn sơ nhưng nguyên bản” trong cách tương tác thường sẽ thắng thế, vì chúng trực tiếp phối hợp với hệ thống nền tảng, chứ không đối đầu với nó. Cho đến nay, lĩnh vực mô hình ngôn ngữ lớn vẫn đang như vậy.

Mô hình không gian trạng thái: khả năng ngữ cảnh siêu việt

Khi quy trình làm việc chính chuyển từ gọi mô hình ngôn ngữ lớn trực tiếp sang vòng lặp trí tuệ nhân tạo, áp lực của mô hình học theo ngữ cảnh ngày càng tăng. Trước đây, việc ngữ cảnh bị đầy ắp hoàn toàn là hiếm, thường chỉ xảy ra khi mô hình thực hiện một chuỗi nhiệm vụ độc lập dài, và tầng ứng dụng có thể dễ dàng cắt giảm hoặc nén lịch sử đối thoại. Nhưng trong kịch bản trí tuệ nhân tạo, một nhiệm vụ có thể chiếm dụng lượng lớn không gian ngữ cảnh khả dụng. Mỗi bước trong vòng lặp của trí tuệ nhân tạo đều dựa vào ngữ cảnh của vòng trước, thường sau 20 đến 100 bước sẽ thất bại — do ngữ cảnh cạn kiệt, tính logic giảm sút, cuối cùng không hội tụ được.

Vì vậy, các phòng thí nghiệm AI hàng đầu hiện nay đang đầu tư mạnh vào nghiên cứu các mô hình có khả năng xử lý cửa sổ ngữ cảnh siêu lớn. Đây là hướng đi hợp lý, vì nó dựa trên nền tảng học theo ngữ cảnh đã được chứng minh hiệu quả, phù hợp với xu hướng chuyển đổi sang khả năng suy luận. Kiến trúc phổ biến nhất là kết hợp lớp ghi nhớ cố định với các đầu chú ý thông thường, tức là mô hình không gian trạng thái và các biến thể chú ý tuyến tính (gọi chung là SSM). Khi xử lý ngữ cảnh dài, khả năng mở rộng của SSM vượt trội so với chú ý truyền thống.

Mục tiêu là giúp trí tuệ nhân tạo duy trì tính logic trong các vòng lặp dài hơn, nâng số bước hiệu quả từ khoảng 20 lên khoảng 20.000, mà không làm mất đi các kỹ năng và kiến thức rộng lớn của Transformer truyền thống. Nếu thành công, đây sẽ là bước đột phá lớn cho các hệ thống trí tuệ vận hành lâu dài. Bạn thậm chí có thể xem đây như một dạng học liên tục: dù không cập nhật trọng số, nhưng thêm một lớp ghi nhớ bên ngoài gần như không cần reset.

Vì vậy, các phương pháp phi tham số này thực sự tồn tại và mang lại hiệu quả mạnh mẽ. Bất kỳ đánh giá nào về học liên tục đều phải bắt đầu từ đây. Vấn đề không phải là hệ thống dựa trên ngữ cảnh hiện tại có hiệu quả hay không — chúng thực sự hiệu quả. Mà là chúng ta đã chạm tới giới hạn hay chưa, và các phương pháp mới có thể giúp chúng ta tiến xa hơn.

Hạn chế của ngữ cảnh: Ảo tưởng tủ hồ sơ

“AGI và quá trình tiền huấn luyện về cơ bản đã vượt quá mục tiêu… Con người không phải là AGI. Dĩ nhiên, con người có hệ thống kỹ năng nền tảng, nhưng lại thiếu lượng kiến thức khổng lồ. Ngược lại, chúng ta dựa vào học liên tục. Giả sử tôi tạo ra một thiếu niên siêu thông minh 15 tuổi, thì thực ra cậu ấy biết rất ít. Cậu ấy là một học sinh xuất sắc, đầy khao khát học hỏi. Bạn có thể bảo cậu ấy: ‘Làm lập trình viên, trở thành bác sĩ.’ Việc triển khai mô hình đã đòi hỏi một quá trình học tập, thử sai. Đó là một quá trình tiến bộ, chứ không phải giao một sản phẩm hoàn chỉnh ngay lập tức.” — Ilya Sutskever

Hãy tưởng tượng một hệ thống có không gian lưu trữ vô hạn: tủ hồ sơ lớn nhất thế giới, mọi sự thật đều được lập chỉ mục hoàn hảo, có thể truy xuất tức thì. Nó có thể tìm thấy bất kỳ thông tin nào. Nhưng nó đã học chưa?

Chưa. Nó chưa từng được yêu cầu nén thông tin.

Đây là luận điểm cốt lõi của chúng tôi, cũng như quan điểm của Ilya Sutskever: bản chất của mô hình ngôn ngữ lớn chính là thuật toán nén. Trong giai đoạn huấn luyện, chúng nén internet vào trong các tham số. Việc nén này là có tổn thất, và chính điều này lại là điểm mạnh của chúng. Nén buộc mô hình phải phát hiện cấu trúc, thực hiện tổng quát hóa, xây dựng các biểu diễn có thể chuyển đổi qua ngữ cảnh. Mô hình chỉ ghi nhớ cứng nhắc các mẫu huấn luyện sẽ kém hơn nhiều so với mô hình có khả năng trích xuất quy luật nền tảng. Chính việc nén có tổn thất này là quá trình học.

Điều trớ trêu là: chính cơ chế giúp các mô hình ngôn ngữ lớn trở nên mạnh mẽ trong huấn luyện — nén dữ liệu gốc thành biểu diễn nhỏ gọn, có thể chuyển đổi — lại bị chúng ta từ chối cho phép chúng tiếp tục sử dụng sau khi triển khai. Chúng ta dừng nén khi phát hành mô hình, thay thế bằng bộ nhớ ngoài. Tất nhiên, nhiều khung trí tuệ nhân tạo sẽ có cách nén ngữ cảnh theo cách tùy chỉnh. Nhưng theo “bài học đắng cay”, chẳng phải đáng lẽ nên để mô hình tự học cách nén này một cách trực tiếp, quy mô lớn sao?

Yu Sun đã chia sẻ một ví dụ toán học để minh họa tranh luận này. Lấy ví dụ về Định lý Fermat: hơn 350 năm qua, không nhà toán học nào chứng minh nó — không phải vì thiếu tài liệu liên quan, mà vì phương pháp giải quá sáng tạo. Khoảng cách giữa hệ thống toán học hiện có và kết quả cuối cùng quá lớn. Năm 1990, nhà toán học người Anh Andrew Wiles đã gần như cô lập trong 7 năm để nghiên cứu, cuối cùng đã chinh phục được bài toán này, phải tạo ra các phương pháp mới mạnh mẽ để chứng minh. Lập luận của ông đã xây dựng cầu nối giữa hai nhánh lớn của toán học — đường cong elliptic và dạng mô hình. Dù trước đó, Ken Ribet đã chứng minh rằng, chỉ cần chứng minh mối liên hệ này, định lý Fermat sẽ được giải quyết, nhưng trước Wiles, không ai có công cụ lý thuyết để xây dựng cầu nối đó. Chứng minh của Grigori Perelman về Giả thuyết Poincaré cũng tương tự.

Vấn đề cốt lõi là: những ví dụ này có chứng minh rằng các mô hình ngôn ngữ lớn thiếu một khả năng nào đó — khả năng cập nhật các kiến thức nền, suy nghĩ sáng tạo thực sự? Hay chúng lại chứng minh điều ngược lại: tất cả kiến thức của con người chỉ là dữ liệu để huấn luyện và tổ hợp lại, và thành tựu của Wiles hay Perelman chỉ là kết quả mà các mô hình ngôn ngữ lớn có thể đạt được khi quy mô lớn hơn?

Đây là một câu hỏi cần có bằng chứng thực nghiệm, hiện chưa có kết luận rõ ràng. Nhưng chúng tôi đã rõ ràng rằng, có nhiều loại vấn đề mà học theo ngữ cảnh hiện tại chưa thể giải quyết, còn học tham số thì có thể.

Ví dụ, ngoài ra, học theo ngữ cảnh chỉ giới hạn trong nội dung có thể biểu đạt bằng ngôn ngữ, còn trọng số mô hình có thể mã hóa các khái niệm mà không thể truyền đạt qua gợi ý bằng lời. Một số dạng mô hình có chiều cao quá lớn, quá tiềm ẩn, quá cấu trúc sâu, không thể chứa đựng trong ngữ cảnh. Ví dụ, trong hình ảnh y học, các đặc trưng hình thái phân biệt lành tính và u ác, hoặc các dao động vi âm trong âm thanh xác định nhịp điệu riêng của người nói — những dạng mẫu này rất khó phân tích thành mô tả chính xác bằng lời. Ngôn ngữ chỉ có thể gần đúng biểu đạt chúng. Dù gợi ý dài đến đâu, cũng không thể truyền đạt kiến thức này — kiến thức này chỉ tồn tại trong trọng số. Chúng nằm trong không gian tiềm ẩn của biểu diễn học, chứ không trong văn bản. Dù mở rộng cửa sổ ngữ cảnh đến đâu, vẫn sẽ có kiến thức không thể mô tả bằng văn bản, chỉ có thể lưu trữ trong tham số.

Điều này có thể giải thích tại sao các chức năng như “nhớ bạn” của ChatGPT thường khiến người dùng cảm thấy không thoải mái, chứ không phải ngạc nhiên. Người dùng không thực sự muốn chỉ đơn thuần hồi tưởng, mà muốn có khả năng. Một mô hình nội tại hóa hành vi của bạn, có thể tổng quát để đối phó với các tình huống mới; còn mô hình chỉ truy xuất các ghi chép cũ thì không thể. “Đây là phản hồi của bạn đối với email này” (lặp lại từng từ) khác với “Tôi đủ hiểu ý bạn, có thể dự đoán bạn cần gì” — đó là sự khác biệt giữa truy xuất và học hỏi, giữa ghi nhớ và nội tại hóa.

Giới thiệu học liên tục

Các phương pháp thực hiện học liên tục rất đa dạng, nhưng điểm phân biệt chính không nằm ở “có hay không có khả năng ghi nhớ”, mà ở: nén xảy ra ở đâu. Các phương pháp này có thể chia thành ba loại, tạo thành một dãy liên tục:

• Không nén (chỉ truy xuất, trọng số đóng băng)

• Nén hoàn toàn nội tại (học trong trọng số, mô hình thực sự trở nên thông minh hơn)

• Một phương án trung gian quan trọng: phương án mô-đun

Ngữ cảnh

Trong lĩnh vực ngữ cảnh, các nhóm nghiên cứu sẽ xây dựng các quy trình truy xuất thông minh hơn, khung trí tuệ nhân tạo và hệ thống tổ chức gợi ý. Đây là hướng đi đã trưởng thành nhất hiện nay: hạ tầng đã được xác nhận, quy trình triển khai rõ ràng và kiểm soát được. Hạn chế của nó nằm ở độ sâu, tức là độ dài ngữ cảnh.

Có một hướng mở mới đáng chú ý: kiến trúc đa trí tuệ nhân tạo, xem như một chiến lược mở rộng ngữ cảnh. Nếu một mô hình đơn lẻ bị giới hạn trong cửa sổ 128K token, thì một nhóm các trí tuệ hợp tác — mỗi trí tuệ giữ ngữ cảnh riêng, chuyên xử lý một phần vấn đề, và trao đổi kết quả — có thể gần như thực hiện bộ nhớ làm việc vô hạn. Mỗi trí tuệ hoàn thành học ngữ cảnh trong cửa sổ của chính nó, rồi hệ thống tổng hợp kết quả. Các dự án nghiên cứu tự chủ của Karpathy gần đây và ví dụ xây dựng trình duyệt web của Cursor đều thuộc dạng thực hành sơ khai này. Đây là phương pháp phi tham số, không thay đổi trọng số, nhưng cực kỳ nâng cao giới hạn của hệ thống dựa trên ngữ cảnh.

Mô-đun hóa

Trong hướng mô-đun, các nhóm sẽ xây dựng các mô-đun kiến thức có thể gắn vào (bộ nhớ khóa-giá trị nén, lớp thích nghi, kho lưu trữ bên ngoài, v.v.), giúp mô hình chung có thể có khả năng chuyên môn mà không cần huấn luyện lại toàn bộ. Một mô hình 8 tỷ tham số kết hợp với các mô-đun phù hợp có thể đạt hiệu quả của mô hình 1090 tỷ tham số, mà chỉ tiêu thụ rất ít bộ nhớ. Ưu điểm của phương án này là khả năng tương thích với kiến trúc Transformer hiện tại.

Cập nhật trọng số

Trong hướng cập nhật trọng số, các nhà nghiên cứu đang khám phá học tham số thực sự, như là cập nhật các lớp nhớ rSparse chỉ liên quan, tối ưu hóa liên tục qua phản hồi, hoặc huấn luyện trong giai đoạn suy luận để nén ngữ cảnh vào trọng số. Đây là các phương án sâu nhất, khó triển khai nhất, nhưng có thể giúp mô hình nội tại hóa hoàn toàn thông tin hoặc kỹ năng mới.

Hiện đã có nhiều cơ chế cập nhật tham số khác nhau, dưới đây là một số hướng nghiên cứu tiêu biểu:

Lĩnh vực cập nhật trọng số gồm nhiều tuyến công nghệ song song. Phương pháp điều chỉnh và không gian trọng số là hướng cổ điển nhất: Ổn định trọng số linh hoạt sẽ dựa trên tầm quan trọng của tham số đối với nhiệm vụ trước, để áp dụng các hình phạt thay đổi tham số; Phương pháp hòa trộn trọng số kết hợp các trọng số cũ và mới trong không gian tham số, nhưng thường không ổn định khi quy mô lớn. Huấn luyện trong quá trình kiểm thử do Sun và cộng sự đề xuất từ năm 2020, sau đó phát triển thành nhiều mô-đun hạ tầng khác nhau (lớp TTT, TTT toàn phần, TTT-Discover, v.v.), ý tưởng là thực hiện đạo hàm ngược trên dữ liệu kiểm thử, rồi nén thông tin mới vào trọng số mô hình tại các điểm then chốt. Học meta (meta-learning) thì khám phá khả năng huấn luyện ra mô hình có khả năng học, từ khởi tạo tham số MAML phù hợp cho các tập mẫu nhỏ, đến phương pháp học lồng nhau của Behrouz và cộng sự năm 2025, mô hình được thiết kế thành cấu trúc tối ưu đa cấp, vận hành theo các thời gian khác nhau, lấy cảm hứng từ cơ chế củng cố trí nhớ sinh học, thiết lập các mô-đun thích nghi nhanh và cập nhật chậm.

Kỹ thuật distillation (kỹ thuật chưng cất kiến thức) giúp giữ lại kiến thức về nhiệm vụ cũ bằng cách bắt mô hình học phù hợp với trọng số của mô hình giáo viên đã cố định. LoRD dùng cách cắt tỉa đồng thời mô hình và bộ đệm ghi nhớ, giúp quá trình này vận hành liên tục hiệu quả. Tự distillation đảo ngược nguồn tín hiệu, dùng đầu ra do chính mô hình sinh ra dựa trên điều kiện của chuyên gia làm tín hiệu huấn luyện, tránh mất mát thảm khốc trong fine-tuning liên tục. Tiến hóa tự thân (self-evolution) cũng tương tự: STaR dùng logic suy luận do chính mô hình tạo ra để nâng cao năng lực; AlphaEvolve khám phá các hướng tối ưu thuật toán chưa từng được cải tiến trong hàng chục năm; Silver và Sutton đề xuất “thời đại kinh nghiệm”, xây dựng quá trình học của trí tuệ nhân tạo dựa trên dòng chảy liên tục của kinh nghiệm.

Các hướng nghiên cứu này đang dần hội tụ. TTT-Discover đã kết hợp huấn luyện trong kiểm thử và khám phá dựa trên học tăng cường; kiến trúc HOPE tích hợp vòng lặp học nhanh chậm trong một mô hình duy nhất; SDFT biến quá trình distillation thành các đơn vị tự nâng cao. Các ranh giới giữa các phương pháp ngày càng mờ nhạt — hệ thống học liên tục thế hệ tiếp theo có thể sẽ tích hợp nhiều chiến lược, dùng chuẩn hóa để đảm bảo ổn định, meta-learning để tăng tốc học, tự nâng cao để cộng dồn năng lực. Nhiều startup đang xây dựng hệ sinh thái công nghệ này trên các tầng khác nhau.

Hệ sinh thái khởi nghiệp trong lĩnh vực học liên tục

Hướng phi tham số hiện là hướng phổ biến nhất. Các nhà cung cấp khung trí tuệ nhân tạo (Letta, mem0, Subconscious) xây dựng lớp tổ chức và khung hỗ trợ, quản lý nội dung cửa sổ ngữ cảnh đầu vào; hạ tầng truy xuất và sinh ra dựa trên tìm kiếm (RAG) như Pinecone, xmemory cung cấp nền tảng truy xuất. Dữ liệu đã tồn tại, thách thức chính là làm thế nào để chọn lọc và cung cấp đúng đắn các đoạn dữ liệu phù hợp vào đúng thời điểm. Khi cửa sổ ngữ cảnh mở rộng liên tục, không gian thiết kế của các công ty này cũng mở rộng theo, đặc biệt trong lĩnh vực khung, nhiều công ty mới đang xuất hiện để quản lý các chiến lược ngữ cảnh ngày càng phức tạp.

Trong khi đó, hướng tham số hóa đã phát triển từ sớm hơn, với nhiều phương án đa dạng hơn. Các công ty liên quan thử nghiệm các giải pháp nén sau khi triển khai, giúp mô hình nội tại hóa thông tin mới. Tùy theo cách mô hình học sau khi phát hành, các hướng này có thể phân thành một số nhóm rõ ràng.

Nén cục bộ: học không cần huấn luyện lại. Một số nhóm xây dựng các mô-đun kiến thức có thể gắn vào (bộ nhớ khóa-giá trị nén, lớp thích nghi, kho lưu trữ bên ngoài, v.v.), giúp mô hình chung có khả năng chuyên môn mà không cần huấn luyện lại toàn bộ. Ý tưởng chính là: đạt được nén thông tin có ý nghĩa trong mức độ ổn định và khả năng biến đổi có kiểm soát, chứ không chỉ đơn thuần truy xuất, vì quá trình học bị tách rời, không phân tán trong toàn bộ không gian tham số. Một mô hình 8 tỷ tham số kết hợp với các mô-đun phù hợp có thể đạt hiệu quả của các mô hình 1090 tỷ tham số, chỉ tiêu thụ ít bộ nhớ. Ưu điểm của hướng này là khả năng ghép nối: các mô-đun có thể trực tiếp phù hợp với kiến trúc Transformer hiện tại, dễ thay thế hoặc cập nhật, và chi phí thử nghiệm thấp hơn nhiều so với huấn luyện lại toàn bộ.

Học qua phản hồi và vòng lặp. Một số nhóm khác cho rằng, sau khi triển khai, mô hình có thể học từ các tín hiệu phong phú nhất chính là trong quá trình vận hành: sửa lỗi của người dùng, thành công hay thất bại của nhiệm vụ, phần thưởng trong các tình huống thực tế. Ý tưởng chính là, mô hình nên xem mỗi lần tương tác như một tín hiệu huấn luyện tiềm năng, chứ không chỉ đơn thuần là yêu cầu suy luận. Điều này rất giống cách con người nâng cao năng lực trong công việc: thực hành, nhận phản hồi, nội tại hóa kinh nghiệm hiệu quả. Thách thức kỹ thuật là làm thế nào để biến các phản hồi thưa thớt, nhiễu loạn, thậm chí mang tính đối kháng thành các cập nhật trọng số ổn định, tránh mất trí nhớ thảm khốc; và khi mô hình thực sự học từ quá trình triển khai, giá trị của nó sẽ liên tục tích lũy theo thời gian — điều mà hệ thống dựa trên ngữ cảnh không thể làm được.

Học từ dữ liệu chất lượng cao. Một hướng liên quan nhưng độc lập, cho rằng, vấn đề chính không phải là thuật toán học, mà là dữ liệu huấn luyện và hệ thống đi kèm. Nhóm này tập trung vào việc chọn lọc, tạo ra hoặc tổng hợp dữ liệu chất lượng cao, thúc đẩy cập nhật liên tục: ý tưởng chính là, nếu mô hình có thể tiếp cận các tín hiệu học tập chất lượng cao, có cấu trúc rõ ràng, thì chỉ cần ít bước đạo hàm là đã có thể nâng cao hiệu quả. Điều này phù hợp với quan điểm của hướng phản hồi, nhưng tập trung hơn vào phần đầu vào: không chỉ quan tâm mô hình có thể học hay không, mà còn quan tâm nội dung và mức độ học.

Kiến trúc hoàn toàn mới. Hướng tiến xa nhất cho rằng, kiến trúc Transformer bản thân là giới hạn, và để có hệ thống học liên tục, cần một đơn vị tính toán hoàn toàn khác — có đặc tính động liên tục theo thời gian và có cơ chế ghi nhớ nội tại. Ý tưởng chính là, nếu muốn xây dựng hệ thống liên tục học, cần tích hợp khả năng học vào chính kiến trúc nền tảng.

Các phòng thí nghiệm lớn cũng đang tích cực nghiên cứu các hướng này. Một số tập trung vào tối ưu quản lý ngữ cảnh và suy luận theo chuỗi, số khác thử nghiệm các mô-đun ghi nhớ bên ngoài hoặc quy trình tính toán offline (tính toán trong giai đoạn ngủ). Nhiều startup chưa công khai cũng đang phát triển kiến trúc mới hoàn toàn. Hiện tại, lĩnh vực này vẫn còn sơ khai, chưa có phương pháp nào chiếm ưu thế tuyệt đối; và xét theo đa dạng các ứng dụng, khả năng cao là sẽ không có một công ty nào thống trị hoàn toàn trong tương lai.

Tại sao cập nhật trọng số trực tiếp lại không khả thi

Việc cập nhật tham số mô hình trực tiếp trong môi trường sản xuất sẽ gây ra một loạt các vấn đề liên kết, mà đến nay vẫn chưa được giải quyết trong các quy mô lớn.

Các vấn đề kỹ thuật này đã có nhiều tài liệu đề cập. Thảm họa quên lãng (catastrophic forgetting) có nghĩa là, khi mô hình quá nhạy cảm với dữ liệu mới, nó sẽ phá vỡ các biểu diễn đã có — đó chính là vấn đề về tính ổn định và khả năng thích nghi. Vấn đề phân tách chuỗi thời gian thể hiện qua việc các quy tắc bất biến và trạng thái biến đổi bị nén chung trong cùng một tập trọng số, việc cập nhật một bên sẽ làm hỏng bên kia. Sự hợp nhất logic thất bại vì việc cập nhật kiến thức không thể truyền dẫn đến các kết luận liên quan: thay đổi chỉ giới hạn trong chuỗi từ vựng, chứ không phải ở cấp độ khái niệm. Thêm nữa, việc loại bỏ kiến thức cũ vẫn chưa thể thực hiện được: không có phép trừ vi phân, nên không thể loại bỏ chính xác kiến thức sai lệch hoặc có hại.

Ngoài ra, còn có các vấn đề ít được chú ý hơn. Chế độ đào tạo và vận hành tách rời hiện tại không chỉ là một sự sắp xếp kỹ thuật tiện lợi, mà còn là giới hạn về an toàn, khả năng kiểm soát và quản trị. Nếu phá vỡ giới hạn này, nhiều cơ chế sẽ cùng lúc thất bại. Việc đảm bảo an toàn có thể gặp phải sự thoái trào không thể dự đoán: ngay cả khi chỉ tinh chỉnh nhỏ trên dữ liệu tích cực, cũng có thể gây ra các lệch chuẩn lớn về sự phù hợp của mô hình. Việc cập nhật liên tục sẽ tạo ra các lỗ hổng tiêm nhiễm dữ liệu — một dạng tấn công tiêm kích hoạt các gợi ý trong trọng số, tồn tại chậm rãi và lâu dài. Khả năng kiểm soát và kiểm thử cũng sẽ bị ảnh hưởng, vì mô hình liên tục thay đổi, không thể quản lý phiên bản, kiểm tra hồi quy hay xác nhận một lần. Khi các tương tác của người dùng bị nén vào trọng số, rủi ro về quyền riêng tư sẽ tăng cao: thông tin nhạy cảm có thể được nhúng vào biểu diễn, khó lọc hơn so với ngữ cảnh truy xuất.

Tất cả những vấn đề này vẫn còn bỏ ngỏ, chứ không phải là không thể. Giải quyết chúng, cũng như vượt qua các thách thức về kiến trúc cốt lõi, đều là các phần quan trọng trong chương trình nghiên cứu về học liên tục.

Từ “memento” đến trí nhớ thực sự

Trong “Memento”, bi kịch của Leonard không phải là anh không thể sống bình thường: anh rất thông minh, thậm chí còn rất sáng suốt trong từng cảnh. Bi kịch của anh là không thể tích lũy năng lực theo cấp số nhân. Tất cả trải nghiệm đều nằm ngoài, dưới dạng ảnh Polaroid, hình xăm, ghi chú của người khác. Anh có thể truy xuất, nhưng không thể nén kiến thức mới.

Khi Leonard đi qua mê cung do chính mình tạo ra, ranh giới giữa sự thật và niềm tin bắt đầu mờ nhạt. Bệnh của anh không chỉ lấy đi ký ức, mà còn buộc anh phải liên tục tái tạo ý nghĩa, khiến anh vừa là người điều tra, vừa là người kể chuyện không đáng tin cậy trong câu chuyện của chính mình.

Ngày nay, trí tuệ nhân tạo cũng đang đối mặt với cùng một giới hạn. Chúng ta đã xây dựng các hệ thống truy xuất cực mạnh: cửa sổ ngữ cảnh dài hơn, khung khái quát thông minh hơn, nhóm đa trí tuệ hợp tác hiệu quả hơn — và chúng thực sự hiệu quả! Nhưng truy xuất không đồng nghĩa với học hỏi. Một hệ thống có thể tra cứu mọi sự thật, chưa từng bị yêu cầu phát hiện cấu trúc, cũng chưa từng cần thể hiện khả năng tổng quát. Chính cơ chế nén có tổn thất khiến huấn luyện trở nên mạnh mẽ — biến dữ liệu gốc thành biểu diễn có thể chuyển đổi, có thể mang lại khả năng tổng quát — đã bị chúng ta tắt đi ngay tại thời điểm triển khai.

Con đường phát triển có thể không phải là một bước đột phá duy nhất, mà là một hệ thống phân tầng. Học theo ngữ cảnh vẫn sẽ là lớp phòng thủ đầu tiên: nó nguyên bản, đã được xác nhận, và vẫn đang được tối ưu liên tục. Cơ chế mô-đun có thể đảm nhận nhiệm vụ trung gian giữa cá nhân hóa và chuyên môn lĩnh vực. Nhưng đối mặt với các vấn đề sáng tạo, thích nghi chống đối, và kiến thức tiềm ẩn không thể diễn đạt bằng lời, chúng ta có thể cần mô hình vẫn có thể nén kinh nghiệm vào trọng số sau khi huấn luyện. Điều này đòi hỏi tiến bộ trong kiến trúc rSparse, mục tiêu meta-learning, và vòng lặp tự nâng cao. Có thể còn cần định nghĩa lại ý nghĩa của “mô hình”: không còn là một tập hợp trọng số cố định, mà là một hệ thống liên tục tiến hóa, bao gồm ghi nhớ, thuật toán cập nhật, và khả năng trừu tượng quy luật từ chính kinh nghiệm của nó.

Tủ hồ sơ sẽ ngày càng lớn hơn. Nhưng dù lớn đến đâu, nó cũng chỉ là tủ hồ sơ. Bước đột phá thực sự là giúp mô hình tiếp tục làm điều đã khiến nó trở nên mạnh mẽ trong quá trình huấn luyện: nén, trừu tượng, học hỏi. Chúng ta đang đứng trước một điểm then chốt, sẵn sàng chuyển từ mô hình như mất trí nhớ, sang một trí tuệ có phần cảm nhận về kinh nghiệm. Nếu không, chúng ta sẽ mãi mãi mắc kẹt trong chính “Memento” của mình.