Lightbits, Đổi mới trong tối ưu hóa hiệu quả suy luận AI để giảm chi phí đám mây

TechubNews · 2026-03-11T15:36:34+00:00

Lightbits Labs đã ra mắt kiến trúc mới giải quyết vấn đề tắc nghẽn bộ nhớ trong suy luận AI, tối ưu hóa hiệu suất GPU, giảm chi phí xử lý. "Bộ đệm KV" của họ tái sử dụng kết quả tính trung gian, giảm các phép tính không cần thiết. Hệ thống mới có thể tăng tốc di chuyển dữ liệu, đảm bảo GPU hoạt động trơn tru, và hợp tác với NeoCloud để lên kế hoạch triển khai.

TechubNews

2026-03-11 15:36:34

Đang tạo bản tóm tắt

Công nghệ tiến bộ trong ngành công nghiệp đang thúc đẩy nhanh hơn nhờ các đổi mới trong lĩnh vực trí tuệ nhân tạo (AI). Gần đây, Lightbits Labs đã công bố một kiến trúc mới nhằm giải quyết vấn đề giới hạn bộ nhớ trong các suy luận AI quy mô lớn. Kiến trúc này được phát triển hợp tác với ScaleFlux và FarmGPU, kết hợp bộ nhớ phi biến mất tốc độ cao, hạ tầng suy luận GPU và phần mềm của Lightbits, giúp hệ thống AI quản lý bộ đệm dữ liệu sinh ra trong quá trình suy luận hiệu quả hơn.

Trong bối cảnh các nhà cung cấp dịch vụ đám mây đang phải đối mặt với áp lực chi phí khi xử lý các nhiệm vụ suy luận, việc ra mắt này dự kiến sẽ mang lại tin vui. Chi phí cao của GPU đã trở thành một vấn đề lớn chiếm phần lớn chi tiêu vận hành. Để cải thiện tình hình này, Lightbits đặt mục tiêu tối ưu hóa hiệu suất sử dụng GPU.

Nền tảng mới của Lightbits tăng khả năng xử lý yêu cầu trên mỗi GPU, từ đó nâng cao hiệu quả suy luận. Điều này trực tiếp dẫn đến giảm chi phí xử lý mỗi lần, mang ý nghĩa quan trọng. Theo kết quả thử nghiệm của Lightbits, họ đã tăng gấp ba số lượng yêu cầu xử lý trên cùng một GPU, đồng thời giảm 65% chi phí điện năng và hạ tầng.

Giải pháp cốt lõi của họ là “bộ đệm KV”. Bộ đệm này lưu trữ các vector trung gian sinh ra trong quá trình suy luận, giúp tránh các phép tính không cần thiết bằng cách tái sử dụng kết quả tính toán trước đó. Tuy nhiên, khi quy mô mô hình mở rộng, dung lượng bộ đệm cũng tăng nhanh chóng. Nhu cầu bộ nhớ mỗi năm tăng hơn gấp đôi, đòi hỏi nhiều nỗ lực dài hạn để giải quyết. Vì vậy, Lightbits đã giới thiệu phương pháp sáng tạo dựa trên dự đoán di chuyển dữ liệu và cung cấp thông tin cần thiết cho GPU trước.

Hệ thống LightInferra có khả năng quản lý và tăng tốc di chuyển dữ liệu giữa các cấp bộ nhớ, đảm bảo GPU không phải chờ đợi dữ liệu. Hệ thống này có thể duy trì quá trình suy luận trôi chảy mà không vượt quá dung lượng bộ nhớ của GPU. Các nhà cung cấp dịch vụ đám mây có thể tận dụng thiết kế này để tối ưu hóa hiệu suất GPU hoặc nâng cao tổng công suất xử lý trong hạ tầng hiện có. Kiến trúc này đang hợp tác với NeoCloud và dự kiến sẽ bắt đầu vận hành sản xuất từ tháng 7.

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.