Mô hình vừa khớp trên một DGX Spark duy nhất và chạy ở tốc độ 30 - 40 token mỗi giây, vượt qua các hệ thống mã nguồn mở có trọng số gần 10 lần kích thước của nó.

Chúng tôi đã dự phòng quá mức vì cho rằng quy mô chỉ là đòn bẩy duy nhất, nhưng họ đã loại bỏ cơ chế persistence và backtracking khỏi một mô hình nhỏ.
Nếu một nhóm với ít hơn 70 người có thể xây dựng hạ tầng chặt chẽ đến vậy, thì điều đó nói lên rằng những người xây dựng và vận hành còn lại của chúng ta có thể vận hành tinh gọn đến mức nào, nếu khả năng tái tạo được xem là tính năng đầu tiên thay vì là tính năng cuối cùng?