Hiện nay AI do 5 kiến trúc phần cứng chi phối, mỗi loại đều có những đánh đổi khác nhau giữa tính linh hoạt, khả năng song song và truy cập bộ nhớ.

CPU: Thiết kế tính toán tổng quát, chỉ có một số lõi mạnh mẽ, giỏi xử lý logic phức tạp, phân nhánh và nhiệm vụ cấp hệ thống. Nó có bộ đệm sâu và DRAM ngoài chip (bộ nhớ chính), phù hợp cho hệ điều hành, cơ sở dữ liệu, nhưng không hiệu quả lắm với các phép nhân ma trận lặp đi lặp lại cần thiết cho mạng neural.
GPU: Không phải là ít lõi mạnh mẽ, mà là hàng nghìn lõi nhỏ hơn cùng thực thi cùng một lệnh (SIMD). Tính song song cao này phù hợp hoàn hảo với các phép toán toán học của mạng neural, do đó chiếm ưu thế trong huấn luyện AI.
TPU (Thiết kế của Google): Chuyên biệt hơn nữa. Lõi là lưới các đơn vị nhân cộng (MAC), dữ liệu chảy theo dạng “sóng” — trọng số vào từ một phía, giá trị kích hoạt vào từ phía kia, kết quả truyền trực tiếp mà không cần ghi lại vào bộ nhớ mỗi lần. Toàn bộ thực thi do trình biên dịch kiểm soát (không phải lập lịch phần cứng), tối ưu cho tải trọng mạng neural.
NPU (Neural Processing Unit): Phiên bản tối ưu cho thiết bị biên. Có Neural Compute Engine tích hợp (mảng MAC lớn + SRAM trên chip), nhưng sử dụng bộ nhớ hệ thống tiêu thụ điện năng thấp thay vì HBM băng thông cao. Mục tiêu là chạy suy luận với công suất chỉ vài watt trên điện thoại, thiết bị đeo, IoT, v.v. (Apple Neural Engine, Intel NPU đều thuộc loại này).
LPU (Language Processing Unit, do Groq giới thiệu): Thành viên mới nhất. Hoàn toàn loại bỏ bộ nhớ ngoài chip, tất cả trọng số đều nằm trong SRAM trên chip. Thực thi hoàn toàn xác định, do trình biên dịch điều phối, không thiếu bộ nhớ đệm, không có chi phí lập lịch thời gian chạy. Nhược điểm là bộ nhớ trong chip hạn chế, cần hàng trăm chip kết nối để phục vụ các mô hình lớn, nhưng lợi thế về độ trễ rất rõ ràng.