Bộ nhớ riêng của GPU, quyết định mô hình AI cỡ nào có thể nạp và chạy được.
VRAM là bộ nhớ gắn trực tiếp trên GPU. Đây là giới hạn cứng khi chạy mô hình AI: nếu mô hình cùng dữ liệu trung gian không nằm vừa VRAM thì không chạy được, bất kể GPU mạnh tới đâu.
Quy tắc ước lượng thô cho suy luận: một mô hình lượng tử hóa 4 bit cần khoảng nửa số tỉ tham số tính bằng GB. Huấn luyện tốn nhiều hơn suy luận vài lần vì phải giữ thêm gradient và trạng thái bộ tối ưu.
Khi so sánh gói GPU, hãy so VRAM trước rồi mới tới hiệu năng tính toán — thiếu VRAM là không chạy, còn thiếu tốc độ chỉ là chạy chậm.
