GPU 的专用显存，决定了可以加载和运行多大规格的 AI 模型。
VRAM 是直接集成在 GPU 上的内存。这是运行 AI 模型时的硬性限制：如果模型及中间数据无法完全容纳于 VRAM 中，无论 GPU 性能多么强大，都无法运行。
推理的粗略估算规则：4 bit量化模型所需的容量（以GB计）约为参数量（十亿）的一半。训练消耗比推理高出数倍，因为必须额外保留梯度和优化器状态。
在对比 GPU 套餐时，请先对比 VRAM，再看计算性能——缺少 VRAM 将无法运行，而速度不足仅是运行缓慢。
相关术语
- Auto Scaling Tự động điều chỉnh số lượng instances dựa trên load hoặc schedule.
- Colocation 在服务提供商的数据中心租用自有服务器托管空间。
- Dedicated Server 专供单一客户使用的整机物理服务器，不与任何人分享。
- Failover Chuyển đổi tự động sang hệ thống dự phòng khi hệ thống chính bị lỗi.
- GPU 图形处理器，用于训练和运行 AI 模型、渲染及计…
- Health Check Kiểm tra định kỳ để xác định instance có healthy và sẵn sàng nhận traffic.
- High Availability Thiết kế hệ thống để đảm bảo uptime cao, thường 99.9% trở lên.
- Horizontal Scaling Thêm/bớt instances để phân phối load.
