어떤 크기의 AI 모델을 로드하고 실행할 수 있는지를 결정하는 GPU 전용 메모리입니다.
VRAM은 GPU에 직접 탑재된 메모리입니다. 이는 AI 모델 실행 시의 물리적 한계로, GPU가 아무리 강력하더라도 모델과 중간 데이터가 VRAM 용량에 맞지 않으면 실행되지 않습니다.
inference에 대한 대략적인 추정 규칙: 4-bit 양자화 모델은 대략 GB 단위의 파라미터 수의 절반이 필요합니다. 학습은 gradient 및 optimizer 상태를 유지해야 하므로 inference보다 몇 배 더 많은 비용이 듭니다.
GPU 패키지를 비교할 때는 VRAM을 먼저 비교한 후 연산 성능을 비교하십시오 — VRAM이 부족하면 아예 실행되지 않지만, 속도가 부족한 것은 단지 느리게 실행될 뿐입니다.
