İçeriğe geç
gpukiralama Sipariş

LLM VRAM hesaplama aracı: model kaç GB VRAM ister?

Bir LLM'in VRAM ihtiyacı kabaca parametre sayısı × parametre başına bayttır: milyar parametre başına BF16'da 2 GB, FP8'de 1 GB, 4-bit nicemlemede yaklaşık 0,56 GB. Üstüne bağlam uzunluğu ve eş zamanlı istek sayısıyla büyüyen KV önbelleği ile birkaç GB çalışma payı eklenir. Örneğin 8K bağlamla Llama 3.1 8B BF16'da yaklaşık 18,9 GB, Llama 3.3 70B FP8'de yaklaşık 77,8 GB ister.

Aşağıdan modelinizi, hassasiyeti ve bağlam uzunluğunu seçin. Hesaplayıcı, çalıştırma (inference) ya da ince ayar (fine-tuning) için gereken GPU belleğini, modelin hangi GPU'ya kaç kartla sığdığını ve paylaşımsız GPU sunucu olarak aylık maliyetini gösterir.

Ne yapacaksınız?

Llama 3.1 8B · QLoRA (4-bit model + adaptör), 2.048 token × 1

≈ 8,3 GB

tahmini GPU belleği ihtiyacı

Model ağırlıkları
4,5 GB
Gradyan ve optimizer
0,7 GB
Aktivasyonlar
2,1 GB
Çalışma payı
1,0 GB

Önerilen yapılandırma

1 × RTX 5060 Ti

Toplam 16 GB GPU belleği · aylık $200 (KDV hariç)

Bu yapılandırmayı kirala

Modellere göre

Tahminidir. GPU belleğinin yaklaşık %8'i sürücü ve parçalanma payı olarak hesaba katılmaz; gerçek kullanım yazılıma ve ayarlara göre birkaç GB değişebilir.

Varsayılan senaryo tek kullanıcılı çalıştırmadır; birden çok kullanıcıya API sunacaksanız eş zamanlı istek sayısını artırın. Eş zamanlı isteğe göre kart seçimi için LLM sunucu kiralama sayfamıza, 70B sınıfı modellerde 80 GB ile 141 GB arasındaki fark için H100 ve H200 karşılaştırmasına bakın.

Popüler modeller kaç GB VRAM ister?

Çalıştırma (inference) için, 8K bağlam ve tek istekle yaklaşık toplam GPU belleği (VRAM). KV önbelleği BF16 varsayılmıştır; değerler bu hesaplayıcıyla üretilmiştir.

Model Parametre BF16 / FP16 FP8 / INT8 4-bit
Llama 3.1 8B 8 milyar ≈ 18,9 GB ≈ 10,5 GB ≈ 6,8 GB
Qwen3 8B 8,2 milyar ≈ 19,4 GB ≈ 10,8 GB ≈ 7,1 GB
Qwen3 14B 14,8 milyar ≈ 33,4 GB ≈ 17,9 GB ≈ 11,1 GB
gpt-oss-20b (MoE) 20,9 milyar ≈ 45,1 GB ≈ 23,1 GB ≈ 13,5 GB
Mistral Small 3.2 24B 24 milyar ≈ 52,7 GB ≈ 27,5 GB ≈ 16,5 GB
Qwen3 30B-A3B (MoE) 30,5 milyar ≈ 65,9 GB ≈ 33,8 GB ≈ 19,8 GB
Qwen3 32B 32,8 milyar ≈ 72,0 GB ≈ 37,6 GB ≈ 22,5 GB
Llama 3.3 70B 70,6 milyar ≈ 151,9 GB ≈ 77,8 GB ≈ 45,4 GB
gpt-oss-120b (MoE) 116,8 milyar ≈ 246,6 GB ≈ 123,9 GB ≈ 70,3 GB
Qwen3 235B-A22B (MoE) 235 milyar ≈ 496,1 GB ≈ 249,3 GB ≈ 141,4 GB
DeepSeek V3 / R1 (MoE) 671 milyar ≈ 1.410,7 GB ≈ 706,1 GB ≈ 397,9 GB

DeepSeek V3 / R1 satırı 671 milyar parametreli tam modeldir; FP8'de yaklaşık 706,1 GB ile ancak 8 GPU'luk bir yapılandırmaya sığar. DeepSeek-R1'in damıtılmış (distill) sürümleri ise temel aldıkları modellerle aynı boyuttadır: R1-Distill-Llama-8B Llama 3.1 8B'ye, R1-Distill-Llama-70B Llama 3.3 70B'ye, 1.5B, 7B, 14B ve 32B boyutlu R1-Distill-Qwen sürümleri Qwen2.5 ailesine dayanır. Bunlar için aynı boyuttaki modeli seçin ya da "Diğer" seçeneğine parametre sayısını girin.

8, 12, 16, 24 veya 32 GB VRAM ile hangi LLM çalışır?

Kartın belleğinin yaklaşık %92'si model için kullanılabilir. 8K bağlam ve tek istekle tek karta sığan en büyük hazır modeller şöyledir: 8 GB'lık kartta Qwen3 8B (4-bit, ≈ 7,1 GB), 12 GB'lık kartta Qwen3 8B (FP8, ≈ 10,8 GB), 16 GB'lık kartta gpt-oss-20b (4-bit, ≈ 13,5 GB), 24 GB'lık kartta Qwen3 30B-A3B (4-bit, ≈ 19,8 GB) ve 32 GB'lık kartta Qwen3 32B (4-bit, ≈ 22,5 GB). Daha yüksek hassasiyette aynı karta daha küçük modeller sığar; daha uzun bağlam ya da birden fazla eş zamanlı kullanıcı için daha fazla bellek gerekir.

GPU belleğine göre tek karta sığan en büyük model
GPU belleği Örnek kartlar BF16 / FP16 FP8 / INT8 4-bit
8 GB GeForce RTX 4060, RTX 5060 — — Qwen3 8B ≈ 7,1 GB
12 GB GeForce RTX 3060 (12 GB), RTX 4070, RTX 5070 — Qwen3 8B ≈ 10,8 GB Qwen3 8B ≈ 7,1 GB
16 GB GeForce RTX 4080, RTX 5080, RTX 5060 Ti — Qwen3 8B ≈ 10,8 GB gpt-oss-20b (MoE) ≈ 13,5 GB
24 GB GeForce RTX 3090, RTX 4090, RTX A5000, RTX 3090, RTX PRO 4000 Qwen3 8B ≈ 19,4 GB Qwen3 14B ≈ 17,9 GB Qwen3 30B-A3B (MoE) ≈ 19,8 GB
32 GB RTX 5090 Qwen3 8B ≈ 19,4 GB Mistral Small 3.2 24B ≈ 27,5 GB Qwen3 32B ≈ 22,5 GB
48 GB L40S, RTX PRO 5000 Qwen3 14B ≈ 33,4 GB Qwen3 32B ≈ 37,6 GB Qwen3 32B ≈ 22,5 GB
80 GB H100 Qwen3 32B ≈ 72,0 GB Qwen3 32B ≈ 37,6 GB gpt-oss-120b (MoE) ≈ 70,3 GB
96 GB RTX PRO 6000 Qwen3 32B ≈ 72,0 GB Llama 3.3 70B ≈ 77,8 GB gpt-oss-120b (MoE) ≈ 70,3 GB
141 GB H200 Qwen3 32B ≈ 72,0 GB gpt-oss-120b (MoE) ≈ 123,9 GB gpt-oss-120b (MoE) ≈ 70,3 GB

Her hücrede o belleğe tek kartta sığan en büyük hazır model ve toplam ihtiyacı yer alır: çalıştırma (inference), 8K bağlam, tek istek, BF16 KV önbelleği. Tüketici kartları masaüstü sürümleridir; dizüstü sürümlerinin belleği farklı olabilir (örneğin GeForce RTX 5090 Laptop GPU 24 GB belleklidir). Bağlantılı kartları aylık kiralayabilirsiniz.

Kartınıza sığmayan bir model için iki yol vardır: daha düşük hassasiyetle nicemlemek ya da modeli birden fazla GPU'ya bölmek. Tek siparişte en fazla 8 GPU kiralayabilirsiniz. Görsel üretim modellerinin bellek ihtiyacı farklı hesaplanır; onlar için Stable Diffusion ve FLUX GPU rehberine bakın.

LLM VRAM nasıl hesaplanır?

Çalıştırma: Model ağırlıkları = parametre sayısı × parametre başına bayt (BF16'da 2, FP8'de 1, 4-bit'te ölçek değerleriyle birlikte yaklaşık 0,56). KV önbelleği = 2 × katman × KV başı × baş boyutu × bayt × bağlam uzunluğu × eş zamanlı istek. Üstüne 1 GB ve ağırlıkların %5'i kadar çalışma payı eklenir. Uzun bağlamda KV önbelleğini küçültmenin yolu FP8 KV önbelleği kullanmaktır.

Örnek: Llama 3.1 8B, BF16, 8K bağlam, tek istek. Ağırlıklar: 8,03 milyar × 2 bayt ≈ 16,1 GB. KV önbelleği: 2 × 32 katman × 8 KV başı × 128 baş boyutu × 2 bayt × 8.192 token ≈ 1,1 GB. Çalışma payı: 1 GB + ağırlıkların %5'i ≈ 1,8 GB. Toplam ≈ 18,9 GB; model 24 GB'lık bir karta sığar, 16 GB'lık bir karta sığmaz.

4-bit için kullanılan 0,5625 bayt (4,5 bit), nicemleme ölçeklerini de kapsayan ortalama bir değerdir. llama.cpp'nin nicemleme belgelerine göre GGUF Q4_K_M ağırlık başına yaklaşık 4,9 bit kullanır; bu biçimde ağırlıklar tahminden yaklaşık %9 büyük olabilir.

İnce ayar: Ağırlıklar (QLoRA'da 4-bit, LoRA ve full fine-tuning'de BF16) + eğitilen parametrelerin gradyan ve AdamW durumu (LoRA'da rank 16 adaptör, full fine-tuning'de parametre başına 14 bayt) + gradient checkpointing açıkken aktivasyonlar + 1 GB. Full fine-tuning çoğu zaman tek GPU'ya sığmaz; çok GPU'lu yapılandırmalarda eğitimin FSDP2 ya da DeepSpeed ile nasıl kurulduğunu çok GPU'lu eğitim rehberimiz, kart seçimini LLM eğitimi için GPU seçimi rehberimiz anlatır.

GPU önerisi: Her GPU'nun belleğinin %92'si kullanılabilir kabul edilir. Çok GPU'lu yapılandırmalar 2, 4 veya 8 GPU olarak hesaplanır; önce en az GPU'lu, sonra en düşük aylık maliyetli yapılandırma önerilir. Aylık maliyet, GPU başına aylık fiyat × GPU sayısıdır ve KDV hariçtir. Fiyatlar ABD doları cinsindendir; fatura, düzenlendiği günkü TCMB döviz satış kuru üzerinden Türk lirası olarak kesilir. 12 aylık kiralamada aylık fiyata %20 indirim uygulanır.

Kaynaklar: Mimari bilgileri (katman sayısı, KV başı ve baş boyutu) modellerin Hugging Face'teki resmi yapılandırma dosyalarından alınmıştır: Llama 3.1 8B, Llama 3.3 70B, Qwen3, gpt-oss, Mistral Small 3.2, DeepSeek V3.

Son güncelleme:

İlgili sayfalar

Sık sorulan sorular

8 milyar parametreli bir model kaç GB VRAM ister?

BF16 hassasiyette ağırlıklar yaklaşık 16 GB tutar; 8K bağlam ve çalışma payıyla toplam ihtiyaç 19 GB civarındadır. FP8 ile yaklaşık 10–11 GB, 4-bit nicemlemeyle 7 GB civarı yeterlidir.

70B bir model kaç GB VRAM ister, tek GPU'ya sığar mı?

FP8 hassasiyette, 8K bağlamla toplam ihtiyaç yaklaşık 78 GB'tır; 96 GB'lık RTX PRO 6000 veya 141 GB'lık H200'e sığar. 80 GB'lık H100'e ise belleğin yaklaşık %8'i pay olarak ayrıldığında sığmaz. 4-bit nicemlemeyle ihtiyaç yaklaşık 45 GB'a iner; BF16'da (yaklaşık 152 GB) birden fazla GPU gerekir.

KV önbelleği nedir, neden bu kadar yer kaplıyor?

Model, ürettiği her token için önceki tokenların anahtar ve değer vektörlerini saklar. Bu bellek bağlam uzunluğu ve eş zamanlı istek sayısıyla doğru orantılı büyür; uzun bağlamlı ve çok kullanıcılı servislerde model ağırlıklarından bile fazla yer tutabilir. FP8 KV önbelleği bu alanı yarıya indirir.

MoE modellerinde neden toplam parametre sayısı kullanılıyor?

Mixture-of-Experts modellerinde her token için yalnızca birkaç uzman çalışır ama tüm uzmanların ağırlıkları GPU belleğinde durmalıdır. Bu yüzden bellek hesabında toplam parametre sayısı, hız tahmininde ise aktif parametre sayısı önemlidir.

VRAM ile RAM farkı nedir, LLM sistem RAM'inde çalışır mı?

VRAM ekran kartının kendi belleğidir, RAM ise işlemcinin kullandığı sistem belleğidir. llama.cpp ve Ollama, GPU'ya sığmayan katmanları sistem RAM'inde tutup işlemcide çalıştırabilir; model çalışır ama yavaşlar, çünkü token üretimi büyük ölçüde bellek bant genişliğiyle sınırlıdır. Çift kanallı DDR5-5600 teorik olarak yaklaşık 90 GB/s sunarken GeForce RTX 5090'ın GDDR7 belleği 1.792 GB/s sunar. Ollama'da modelin ne kadarının GPU'da çalıştığını ollama ps komutunun Processor sütunu gösterir.

Yapay zeka için kaç GB VRAM'li ekran kartı gerekir?

Çalıştıracağınız modele ve hassasiyete bağlıdır. 8K bağlam ve tek istekle 8B sınıfı bir dil modeli 4-bit nicemlemeyle 8 GB'lık kartta çalışır; 14B modeller 4-bit'te 16 GB'lık, 32B modeller 32 GB'lık kart ister. 70B bir modeli FP8'de tek kartta çalıştırmak için 96 GB'lık RTX PRO 6000 veya 141 GB'lık H200 gibi bir kart gerekir. Görsel üretim modellerinin ihtiyacı farklıdır; kendi senaryonuz için bu sayfadaki hesaplayıcıyı kullanın.

Hesaplama ne kadar doğru?

Planlama için hazırlanmış bir tahmindir. Gerçek kullanım; çıkarım yazılımına (vLLM, llama.cpp, TensorRT-LLM gibi), sürümüne ve ayarlara göre birkaç GB değişebilir. Bu yüzden GPU belleğinin yaklaşık %8'ini pay olarak ayırıyoruz.