Önce iş yükünüzü seçin, sonra GPU belleğine (VRAM) bakın: modelin ağırlıkları ve bağlam önbelleği (KV cache) kartın belleğine sığmalıdır. BF16 ağırlıklar milyar parametre başına yaklaşık 2 GB yer kaplar; 8 bit nicemlemede bu yaklaşık 1 GB'a, 4 bitte 0,5–0,6 GB'a iner. Örneğin Qwen3 32B, 8K bağlam ve tek istekle 4 bitte yaklaşık 22,5 GB, FP8'de 37,6 GB, BF16'da 72 GB ister: 4 bitte 32 GB'lık RTX 5090'a, FP8'de 48 GB'lık L40S ya da RTX PRO 5000'e tek kartta sığar; BF16 için 80 GB ve üzeri bellekli bir kart gerekir.
Önerilerimizde görsel üretimi, ses tanıma ve veri bilimi gibi işler 20–48 GB'lık kartlarla başlar. Dil modellerinin tam ince ayarı ve büyük modellerin eğitimi ise çoğunlukla 80–141 GB'lık H100 ve H200 kartlarını ya da birden fazla GPU'yu gerektirir; tek siparişte en fazla 8 GPU kiralanabilir, kartlar arası bağlantıyı çok GPU'lu kiralama ve NVLink rehberinde anlattık. Kendi modelinizin ihtiyacını LLM VRAM hesaplama aracıyla görün; emin değilseniz sipariş formuna ne çalıştırmak istediğinizi yazın, uygun modeli ve GPU adedini birlikte belirleyelim.
Aşağıdaki tabloda her iş yükü için önerdiğimiz GPU'lar var, en uygun olan önce. Fiyatlar GPU başına, aylık ve KDV hariçtir; bütün modeller için yapay zeka sunucu fiyatları sayfamıza bakın.