LLM Eğitimi İçin GPU Seçimi: Fine-Tuning'de Hangi GPU? (2026)

LLM eğitimi için hangi GPU gerekir?

LLM eğitiminde gereken GPU'yu yöntem ve model boyutu belirler. QLoRA ince ayarı 70B'ye, LoRA 32B'ye kadar tek bir karta sığar; 7B ve üzeri modellerin full fine-tuning'i birden fazla H100 ya da H200 ister. Sıfırdan ön eğitim 1B ölçeğinde 8 GPU'lu tek bir sunucuda yapılabilir; 10B ve üzeri ise çok daha büyük bir küme gerektirir.

GPU seçerken önce amacınızı netleştirin; çünkü her amacın darboğazı farklıdır:

• Sıfırdan ön eğitim (pretraining): Belirleyici olan hesap gücüdür. 1 milyar parametreli bir modeli hesap açısından verimli biçimde eğitmek ~1,2 × 10²⁰ işlem (FLOP) ister; bu, 8 adet H100'le teorik olarak yarım günlük, 10 milyar parametrede ise bir buçuk ay süren bir iştir.
• Full fine-tuning: Belirleyici olan bellektir. Parametre başına ~16 bayt gerekir; 8B bir model aktivasyonlar hariç 128 GB ister, bu da pratikte birden fazla H100 ya da H200 demektir.
• LoRA/QLoRA: Çoğu iş tek karta sığar. Sitemizin VRAM hesabına göre (2.048 token, batch 1, gradient checkpointing açık) Llama 3.1 8B QLoRA'da 8,3 GB, LoRA'da 19,9 GB, Llama 3.3 70B QLoRA'da 50,5 GB bellek ister; yani 8B QLoRA için 20 GB'lık, 70B QLoRA için 96 GB'lık bir kart yeter.
• Çıkarım (inference): Model ve KV önbelleği belleğe sığmalı; tek kullanıcıdaki hızı bellek bant genişliği belirler. Servis tarafını LLM inference optimizasyonu rehberimizde anlattık.

Bu rehber Ekim 2026 itibarıyla güncel donanım ve yazılım bilgisine dayanır.

Amacınıza göre darboğaz ne?

Ön eğitimde hesap gücü, full fine-tuning ve LoRA'da bellek, çıkarımda bellek ve bant genişliği belirleyicidir.

Sıfırdan ön eğitim gerçekçi mi?

Küçük modellerde evet; 10 milyar parametre ve üzerinde pratikte tek bir sunucunun işi değildir.

Eğitimin toplam hesap yükü için yaygın kural: parametre sayısı × token sayısı × 6 işlem (Kaplan ve arkadaşları, 2020). Chinchilla çalışmasının (Hoffmann ve arkadaşları, 2022) tahminlerine göre hesap açısından verimli eğitim, parametre başına yaklaşık 20 token gerektirir. Meta, Llama 3 eğitiminde H100 başına 380–430 TFLOPS (BF16) gerçekleşen hız raporladı. GPU başına ~400 TFLOPS varsayarsak:

Bunlar kusursuz ölçekleme varsayan teorik değerlerdir; veri hazırlama, deneme ve hatalar süreyi uzatır. Çıkarılacak sonuç basit: çoğu ekip için doğru yol, açık ağırlıklı bir modelden başlayıp ince ayar yapmaktır. Küçük ölçekli (1B civarı) özel bir modeli sıfırdan eğitmek ise 8 GPU'lu tek bir sunucuda yapılabilir bir iştir.

Model boyutu ne kadar bellek (VRAM) ister?

Bellek ihtiyacı yönteme göre parametre başına yaklaşık 0,5 ile 16 bayt arasında değişir.

• Çıkarım: BF16'da 2 bayt, FP8'de 1 bayt, 4-bit'te ~0,5 bayt; üzerine KV önbelleği eklenir.
• QLoRA: ~0,5 bayt + aktivasyonlar. LoRA: ~2 bayt + aktivasyonlar.
• Full fine-tuning (AdamW, karışık hassasiyet): ~16 bayt + aktivasyonlar. ZeRO makalesindeki hesapla: 2 bayt ağırlık, 2 bayt gradyan, 12 bayt optimizer durumu.

Model boyutlarına göre ayrıntılı tabloyu LLM fine-tuning maliyeti yazımızda verdik; kendi modeliniz, dizi uzunluğunuz ve batch boyutunuz için VRAM hesaplayıcımızın ince ayar modunu kullanabilirsiniz.

Bellek dışında hangi donanım özellikleri önemli?

FP8/FP4 desteği, bellek bant genişliği ve çok GPU'da NVLink: bellek "sığar mı?" sorusunu, bunlar "ne kadar hızlı?" sorusunu cevaplar.

Aralık verilen değerler kartın sürümüne göre değişir.

• BF16: Yedi modelin hepsi destekler; LLM eğitiminde yaygın kullanılan karışık hassasiyet biçimidir.
• FP8: NVIDIA'nın Transformer Engine kütüphanesi FP8 eğitimini Hopper, Ada ve Blackwell kartlarda destekler. vLLM'de FP8 hesaplama, hesaplama yeteneği (compute capability) 8.9 ve üzeri kartlar ister; listedeki yedi model de bu koşulu sağlar. FP8, BF16'ya göre ağırlık belleğini yarıya indirir.
• FP4 (NVFP4): Yalnızca Blackwell'de vardır. Ancak Transformer Engine belgelerine göre NVFP4 ile eğitim, hesaplama yeteneği 10.0 ve 10.3 olan veri merkezi Blackwell kartlarını (B200 sınıfı) ister. RTX PRO 6000, RTX PRO 5000, RTX PRO 4000 ve RTX 5090'ın hesaplama yeteneği 12.0'dır; bu kartlarda FP4 bugün pratikte çıkarım içindir.
• Bant genişliği: Çıkarımda her yeni token için ağırlıklar bellekten yeniden okunur; tek kullanıcıdaki hızı büyük ölçüde bant genişliği belirler.
• NVLink: Tensor paralellik ve büyük modellerin FSDP ile eğitimi gibi GPU'ların sürekli veri paylaştığı işlerde fark yaratır. Ayrıntılar multi-GPU ve NVLink rehberimizde.

LLM fine-tuning için en iyi GPU hangisi?

En iyi GPU, modelinizin ve yönteminizin belleğe rahatça sığdığı karttır; daha hızlı bir karta ya da çok GPU'ya yalnızca eğitim süresi işinize uymadığında geçin. Kısaca: küçük işler için RTX PRO 4000, 32 GB'a sığan işlerde hız için RTX 5090, 7–32B modeller için RTX PRO 5000 ya da L40S, 32–70B'yi tek kartta çalıştırmak için RTX PRO 6000, hız ve çok GPU için H100, en büyük modeller için H200.

10 milyar parametre ve üzerinde sıfırdan ön eğitim, pratikte tek siparişteki 8 GPU sınırımızı aşan bir küme gerektirir.

İki kart arasında kaldıysanız karşılaştırmalarımıza bakın: RTX 5090 mı, RTX PRO 6000 mi?, L40S mi, RTX PRO 6000 mi?, RTX PRO 6000 mi, H100 mü? ve H100 mü, H200 mü?.

Tek GPU mu, çok GPU mu?

Model ve eğitim tek karta sığıyorsa tek GPU'yla başlayın; çok GPU'ya yalnızca sığmadığında ya da eğitim çok uzun sürdüğünde geçin.

Tek GPU daha az karmaşıktır: dağıtık eğitim ayarı, iletişim darboğazı ve senkronizasyon hataları yoktur. Model sığıyorsa ve yalnızca hız istiyorsanız DDP, sığmıyorsa FSDP2 ya da DeepSpeed ZeRO kullanılır; ayrıntılar ve kod örnekleri multi-GPU eğitim rehberimizde. LoRA ile DDP gibi az iletişim gerektiren işler NVLink'siz kartlarda da iyi çalışır; tensor paralellik ve büyük modelde FSDP için NVLink'li H100 ya da H200'ü tercih edin.

Evdeki ekran kartıyla LLM eğitilir mi?

Küçük modellerde evet. Sitemizin VRAM hesabına göre (2.048 token, batch 1) 24 GB'lık bir RTX 4090 ya da RTX 3090, 8B modellerin QLoRA ve LoRA ince ayarına (Llama 3.1 8B LoRA: 19,9 GB) ve 14B modellerin QLoRA'sına (Qwen3 14B: 13,3 GB) yeter. 14B LoRA (34,6 GB), 32B QLoRA (25,1 GB) ve 7B ve üzeri modellerin full fine-tuning'i ise 24 GB'a sığmaz; 32–96 GB'lık bir kart ya da birden fazla GPU gerekir. FP8 eğitim Ada, Hopper ve sonraki mimarileri ister: Ada mimarisindeki RTX 4090 FP8 ile eğitim yapabilir, Ampere mimarisindeki RTX 3090 yapamaz; BF16 ise ikisinde de vardır. 24 GB'lık RTX 4090'a hangi modellerin sığdığını ve 48 GB'lık L40S'ten farkını ayrıca anlattık.

Kiralık GPU seçenekleri

Çoğu ekip için mantıklı başlangıç, ince ayar ile servisi aynı kartta yapabileceği bir modeldir:

• RTX PRO 4000 (24 GB), geliştirme ve küçük modeller: aylık $450.
• RTX 5090 (32 GB), 32 GB'a sığan modellerle hızlı çıkarım ve küçük ince ayarlar: aylık $600.
• RTX PRO 5000 (48 GB), 14B LoRA ve 32B'ye kadar FP8 servis, MIG ile iki işe bölünebilen kart: aylık $800.
• L40S (48 GB), 7–14B ince ayar ve servis: aylık $900.
• RTX PRO 6000 Blackwell (96 GB), 32–70B sınıfı modellerle tek kartta çalışma: aylık $1.600.
• H100 (80 GB), hız ve çok GPU'lu eğitim: aylık $2.500.
• H200 (141 GB), en büyük modeller ve uzun bağlam: aylık $3.000.

Fiyatlar GPU başına, ABD doları cinsinden ve KDV hariçtir; fatura, kesildiği günün TCMB döviz satış kuruyla Türk lirası olarak düzenlenir. Kiralamalarımız aylıktır (en az 1 ay; yıllık kiralamada %20 indirim); bu yüzden sürekli deneme yapan ya da modelini 7/24 sunan ekipler için uygundur. Tek seferlik, birkaç saatlik bir eğitim için saatlik bulut daha ucuz olabilir. Tek siparişte en fazla 8 GPU kiralanabilir; çok GPU'lu ihtiyacınızı sipariş formundaki mesaj alanına yazın. Yönteme ve model boyutuna göre ayrıntılı öneriler için LLM fine-tuning ve model eğitimi hizmet sayfalarımıza bakın.

Özet

• GPU'yu amaca göre seçin: ön eğitimde hesap gücü, full fine-tuning'de bellek, LoRA/QLoRA'da tek kartın belleği, çıkarımda bellek ve bant genişliği belirleyicidir.
• Toplam eğitim hesabı ≈ 6 × parametre × token; 1B ölçeğinde ön eğitim tek sunucuda yapılabilir, 10B ve üzeri küme ister.
• Full fine-tuning parametre başına ~16 bayt ister; 8B model bile birden fazla GPU'ya bölünür.
• FP8 tablodaki tüm modellerde var; FP4 Blackwell kartlarında (RTX PRO 6000, RTX PRO 5000, RTX PRO 4000, RTX 5090) var ve bu kartlarda pratikte çıkarım içindir.
• Önce tek GPU'yla başlayın; NVLink'i yalnızca tensor paralellik ve büyük modelde FSDP için arayın.

Kaynaklar

• Kaplan ve ark. (2020): Scaling Laws for Neural Language Models
• Hoffmann ve ark. (2022): Training Compute-Optimal Large Language Models
• Grattafiori ve ark. (2024): The Llama 3 Herd of Models
• Rajbhandari ve ark. (2020): ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
• NVIDIA Transformer Engine (GitHub)
• NVIDIA Transformer Engine: NVFP4 ile düşük hassasiyetli eğitim
• NVIDIA: CUDA GPU'ları ve hesaplama yetenekleri
• vLLM: FP8 W8A8
• NVIDIA GeForce RTX 4090
• NVIDIA GeForce RTX 3090
• NVIDIA RTX PRO 5000 Blackwell