Multi-GPU Eğitim: DDP, FSDP ve Cluster Kurulumu

Parallelizm

Data parallel çoğu FT için yeter; model/pipeline parallel 70B+ için gelir. Zayıf interconnect ölçek verimini düşürür. İstanbul H100, Ankara A100, H100 vs A100. Cluster rezervasyonu için İstanbul kapasitesini teyit edin.

Operasyon

NCCL, checkpoint, straggler izleme. Spot ancak sağlam resume ile (spot). LLM FT maliyeti, Docker.

Türkiye bağlamı ve operasyon

Türkiye'de GPU kiralama kararını yalnızca TFLOPS belirlemez. Veri lokasyonu, şehir gecikmesi, TL fatura, destek dili ve rezervasyon süresi toplam sahip olma deneyimini şekillendirir. Özellikle kişisel veri içeren eğitim ve çıkarım işlerinde KVKK kapsamında verinin yurt içinde işlenmesi beklenir; anonimleştirme tek başına her senaryoda yeterli sayılmaz.

Operasyonel olarak en sık görülen kayıp, GPU'nun kendisinden değil idle sürelerden ve tekrarlanmayan ortamlardan gelir. Driver/CUDA uyumsuzluğu, her instance'ta sıfırdan kurulum ve dataset'i eğitim sırasında ağ üzerinden okumak hem süreyi hem maliyeti şişirir. Container tabanlı imaj, NVMe'ye lokal dataset ve checkpoint disiplini bu kaybı azaltır.

İlgili sayfalar: AI eğitimi; LLM FT; CUDA; H200.

Pratik kontrol listesi

1. İş yükünü tek cümleyle yazın (eğitim / fine-tuning / inference / render / transcode).
2. VRAM ve throughput için 30–60 dakikalık micro-benchmark planlayın.
3. Saatlik planla başlayıp reserved/aylık modele ancak stabil kullanımda geçin.
4. Spot kullanacaksanız checkpoint ve resume'u önceden test edin.
5. Başarı metriğini (eval, latency p95, images/s, $/1k token) önceden sabitleyin.
6. Idle Jupyter ve unutulan instance'ları otomatik kapatacak alarm kurun.

Sık yapılan hatalar

Benchmark yapmadan en pahalı GPU'ya çıkmak; tek metrikle (yalnızca VRAM veya yalnızca fiyat) karar vermek; production inference'ı eğitim kartıyla uzun süre koşturmak; multi-GPU'ya geçmeden single-GPU optimizasyonunu bitirmemek; veri sınıflandırması yapmadan yurtdışı bölgesine dataset taşımak.

Bir diğer yaygın hata, PoC başarı kriterini tanımsız bırakmaktır. 'Model biraz daha iyi olsun' diye açılan açık uçlu eğitimler, bütçeyi sessizce tüketir. Erken durdurma, eval bütçesi ve maksimum deneme sayısı olmadan fine-tuning işi bitmez; yalnızca fatura büyür.

Sonuç

Multi-GPU; model veya batch tek karta sığmadığında gerekir. Doğru GPU seçimi, ölçüm ve disiplinli operasyon bir araya geldiğinde hem maliyeti hem teslim süresini kontrol altına alırsınız.

Sonraki adım için ilgili GPU modeli, hizmet ve şehir sayfalarından senaryonuza uygun planı seçin; emin değilseniz saatlik küçük bir deneme ile başlamak genelde en düşük riskli yoldur.

Derinlemesine notlar

Bu yazının ana bölümleri karar için yeterlidir; sahada fark yaratan adım ölçüm ve operasyon disiplinidir. Aynı iş yükünü 2–4 saatlik micro-benchmark ile doğrulayın: throughput, GPU util, OOM ve $/metrik aynı tabloda olsun. Daha büyük karta çıkmadan precision, data loader ve dataset lokalizasyonunu deneyin.

Türkiye'de veri lokasyonu, şehir gecikmesi ve idle kontrolü TCO'yu en az kart seçimi kadar etkiler. Spot yalnızca checkpoint'li batch'te; production inference'da reserved tercih edin. İlgili iç linkler yazının gövdesinde; emin değilseniz saatlik küçük deneme ile başlayın.