H100 vs A100: Hangisini Kiralamalısınız? (2026)

Performans özeti

Mimari ve performans

H100 Hopper + Transformer Engine; A100 Ampere ve olgun ekosistem. Precision, HBM bant genişliği ve NVLink nesli farkı multi-GPU'da büyür (multi-GPU, NVLink).

2–4 saatlik kontrollü benchmark, yanlış rezervasyondan ucuzdur. Inference için çoğu senaryoda L40S daha doğrudur (4090 vs L40S).

Ne zaman hangisi?

A100: akademik/BAP, 7B–30B, uzun orta ölçek. H100: 70B+, deadline, FP8, multi-node. Hibrit: PoC A100, üretim penceresi H100. İstanbul H100, Ankara A100. Gecikme planı: İstanbul, Ankara.

Maliyet = süre × birim × risk. Fine-tuning maliyeti, spot, KVKK.

Türkiye bağlamı ve operasyon

Türkiye'de GPU kiralama kararını yalnızca TFLOPS belirlemez. Veri lokasyonu, şehir gecikmesi, TL fatura, destek dili ve rezervasyon süresi toplam sahip olma deneyimini şekillendirir. Özellikle kişisel veri içeren eğitim ve çıkarım işlerinde KVKK kapsamında verinin yurt içinde işlenmesi beklenir; anonimleştirme tek başına her senaryoda yeterli sayılmaz.

Operasyonel olarak en sık görülen kayıp, GPU'nun kendisinden değil idle sürelerden ve tekrarlanmayan ortamlardan gelir. Driver/CUDA uyumsuzluğu, her instance'ta sıfırdan kurulum ve dataset'i eğitim sırasında ağ üzerinden okumak hem süreyi hem maliyeti şişirir. Container tabanlı imaj, NVMe'ye lokal dataset ve checkpoint disiplini bu kaybı azaltır.

İlgili sayfalar: AI eğitimi; Fiyatlandırma; GPU rehberi; LLM FT.

Pratik kontrol listesi

1. İş yükünü tek cümleyle yazın (eğitim / fine-tuning / inference / render / transcode).
2. VRAM ve throughput için 30–60 dakikalık micro-benchmark planlayın.
3. Saatlik planla başlayıp reserved/aylık modele ancak stabil kullanımda geçin.
4. Spot kullanacaksanız checkpoint ve resume'u önceden test edin.
5. Başarı metriğini (eval, latency p95, images/s, $/1k token) önceden sabitleyin.
6. Idle Jupyter ve unutulan instance'ları otomatik kapatacak alarm kurun.

Sık yapılan hatalar

Benchmark yapmadan en pahalı GPU'ya çıkmak; tek metrikle (yalnızca VRAM veya yalnızca fiyat) karar vermek; production inference'ı eğitim kartıyla uzun süre koşturmak; multi-GPU'ya geçmeden single-GPU optimizasyonunu bitirmemek; veri sınıflandırması yapmadan yurtdışı bölgesine dataset taşımak.

Bir diğer yaygın hata, PoC başarı kriterini tanımsız bırakmaktır. 'Model biraz daha iyi olsun' diye açılan açık uçlu eğitimler, bütçeyi sessizce tüketir. Erken durdurma, eval bütçesi ve maksimum deneme sayısı olmadan fine-tuning işi bitmez; yalnızca fatura büyür.

Sonuç

H100 büyük LLM ve FP8 için; A100 7B–30B ve bütçe odaklı işler için. Doğru GPU seçimi, ölçüm ve disiplinli operasyon bir araya geldiğinde hem maliyeti hem teslim süresini kontrol altına alırsınız.

Sonraki adım için ilgili GPU modeli, hizmet ve şehir sayfalarından senaryonuza uygun planı seçin; emin değilseniz saatlik küçük bir deneme ile başlamak genelde en düşük riskli yoldur.

Derinlemesine notlar

H100 vs A100 kararını katalog TFLOPS'una kilitlemeyin. Aynı script ile tokens/s, iter/s, GPU util, OOM ve $/metrik tablosu çıkarın; 2–4 saatlik benchmark yanlış reserved'tan ucuzdur. 7B–30B ve akademik bütçede A100 sık kazanır; 70B+, FP8 ve sıkı deadline'da H100 öne çıkar.

Multi-GPU'da interconnect nesli farkı büyür — NVLink rehberi ve multi-GPU eğitim ile birlikte okuyun. Inference için çoğu senaryoda eğitim kartı değil L40S doğrudur (4090 vs L40S). Lokasyon: İstanbul H100, Ankara A100; gecikme notu için İstanbul.