H100 mü H200 mü? Aynı Hesap Gücü, Farklı Bellek

H100 ile H200 arasındaki fark nedir?

H200, H100 ile aynı Hopper mimarisini ve hesap birimlerini kullanır; SXM sürümleri karşılaştırıldığında FP8 ve BF16 tensör performansları birebir aynıdır. Asıl fark bellektedir: H100'ün 80 GB belleğine karşılık H200'de 141 GB HBM3e bellek (1,8 kat) ve 4,8 TB/s bant genişliği var. Bu, 80 GB'lık H100 sürümlerine (2,0–3,35 TB/s) göre 1,4 ila 2,4 kat daha yüksek bant genişliği demektir.

• Model ve KV önbelleği 80 GB'a rahat sığıyorsa ve iş hesap yoğunsa (ör. eğitim, ince ayar) H100 yeterlidir.
• 70B ve üzeri modeller, uzun bağlam, çok kullanıcılı servis ya da büyük batch söz konusuysa H200 belirgin şekilde öne geçer.

H100 ne zaman yeterli?

• 32B'ye kadar modellerde LoRA, 70B'de QLoRA ile ince ayar: Qwen3 32B'nin LoRA'sı 72,2 GB, Llama 3.3 70B'nin QLoRA'sı 50,5 GB ile tek H100'e sığar (2.048 token, batch 1, gradient checkpointing açık). Bu işlerde darboğaz çoğunlukla hesap gücüdür ve aynı sürümde iki kartın hesap gücü aynıdır.
• Kısa bağlamlı, orta trafikli inference servisleri: örneğin Qwen3 32B, FP8'de 8.192 token bağlam ve 32 eşzamanlı istekle 69,8 GB ister ve tek H100'e sığar.
• Model, KV önbelleği ve çalışma payının toplamı yaklaşık 73,6 GB'ı (80 GB'ın %92'si) geçmiyorsa.

H200 ne zaman fark yaratır?

• 70B sınıfı modeller: FP8'de 70B bir modelin ağırlıkları yaklaşık 70 GB tutar. Llama 3.3 70B, 8.192 token bağlamda tek istekle bile 77,8 GB ister: tek H100'e sığmaz, tek H200'de ise uzun bağlam ve eşzamanlı istekler için yaklaşık 50 GB pay kalır.
• Uzun bağlam ve yüksek eş zamanlılık: KV önbelleği bağlam uzunluğu ve kullanıcı sayısıyla doğru orantılı büyür. 32K–128K bağlamlı servislerde bellek, hesap gücünden önce biter.
• Token üretim hızı: Inference'ta her yeni token için ağırlıklar bellekten yeniden okunur. Bant genişliğinin en az 1,4 kat yüksek olması, aynı model için tek kullanıcıya bile daha hızlı yanıt demektir.
• Daha büyük batch: Aynı kartta daha çok isteği birlikte işlemek, saat başına üretilen token sayısını artırır.

Kendi senaryonuzun hangi karta sığdığını VRAM hesaplayıcı ile görebilirsiniz.

Aynı model için kaç H100, kaç H200 gerekir?

Değerler VRAM hesaplayıcımızla, 8.192 token bağlamla hesaplandı (eşzamanlı istekli satırda FP8 KV önbelleği); kartın belleğinin %92'si, yani H100'de 73,6 GB, H200'de 129,7 GB kullanılabilir sayıldı.

Kart sayıları hesaplayıcıdaki gibi 1, 2, 4 ya da 8'e yuvarlandı; tek siparişte en fazla 8 GPU kiralanabilir. Tam ince ayarda da fark kart sayısındadır (2.048 token, batch 1): Llama 3.1 8B (131,6 GB) iki kartta da 2 GPU, Qwen3 14B (240,7 GB) ise 4 H100 ya da 2 H200 ister. Modeli birden fazla karta bölerken GPU'lar arası bağlantı da hızı etkiler.

H200, H100'den ne kadar hızlı?

Fark işin türüne bağlıdır:

• Hesap yoğun işler: Aynı sürümde tensör performansı aynı olduğundan, model belleğe sığdığı sürece model eğitimi ve ince ayarda hızlar benzerdir. H200'ün katkısı daha büyük batch ve daha az kartla çalışabilmektir.
• LLM inference: NVIDIA'nın MLPerf Inference v4.0 sonuçlarında (27 Mart 2024) aynı 700 W güç sınırında çalışan H200, Llama 2 70B testinde H100'den %28'e kadar yüksek performans verdi. Güç sınırı 1.000 W'a çıkarılan özel soğutmalı sistemlerde fark %43–45'e ulaştı.
• Üretici değeri: NVIDIA'nın H200 sayfasındaki "1,9 kat" Llama 2 70B değerinde H200 32'lik, H100 8'lik batch'le ölçülmüştür; bu fark, fazla belleğin izin verdiği büyük batch'in etkisini de içerir.

H100'den H200'e geçerken yazılım değişir mi?

Hayır. İkisi de Hopper mimarisidir ve CUDA hesaplama yeteneği (compute capability) ikisinde de 9.0'dır. Aynı sürücüler, aynı CUDA sürümleri ve aynı kütüphanelerle (PyTorch, vLLM, TensorRT-LLM) çalışırlar; H100 için hazırladığınız ortam H200'de değişiklik gerektirmez. 141 GB'tan fazla tek GPU belleği arıyorsanız AMD MI300X 192 GB sunar, ama CUDA yerine ROCm kullanır ve şu an filomuzda yoktur; farkları AMD MI300X rehberimizde anlattık.

H100 ve H200 kiralama fiyatı

Fiyat listemizde GPU başına H100 aylık $2.500, H200 aylık $3.000; yıllık kiralamada %20 indirimle aylık fiyat H100 için $2.000, H200 için $2.400 olur. Fiyatlar ABD doları cinsinden ve KDV hariçtir, kiralama en az 1 aydır; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir.

Model 80 GB'a rahat sığıyor ve iş hesap yoğunsa H100 aynı hesap gücünü daha düşük aylık fiyata verir. Llama 3.3 70B'yi FP8'de çalıştırmak gibi iki H100 gerektiren işlerde ise tek H200'ün aylık fiyatını iki H100'ün toplamıyla (2 × $2.500) karşılaştırın; tek kartta, modeli iki GPU'ya bölmenin iletişim yükü de ortadan kalkar.

Hopper'ı bir önceki nesille karşılaştırmak isterseniz H100 ve A100 yazımıza bakın.

Özet

• H100 ve H200 aynı Hopper mimarisini kullanır; SXM sürümlerinde tensör performansları aynıdır.
• H200'ün farkı bellektir: 80 GB yerine 141 GB HBM3e ve 4,8 TB/s; bu, 80 GB'lık H100 sürümlerine göre 1,4–2,4 kat bant genişliği demektir.
• Model belleğe rahat sığıyor ve iş hesap yoğunsa H100 yeterlidir.
• Llama 3.3 70B, FP8'de tek H200'e sığar, H100'de iki kart ister; uzun bağlam ve çok kullanıcılı servislerde de H200 belirgin şekilde öne geçer.
• NVIDIA'nın MLPerf Inference v4.0 sonuçlarında H200, aynı 700 W güç sınırında Llama 2 70B'de H100'den %28'e kadar hızlıdır.
• Yazılım ortamı iki kartta da aynıdır (CUDA hesaplama yeteneği 9.0).

Kaynaklar

• NVIDIA H100
• NVIDIA H100 PCIe ürün özeti (PB-11133-001_v02, Kasım 2022)
• NVIDIA H200
• NVIDIA Technical Blog: H200 ve TensorRT-LLM ile MLPerf Inference v4.0 sonuçları (27 Mart 2024)
• NVIDIA: CUDA GPU'ları ve hesaplama yetenekleri
• AMD Instinct MI300X belgeleri