H100 mü A100 mü? Farklar, Performans ve Hangisini Seçmeli (2026)

H100 ile A100 arasındaki fark nedir?

H100 ile A100 arasındaki fark hesap gücünde, bellek hızında ve desteklenen hassasiyetlerdedir. H100, A100'de olmayan FP8'i destekler; SXM sürümlerinde bellek bant genişliği yaklaşık 1,6 kat (3,35'e karşı 2,0 TB/s), seyrekliksiz BF16 tensör gücü yaklaşık 3,2 kattır. MosaicML'in Nisan 2023 ölçümünde 8 GPU'lu H100 sunucusu, GPT eğitiminde A100 80 GB'a göre BF16'da 2,2 kat, FP8'de 3,3 kata kadar hızlıydı.

Yeni bir projeye başlıyorsanız H100'ü seçin. A100 hala çalışan, saygın bir kart. Ama 2020'de çıktı, FP8 desteklemiyor ve 2026'da sıfırdan kurulan bir altyapı için doğru yatırım değil. Bellek darboğazınız varsa ikisine de değil, 141 GB'lık H200'e bakın.

Teknik farklar tek tabloda

Tablodaki tensör değerleri seyreklik (sparsity) olmadan verilmiştir. NVIDIA'nın veri sayfalarında genellikle seyreklikli değerler, yani bunların iki katı yazar; karşılaştırma yaparken aynı türden değerleri yan yana koyduğunuzdan emin olun.

H100'ün PCIe sürümü daha düşük güçte çalışır ve daha yavaştır: HBM2e bellek, 2,0 TB/s bant genişliği ve yaklaşık 756 TFLOPS BF16. Kiraladığınız ya da satın aldığınız H100'ün hangi sürüm olduğunu mutlaka sorun.

H100'ü hızlı yapan üç şey

1. FP8 ve Transformer Engine

H100'deki Transformer Engine, transformer katmanlarını FP8 hassasiyetinde çalıştırabiliyor ve ölçeklemeyi katman katman kendisi yönetiyor. FP8, BF16'ya göre saniyede iki kat işlem yapılmasını sağlar ve bellek trafiğini yarıya indirir. A100 FP8'i donanımda desteklemediği için bu kazancın hiçbirinden yararlanamaz.

2. Bellek bant genişliği

LLM inference'ında her yeni token için modelin ağırlıkları bellekten yeniden okunur. Bu yüzden tek kullanıcılı üretim hızı büyük ölçüde bant genişliğiyle sınırlıdır. SXM sürümünde H100'ün 3,35 TB/s'si, A100'ün 2,0 TB/s'sine göre doğrudan daha hızlı token üretimi demektir; PCIe sürümünde ise H100'ün bant genişliği (2,0 TB/s) A100 ile aynı düzeydedir. H200'ün 4,8 TB/s'si aynı farkı bir adım daha ileri götürür.

3. Daha güçlü tensör çekirdekleri ve NVLink

Dördüncü nesil tensör çekirdekleri BF16'da, kağıt üzerinde, SXM sürümünde A100'ün yaklaşık 3,2 katı, PCIe sürümünde yaklaşık 2,4 katı işlem yapar (seyrekliksiz 989 ve 756 TFLOPS'a karşı 312 TFLOPS). Çok GPU'lu eğitimde ise GPU'lar arası iletişim önemlidir: NVLink 4 ile H100 SXM'de GPU başına 900 GB/s, A100'de 600 GB/s. NVLink'in hangi işlerde fark yarattığını NVLink rehberimizde anlattık.

H100, A100'den kaç kat hızlı?

Kağıt üzerindeki fark kartın sürümüne ve hassasiyete, ölçülen fark ise işinize bağlıdır.

SXM değerleri iki kartın SXM, PCIe değerleri PCIe sürümlerini karşılaştırır. NVIDIA'nın H100 sayfasındaki "4 kata kadar" eğitim ve "30 kata kadar" inference farkı ise büyük kümeler için yapılmış üretici projeksiyonlarıdır; tek sunucuda bu farkı beklemeyin. İş türüne göre fark şöyle ortaya çıkar:

• Eğitim: BF16 ile eğitimde bile H100 belirgin şekilde hızlıdır; FP8 eğitim kullanılabildiğinde fark büyür. Aynı işi daha kısa sürede bitirmek, aynı ayda daha çok deneme yapmak demektir.
• Inference: Tek istekli senaryolarda hız farkı en çok bant genişliğinden gelir. Yüksek eş zamanlı istek altında ise FP8 ağırlıklar ve FP8 KV önbelleği sayesinde aynı bellekte daha çok isteğe hizmet edilir.
• LoRA ve QLoRA ince ayar: 80 GB'lık A100 ile H100'ün belleği aynı olduğu için sığan model boyutu da aynıdır; A100'ün 40 GB'lık sürümünde bu sınır yarıya iner. Fark hızdadır. Ayrıntılı bellek hesabı için LLM fine-tuning maliyeti yazımıza bakın.

80 GB'a hangi modeller sığar?

Kaba bir kural: model ağırlıkları, parametre sayısı × parametre başına bayt kadar yer kaplar. BF16'da parametre başına 2 bayt, FP8'de 1 bayt, 4-bit'te yaklaşık 0,5 bayt.

Üstüne KV önbelleği ve çalışma belleği için pay bırakmanız gerekir; kendi senaryonuzu VRAM hesaplayıcımızla hesaplayabilirsiniz. Bu yüzden 80 GB'lık bir kartta 70B bir modeli BF16'da çalıştıramazsınız. FP8'de de sığmaz: hesaplayıcımıza göre Llama 3.3 70B, 8.192 token bağlam ve tek istekle FP8'de toplam 77,8 GB ister; bu, 80 GB'lık kartta kullanılabilir saydığımız 73,6 GB'ı (belleğin %92'si) aşar. Aynı model 4-bit'te 45,4 GB ile tek karta sığar. 70B sınıfı modeller için ya 4-bit nicemleme, ya iki kart ya da 141 GB'lık H200 gerekir.

A100 FP8 hesaplamayı donanımda desteklemez. vLLM, FP8 modelleri A100'de yalnızca ağırlıkları FP8 tutarak (W8A16, Marlin çekirdekleri) çalıştırır: ağırlık belleği yine yarıya iner ama hesaplama 16 bit'te yapılır ve H100'ün FP8 tensör gücünden yararlanılamaz.

A100 2026'da hala mantıklı mı?

Mevcut bir A100 için çoğu zaman evet, 2026'da sıfırdan kurulan bir altyapı için çoğu durumda hayır. A100 FP8 ve FP4 hesaplamayı donanımda desteklemediği için yeni nicemleme formatlarının hız kazancından yararlanamaz. Hala mantıklı olduğu durumlar:

• Elinizde zaten A100 varsa ve işiniz çalışıyorsa, sırf H100 için taşınmanıza gerek yok.
• İşiniz zaman kritik değilse (ör. gece çalışan toplu işlemler) ve A100'ü belirgin şekilde ucuza bulabiliyorsanız.
• İşinizin darboğazı GPU değil de veri yükleme, ön işleme ya da CPU ise; bu durumda H100'ün fazladan gücü boşa gider.

Bunların dışında, özellikle yeni bir model eğitimi ya da üretime alınacak bir LLM servisi için A100 seçmek, birkaç yıl içinde eskiyecek bir platforma bağlanmak anlamına gelir.

A100 mü, H200 mü?

Bellek yetmiyorsa H200. A100 80 GB'a göre yaklaşık 1,8 kat bellek (141 GB HBM3e), 2,4–2,5 kat bant genişliği (4,8 TB/s) ve FP8 desteği sunar. Bu yüzden FP8'de 77,8 GB isteyen Llama 3.3 70B, 80 GB'lık A100'e sığmazken tek H200'e sığar.

H200 ile H100 aynı Hopper hesap birimlerini kullanır; farkları bellektedir. Hangisini ne zaman seçeceğinizi H100 ve H200 karşılaştırmamızda anlattık. Bizde H100 GPU başına aylık $2.500, H200 aylık $3.000 (KDV hariç).

Neden A100 kiralamıyoruz?

Filomuzda A100 yok. Yeni kurulan bir altyapıda eski nesil bir karta yatırım yapmak, birkaç yıl içinde hem bizim hem müşterilerimiz için pahalı bir tercihe dönüşür. Bunun yerine üç seçenek sunuyoruz:

• Bütçe öncelikliyse: RTX PRO 6000 Blackwell. 96 GB GDDR7 belleği ve FP8/FP4 desteğiyle, tek GPU'ya sığan ince ayar ve inference işlerinde A100'e güçlü bir alternatiftir; farkları aşağıda. Aylık $1.600. NVLink'i yoktur; çok GPU'lu büyük eğitimler için H100/H200 daha uygundur.
• Hız öncelikliyse: H100.
• Bellek öncelikliyse: H200.

Çok GPU'lu bir eğitim planlıyorsanız sipariş formundaki mesaj alanına yazın; GPU'lar arası bağlantı (NVLink ya da PCIe) ihtiyacınızı birlikte netleştiriyoruz.

A100 yerine RTX PRO 6000 kullanılır mı?

Tek GPU'ya sığan işlerde çoğu zaman evet. 96 GB'lık RTX PRO 6000 Blackwell, A100 80 GB'a sığan modelleri 16 GB fazla bellekle çalıştırır ve A100'de olmayan FP8 ile FP4 desteği sunar; örneğin FP8'de 77,8 GB isteyen Llama 3.3 70B, A100'e sığmazken tek RTX PRO 6000'e sığar. Bellek bant genişliği ise A100'ünkünden biraz düşüktür ve NVLink'i yoktur; çok GPU'lu büyük eğitimlerde H100 veya H200 daha uygundur.

Aralıklar kartın sürümüne göre değişen, üreticinin yayımladığı değerlerdir. RTX PRO 6000'i H100 ile de RTX PRO 6000 ve H100 karşılaştırmasında yan yana koyduk.

Karar özeti

• 70B ve üzeri model eğitimi, çok GPU'lu dağıtık eğitim: H100 veya H200 (model eğitimi).
• 70B sınıfı modelle inference, uzun bağlam: H200 (LLM inference).
• Tek GPU'ya sığan ince ayar ve inference (32B LoRA, 70B QLoRA ya da FP8 servis), sınırlı bütçe: RTX PRO 6000 (LLM fine-tuning).
• Görüntü üretimi: Çoğu zaman H100'e gerek yok; Stable Diffusion ve FLUX için GPU rehberimize bakın.

Tüm modellerin aylık fiyatları fiyat listesinde, kiraladığımız kartların ikili farkları tüm GPU karşılaştırmalarında. Fiyatlar GPU başına, ABD doları cinsinden ve KDV hariçtir; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir. Kiralama en az 1 aydır; yıllık kiralamada %20 indirim uygulanır.

Özet

• Yeni projeler için H100: FP8 desteği, SXM sürümünde yaklaşık 1,6 kat bellek bant genişliği ve kağıt üzerinde yaklaşık 3,2 kat (PCIe'de 2,4 kat) BF16 tensör gücü.
• 80 GB'lık sürümlerde iki kartın belleği aynıdır. Llama 3.3 70B tek 80 GB karta yalnızca 4-bit'te (45,4 GB) sığar; FP8'de 77,8 GB ister.
• Bellek darboğazı olan işlerde 141 GB ve 4,8 TB/s'lik H200 doğru seçimdir.
• A100 mevcut iş yükleri için hala iş görür, ancak yeni bir yatırım için eskimiştir.
• Tek GPU'ya sığan işler için 96 GB'lık RTX PRO 6000 ekonomik bir alternatiftir.

Kaynaklar

• NVIDIA A100
• NVIDIA H100
• NVIDIA H200
• NVIDIA RTX PRO 6000 Blackwell ürün ailesi
• Databricks (MosaicML): Benchmarking Large Language Models on NVIDIA H100 GPUs with CoreWeave, 27 Nisan 2023
• vLLM belgeleri: FP8 W8A8 ve Ampere'de W8A16
• NVIDIA Video Encode and Decode GPU Support Matrix
• NVIDIA RTX A6000 veri sayfası
• NVIDIA RTX 6000 Ada veri sayfası