L40S mi, H100 mü? Bellek, Hız ve Kullanım Farkları

Kısa cevap

L40S, 48 GB ECC'li GDDR6 bellekli, inference, görüntü üretimi ve video için tasarlanmış bir PCIe kartıdır. H100 ise 80 GB HBM bellek, sürüme göre L40S'in 2,3–3,9 katı bant genişliği, NVLink ve MIG sunar. FP8 ile 32B'ye kadar modellerin inference'ında L40S çoğu zaman yeterlidir; eğitim, 70B sınıfı modeller ve yoğun trafik için H100 daha doğru seçimdir.

• L40S'i seçin: Model 48 GB'a sığıyorsa (ör. Qwen3 14B BF16'da, Qwen3 32B FP8'de) ve iş inference, QLoRA ince ayar, görüntü üretimi, render ya da video ise.
• H100'ü seçin: Model eğitimi ve tam ince ayar, 70B sınıfı modeller, çok eşzamanlı kullanıcıya hizmet eden servisler, MIG ile bölme ya da FP64 gerektiren bilimsel hesaplama söz konusuysa.

L40S ile H100 arasındaki fark hangi işte hissedilir?

Teknik değerler yukarıdaki tabloda. Aşağıdaki tensör değerleri seyrekliksizdir; H100 değerleri PCIe ve SXM sürümüne göre aralık olarak verilmiştir.

• Bellek bant genişliği (864 GB/s'ye karşı 2.000–3.350 GB/s): LLM yeni token üretirken ağırlıkları ve KV önbelleğini her adımda bellekten okur; NVIDIA bu aşamayı bellek sınırlı olarak tanımlar. H100'ün 2,3–3,9 kat bant genişliği, tek kullanıcıdaki yanıt hızına büyük ölçüde yansır.
• Tensör gücü (BF16'da 362'ye karşı 756–989 TFLOPS, FP8'de 733'e karşı 1.513–1.979 TFLOPS): H100 2,1–2,7 kat önde. Eğitimde, ince ayarda ve uzun istemlerin işlendiği ön doldurma (prefill) aşamasında bu fark belirleyicidir.
• Bellek kapasitesi (48 GB'a karşı 80 GB): Hangi modelin tek karta sığdığını ve eşzamanlı istekler için KV önbelleğine ne kadar yer kaldığını belirler. KV önbelleği bağlam uzunluğu ve batch boyutuyla doğrusal büyür.
• FP32 (91,6'ya karşı 51–67 TFLOPS): Tepe FP32 değerinde L40S 1,4–1,8 kat önde. Bu fark tensör çekirdeği kullanmayan işlerde, örneğin render ve bazı simülasyonlarda önem taşır.
• FP64: H100 sürüme göre 26–34 TFLOPS FP64 sunar; NVIDIA, L40S için FP64 değeri yayımlamaz. Çift hassasiyet gerektiren bilimsel hesaplama H100'ün işidir.
• Çok GPU ve bölümleme: L40S'te NVLink ve MIG yoktur; kartlar PCIe 4.0 üzerinden (çift yönlü 64 GB/s) haberleşir. H100 sürüme göre 600–900 GB/s NVLink'i ve en fazla 7 MIG bölümünü destekler.
• Güç: L40S'in en yüksek güç tüketimi 350 W'tır. H100'ün PCIe sürümü de 350 W'a kadar çeker; SXM sürümünde sınır 700 W'tır.

Tek karta hangi modeller sığar?

Değerler VRAM hesaplayıcımızla hesaplandı: 8.192 token bağlam, tek eşzamanlı istek ve BF16 KV önbelleği. Kartın belleğinin yaklaşık %92'si iş yüküne ayrılabilir: L40S'te yaklaşık 44,2 GB, H100'de yaklaşık 73,6 GB.

Llama 3.3 70B 4-bit'te L40S'in kullanılabilir belleğini çok az aşar; bağlam 4.096 token'a indirildiğinde 44 GB ile sınırda da olsa tek L40S'e sığar. İnce ayarda (2.048 token, batch 1, gradient checkpointing açık) Qwen3 32B QLoRA 25,1 GB ile iki karta da sığar; Llama 3.3 70B QLoRA 50,5 GB ile tek H100'e sığar, L40S'te 2 kart ister.

L40S ne zaman yeterli?

• Orta ölçekli modellerle inference: FP8 ile 32B'ye kadar modeller tek L40S'e sığar. Ada mimarisinin tensör çekirdekleri FP8'i donanımla hesaplar; vLLM'in FP8 ağırlık ve aktivasyon (W8A8) desteği L40S'i de kapsar.
• QLoRA ve küçük modellerde LoRA: 32B'ye kadar QLoRA, 14B'ye kadar LoRA ince ayar tek karta sığar.
• Render ve video: RT çekirdekleri ve donanım video kodlayıcıları yalnızca L40S'te vardır (ayrıntılar aşağıda).
• Görüntü üretimi: 48 GB'a sığan görüntü modelleri için L40S yeterlidir; model bazında bellek ihtiyacı Stable Diffusion ve FLUX rehberimizde.
• Bütçe: 48 GB'a sığan ve bant genişliğinin darboğaz olmadığı işlerde H100'ün fazladan gücüne ödeme yapmazsınız.

H100 ne zaman gerekli?

• Eğitim ve tam ince ayar: 2,1–2,7 kat tensör gücü, aynı eğitimi daha kısa sürede bitirmek demektir. Tam ince ayar Llama 3.1 8B'de bile 131,6 GB ister: 2 H100 ya da 4 L40S. Çok GPU'lu eğitimde HBM bant genişliği ve NVLink desteği fark yaratır (belirli bir NVLink topolojisini garanti etmiyoruz; ayrıntısı SSS'de).
• 70B sınıfı modeller: Llama 3.3 70B 4-bit'te tek H100'e sığar; FP8'de iki H100 gerekir.
• Yoğun trafik: Qwen3 32B FP8'de tek istek için 37,6 GB ister. L40S'te geriye yaklaşık 6,6 GB, H100'de yaklaşık 36 GB boş bellek kalır. Bu bellek eşzamanlı isteklerin KV önbelleğine gider; H100 hem aynı anda daha çok isteği tutar hem de bunları daha yüksek bant genişliğiyle işler.
• Kartı bölmek: MIG ile tek H100, her biri kendi hesap birimleri ve belleğine sahip en fazla 7 yalıtılmış bölüme ayrılabilir.
• FP64 gerektiren bilimsel hesaplama.

İki kart da FP8 destekliyor mu?

Evet. L40S'in Ada mimarisindeki dördüncü nesil tensör çekirdekleri de, H100'ün Hopper tensör çekirdekleri de FP8'i donanımla hesaplar; NVIDIA iki kart için de FP8 ile FP16 arasında otomatik geçiş yapan Transformer Engine'den söz eder. NVIDIA'nın Transformer Engine kütüphanesi tensör başına ölçeklemeli FP8'i Ada'da (compute capability 8.9) ve Hopper'da (9.0) destekler; FP8 blok ölçekleme (block scaling) ise Hopper ve sonrasına özeldir.

Pratikteki fark hızdadır: FP8 tensör gücü H100'de 2,1–2,7 kat yüksektir. A100'ün Ampere mimarisi ise FP8'i desteklemez; vLLM, FP8 modelleri Ampere'de yalnızca ağırlıkları FP8 olarak saklayıp hesaplamayı 16 bitte yaparak (W8A16) çalıştırır.

Video, render ve grafik işlerinde hangisi?

L40S. NVIDIA'ya göre L40S'te 142 üçüncü nesil RT çekirdeği, 3 NVENC ve 3 NVDEC motoru vardır; AV1 kodlar ve çözer. H100'de ise NVIDIA'nın Hopper mimari yazısına göre RT çekirdeği, NVENC kodlayıcı ve ekran çıkışı yoktur; ürün sayfasına göre 7 NVDEC ve 7 JPEG çözücüsü vardır. Yani H100 videoyu donanımla çözebilir (ör. görüntü analizi için kare çıkarmak), ama donanımla kodlayamaz.

Video dönüştürme ve canlı yayın için video transcoding rehberimize, Blender ve Unreal render için render GPU rehberimize bakın.

Hangi iş için hangisi?

L40S ile H100 arasındaki fiyat farkı ne kadar?

Fiyat listemizde L40S aylık $900, H100 aylık $2.500 (GPU başına, KDV hariç). Yıllık kiralamada %20 indirimle L40S aylık $720, H100 aylık $2.000 olur. Kiralamalarımız aylıktır ve en kısa süre bir aydır; saat bazında kiralama yapmıyoruz.

Global GPU bulutlarında isteğe bağlı (on-demand) saatlik medyan fiyat 24 Ekim 2026 itibarıyla L40S için $1,60, H100 için $3,63 (getdeploying.com); bulutta H100, L40S'in yaklaşık 2,3 katına fiyatlanıyor. İşiniz 48 GB'a sığıyor ve bant genişliği ya da eğitim hızı darboğaz değilse L40S daha ekonomiktir. İş eğitim hızına, bant genişliğine ya da 48 GB'ı aşan belleğe bağlıysa H100'ün farkı fiyatına değebilir; emin değilseniz kendi modelinizle ölçün.

Fiyatlar ABD doları cinsindendir; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir. Kiraladığınız GPU'lar başka müşterilerle paylaşılmaz, sunucular İstanbul Bağcılar'daki kendi tesisimizdedir ve verileriniz Türkiye'de kalır. Tek siparişte en fazla 8 GPU kiralanabilir.

L40S mi, A100 mü?

A100 filomuzda yok, ama L40S ile sık karşılaştırılıyor. A100 80 GB, HBM2e belleği ve L40S'in 2,2–2,4 katı bant genişliğiyle (1.935–2.039 GB/s) bellek kapasitesinde ve bellek yoğun işlerde öndedir; 600 GB/s NVLink ve 7 bölüme kadar MIG de sunar. L40S ise FP8 destekler, seyrekliksiz BF16'da 312'ye karşı 362 TFLOPS ile biraz, FP32'de 19,5'e karşı 91,6 TFLOPS ile çok öndedir; RT çekirdeği ve NVENC de yalnızca L40S'te vardır.

48 GB'a sığan FP8 inference, görüntü ve video işlerinde L40S; 48 GB'ı aşan modellerde ve bant genişliğine bağlı işlerde A100 daha uygundur. Bu ikinci grup için filomuzdaki seçenek, A100'ün yeni nesli H100'dür. Ayrıntılar: H100 ve A100 karşılaştırması.

L40S mi, H200 mü?

H200, H100 ile aynı Hopper mimarisini 141 GB HBM3e bellek ve 4,8 TB/s bant genişliğiyle birleştirir: L40S'in yaklaşık 2,9 katı bellek ve 5,6 katı bant genişliği. Llama 3.3 70B FP8'de 77,8 GB ile tek H200'e sığar (kullanılabilir bellek yaklaşık 129,7 GB); L40S'te 2 kart gerekir.

32B'ye kadar modelleri az sayıda kullanıcıya sunuyorsanız H200'ün belleğinin büyük kısmı boş kalır; bu işlerde L40S daha ekonomiktir. 70B'yi tek kartta, uzun bağlamla ya da çok kullanıcıyla çalıştıracaksanız H200 doğru seçimdir; H100 ile farkı için H100 ve H200 karşılaştırmamıza bakın.

Arada bir seçenek de var: 96 GB'lık RTX PRO 6000, Llama 3.3 70B'yi FP8'de tek kartta çalıştırır. Farkları için L40S ve RTX PRO 6000 ile RTX PRO 6000 ve H100 karşılaştırmalarına bakın.

Özet

• L40S; 48 GB ECC'li bellek, FP8 destekli tensör çekirdekleri, RT çekirdekleri ve 3 NVENC ile FP8'de 32B'ye kadar inference, QLoRA ince ayar, render ve video için yeterli ve daha ekonomiktir.
• H100; 80 GB HBM bellek, 2,3–3,9 kat bant genişliği, 2,1–2,7 kat tensör gücü, NVLink ve MIG ile eğitim, 70B sınıfı modeller ve yoğun trafik için daha doğru seçimdir.
• İki kart da FP8'i donanımla hesaplar; A100 hesaplamaz.
• 70B'yi FP8'de tek kartta çalıştırmak için H200 ya da RTX PRO 6000 gerekir.

Kaynaklar

• NVIDIA L40S
• NVIDIA H100
• Lenovo Press: ThinkSystem NVIDIA H100 PCIe Gen5 GPU (H100 PCIe değerleri)
• NVIDIA Technical Blog: NVIDIA Hopper Architecture In-Depth
• NVIDIA H200
• NVIDIA A100
• NVIDIA RTX PRO 6000 Blackwell ürün ailesi
• NVIDIA Video Encode and Decode GPU Support Matrix
• NVIDIA Transformer Engine: Datatype and hardware support matrix
• vLLM: FP8 W8A8
• NVIDIA Technical Blog: Mastering LLM Techniques: Inference Optimization
• NVIDIA Multi-Instance GPU (MIG) User Guide
• NVIDIA MIG User Guide: Supported GPUs
• getdeploying.com: NVIDIA L40S bulut fiyatları
• getdeploying.com: NVIDIA H100 bulut fiyatları