# İkinci el NVIDIA H100 alımı

- Adres: https://gpukiralama.com.tr/ekran-karti-alimi/h100/
- Tahmini alım teklifi: yayınlanmış aralık yok, teklif telefonla
- Kart: 80 GB HBM2e / HBM3, Hopper, 2022

H100 için şu an yayınlanmış bir teklif aralığı yok; formu doldurun, teklifimizi telefonla iletelim. Kartı Bağcılar, İstanbul tesisimizde randevuyla, yanınızda test ediyoruz; test geçerse aynı randevuda satıcı adına açılmış banka hesabına ödüyoruz. Kargo ile alım yapmıyoruz.

## H100 ikinci elde neden aranıyor?

H100 hala aranan bir kart, çünkü büyük dil modelleri için gereken üç şeyi bir arada sunuyor: 80 GB HBM bellek, FP8 hesaplama ve kartı yedi bağımsız parçaya bölen MIG. NVIDIA, Hopper mimarisini ve H100'ü 22 Mart 2022'de duyurdu.

Öncülü A100'e göre asıl yenilik, Hopper ile gelen FP8 Tensor çekirdekleri. NVIDIA'ya göre FP8, FP16 ya da BF16'ya kıyasla veri saklama ihtiyacını yarıya indiriyor ve işlem hacmini iki katına çıkarıyor; Transformer Engine de FP8 ile 16 bit arasında kendisi seçim yapıyor.

Bellekte kaba hesap şöyle: 8 bitte her parametre yaklaşık 1 bayt tutar. 70 milyar parametreli bir modelin ağırlıkları bu durumda yaklaşık 70 GB eder; 80 GB'lık H100'e sığar ama bağlam (KV önbelleği) için az yer kalır. 4 bitte aynı model yaklaşık 35 GB'a iner. Kendi modeliniz için [VRAM hesaplayıcımızı](/araclar/vram-hesaplayici/) kullanabilirsiniz; A100 ile farkları [H100 ve A100 karşılaştırmamızda](/blog/h100-vs-a100-karsilastirma/) anlattık.

## H100 PCIe, NVL ve SXM5 nasıl ayırt edilir?

H100 üç biçimde üretildi; bellek, güç ve bağlantı sürüme göre değişiyor ve en kesin ayrımı nvidia-smi'nin gösterdiği ad veriyor:

| Sürüm | Bellek | Bant genişliği | Güç | Biçim | NVLink | nvidia-smi adı (aygıt kimliği) |
|---|---|---|---|---|---|---|
| H100 PCIe | 80 GB HBM2e | 2 TB/s | 350 W | Çift yuvalı PCIe kart, pasif soğutma, 1 × 16 pin | 3 köprüyle iki kart, 600 GB/s | NVIDIA H100 PCIe (2331) |
| H100 NVL | 94 GB HBM3 | 3,9 TB/s | 350–400 W, ayarlanabilir | Çift yuvalı PCIe kart, pasif soğutma, 1 × 16 pin (12V-2x6) | 3 köprüyle iki kart, 600 GB/s | NVIDIA H100 NVL (2321) |
| H100 SXM5 | 80 GB HBM3 | 3,35 TB/s | 700 W'a kadar | SXM modül, 4 ya da 8 GPU'lu HGX kartında | 900 GB/s | NVIDIA H100 80GB HBM3 (2330) |

H100 PCIe'ye en çok benzeyen kart A100 80 GB PCIe: o da 10,5 inç boyunda, çift yuvalı ve pasif soğutmalı, üstelik aynı NVLink köprülerini kullanıyor. Farkı güç girişinde ve arayüzde: A100'de tek bir 8 pin CPU konnektörü ve PCIe 4.0, H100 PCIe'de 16 pinli konnektör ve PCIe 5.0 var. nvidia-smi'de A100 "NVIDIA A100 80GB PCIe" olarak görünür. A100 80 GB'ı da alıyoruz; ayrıntılar [A100 80 GB sayfamızda](/ekran-karti-alimi/a100-80gb/). 141 GB bellekli ardılı için [H200 sayfamıza](/ekran-karti-alimi/h200/) bakın.

## Kartlarınız sunucudaysa formda neleri yazmalısınız?

Telefonla ileteceğimiz teklifin net olması için formda şunları yazın:

- Tam model ve bellek: H100 PCIe, H100 NVL ya da H100 SXM5; 80 ya da 94 GB.
- Adet ve kartların şu an bir sunucuda takılı olup olmadığı; takılıysa sunucunun marka ve modeli.
- NVLink köprüleri, köprü kapakları, braket ve uzatma parçası (extender) gibi aksesuarlar.
- Fatura ve garanti durumu. Kart bir şirketten çıkıyorsa şirketiniz bize fatura keser.

SXM5 modülleri, HGX kartları ya da sunucunun tamamı söz konusuysa bunu da formda açıkça belirtin; uygunluğu randevudan önce telefonda konuşuyoruz. Alım yalnızca randevuyla, Bağcılar'daki tesisimizde yüz yüze yapılıyor.

## Satmadan önce H100'ü nasıl kontrol edersiniz?

Kart bir Linux sunucusundaysa durumunu NVIDIA sürücüsüyle gelen nvidia-smi aracıyla altı adımda görebilirsiniz.

1. **Kimlik:** Aşağıdaki komut adı, seri numarasını, aygıt kimliğini, belleği ve VBIOS sürümünü verir. NVIDIA'ya göre `serial` değeri kartın üzerinde basılı seri numarasıyla aynıdır; etiketle karşılaştırın.

```
nvidia-smi --query-gpu=name,serial,pci.device_id,memory.total,vbios_version --format=csv
```

2. **Bellek kayıtları:** `nvidia-smi -q -d ECC,ROW_REMAPPER` ECC durumunu, hata sayaçlarını ve yeniden eşlenmiş bellek satırlarını listeler. "Aggregate" sayaçlar kartın ömrü boyunca tutulur.
3. **MIG:** `nvidia-smi --query-gpu=mig.mode.current --format=csv` ile bakın. NVIDIA'ya göre Hopper'da MIG ayarı karta kaydedilmiyor ve sistem yeniden başlatıldığında kapanıyor; bölünmüş bir kartı olduğu gibi getirebilirsiniz.
4. **PCIe ve güç sınırı:** H100 PCIe, 16 pin kablodaki algılama pinlerine bakıyor: 450 ya da 600 W'a göre işaretli kabloyla 350 W'a, 300 W'a göre işaretli kabloyla 310 W'a kadar çalışıyor. NVL'de bu sınırlar 400 W ve 310 W. NVIDIA'nın 8 pin CPU'dan 16 pine adaptörü yalnızca 310 W'ı destekliyor. Sunucunuz PCIe 4.0 ise `pcie.link.gen.max` 4 görünür; bu kartın kusuru değildir.

```
nvidia-smi --query-gpu=pcie.link.gen.max,pcie.link.width.max,power.default_limit,power.max_limit --format=csv
```

5. **Yük altında sıcaklık:** Yük altındayken `nvidia-smi --query-gpu=temperature.gpu,temperature.memory,power.draw --format=csv -l 5` ile izleyin; `temperature.memory` HBM belleğin sıcaklığıdır. `nvidia-smi -q -d PERFORMANCE` çıktısında HW Slowdown ve SW Thermal Slowdown satırları "Not Active" kalmalı. PCIe ve NVL kartlar pasif soğutmalı: NVIDIA'ya göre ısı sınırlarında kalmaları için sistem hava akışı gerekiyor, bu yüzden kartı hava akışı olmayan bir masaüstü kasada yük altında çalıştırmayın.
6. **NVLink:** Köprülü kartlarda `nvidia-smi nvlink -s` etkin bağlantıların hızını gösterir. NVIDIA'ya göre köprülü bağlantının doğru çalışması için üç köprünün üçü de takılı olmalı; köprüleri ve kapaklarını birlikte getirin. Köprü, A100 PCIe ile aynı parça (900-53651-0000-000).

16 pinli soketi de ışık altında inceleyin. Erimiş konnektörlü kartı almıyoruz; konnektörü onarılmış ve testten geçen kart onarım görmüş sayılır ve teklifimizden %40 düşülür. Ayrıntılar [12VHPWR rehberimizde](/blog/12vhpwr-konnektor-erimesi-nasil-kontrol-edilir/).

## HBM bellek kayıtları neden bu kadar önemli?

H100'de bellek sağlığını en iyi gösteren kayıt, satır yeniden eşleme (row remapping) sayaçları. NVIDIA'ya göre GPU, aynı satırda birden çok tek bitlik hata ya da bir çift bitlik hata gördüğünde o satırı yedek bir satırla değiştiriyor; işlem GPU sıfırlanınca tamamlanıyor. Bekleyen bir eşleme görürseniz sunucuyu yeniden başlatın.

NVIDIA'nın bellek hata yönetimi belgesine göre "remapping failure" bayrağı üç durumda kalkıyor: düzeltilemeyen hatalar yüzünden sekiz satırı zaten eşlenmiş bir bankta yeni bir düzeltilemeyen hata, daha önce eşlenmiş bir satırda yeniden düzeltilemeyen hata ya da toplam 512 eşlemeden sonra. NVIDIA'nın RMA ölçütü de bu bayrağın kalkmış ve saha tanılama aracıyla doğrulanmış olması.

Bu kayıtların pratikteki ağırlığına bir örnek: Meta, Llama 3 makalesinde her biri 700 W ve 80 GB HBM3 ile çalışan 16 bin H100'lük eğitim kümesinde 54 günde yaşanan 419 beklenmeyen kesintinin 72'sinin HBM3 bellekten kaynaklandığını yazıyor. Yeniden eşlenmiş satır sayılarını ve "Remapping Failure Occurred" değerini formda yazın. VRAM hata taramasında hata çıkan kartı almıyoruz.

## H100'de teklifi hangi ayrıntılar değiştirir?

H100 için şu an yayınlanmış bir teklif aralığımız yok: formu doldurduğunuzda teklifimizi telefonla iletiyoruz, kesin teklifi kartı yanınızda test ettikten sonra veriyoruz ve satmak zorunda değilsiniz. Bu kartta teklifi en çok şunlar etkiliyor:

- **Sürüm ve bellek:** PCIe ya da NVL; 80 ya da 94 GB. SXM5 modüllerde uygunluğu önce telefonda konuşuyoruz.
- **Test sonucu:** yeniden eşlenmiş satırlar, yük altındaki sıcaklıklar ve hız düşürme.
- **Aksesuarlar:** üç NVLink köprüsü, kapaklar, braket ve güç kablosu ya da adaptörü.
- **Belge ve garanti:** Fatura yoksa %15, garanti bittiyse %20 düşülür.

## H100'ü şimdi mi satmalı, beklemeli mi?

Fiyat tahmini yapmıyoruz; bakabileceğiniz somut noktalar şunlar:

- **Ardıllar:** NVIDIA, 141 GB HBM3e bellekli H200'ü 13 Kasım 2023'te duyurdu ve 2024'ün ikinci çeyreğinden itibaren sunulacağını açıkladı. Hopper'ın ardılı Blackwell mimarisini ise 18 Mart 2024'te tanıttı.
- **Bellek ihtiyacı:** 80 GB, 70 milyar parametreli bir modeli 8 bitte ancak sınırda taşıyor; uzun bağlam gerekiyorsa daha büyük belleğe geçiş gündeminizde olabilir.
- **Garanti:** Faturadaki tarihe ve garanti belgesine bakın; garanti bitmeden satarsanız garanti indirimi uygulanmaz.
- **Bizim tarafımız:** Aldığımız kartları satmıyoruz; kendi kiralık sunucularımızda kullanıyoruz.

## Kartı satıp işinizi sunucuda sürdürebilir misiniz?

Evet. H100'ü kendi tesisimizde paylaşımsız sunucu olarak aylık kiraya veriyoruz; VPS değil, kartın tamamı size ayrılır. [H100 sunucusunun](/gpu-modelleri/nvidia-h100/) GPU başına aylık fiyatı: $2.500 (KDV hariç). Tek GPU'lu sunucuda 20 çekirdek CPU, 120 GB RAM, 1 TB SSD, size özel IP adresi bulunuyor. 80 GB yetmiyorsa 141 GB bellekli [H200 sunucusunun](/gpu-modelleri/nvidia-h200/) aylık fiyatı: $3.000. İki kartın farkını [H100 ve H200 karşılaştırmamızda](/karsilastirma/h100-vs-h200/) bulabilirsiniz.

## Özet

- H100'ün üç sürümü var: 80 GB HBM2e'li PCIe, 94 GB HBM3'lü NVL ve 80 GB HBM3'lü SXM5; sürümü nvidia-smi'deki ad gösterir.
- PCIe ve NVL kartlar pasif soğutmalı; sistem hava akışı olmadan yük altında çalıştırmayın.
- `nvidia-smi -q -d ECC,ROW_REMAPPER` ile HBM kayıtlarını okuyup formda yazın; köprülü kartlarda üç NVLink köprüsünü de getirin.
- Yayınlanmış aralık yok: teklifimizi formdan sonra telefonla iletiyoruz, kesin teklif testten sonra veriliyor.

## Kaynaklar

- [NVIDIA: H100 ürün sayfası](https://www.nvidia.com/en-us/data-center/h100/)
- [NVIDIA: H100 PCIe ürün özeti (PB-11133)](https://www.nvidia.com/content/dam/en-zz/Solutions/gtcs22/data-center/h100/PB-11133-001_v01.pdf)
- [NVIDIA: H100 NVL ürün özeti (PB-11773)](https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/h100/PB-11773-001_v01.pdf)
- [NVIDIA: Hopper mimarisinin ayrıntılı tanıtımı (22 Mart 2022)](https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/)
- [NVIDIA: A100 80GB PCIe ürün özeti](https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/a100/pdf/PB-10577-001_v02.pdf)
- [NVIDIA: Linux sürücüsünün desteklediği GPU'lar ve aygıt kimlikleri](https://download.nvidia.com/XFree86/Linux-x86_64/580.95.05/README/supportedchips.html)
- [NVIDIA: nvidia-smi belgeleri](https://docs.nvidia.com/deploy/nvidia-smi/index.html)
- [NVIDIA: MIG kullanıcı kılavuzu, Hopper'da MIG modu](https://docs.nvidia.com/datacenter/tesla/mig-user-guide/getting-started-with-mig.html)
- [NVIDIA: Satır yeniden eşleme için RMA ölçütü](https://docs.nvidia.com/deploy/a100-gpu-mem-error-mgmt/rma-policy-thresholds-for-row-remapping.html)
- [Meta: The Llama 3 Herd of Models (arXiv)](https://arxiv.org/abs/2407.21783)
- [NVIDIA: H200 duyurusu (13 Kasım 2023)](https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform)
- [NVIDIA: Blackwell duyurusu (18 Mart 2024)](https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing)

## Sık sorulan sorular

**H100 kaç para eder, ikinci el fiyatı ne kadar?**
H100 için şu an yayınlanmış bir teklif aralığımız yok. Formu doldurduğunuzda sürüm, adet ve durum bilgisine göre teklifimizi telefonla iletiyoruz; kesin teklifi kartı Bağcılar'daki tesisimizde yanınızda test ettikten sonra veriyoruz. Teklifi kabul etmek zorunda değilsiniz.

**H100 PCIe ile H100 NVL'yi nasıl ayırt ederim?**
En kesin yol `nvidia-smi --query-gpu=name,memory.total --format=csv` komutu: ad "NVIDIA H100 PCIe" ya da "NVIDIA H100 NVL" olarak görünür. PCIe sürümünde 80 GB HBM2e, NVL'de 94 GB HBM3 bellek var. İkisi de çift yuvalı ve pasif soğutmalı, ama güç sınırları farklı: PCIe 350 W'a, NVL 400 W'a kadar çalışıyor.

**Sunucudan sökülmüş H100 alıyor musunuz?**
PCIe ve NVL kartları sunucudan sökülmüş olarak getirebilirsiniz; kart testten geçerse teklifimizi veririz. SXM5 modülleri, HGX kartları ya da sunucunun tamamı için durumu formda belirtin; uygunluğu randevudan önce telefonda konuşuyoruz. Kartlar bir şirketten çıkıyorsa şirketiniz bize fatura keser.

**NVLink köprülerini de getirmeli miyim?**
Evet. H100 PCIe ve NVL kartlar iki kartı üç köprüyle bağlıyor; NVIDIA'ya göre bağlantının doğru çalışması için üç köprünün üçü de takılı olmalı. Köprüler A100 PCIe kartlarında kullanılanla aynı parça. Kartlar köprüsüz kullanıldıysa köprü yuvalarını koruyan kapakları da getirin.

**MIG ile bölünmüş H100'ü olduğu gibi getirebilir miyim?**
Evet. NVIDIA'ya göre Hopper'da MIG ayarı karta kaydedilmiyor; sistem yeniden başlatıldığında ya da sürücü yeniden yüklendiğinde MIG kapanıyor. Formda kartın MIG ile kullanıldığını yazmanız yeterli; MIG kullanımı için ayrı bir indirim kalemi yok.

**H100'ü masaüstü bilgisayarda test edebilir miyim?**
Önermiyoruz. H100 PCIe ve NVL kartlarda fan yok, pasif soğutucu var; NVIDIA'ya göre ısı sınırlarında kalmaları için sistemin hava akışı sağlaması gerekiyor. Kart ayrıca 16 pinli güç girişi istiyor ve 300 W'a göre işaretli kabloyla en fazla 310 W'ta çalışıyor. Kimlik ve bellek kayıtlarını kartı yük altına almadan da okuyabilirsiniz.