İkinci el H100 alım fiyatı ve teklif

H100 ikinci elde neden aranıyor?

H100 hala aranan bir kart, çünkü büyük dil modelleri için gereken üç şeyi bir arada sunuyor: 80 GB HBM bellek, FP8 hesaplama ve kartı yedi bağımsız parçaya bölen MIG. NVIDIA, Hopper mimarisini ve H100'ü 22 Mart 2022'de duyurdu.

Öncülü A100'e göre asıl yenilik, Hopper ile gelen FP8 Tensor çekirdekleri. NVIDIA'ya göre FP8, FP16 ya da BF16'ya kıyasla veri saklama ihtiyacını yarıya indiriyor ve işlem hacmini iki katına çıkarıyor; Transformer Engine de FP8 ile 16 bit arasında kendisi seçim yapıyor.

Bellekte kaba hesap şöyle: 8 bitte her parametre yaklaşık 1 bayt tutar. 70 milyar parametreli bir modelin ağırlıkları bu durumda yaklaşık 70 GB eder; 80 GB'lık H100'e sığar ama bağlam (KV önbelleği) için az yer kalır. 4 bitte aynı model yaklaşık 35 GB'a iner. Kendi modeliniz için VRAM hesaplayıcımızı kullanabilirsiniz; A100 ile farkları H100 ve A100 karşılaştırmamızda anlattık.

H100 PCIe, NVL ve SXM5 nasıl ayırt edilir?

H100 üç biçimde üretildi; bellek, güç ve bağlantı sürüme göre değişiyor ve en kesin ayrımı nvidia-smi'nin gösterdiği ad veriyor:

H100 PCIe'ye en çok benzeyen kart A100 80 GB PCIe: o da 10,5 inç boyunda, çift yuvalı ve pasif soğutmalı, üstelik aynı NVLink köprülerini kullanıyor. Farkı güç girişinde ve arayüzde: A100'de tek bir 8 pin CPU konnektörü ve PCIe 4.0, H100 PCIe'de 16 pinli konnektör ve PCIe 5.0 var. nvidia-smi'de A100 "NVIDIA A100 80GB PCIe" olarak görünür. A100 80 GB'ı da alıyoruz; ayrıntılar A100 80 GB sayfamızda. 141 GB bellekli ardılı için H200 sayfamıza bakın.

Kartlarınız sunucudaysa formda neleri yazmalısınız?

Telefonla ileteceğimiz teklifin net olması için formda şunları yazın:

• Tam model ve bellek: H100 PCIe, H100 NVL ya da H100 SXM5; 80 ya da 94 GB.
• Adet ve kartların şu an bir sunucuda takılı olup olmadığı; takılıysa sunucunun marka ve modeli.
• NVLink köprüleri, köprü kapakları, braket ve uzatma parçası (extender) gibi aksesuarlar.
• Fatura ve garanti durumu. Kart bir şirketten çıkıyorsa şirketiniz bize fatura keser.

SXM5 modülleri, HGX kartları ya da sunucunun tamamı söz konusuysa bunu da formda açıkça belirtin; uygunluğu randevudan önce telefonda konuşuyoruz. Alım yalnızca randevuyla, Bağcılar'daki tesisimizde yüz yüze yapılıyor.

Satmadan önce H100'ü nasıl kontrol edersiniz?

Kart bir Linux sunucusundaysa durumunu NVIDIA sürücüsüyle gelen nvidia-smi aracıyla altı adımda görebilirsiniz.

1. Kimlik: Aşağıdaki komut adı, seri numarasını, aygıt kimliğini, belleği ve VBIOS sürümünü verir. NVIDIA'ya göre serial değeri kartın üzerinde basılı seri numarasıyla aynıdır; etiketle karşılaştırın.

nvidia-smi --query-gpu=name,serial,pci.device_id,memory.total,vbios_version --format=csv

2. Bellek kayıtları: nvidia-smi -q -d ECC,ROW_REMAPPER ECC durumunu, hata sayaçlarını ve yeniden eşlenmiş bellek satırlarını listeler. "Aggregate" sayaçlar kartın ömrü boyunca tutulur.
3. MIG: nvidia-smi --query-gpu=mig.mode.current --format=csv ile bakın. NVIDIA'ya göre Hopper'da MIG ayarı karta kaydedilmiyor ve sistem yeniden başlatıldığında kapanıyor; bölünmüş bir kartı olduğu gibi getirebilirsiniz.
4. PCIe ve güç sınırı: H100 PCIe, 16 pin kablodaki algılama pinlerine bakıyor: 450 ya da 600 W'a göre işaretli kabloyla 350 W'a, 300 W'a göre işaretli kabloyla 310 W'a kadar çalışıyor. NVL'de bu sınırlar 400 W ve 310 W. NVIDIA'nın 8 pin CPU'dan 16 pine adaptörü yalnızca 310 W'ı destekliyor. Sunucunuz PCIe 4.0 ise pcie.link.gen.max 4 görünür; bu kartın kusuru değildir.

nvidia-smi --query-gpu=pcie.link.gen.max,pcie.link.width.max,power.default_limit,power.max_limit --format=csv

5. Yük altında sıcaklık: Yük altındayken nvidia-smi --query-gpu=temperature.gpu,temperature.memory,power.draw --format=csv -l 5 ile izleyin; temperature.memory HBM belleğin sıcaklığıdır. nvidia-smi -q -d PERFORMANCE çıktısında HW Slowdown ve SW Thermal Slowdown satırları "Not Active" kalmalı. PCIe ve NVL kartlar pasif soğutmalı: NVIDIA'ya göre ısı sınırlarında kalmaları için sistem hava akışı gerekiyor, bu yüzden kartı hava akışı olmayan bir masaüstü kasada yük altında çalıştırmayın.
6. NVLink: Köprülü kartlarda nvidia-smi nvlink -s etkin bağlantıların hızını gösterir. NVIDIA'ya göre köprülü bağlantının doğru çalışması için üç köprünün üçü de takılı olmalı; köprüleri ve kapaklarını birlikte getirin. Köprü, A100 PCIe ile aynı parça (900-53651-0000-000).

16 pinli soketi de ışık altında inceleyin. Erimiş konnektörlü kartı almıyoruz; konnektörü onarılmış ve testten geçen kart onarım görmüş sayılır ve teklifimizden %40 düşülür. Ayrıntılar 12VHPWR rehberimizde.

HBM bellek kayıtları neden bu kadar önemli?

H100'de bellek sağlığını en iyi gösteren kayıt, satır yeniden eşleme (row remapping) sayaçları. NVIDIA'ya göre GPU, aynı satırda birden çok tek bitlik hata ya da bir çift bitlik hata gördüğünde o satırı yedek bir satırla değiştiriyor; işlem GPU sıfırlanınca tamamlanıyor. Bekleyen bir eşleme görürseniz sunucuyu yeniden başlatın.

NVIDIA'nın bellek hata yönetimi belgesine göre "remapping failure" bayrağı üç durumda kalkıyor: düzeltilemeyen hatalar yüzünden sekiz satırı zaten eşlenmiş bir bankta yeni bir düzeltilemeyen hata, daha önce eşlenmiş bir satırda yeniden düzeltilemeyen hata ya da toplam 512 eşlemeden sonra. NVIDIA'nın RMA ölçütü de bu bayrağın kalkmış ve saha tanılama aracıyla doğrulanmış olması.

Bu kayıtların pratikteki ağırlığına bir örnek: Meta, Llama 3 makalesinde her biri 700 W ve 80 GB HBM3 ile çalışan 16 bin H100'lük eğitim kümesinde 54 günde yaşanan 419 beklenmeyen kesintinin 72'sinin HBM3 bellekten kaynaklandığını yazıyor. Yeniden eşlenmiş satır sayılarını ve "Remapping Failure Occurred" değerini formda yazın. VRAM hata taramasında hata çıkan kartı almıyoruz.

H100'de teklifi hangi ayrıntılar değiştirir?

H100 için şu an yayınlanmış bir teklif aralığımız yok: formu doldurduğunuzda teklifimizi telefonla iletiyoruz, kesin teklifi kartı yanınızda test ettikten sonra veriyoruz ve satmak zorunda değilsiniz. Bu kartta teklifi en çok şunlar etkiliyor:

• Sürüm ve bellek: PCIe ya da NVL; 80 ya da 94 GB. SXM5 modüllerde uygunluğu önce telefonda konuşuyoruz.
• Test sonucu: yeniden eşlenmiş satırlar, yük altındaki sıcaklıklar ve hız düşürme.
• Aksesuarlar: üç NVLink köprüsü, kapaklar, braket ve güç kablosu ya da adaptörü.
• Belge ve garanti: Fatura yoksa %15, garanti bittiyse %20 düşülür.

H100'ü şimdi mi satmalı, beklemeli mi?

Fiyat tahmini yapmıyoruz; bakabileceğiniz somut noktalar şunlar:

• Ardıllar: NVIDIA, 141 GB HBM3e bellekli H200'ü 13 Kasım 2023'te duyurdu ve 2024'ün ikinci çeyreğinden itibaren sunulacağını açıkladı. Hopper'ın ardılı Blackwell mimarisini ise 18 Mart 2024'te tanıttı.
• Bellek ihtiyacı: 80 GB, 70 milyar parametreli bir modeli 8 bitte ancak sınırda taşıyor; uzun bağlam gerekiyorsa daha büyük belleğe geçiş gündeminizde olabilir.
• Garanti: Faturadaki tarihe ve garanti belgesine bakın; garanti bitmeden satarsanız garanti indirimi uygulanmaz.
• Bizim tarafımız: Aldığımız kartları satmıyoruz; kendi kiralık sunucularımızda kullanıyoruz.

Kartı satıp işinizi sunucuda sürdürebilir misiniz?

Evet. H100'ü kendi tesisimizde paylaşımsız sunucu olarak aylık kiraya veriyoruz; VPS değil, kartın tamamı size ayrılır. H100 sunucusunun GPU başına aylık fiyatı: $2.500 (KDV hariç). Tek GPU'lu sunucuda 20 çekirdek CPU, 120 GB RAM, 1 TB SSD, size özel IP adresi bulunuyor. 80 GB yetmiyorsa 141 GB bellekli H200 sunucusunun aylık fiyatı: $3.000. İki kartın farkını H100 ve H200 karşılaştırmamızda bulabilirsiniz.

Özet

• H100'ün üç sürümü var: 80 GB HBM2e'li PCIe, 94 GB HBM3'lü NVL ve 80 GB HBM3'lü SXM5; sürümü nvidia-smi'deki ad gösterir.
• PCIe ve NVL kartlar pasif soğutmalı; sistem hava akışı olmadan yük altında çalıştırmayın.
• nvidia-smi -q -d ECC,ROW_REMAPPER ile HBM kayıtlarını okuyup formda yazın; köprülü kartlarda üç NVLink köprüsünü de getirin.
• Yayınlanmış aralık yok: teklifimizi formdan sonra telefonla iletiyoruz, kesin teklif testten sonra veriliyor.

Kaynaklar

• NVIDIA: H100 ürün sayfası
• NVIDIA: H100 PCIe ürün özeti (PB-11133)
• NVIDIA: H100 NVL ürün özeti (PB-11773)
• NVIDIA: Hopper mimarisinin ayrıntılı tanıtımı (22 Mart 2022)
• NVIDIA: A100 80GB PCIe ürün özeti
• NVIDIA: Linux sürücüsünün desteklediği GPU'lar ve aygıt kimlikleri
• NVIDIA: nvidia-smi belgeleri
• NVIDIA: MIG kullanıcı kılavuzu, Hopper'da MIG modu
• NVIDIA: Satır yeniden eşleme için RMA ölçütü
• Meta: The Llama 3 Herd of Models (arXiv)
• NVIDIA: H200 duyurusu (13 Kasım 2023)
• NVIDIA: Blackwell duyurusu (18 Mart 2024)