İkinci el A100 80 GB alım fiyatı ve teklif

A100 80 GB ikinci elde neden hala aranıyor?

A100 80 GB'ın değeri belleğinden geliyor: 80 GB HBM2e ve NVIDIA'nın veri sayfasına göre PCIe sürümde 1.935 GB/s, SXM sürümde 2.039 GB/s bant genişliği. NVIDIA bu sürümü 16 Kasım 2020'de SXM modül olarak duyurdu; PCIe kart 28 Haziran 2021'de geldi.

Büyük dil modellerinde kaba hesapla 8 bitte her parametre 1 bayt, 4 bitte yarım bayt tutar. 70 milyar parametreli bir modelin ağırlıkları 4 bitte yaklaşık 35 GB eder: 80 GB'ta bağlam (KV önbelleği) için geniş yer kalır, 40 GB'lık A100 ise bu modelde zorlanır. Aynı model 8 bitte yaklaşık 70 GB tutar; 80 GB'a sığar ama bağlama çok az yer bırakır. Kendi modeliniz için VRAM hesaplayıcıyı kullanabilirsiniz.

İkinci güçlü yan MIG (Multi-Instance GPU): kart, her biri kendi belleğine, önbelleğine ve hesaplama birimlerine sahip yediye kadar yalıtılmış bölüme ayrılabiliyor. Bu bölümler 80 GB sürümde 10'ar GB, 40 GB sürümde 5'er GB. NVIDIA'nın kendi ölçümünde 80 GB sürüm, büyük veri analitiği testinde 40 GB sürümden 2 kat hızlı.

A100 80 GB hangi biçimlerde üretildi?

A100 80 GB üç biçimde üretildi; formda hangisi olduğunu yazmanız gerekiyor:

NVIDIA'ya göre HGX A100 80 GB'ın özel soğutmalı (CTS) sürümü 500 W'a kadar çalışabiliyor. İki PCIe kart üç NVLink köprüsüyle birbirine bağlanıp 600 GB/s'ye ulaşıyor; SXM4 modüller NVLink'e taban kartı üzerinden bağlanıyor. PCIe kartın güç girişi tek bir 8 pin CPU (EPS) konnektörü; NVIDIA'nın ürün özetine göre bu giriş bir CPU 8 pin kabloyla ya da iki PCIe 8 pin'i birleştiren adaptörle beslenir.

Formda şunları yazın: tam model ve bellek, biçim (PCIe kart ya da SXM4 modül; hava ya da sıvı soğutma), adet, kartların bir sunucuda takılı olup olmadığı ve sunucu modeli, fatura ve garanti durumu. SXM4 modül, HGX taban kartı ya da sunucu satmak istiyorsanız bunu da belirtin; uygunluğu randevudan önce telefonda konuşuruz.

80 GB'lık A100 40 GB'tan nasıl ayırt edilir?

En kesin yol, nvidia-smi'nin gösterdiği ad ve aygıt kimliği. PCIe sürümleri dışarıdan neredeyse aynı: ikisi de 10,5 inç uzunluğunda, çift yuvalı, pasif soğutuculu ve tek 8 pin CPU girişli. Şu komutu çalıştırın:

nvidia-smi --query-gpu=name,memory.total,pci.device_id,vbios_version,power.default_limit,serial --format=csv

• Ad ve aygıt kimliği: NVIDIA'nın Linux sürücüsü belgelerine göre 80 GB PCIe kart "NVIDIA A100 80GB PCIe" (aygıt kimliği 20B5), 40 GB PCIe kart "NVIDIA A100-PCIE-40GB" (20F1) olarak tanınır. SXM4 modüllerde adlar "NVIDIA A100-SXM4-80GB" (20B2) ve "NVIDIA A100-SXM4-40GB" (20B0).
• Bellek: 80 GB kartta toplam bellek, 40 GB kartta görünen değerin (40 bin MiB civarı) yaklaşık iki katıdır.
• Güç sınırı: Varsayılan sınır PCIe 80 GB kartta 300 W, PCIe 40 GB kartta 250 W.
• Seri numarası ve BIOS: serial değeri kartın üzerindeki etiketle aynı olmalı. BIOS'u değiştirilmiş kartı almıyoruz.

Satır yeniden eşleme sayaçları ne anlatır?

A100'de HBM belleğin geçmişini en açık gösteren yer bu sayaçlar. NVIDIA, Ampere neslinden itibaren önceki kartlardaki sayfa emekliye ayırma (page retirement) yönteminin yerine satır yeniden eşlemeyi (row remapping) kullanıyor: bellekteki her bankada yedek satırlar var ve hatalı satır bunlardan biriyle değiştiriliyor. Eşleme, GPU sıfırlandığında devreye giriyor.

nvidia-smi -q -d ROW_REMAPPER

• Correctable Error / Uncorrectable Error: Düzeltilebilir ve düzeltilemez ECC hataları yüzünden yeniden eşlenmiş satır sayısı.
• Pending: "Yes" ise bekleyen bir eşleme var; sunucuyu yeniden başlatıp tekrar bakın.
• Remapping Failure Occurred: "Yes" ise bir bellek bankasının sekiz yedek satırı düzeltilemez hatalarla dolmuş ya da eşleme başarısız olmuş demektir. NVIDIA'ya göre bu bayrak saha tanılama aracıyla doğrulandığında kart iade (RMA) ölçütünü karşılıyor.

VRAM hatası olan kartı almıyoruz. Sayaçlarda sıfırdan farklı bir değer varsa formda belirtin; kesin değerlendirme testten sonra yapılır.

Satmadan önce evde başka neleri kontrol edebilirsiniz?

1. ECC sayaçları: nvidia-smi -q -d ECC çalıştırın. NVIDIA'nın belgesine göre "Volatile" sayaçlar sürücünün son yüklenmesinden beri, "Aggregate" sayaçlar ise kartın ömrü boyunca görülen hataları sayar. ECC bu kartta varsayılan olarak açık.
2. MIG: nvidia-smi --query-gpu=mig.mode.current --format=csv "Enabled" gösteriyorsa kart bölümlere ayrılmış demektir. sudo nvidia-smi -i 0 -mig 0 ile kapatabilirsiniz; kapatamıyorsanız formda belirtin.
3. Güç sınırı: nvidia-smi --query-gpu=power.default_limit,enforced.power.limit --format=csv ile bakın; PCIe kartta ikisi de 300 W olmalı. NVIDIA'ya göre nvidia-smi ile konan sınır sürücü her yüklendiğinde yeniden kurulmalı, kartın SMBus arayüzünden (SMBPBI) konan sınır ise yeniden başlatmalardan sonra da geçerli kalır. Daha düşük bir değer görürseniz formda yazın.
4. Isı: Pasif soğutuculu bu kart, NVIDIA'ya göre sınırları içinde çalışmak için sistemin hava akışına ihtiyaç duyuyor. Yük testini yalnızca sunucu kasasında yapın; nvidia-smi --query-gpu=temperature.gpu,temperature.memory,clocks_throttle_reasons.hw_thermal_slowdown --format=csv -l 5 komutu GPU ve HBM sıcaklığını ve ısıl hız düşmesini gösterir.
5. NVLink: Köprülü bir çiftiniz varsa nvidia-smi nvlink -s bağlantıların durumunu gösterir; etkin bağlantılarda hız görünür, takılı ama etkin olmayanlarda "Inactive" yazar.
6. Getirmeniz gerekenler: Varsa üç NVLink köprüsü ve köprüsüz kullanımda yuvaları koruyan kapaklar, kartın arka ucundaki uzatma braketi (extender) ve CPU 8 pin–PCIe 8 pin adaptörü. 8 pin girişte kararma, erime ya da eğilmiş pin olmamalı; erimiş güç konnektörlü kartı almıyoruz.

Genel test adımları için ikinci el kart test rehberimize bakabilirsiniz.

A100 80 GB'ta teklifi hangi ayrıntılar etkiler?

A100 80 GB için şu an yayınlanmış bir teklif aralığımız yok. Formu doldurduğunuzda teklifimizi telefonla iletiyoruz; kesin teklif, kart Bağcılar'daki tesisimizde sizin önünüzde test edildikten sonra verilir ve satmak zorunda değilsiniz. Bu karta özgü etkenler:

• Biçim: Hava ya da sıvı soğutmalı PCIe kart; SXM4 modülde uygunluk önce telefonda konuşulur.
• Test sonucu: ECC ve satır yeniden eşleme sayaçları, VRAM hata taraması, yük altındaki GPU ve HBM sıcaklıkları.
• Eksiksizlik: NVLink köprüleri, kapaklar, braketler ve güç adaptörü.
• Belgeler: Faturasız kartta %15, garantisi bitmiş kartta %20 teklifimizden düşülür.

Kartlar bir şirketten çıkıyorsa şirketiniz bize fatura keser; bireysel satışta gider pusulası düzenliyoruz.

A100 80 GB'ı şimdi mi satmalı, beklemeli mi?

Fiyat tahmini yapmıyoruz; somut etkenler şunlar:

• Sonraki nesiller: NVIDIA, H100'ü 22 Mart 2022'de duyurdu. 141 GB HBM3e bellekli H200 13 Kasım 2023'te duyuruldu; sistemlerin 2024'ün ikinci çeyreğinden itibaren gelmesi planlandı.
• Bellek: 80 GB, H100 SXM'in belleğiyle aynı; ancak H100 SXM'in bant genişliği 3,35 TB/s. NVIDIA'ya göre H200, A100'e kıyasla neredeyse iki kat kapasite ve 2,4 kat bant genişliği sunuyor.
• FP8: A100'ün veri sayfasındaki hassasiyetler arasında FP8 yok; H100'de FP8 destekli Transformer Engine var.
• Garanti: Faturadaki tarihe bakın; garanti bitmeden satarsanız garanti indirimi uygulanmaz.
• Bizim tarafımız: Aldığımız kartları satmıyoruz; kendi kiralık sunucularımızda kullanıyoruz.

Kartınız yetmiyorsa

80 GB yetmiyorsa ya da FP8 gerekiyorsa daha yeni kartları aylık kiralayabilirsiniz. 80 GB bellekli H100 sunucumuzun GPU başına aylık fiyatı $2.500 (KDV hariç); tek GPU'lu sunucuda kartın yanında 20 çekirdek CPU, 120 GB RAM, 1 TB SSD, size özel IP adresi bulunur. 141 GB bellekli H200 sunucusunun aylık fiyatı $3.000. Sunucularımız paylaşımsızdır, VPS değildir. A100 ile H100'ü karşılaştırma yazımızda ayrıntılı ele aldık.

Özet

• A100 80 GB'ın değeri 80 GB HBM2e bellekten, 2 TB/s civarındaki bant genişliğinden ve 10 GB'lık yedi MIG bölümünden geliyor.
• Hava ya da sıvı soğutmalı PCIe kartı SXM4 modülden ayırın; formda biçimi, adedi ve sunucu bilgisini yazın.
• 80 GB ile 40 GB'ı nvidia-smi'deki ad ve aygıt kimliği ayırır: PCIe kartlarda 20B5 ve 20F1.
• Satmadan önce nvidia-smi -q -d ECC,ROW_REMAPPER ile ECC ve satır yeniden eşleme sayaçlarını kontrol edin.
• Yayınlanmış teklif aralığı yok; teklifimizi formdan sonra telefonla iletiyoruz, kesin teklif testten sonra verilir.

Kaynaklar

• NVIDIA: A100 teknik özellikleri
• NVIDIA: A100 veri sayfası (Haziran 2021)
• NVIDIA: A100 80GB PCIe ürün özeti
• NVIDIA: A100 80GB duyurusu (16 Kasım 2020)
• NVIDIA: A100 80GB PCIe duyurusu (28 Haziran 2021)
• NVIDIA: Linux sürücüsünün desteklediği GPU'lar ve aygıt kimlikleri
• NVIDIA: Satır yeniden eşleme (row remapping)
• NVIDIA: Satır yeniden eşleme için RMA ölçütleri
• NVIDIA: nvidia-smi belgeleri
• NVIDIA: H100 teknik özellikleri
• NVIDIA: Hopper ve H100 duyurusu (22 Mart 2022)
• NVIDIA: H200 duyurusu (13 Kasım 2023)