İkinci el A100 40 GB alım fiyatı ve teklif

A100 40 GB bugün hangi işlere yetiyor?

A100 40 GB, NVIDIA'nın Ampere veri merkezi kartının ilk sürümü. NVIDIA kartı 14 Mayıs 2020'de DGX A100 ve HGX A100 sistemleriyle SXM4 modül olarak duyurdu, PCIe kart sürümünü 22 Haziran 2020'de ekledi. Kartta 40 GB HBM2 bellek, 1.555 GB/s bant genişliği ve ECC var. NVIDIA'nın ürün özetine göre bu bellekte ECC'nin kapasite ya da bant genişliği açısından ek yükü yok.

Kartın öne çıktığı iki alan:

• Bilimsel hesaplama: Veri sayfasında çift hassasiyet (FP64) için 9,7 TFLOPS, Tensor çekirdekleriyle 19,5 TFLOPS yazıyor. NVIDIA, A100'ü yapay zekanın yanında HPC ve veri analitiği için de konumluyor.
• Bölünebilirlik: MIG ile kart, her biri kendi belleği, önbelleği ve hesaplama birimleri olan yediye kadar yalıtılmış bölüme ayrılabiliyor; 40 GB sürümde en küçük bölüm 5 GB.

Yapay zeka tarafında 40 GB orta boy modellere yetiyor. 16 bitte parametre başına 2 bayt hesabıyla 14 milyar parametreli bir model yaklaşık 28 GB tutar; Hugging Face'in çıkarım için öngördüğü yüzde 20'ye varan ek payla bile 40 GB'a sığar. 70 milyar parametreli bir model ise 4 bitte bile yaklaşık 35 GB'tır ve ek payla 40 GB'ı aşabilir. Bu boyut için A100 80 GB ya da daha büyük bellek gerekir; kendi modeliniz için VRAM hesaplayıcıyı kullanabilirsiniz.

A100 40 GB'ın PCIe ve SXM4 sürümleri nasıl ayrılır?

PCIe sürümü standart bir sunucu yuvasına takılan çift yuvalı bir kart, SXM4 sürümü ise HGX A100 taban kartına oturan bir modül. NVIDIA'nın veri sayfası ve sürücü belgelerine göre A100 ailesinin dört sürümü şöyle ayrılıyor:

NVIDIA, 250 W'lık PCIe kartın en yaygın uygulamalarda 400 W'lık SXM4 modülün yaklaşık yüzde 90'ı kadar başarım verdiğini yazıyor. İki PCIe kart üç NVLink köprüsüyle bağlanıp 600 GB/s'ye ulaşıyor; her köprü iki yuva aralığına göre yapılmış ve tam bant genişliği için üçü de takılı olmalı. SXM4 modüller NVLink'e HGX taban kartı üzerinden bağlanıyor. PCIe kartın güç girişi tek bir 8 pin CPU (EPS) konnektörü.

Formda tam modeli, biçimi, adedi, kartların bir sunucuda takılı olup olmadığını, fatura ve garanti durumunu yazın. SXM4 modül, HGX taban kartı ya da sunucu satmak istiyorsanız bunu da belirtin; uygunluğu randevudan önce telefonda konuşuruz.

Kartınızın 40 GB mı 80 GB mı olduğunu nasıl anlarsınız?

En kesin yol, yukarıdaki tablodaki ad ve aygıt kimliği. 80 GB'lık PCIe kart 2021'de çıktı ve dışarıdan 40 GB'lık kartla neredeyse aynı: ikisi de yaklaşık 267 mm uzunluğunda, çift yuvalı, pasif soğutuculu ve tek 8 pin CPU girişli. Şu komut işinizi görür:

nvidia-smi --query-gpu=name,memory.total,pci.device_id,power.default_limit --format=csv

40 GB PCIe kartta aygıt kimliğinde 20F1 geçer ve varsayılan güç sınırı 250 W görünür. Toplam bellek 40 bin MiB'ın biraz üzerindedir; NVIDIA'nın MIG kılavuzundaki A100-SXM4-40GB örneğinde bu değer 40.537 MiB. Eski sürücülerde adın başında "NVIDIA" yazmayabilir. MIG açıksa nvidia-smi mig -lgip listesinde 40 GB kartta 1g.5gb profili yer alır; 80 GB kartta en küçük profil ise 1g.10gb.

MIG açık bir kartı nasıl getirmelisiniz?

Kartı MIG kapalı getirmeniz en kolayı, çünkü NVIDIA'ya göre Ampere kartlarda MIG ayarı yeniden başlatmalardan sonra da kalıyor. Adımlar:

1. Durumu görün: nvidia-smi -i 0 --query-gpu=pci.bus_id,mig.mode.current --format=csv çıktısında "Enabled" ya da "Disabled" yazar.
2. Kapatın: sudo nvidia-smi -i 0 -mig 0 çalıştırın. NVIDIA'ya göre Ampere kartlarda sürücü, ayarın geçerli olması için GPU'yu sıfırlamayı dener; olmazsa sunucuyu yeniden başlatın.
3. Kontrol edin: nvidia-smi -q çıktısındaki "MIG Mode" bölümünde "Current" ve "Pending" satırlarının ikisi de "Disabled" olmalı.

Kapatamıyorsanız formda belirtmeniz yeterli.

Satmadan önce hangi kontrolleri yapabilirsiniz?

• Bellek hataları: nvidia-smi -q -d ECC,ROW_REMAPPER ECC sayaçlarını ve satır yeniden eşleme (row remapping) bilgisini birlikte gösterir. "Aggregate" ECC sayaçları kartın ömrü boyunca birikir. Yeniden eşleme bölümünde "Pending" ya da "Remapping Failure Occurred" satırı "Yes" ise formda belirtin; VRAM hatası olan kartı almıyoruz.
• Isı: NVIDIA'ya göre pasif soğutuculu kart, sınırları içinde çalışmak için sistemin hava akışına ihtiyaç duyuyor; ürün özetinde ısı gereksinimlerinin V100S'e benzediği yazıyor. Yük testini sunucu kasasında yapın ve nvidia-smi --query-gpu=temperature.gpu,temperature.memory,clocks_throttle_reasons.hw_thermal_slowdown --format=csv -l 5 ile izleyin; temperature.memory HBM bellek sıcaklığını verir.
• PCIe bağlantısı: PCIe 4.0 destekli bir sistemde nvidia-smi --query-gpu=pcie.link.gen.max,pcie.link.width.max --format=csv çıktısı 4 ve 16 olmalı.
• Güç girişi: 8 pin CPU girişinde kararma, erime ya da eğilmiş pin olmamalı; erimiş güç konnektörlü kartı almıyoruz. NVIDIA'ya göre bu giriş bir CPU 8 pin kabloyla ya da iki PCIe 8 pin'i birleştiren adaptörle beslenir; adaptörünüz varsa getirin.
• Görüntü: Kartta ekran çıkışı yok; test sırasında görüntüyü anakarttan ya da başka bir ekran kartından alırsınız.

Genel adımlar için ikinci el kart test rehberimize bakabilirsiniz.

A100 40 GB'ta teklifi hangi ayrıntılar etkiler?

A100 40 GB için şu an yayınlanmış bir teklif aralığı yok: formu doldurun, teklifimizi telefonla iletelim. Kesin teklifi, kartı Bağcılar'daki tesisimizde sizin önünüzde test ettikten sonra veriyoruz; satmak zorunda değilsiniz. Bu kartta öne çıkan etkenler:

• Yaş ve garanti: Kart 2020'de çıktı; faturadaki tarihi ve garantinin sürüp sürmediğini formda yazın. Garantisi bitmiş kartta teklifimizden %20 düşülür.
• Geçmiş: Kartı ikinci el aldıysanız ve önceki kullanımını bilmiyorsanız %15 düşülür.
• Biçim ve adet: Kartın biçimi, adedi ve hangi sunucudan çıktığı; SXM4 modülde uygunluk önce telefonda konuşulur.
• Soğutucu ve kasa: Pasif soğutucunun kanatlarında ezilme, braket bükülmesi gibi kozmetik kusurlar.
• Eksiksizlik: NVLink köprüleri, uzatma braketi ve güç adaptörü.

Kart bir şirketten çıkıyorsa şirketiniz bize fatura keser; bireysel satışta gider pusulası düzenliyoruz.

A100 40 GB'ı satmak için beklemeli misiniz?

Fiyat tahmini yapmıyoruz; somut etkenler şunlar:

• Bellek sınıfı: A100 ailesinde 80 GB sürüm Kasım 2020'de SXM4, 2021'de PCIe olarak geldi; sonraki nesil H100 SXM de 80 GB taşıyor. 40 GB, bu ailede küçük bellek seçeneği olarak kaldı.
• Yeni hassasiyetler: 2022'de duyurulan H100'de FP8 destekli Transformer Engine var; A100'ün veri sayfasında FP8 yok.
• MIG: H100 SXM de yediye kadar bölüme ayrılıyor ama bölümler 10 GB; A100 40 GB'ta 5 GB.
• Garanti: Faturadaki tarihe bakın; garanti sürerken satarsanız garanti indirimi uygulanmaz.
• Bizim tarafımız: Aldığımız kartları satmıyoruz; kendi kiralık sunucularımızda kullanıyoruz.

A100 40 GB yerine kiralamak

40 GB yetmiyorsa kartı satıp daha büyük belleği aylık kiralayabilirsiniz. 80 GB bellekli H100 sunucumuzun GPU başına aylık fiyatı $2.500 (KDV hariç). 96 GB bellekli RTX PRO 6000 sunucusunun aylık fiyatı ise $1.600. Kiralamalarımız aylık ve paylaşımsızdır: VPS değil, kartın tamamı size ayrılır. A100 ile H100'ü karşılaştırma yazımızda ayrıntılı ele aldık.

Özet

• A100 40 GB, ECC'nin kapasiteden pay almadığı 40 GB HBM2 bellek, 1.555 GB/s bant genişliği ve güçlü FP64 hesapla öne çıkıyor.
• 80 GB sürümle dışarıdan neredeyse aynı; nvidia-smi'deki aygıt kimliği 20F1 ise kartınız 40 GB PCIe.
• PCIe kart 250 W, SXM4 modül 400 W; formda biçimi, adedi ve sunucu bilgisini yazın.
• MIG ayarı yeniden başlatmada kalır; kartı MIG kapalı getirin ve nvidia-smi -q -d ECC,ROW_REMAPPER ile bellek sayaçlarına bakın.
• Yayınlanmış teklif aralığı yok; teklifimizi formdan sonra telefonla iletiyoruz, kesin teklif testten sonra verilir.

Kaynaklar

• NVIDIA: A100 veri sayfası (Haziran 2020)
• NVIDIA: A100 veri sayfası, 40 GB ve 80 GB sürümler (Haziran 2021)
• NVIDIA: A100 40GB PCIe ürün özeti
• NVIDIA: A100 duyurusu (14 Mayıs 2020)
• NVIDIA: PCIe A100 duyurusu (22 Haziran 2020)
• NVIDIA: A100 80GB duyurusu (16 Kasım 2020)
• NVIDIA: Linux sürücüsünün desteklediği GPU'lar ve aygıt kimlikleri
• NVIDIA: MIG profilleri
• NVIDIA: MIG kılavuzu, başlangıç
• NVIDIA: nvidia-smi belgeleri
• NVIDIA: H100 teknik özellikleri
• Hugging Face Accelerate: model bellek tahmini