Rehber
NVLink Nedir, Ne Zaman Gerekir? PCIe Farkı ve Destekleyen GPU'lar
NVLink, NVIDIA GPU'larını PCIe yerine doğrudan birbirine bağlayan yüksek hızlı bağlantıdır: H100 ve H200'ün SXM sürümlerinde GPU başına 900 GB/s ile PCIe 5.0 x16'nın yaklaşık 7 katı hız sunar. Tensor paralellik ve büyük modelde FSDP için önemlidir; LoRA ve bağımsız işler için gerekmez. H100 ve H200'ü İstanbul'daki tesisimizde paylaşımsız ve aylık kiralıyoruz.
gpukiralama.com.tr ekibi Güncelleme: 10 dk okuma
İçindekiler
NVLink nedir?
NVLink, NVIDIA'nın GPU'ları PCIe yerine doğrudan birbirine bağlayan yüksek hızlı bağlantısıdır; GPU'ların birbirinin belleğine işlemciye uğramadan erişmesini sağlar. H100 ve H200'ün SXM sürümlerinde GPU başına 900 GB/s (iki yönün toplamı) sunar; bu, PCIe 5.0 x16'nın (128 GB/s) yaklaşık 7, PCIe 4.0 x16'nın (64 GB/s) yaklaşık 14 katıdır. Blackwell neslinde (B200, GB200) bu değer 1,8 TB/s'dir.
- NVLink'in fark yarattığı işler: tensor paralel eğitim ve çıkarım, büyük modellerde FSDP/ZeRO-3, büyük modellerin full fine-tuning'i.
- Çoğu zaman gerekmediği işler: LoRA/QLoRA ile DDP, her GPU'da ayrı deney, her GPU'da ayrı model kopyasıyla çıkarım (inference; ör. GPU başına bir ComfyUI süreci).
- Bizdeki kartlar (Ekim 2026): H100 (sürüme göre 600–900 GB/s) ve H200 (900 GB/s) NVLink destekler. RTX PRO 6000, RTX 5090, L40S ve RTX PRO 5000'de NVLink yoktur; bu kartlar PCIe üzerinden haberleşir.
NVLink nasıl çalışır, NVSwitch nedir?
NVLink, GPU'ların birbirinin belleğine işlemciyi ve sistem belleğini dolaşmadan, doğrudan ve çok yüksek hızda erişmesini sağlar. Bu doğrudan erişime eşler arası erişim (peer-to-peer, P2P) denir; P2P PCIe üzerinden de yapılabilir ama çok daha düşük hızda.
H100'de 18 adet dördüncü nesil NVLink bağlantısı vardır; her biri her yönde 25 GB/s taşır ve toplam 900 GB/s eder. NVSwitch (NVIDIA sayfalarında NVLink Switch olarak da geçer) bu bağlantıları bir anahtarda toplar: HGX ve DGX gibi 8 GPU'lu SXM sistemlerde her GPU diğer yedisiyle aynı anda tam NVLink hızında konuşur. NVIDIA, bu 8 GPU'luk alan için toplam 7,2 TB/s bant genişliği belirtir.
PCIe kart biçimindeki sürümlerde durum farklıdır: NVLink, kartları köprülerle küçük gruplar halinde bağlar. NVIDIA, H100 NVL için 600 GB/s, H200 NVL için ikili ya da dörtlü köprüyle GPU başına 900 GB/s belirtir. Yani "8 × H100" ifadesi tek başına 8 GPU'nun tamamının NVLink ile birbirine bağlı olduğu anlamına gelmez.
NVLink nesilleri ve hızları
Her yeni veri merkezi mimarisiyle GPU başına NVLink bant genişliği arttı. Değerler GPU başına, iki yönün toplamıdır:
| Nesil | Mimari ve örnek GPU | GPU başına bant genişliği | GPU başına bağlantı |
|---|---|---|---|
| 1. nesil | Pascal: P100 | 160 GB/s | 4 |
| 2. nesil | Volta: V100 | 300 GB/s | 6 |
| 3. nesil | Ampere: A100 | 600 GB/s | 12 |
| 4. nesil | Hopper: H100, H200 | 900 GB/s | 18 |
| 5. nesil | Blackwell: B200, GB200 | 1,8 TB/s | 18 |
NVLink NVIDIA'ya özgüdür. AMD Instinct MI300X'li sunucularda GPU'ları birbirine AMD'nin Infinity Fabric bağlantısı bağlar.
NVLink PCIe'den ne kadar hızlı?
Kağıt üzerinde 7 ila 14 kat. Aradaki farkı somut görmek için 8 GPU'da 1 milyar parametreli bir modelin bir eğitim adımındaki gradyan toplama süresini hesapladık:
| Bağlantı | Toplam (iki yön) | Tek yön | Gradyan toplama, 1B model, 8 GPU (teorik) |
|---|---|---|---|
| PCIe 4.0 x16 | 64 GB/s | 32 GB/s | ~0,22 s |
| PCIe 5.0 x16 | 128 GB/s | 64 GB/s | ~0,11 s |
| NVLink (H100 NVL) | 600 GB/s | 300 GB/s | ~0,023 s |
| NVLink 4 (H100/H200 SXM, H200 NVL) | 900 GB/s | 450 GB/s | ~0,016 s |
Hesap şöyle: DDP her adımda gradyanların ortalamasını alır (all-reduce). Halka (ring) algoritmasında her GPU, gradyan boyutunun 2 × (N−1)/N katı veri gönderir ve alır. FP32 gradyanlı 1 milyar parametre 4 GB eder; 8 GPU'da bu, adım başına GPU başına ~7 GB trafik demektir.
Bunlar teorik alt sınırlardır. Gerçek hız, özellikle PCIe'de, anakart ve işlemci topolojisine göre daha düşük çıkar; öte yandan DDP iletişimi geri yayılımla örtüştürdüğü için sürenin bir kısmı gizlenebilir. Model 8 kat büyürse trafik de 8 kat büyür. LoRA'da ise yalnızca adaptör gradyanları toplanır: 8B bir modelde rank 16'lık LoRA bile parametrelerin %1'inden azını eğitir, bu yüzden PCIe genellikle yeterlidir.
Hangi işler NVLink ister, hangileri istemez?
GPU'lar adım başına ne kadar çok ve ne kadar sık veri paylaşıyorsa NVLink o kadar önemlidir.
| İş | NVLink'in önemi | Neden |
|---|---|---|
| Tensor paralel eğitim ve çıkarım | Yüksek | Her katmanda iletişim olur, hesaplama bunu bekler |
| Büyük modelde FSDP / ZeRO-3 | Yüksek–orta | Her adımda parametreler toplanır, gradyanlar dağıtılır; DDP'nin ~1,5 katı iletişim |
| Büyük modelin DDP ile full fine-tuning'i | Orta | Her adımda model boyutunda gradyan toplanır |
| LoRA/QLoRA ile DDP | Düşük | Yalnızca küçük adaptör gradyanları toplanır |
| Pipeline paralel çıkarım | Düşük | Yalnızca aşama sınırlarında veri aktarılır |
| Her GPU'da ayrı deney ya da ayrı model kopyası | Yok | GPU'lar arasında iletişim yok |
vLLM belgeleri bu ayrımı açıkça yapar: NVLink'i olmayan GPU'larda (örnek olarak L40S verilir) daha yüksek verim ve daha az iletişim yükü için tensor paralellik yerine pipeline paralellik önerilir. Bağımsız işlerde ise her süreci bir karta sabitlemek yeterlidir:
CUDA_VISIBLE_DEVICES=0 python deney_a.py &
CUDA_VISIBLE_DEVICES=1 python deney_b.py &
DDP, FSDP2 ve DeepSpeed'in kullanımını multi-GPU eğitim rehberimizde anlattık.
Sunucunun topolojisini nasıl kontrol edersiniz?
Bağlantı matrisini nvidia-smi topo -m, NVLink durumunu nvidia-smi nvlink --status ile görün; gerçek hızı nccl-tests ile ölçün. Teslim aldığınız sunucuda ilk iş:
nvidia-smi topo -m # GPU'lar arası bağlantı matrisi
nvidia-smi nvlink --status # NVLink bağlantılarının durumu ve hızı
nvidia-smi topo -p2p n # NVLink üzerinden P2P mümkün mü?
nvidia-smi topo -p2p r # P2P okuma (PCIe dahil) mümkün mü?
topo -m matrisindeki kısaltmalar, en hızlıdan en yavaşa:
| Kısaltma | Anlamı |
|---|---|
| NV# | # adet NVLink bağlantısı üzerinden (DGX H100'de NV18 görünür) |
| PIX | Tek bir PCIe anahtarı üzerinden |
| PXB | Birden fazla PCIe anahtarı üzerinden, işlemciye uğramadan |
| PHB | PCIe ana köprüsü (genellikle işlemci) üzerinden |
| NODE | Aynı NUMA düğümündeki PCIe ana köprüleri arasından |
| SYS | İşlemci soketleri arasındaki bağlantı (QPI/UPI gibi) üzerinden |
nvlink --status çıktısında etkin bağlantılar hızlarıyla listelenir; olması gereken bir bağlantının "Inactive" görünmesi incelenmesi gereken bir durumdur. PyTorch içinden torch.cuda.can_device_access_peer(0, 1) ile iki GPU arasında P2P erişimini sorgulayabilirsiniz.
NVSwitch'li HGX ve DGX sistemlerde NVLink alanını NVIDIA Fabric Manager servisi kurar. Servis çalışmıyorsa ya da alanı kuramazsa CUDA uygulamaları cudaErrorSystemNotReady hatasıyla başlatılamaz; durumunu sudo systemctl status nvidia-fabricmanager ile kontrol edin. Sanal makinede tam GPU passthrough kullanılıyorsa GPU'larla birlikte ilgili NVSwitch'lerin de aynı sanal makineye verilmesi gerekir.
Gerçek hızı görmek için NVIDIA'nın nccl-tests aracını kullanın:
git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests
make # CUDA /usr/local/cuda'da değilse CUDA_HOME, NCCL /usr'de değilse NCCL_HOME verin
./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8 # -g: GPU sayısı
Çıktıdaki busbw sütunu, GPU sayısından bağımsız olarak darboğazdaki bağlantının (NVLink, PCIe ya da soketler arası yol) hızını yansıtır; büyük mesajlardaki değeri bağlantının kağıt üzerindeki hızıyla karşılaştırın. Değer çok düşükse NCCL belgelerinin işaret ettiği iki ayara bakın: çıplak metal Linux'ta PCIe P2P için IOMMU'nun kapalı olması gerekir; PCIe anahtarlarında açık kalan ACS (Access Control Services) ise P2P trafiğini işlemciye yönlendirip hızı düşürebilir, hatta takılmaya yol açabilir (sudo lspci -vvv | grep ACSCtl ile kontrol edilir).
Hangi ekran kartları NVLink destekler?
NVLink veri merkezi GPU'larında ve bazı eski iş istasyonu ve GeForce kartlarında bulunur. Değerler GPU başına, iki yönün toplamıdır:
| Kart | NVLink | Bağlantı | Hız |
|---|---|---|---|
| A100 | Var | SXM: taban kart; PCIe: 2 kartlık köprü | 600 GB/s |
| H100 | Var | SXM: taban kart, 8 GPU'lu sistemlerde NVSwitch; NVL: köprü | SXM 900 GB/s, NVL 600 GB/s |
| H200 | Var | SXM: taban kart, 8 GPU'lu sistemlerde NVSwitch; NVL: 2 ya da 4 kartlık köprü | 900 GB/s |
| B200 | Var | Taban kart ve NVSwitch | 1,8 TB/s |
| RTX A6000, GeForce RTX 3090 ve RTX 3090 Ti | Var | 2 kartlık köprü | 112,5 GB/s |
| GeForce RTX 4090 ve RTX 5090 | Yok | PCIe | — |
| RTX 6000 Ada, L40S | Yok | PCIe 4.0 | — |
| RTX PRO 6000 Blackwell | Yok | PCIe 5.0 | — |
NVLink köprüsü nedir?
NVLink köprüsü (NVLink bridge), PCIe kart biçimindeki GPU'ları kartlardaki NVLink konnektörlerinden birbirine bağlayan ara parçadır. A100 PCIe ve RTX A6000'de köprü iki kartı, H200 NVL'de iki ya da dört kartı bağlar. SXM modüllü HGX ve DGX sistemlerde köprü kullanılmaz; GPU'lar taban kart ve NVSwitch üzerinden bağlanır.
Bizde hangi GPU'larda NVLink var?
H100 ve H200 NVLink destekler; RTX PRO 6000, RTX 5090, L40S ve RTX PRO 5000 desteklemez.
| Model | Bellek | NVLink | GPU başına aylık fiyat |
|---|---|---|---|
| H100 | 80 GB | Var; sürüme göre 600–900 GB/s | $2.500 |
| H200 | 141 GB | Var; 900 GB/s | $3.000 |
| RTX PRO 6000 Blackwell | 96 GB | Yok; PCIe 5.0 | $1.600 |
| RTX 5090 | 32 GB | Yok; PCIe 5.0 | $600 |
| RTX PRO 5000 | 48 GB | Yok; PCIe 5.0 | $800 |
| L40S | 48 GB | Yok; PCIe 4.0 | $900 |
Bir modelin NVLink desteklemesi, kiraladığınız sunucudaki tüm GPU'ların NVLink ile birbirine bağlı olacağı anlamına gelmez; NVLink'li bir sunucu topolojisi vaat etmiyoruz. Tek siparişte en fazla 8 GPU kiralanabilir. Sipariş formundaki mesaj alanına şunları yazmanız, yapılandırmayı kullanım amacınıza göre netleştirmemizi kolaylaştırır:
- GPU modeli ve sayısı, eğitilecek ya da sunulacak modelin boyutu.
- Kullanacağınız yöntem: DDP, FSDP, tensor paralel ya da GPU başına bağımsız işler.
- NVLink'in sizin için zorunlu mu, yoksa tercih mi olduğu.
Teslimden sonra yukarıdaki komutlarla topolojiyi doğrulayın.
LoRA, bağımsız deneyler ve GPU başına model kopyasıyla çıkarım için NVLink'siz kartlar yeterlidir; seçimi bellek ihtiyacınıza göre yapın. Kart seçiminde NVLink'in etkisini NVLink'li H100 ile NVLink'siz RTX PRO 6000'i karşılaştırdığımız sayfada, NVLink'siz iki kartla tek büyük kart arasındaki seçimi iki L40S mi, bir RTX PRO 6000 mi karşılaştırmasında ele aldık. Hangi işe hangi kartın uyduğunu LLM eğitimi için GPU seçimi rehberimizde anlattık. Tam eğitimde bellek ve kart sayısı hesabını model eğitimi hizmet sayfamızda, modeli kartlara bölerek servis etmeyi LLM inference sayfamızda anlattık.
Fiyatlar GPU başına, aylık, ABD doları cinsinden ve KDV hariçtir; fatura, fatura tarihindeki TCMB döviz satış kuruyla TL olarak kesilir. Yıllık kiralamada %20 indirim uygulanır. Tüm modellerin fiyatları fiyat listesinde. Kiralamalarımız aylıktır; birkaç günlük bir ölçekleme testi için saatlik bulut daha ucuz olabilir.
Özet
- NVLink, GPU'ları PCIe'den 7–14 kat hızlı bağlar: H100/H200 SXM'de GPU başına 900 GB/s, PCIe 5.0 x16'da 128 GB/s, PCIe 4.0 x16'da 64 GB/s.
- 8 GPU'nun tamamını tam hızda bağlamak için NVSwitch'li bir SXM sistemi gerekir; PCIe kartlarda NVLink köprüleri küçük grupları bağlar.
- GPU başına NVLink hızı A100'de 600 GB/s, H100 ve H200'de 900 GB/s, Blackwell'de 1,8 TB/s'dir. GeForce RTX 3090 ve 3090 Ti'de NVLink vardır; RTX 4090 ve RTX 5090'da yoktur.
- Tensor paralellik ve büyük modelde FSDP NVLink'ten en çok yararlanır; LoRA, bağımsız işler ve GPU başına model kopyası için gerekmez.
- Topolojiyi
nvidia-smi topo -mile görün, gerçek hızı nccl-tests ile ölçün. - Bizde H100 ve H200 NVLink destekler; RTX PRO 6000, RTX 5090, L40S ve RTX PRO 5000 desteklemez.
Kaynaklar
- NVIDIA: NVLink and NVLink Switch
- NVIDIA: H100 Tensor Core GPU
- NVIDIA: H200 Tensor Core GPU
- NVIDIA Technical Blog: NVIDIA Hopper Architecture In-Depth
- NVIDIA: nvidia-smi belgeleri
- NVIDIA nccl-tests: Performance (algbw ve busbw)
- NVIDIA NCCL: GPU sorun giderme
- vLLM: Parallelism and Scaling
- NVIDIA: A100 Tensor Core GPU
- NVIDIA Technical Blog: NVIDIA Ampere Architecture In-Depth (A100 ve V100 NVLink)
- NVIDIA: Pascal mimari belgesi (P100 NVLink)
- NVIDIA: GB200 NVL72
- NVIDIA: Grace Hopper Superchip (NVLink-C2C)
- NVIDIA: Ampere GA102 mimari belgesi (RTX 3090 ve RTX A6000 NVLink)
- NVIDIA: RTX A6000 veri sayfası
- NVIDIA: GeForce RTX 3090 ve 3090 Ti özellikleri
- NVIDIA: GeForce RTX 4090 özellikleri
- NVIDIA: GeForce RTX 5090 özellikleri
- NVIDIA: RTX 6000 Ada veri sayfası
- NVIDIA: L40S
- NVIDIA: RTX PRO 5000 Blackwell
- NVIDIA vGPU: GPU seçim kılavuzu (RTX PRO 6000 Server ve L40S NVLink desteği)
- NVIDIA: Fabric Manager kullanım kılavuzu
- NVIDIA NCCL: Genel bakış
- AMD ROCm: MI300 serisi mimarisi
Sık sorulan sorular
NVLink olmadan çok GPU'lu eğitim yapılabilir mi?
Evet. DDP ile eğitim ve LoRA gibi az iletişim gerektiren işler PCIe üzerinden de çalışır. NVLink'in yokluğu en çok tensor paralellikte ve büyük modellerin FSDP ile eğitiminde hissedilir.
RTX 4090, RTX 5090 ve RTX PRO 6000'de NVLink var mı?
Hayır. NVIDIA'nın özellik sayfalarına göre GeForce RTX 4090 ve RTX 5090'da NVLink yoktur; RTX PRO 6000 Blackwell de NVLink'siz bir karttır ve diğer kartlarla PCIe 5.0 üzerinden haberleşir. GeForce tarafında NVLink'li kartlar arasında RTX 3090 ve RTX 3090 Ti bulunur.
nvidia-smi topo -m çıktısında NV18 ne anlama gelir?
İki GPU arasındaki yolun 18 NVLink bağlantısından oluştuğunu gösterir; DGX H100 gibi NVSwitch'li sistemlerde GPU çiftleri arasında görülür. PIX, PXB, PHB, NODE ve SYS ise PCIe ve işlemci üzerinden giden, giderek yavaşlayan yollardır.
GPU'lar arası bağlantının gerçek hızını nasıl ölçerim?
NVIDIA'nın nccl-tests aracındaki all_reduce_perf testini çalıştırın ve büyük mesaj boyutlarındaki busbw değerini bağlantının kağıt üzerindeki hızıyla karşılaştırın. Değer çok düşükse NVLink durumunu, IOMMU ve PCIe ACS ayarlarını kontrol edin.
LLM çıkarımı (inference) için NVLink gerekir mi?
Model tek GPU'ya sığıyorsa gerekmez; her GPU'da ayrı bir model kopyası çalıştırmak iletişim gerektirmez. Model birden fazla GPU'ya bölünecekse NVLink'li kartlarda tensor paralellik, NVLink'siz kartlarda pipeline paralellik tercih edilir.
8 GPU'lu, tamamen NVLink'li bir sunucu garanti ediyor musunuz?
Hayır, belirli bir NVLink topolojisi vaat etmiyoruz. Tek siparişte en fazla 8 GPU kiralanabilir; NVLink ihtiyacınızı sipariş formundaki mesaj alanına yazarsanız yapılandırmayı kullanım amacınıza göre birlikte netleştiririz.
NVLink-C2C ve NVL72 nedir?
NVLink-C2C, NVIDIA'nın Grace işlemcisini aynı modüldeki GPU'ya bağlayan çipten çipe NVLink sürümüdür; Grace Hopper süper çipinde işlemci ile GPU arasında 900 GB/s'lik tutarlı bellek bağlantısı sağlar. GB200 NVL72 ise 36 Grace işlemci ve 72 Blackwell GPU'yu NVLink Switch ile tek bir NVLink alanında birleştiren raf ölçekli sistemdir; NVIDIA bu raf için toplam 130 TB/s NVLink bant genişliği belirtir. Kiraladığımız modeller arasında Grace tabanlı sistem ya da NVL72 bulunmaz.
NVLink birden fazla sunucuyu birbirine bağlar mı?
Hopper neslinde NVLink Switch alanı 8 GPU'dur; HGX H100 ve H200 gibi sistemlerde NVLink sunucunun içinde kalır. Birden fazla sunucuya yayılan eğitimde GPU'lar arası trafik NCCL aracılığıyla InfiniBand ya da IP ağı üzerinden geçer. GB200 NVL72 gibi raf ölçekli Blackwell sistemleri ise NVLink alanını 72 GPU'ya genişletir.
Bu iş için GPU sunucu mu arıyorsunuz?
Tüm modellerin aylık fiyatı sitede yazar; yıllık kiralamada %20 indirim uygulanır. Siparişinizden sonra 1 iş günü içinde proforma fatura gönderiyoruz.
İlgili yazılar
Teknik
Multi-GPU Eğitim Rehberi: DDP, FSDP2, DeepSpeed ve torchrun (2026)
Multi-GPU (çoklu GPU) eğitimde model tek GPU'ya sığıyorsa DDP ve torchrun, sığmıyorsa FSDP2 ya da DeepSpeed ZeRO-3 kullanın. Çalışır kod iskeleti, LLM fine-tuning için Accelerate komutları, efektif batch ve öğrenme oranı ayarı, NCCL hata ayıklama ve ölçekleme verimi ölçümüyle adım adım rehber.
Rehber
GPU VDS Nedir? GPU VDS ile Paylaşımsız GPU Sunucu Farkı (2026)
GPU VDS, paylaşılan bir sunucudaki sanal makinedir; ekran kartı size tamamen ya da dilim olarak verilebilir. vGPU, MIG ve passthrough'un VRAM, performans, sürücü ve lisans etkilerini paylaşımsız GPU sunucuyla karşılaştırdık.
Rehber
KVKK ve Yapay Zeka: Üretken Yapay Zeka Rehberi, Yurt Dışı Aktarım ve GPU (2026)
Kişisel veriyle yurt dışındaki bir GPU'da model eğitmek ya da veriyi yurt dışındaki bir yapay zeka API'sine göndermek KVKK'ya göre yurt dışına aktarımdır ve 2024'ten beri üç basamaklı kurala tabidir. Kurum'un yapay zeka rehberlerinin özeti, standart sözleşme adımları ve kontrol listesi bu rehberde.