PyTorch GPU Kurulumu: Sürücü, CUDA 13 ve GPU Kontrolü Adım Adım

Kısa cevap

1. NVIDIA sürücüsünün kurulu ve güncel olduğunu nvidia-smi ile kontrol edin. PyTorch'un varsayılan CUDA 13 paketleri için sürücü sürümü 580 veya üzeri olmalı.
2. Bir sanal ortamda pip install torch torchvision çalıştırın.
3. torch.cuda.is_available() ile GPU'nun göründüğünü doğrulayın.

CUDA Toolkit'i ayrıca kurmanız gerekmez; PyTorch ihtiyaç duyduğu CUDA kütüphanelerini kendi paketleriyle getirir. Bu rehber Ubuntu 24.04 ve 30 Eylül 2026'da yayımlanan PyTorch 2.14.1 sürümüne göre hazırlandı. Windows ya da Mac kullanıyorsanız aşağıdaki "Windows ve Mac'te PyTorch GPU kurulumu" bölümüne bakın.

1. Sürücüyü kontrol edin

Kiralık bir GPU sunucusunda sürücü çoğunlukla hazır gelir. Önce bakın:

nvidia-smi

Çıktıda GPU'nuzun adını, belleğini ve sağ üstte "CUDA Version" satırını görmelisiniz. Bu satır sürücünün desteklediği en yüksek CUDA sürümünü gösterir, sistemde kurulu bir CUDA Toolkit'i değil; PyTorch'un içinde gelen CUDA sürümü bundan yüksek olamaz. CUDA 13 paketleri için burada en az 13.0 görmelisiniz.

nvidia-smi komutu bulunamıyorsa ya da hata veriyorsa sürücü kurulu değildir. Ubuntu'da en kolay yol:

sudo ubuntu-drivers list --gpgpu
sudo ubuntu-drivers install --gpgpu
sudo reboot

Blackwell nesli kartlar (ör. RTX 5090 ve RTX PRO 6000) yalnızca açık kaynaklı çekirdek modülleriyle çalışır. Paketi elle seçiyorsanız sonu -open ile biten bir sürücü paketi seçin.

2. PyTorch'u kurun

Sistem Python'unu kirletmemek için bir sanal ortam kullanın:

sudo apt install -y python3-venv
python3 -m venv ~/ml && source ~/ml/bin/activate
pip install --upgrade pip
pip install torch torchvision

PyTorch 2.11'den bu yana pip install torch komutu Linux'ta CUDA 13.0 ile derlenmiş paketi kurar. Bu paket Turing (RTX 20 serisi) ve sonrası tüm mimarileri destekler; Ada, Hopper ve Blackwell kartlar dahil.

Sürücünüzü güncelleyemiyorsanız ve sürücü 580'den eskiyse CUDA 12.6 paketini kurabilirsiniz:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu126

Dikkat: CUDA 12.6 paketleri Blackwell mimarisini desteklemez. RTX PRO 6000 gibi bir kartta sürücüyü güncelleyip varsayılan paketi kullanmanız gerekir.

Conda kullanıyorsanız: PyTorch 2.6'dan bu yana kendi conda kanalında paket yayımlamıyor. Conda ortamı içinde de PyTorch'u pip ile kurun.

Ses projeniz için torchaudio gerekiyorsa ayrıca kurun; paketin son sürümü 2.11.0 (Mart 2026) olduğundan kurulu PyTorch sürümüyle uyumunu kontrol edin.

Hangi CUDA paketini seçmeli?

PyTorch 2.14.1 için üç CUDA paketi yayımlanıyor:

PyTorch ekibinin duyurusuna göre 2.14, CUDA 12 paketi yayımlanan son sürüm olacak: 2.15 ile CUDA 12.6 paketleri ve Python 3.10 desteği kalkıyor. Eski sürücüyle cu126 paketini kurarsanız 2.14'te kalırsınız.

3. PyTorch GPU'yu görüyor mu? Kontrol edin

Tek satırlık kontrol: python -c "import torch; print(torch.cuda.is_available())" komutu True yazıyorsa PyTorch GPU'yu görüyor demektir. Sürüm, CUDA ve bellek bilgisini birlikte görmek için:

import torch

print("PyTorch:", torch.__version__)
print("CUDA derlemesi:", torch.version.cuda)
print("GPU görünüyor mu:", torch.cuda.is_available())
print("GPU:", torch.cuda.get_device_name(0))
print("Bellek (GB):", round(torch.cuda.get_device_properties(0).total_memory / 1e9, 1))

torch.version.cuda satırı None yazıyorsa yanlışlıkla yalnızca işlemci (CPU) için olan paketi kurmuşsunuzdur.

Kartın beklenen hızda çalıştığını görmek için kısa bir matris çarpımı testi:

import time
import torch

n = 8192
a = torch.randn(n, n, device="cuda", dtype=torch.bfloat16)
b = torch.randn(n, n, device="cuda", dtype=torch.bfloat16)

for _ in range(3):  # ısınma
    a @ b
torch.cuda.synchronize()

steps = 20
start = time.perf_counter()
for _ in range(steps):
    a @ b
torch.cuda.synchronize()
elapsed = time.perf_counter() - start

print(f"{2 * n**3 * steps / elapsed / 1e12:.0f} TFLOPS (BF16)")

Sonuç, kartın kağıt üzerindeki değerinin altında çıkacaktır; bu normaldir. Aynı testi farklı günlerde çalıştırıp sonuçların tutarlı olduğuna bakmak, soğutma veya güç sorunlarını erken yakalamanın kolay bir yoludur. Gerçek iş yüklerinde hızı artırmanın yollarını CUDA ve PyTorch optimizasyon rehberimizde anlattık.

4. Docker ile çalışmak

Birden fazla proje ya da ekip arkadaşı aynı sunucuyu kullanıyorsa her projeyi kendi konteynerinde çalıştırmak bağımlılık çakışmalarını önler. Bunun için NVIDIA Container Toolkit gerekir:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Test edin:

docker run --rm --gpus all ubuntu nvidia-smi

PyTorch konteynerlerinde veri yükleyici işçilerinin paylaşımlı belleğe ihtiyacı olur; konteyneri --ipc=host (ya da yeterince büyük bir --shm-size) ile başlatın. Hazır bir imaj istiyorsanız NVIDIA'nın NGC kataloğundaki aylık güncellenen nvcr.io/nvidia/pytorch imajları iyi bir başlangıçtır. Kurulumun ayrıntıları için NVIDIA Container Toolkit kurulum rehberimize, günlük kullanım için Docker ile GPU kullanımı yazımıza bakın.

5. Jupyter'i güvenle açın

Jupyter'i doğrudan internete açmayın: sunucuda jupyter lab --no-browser --ip 127.0.0.1 --port 8888 ile yalnızca yerel adresi dinletin, kendi bilgisayarınızdan ssh -L 8888:127.0.0.1:8888 kullanici@sunucu-ip ile tünel açıp tarayıcıda http://localhost:8888 adresine gidin. Token, uzun eğitimler için tmux ve çekirdek ayarları için Jupyter'i uzak GPU sunucusunda güvenle kullanma rehberimize bakın.

Sık karşılaşılan hatalar

torch.cuda.is_available() False dönüyor. Önce nvidia-smi'nin çalıştığından emin olun. Çalışıyorsa torch.version.cuda değerine bakın; None ise CPU paketini kaldırıp yeniden kurun: pip uninstall torch ve ardından yukarıdaki kurulum komutu. Windows'ta en sık neden budur: düz pip install torch orada yalnızca CPU paketini kurar.

"The NVIDIA driver on your system is too old". Kurduğunuz PyTorch paketi, sürücünüzün desteklediğinden daha yeni bir CUDA ile derlenmiş. Sürücüyü 580 veya üzerine güncelleyin ya da (Blackwell dışındaki kartlarda) CUDA 12.6 paketini kurun.

"no kernel image is available for execution on the device". PyTorch paketi kartınızın mimarisi için derlenmemiş. Blackwell kartlarda eski (CUDA 12.6 ve öncesi) paketler kullanıldığında görülür. Varsayılan CUDA 13 paketine geçin.

"CUDA out of memory". Batch boyutunu küçültün, BF16 kullanın, gradient checkpointing'i açın. Bellek parçalanmasından şüpheleniyorsanız PYTORCH_ALLOC_CONF=expandable_segments:True ortam değişkenini deneyin (eski adı PYTORCH_CUDA_ALLOC_CONF da çalışır). Bir LLM'in hangi kartın belleğine sığacağını VRAM hesaplayıcımızla önceden görebilirsiniz. Modeliniz karta hiç sığmıyorsa daha fazla belleği olan bir GPU gerekir; bellek hesabı için LLM fine-tuning maliyeti yazımıza bakın.

Docker'da "could not select device driver". NVIDIA Container Toolkit kurulu değil ya da Docker yeniden başlatılmamış. Yukarıdaki adımları tekrarlayın.

Birden fazla GPU

Sunucunuzda birden fazla GPU varsa nvidia-smi hepsini listeler. Bir işi belirli bir karta sabitlemek için CUDA_VISIBLE_DEVICES=0 python train.py, tüm kartlarla dağıtık eğitim için torchrun --standalone --nproc_per_node=2 train.py kullanabilirsiniz.

Windows ve Mac'te PyTorch GPU kurulumu

Bu rehberdeki komutlar Linux sunucular içindir. Kendi bilgisayarınızda durum şöyle:

CUDA'ya özel kod ve kütüphaneler Mac'te çalışmaz.

Hangi GPU?

Kurulum adımları tüm modellerimizde aynıdır: RTX PRO 4000 (24 GB, aylık $450), RTX 5090 (32 GB, aylık $600), RTX PRO 5000 (48 GB, aylık $800), L40S (48 GB, aylık $900), RTX PRO 6000 Blackwell (96 GB, aylık $1.600), H100 ve H200. Hangisinin işinize uygun olduğunu belirlemek için GPU kiralama rehberimize, Colab'dan geçiyorsanız Colab karşılaştırmamıza bakın. İş yüküne göre önerdiğimiz kartları model eğitimi, LLM inference ve veri bilimi sayfalarımızda bulabilirsiniz.

Özet

• PyTorch 2.11'den beri pip install torch, Linux'ta CUDA 13.0 ile derlenmiş paketi kurar; bunun için sürücü sürümü 580 veya üzeri olmalıdır.
• CUDA Toolkit'i ayrıca kurmanız gerekmez; yalnızca kendi CUDA eklentilerinizi derleyecekseniz gerekir.
• Blackwell kartlar (ör. RTX PRO 6000) için CUDA 12.8 ve sonrasıyla derlenmiş paketler gerekir; CUDA 12.6 paketleri bu mimariyi desteklemez.
• Docker'da GPU kullanmak için NVIDIA Container Toolkit kurun ve PyTorch konteynerlerini --ipc=host ile başlatın.
• Jupyter'i internete açmayın; sunucuda yalnızca yerel adresi dinletip SSH tüneliyle bağlanın.

Kaynaklar

• PyTorch: Start Locally
• PyTorch 2.11.0 General Availability duyurusu
• PyPI: torch
• NVIDIA Container Toolkit kurulum kılavuzu
• NVIDIA CUDA Toolkit sürüm notları
• Ubuntu: NVIDIA sürücülerinin kurulumu
• PyPI: torch 2.14.1 (30 Eylül 2026)
• PyTorch 2.14 paket dizini: CUDA 13.0
• PyTorch 2.15'te CUDA 12.6 paketlerinin kaldırılması
• PyTorch 2.15'te Python 3.10 desteğinin kaldırılması
• PyPI: torchaudio
• PyTorch: CUDA semantics (bellek ayarları)
• NVIDIA: CUDA on WSL kullanıcı kılavuzu
• Apple: Accelerated PyTorch training on Mac