# Yapay zeka model eğitimi için GPU sunucu kiralama

- Adres: https://gpukiralama.com.tr/hizmetler/ai-egitimi/
- Önerilen GPU'lar (GPU başına, aylık, KDV hariç):
  - [NVIDIA H100](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h100/): $2.500/ay. BF16'da 756–989 TFLOPS ve FP8 eğitimi: Llama 3.1 8B tam eğitimi (131,6 GB) 2 kartta
  - [NVIDIA H200](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h200/): $3.000/ay. 141 GB: Qwen3 14B tam eğitimi (240,7 GB) 2 kartta, aynı iş H100'le 4 kart ister
  - [NVIDIA RTX PRO 6000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-6000/): $1.600/ay. 96 GB tek kartta yaklaşık 5 milyar parametreye kadar tam eğitim; MIG ile 4 ayrı deney ortamı
  - [NVIDIA L40S](https://gpukiralama.com.tr/gpu-modelleri/nvidia-l40s/): $900/ay. 48 GB ECC, BF16'da 362 TFLOPS ve FP8: görüntü ve ses modellerinin eğitimi için

Görüntü, ses ve dil modellerini kendi verinizle eğitmek için paylaşımsız, aylık kiralık GPU sunucusu; veriler İstanbul'daki tesisimizde kalır. Bu sayfa bir kurs değil, derin öğrenme modellerini GPU'da eğitmenin donanım ve yazılım tarafını anlatır.

## Yapay zeka modeli eğitmek için hangi GPU gerekir?

Yapay zeka modeli eğitmek için gereken GPU'yu önce bellek belirler: AdamW ve karma hassasiyetle (mixed precision) tam eğitim parametre başına yaklaşık 16 bayt ister, bu yüzden 8B bir dil modeli 131,6 GB tutar ve en az iki karta bölünür. Görüntü ve ses gibi derin öğrenme modellerinin çoğu tek karta sığar. Bu kartları İstanbul'daki kendi tesisimizde paylaşımsız ve aylık kiralıyoruz.

Eğitimi üç şey sınırlar: bellek, tensör hesap gücü ve çok GPU'da kartlar arası bağlantı; model tek karta sığıyorsa hızı hesap gücü ve veri hattı belirler.

- **Görüntü ve ses modelleri, deneme ortamları:** 48 GB'lık [L40S](/gpu-modelleri/nvidia-l40s/), aylık $900.
- **Tek kartta büyük batch ya da yaklaşık 5 milyar parametreye kadar tam eğitim:** 96 GB'lık [RTX PRO 6000](/gpu-modelleri/nvidia-rtx-pro-6000/), aylık $1.600.
- **8–32B modellerin tam eğitimi, sürekli ön eğitim, 1B ölçeğinde sıfırdan ön eğitim:** 2–8 × [H100](/gpu-modelleri/nvidia-h100/) (GPU başına aylık $2.500) ya da belleği büyük olduğu için bazı işleri daha az kartla yapan [H200](/gpu-modelleri/nvidia-h200/) (GPU başına aylık $3.000).
- [GPU sunucu fiyatları](/fiyatlandirma/) GPU başına, aylık, dolar bazlı ve KDV hariçtir; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir. Tek siparişte en fazla 8 GPU kiralanabilir; GPU'lar ve sunucu kaynakları yalnızca size ayrılır.

## Model eğitimi için kaç GB GPU belleği (VRAM) gerekir?

Tam eğitimde gereken GPU belleği (VRAM), parametre başına yaklaşık 16 baytlık model durumu ile batch boyutu ve dizi uzunluğuyla büyüyen aktivasyonların toplamıdır: Llama 3.1 8B için 131,6 GB, Qwen3 14B için 240,7 GB.

ZeRO makalesindeki hesaba göre bu 16 baytın 2'si BF16 ağırlık, 2'si gradyan, 12'si AdamW durumudur (FP32 ana ağırlık kopyası, momentum ve varyans). Gradient checkpointing, ara sonuçları saklamak yerine geri yayılımda yeniden hesaplayarak aktivasyon belleğini büyük ölçüde azaltır.

Sitemizin [VRAM hesaplayıcısına](/araclar/vram-hesaplayici/) göre dil modellerinde tam eğitim (2.048 token, batch 1, gradient checkpointing açık; kartın belleğinin %92'si kullanılabilir; çok GPU'lu kurulumlar 2, 4 ya da 8 kart olarak hesaplanır):

| Model | Bellek | RTX PRO 6000 (96 GB) | H100 (80 GB) | H200 (141 GB) |
|---|---|---|---|---|
| Llama 3.1 8B | 131,6 GB | 2 kart | 2 kart | 2 kart |
| Qwen3 14B | 240,7 GB | 4 kart | 4 kart | 2 kart |
| Mistral Small 3.2 24B | 387,8 GB | 8 kart | 8 kart | 4 kart |
| Qwen3 32B | 529,7 GB | 8 kart | 8 kart | 8 kart |
| Llama 3.3 70B | 1.137 GB | 8 kartı aşar | 8 kartı aşar | 8 kartı aşar |

Dil modeli dışındaki modellerde parametre sayısı küçüktür; belleği daha çok batch boyutu ve girdi çözünürlüğü belirler. 16 bayt kuralıyla model durumu ResNet-50 (25,6 milyon parametre) için ~0,4 GB, ViT-L/16 (304,3 milyon) için ~4,9 GB, Whisper large-v3 (1,55 milyar) için ~24,8 GB'tır. Bu modellerin model durumu tek karta rahatça sığar; kartı batch boyutuna ve hız ihtiyacına göre seçersiniz. Ayrıntılar [görüntü işleme](/hizmetler/goruntu-isleme/) ve [ses tanıma](/hizmetler/ses-tanima/) sayfalarımızda.

## Hangi kart ne kadar hızlı eğitir?

Hesap yoğun eğitimde hızı kartın BF16 ve FP8 tensör gücü belirler: kağıt üzerinde H100 ve H200, L40S'in yaklaşık 2–2,7 katı hızdadır.

| GPU | Bellek | BF16 tensör | FP8 tensör | GPU'lar arası bağlantı |
|---|---|---|---|---|
| H100 | 80 GB | 756–989 TFLOPS | 1.513–1.979 TFLOPS | NVLink, 600–900 GB/s |
| H200 | 141 GB | 835–989 TFLOPS | 1.671–1.979 TFLOPS | NVLink, 900 GB/s |
| L40S | 48 GB | 362 TFLOPS | 733 TFLOPS | PCIe 4.0, x16'da 64 GB/s |
| RTX 5090 | 32 GB | 209,5 TFLOPS | 419 TFLOPS | PCIe 5.0, x16'da 128 GB/s |

Değerler seyrekliksizdir; aralıklar kartın sürümüne göre değişir. RTX 5090 değerleri, NVIDIA'nın RTX Blackwell mimari belgesindeki FP32 biriktirmeli (accumulate) tensör hızlarıdır; NVIDIA'nın bu kart için yayımladığı teknik özelliklerde ECC bellek yer almaz. RTX PRO 6000 için NVIDIA'nın sayfalarında seyrekliksiz olduğu belirtilmiş bir BF16 değeri yok; kartları kendi işinizde karşılaştırmak için [PyTorch kurulum rehberimizdeki](/blog/pytorch-gpu-kurulum-rehberi/) kısa matris çarpımı testini kullanın.

Kaba süre hesabı için dil modellerinde toplam işlem ≈ 6 × parametre × token kuralı kullanılır (Kaplan ve ark., 2020). Meta, Llama 3 eğitiminde H100 başına 380–430 TFLOPS gerçekleşen BF16 hız raporladı; bu, büyük ve çok iyi optimize edilmiş bir kümenin değeridir. GPU başına 400 TFLOPS varsayımıyla 8B bir modeli 10 milyar Türkçe tokenla sürekli ön eğitimden (continued pretraining) geçirmek 4,8 × 10²⁰ işlem eder: 8 H100'de teorik olarak yaklaşık 42 saat. Sıfırdan ön eğitim tablosunu [LLM eğitimi için GPU seçimi rehberimizde](/blog/llm-egitimi-icin-gpu-secimi/) verdik.

## Ne zaman tek RTX PRO 6000, ne zaman 8 × H100 ya da H200?

Model ve optimizer durumu tek karta sığıyorsa ve eğitim saatler ya da birkaç gün sürüyorsa tek kart yeter; sığmıyorsa ya da süre haftalara uzuyorsa çok GPU'lu [H100 veya H200](/karsilastirma/h100-vs-h200/) gerekir.

| İş yükü | Önerilen GPU | Neden | Aylık fiyat (GPU başına) |
|---|---|---|---|
| Görüntü sınıflandırma, nesne tespiti, ses modelleri | L40S | 48 GB, ECC; BF16'da 362 TFLOPS, FP8 | $900 |
| Büyük batch, yüksek çözünürlük, ~5B parametreye kadar tam eğitim | RTX PRO 6000 | Tek kartta 96 GB; MIG ile 4 ayrı deney | $1.600 |
| 8B tam eğitim ya da sürekli ön eğitim | 2–8 × H100 | BF16'da 756–989 TFLOPS, FP8 eğitimi | $2.500 |
| 14–32B tam eğitim, uzun dizi, büyük batch | 2–8 × H200 | Kart başına 141 GB; 14B için 2 kart | $3.000 |
| 1B ölçeğinde sıfırdan ön eğitim | 8 × H100 ya da H200 | Teorik olarak yarım günlük hesap | $2.500 |
| 70B tam eğitim, 10B üzeri sıfırdan ön eğitim | 8 GPU sınırını aşar | [LoRA ya da QLoRA ile ince ayara](/hizmetler/llm-fine-tuning/) bakın | — |

5 milyar parametre sınırı kaba bir hesaptır: RTX PRO 6000'in kullanılabilir 88,3 GB'ı, 16 bayt kuralıyla bu boyutta bir modele ve kısa dizilerin aktivasyonlarına yeter. 32 GB'a sığan küçük görüntü modellerinde RTX 5090 da bir seçenektir; ancak NVIDIA bu kart için ECC bellek belirtmez ve BF16 tensör hızı L40S'in altındadır.

## Çok GPU'lu eğitim sunucusunda DDP mi, FSDP2 mi kullanılır?

Model tek karta sığıyorsa DDP, sığmıyorsa FSDP2 ya da DeepSpeed ZeRO-3 kullanın; NVLink en çok tensor paralellikte ve büyük modellerin FSDP ile eğitiminde fark yaratır.

- **DDP ve torchrun:** Her GPU modelin tam kopyasını tutar, her adımda gradyanların ortalaması alınır. 24 Ekim 2026 itibarıyla güncel sürüm PyTorch 2.14.1'dir (30 Eylül 2026).
- **FSDP2 (`fully_shard`):** Parametre, gradyan ve optimizer durumunu GPU'lara böler. PyTorch belgelerine göre eski FSDP1 kullanımdan kalktı.
- **DeepSpeed (0.19.8):** ZeRO'nun üç aşaması, işlemci belleğine ya da NVMe'ye boşaltma (offload).
- **torchtitan (0.3.0) ve NVIDIA Megatron Core:** Büyük dil modellerinin ön eğitimi için veri, tensor, pipeline ve context paralelliğini birleştiren çerçeveler. PyTorch ekibi dil modeli eğitimini torchtitan'da topluyor.

PCIe 4.0 x16 iki yönde toplam 64 GB/s, PCIe 5.0 x16 128 GB/s taşır; NVLink ise GPU başına H100'de sürüme göre 600–900 GB/s, H200'de 900 GB/s'dir. RTX PRO 6000, RTX 5090 ve L40S'te NVLink yoktur: bu kartlarda küçük modellerle ve LoRA ile DDP iyi çalışır, büyük modelde FSDP ise iletişim yüzünden yavaşlayabilir. NVLink'li bir topoloji vaat etmiyoruz; ihtiyacınızı [sipariş formunda](/siparis/) belirtin ve teslimden sonra `nvidia-smi topo -m` ile kontrol edin. Kod örnekleri [multi-GPU eğitim rehberimizde](/blog/multi-gpu-egitim-rehberi/), bağlantı türleri [NVLink rehberimizde](/blog/multi-gpu-nvlink-kiralama-rehberi/).

## FP8 ile eğitim hangi kartlarda çalışır?

FP8 ile eğitim RTX 3090 ve RTX A5000 dışındaki kartlarımızın hepsinde (SM 8.9 ve üzeri) çalışır; MXFP8 ve NVFP4 ile eğitim ise yalnızca B200 sınıfı kartlarda desteklenir.

NVIDIA Transformer Engine belgelerine göre (sürüm 2.20, Ekim 2026):

- **Tensör başına ölçeklemeli FP8 (delayed ve current scaling):** hesaplama yeteneği (compute capability) 8.9 ve üzeri; yani L40S, H100, H200, RTX 5090, RTX PRO 5000 ve RTX PRO 6000.
- **Blok ölçeklemeli FP8:** Hopper (H100, H200).
- **MXFP8 ve NVFP4 ile eğitim:** yalnızca SM 10.0 ve 10.3 (B200 sınıfı). RTX PRO 6000 ve RTX 5090 SM 12.0'dır; bu kartlarda FP4 çıkarım (inference) içindir.

PyTorch tarafında torchao'nun float8 eğitim akışı da benzer bir yol sunar; belgelerine göre 8 H100'de Llama 3 8B eğitiminde yaklaşık %25 hızlanma ölçülmüş. Kazanç modele bağlıdır; kayıp eğrisini bir BF16 koşusuyla karşılaştırın. Transformer Engine belgesindeki en küçük örnek:

```python
import torch
import transformer_engine.pytorch as te
from transformer_engine.common.recipe import Float8CurrentScaling, Format

recipe = Float8CurrentScaling(fp8_format=Format.HYBRID)  # ileri geçiş E4M3, geri geçiş E5M2
layer = te.Linear(1024, 1024, params_dtype=torch.bfloat16)
inp = torch.randn(32, 128, 1024, dtype=torch.bfloat16, device="cuda")

with te.autocast(enabled=True, recipe=recipe):
    out = layer(inp)
    loss = out.sum()

loss.backward()
```

## Veri hattı, checkpoint ve disk nasıl planlanır?

GPU'nun veri beklememesi ve uzun bir eğitimin kesintiden sonra kaldığı yerden sürmesi için ikisini baştan planlayın.

- **Veri hattı:** Veri setini sunucunun yerel NVMe diskine alın; tokenizasyon ve yeniden boyutlandırma gibi ön işlemeyi eğitimden önce bir kez yapın. Görüntü ya da video çözmede işlemci yetişmiyorsa NVIDIA DALI çözme ve veri artırmayı GPU'ya taşır. DataLoader ayarlarını [CUDA optimizasyonu rehberimizde](/blog/cuda-optimizasyonu-rehberi/) anlattık.
- **Checkpoint boyutu:** Optimizer durumuyla birlikte parametre başına yaklaşık 12 bayt (FP32 ana ağırlık ve iki AdamW momenti) yazılır; 8B bir model için tek checkpoint ~96 GB eder. Son birkaç checkpoint'i saklayın, önemlilerini sunucu dışına kopyalayın.
- **Dağıtık checkpoint:** PyTorch'un `torch.distributed.checkpoint` modülü (DCP) her sürecin kendi parçasını paralel yazmasını ve checkpoint'in farklı sayıda GPU'yla yeniden yüklenmesini sağlar.
- **Kesintiye hazırlık:** Meta, 16 bine varan H100'le yürüttüğü Llama 3 ön eğitiminin 54 günlük bir döneminde 466 iş kesintisi yaşadığını, beklenmeyen kesintilerin yaklaşık %78'inin donanımdan kaynaklandığını raporladı. Kesinti sıklığı donanım sayısıyla artar ve 8 GPU'lu tek bir sunucuda çok daha seyrektir; yine de günlerce süren bir eğitimi düzenli checkpoint almadan çalıştırmayın.

Sunucu kaynakları GPU belleğine göre baştan bellidir: Her 4 GB GPU belleği için 1 CPU çekirdeği ve GPU belleğinin 1,5 katı RAM verilir; 1 TB SSD ve size özel bir IP adresi her siparişe dahildir. Veri seti boyutunu ve checkpoint ihtiyacınızı sipariş formuna yazın.

## Model eğitimi için aylık sunucu ne zaman mantıklı?

Ekip sürekli deney koşuyorsa ve veri Türkiye'de kalmalıysa aylık sunucu mantıklıdır; tek seferlik kısa bir eğitim için değildir.

**Mantıklı olduğu durumlar:**

- Hiperparametre taramaları ve ablasyon deneyleriyle kart ayın büyük bölümünde doluysa: sabit fiyatta her ek koşunun ek maliyeti yoktur.
- Eğitim verisi kişisel veri, sağlık verisi ya da müşteri kaydı içeriyorsa: veriler İstanbul'daki kendi tesisimizde, Türkiye'de kalır ve GPU'lar başka müşterilerle paylaşılmaz. Uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır; ayrıntılar [KVKK rehberimizde](/blog/kvkk-gpu-kiralama-turkiye/). Bu bilgi hukuki tavsiye değildir.
- Öngörülebilir maliyet ve Türk lirası fatura istiyorsanız.

**Mantıklı olmadığı durumlar:**

- En kısa kiralama süresi 1 aydır; birkaç günlük tek bir eğitim koşacaksanız [saatlik bulut GPU](/blog/cloud-gpu-vs-fiziksel-gpu/) daha ucuz olabilir. Aylık fiyatı sağlayıcının saatlik fiyatına bölün: çıkan sayı, aylık sunucunun öne geçtiği kullanım saatidir. Aylık fiyatımızın saatlik karşılığı (730 saat) H100 için $3,42, H200 için $4,11.
- 8 GPU'dan büyük bir küme gerekiyorsa, örneğin 10B üzeri modellerin sıfırdan ön eğitiminde: tek siparişte en fazla 8 GPU kiralanabilir.
- Genel amaçlı metin, görsel ya da ses işlerinde en güçlü kapalı modellerin API'leri ya da açık bir modelin ince ayarı, sıfırdan eğitimden daha iyi sonuç verebilir; önce bunları deneyin.

## Özet

- Tam eğitim parametre başına ~16 bayt ister: 8B bir model 131,6 GB ile 2 kart, 14B 240,7 GB ile 2 × H200 ya da 4 × H100 gerektirir.
- Görüntü ve ses modelleri genellikle tek karta sığar; kart seçimini hız ve batch boyutu belirler.
- FP8 eğitimi RTX 3090 ve RTX A5000 dışındaki kartlarımızın hepsinde (SM 8.9 ve üzeri) çalışır; MXFP8 ve NVFP4 eğitimi yalnızca B200 sınıfı kartlarda.
- Model sığıyorsa DDP, sığmıyorsa FSDP2 ya da ZeRO-3; NVLink ihtiyacınızı sipariş formunda belirtin.
- Aylık sunucu sürekli deney ve verinin Türkiye'de kalması için mantıklıdır; tek seferlik kısa koşularda saatlik bulut daha ucuz olabilir.

## Kaynaklar

- [Rajbhandari ve ark. (2020): ZeRO: Memory Optimizations Toward Training Trillion Parameter Models](https://arxiv.org/abs/1910.02054)
- [Grattafiori ve ark. (2024): The Llama 3 Herd of Models](https://arxiv.org/abs/2407.21783)
- [NVIDIA: RTX Blackwell GPU Architecture (teknik belge)](https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf)
- [NVIDIA Transformer Engine: FP8 Current Scaling](https://docs.nvidia.com/deeplearning/transformer-engine/features/low_precision_training/fp8_current_scaling/fp8_current_scaling.html)
- [NVIDIA Transformer Engine: MXFP8](https://docs.nvidia.com/deeplearning/transformer-engine/features/low_precision_training/mxfp8/mxfp8.html)
- [PyTorch: Getting Started with Fully Sharded Data Parallel (FSDP2)](https://docs.pytorch.org/tutorials/intermediate/FSDP_tutorial.html)
- [PyTorch 2.14: Distributed Checkpoint](https://docs.pytorch.org/docs/2.14/distributed.checkpoint.html)
- [torchao: Float8 ile eğitim](https://docs.pytorch.org/ao/main/workflows/training.html)
- [Kaplan ve ark. (2020): Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361)
- [NVIDIA H100: teknik özellikler](https://www.nvidia.com/en-us/data-center/h100/)
- [NVIDIA H100 PCIe ürün belgesi (PB-11133)](https://www.nvidia.com/content/dam/en-zz/Solutions/gtcs22/data-center/h100/PB-11133-001_v01.pdf)
- [NVIDIA H200: teknik özellikler](https://www.nvidia.com/en-us/data-center/h200/)
- [NVIDIA L40S: teknik özellikler](https://www.nvidia.com/en-us/data-center/l40s/)
- [NVIDIA GeForce RTX 5090: teknik özellikler](https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/)
- [NVIDIA CUDA Toolkit sürüm notları: sürücü uyumluluğu](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)

Yazılım sürümleri (PyTorch 2.14.1, Transformer Engine 2.20, DeepSpeed 0.19.8, torchtitan 0.3.0) 24 Ekim 2026 tarihine göredir.

## Sık sorulan sorular

**Model eğitimi için GPU sunucu kiralamak aylık ne kadar?**
GPU başına aylık fiyat L40S için $900, RTX PRO 6000 için $1.600, H100 için $2.500 ve H200 için $3.000; en kısa süre 1 aydır ve 8B bir dil modelinin tam eğitimi en az 2 GPU istediği için aylık bedel kart sayısıyla çarpılır. Yıllık kiralamada aylık fiyata %20 indirim uygulanır; örneğin H100 için GPU başına aylık fiyat $2.000 olur. Fiyatlar dolar bazlı ve KDV hariçtir; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir.

**8 GPU'lu bir eğitim sunucusu kiralayabilir miyim, NVLink olur mu?**
Tek siparişte en fazla 8 GPU kiralayabilirsiniz. H100 ve H200 NVLink destekler, ancak belirli bir topoloji vaat etmiyoruz; NVLink ihtiyacınızı sipariş formunda belirtin ve teslimden sonra nvidia-smi topo -m komutuyla bağlantıları kontrol edin.

**PyTorch ve CUDA sunucuda kurulu mu gelir?**
NVIDIA sürücüsü ve CUDA her sunucuda kurulu gelir. JupyterLab fine-tuning paketini seçerseniz CUDA'lı PyTorch, JupyterLab ve eğitim araçları da kurulu teslim edilir; kurulum ücretsizdir. Kendi ortamınızı kurmak isterseniz PyTorch 2.14'te Linux için pip install torch komutu CUDA 13.0 paketini kurar ve 580 veya üzeri bir NVIDIA sürücüsü ister.

**Checkpoint ve veri seti için ne kadar disk gerekir?**
Optimizer durumuyla birlikte bir checkpoint parametre başına yaklaşık 12 bayt tutar; 8B bir model için bu yaklaşık 96 GB'tır. Her 4 GB GPU belleği için 1 CPU çekirdeği ve GPU belleğinin 1,5 katı RAM verilir; 1 TB SSD ve size özel bir IP adresi her siparişe dahildir. Veri seti boyutunu ve saklamak istediğiniz checkpoint sayısını sipariş formuna yazın.

**Eğitim verilerim Türkiye dışına çıkar mı?**
Sunucular İstanbul Bağcılar'daki kendi tesisimizdedir; sunucudaki veriler Türkiye'de kalır ve GPU'lar başka müşterilerle paylaşılmaz. Uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır; bu bilgi hukuki tavsiye değildir.

**Eğittiğim modeli aynı sunucuda servis edebilir miyim?**
Evet; sunucu ay boyunca size ayrıldığı için eğitim bitince aynı kartlarda çıkarım (inference) çalıştırabilirsiniz. Dil modelleri için servis motorlarını ve eşzamanlı istek sayısına göre bellek hesabını LLM inference sayfamızda anlattık.