Bulut GPU mu Fiziksel GPU mu? TCO Karar Rehberi

Karşılaştırma boyutları

CapEx/OpEx, tedarik süresi, elektrik/soğutma, bakım, spike kapasitesi, KVKK lokasyonu. On-prem idle de sizin maliyetinizdir; bulutta kapatırsınız. Kur riski ve ithalat on-prem TCO'yu bozar.

H100/A100 kapasitesine bulutta hızlı çıkılır. Startup ipuçları, kurumsal SLA.

Hibrit model

Gece batch bulutta spot; gündüz interactive reserved/on-prem. AI eğitimi, İstanbul, KVKK.

Türkiye bağlamı ve operasyon

Türkiye'de GPU kiralama kararını yalnızca TFLOPS belirlemez. Veri lokasyonu, şehir gecikmesi, TL fatura, destek dili ve rezervasyon süresi toplam sahip olma deneyimini şekillendirir. Özellikle kişisel veri içeren eğitim ve çıkarım işlerinde KVKK kapsamında verinin yurt içinde işlenmesi beklenir; anonimleştirme tek başına her senaryoda yeterli sayılmaz.

Operasyonel olarak en sık görülen kayıp, GPU'nun kendisinden değil idle sürelerden ve tekrarlanmayan ortamlardan gelir. Driver/CUDA uyumsuzluğu, her instance'ta sıfırdan kurulum ve dataset'i eğitim sırasında ağ üzerinden okumak hem süreyi hem maliyeti şişirir. Container tabanlı imaj, NVMe'ye lokal dataset ve checkpoint disiplini bu kaybı azaltır.

İlgili sayfalar: Fiyatlandırma; Inference; Bursa; GPU rehberi.

Pratik kontrol listesi

1. İş yükünü tek cümleyle yazın (eğitim / fine-tuning / inference / render / transcode).
2. VRAM ve throughput için 30–60 dakikalık micro-benchmark planlayın.
3. Saatlik planla başlayıp reserved/aylık modele ancak stabil kullanımda geçin.
4. Spot kullanacaksanız checkpoint ve resume'u önceden test edin.
5. Başarı metriğini (eval, latency p95, images/s, $/1k token) önceden sabitleyin.
6. Idle Jupyter ve unutulan instance'ları otomatik kapatacak alarm kurun.

Sık yapılan hatalar

Benchmark yapmadan en pahalı GPU'ya çıkmak; tek metrikle (yalnızca VRAM veya yalnızca fiyat) karar vermek; production inference'ı eğitim kartıyla uzun süre koşturmak; multi-GPU'ya geçmeden single-GPU optimizasyonunu bitirmemek; veri sınıflandırması yapmadan yurtdışı bölgesine dataset taşımak.

Bir diğer yaygın hata, PoC başarı kriterini tanımsız bırakmaktır. 'Model biraz daha iyi olsun' diye açılan açık uçlu eğitimler, bütçeyi sessizce tüketir. Erken durdurma, eval bütçesi ve maksimum deneme sayısı olmadan fine-tuning işi bitmez; yalnızca fatura büyür.

Sonuç

Bulut GPU esneklik ve hız; fiziksel GPU uzun süreli yüksek kullanımda birim maliyeti düşürebilir. Doğru GPU seçimi, ölçüm ve disiplinli operasyon bir araya geldiğinde hem maliyeti hem teslim süresini kontrol altına alırsınız.

Sonraki adım için ilgili GPU modeli, hizmet ve şehir sayfalarından senaryonuza uygun planı seçin; emin değilseniz saatlik küçük bir deneme ile başlamak genelde en düşük riskli yoldur.

Derinlemesine notlar

Bu yazının ana bölümleri karar için yeterlidir; sahada fark yaratan adım ölçüm ve operasyon disiplinidir. Aynı iş yükünü 2–4 saatlik micro-benchmark ile doğrulayın: throughput, GPU util, OOM ve $/metrik aynı tabloda olsun. Daha büyük karta çıkmadan precision, data loader ve dataset lokalizasyonunu deneyin.

Türkiye'de veri lokasyonu, şehir gecikmesi ve idle kontrolü TCO'yu en az kart seçimi kadar etkiler. Spot yalnızca checkpoint'li batch'te; production inference'da reserved tercih edin. İlgili iç linkler yazının gövdesinde; emin değilseniz saatlik küçük deneme ile başlayın.