Spot GPU ile %60'a Varan Tasarruf: Checkpoint Rehberi

Uygun işler

Batch eğitim, render frame, data preprocessing, hyperparam sweep. Interactive notebook ve tek replica prod API için uygun değil. Multi-GPU spot'ta resume testi şart. Colab ile karıştırmayın (Colab vs GPU); ortamı Docker ile kilitleyin.

Taktikler

Sık checkpoint, object storage'a push, preemption handler, mixed reserved+spot. Fine-tuning maliyeti, startup ipuçları, kiralama vs satın alma, ComfyUI gece batch, H100, A100.

Türkiye bağlamı ve operasyon

Türkiye'de GPU kiralama kararını yalnızca TFLOPS belirlemez. Veri lokasyonu, şehir gecikmesi, TL fatura, destek dili ve rezervasyon süresi toplam sahip olma deneyimini şekillendirir. Özellikle kişisel veri içeren eğitim ve çıkarım işlerinde KVKK kapsamında verinin yurt içinde işlenmesi beklenir; anonimleştirme tek başına her senaryoda yeterli sayılmaz.

Operasyonel olarak en sık görülen kayıp, GPU'nun kendisinden değil idle sürelerden ve tekrarlanmayan ortamlardan gelir. Driver/CUDA uyumsuzluğu, her instance'ta sıfırdan kurulum ve dataset'i eğitim sırasında ağ üzerinden okumak hem süreyi hem maliyeti şişirir. Container tabanlı imaj, NVMe'ye lokal dataset ve checkpoint disiplini bu kaybı azaltır.

İlgili sayfalar: İstanbul; Ankara; İzmir; Fiyatlandırma.

Pratik kontrol listesi

1. İş yükünü tek cümleyle yazın (eğitim / fine-tuning / inference / render / transcode).
2. VRAM ve throughput için 30–60 dakikalık micro-benchmark planlayın.
3. Saatlik planla başlayıp reserved/aylık modele ancak stabil kullanımda geçin.
4. Spot kullanacaksanız checkpoint ve resume'u önceden test edin.
5. Başarı metriğini (eval, latency p95, images/s, $/1k token) önceden sabitleyin.
6. Idle Jupyter ve unutulan instance'ları otomatik kapatacak alarm kurun.

Sık yapılan hatalar

Benchmark yapmadan en pahalı GPU'ya çıkmak; tek metrikle (yalnızca VRAM veya yalnızca fiyat) karar vermek; production inference'ı eğitim kartıyla uzun süre koşturmak; multi-GPU'ya geçmeden single-GPU optimizasyonunu bitirmemek; veri sınıflandırması yapmadan yurtdışı bölgesine dataset taşımak.

Bir diğer yaygın hata, PoC başarı kriterini tanımsız bırakmaktır. 'Model biraz daha iyi olsun' diye açılan açık uçlu eğitimler, bütçeyi sessizce tüketir. Erken durdurma, eval bütçesi ve maksimum deneme sayısı olmadan fine-tuning işi bitmez; yalnızca fatura büyür.

Sonuç

Spot/preemptible GPU; kesintiye toleranslı işlerde belirgin tasarruf sağlar. Doğru GPU seçimi, ölçüm ve disiplinli operasyon bir araya geldiğinde hem maliyeti hem teslim süresini kontrol altına alırsınız.

Sonraki adım için ilgili GPU modeli, hizmet ve şehir sayfalarından senaryonuza uygun planı seçin; emin değilseniz saatlik küçük bir deneme ile başlamak genelde en düşük riskli yoldur.

Derinlemesine notlar

Bu yazının ana bölümleri karar için yeterlidir; sahada fark yaratan adım ölçüm ve operasyon disiplinidir. Aynı iş yükünü 2–4 saatlik micro-benchmark ile doğrulayın: throughput, GPU util, OOM ve $/metrik aynı tabloda olsun. Daha büyük karta çıkmadan precision, data loader ve dataset lokalizasyonunu deneyin.

Türkiye'de veri lokasyonu, şehir gecikmesi ve idle kontrolü TCO'yu en az kart seçimi kadar etkiler. Spot yalnızca checkpoint'li batch'te; production inference'da reserved tercih edin. İlgili iç linkler yazının gövdesinde; emin değilseniz saatlik küçük deneme ile başlayın.