Spot GPU (Spot Instance) Nedir, Ne Kadar Ucuz? Kesintili Sunucu Rehberi (2026)

Spot GPU (spot instance) nedir?

Spot (kesintili) GPU, bulut sağlayıcısının boşta kalan GPU kapasitesini büyük indirimle kiralamaktır; AWS'de spot instance, Google Cloud ve Azure'da Spot VM adıyla satılır. AWS normal (on-demand) fiyata göre %90'a, Google Cloud %91'e varan indirim duyuruyor. Karşılığında sağlayıcı makineyi kısa bir uyarıyla geri alabilir: AWS'de 2 dakika, Azure'da 30 saniye, Google Cloud'da varsayılan ayarla en fazla 30 saniye.

Spot şu işler için idealdir:

• Kaldığı yerden devam edebilen (checkpoint alan) eğitimler.
• Toplu çıkarım (batch inference).
• Hiperparametre taramaları.

7/24 çalışması gereken servisler ve teslim tarihi kesin işler için uygun değildir. Biz spot sunucu kiralamıyoruz; aylık kiralanan, size ayrılmış (paylaşımsız) bir sunucu bu yelpazenin öbür ucundadır: sunucu başka bir müşteri için sizden geri alınmaz, ücreti de arz ve talebe göre dalgalanmaz.

Spot GPU nasıl çalışır? AWS, Google Cloud ve Azure koşulları

Bulut sağlayıcıları, kullanılmayan kapasiteyi boş bırakmak yerine indirimli satar. O kapasiteye normal fiyatla ödeme yapan bir müşteri ihtiyaç duyduğunda spot makineniz kapatılır. Ekim 2026 itibarıyla resmi belgelerdeki koşullar şöyle:

Azure, spot makineler için SLA vermediğini açıkça belirtir; fiyat, sizin belirlediğiniz azami fiyatı aştığında da makineyi geri alır.

İki önemli ayrıntı:

• Fiyat sabit değildir. Spot fiyatları arz ve talebe göre değişir.
• Kapasite garanti değildir. H100 gibi çok aranan GPU'larda spot kapasite bulmak zaman zaman zordur. Bulsanız bile ne kadar süre çalışacağı belli değildir.

Spot, on-demand ve rezerve kapasite arasındaki fark nedir?

Büyük bulutlar aynı GPU'lu makineyi üç farklı şekilde satar; aylık kiralanan sunucu dördüncü bir yoldur:

Bu seçenekler arasında en büyük indirimi spot verir, ama en az öngörülebilir olan da odur.

Hangi işler spot'a uygun?

Kural basit: Yarıda kesilen işin maliyeti, indirimden küçükse spot kazandırır.

Kesintiye dayanıklı eğitim nasıl kurulur?

Kesintiye dayanıklı bir eğitimin üç parçası var: düzenli checkpoint, kesinti uyarısını yakalamak ve kaldığı yerden otomatik devam etmek.

1. Düzenli checkpoint alın ve kalıcı bir yere yazın. Makinenin yerel diski kesintiyle birlikte gidebilir. Checkpoint'leri nesne depolamaya ya da kalıcı bir diske yazın; model ağırlıklarının yanında optimizer durumunu, adım sayısını ve rastgelelik tohumlarını da saklayın. Checkpoint sıklığını, kaybetmeyi göze alabileceğiniz süreye göre seçin (ör. 15–30 dakikada bir).

2. Kesinti uyarısını yakalayın. AWS'de uyarı, makinenin meta veri servisinde görünür. Bir kesinti planlanmadıysa adres 404 döner:

TOKEN=$(curl -s -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600")
curl -s -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/spot/instance-action

AWS bu adresi 5 saniyede bir kontrol etmenizi öneriyor; aynı uyarı Amazon EventBridge'e de olay olarak düşer.

Google Cloud'da aynı bilgi şu adresten okunur ve kesinti başladığında TRUE döner. Sondaki wait_for_change=true parametresi, isteğin değer değişene kadar beklemesini sağlar:

curl -s "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"

Varsayılan ayarda bu bildirimle kapanma sinyali arasında ayrıca süre tanınmaz. Daha uzun bir pay gerekiyorsa Spot VM'i oluştururken --preemption-notice-duration=120s seçeneğiyle 120 saniyelik bildirim süresi tanımlayın.

Azure'da uyarı, Scheduled Events servisinde Preempt türünde bir olay olarak yaklaşık 30 saniye önce görünür. Microsoft bu adresi saniyede bir sorgulamayı öneriyor:

curl -s -H Metadata:true "http://169.254.169.254/metadata/scheduledevents?api-version=2020-07-01"

Kapanma sırasında işletim sistemi süreçlere SIGTERM gönderir. Eğitim betiğinizde bu sinyali yakalayıp son bir checkpoint almak, birkaç dakikalık işi kurtarır:

import signal
import sys

def save_and_exit(signum, frame):
    save_checkpoint()  # model, optimizer, adım sayısı
    sys.exit(0)

signal.signal(signal.SIGTERM, save_and_exit)

3. Kaldığı yerden otomatik devam edin. Betik açılışta en son checkpoint'i bulup yüklemeli. Çok GPU'lu eğitimlerde PyTorch'un torchrun aracı, --max-restarts seçeneğiyle hata durumunda süreçleri yeniden başlatabilir. Yeni makinenin kendiliğinden açılması için sağlayıcının otomatik ölçeklendirme ya da yönetilen iş kuyruğu (batch) özelliklerini kullanın.

Aynı düzen, en fazla 12 saat çalışabilen Google Colab oturumları için de geçerlidir.

Spot gerçekte ne kadar kazandırır?

Etiketteki indirim brüt kazançtır. Net kazanç, aşağıdaki kalemler düşüldükten sonra kalan kısımdır:

• Kayıp hesaplama: Son checkpoint'ten kesintiye kadar yapılan iş boşa gider.
• Yeniden başlama süresi: Yeni makineyi beklemek, ortamı kurmak, veriyi yeniden indirmek.
• Mühendislik emeği: Checkpoint, otomatik devam ve izleme altyapısını kurmak ve bakımını yapmak.
• Kapasite belirsizliği: Spot kapasite bulunamadığında işin ertelenmesi.

Kısa, bağımsız ve kolay tekrarlanan işlerde bu kalemler küçüktür; spot ciddi tasarruf sağlar. Günlerce süren tek parça eğitimlerde ya da kullanıcıya hizmet veren servislerde maliyet, indirimi hızla geçebilir.

Kaba bir hesap için: hesaplama maliyeti ≈ (1 − spot indirimi) × (1 + yeniden çalıştırılan iş oranı). Varsayımsal bir örnek: %70 indirimli bir spot makinede kesintiler yüzünden işin %20'si yeniden çalıştırılırsa maliyet, normal fiyatın 0,30 × 1,20 = %36'sı olur. Yani etiketteki %70 tasarruf, bekleme süresi ve mühendislik emeği eklenmeden önce %64'e iner.

Spot mu, aylık sunucu mu, ikisi birden mi?

Pek çok ekip için en verimli yol, iki modeli birlikte kullanmaktır:

Maliyet karşılaştırmasının tamamı için bulut GPU ile fiziksel GPU karşılaştırmamıza ve kiralama ile satın alma hesabımıza bakabilirsiniz.

Bizde nasıl?

Spot ya da saatlik kiralama sunmuyoruz. Sunduğumuz şey, Bağcılar, İstanbul'daki kendi tesisimizde çalışan, ekran kartları dahil tüm kaynakları yalnızca size ayrılan (paylaşımsız) GPU sunucularının en az bir aylığına kiralanmasıdır; verileriniz Türkiye'de kalır. Sunucu, kiralama süresince başka bir müşteri için sizden geri alınmaz. Donanım arızası her sunucuda olabileceği için uzun eğitimlerde checkpoint almayı burada da sürdürün.

Ana iş yükünüzü aylık bir sunucuda tutup ani ihtiyaçlar için spot kapasite kullanabilirsiniz. Örneğin L40S aylık $900 (7/24 kullanımda saatlik karşılığı $1,23), RTX PRO 6000 Blackwell aylık $1.600. Fiyatlar GPU başına, ABD doları cinsinden ve KDV hariçtir; fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir. Yıllık kiralamada %20 indirim uygulanır; tek siparişte en fazla 8 GPU kiralanabilir. Uzun eğitimlerde checkpoint ve kart sayısı planı için model eğitimi hizmet sayfamıza bakın.

Özet

• Spot GPU, bulutun boş kapasitesini %90'a varan indirimle kullanmaktır; makine kısa bir uyarıyla geri alınabilir.
• Uyarı süreleri kısadır: AWS'de 2 dakika, Azure'da 30 saniye, Google Cloud'da varsayılan olarak en fazla 30 saniyelik kapanma süresi (makine oluşturulurken seçilen 120 saniyelik bildirimle daha uzun).
• Checkpoint alan eğitimler, toplu çıkarım ve taramalar için idealdir; 7/24 servisler için uygun değildir.
• Net kazanç; kayıp hesaplama, yeniden başlama ve mühendislik emeği düşüldükten sonra hesaplanmalıdır.
• En verimli yol çoğu zaman hibrittir: ana iş yükü size ayrılmış, geri alınmayan bir sunucuda, ani yükler spot kapasitede.

Kaynaklar

• AWS: Amazon EC2 Spot Instances
• AWS: Spot Instance interruption notices
• AWS: Behavior of Spot Instance interruptions
• AWS: Spot Instance Advisor
• AWS: Savings Plans pricing
• AWS: Amazon EC2 Reserved Instances
• Google Cloud: Spot VMs
• Google Cloud: Create and use Spot VMs
• Google Cloud: Preemptible VM instances
• Google Cloud: Committed use discounts
• Microsoft Azure: Azure Spot Virtual Machines
• Microsoft Azure: Scheduled Events for Linux VMs
• Microsoft Azure: Reserved Virtual Machine Instances
• PyTorch: torchrun (Elastic Launch)
• Google Colab: Sık sorulan sorular