TensorRT Inference Optimizasyonu: Production Deployment Rehberi

Pipeline

PyTorch/TF → ONNX → TensorRT engine → runtime veya Triton. Dynamic batching QPS'i yükseltir. CUDA optimizasyonu, Docker, 4090 vs L40S, toolkit kurulumu.

Precision sırası: önce FP16 ile SLA'yı yakalayın; yetmezse INT8 + temsilî calibration set (rastgele 10 örnek yetmez). Chat/düşük latency için küçük max batch; offline scoring'de agresif batch. Fiyatı saatlik birimle değil maliyet / 1K istek ile karşılaştırın.

İstanbul L40S ve Ankara L40S düşük gecikmeli serving için uygundur. Kullanıcı kitlesi İstanbul veya Ankara ise endpoint'i ona göre seçin. INT8 için calibration set şart.

Production metrikleri

p95/p99 latency, GPU util, queue depth, $/istek. Chatbot düşük latency; batch raporlama yüksek throughput ister. H100 eğitimden sonra serving'i L40S'e ayırın. Kurumsal SLA.

Örnek komutlar / snippet

# Örnek: ONNX sonrası derleme (sürümler ortamınıza göre değişir)
trtexec --onnx=model.onnx --saveEngine=model.engine --fp16

Türkiye bağlamı ve operasyon

Türkiye'de GPU kiralama kararını yalnızca TFLOPS belirlemez. Veri lokasyonu, şehir gecikmesi, TL fatura, destek dili ve rezervasyon süresi toplam sahip olma deneyimini şekillendirir. Özellikle kişisel veri içeren eğitim ve çıkarım işlerinde KVKK kapsamında verinin yurt içinde işlenmesi beklenir; anonimleştirme tek başına her senaryoda yeterli sayılmaz.

Operasyonel olarak en sık görülen kayıp, GPU'nun kendisinden değil idle sürelerden ve tekrarlanmayan ortamlardan gelir. Driver/CUDA uyumsuzluğu, her instance'ta sıfırdan kurulum ve dataset'i eğitim sırasında ağ üzerinden okumak hem süreyi hem maliyeti şişirir. Container tabanlı imaj, NVMe'ye lokal dataset ve checkpoint disiplini bu kaybı azaltır.

İlgili sayfalar: A10; AI eğitimi; Fiyatlandırma; GPU rehberi.

Pratik kontrol listesi

1. İş yükünü tek cümleyle yazın (eğitim / fine-tuning / inference / render / transcode).
2. VRAM ve throughput için 30–60 dakikalık micro-benchmark planlayın.
3. Saatlik planla başlayıp reserved/aylık modele ancak stabil kullanımda geçin.
4. Spot kullanacaksanız checkpoint ve resume'u önceden test edin.
5. Başarı metriğini (eval, latency p95, images/s, $/1k token) önceden sabitleyin.
6. Idle Jupyter ve unutulan instance'ları otomatik kapatacak alarm kurun.

Sık yapılan hatalar

Benchmark yapmadan en pahalı GPU'ya çıkmak; tek metrikle (yalnızca VRAM veya yalnızca fiyat) karar vermek; production inference'ı eğitim kartıyla uzun süre koşturmak; multi-GPU'ya geçmeden single-GPU optimizasyonunu bitirmemek; veri sınıflandırması yapmadan yurtdışı bölgesine dataset taşımak.

Bir diğer yaygın hata, PoC başarı kriterini tanımsız bırakmaktır. 'Model biraz daha iyi olsun' diye açılan açık uçlu eğitimler, bütçeyi sessizce tüketir. Erken durdurma, eval bütçesi ve maksimum deneme sayısı olmadan fine-tuning işi bitmez; yalnızca fatura büyür.

Sonuç

NVIDIA TensorRT, modeli engine'e derleyerek inference throughput'unu genelde 2–5× artırır. Doğru GPU seçimi, ölçüm ve disiplinli operasyon bir araya geldiğinde hem maliyeti hem teslim süresini kontrol altına alırsınız.

Sonraki adım için ilgili GPU modeli, hizmet ve şehir sayfalarından senaryonuza uygun planı seçin; emin değilseniz saatlik küçük bir deneme ile başlamak genelde en düşük riskli yoldur.

Derinlemesine notlar

Bu yazının ana bölümleri karar için yeterlidir; sahada fark yaratan adım ölçüm ve operasyon disiplinidir. Aynı iş yükünü 2–4 saatlik micro-benchmark ile doğrulayın: throughput, GPU util, OOM ve $/metrik aynı tabloda olsun. Daha büyük karta çıkmadan precision, data loader ve dataset lokalizasyonunu deneyin.

Türkiye'de veri lokasyonu, şehir gecikmesi ve idle kontrolü TCO'yu en az kart seçimi kadar etkiler. Spot yalnızca checkpoint'li batch'te; production inference'da reserved tercih edin. İlgili iç linkler yazının gövdesinde; emin değilseniz saatlik küçük deneme ile başlayın.