# LLM inference sunucusu kiralama: vLLM, SGLang ve Ollama için GPU

- Adres: https://gpukiralama.com.tr/hizmetler/inference/
- Önerilen GPU'lar (GPU başına, aylık, KDV hariç):
  - [NVIDIA RTX PRO 6000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-6000/): $1.600/ay. 96 GB: Qwen3 32B FP8 32 eşzamanlı istekte 69,8 GB ile tek kartta; MIG ile 4 ayrı servis
  - [NVIDIA H200](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h200/): $3.000/ay. 141 GB, 4,8 TB/s: Llama 3.3 70B FP8 32 eşzamanlı istekte 118,1 GB ile tek kartta
  - [NVIDIA L40S](https://gpukiralama.com.tr/gpu-modelleri/nvidia-l40s/): $900/ay. 48 GB ECC: Qwen3 14B FP8 32 istekte 38 GB, Mistral Small 3.2 24B FP8 16 istekte 36,9 GB
  - [NVIDIA RTX PRO 5000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-5000/): $800/ay. 48 GB ECC, 1.344 GB/s: Qwen3 14B FP8 32 istekte 38 GB; FP4 çıkarım ve MIG ile 2 × 24 GB
  - [NVIDIA GeForce RTX 5090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-5090/): $600/ay. 32 GB, 1.792 GB/s: 8–14B FP8 modellerle 16 eşzamanlı isteğe kadar hızlı API; ECC ve MIG yok
  - [NVIDIA GeForce RTX 3090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-3090/): $300/ay. 24 GB ve 936 GB/s ile 8B modeller BF16'da, 24B modeller 4-bit ile; küçük API'ler için

Kendi uygulamanıza OpenAI uyumlu bir LLM API'si kurmak için aylık kiralık, paylaşımsız GPU sunucu: model belleği, eşzamanlı istek, nicemleme ve vLLM, SGLang ya da Ollama seçimi. Veriler İstanbul'daki kendi tesisimizde, Türkiye'de kalır.

## LLM sunucusu kiralamak ne demek?

LLM sunucusu, açık ağırlıklı bir dil modelini vLLM, SGLang ya da Ollama ile çalıştırıp uygulamanıza OpenAI uyumlu bir API olarak sunan GPU sunucusudur. Bu sunucuyu aylık ve paylaşımsız olarak, İstanbul Bağcılar'daki kendi tesisimizde kiralıyoruz; veriler Türkiye'de kalır. FP8 ve 16 eşzamanlı istekte 8–14B modellere RTX 5090, 24–32B modellere 96 GB'lık [RTX PRO 6000](/gpu-modelleri/nvidia-rtx-pro-6000/), 70B sınıfına 141 GB'lık H200 yeter.

Kapasiteyi üç etken belirler: modelin ve KV önbelleğinin belleğe sığması, tek isteğin hızını sınırlayan bellek bant genişliği ve aynı anda işlenecek istek sayısı. Örneğin Qwen3 32B, FP8 ağırlık ve FP8 KV önbelleğiyle, 8.192 token bağlamda 32 eşzamanlı istekte 69,8 GB'la tek RTX PRO 6000'e sığar; 70B sınıfı bir modeli aynı yükte tek kartta sunmak için H200 gerekir. Servis motoru olarak çoğu ekip için vLLM iyi bir başlangıçtır; geliştirme ve tek kullanıcı için Ollama yeterlidir.

- **8–14B modeller, 16 eşzamanlı isteğe kadar:** [RTX 5090](/gpu-modelleri/nvidia-rtx-5090/) (32 GB), aylık $600. 32 istek ya da ECC'li bellek gerekiyorsa [L40S](/gpu-modelleri/nvidia-l40s/) (48 GB), aylık $900.
- **24–32B modeller ve gpt-oss-120b:** RTX PRO 6000 (96 GB), aylık $1.600.
- **Llama 3.3 70B FP8, 16–32 eşzamanlı istek:** [H200](/gpu-modelleri/nvidia-h200/) (141 GB), aylık $3.000.
- Fiyatlar GPU başına, aylık, ABD doları cinsinden ve KDV hariçtir; yıllık kiralamada %20 indirim uygulanır.

## Inference hızını ve kapasitesini ne belirler?

Model önce belleğe sığmalı; sığdıktan sonra tek isteğin hızını bant genişliği, aynı anda kaç isteğe hizmet verebileceğinizi ise KV önbelleğine kalan bellek belirler.

- **Bellek:** Ağırlıklar BF16'da parametre başına 2, FP8'de 1, 4-bit'te yaklaşık 0,5 bayt tutar. Llama 3.3 70B'nin FP8 ağırlıkları yaklaşık 70 GB'tır.
- **Bant genişliği:** Her yeni token için ağırlıklar bellekten yeniden okunur. Tek istekteki hızın teorik üst sınırı yaklaşık "bant genişliği ÷ ağırlık boyutu"dur: 70 GB'lık bir model için H200'de (4,8 TB/s) saniyede ~68, RTX PRO 6000'de (1,6–1,8 TB/s) ~23–26 token. Gerçek değerler bu sınırın altında kalır.
- **KV önbelleği:** Dikkat (attention) önbelleğinin toplam boyutu, bağlam uzunluğu ve eşzamanlı istek sayısıyla doğrusal büyür. Bağlamı 8.192'den 32.768 tokena çıkarmak KV önbelleğini dört katına çıkarır.

Eşzamanlı isteklerde toplam verim, tek isteğin hızının çok üzerine çıkar; çünkü motor istekleri aynı adımda birlikte işler (continuous batching). Gerçek kapasiteyi, ilk tokena kadar geçen süreyi (TTFT) ve token başına süreyi farklı eşzamanlılık düzeylerinde ölçerek bulursunuz. Yöntemi [LLM inference optimizasyonu rehberimizde](/blog/tensorrt-inference-optimizasyonu/) anlattık.

## Kendi LLM API'niz için kaç GB VRAM gerekir?

FP8'de 14B bir model 16 eşzamanlı istekte yaklaşık 27 GB, 70B bir model yaklaşık 97 GB ister. Değerler [VRAM hesaplayıcımızla](/araclar/vram-hesaplayici/) hesaplandı: 8.192 token bağlam, FP8 KV önbelleği; kartın belleğinin %92'si kullanılabilir sayıldı.

| Model ve biçim | 16 istek | 32 istek | En ekonomik seçenek |
|---|---|---|---|
| gpt-oss-20b (MoE), 4-bit | 15,0 GB | 16,6 GB | RTX PRO 4000 (672 GB/s), RTX 5090 (1.792 GB/s) |
| Qwen3 14B, FP8 | 27,3 GB | 38,0 GB | 16 istek: RTX 5090; 32 istek: RTX PRO 5000 ya da L40S |
| Mistral Small 3.2 24B, FP8 | 36,9 GB | 47,7 GB | 16 istek: RTX PRO 5000 ya da L40S; 32 istek: RTX PRO 6000 |
| Qwen3 30B-A3B (MoE), FP8 | 39,5 GB | 45,9 GB | 16 istek: RTX PRO 5000 ya da L40S; 32 istek: RTX PRO 6000 |
| Qwen3 32B, FP8 | 52,6 GB | 69,8 GB | RTX PRO 6000 |
| gpt-oss-120b (MoE), 4-bit | 72,4 GB | 74,9 GB | RTX PRO 6000 |
| Llama 3.3 70B, FP8 | 96,6 GB | 118,1 GB | H200 (ya da 2 × RTX PRO 6000) |
| Qwen3 235B-A22B (MoE), FP8 | 260,4 GB | 273,0 GB | 4 × RTX PRO 6000 (H100 ve H200'de de 4 kart) |

Tablodaki "istek", aynı anda yanıt üretilen istektir; kayıtlı kullanıcı sayısı değildir. Üç not:

- Değerler her isteğin 8.192 tokenı tam doldurduğu durum içindir. vLLM KV önbelleğini sayfa sayfa ayırdığından kısa sohbetlerde aynı kart daha çok isteği taşır.
- gpt-oss modellerinde KV önbelleği küçüktür (120b'de 32 istekte 4,9 GB); eşzamanlılık belleği az etkiler.
- Qwen3.5 ve Qwen3.6'nın 27B modellerinde 64 katmanın yalnızca 16'sı KV önbelleği tutan tam dikkat katmanıdır, kalanlar doğrusal dikkat (Gated DeltaNet) kullanır. Bu modellerde KV önbelleği, tablodaki klasik mimarili modellere göre belirgin şekilde küçüktür.

## LLM inference için hangi GPU kiralanmalı?

Seçimi önce belleğe, sonra bant genişliğine göre yapın.

| İş yükü | Önerilen GPU | Neden | Aylık fiyat |
|---|---|---|---|
| Geliştirme, test, küçük modeller | RTX PRO 4000 | 24 GB ECC; 672 GB/s ile yoğun üretimde RTX 5090'ın gerisinde kalır | $450 |
| 8–14B modellerle hızlı API | RTX 5090 | 1.792 GB/s; MIG yok | $600 |
| 14–30B modeller, 7/24 servis | [RTX PRO 5000](/gpu-modelleri/nvidia-rtx-pro-5000/) ya da L40S | 48 GB ECC'li bellek; RTX PRO 5000'de 1.344 GB/s ve MIG ile 2 × 24 GB, L40S'te daha yüksek FP8 işlem gücü | $800 / $900 |
| 32B sınıfı modeller, tek kartta birden çok servis | RTX PRO 6000 | 96 GB, FP4, MIG ile 4 bölüme kadar | $1.600 |
| Modeli tensor paralellikle birkaç karta bölmek | [H100](/gpu-modelleri/nvidia-h100/) | 80 GB HBM; NVLink ihtiyacını siparişte belirtin | $2.500 |
| 70B sınıfı, yüksek eşzamanlılık, uzun bağlam | H200 | 141 GB, 4,8 TB/s | $3.000 |

RTX 5090 ile RTX PRO 6000 arasındaki farkları [karşılaştırma sayfamızda](/karsilastirma/rtx-5090-vs-rtx-pro-6000/), H100 ile farkları [RTX PRO 6000 ve H100 karşılaştırmasında](/karsilastirma/rtx-pro-6000-vs-h100/) bulabilirsiniz.

**Ne zaman H200?** Llama 3.3 70B FP8 tek istekte 76,5 GB'la RTX PRO 6000'e sığar, ama 16 eşzamanlı istekte 96,6 GB'a çıkar ve iki kart ister. H200 aynı modeli 32 isteğe kadar tek kartta taşır; bant genişliği de RTX PRO 6000'in 2,7–3 katıdır. Uzun bağlamın sınırı H200'de de vardır: 32.768 tokenda 16 isteğin KV önbelleği yaklaşık 86 GB'a çıkar ve toplam ihtiyaç, tek H200'ün kullanılabilir belleğini (yaklaşık 129,7 GB) aşar. H100 ile H200 arasındaki bellek ve bant genişliği farkını [H100 ve H200 karşılaştırmamızda](/karsilastirma/h100-vs-h200/) anlattık.

## Sunucuda hangi servis motorunu çalıştırmalısınız?

Ekim 2026 itibarıyla eşzamanlı kullanıcıya hizmet veren bir API için vLLM ya da SGLang, NVIDIA'ya özgü optimizasyonlar için TensorRT-LLM, geliştirme ve tek kullanıcı için Ollama ya da llama.cpp uygundur. Beşi de OpenAI uyumlu bir API (`/v1/chat/completions`) sunar; uygulamanızda yalnızca taban adresini (base URL) değiştirerek motor ya da model değiştirebilirsiniz.

**vLLM mi, Ollama mı?** Ollama her model için varsayılan olarak aynı anda tek bir isteği işler (`OLLAMA_NUM_PARALLEL=1`), diğerleri kuyrukta bekler; vLLM ise sayfalı KV önbelleği (PagedAttention) ve sürekli gruplamayla onlarca isteği aynı anda işler. Motorların sürümlerini, başlatma komutlarını ve hangi nicemlemenin hangi kartta çalıştığını [vLLM, SGLang ve TensorRT-LLM karşılaştırmamızda](/blog/tensorrt-inference-optimizasyonu/) topladık.

**Nicemleme:** FP8 altı kartımızın hepsinde çalışır ve ağırlık belleğini BF16'ya göre yarıya indirir; NVFP4 ise yalnızca Blackwell kartlarda (RTX PRO 6000, RTX 5090) yereldir. 4-bit'te Llama 3.3 70B tek istekte 45,4 GB'la tek H100'e sığar; kalite kaybını kendi değerlendirme setinizle ölçün. Yukarıdaki VRAM tablosu FP8 KV önbelleğiyle (`--kv-cache-dtype fp8`) hesaplandı; bu ayar KV belleğini BF16'ya göre yarıya indirir.

**Docker:** vLLM (`vllm/vllm-openai`) ve Ollama (`ollama/ollama`) resmi Docker imajlarıyla da çalışır; konteynere GPU vermek için önce [NVIDIA Container Toolkit kurulumunu](/blog/docker-nvidia-container-toolkit-kurulum/) yapın. Docker yayınlanan portu varsayılan olarak tüm ağ arayüzlerine açar; API'yi ters vekil sunucunun arkasına alana kadar `-p 127.0.0.1:8000:8000` biçimini kullanın.

**Hugging Face TGI:** Text Generation Inference bakım moduna alındı ve deposu 21 Mart 2026'da arşivlendi. README'si bunun yerine vLLM ve SGLang'ı öneriyor; yeni bir projeye TGI ile başlamayın.

## Birden fazla GPU ve MIG ile nasıl ölçeklersiniz?

Model tek karta sığıyorsa her GPU'da ayrı bir kopya çalıştırıp istekleri dağıtın; sığmıyorsa modeli kartlara bölün.

- **GPU başına bir kopya:** GPU'lar arası iletişim yoktur, NVLink gerekmez; önüne bir yük dengeleyici koymanız yeter.
- **Tensor paralellik (`--tensor-parallel-size`):** Modeli her katmanda böler ve her adımda iletişim ister; kartlar NVLink ile bağlıyken verimlidir. H100 ve H200'de NVLink bağlantısı kartın sürümüne ve sunucu yapılandırmasına bağlıdır; belirli bir topolojiyi garanti etmiyoruz, ihtiyacınızı [sipariş formunda](/siparis/) belirtin.
- **Pipeline paralellik (`--pipeline-parallel-size`):** vLLM belgeleri NVLink'siz kartlarda (örnek olarak L40S verilir) tensor paralellik yerine bunu önerir. RTX PRO 6000, RTX PRO 5000, RTX 5090 ve L40S'te NVLink yoktur.
- **Üst sınır:** Tek siparişte en fazla 8 GPU kiralanabilir. DeepSeek V3/R1 FP8'de 706,1 GB'la 8 H200 ister. Ayrıntılar [multi-GPU ve NVLink rehberimizde](/blog/multi-gpu-nvlink-kiralama-rehberi/).

MIG (Multi-Instance GPU), RTX PRO 6000, RTX PRO 5000, H100 ve H200'ü donanım düzeyinde yalıtılmış bölümlere ayırır. Her bölüm ayrı bir GPU gibi görünür ve vLLM sürecine `CUDA_VISIBLE_DEVICES=MIG-<UUID>` ile verilir.

| Kart | Örnek MIG düzenleri | Bir bölüme sığan örnek (16 istek, 8.192 token) |
|---|---|---|
| RTX PRO 6000 | 4 × 24 GB, 2 × 48 GB | 24 GB: gpt-oss-20b (15,0 GB); 48 GB: Mistral Small 3.2 24B FP8 (36,9 GB) |
| RTX PRO 5000 | 2 × 24 GB | 24 GB: gpt-oss-20b (15,0 GB) |
| H100 | 7 × 10 GB, 3 × 20 GB, 2 × 40 GB | 40 GB: Qwen3 14B FP8 (27,3 GB) |
| H200 | 7 × 18 GB, 3 × 35 GB, 2 × 71 GB | 71 GB: Qwen3 32B FP8 (52,6 GB) |

Sığma hesabında bölüm belleğinin %92'si kullanılabilir sayıldı; MIG düzenini sipariş sırasında belirtin. Aynı temel model üzerinde ince ayarlı birden çok LoRA adaptörünü de tek kopyada sunabilirsiniz (`--enable-lora --lora-modules ad=yol`); istemci adaptörü `model` alanıyla seçer. İnce ayar tarafı için [LLM fine-tuning hizmetimize](/hizmetler/llm-fine-tuning/) bakın.

## Kendi LLM sunucunuzu kiralamak ne zaman mantıklı?

API'niz her gün ve günün büyük bölümünde trafik alıyorsa mantıklıdır; ayda birkaç saatlik denemeler için değil.

Mantıklı olduğu durumlar:

- **Sürekli trafik:** Aylık sabit fiyatta token başına ücret yoktur; kart dolana kadar fatura trafikle değişmez.
- **Verinin Türkiye'de kalması:** İstemler ve yanıtlar İstanbul Bağcılar'daki kendi tesisimizde, size ayrılmış GPU'da işlenir. Kişisel veri içeren istemleri yurt dışındaki bir API'ye göndermek KVKK'ya göre yurt dışına aktarımdır ([KVKK ve GPU kiralama rehberi](/blog/kvkk-gpu-kiralama-turkiye/)); uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır.
- **Öngörülebilir bütçe:** Fatura, düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir.

Mantıklı olmadığı durumlar:

- **Ara sıra kullanım:** RTX PRO 6000'in aylık fiyatının saatlik karşılığı $2,19. Bunu saatlik bulut fiyatlarıyla karşılaştırın; kartı ayda yalnızca birkaç saat ya da birkaç gün kullanacaksanız [saatlik bulut GPU](/blog/cloud-gpu-vs-fiziksel-gpu/) daha ucuz olabilir.
- **Çok dalgalı trafik:** Saatlik kiralama ve otomatik ölçekleme sunmuyoruz; kapasiteyi en yoğun saate göre planlamanız gerekir.
- **En zor görevler:** En güçlü kapalı modeller (API'ler) karmaşık akıl yürütme ve kod gibi işlerde açık modellerden daha iyi sonuç verebilir; kendi değerlendirme setinizle karşılaştırın.

Şirket belgeleriyle çalışan bir asistan (RAG) kuruyorsanız [kurumsal yapay zeka](/hizmetler/kurumsal-yapay-zeka/) sayfamıza bakın.

## Özet

- Önce belleği hesaplayın: 8.192 token ve FP8 KV önbelleğiyle Qwen3 32B 32 istekte 69,8 GB, Llama 3.3 70B 16–32 istekte 96,6–118,1 GB ister.
- Tek isteğin hızını bant genişliği sınırlar: 70 GB'lık bir modelde teorik üst sınır H200'de ~68, RTX PRO 6000'de ~23–26 token/s.
- Üretim API'si için vLLM ya da SGLang, geliştirme için Ollama kullanın; TGI arşivlendi.
- Sığan modeli her GPU'da kopyalayın, sığmayanı bölün; NVLink'siz kartlarda pipeline paralellik, tek kartta birden çok model için MIG.
- Aylık sunucu 7/24 trafik ve Türkiye'de kalması gereken veri için uygundur; ara sıra kullanımda saatlik bulut daha ucuz olabilir.

## Kaynaklar

- [vLLM: Quickstart](https://docs.vllm.ai/en/latest/getting_started/quickstart.html)
- [vLLM: Parallelism and Scaling](https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html)
- [SGLang: Sending Requests](https://docs.sglang.io/basic_usage/send_request.html)
- [TensorRT-LLM: trtllm-serve](https://nvidia.github.io/TensorRT-LLM/commands/trtllm-serve/trtllm-serve.html)
- [Ollama: FAQ](https://docs.ollama.com/faq)
- [Ollama: Authentication](https://docs.ollama.com/api/authentication)
- [Ollama: Docker](https://docs.ollama.com/docker)
- [Ollama: Hardware support (GPU)](https://docs.ollama.com/gpu)
- [vLLM: Using Docker](https://docs.vllm.ai/en/latest/deployment/docker.html)
- [Docker: Port publishing and mapping](https://docs.docker.com/engine/network/port-publishing/)
- [Hugging Face: text-generation-inference deposu](https://github.com/huggingface/text-generation-inference)
- [NVIDIA MIG User Guide: Supported MIG Profiles](https://docs.nvidia.com/datacenter/tesla/mig-user-guide/latest/supported-mig-profiles.html)
- [NVIDIA MIG User Guide: Supported GPUs](https://docs.nvidia.com/datacenter/tesla/mig-user-guide/latest/supported-gpus.html)
- [Qwen3.6-27B-FP8 model kartı](https://huggingface.co/Qwen/Qwen3.6-27B-FP8)

## Sık sorulan sorular

**LLM sunucusu kiralamak aylık ne kadar?**
GPU başına aylık sabit fiyat ödersiniz; token ya da istek başına ücret yoktur. Örneğin RTX 5090 aylık $600, RTX PRO 6000 aylık $1.600, H200 aylık $3.000 (KDV hariç); yıllık kiralamada %20 indirim uygulanır. Fiyatlar ABD doları cinsindendir, fatura düzenlendiği günkü TCMB döviz satış kuruyla Türk lirası olarak kesilir.

**LLM API'm için trafiğe göre otomatik ölçekleme var mı?**
Hayır. Sunucuları en az 1 aylık kiralıyoruz ve GPU yalnızca size ayrılır; trafiğe göre açılıp kapanan GPU sunmadığımız için kapasiteyi en yoğun saate göre planlayın. Trafiğiniz çok dalgalıysa ya da GPU'yu ayda yalnızca birkaç saat kullanacaksanız saatlik bir bulut daha ucuz olabilir; farkları bulut GPU ile fiziksel GPU sunucusu rehberimizde anlattık.

**vLLM'i ya da Ollama'yı sunucuya siz mi kuruyorsunuz?**
İsterseniz evet. Sipariş formunda Ollama + Open WebUI ya da vLLM OpenAI API paketini seçerseniz yazılım ve modeller kurulu, HTTPS ve şifreyle erişilebilir halde teslim edilir; kurulum ücretsizdir ve aylık ek bedeli yoktur. Paket seçmezseniz yazılımı siz kurar ve işletirsiniz; kurulum ve kullanım sorularınızı Türkçe olarak doğrudan sunucuları işleten ekibe sorabilirsiniz.

**Bir modeli birden fazla GPU'ya bölebilir miyim, NVLink var mı?**
Evet. Tek siparişte en fazla 8 GPU kiralayabilir ve modeli vLLM'in tensor ya da pipeline paralelliğiyle bölebilirsiniz. RTX PRO 6000, RTX PRO 5000, RTX 5090 ve L40S'te NVLink yoktur; H100 ve H200'de NVLink bağlantısı kartın sürümüne ve sunucu yapılandırmasına bağlı olduğundan belirli bir topolojiyi garanti etmiyoruz, ihtiyacınızı sipariş formunda belirtin.

**LLM API'mi internete güvenli şekilde nasıl açarım?**
vLLM'i --api-key seçeneği ya da VLLM_API_KEY değişkeniyle anahtar doğrulamalı başlatın ve portu doğrudan açmak yerine TLS'li bir ters vekil sunucu ya da VPN arkasına alın. Ollama'nın yerel sunucusu API anahtarını doğrulamaz; onu internete açmayın.

**Kullanıcıların istemleri ve yanıtları nerede işlenir?**
Sunucular İstanbul Bağcılar'daki kendi tesisimizdedir; istemler, yanıtlar ve model dosyaları Türkiye'de kalır ve GPU başka müşterilerle paylaşılmaz. KVKK açısından uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır.

**İnce ayarlı LoRA modellerimi aynı sunucuda sunabilir miyim?**
Evet. vLLM tek bir temel modelin üzerinde birden çok LoRA adaptörünü --enable-lora ve --lora-modules seçenekleriyle sunar; istemci hangi adaptörü kullanacağını istekteki model alanıyla seçer.

**Ollama'yı uzak bir GPU sunucusunda çalıştırabilir miyim?**
Evet; Ollama Linux'ta NVIDIA GPU'ları kullanır ve kiralık bir sunucuda geliştirme, tek kullanıcı ya da küçük ekip içi araçlar için yeterlidir. Doğrudan kurulduğunda yalnızca 127.0.0.1:11434 adresini dinler ve bu yerel API kimlik doğrulaması istemez; kendi bilgisayarınızdan SSH tüneliyle bağlanın ya da önüne kimlik doğrulamalı, TLS'li bir ters vekil sunucu koyun. Birden çok kullanıcıya aynı anda hizmet verecekseniz vLLM ya da SGLang daha uygundur.

**32 eşzamanlı kullanıcıya LLM sunmak için hangi GPU yeter?**
Belirleyici olan kayıtlı kullanıcı sayısı değil, aynı anda yanıt üretilen istek sayısıdır. 8.192 token bağlamda FP8 ağırlık ve FP8 KV önbelleğiyle 32 eşzamanlı istek için Qwen3 14B'ye L40S (38,0 GB), Qwen3 32B'ye RTX PRO 6000 (69,8 GB), Llama 3.3 70B'ye H200 (118,1 GB) yeter. Kısa sohbetlerde aynı kart daha çok isteği taşır.