# vLLM kurulu GPU sunucu: ürünleriniz için OpenAI uyumlu kendi LLM API'niz

- Adres: https://gpukiralama.com.tr/paketler/vllm-openai-api/
- Kurulum: ücretsiz, aylık ek ücret yok; yazılım müşterinin paylaşımsız GPU sunucusuna kurulu teslim edilir, root erişimi müşteride kalır
- En az GPU belleği: 24 GB
- Kurulu yazılımlar ve lisansları:
  - vLLM: Modeli GPU'da çalıştırıp OpenAI uyumlu API sunan servis motoru; PagedAttention ve sürekli gruplama (Apache-2.0)
  - LiteLLM Proxy (açık kaynak çekirdek): Uygulama başına API anahtarı, hız sınırı, kullanım kaydı ve model takma adları (MIT (enterprise/ dizini hariç, kurulmaz))
  - PostgreSQL: LiteLLM'in anahtar, ekip ve kullanım kayıtlarını tuttuğu veritabanı (PostgreSQL License)
  - Caddy: HTTPS ters vekil sunucu; TLS sertifikasını otomatik alır ve yeniler (Apache-2.0)
  - gpt-oss-20b: OpenAI'ın açık MoE modeli (MXFP4); 24 GB ve üzeri kartlar için başlangıç modeli (Apache-2.0)
  - gpt-oss-120b: 117B parametreli MoE model; yalnızca 96 GB ve üzeri kartlarda (RTX PRO 6000, H200) ya da 2 × H100'de (Apache-2.0)
  - Qwen3.8-27B (FP8): Yoğun 27B model, görsel girdi destekli; L40S ve üzeri kartlar için (Apache-2.0)
  - Qwen3.6-35B-A3B (FP8): 35B parametreli MoE model; RTX PRO 6000, H100 ve H200 için (Apache-2.0)
  - Qwen3 14B (FP8): 32 GB RTX 5090 için: 8K bağlamda 16 eşzamanlı istekte 27,3 GB (Apache-2.0)
  - Mistral Small 3.2 24B Instruct: Araç çağırma ve görsel girdi destekli 24B model; FP8'de L40S ve üzeri kartlar için (Apache-2.0)
- Önerilen GPU'lar (GPU başına, aylık, KDV hariç):
  - [NVIDIA RTX PRO 6000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-6000/): $1.600/ay. gpt-oss-120b için önerimiz: 72,4 GB'lık yükten sonra yaklaşık 16 GB pay kalır. Qwen3.6-35B-A3B FP8'i de rahat taşır; ECC bellek.
  - [NVIDIA L40S](https://gpukiralama.com.tr/gpu-modelleri/nvidia-l40s/): $900/ay. 48 GB ECC: Mistral Small 3.2 FP8'i 16 eşzamanlı 8K istekte (36,9 GB) ya da Qwen3.8-27B FP8'i sunar.
  - [NVIDIA RTX PRO 4000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-4000/): $450/ay. Giriş seviyesi API: gpt-oss-20b 32K bağlamda 4 eşzamanlı istekte 15,0 GB ister, 24 GB ECC bellekte pay kalır.
  - [NVIDIA GeForce RTX 5090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-5090/): $600/ay. 32 GB ve 1.792 GB/s: Qwen3 14B FP8'i 8K bağlamda 16 eşzamanlı istekle (27,3 GB) sunar. ECC yok; geliştirme ve orta trafik için.
  - [NVIDIA H200](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h200/): $3.000/ay. 141 GB: gpt-oss-120b'de yaklaşık 57 GB pay kalır; uzun bağlam ve yoğun eşzamanlılık için.
  - [NVIDIA H100](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h100/): $2.500/ay. Tek kartta Qwen3.8-27B FP8'e (30,9 GB ağırlık) geniş KV payı bırakır; iki kartla tensor paralel gpt-oss-120b sunar.

gpt-oss, Qwen ve Mistral Small modellerini vLLM ile çalıştıran; LiteLLM ile uygulama başına API anahtarı, hız sınırı ve kullanım kaydı tutan; Caddy ile HTTPS'e açılan paylaşımsız GPU sunucu. İstanbul'daki tesisimizde kurulu teslim edilir, OpenAI SDK'sını kullanan kodunuzda çoğu zaman base_url'i değiştirmeniz yeter.

## vLLM nedir, kendi OpenAI uyumlu LLM API sunucunuz ne işe yarar?

vLLM, açık ağırlıklı dil modellerini aynı anda çok sayıda isteğe yanıt verecek şekilde çalıştıran, Apache-2.0 lisanslı bir LLM servis motorudur ve OpenAI API'siyle uyumlu uç noktalar sunar. vLLM OpenAI API paketinde vLLM, LiteLLM proxy ve Caddy, İstanbul'daki paylaşımsız GPU sunucunuza kurulu olarak gelir; gpt-oss, Qwen ya da Mistral Small modeliniz HTTPS üzerinden, uygulama başına API anahtarıyla erişilen kendi LLM API'nize dönüşür. OpenAI SDK'sını kullanan bir üründe ya da şirket içi uygulamada çoğu zaman yalnızca `base_url`, API anahtarı ve model adı değişir.

## Pakette neler kurulu, bir istek hangi yoldan geçer?

- **Caddy** 443 numaralı portta HTTPS bağlantısını karşılar, TLS sertifikasını kendisi alır ve yeniler.
- **LiteLLM proxy** isteğin API anahtarını ve o anahtarın sınırlarını denetler, kullanımı kaydeder ve isteği doğru vLLM sürecine iletir; anahtarlar ve kayıtlar yanındaki **PostgreSQL** veritabanında durur.
- **vLLM** (Ekim 2026 itibarıyla 0.32 sürümü) modeli GPU'da çalıştırır ve yanıtı token token üretir.

vLLM'in portunu dışarı açmamamızın somut bir nedeni var. vLLM'in kendi `--api-key` seçeneği, [belgesine göre](https://docs.vllm.ai/en/latest/serving/online_serving/openai_compatible_server/) yalnızca `/v1`, `/v2` ve `/inference` ile başlayan yolları korur; aynı sunucudaki diğer uç noktalar kimlik doğrulaması istemez. Bu yüzden vLLM'e yalnızca sunucunun içinden (Docker iç ağı ve 127.0.0.1) erişilir, dışarıdan gelen istekler LiteLLM ve Caddy'den geçer. Bakım ya da ölçüm için vLLM'e SSH tüneliyle bağlanabilirsiniz.

Sunucu paylaşımsızdır, VPS değildir: GPU'lar yalnızca sizin isteklerinizi işler. Sunucular İstanbul Bağcılar'daki kendi tesisimizde çalışır, verileriniz Türkiye'de kalır.

## vLLM aynı anda çok kullanıcıya nasıl hizmet verir?

Bir dil modeli, ürettiği her yeni token için önceki tokenların dikkat (attention) anahtar ve değerlerini bellekte tutar; buna KV önbelleği denir. Eski sistemlerde bu önbellek her istek için bitişik bir blok olarak ayrıldığından belleğin önemli kısmı parçalanmayla boşa gidiyordu. vLLM ekibinin [PagedAttention makalesi](https://arxiv.org/abs/2309.06180), KV önbelleğini işletim sistemlerindeki sanal bellek sayfaları gibi küçük bloklara bölerek bu israfı neredeyse sıfıra indirdiğini ve aynı gecikme düzeyinde verimi FasterTransformer ve Orca gibi sistemlere göre 2–4 kat artırdığını raporlar.

İkinci parça sürekli gruplamadır (continuous batching). vLLM bir grubun tamamının bitmesini beklemez: her adımda yanıtı biten isteği gruptan çıkarır, kuyruktaki yeni isteği alır. Bunlara önek önbelleği (prefix caching) ve parçalı ön doldurma (chunked prefill) eklenir: aynı sistem istemiyle başlayan isteklerde ortak kısım yeniden hesaplanmaz, uzun bir belge gönderen kullanıcı diğerlerinin yanıt akışını uzun süre bekletmez.

Pratik sonucu şudur: kapasiteyi kayıtlı kullanıcı sayısı değil, aynı anda yanıt üretilen istek sayısı ve bağlam uzunluğu belirler. Hız modele, bağlama ve istem yapısına göre çok değiştiği için burada token/s rakamı vermiyoruz; gerçek kapasiteyi kendi istemlerinizle `vllm bench serve` komutuyla ölçün.

## vLLM mi, Ollama mı?

İkisi de OpenAI uyumlu bir API sunar ama farklı işler için tasarlanmıştır. Ollama'nın belgelerine göre `OLLAMA_NUM_PARALLEL` varsayılan olarak 1'dir; her model aynı anda bir isteği işler, diğerleri kuyrukta bekler. vLLM ise baştan çok sayıda isteği aynı adımda işlemek için kurulmuştur.

| Ölçüt | vLLM OpenAI API paketi | Ollama + Open WebUI paketi |
|---|---|---|
| Asıl kullanım | Ürünlere, botlara ve iç uygulamalara API; arayüz yok | Ekibin Open WebUI'den modelle sohbet etmesi |
| Eşzamanlı istek | Sürekli gruplama ve sayfalı KV önbelleği | Varsayılan olarak model başına bir istek |
| Model değiştirme | Her vLLM süreci bir model sunar, değişiklikte süreç yeniden başlar | Modeller istek geldikçe yüklenir, boşta kalınca boşaltılır |
| Erişim denetimi | LiteLLM sanal anahtarları, sınırlar, kullanım kaydı | Open WebUI kullanıcı hesapları |

Ekibiniz modelle tarayıcıdan sohbet edecek ve aynı anda az sayıda istek gelecekse [Ollama + Open WebUI paketi](/paketler/ollama-open-webui/) daha az ayarla iş görür. Bir ürün, müşteri destek botu ya da birden çok iç uygulama aynı modeli kullanacaksa bu paket daha uygundur. vLLM'i SGLang ve TensorRT-LLM ile karşılaştırdığımız ayrıntılı yazı [LLM inference optimizasyonu rehberimizde](/blog/tensorrt-inference-optimizasyonu/).

## Hangi model için hangi GPU yeterli?

Aşağıdaki değerler [VRAM hesaplayıcımızdan](/araclar/vram-hesaplayici/?model=gpt-oss-20b&hassasiyet=int4&kv=fp8&baglam=8192&istek=16) alındı ve ağırlıkları, KV önbelleğini ve çalışma payını kapsar. Kartın belleğinin %92'si kullanılabilir sayıldı: 24 GB kartta 22,1 GB, 48 GB'ta 44,2 GB, 80 GB'ta 73,6 GB, 96 GB'ta 88,3 GB, 141 GB'ta 129,7 GB. 8K × 1 sütununda KV önbelleği BF16, diğer iki sütunda FP8'dir.

| Model | int4, 8K × 1 | int4, 32K × 4 | FP8, 8K × 16 | Uygun kartımız |
|---|---|---|---|---|
| gpt-oss-20b (MoE, MXFP4) | 13,5 GB | 15,0 GB | 24,6 GB* | RTX PRO 4000 ya da RTX 3090 (24 GB) |
| Qwen3 14B | 11,1 GB | 20,5 GB | 27,3 GB | FP8 ve 16 istek: RTX 5090 (32 GB) |
| Mistral Small 3.2 24B | 16,5 GB | 25,9 GB | 36,9 GB | int4: RTX 5090; FP8 ve 16 istek: L40S (48 GB) |
| Qwen3 30B-A3B (MoE) | 19,8 GB | 25,5 GB | 39,5 GB | int4: RTX 5090; FP8 ve 16 istek: L40S |
| Qwen3 32B | 22,5 GB | 37,6 GB | 52,6 GB | int4: L40S; FP8 ve 16 istek: H100 ya da RTX PRO 6000 |
| gpt-oss-120b (MoE, MXFP4) | 70,3 GB | 72,4 GB | 126,1 GB* | RTX PRO 6000 (96 GB), H200 (141 GB) |

\* gpt-oss modelleri MXFP4 ağırlıklarla yayımlanır; FP8'e çevirmek gerekmez, bu sütun yalnızca karşılaştırma içindir. 32K × 4 ile 8K × 16 aynı toplam token sayısına (131.072) denk geldiğinden gpt-oss'ta 16 eşzamanlı 8K istek, int4 sütunundaki belleği ister: 20b'de 15,0 GB, 120b'de 72,4 GB.

Değerler, her isteğin bağlamı tam doldurduğu en kötü durumu gösterir. vLLM KV önbelleğini kullanıldıkça ayırdığından kısa sohbetlerde aynı kart daha çok isteği taşır. Kendi yükünüzü hesaplamak için hesaplayıcıda örneğin [Mistral Small 3.2, FP8, 8K × 16](/araclar/vram-hesaplayici/?model=mistral-small-3.2-24b&hassasiyet=fp8&kv=fp8&baglam=8192&istek=16) ayarından başlayın.

### Qwen3.8 ve Qwen3.6 için bellek

Hesaplayıcıdaki Qwen satırları Qwen3 kuşağıdır; Qwen3 14B FP8'i RTX 5090 için kuruyoruz. Daha büyük kartlarda kurduğumuz yeni modeller Qwen3.8-27B (Ağustos 2026) ve Qwen3.6-35B-A3B'dir (Nisan 2026); ikisi de Apache-2.0 lisanslıdır ve Qwen'in resmi FP8 sürümleriyle gelir. [Qwen3.8-27B-FP8](https://huggingface.co/Qwen/Qwen3.8-27B-FP8) deposundaki ağırlık dosyaları 30,9 GB'tır. Model kartına göre 64 katmanın yalnızca 16'sı klasik dikkat katmanıdır, kalan 48'i Gated DeltaNet doğrusal dikkat katmanıdır; KV önbelleği yalnızca bu 16 katmanda bağlamla birlikte büyür. Bu nedenle eşzamanlı istek arttıkça bellek ihtiyacı, tablodaki Qwen3 32B'ye göre çok daha yavaş artar.

Pratikte Qwen3.8-27B FP8, RTX 5090'ın kullanılabilir 29,4 GB'ına sığmaz. L40S'te ağırlıklardan sonra KV önbelleği için yaklaşık 13 GB kalır; uzun bağlam ve yoğun eşzamanlılık için [RTX PRO 6000](/gpu-modelleri/nvidia-rtx-pro-6000/) daha rahattır. Toplam 35 milyar parametreli Qwen3.6-35B-A3B'de FP8 ağırlıklar daha büyük olduğundan bu model için RTX PRO 6000 ya da H100 öneriyoruz. İki model de varsayılan olarak düşünme (thinking) modunda yanıt verir; kısa yanıt isteyen işlerde model kartı düşünmeyi istek başına kapatmayı (`enable_thinking: false`) anlatır.

## gpt-oss-120b sistem gereksinimleri: kaç GB VRAM gerekir?

gpt-oss-120b, toplam 117 milyar parametreli, token başına 5,1 milyarı etkin olan bir MoE modelidir; OpenAI ağırlıkları MXFP4 biçiminde ve Apache-2.0 lisansıyla yayımladı. [Resmi model kartı](https://huggingface.co/openai/gpt-oss-120b), modelin tek bir 80 GB GPU'ya (örnek olarak NVIDIA H100) sığdığını yazar ve bu doğrudur: Hugging Face'teki ağırlık dosyaları yaklaşık 65 GB'tır.

Sığmak ile rahat çalışmak ise farklıdır. Hesabımızda 8K bağlamlı tek istek 70,3 GB, 32K × 4 ya da 8K × 16 yük 72,4 GB ister. H100'ün kullanılabilir belleği bu hesapta 73,6 GB olduğundan geriye yalnızca 1 GB kadar pay kalır. vLLM'in [gpt-oss tarifi](https://recipes.vllm.ai/openai/gpt-oss-120b) de tek H100'de varsayılan ayarlarla bellek yetersizliği (CUDA out of memory) hatası alınabileceğini yazar ve `--gpu-memory-utilization 0.95 --max-num-batched-tokens 1024` önerir; ikinci ayar bir adımda işlenen token sayısını düşürür. Bu yüzden gpt-oss-120b'yi 96 GB ve üzeri kartlarda sunuyoruz:

- **RTX PRO 6000 (96 GB):** 88,3 GB kullanılabilir bellekte 72,4 GB'lık yükten sonra yaklaşık 16 GB pay kalır; bu pay daha uzun bağlama ya da daha çok eşzamanlı isteğe gider. vLLM tarifi Blackwell kartlarda FP8 KV önbelleği (`kv-cache-dtype: fp8`) kullanır. Aylık fiyatı $1.600, yıllık planda aylık $1.280 (GPU başına, KDV hariç).
- **[H200](/gpu-modelleri/nvidia-h200/) (141 GB):** 129,7 GB kullanılabilir bellekte yaklaşık 57 GB pay kalır; uzun belgelerle çalışan uygulamalar ve yoğun eşzamanlılık için uygundur.
- **2 × H100:** Tarifteki `--tensor-parallel-size 2` ile model iki karta bölünür; tarif bu durumda bellek kullanım oranını 0,95'in altında tutmayı önerir. İki kartın farkları için [RTX PRO 6000 ve H100 karşılaştırmamıza](/karsilastirma/rtx-pro-6000-vs-h100/) bakın.

Donanım desteğiyle ilgili bir not: vLLM tarifi H100, H200 ve B200'ü destekli donanım olarak sayar; Ampere, Ada ve RTX 5090 için çalışmanın sürdüğünü belirtir. Bu listede olmayan kartlarda (ör. L40S, RTX 5090, RTX PRO 6000 ve RTX PRO 4000) gpt-oss'u kurarken modeli kartınızda başlatıp API'nin yanıt verdiğini teslimden önce kontrol ederiz. gpt-oss yalnızca OpenAI'ın harmony yanıt biçimiyle doğru çalışır, vLLM bu biçimi kendisi uygular; akıl yürütme düzeyi düşük, orta ve yüksek olarak ayarlanabilir. Kendi bağlam ve istek sayınızı [hesaplayıcıda gpt-oss-120b için](/araclar/vram-hesaplayici/?model=gpt-oss-120b&hassasiyet=int4&kv=fp8&baglam=32768&istek=4) deneyebilirsiniz.

## API nasıl kullanılır?

Teslimde bir HTTPS adresi ve LiteLLM ana anahtarı (master key) alırsınız. Ana anahtarı uygulamalara koymayın; her uygulama için ayrı bir anahtar üretin (aşağıda). İsteklerdeki model adı, LiteLLM'de tanımlı takma addır; örneğin `gpt-oss-120b` ya da `qwen3.8-27b`.

### curl ile ilk istek

```bash
curl https://llm.sirketiniz.com.tr/v1/chat/completions \
  -H "Authorization: Bearer sk-uygulama-anahtariniz" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "messages": [
      {"role": "user", "content": "e-Fatura ile e-Arşiv fatura arasındaki farkı iki cümlede açıkla."}
    ]
  }'
```

### Python ve OpenAI SDK ile akışlı yanıt

```python
from openai import OpenAI

client = OpenAI(
    base_url="https://llm.sirketiniz.com.tr/v1",
    api_key="sk-uygulama-anahtariniz",
)

stream = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "Bu iade talebini kategoriye ayır: ..."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
```

Kodunuz adresi ve anahtarı ortam değişkenlerinden okuyorsa `OPENAI_BASE_URL` ile `OPENAI_API_KEY` değerlerini değiştirip model adını güncellemeniz çoğu zaman yeterlidir.

### Araç çağırma ve yapılandırılmış çıktı

vLLM'de araç çağırma (function calling), sunucu tarafında `--enable-auto-tool-choice` ve modele uygun `--tool-call-parser` ile açılır. Kurulumda bunu modele göre ayarlıyoruz: gpt-oss için `openai`, Mistral Small 3.2 için `mistral`, Qwen modelleri için model kartının önerdiği ayrıştırıcı. gpt-oss'ta yalnızca `tool_choice="auto"` desteklenir; Mistral ve Qwen'de `required` ya da belirli bir fonksiyon da seçilebilir.

Yapılandırılmış çıktı vLLM'de varsayılan olarak açıktır. Standart `response_format` alanına `{"type": "json_schema", "json_schema": {...}}` biçiminde bir şema verdiğinizde yanıt bu şemaya uyacak şekilde üretilir; fatura, adres ya da talep kaydından alan çıkaran işlerde ayrıştırma hatalarını azaltır.

## LiteLLM ile API anahtarları, sınırlar ve kullanım kayıtları

LiteLLM'de her uygulama, ekip ya da müşteri projesi için ayrı bir sanal anahtar üretirsiniz. Anahtar hangi modelleri çağırabileceğini, dakikadaki istek ve token sınırını, aynı anda kaç açık isteği olabileceğini ve ne zaman sona ereceğini taşır. [LiteLLM belgesindeki](https://docs.litellm.ai/docs/proxy/virtual_keys) `/key/generate` uç noktasıyla:

```bash
curl https://llm.sirketiniz.com.tr/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "destek-botu",
    "models": ["gpt-oss-120b"],
    "rpm_limit": 60,
    "tpm_limit": 200000,
    "max_parallel_requests": 8,
    "duration": "90d"
  }'
```

Bu anahtarla destek botu yalnızca gpt-oss-120b'yi çağırır, sınırları aşan istekler reddedilir; böylece bir uygulamadaki döngü hatası diğerlerinin kapasitesini tüketmez. Anahtarları LiteLLM'in yönetim arayüzünden (`/ui`) de üretip iptal edebilirsiniz.

LiteLLM her anahtarın, kullanıcının ve ekibin kullanımını PostgreSQL'de tutar; hangi uygulamanın ne kadar token harcadığını arayüzden ya da API'den görürsünüz. Kendi sunucunuzdaki modeller için token ücreti yoktur.

LiteLLM'deki `model_name`, uygulamaların gördüğü takma addır. `sirket-llm` adını bugün gpt-oss-120b'ye, yarın Qwen3.8-27B'ye yönlendirebilirsiniz; uygulama kodu değişmez. Türkçe kalitesi modele ve göreve göre değiştiği için bu yöntemle kendi müşteri e-postalarınız, sözleşme özetleriniz ya da destek kayıtlarınız üzerinde modelleri karşılaştırıp karar verin. Şirket belgeleri üzerinde soru-cevap (RAG) kuracaksanız [kurumsal yapay zeka](/hizmetler/kurumsal-yapay-zeka/) sayfamıza bakın.

## Birden fazla GPU: tensor paralellik ne zaman gerekir?

Model tek karta sığıyorsa ikinci GPU'yu ikinci bir vLLM kopyası için kullanın; LiteLLM aynı model adının arkasındaki iki kopya arasında yükü dağıtır. Kartlar arası iletişim olmadığından NVLink gerekmez.

Model tek karta sığmıyorsa vLLM'in `--tensor-parallel-size` seçeneği her katmanı kartlara böler; her adımda kartlar arası iletişim gerektiği için NVLink'li kartlarda verimlidir, NVLink'siz kartlarda vLLM belgeleri pipeline paralelliği (`--pipeline-parallel-size`) önerir. Tek siparişte en fazla 8 GPU kiralanabilir. Ayrıntılar için [multi-GPU ve NVLink rehberimize](/blog/multi-gpu-nvlink-kiralama-rehberi/) bakın.

## Ne kurulmuyor ve neden?

Root erişiminiz olduğu için aşağıdakileri kendi lisans koşullarına uyarak siz kurabilirsiniz; biz varsayılan kuruluma koymuyoruz.

- **LiteLLM Enterprise özellikleri:** LiteLLM'in `enterprise/` dizinindeki kod ve lisans anahtarıyla açılan özellikler ayrı, ücretli bir lisansa bağlıdır. [LiteLLM belgesine göre](https://docs.litellm.ai/docs/enterprise) 5 kullanıcıyı aşan SSO, denetim kayıtları (audit logs), JWT ile kimlik doğrulama, IP izin listeleri ve anahtar rotasyonu bu kapsamdadır. Paket MIT lisanslı açık kaynak çekirdekle gelir; sanal anahtarlar, bütçe ve hız sınırları, kullanım takibi ve yönetim arayüzü bu çekirdeğin parçasıdır.
- **n8n:** [Sustainable Use License](https://github.com/n8n-io/n8n/blob/master/LICENSE.md), kendi iç iş amaçlarınız için kullanıma izin verir ama n8n'i hizmet olarak kurup sunmamıza izin vermez. n8n'i kendiniz kurup OpenAI kimlik bilgisinde taban adres olarak LiteLLM adresinizi ve bir sanal anahtar girerek bu API'ye bağlayabilirsiniz.

## Sık sorulan sorular

**vLLM kurulumu nasıl yapılır, sunucu gelince benim yapmam gereken bir şey var mı?**
Bu pakette vLLM, LiteLLM, PostgreSQL ve Caddy kurulu ve birbirine bağlı gelir; ilk işiniz ana anahtarla her uygulamaya ayrı bir sanal anahtar üretmektir. Yeni bir model eklemek için Hugging Face'teki model adını Compose dosyasındaki vLLM komutuna yazar, LiteLLM yapılandırmasına `hosted_vllm/` önekiyle ekler ve servisleri yeniden başlatırsınız. vLLM'i sıfırdan kendiniz kurmak da mümkündür, ancak HTTPS, anahtar yönetimi ve kullanım kayıtları ayrıca kurulması gereken parçalardır.

**gpt-oss-120b kaç GB VRAM ister, H100'de çalışır mı?**
Ağırlık dosyaları yaklaşık 65 GB'tır; VRAM hesaplayıcımıza göre 8K bağlamlı tek istek 70,3 GB, 16 eşzamanlı 8K istek 72,4 GB ister. OpenAI modelin tek bir 80 GB GPU'ya sığdığını söyler; H100'de çalışır, ancak kullanılabilir bellekle arada yalnızca 1 GB kadar pay kalır ve vLLM'in tarifi tek H100'de varsayılan ayarlarla bellek hatası uyarısı verir. Bu yüzden 96 GB'lık RTX PRO 6000 (aylık $1.600) ya da 141 GB'lık H200 öneriyoruz.

**gpt-oss-20b kaç GB VRAM ile çalışır?**
OpenAI, gpt-oss-20b'nin 16 GB bellekte çalıştığını belirtir. Hesabımızda 8K bağlamlı tek istek 13,5 GB, 32K bağlamda 4 eşzamanlı istek 15,0 GB tutar; 16 GB kartlarda yalnızca tek istek rahat sığar. API kullanımı için 24 GB'lık bir kart, örneğin ECC belleğe sahip RTX PRO 4000 (aylık $450) öneriyoruz.

**OpenAI uyumlu API ne demek, mevcut kodumu değiştirmem gerekir mi?**
Sunucu, OpenAI'ın `/v1/chat/completions` ve `/v1/models` gibi uç noktalarını aynı istek ve yanıt biçimiyle sunar; OpenAI SDK'sı, LangChain ya da OpenAI biçimini destekleyen başka araçlar doğrudan bağlanır. Genellikle yalnızca taban adresi, API anahtarını ve model adını değiştirirsiniz. Akışlı yanıt, araç çağırma ve JSON şemasıyla yapılandırılmış çıktı desteklenir; gpt-oss'ta araç seçimi yalnızca `auto` modundadır.

**Qwen3 modellerini API olarak kullanabilir miyim, Türkçe destekliyor mu?**
Evet. Pakette Qwen3.8-27B ve Qwen3.6-35B-A3B'nin FP8 sürümleri, 32 GB kartta ise Qwen3 14B kurulabilir; üçü de Apache-2.0 lisanslıdır ve ticari kullanıma açıktır. Qwen, [Qwen3.5 model kartında](https://huggingface.co/Qwen/Qwen3.5-27B) bu kuşağın 201 dil ve lehçeyi desteklediğini yazar; Qwen3.8 de model kartına göre Qwen3.5'in mimari temeli üzerine kuruludur. Türkçe kalitesini yine de kendi örnek metinlerinizle, aynı istemi LiteLLM üzerinden farklı modellere göndererek ölçmenizi öneririz.

**vLLM ücretli mi, token başına ödeme var mı?**
vLLM Apache-2.0, LiteLLM'in açık kaynak çekirdeği MIT lisanslıdır; ikisi de ücretsizdir ve kurulumu ek ücret almadan yapıyoruz. Kendi sunucunuzdaki modeller için token başına ödeme yoktur, yalnızca sunucunun aylık kirasını ödersiniz. Örneğin 48 GB'lık L40S aylık $900, yıllık planda aylık $720 tutar (GPU başına, KDV hariç).

**Bu LLM API sunucusu kaç kullanıcıya hizmet verebilir?**
Belirleyici olan kayıtlı kullanıcı değil, aynı anda yanıt üretilen istek sayısı ve bağlam uzunluğudur. Örneğin Mistral Small 3.2 FP8 ağırlıkla, 8K bağlamda 16 eşzamanlı istekte 36,9 GB ister ve 48 GB'lık L40S'e sığar; gpt-oss-120b aynı yükte 72,4 GB'la RTX PRO 6000'e sığar. Kısa sohbetlerde aynı kart daha fazla isteği taşır; gerçek sayıyı kendi istemlerinizle `vllm bench serve` komutunu çalıştırarak bulun.

**API internete açık mı, erişimi nasıl kısıtlarım?**
Dışarıya yalnızca Caddy'nin HTTPS portu açıktır ve her istek geçerli bir LiteLLM anahtarı ister; vLLM'in kendi portu sunucunun iç ağında kalır. Erişimi daraltmak için Caddyfile'da `remote_ip` eşleştiricisiyle yalnızca kendi IP adreslerinize izin verebilir ya da API'yi tamamen SSH tüneli üzerinden kullanabilirsiniz. Sızan bir anahtarı LiteLLM'de iptal etmeniz diğer uygulamaları etkilemez.