# Ollama ve Open WebUI kurulu GPU sunucu: şirketinize özel ChatGPT

- Adres: https://gpukiralama.com.tr/paketler/ollama-open-webui/
- Kurulum: ücretsiz, aylık ek ücret yok; yazılım müşterinin paylaşımsız GPU sunucusuna kurulu teslim edilir, root erişimi müşteride kalır
- En az GPU belleği: 16 GB
- Kurulu yazılımlar ve lisansları:
  - Ollama: Modelleri indirip GPU'da çalıştıran model sunucusu; 11434 portu yalnızca sunucu içinden erişilir (MIT)
  - Open WebUI: Şifreli giriş, sohbet, kullanıcı ve grup yönetimi, belge sohbeti (RAG) ve OpenAI uyumlu API; markası korunur (Open WebUI License (BSD-3 tabanlı, marka koşullu))
  - Caddy: HTTPS ters vekil: sertifikayı yönetir, dış trafiği yalnızca Open WebUI'a iletir (Apache-2.0)
  - bge-m3 (BAAI): Belgeleri ve soruları vektöre çeviren çok dilli gömme modeli; RAG araması için ayarlı (MIT)
  - gpt-oss-20b (OpenAI): Varsayılan yüklü dil modeli; 21B toplam, 3,6B aktif parametreli MoE (Apache-2.0)
  - gpt-oss-120b (OpenAI): 96 GB ve üzeri kartlarda yüklü gelir; 117B toplam, 5,1B aktif parametre (Apache-2.0)
  - Qwen3, Qwen3.6, Qwen3.8 (Qwen): İsteğe bağlı: 8B, 14B, 32B, 30B-A3B (MoE) ve 27B modeller; düşünme modu açılıp kapatılabilir (Apache-2.0)
  - Gemma 4 (Google DeepMind): İsteğe bağlı: E4B, 12B, 26B A4B (MoE) ve 31B; metin ve görsel girdi (Apache-2.0)
  - Mistral Small 3.2 24B: İsteğe bağlı: görsel girdi ve araç çağırma destekli 24B model (Apache-2.0)
  - DeepSeek-R1 distill (Qwen tabanlı): İsteğe bağlı: 0528-Qwen3-8B, Distill-Qwen-14B ve 32B akıl yürütme modelleri (MIT)
  - Trendyol-LLM-8B-T1: İsteğe bağlı: Qwen3-8B tabanlı, Türkçe e-ticaret verisiyle eğitilmiş Türkçe-İngilizce sohbet modeli (Apache-2.0)
  - Kumru-2B (VNGRS): İsteğe bağlı: Türkçe için sıfırdan eğitilmiş 2B talimat modeli, 8.192 token bağlam (Apache-2.0)
- Önerilen GPU'lar (GPU başına, aylık, KDV hariç):
  - [NVIDIA GeForce RTX 5060 Ti 16 GB](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-5060-ti/): $200/ay. Tek kullanıcı ya da küçük ekip: gpt-oss-20b 8K bağlamda 13,5 GB ile sığar; uzun RAG istemleri ve paralel istekler için bellek dar kalır.
  - [NVIDIA GeForce RTX 3090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-3090/): $300/ay. 24 GB: gpt-oss-20b 32K bağlamda 4 istekle (15,0 GB) ve bge-m3 rahat sığar; Mistral Small 3.2 ve Qwen3 30B-A3B 4-bit kısa bağlamda çalışır.
  - [NVIDIA RTX PRO 4000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-4000/): $450/ay. RTX 3090 ile aynı 24 GB bellek, ECC ve Blackwell mimarisiyle; belgelerle çalışan küçük bir ekibin sürekli açık asistanı için.
  - [NVIDIA GeForce RTX 5090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-5090/): $600/ay. 32 GB: Qwen3 32B ve DeepSeek-R1 32B distill 8K bağlamda, Mistral Small 3.2 ve Qwen3 30B-A3B 32K bağlamda 4 istekle sığar.
  - [NVIDIA RTX PRO 5000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-5000/): $800/ay. 48 GB ECC'li GDDR7 ve 1.344 GB/s: Qwen3 32B 32K bağlamda 4 istekte 37,6 GB ile sığar; L40S ile aynı bellek, daha düşük aylık fiyat.
  - [NVIDIA L40S](https://gpukiralama.com.tr/gpu-modelleri/nvidia-l40s/): $900/ay. 48 GB ECC: Qwen3 32B 32K bağlamda 4 istekte 37,6 GB; birkaç modeli aynı anda bellekte tutmaya pay kalır.
  - [NVIDIA RTX PRO 6000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-6000/): $1.600/ay. 96 GB ECC: gpt-oss-120b yüklü gelir (8K'da 70,3 GB, 32K bağlamda 4 istekte 72,4 GB); şirket geneli asistan için.

Ollama, Open WebUI, HTTPS ve bge-m3 ile belge sohbeti kurulu olarak teslim edilen, size ayrılmış bir GPU sunucu. Çalışanlarınız şifreyle giriş yapıp gpt-oss, Qwen3, Gemma 4 ya da Türkçe modellerle sohbet eder; sunucu İstanbul'da çalışır, verileriniz Türkiye'de kalır.

## Ollama sunucu nedir, şirket içi ChatGPT için ne işe yarar?

Ollama + Open WebUI paketi, açık kaynak dil modellerini çalışanlarınızın tarayıcıdan ChatGPT'ye benzer bir arayüzle kullanmasını sağlayan hazır bir kurulumdur ve size ayrılmış bir GPU sunucusunda, İstanbul'daki tesisimizde kurulu olarak teslim edilir. Ollama modeli GPU'da çalıştırır; Open WebUI şifreli giriş, sohbet geçmişi, kullanıcı yönetimi ve şirket belgeleriyle soru-cevap (RAG) sunar. Sunucular İstanbul Bağcılar'daki kendi tesisimizde çalışır, verileriniz Türkiye'de kalır. Varsayılan model gpt-oss-20b'dir; 96 GB ve üzeri belleği olan kartlarda gpt-oss-120b de yüklü gelir.

Kendi ChatGPT'nizi kurmak için Docker, sertifika ve model indirmeyle uğraşmazsınız. Sunucu paylaşımsızdır, VPS değildir: GPU belleğinin tamamı sizin modellerinize ayrılır.

## Pakette neler kurulu, hangi parça ne yapar?

Dört parça aynı sunucuda birlikte çalışır:

- **Ollama** modelleri indirir, GPU belleğine yükler ve yanıtı üretir. 11434 numaralı API portu internete açık değildir, yalnızca sunucunun kendi içinden erişilir.
- **Open WebUI** kullanıcıların gördüğü arayüzdür: sohbet, model seçimi, kullanıcı ve grup yetkileri, belge yükleme, bilgi koleksiyonları ve OpenAI uyumlu bir API. LDAP/Active Directory ve OAuth ile tek oturum açmayı da destekler. Lisansı BSD-3 tabanlıdır ama bir marka koşulu taşır: 30 günlük herhangi bir dönemde 50'den fazla son kullanıcısı olan kurulumlarda "Open WebUI" markasını kaldırmak ya da değiştirmek yazılı izin veya kurumsal lisans gerektirir ([lisans açıklaması](https://docs.openwebui.com/license/)). Kurulumu markaya dokunmadan teslim ediyoruz; koşul ancak arayüze kendi logonuzu koymak isterseniz gündeme gelir.
- **Caddy** HTTPS ters vekilidir (reverse proxy). Sertifikayı alır ve yeniler, dışarıdan gelen trafiği yalnızca Open WebUI'a iletir; yani internetten görünen tek kapı şifreli giriş ekranıdır.
- **bge-m3**, BAAI'nin çok dilli gömme (embedding) modelidir. Belgelerinizi ve sorularınızı 1.024 boyutlu vektörlere çevirir, 100'den fazla dili ve 8.192 tokenlık girdiyi destekler; yoğun, seyrek ve çok vektörlü aramayı tek modelde yapar. Open WebUI'ın varsayılan gömme modeli olan İngilizce ağırlıklı all-MiniLM-L6-v2 yerine bunu ayarlı teslim ediyoruz.

## İlk girişten sonra ne yapılır, yeni model nasıl eklenir?

Teslimde gönderdiğimiz yönetici hesabıyla HTTPS adresine girersiniz. Open WebUI, ilk hesap oluşturulduktan sonra kendiliğinden kaydı kapatır. Çalışanları yönetici panelindeki kullanıcılar bölümünden tek tek ekleyebilir ya da kaydı yeniden açıp yeni hesapları "beklemede" (pending) rolüyle onayınıza bırakabilirsiniz. Departmanlar için grup açın ve hangi modeli, hangi belge koleksiyonunu kimin göreceğini gruba göre belirleyin.

Yeni bir model eklemenin iki yolu var:

1. **Arayüzden:** Yönetici ayarlarındaki Ollama bağlantısının **Yönet** (Manage) penceresine model adını yazın, örneğin `gemma4:26b`. Hugging Face'teki GGUF dosyaları `hf.co/{kullanici}/{depo}:{kuantizasyon}` biçimiyle çekilir.
2. **SSH ile:** Compose dizininde (servis adları README'de yazar):

```bash
docker compose exec ollama ollama pull qwen3:14b
docker compose exec ollama ollama ps
```

`ollama ps` çıktısındaki "Processor" sütunu `100% GPU` göstermiyorsa modelin bir kısmı sistem belleğine taşmıştır ve yanıtlar belirgin biçimde yavaşlar. Bu durumda daha küçük bir model ya da daha kısa bir bağlam seçin.

Çalışma Alanı > Modeller (Workspace > Models) bölümünde bir temel modelin üzerine sistem istemi, bağlı bilgi koleksiyonu ve erişim grubu tanımlayarak "İK asistanı" ya da "teklif yazım asistanı" gibi özel asistanlar oluşturabilirsiniz. Kullanıcılar bunları model listesinde ayrı bir model olarak görür.

## RAG nedir, şirket belgeleriyle nasıl sohbet edilir?

RAG (retrieval-augmented generation), soruyu modele göndermeden önce belgelerinizden ilgili parçaları bulup soruya ekleyen yöntemdir. Model yeniden eğitilmez; yalnızca o soruda bu parçalara bakarak yanıt verir, bu yüzden belge güncellendiğinde yeniden yüklemek yeter. Open WebUI'da akış şöyledir:

1. **Çalışma Alanı > Bilgi** (Workspace > Knowledge) altında bir koleksiyon açın ve PDF, Word ya da metin dosyalarını yükleyin. Dosyalar parçalara bölünür ve bge-m3 ile vektöre çevrilir.
2. Sohbette `#` yazıp bir belgeyi ya da koleksiyonu seçin. İsterseniz koleksiyonu özel bir asistana bağlayın; o asistan her soruda koleksiyona bakar.
3. Yanıtta kullanılan belge parçaları kaynak olarak gösterilir.

İki ayara dikkat edin. Gömme modelini sonradan değiştirirseniz bilgi koleksiyonlarını yeniden dizinlemeniz, sohbete tek seferlik yüklenen dosyaları da yeniden yüklemeniz gerekir. İsteğe bağlı hibrit arama, anlamsal aramaya BM25 anahtar kelime aramasını ekler ve sonuçları bir yeniden sıralayıcıyla (reranker) düzenler; ürün kodu ya da madde numarası gibi birebir eşleşme gereken sorularda işe yarar.

RAG istemi uzatır: soruya eklenen her parça bağlamdan yer kaplar. Ollama, bağlam uzunluğu belirtilmezse varsayılanı kartın belleğine göre seçer: 24 GiB'ın altında 4K, 24–48 GiB arasında 32K, 48 GiB ve üzerinde 256K token ([Ollama belgeleri](https://docs.ollama.com/context-length)). Belgelerle çalışacaksanız `OLLAMA_CONTEXT_LENGTH` değerini açıkça ayarlayın ve aşağıdaki tabloda 32K sütununa bakın. Ayrı vektör veritabanı ve belge düzeyinde yetki gibi daha geniş bir mimari için [kurumsal yapay zeka](/hizmetler/kurumsal-yapay-zeka/) sayfamıza bakın.

## Ollama API'ye nasıl bağlanılır?

Ollama'nın 11434 portu dışarıya açık değildir, çünkü kimlik doğrulaması olmayan bir model API'si internete açılmamalıdır. Programdan erişmenin iki yolu var.

**Open WebUI API'si (HTTPS ve API anahtarı).** Yönetici, kimlik doğrulama ayarlarında API anahtarlarını açar; kullanıcı Ayarlar > Hesap bölümünde `sk-` ile başlayan bir anahtar üretir. Anahtar, onu üreten kullanıcının yetkileriyle çalışır. Uç nokta OpenAI uyumludur (`/api/chat/completions`, model listesi için `/api/models`), bu yüzden OpenAI SDK'sı doğrudan kullanılabilir:

```python
from openai import OpenAI

client = OpenAI(
    base_url="https://ai.sirketiniz.com.tr/api",  # teslimdeki HTTPS adresiniz
    api_key="sk-...",                            # Ayarlar > Hesap
)
yanit = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "Bu sözleşme maddesini üç cümlede özetle: ..."}],
)
print(yanit.choices[0].message.content)
```

Bir bilgi koleksiyonunu API'den sorgulamak için isteğe `"files": [{"type": "collection", "id": "<koleksiyon-id>"}]` alanını eklersiniz; OpenAI SDK'sında bunu `extra_body` ile gönderin ([API belgeleri](https://docs.openwebui.com/reference/api-endpoints)).

**SSH tüneli.** Geliştirme makineniz ya da kendi betikleriniz için Ollama'ya şifreli bir tünelden bağlanabilirsiniz:

```bash
ssh -N -L 11434:localhost:11434 root@sunucu-adresiniz
```

Tünel açıkken OpenAI uyumlu adres `http://localhost:11434/v1` olur. Ollama'nın bu uç noktası istemcide bir `api_key` değeri ister ama yerel kurulumda bu değeri yok sayar; erişimi tünelin kendisi korur.

Ollama, birkaç kişinin sohbet ettiği ve modellerin sık değiştiği kullanım için kolaydır. Uygulamanızın onlarca eşzamanlı isteği tek bir modele gönderdiği bir API ürünü kuruyorsanız sürekli toplu işleme (continuous batching) yapan [vLLM paketimiz](/paketler/vllm-openai-api/) daha uygun olur.

## Ollama kaç GB VRAM ister, hangi model hangi GPU'ya sığar?

Gereken bellek üç şeye bağlıdır: modelin boyutu ve kuantizasyonu, bağlam uzunluğu ve aynı anda işlenen istek sayısı. Ollama kütüphanesindeki varsayılan etiketler çoğunlukla 4-bit'tir (örneğin `qwen3:14b` indirmesi 9,3 GB); gpt-oss ise doğrudan MXFP4 biçiminde yayımlanır. Aşağıdaki değerler [VRAM hesaplayıcımızdan](/araclar/vram-hesaplayici/) alındı, KV önbelleğini ve çalışma payını içerir; kartın belleğinin %92'si kullanılabilir sayılır.

| Model (4-bit) | 8K bağlam, 1 istek | 32K bağlam, 4 eşzamanlı istek | Uygun kartlarımız |
|---|---|---|---|
| Qwen3 8B, Trendyol-LLM-8B-T1, DeepSeek-R1 8B (üçü de Qwen3-8B mimarisinde) | 7,1 GB | 15,5 GB | 8K: 16 GB kartlar; 32K × 4: 24 GB ve üzeri |
| Qwen3 14B (DeepSeek-R1 14B distill'i yakın boyutta) | 11,1 GB | 20,5 GB | 8K: 16 GB; 32K × 4: 24 GB ve üzeri |
| gpt-oss-20b | 13,5 GB | 15,0 GB | 8K: 16 GB; 32K × 4: 24 GB ve üzeri |
| Mistral Small 3.2 24B | 16,5 GB | 25,9 GB | 8K: 24 GB; 32K × 4: RTX 5090 |
| Qwen3 30B-A3B (MoE) | 19,8 GB | 25,5 GB | 8K: 24 GB; 32K × 4: RTX 5090 |
| Qwen3 32B (DeepSeek-R1 32B distill'i yakın boyutta) | 22,5 GB | 37,6 GB | 8K: RTX 5090; 32K × 4: RTX PRO 5000, L40S |
| gpt-oss-120b | 70,3 GB | 72,4 GB | RTX PRO 6000, H200 |
| DeepSeek-R1 671B (tam model) | 397,9 GB | 401,9 GB | Tek karta sığmaz |

8K sütunu 16-bit, 32K sütunu 8-bit KV önbelleğiyle hesaplandı; Ollama'da 8-bit KV önbelleği `OLLAMA_KV_CACHE_TYPE=q8_0` ayarıdır (varsayılan `f16`). Hesaplayıcıda açın: [gpt-oss-20b, 8K, tek istek](/araclar/vram-hesaplayici/?model=gpt-oss-20b&hassasiyet=int4&kv=bf16&baglam=8192&istek=1), [gpt-oss-20b, 32K, 4 istek](/araclar/vram-hesaplayici/?model=gpt-oss-20b&hassasiyet=int4&kv=fp8&baglam=32768&istek=4), [Qwen3 30B-A3B, 32K, 4 istek](/araclar/vram-hesaplayici/?model=qwen3-30b-a3b&hassasiyet=int4&kv=fp8&baglam=32768&istek=4).

16 GB'lık kartta gpt-oss-20b, 8K bağlamda tek başına kullanılabilir 14,7 GB'ın 13,5 GB'ını doldurur; bge-m3'e ve uzun RAG istemlerine pek yer kalmaz. Tek kullanıcı için [RTX 5060 Ti](/gpu-modelleri/nvidia-rtx-5060-ti/) (aylık $200) yeterlidir; belgelerle çalışan bir ekip için 24 GB'lık [RTX 3090](/gpu-modelleri/nvidia-rtx-3090/) (aylık $300) ya da ECC'li RTX PRO 4000 daha rahat bir başlangıçtır. gpt-oss-120b için [RTX PRO 6000](/gpu-modelleri/nvidia-rtx-pro-6000/) aylık $1.600. Fiyatlar GPU başına, aylık ve KDV hariçtir.

### Kaç kişi aynı anda kullanabilir?

Belirleyici olan kayıtlı kullanıcı sayısı değil, aynı anda yanıt bekleyen istek sayısıdır. Ollama varsayılan olarak her model için tek isteği işler (`OLLAMA_NUM_PARALLEL=1`), diğerleri sıraya girer ([Ollama SSS](https://docs.ollama.com/faq)). Paralel istek sayısını artırdığınızda bağlam belleği de aynı oranda büyür; 4 paralel istek, 4 ayrı bağlam için yer ister. Kaba bir tahmin için en yoğun saatteki soru sayısını ortalama yanıt süresiyle (saniye) çarpıp 3.600'e bölün: saatte 240 soru ve ortalama 30 saniyelik yanıtlar, aynı anda ortalama 2 istek demektir. Ani yığılmalar için bu değerin üzerine pay bırakın.

Ollama aynı anda birden çok modeli bellekte tutabilir (varsayılan üst sınır GPU başına 3 model), ama hepsi aynı GPU belleğini paylaşır. Boşta kalan model varsayılan olarak 5 dakika sonra bellekten çıkar (`OLLAMA_KEEP_ALIVE`). Kullanıcılar sık model değiştiriyorsa kartı, açık tutmak istediğiniz modellerin toplamına göre seçin; yoksa modeller yeniden yüklenir ve ilk yanıt gecikir.

## Hangi modeli seçmeli?

### gpt-oss-20b ve gpt-oss-120b kaç GB?

OpenAI'ın Apache 2.0 lisanslı açık ağırlıklı modelleridir. gpt-oss-20b toplam 21B, token başına 3,6B aktif parametreli bir MoE modelidir; model kartı 16 GB bellekte çalışabildiğini belirtir, Ollama indirmesi 14 GB'tır. gpt-oss-120b toplam 117B, aktif 5,1B parametrelidir ve Ollama indirmesi 65 GB'tır. Model kartı tek bir 80 GB GPU'ya sığdığını söyler, ama KV önbelleğiyle 8K bağlamda 70,3 GB tutar; H100'ün kullanılabilir 73,6 GB'ında çok az pay kalacağı için gpt-oss-120b'yi 96 GB ve üzeri kartlarda kuruyoruz. Akıl yürütme düzeyi (low, medium, high) sistem isteminde ayarlanır, örneğin `Reasoning: high`; yüksek düzey daha geç yanıt demektir. Model kartı desteklenen dilleri listelemez, Türkçe kaliteyi kendi sorularınızla deneyin.

### DeepSeek R1 kaç GB, sistem gereksinimleri neler?

"DeepSeek R1" adı iki farklı şeyi anlatır. Asıl model toplam 671B, aktif 37B parametreli bir MoE modelidir; 4-bit'te bile 8K bağlamda yaklaşık 398 GB ister ([hesaplayıcıda açın](/araclar/vram-hesaplayici/?model=deepseek-v3&hassasiyet=int4&kv=bf16&baglam=8192&istek=1)) ve Ollama'daki `deepseek-r1:671b` indirmesi 404 GB'tır. Bu, en büyük kartımız H200'ün kullanılabilir 129,7 GB'ının üç katından fazladır; tek kartlı bir sunucuda çalışmaz. Çok GPU'lu bir kurulum bu paketin kapsamı dışındadır, ayrıntısı [inference hizmetimizde](/hizmetler/inference/). Tek kartta çalışanlar, R1'in çıktılarıyla eğitilmiş küçük "distill" modelleridir ([Ollama kütüphanesi](https://ollama.com/library/deepseek-r1)):

- `deepseek-r1:8b`: DeepSeek-R1-0528-Qwen3-8B, 5,2 GB indirme
- `deepseek-r1:14b`: DeepSeek-R1-Distill-Qwen-14B, 9,0 GB
- `deepseek-r1:32b`: DeepSeek-R1-Distill-Qwen-32B, 20 GB

Bu üçü MIT lisanslıdır. Distill'ler yanıttan önce uzun bir düşünme metni üretir; bu metin bağlamda yer kaplar ve yanıt süresini uzatır, o yüzden 8K yerine 16–32K bağlam planlayın.

### Qwen3 ve Qwen3.x

Alibaba'nın Qwen ailesi Apache 2.0 lisanslıdır ve tek kartta geniş bir seçenek sunar: Qwen3'ün 8B, 14B ve 32B yoğun modelleri ile toplam 30,5B, aktif 3,3B parametreli 30B-A3B MoE modeli. Model kartı 100'den fazla dil ve lehçeyi desteklediğini belirtir. Düşünme modu varsayılan olarak açıktır; isteme `/no_think` eklemek o turda kapatır. 30B-A3B'de token başına yalnızca 3,3B parametre çalıştığı için yoğun 32B modele göre genellikle daha hızlı yanıt üretir, ama modelin tamamı belleğe sığmalıdır (8K'da 19,8 GB). Daha yeni Qwen3.6-27B ve Qwen3.8-27B de Apache 2.0'dır; Qwen3.8-27B görsel girdi alır, 262.144 tokenlık yerel bağlam sunar ve Ollama indirmesi 18 GB'tır. Hesaplayıcıda satırı olmadığından 24 GB kartta kısa bağlamla başlayın, uzun belgeler için 32–48 GB seçin.

### Gemma 4 nedir?

Gemma 4, Google DeepMind'ın Nisan 2026'da yayımladığı açık model ailesidir. Önceki Gemma sürümleri Google'ın kendi kullanım koşullarıyla dağıtılırken Gemma 4 Apache 2.0 ile yayımlandı. Beş boyutu var: E2B, E4B, 12B, 26B A4B (MoE) ve 31B. Küçük modeller 128K, 12B ve üstü 256K bağlam destekler; hepsi metin ve görsel girdi alır, model kartı ön eğitimde 140'tan fazla dil kullanıldığını belirtir. Ollama indirmesi 26B için 16–19 GB, 31B için 19–20 GB'tır. 24 GB'lık kart kısa bağlam için alt sınırdır; RAG ve birden çok kullanıcı için 32 GB ya da 48 GB seçin.

### Mistral Small 3.2

24B parametreli, Apache 2.0 lisanslı bir modeldir; görsel girdi ve araç çağırma (function calling) destekler. Model kartı 3.2'yi talimat takibini iyileştiren ve sonu gelmeyen tekrarlı çıktıları azaltan küçük bir güncelleme olarak tanımlar; önceki 3.1 sürümünün kartı Türkçeyi desteklenen diller arasında sayar. Ollama'da 15 GB indirme ve 128K bağlamla gelir. 8K bağlamda 16,5 GB istediği için 16 GB kartlara sığmaz.

### Türkçe LLM modelleri: Kumru ve Trendyol-LLM

- **Kumru-2B:** VNGRS'in Türkçe için sıfırdan eğittiği modelin açık, 2B parametreli talimat sürümüdür. 500 GB'lık temizlenmiş derlemde 300 milyar tokenla ön eğitim almış, 1 milyon örnekle ince ayarlanmıştır; lisansı Apache 2.0'dır. Yerel bağlamı 8.192 token olduğundan uzun belgelerle RAG'de sınırlıdır; kısa özet ve sınıflandırma gibi işlerde büyük bir modelin yanında ikinci model olarak çalışabilir. "Kumru yapay zeka" denince akla gelen 7B sürüm için model kartı yalnızca bir demoya bağlantı verir; bu sürümün ağırlıkları kartta yayımlanmamıştır.
- **Trendyol-LLM-8B-T1:** Qwen3-8B tabanlı, Türkçe e-ticaret verisiyle eğitilmiş, Türkçe ve İngilizce bir sohbet modelidir; özetleme, sınıflandırma ve ürün özelliği çıkarma gibi işleri hedefler. 32K'ya kadar yerel bağlam sunar ve tabanı gibi Apache 2.0 lisanslıdır. Ollama için GGUF sürümleri topluluk dönüşümleridir ve `hf.co/...` biçimiyle çekilir.

Türkçe kalite için kesin bir sıralama veremiyoruz. Bağımsız bir ölçüt olarak Cetvel'e bakılabilir: EACL 2026'da yayımlanan bu Türkçe değerlendirme setinde Türkçeye göre ince ayarlanmış modeller, çoğu görevde Llama 3 ve Mistral gibi genel amaçlı çok dilli modellerin önüne geçemedi ([makale](https://aclanthology.org/2026.eacl-long.46)). Çalışma, yayımlandığı tarihteki modellerle sınırlıdır. Pratik yol şudur: kendi belgelerinizden 30–50 soru hazırlayın, Open WebUI'da aynı sohbette iki üç modeli birlikte seçip yanıtları yan yana karşılaştırın.

## Ne kurulmuyor ve neden?

Root erişiminiz olduğu için aşağıdakileri kendi lisans koşullarınıza uyarak kurabilirsiniz; biz pakete eklemiyoruz:

- **n8n:** Sustainable Use License ile dağıtılır. Yazılım yalnızca kendi iç iş amaçlarınız ya da ticari olmayan kullanım için kullanılabilir ve başkalarına ancak ücretsiz, ticari olmayan amaçla sağlanabilir ([lisans metni](https://github.com/n8n-io/n8n/blob/master/LICENSE.md)); bu yüzden ücretli bir hizmetin parçası olarak kurmuyoruz. Şirketinizin iç otomasyonları için kendiniz kurabilirsiniz: n8n'in Ollama Chat Model düğümünü sunucu içinden Ollama'ya bağlayın ya da OpenAI uyumlu bağlantıya Open WebUI API anahtarını girin.
- **Flowise:** Apache 2.0 lisanslıdır ama proje kapatıldı. Geliştirme Temmuz 2026'da donduruldu, GitHub deposu Ağustos 2026'da salt okunur arşive alındı ve çekirdek ekibin desteği 31 Ağustos 2026'da sona erdi ([duyuru](https://flowiseai.com/sunset)). Güvenlik güncellemesi almayan bir aracı şirket verisine bağlamıyoruz.
- **Llama tabanlı modeller** (örneğin Llama 3.3 70B tabanlı `deepseek-r1:70b`): Meta'nın Llama lisansı MIT ya da Apache 2.0 gibi serbest değildir, ek koşullar taşır; varsayılan olarak yüklemiyoruz.
- **Ollama bulut modelleri** (`:cloud` etiketliler): Sizin GPU'nuzda değil Ollama'nın bulutunda çalışır, istem ve yanıtlar sunucudan çıkar. Teslim edilen kurulumda oturum açılmış bir Ollama hesabı ve tanımlı bir bulut modeli yoktur. Verinin yurt dışına aktarımıyla ilgili çerçeve için [KVKK rehberimize](/blog/kvkk-gpu-kiralama-turkiye/) bakın; kendi veri işleme faaliyetinizi hukuk ekibinizle değerlendirin.

## Sık sorulan sorular

**Ollama için kaç GB VRAM gerekir?**
Model boyutuna, bağlam uzunluğuna ve eşzamanlı istek sayısına bağlıdır. 4-bit bir 8B model 8K bağlamda yaklaşık 7 GB, gpt-oss-20b 13,5 GB ister; tek kullanıcı için 16 GB'lık bir kart yeter. Uzun belgeler ve birkaç eşzamanlı kullanıcı için 24–32 GB, gpt-oss-120b için 96 GB önerilir. 16 GB'lık RTX 5060 Ti aylık $200, 32 GB'lık RTX 5090 aylık $600 (GPU başına, KDV hariç).

**gpt-oss-20b kaç GB, 16 GB ekran kartında çalışır mı?**
Çalışır. Ollama indirmesi 14 GB'tır; KV önbelleğiyle birlikte 8K bağlam ve tek istekte toplam 13,5 GB tutar, 16 GB'lık kartın kullanılabilir 14,7 GB'ına sığar. 32K bağlamda 4 kullanıcıya hizmet vermek isterseniz ihtiyaç 15,0 GB'a çıkar; bu durumda 24 GB'lık bir kart seçin.

**DeepSeek R1 kaç GB VRAM ister?**
671B parametreli tam DeepSeek-R1, 4-bit kuantizasyonla bile 8K bağlamda yaklaşık 398 GB ister ve hiçbir tek karta sığmaz. Ollama'da deepseek-r1 adıyla çalıştırılanlar çoğunlukla distill modelleridir: 8B sürümü 5,2 GB, 14B sürümü 9,0 GB, 32B sürümü 20 GB indirmedir. 32B distill'i 8K bağlamda çalıştırmak için 32 GB'lık RTX 5090 uygun bir başlangıçtır.

**Ollama Türkçe destekliyor mu, hangi Türkçe model kullanılmalı?**
Ollama dil ayrımı yapmaz; Türkçe kalite seçtiğiniz modele bağlıdır. Çok dilli Qwen3, Gemma 4 ve Mistral Small 3.2 Türkçe soruları yanıtlayabilir; Türkçeye özel seçenekler VNGRS'in Kumru-2B'si ve Qwen3-8B tabanlı Trendyol-LLM-8B-T1'dir, ikisi de Apache 2.0 lisanslıdır. Kendi belgelerinizden hazırladığınız sorularla iki üç modeli Open WebUI'da yan yana deneyip karar verin.

**Ollama + Open WebUI paketi ücretli mi?**
Kurulum ve yazılımlar için ek ücret ya da aylık lisans bedeli yoktur; yalnızca seçtiğiniz GPU sunucusunun aylık kirasını ödersiniz. Örneğin 24 GB'lık RTX 3090 aylık $300, yıllık planda aylık $240 (KDV hariç). Open WebUI'ın lisansı ücretsizdir; tek koşulu, 50'den fazla kullanıcılı kurulumlarda Open WebUI markasının kaldırılmamasıdır ve kurulum markayla birlikte teslim edilir.

**Ollama sunucusunun API'si var mı?**
Var, ama Ollama'nın kendi portu internete açık değildir. Uygulamalarınız Open WebUI'ın OpenAI uyumlu /api/chat/completions uç noktasına HTTPS üzerinden, kullanıcı başına üretilen sk- ile başlayan bir anahtarla bağlanır; OpenAI SDK'sında base_url değerini değiştirmeniz yeter. Geliştirme için SSH tüneliyle doğrudan Ollama'nın /v1 adresini de kullanabilirsiniz.

**n8n ile Ollama'yı bağlayabilir miyim?**
Evet. n8n'i pakete eklemiyoruz çünkü Sustainable Use License yalnızca kendi iç iş amaçlarınız için kullanıma izin verir; şirket içi otomasyon için root erişiminizle kendiniz kurabilirsiniz. Ollama Chat Model düğümüne sunucu içindeki Ollama adresini yazın; Open WebUI üzerinden gitmek isterseniz OpenAI kimlik bilgisinde temel adres olarak Open WebUI API'sini, anahtar olarak da Ayarlar > Hesap'tan aldığınız sk- anahtarını kullanın.

**Şirket içi ChatGPT sunucusunu kaç kişi aynı anda kullanabilir?**
Kayıtlı kullanıcı sayısında sınır yoktur; sınırı GPU belleği ve aynı anda üretilen yanıt sayısı belirler. Ollama varsayılan olarak her modelde bir isteği işler, diğerlerini sıraya alır; paralel istek sayısını OLLAMA_NUM_PARALLEL ile artırabilirsiniz ama her paralel istek ayrı bağlam belleği ister. Onlarca eşzamanlı API isteği bekliyorsanız vLLM paketi daha uygundur.