# Kurumsal yapay zeka: şirketinize özel LLM ve RAG sunucusu

- Adres: https://gpukiralama.com.tr/hizmetler/kurumsal-yapay-zeka/
- Önerilen GPU'lar (GPU başına, aylık, KDV hariç):
  - [NVIDIA RTX PRO 6000 Blackwell](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-pro-6000/): $1.600/ay. Şirket geneli asistan: Qwen3 32B FP8 32 eşzamanlı istekte 69,8 GB; kalan bellekte küçük bir gömme modeli de çalışır
  - [NVIDIA L40S](https://gpukiralama.com.tr/gpu-modelleri/nvidia-l40s/): $900/ay. Departman asistanı: Qwen3 14B FP8 32 eşzamanlı istekte 38 GB; 48 GB ECC'li bellekle 7/24 servis
  - [NVIDIA H200](https://gpukiralama.com.tr/gpu-modelleri/nvidia-h200/): $3.000/ay. 70B sınıfı model: Llama 3.3 70B FP8 32 eşzamanlı istekte 118,1 GB ile tek kartta
  - [NVIDIA GeForce RTX 5090](https://gpukiralama.com.tr/gpu-modelleri/nvidia-rtx-5090/): $600/ay. Pilot ve küçük ekip: Qwen3 14B FP8 16 eşzamanlı istekte 27,3 GB; ECC ve MIG yok

Şirket için yapay zeka asistanı: belgelerinizle çalışan, verisi Türkiye'de kalan açık model ve RAG sunucusu. Model seçimi, kullanıcı sayısına göre GPU, aylık fiyat ve KVKK notları.

## Kurumsal yapay zeka nedir?

Kurumsal yapay zeka, şirketin kendi belgeleri ve iş süreçleriyle çalışan, erişimini şirketin yönettiği yapay zeka uygulamalarıdır; en yaygın örneği iç belgelerden kaynak göstererek yanıt veren şirket içi asistandır. Bu asistanı açık bir dil modeli ve RAG ile size ayrılmış, aylık kiralık bir GPU sunucusunda çalıştırdığınızda belgeler ve istemler yurt dışındaki bir API'ye gitmez; veriler İstanbul Bağcılar'daki tesisimizde, Türkiye'de kalır.

Böyle bir asistan beş parçadan oluşur: açık ağırlıklı bir dil modeli (LLM), onu API olarak sunan bir servis motoru, belgelerinizi aranabilir kılan bir gömme (embedding) modeli, bir vektör veritabanı ve çalışanların kullandığı sohbet arayüzü. Sunucuyu kayıtlı kullanıcı sayısı değil, aynı anda yanıt bekleyen istek sayısı belirler: 8.192 token bağlam ve FP8 KV önbelleğiyle Qwen3 32B, 32 eşzamanlı istekte 69,8 GB ister ve tek bir RTX PRO 6000'e sığar.

- **Pilot ya da tek departman (16 eşzamanlı isteğe kadar):** Qwen3 14B FP8 27,3 GB ister; [RTX 5090](/gpu-modelleri/nvidia-rtx-5090/) aylık $600, ECC'li bellekle [L40S](/gpu-modelleri/nvidia-l40s/) aylık $900.
- **Şirket geneli asistan (32 eşzamanlı istek, 24–32B model ya da gpt-oss-120b):** [RTX PRO 6000](/gpu-modelleri/nvidia-rtx-pro-6000/), aylık $1.600.
- **70B sınıfı model:** Llama 3.3 70B FP8, 16–32 istekte 96,6–118,1 GB ister; [H200](/gpu-modelleri/nvidia-h200/) aylık $3.000.
- Fiyatlar GPU başına, aylık, ABD doları cinsinden ve KDV hariçtir; yıllık kiralamada %20 indirim uygulanır.

## Şirkete özel yapay zeka asistanı hangi parçalardan oluşur?

Beş katmanın hepsinde ticari kullanıma açık, açık kaynak seçenekler bulunur; ama birkaçının lisans koşulunu okuyun.

| Katman | Görevi | Ekim 2026 seçenekleri | Lisans |
|---|---|---|---|
| Dil modeli (LLM) | Soruyu, bulunan belge parçalarıyla yanıtlar | Qwen3, Qwen3.6, Qwen3.8, gpt-oss, Gemma 4, Mistral Small 3.2, Llama 3.3 | Çoğu Apache 2.0; Llama 3.3 kendi topluluk lisansıyla |
| Servis motoru | Modeli OpenAI uyumlu bir API olarak sunar | vLLM 0.32 | Apache 2.0 |
| Gömme modeli | Belge parçalarını ve soruyu vektöre çevirir | BGE-M3, multilingual-e5-large-instruct, Qwen3-Embedding | MIT, MIT, Apache 2.0 |
| Vektör veritabanı | Soruya en yakın parçaları bulur | pgvector 0.8.7, Qdrant 1.20 | PostgreSQL lisansı, Apache 2.0 |
| Arayüz | Sohbet, belge yükleme, kullanıcı yönetimi | Open WebUI 0.12, LibreChat | Marka koşullu Open WebUI lisansı, MIT |

Seçerken dikkat edilecekler:

- **Gömme modelinin girdi sınırı:** BGE-M3 100'den fazla dili ve 8.192 tokenlık girdiyi destekler, 1.024 boyutlu vektör üretir; yoğun, seyrek ve çok vektörlü aramayı aynı modelde sunar. multilingual-e5-large-instruct 512 tokenın ötesini keser; parçaları buna göre kısa tutun. Qwen3-Embedding'in 0,6B, 4B ve 8B sürümleri 32K token kabul eder.
- **Vektör boyutu:** pgvector'da HNSW indeksi `vector` tipinde en fazla 2.000, `halfvec` tipinde 4.000 boyutu destekler. Qwen3-Embedding-8B'nin 4.096 boyutlu çıktısını indekslemek için boyutu, modelin desteklediği MRL yöntemiyle küçültün. Qdrant, yoğun ve seyrek vektörlerle hibrit aramayı ve alan (payload) filtrelemeyi destekler.
- **Arayüz:** Open WebUI, vLLM gibi OpenAI uyumlu API'lere bağlanır; yerleşik RAG, hibrit arama ve yeniden sıralama (reranking), LDAP/Active Directory, OAuth ile tek oturum açma (SSO) ve SCIM 2.0 sunar. Lisansı BSD-3 tabanlıdır ama marka koşulu taşır: 30 günlük herhangi bir dönemde 50'den fazla son kullanıcısı olan kurulumlarda "Open WebUI" markasını kaldırmak ya da değiştirmek için yazılı izin ya da kurumsal lisans gerekir. MIT lisanslı LibreChat da OpenAI uyumlu API'lere bağlanır; LDAP ve OAuth2 ile girişi ve ayrı bir RAG API bileşenini destekler.

## RAG nedir, ince ayardan farkı ne?

RAG (retrieval-augmented generation, geri getirmeyle zenginleştirilmiş üretim), her soruda ilgili belge parçalarını bulup modele bağlam olarak verir ve modelin ağırlıklarını değiştirmez; ince ayar (fine-tuning) ise modeli kendi verinizle yeniden eğitip davranışını kalıcı olarak değiştirir.

RAG üç adımda çalışır:

1. Belgeler parçalara bölünür, gömme modeliyle vektöre çevrilir ve veritabanına yazılır.
2. Soru da vektöre çevrilir; en yakın parçalar bulunur, istenirse yeniden sıralanır.
3. Parçalar soruyla birlikte LLM'e verilir; model, kaynaklarını gösteren bir yanıt üretir.

| İhtiyaç | RAG | İnce ayar |
|---|---|---|
| Şirket belgelerine dayanan, kaynak gösteren yanıt | Uygun | Tek başına uygun değil |
| Sık değişen belgeler | Yeniden dizinlemek yeter | Yeniden eğitim gerekir |
| Kullanıcının yalnızca yetkili olduğu belgeleri görmesi | Belge düzeyinde filtrelenir | Model içinde ayrım yapılamaz |
| Belirli üslup, biçim ya da sınıflandırma | Sınırlı | Uygun |
| Bir kişinin verisinin silinmesi | Belge dizinden silinir | Model, eğitim verisindeki kişisel bilgiyi yeniden üretebilir |

RAG ile başlayın; ince ayarı, RAG'in çözemediği üslup ve görev uyarlamaları için kullanın ([LLM ince ayarı hizmetimiz](/hizmetler/llm-fine-tuning/)). RAG istemleri uzatır: beş adet 500 tokenlık parça her soruya 2.500 token ekler. Aşağıdaki boyutlandırma 8.192 token bağlam varsayar; daha uzun istemler için hesaplayıcıda bağlamı artırın.

## RAG için GPU gerekir mi?

Belgeleri dizinleyen ve arayan kısım için çoğu zaman gerekmez; birden çok çalışanın aynı anda soru sorduğu bir asistanda yanıtı üreten dil modeli için gerekir. Open WebUI'ın standart Docker imajı gömme modelini CPU'da çalıştırır; `:cuda` imajı yerel gömme modelini ve Whisper'ı GPU'da hızlandırır.

| Bileşen | CPU'da çalışır mı? | GPU ne zaman gerekir? |
|---|---|---|
| Dil modeli (LLM) | Küçük modellerde ve tek kullanıcıda çalışır (llama.cpp, Ollama), ama yanıt yavaş üretilir | Birden çok kişinin aynı anda kullandığı her asistanda |
| Gömme modeli | Çalışır | Büyük bir arşivi ilk kez ya da sık sık yeniden dizinlerken |
| Vektör veritabanı (pgvector, Qdrant) | Çalışır | Genellikle gerekmez |
| Arayüz (Open WebUI, LibreChat) | Çalışır | Arayüzün kendisi için gerekmez |

GPU'nuz varsa küçük bir gömme modeli dil modeliyle aynı kartta çalışabilir; belleği nasıl paylaştıracağınız aşağıdaki boyutlandırma bölümünde.

## Hangi açık model Türkçede iyi sonuç verir?

Tek bir doğru cevap yok: çok dilli genel modeller Türkçede genellikle Türkçeye özel modellerden daha iyi sonuç veriyor, ama kendi belgelerinizle test etmeden karar vermeyin.

- **Bağımsız değerlendirme:** Türkçe için hazırlanan 23 görevlik Cetvel değerlendirme seti (EACL 2026), 70B'ye kadar 33 açık modeli karşılaştırdı. Türkçeye özel talimat ince ayarlı modeller, Llama 3 ve Mistral gibi çok dilli ya da genel amaçlı modellerin genellikle gerisinde kaldı. Değerlendirilen modeller bugünkü sürümlerden eskidir.
- **Qwen:** Qwen3, listesinde Türkçenin açıkça yer aldığı 119 dil ve lehçeyi destekler; Qwen3.5'in model kartı 201 dil ve lehçe belirtir. Qwen3.6-27B Nisan 2026'da, Qwen3.8-27B Ağustos 2026'da Apache 2.0 lisansıyla yayımlandı; ikisi de 262.144 tokenlık yerel bağlam sunar.
- **Mistral Small 3.2 (24B):** Apache 2.0. Model kartı 3.2'yi 3.1'in küçük bir güncellemesi olarak tanımlar; 3.1'in kartı Türkçeyi desteklenen diller arasında sayar.
- **Gemma 4 31B ve gpt-oss:** İkisi de Apache 2.0. Gemma 4'ün model kartı 140'tan fazla dil belirtir; gpt-oss'un kartı dil listesi vermez.
- **Llama 3.3 70B:** Resmi olarak desteklenen sekiz dil arasında Türkçe yoktur. Lisansı, modeli içeren bir ürün ya da hizmeti dağıtır veya kullanıma sunarsanız "Built with Llama" ibaresini göstermenizi ister; model yayımlandığında 700 milyondan fazla aylık aktif kullanıcısı olan şirketler Meta'dan ayrıca lisans almalıdır.
- **Türkçeye özel modeller:** VNGRS'in Türkçe için sıfırdan eğittiği Kumru'nun 2B sürümü Apache 2.0 lisansıyla açıktır; bağlamı 8.192 tokendır. 7,4B sürüm için model kartı yalnızca bir demoya bağlantı veriyor. Trendyol-LLM-Asure-12B ise Gemma 3 12B tabanlıdır, Türkçe ve İngilizce e-ticaret görevlerine odaklanır ve Gemma lisansıyla dağıtılır.

Kendi belgelerinizden 50–100 soru ve beklenen yanıt hazırlayıp iki üç modeli aynı RAG düzeniyle karşılaştırın. Qwen3.6-27B için hesaplayıcıdaki Qwen3 32B satırını kaba bir üst sınır olarak kullanabilirsiniz: ağırlıklar daha küçüktür, hibrit dikkat mimarisi sayesinde KV önbelleği de daha az yer tutar.

## Kaç kullanıcıya hangi GPU yeter?

Kayıtlı kullanıcı sayısına değil, en yoğun saatte aynı anda yanıt üretilen istek sayısına göre seçin.

Eşzamanlı istek sayısını kabaca şöyle tahmin edebilirsiniz: en yoğun saatteki soru sayısı × ortalama yanıt süresi (saniye) ÷ 3.600. Örneğin en yoğun saatte 900 soru alan ve yanıtları ortalama 20 saniye süren bir asistan için bu 900 × 20 ÷ 3.600 = 5 eşzamanlı istek eder. Bulduğunuz değerin üzerine pay bırakın.

| Senaryo | Önerilen GPU | Neden (8.192 token, FP8 KV önbelleği) | Aylık fiyat |
|---|---|---|---|
| Pilot, tek departman, en fazla 16 eşzamanlı istek | RTX 5090 | Qwen3 14B FP8 16 istekte 27,3 GB; ECC ve MIG yok | $600 |
| Departman asistanı, 7/24, en fazla 32 istek | L40S | Qwen3 14B FP8 32 istekte 38,0 GB; 48 GB ECC'li bellek | $900 |
| Şirket geneli, 32 istek, daha güçlü model | RTX PRO 6000 | Qwen3 32B FP8 69,8 GB, gpt-oss-120b 74,9 GB | $1.600 |
| 70B sınıfı model, uzun belgeler | H200 | Llama 3.3 70B FP8 32 istekte 118,1 GB | $3.000 |

Değerler [VRAM hesaplayıcımızla](/araclar/vram-hesaplayici/) hesaplandı; hesaplayıcı kartın belleğinin %92'sini kullanılabilir sayar, vLLM de varsayılan olarak bu oranı ayırır. Gömme modeli LLM'e göre küçüktür (Qwen3-Embedding'in en küçüğü 0,6B parametre) ve aynı kartta çalıştırılabilir: iki vLLM sürecinin `--gpu-memory-utilization` değerlerini paylaştırın ya da RTX PRO 6000'i MIG ile 2 × 48 GB'a bölün (bu durumda dil modeline 48 GB kalır). Motor ayarları ve kapasite ölçümü [LLM inference hizmet sayfamızda](/hizmetler/inference/). Llama 3.3 70B FP8 16 eşzamanlı istekte 96,6 GB ister; bu yükte tek bir H100'e sığmaz (iki kartın farkı için [H100 mü, H200 mü?](/karsilastirma/h100-vs-h200/) karşılaştırmamıza bakın).

## Şirkete özel yapay zeka asistanı nasıl kurulur?

Yazılımı kendi ekibiniz ya da yazılım firmanız kurar; biz size ayrılmış GPU sunucusunu sağlarız. Kurulum kabaca beş adımdır:

1. **Kapsam:** Hangi belgelerin kullanılacağını, kimin neyi görebileceğini ve en yoğun saatteki eşzamanlı istek sayısını yazın.
2. **Model ve GPU:** Yukarıdaki tablodan başlayın.
3. **API:** vLLM, modeli varsayılan olarak 8000 numaralı portta OpenAI uyumlu bir API olarak sunar; konteyner kullanacaksanız önce [NVIDIA Container Toolkit kurulumunu](/blog/docker-nvidia-container-toolkit-kurulum/) tamamlayın.
4. **Arayüz ve gömme modeli:** Open WebUI'ın varsayılan gömme modeli İngilizce için eğitilmiş all-MiniLM-L6-v2'dir. Türkçe belgeler için BGE-M3 gibi çok dilli bir modeli belgeleri yüklemeden önce seçin; sonradan değiştirirseniz belgeleri yeniden dizinlemeniz gerekir.
5. **Erişim ve ölçüm:** API portunu internete açmayın, arayüzü VPN ya da kimlik doğrulamalı bir ters vekil (reverse proxy) arkasına alın ve yanıtları kendi belgelerinizden hazırladığınız 50–100 soruluk test setiyle ölçün.

## Kurumsal yapay zeka çözümleri: hazır plan mı, kendi sunucunuz mu?

Kurumsal yapay zeka çözümleri üç gruba ayrılır: hazır kurumsal asistan planları (ör. ChatGPT Enterprise, Microsoft Copilot), bir yazılım firmasının kurduğu anahtar teslim projeler ve size ayrılmış bir GPU sunucusunda açık modelle çalışan asistanlar; biz üçüncü yol için sunucuyu aylık kiralıyoruz. Yaygın kullanım alanları belgeler üzerinde soru-cevap, destek taleplerini özetleme, kod asistanı, [toplantı kayıtlarını yazıya çevirme](/hizmetler/ses-tanima/) ve belgelerden veri çıkarmadır; sektöre özel örnekler [finans ve bankacılıkta yapay zeka](/hizmetler/finans-ai/) sayfamızda.

En güçlü kapalı modeller zor işlerde genellikle daha iyi sonuç verir; kendi sunucunuz ise veri kontrolü, sabit maliyet ve verinin Türkiye'de kalmasını sağlar.

| Konu | Kurumsal API ya da asistan planı (ör. ChatGPT Enterprise, Microsoft Copilot) | Kendi GPU sunucunuzda açık model |
|---|---|---|
| Model gücü | Karmaşık akıl yürütme ve kodda genellikle önde | Birçok işte yeterli; kendi testinizle doğrulayın |
| Verinin işlendiği yer | Sağlayıcının altyapısı; Türkiye dışındaysa KVKK m.9 | İstanbul'daki tesisimiz, size ayrılmış GPU |
| Eğitimde kullanım | Microsoft, Copilot'ta istem ve yanıtların temel modelleri eğitmek için kullanılmadığını belirtir | Model ve veri sizin sunucunuzda kalır |
| Maliyet | Kullanıcı ya da token başına; kullanım arttıkça artar | GPU başına aylık sabit |
| Kurulum ve işletme | Hazır hizmet | Yazılımı kendi ekibiniz kurar ve günceller |
| Ölçek | Sağlayıcının kapasitesi | Tek siparişte en fazla 8 GPU |

İki yol birlikte de kullanılabilir: kişisel veri ve ticari sır içermeyen işlerde kurumsal bir API'ye izin verip müşteri dosyalarını, insan kaynakları verilerini ve iç yazışmaları kendi sunucunuzdaki asistana yönlendirebilirsiniz. Çok GPU'lu ya da MIG'li bir yapılandırma gerekiyorsa bunu [sipariş formundaki](/siparis/) mesaj alanına yazın.

## KVKK açısından kısa not

Kişisel veri içeren istemleri ya da belgeleri yurt dışındaki bir yapay zeka servisine göndermek KVKK'ya göre yurt dışına aktarımdır ve 7499 sayılı Kanun'la değişen, 1 Haziran 2024'ten beri uygulanan 9. maddeye tabidir; Kurum'un aktarım rehberi arızi aktarımı "süreklilik arz etmeyen" haller olarak tanımladığı için her gün kullanılan bir asistan bu istisnaya girmez. Kurum'un 24 Kasım 2025 tarihli üretken yapay zeka rehberi aynı kuralı hatırlatır; 5 Mart 2026'da duyurduğu iş yerleri dokümanı da çalışanların bu araçları çoğu zaman tanımlı bir kurumsal politika olmadan kullandığına dikkat çeker. Veriyi Türkiye'de işlediğinizde yurt dışına aktarım gündeme gelmez, ama aydınlatma, hukuki sebep, veri güvenliği ve veri işleme sözleşmesi gibi yükümlülükler sürer; ayrıntılar [KVKK ve yapay zeka rehberimizde](/blog/kvkk-gpu-kiralama-turkiye/), sağlayıcıya sorulacak sorular [kurumsal GPU kiralama güvenlik rehberimizde](/blog/kurumsal-gpu-kiralama-guvenlik-sla/).

> Bu bölüm genel bilgi amaçlıdır, hukuki tavsiye değildir. Uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır; projenize özel değerlendirme için bir KVKK uzmanına danışın.

## Şirket içi yapay zeka sunucusu ne zaman mantıklı?

Kişisel ya da gizli veriyle her gün çalışan bir asistan için mantıklıdır; az kullanıcılı ve hassas veri içermeyen işler için çoğu zaman değildir.

- **Mantıklı olduğu durumlar:** Müşteri ve iç verinizi yurt dışına göndermek istemiyor ya da gönderemiyorsanız, asistan her gün düzenli kullanılıyorsa ve bütçeyi kullanıcı sayısından bağımsız, aylık sabit tutmak istiyorsanız. Fiyatlar ABD doları cinsindendir; fatura, fatura tarihindeki TCMB döviz satış kuruyla Türk lirası olarak kesilir.
- **Mantıklı olmadığı durumlar:** Birkaç kişilik bir ekip hassas veri içermeyen işler için asistan arıyorsa kurumsal bir API planı daha hızlı ve muhtemelen daha ucuz bir çözümdür. En güçlü kapalı modellere ihtiyacınız varsa ya da yazılımı kurup güncelleyecek bir ekibiniz yoksa da API daha uygundur; yönetilen hizmet sunmuyoruz.
- **Satın alma:** Donanımı satın almak, tam kullanımda uzun vadede daha ucuz olabilir; hesabını [kiralama mı, satın alma mı yazımızda](/blog/gpu-kiralama-vs-satin-alma-maliyet-hesaplama/) bulabilirsiniz.

## Özet

- Şirkete özel asistan açık model, servis motoru, gömme modeli, vektör veritabanı ve arayüzden oluşur; hepsi kendi sunucunuzda çalışınca veriler Türkiye'de kalır.
- RAG ile başlayın; Türkçe başarımı modele göre değiştiği için modeli kendi belgelerinizden hazırladığınız bir test setiyle seçin.
- RAG'in arama tarafı (gömme modeli, vektör veritabanı, arayüz) CPU'da çalışabilir; çok kullanıcılı bir asistanda yanıtı üreten dil modeli için GPU gerekir.
- Boyutu eşzamanlı istek belirler: 32 istekte Qwen3 32B FP8 tek RTX PRO 6000'e (69,8 GB), Llama 3.3 70B FP8 tek H200'e (118,1 GB) sığar.
- Yurt dışındaki bir API'ye kişisel veri göndermek KVKK m.9 kapsamında aktarımdır; Türkiye'de işlemek bu soruyu kaldırır, diğer yükümlülükleri kaldırmaz.

## Kaynaklar

- [KVKK: Üretken Yapay Zeka ve Kişisel Verilerin Korunması Rehberi (15 Soruda)](https://www.kvkk.gov.tr/Icerik/8547/uretken-yapay-zeka-ve-kisisel-verilerin-korunmasi-rehberi-15-soruda)
- [KVKK: İş Yerlerinde Üretken Yapay Zeka Araçlarının Kullanımı](https://www.kvkk.gov.tr/Icerik/8674/is-yerlerinde-uretken-yapay-zeka-araclarinin-kullanimi)
- [Resmi Gazete, 12 Mart 2024: 7499 sayılı Kanun](https://www.resmigazete.gov.tr/eskiler/2024/03/20240312-1.htm)
- [Er ve ark. (EACL 2026): Cetvel, Türkçe LLM değerlendirme seti](https://aclanthology.org/2026.eacl-long.46)
- [Qwen3 duyurusu ve desteklenen diller](https://qwenlm.github.io/blog/qwen3/)
- [Open WebUI License](https://github.com/open-webui/open-webui/blob/main/LICENSE)
- [KVKK: Kişisel Verilerin Yurt Dışına Aktarılması Rehberi](https://www.kvkk.gov.tr/Icerik/8142/Kisisel-Verilerin-Yurt-Disina-Aktarilmasi-Rehberi)
- [Microsoft Learn: Enterprise data protection in Microsoft Copilot](https://learn.microsoft.com/en-us/copilot/microsoft-365/enterprise-data-protection)
- [Open WebUI: ortam değişkenleri (RAG_EMBEDDING_MODEL, OPENAI_API_BASE_URL, USE_CUDA_DOCKER)](https://docs.openwebui.com/reference/env-configuration/)
- [Open WebUI: Dockerfile (varsayılan gömme modeli, CPU/CUDA imajı, yeniden dizinleme uyarısı)](https://github.com/open-webui/open-webui/blob/main/Dockerfile)
- [Hugging Face: sentence-transformers/all-MiniLM-L6-v2 model kartı](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2)
- [vLLM: Quickstart, OpenAI uyumlu sunucu](https://docs.vllm.ai/en/latest/getting_started/quickstart/)
- [llama.cpp: CPU ve hibrit CPU+GPU çıkarımı](https://github.com/ggml-org/llama.cpp)
- [NVIDIA H100: ürün özellikleri (80 GB SXM, 94 GB NVL)](https://www.nvidia.com/en-us/data-center/h100/)

## Sık sorulan sorular

**Şirkete özel bir LLM'in aylık maliyeti ne kadar?**
GPU başına aylık sabit fiyat ödersiniz; kullanıcı ya da token başına ücret yoktur. Örneğin 48 GB'lık L40S aylık $900, 96 GB'lık RTX PRO 6000 aylık $1.600 (KDV hariç); yıllık kiralamada %20 indirim uygulanır. Fiyatlar ABD doları cinsindendir; fatura, fatura tarihindeki TCMB döviz satış kuruyla Türk lirası olarak kesilir.

**RAG sistemini ve sohbet arayüzünü sizin için kuruyor musunuz?**
Sohbet arayüzünü ve belge sohbetini (RAG) kurulu teslim edebiliriz: Ollama + Open WebUI paketini seçerseniz Ollama, Open WebUI ve bge-m3 gömme modeli kurulu, HTTPS ve şifreyle erişilebilir halde gelir; kurulum ücretsizdir. Şirketinize özel entegrasyonları, veri bağlantılarını ve uygulama geliştirmeyi kendi ekibiniz ya da çalıştığınız yazılım firması yapar.

**Kişisel veri içeren belgeleri bu sunucuda işlemek KVKK açısından ne anlama gelir?**
Sunucular İstanbul Bağcılar'daki kendi tesisimizde olduğu için veriler Türkiye'de kalır ve yurt dışına aktarım gündeme gelmez. Aydınlatma, hukuki sebep ve veri güvenliği gibi yükümlülükler devam eder; uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır. Bu genel bilgidir, hukuki tavsiye değildir.

**Open WebUI'ı şirket içinde ticari olarak kullanabilir miyiz?**
Evet, ama lisansında marka koşulu vardır: 30 günlük herhangi bir dönemde 50'den fazla son kullanıcısı olan kurulumlarda "Open WebUI" markasını kaldırmak ya da değiştirmek için yazılı izin ya da kurumsal lisans gerekir. Markayı değiştirmeden kullanmak bu koşula takılmaz; MIT lisanslı LibreChat da bir seçenektir.

**Gömme modeli ve vektör veritabanı için ayrı GPU gerekir mi?**
Çoğu kurulumda gerekmez: Qwen3-Embedding'in 0,6B sürümü gibi gömme modelleri dil modeline göre çok küçüktür ve aynı kartta çalıştırılabilir. RTX PRO 6000'i MIG ile bölerek dil modelini ve gömme modelini ayrı bölümlerde yalıtabilirsiniz.

**Kullanıcı sayımız artarsa kapasiteyi büyütebilir miyiz?**
Tek siparişte en fazla 8 GPU kiralanabilir; çok GPU'lu ya da özel yapılandırma ihtiyacınızı sipariş formundaki mesaj alanına yazın. Kiralama süresi en az 1 aydır.

**Open WebUI ile RAG için hangi GPU yeter?**
GPU ihtiyacını Open WebUI değil, bağladığınız dil modeli belirler; Open WebUI'ın standart imajı CPU'da çalışır. 8.192 token bağlam ve FP8 KV önbelleğiyle 16 eşzamanlı isteğe kadar Qwen3 14B FP8 (27,3 GB) için RTX 5090 aylık $600, 32 istekte Qwen3 32B FP8 (69,8 GB) için RTX PRO 6000 aylık $1.600 yeterlidir; fiyatlar GPU başına ve KDV hariçtir.

**Şirket verisini ChatGPT'ye vermeden yapay zeka kullanılabilir mi?**
Evet. Qwen3, gpt-oss ya da Gemma 4 gibi açık ağırlıklı bir modeli size ayrılmış GPU sunucusunda vLLM ile çalıştırıp Open WebUI ya da LibreChat ile çalışanlara açtığınızda istemler ve belgeler bu sunucuda işlenir ve Türkiye'de kalır. Open WebUI'da OpenAI bağlantısının varsayılan adresi api.openai.com olduğu için bağlantıyı kendi vLLM adresinize yönlendirin ve dış API bağlantılarını kapalı tutun.