LLM fine-tuning için GPU sunucu kiralama: LoRA, QLoRA ve tam ince ayar

LLM fine-tuning için GPU sunucu: kısa cevap

LLM fine-tuning (ince ayar), hazır bir dil modelini kendi örneklerinizle ek eğitimden geçirip belirli bir göreve ya da üsluba uyarlamaktır. Çoğu iş için LoRA ya da QLoRA yeterlidir ve tek GPU'ya sığar: Llama 3.1 8B QLoRA'da 8,3 GB, LoRA'da 19,9 GB VRAM ister. Bu iş için size ayrılmış, paylaşımsız GPU sunucusunu aylık kiralayabilirsiniz; veriler İstanbul Bağcılar'daki tesisimizde kalır.

Değerler sitemizin VRAM hesabından (2.048 token, batch 1, gradient checkpointing açık); aynı ayarlarla Qwen3 32B LoRA'da 72,2 GB, Llama 3.3 70B QLoRA'da 50,5 GB ister. Tam ince ayarda (full fine-tuning) ağırlık, gradyan ve AdamW durumu parametre başına yaklaşık 16 bayt tutar: 8B bir model bile 131,6 GB ister ve en az iki karta bölünür. Ekim 2026 itibarıyla önerilerimiz şöyle (fiyatlar GPU başına, aylık ve KDV hariç):

• 8B LoRA, 14–32B QLoRA: 32 GB'lık RTX 5090, aylık $600.
• 32B LoRA, 70B QLoRA, eğitim ve servis aynı kartta: 96 GB'lık RTX PRO 6000, aylık $1.600.
• Tam ince ayar: 8B için 2 × H100 (GPU başına aylık $2.500), 14B için 2 × H200 (GPU başına aylık $3.000).
• Ayda yalnızca bir iki kısa eğitim yapacaksanız saatlik bir bulut daha ucuz olabilir; aylık sunucu sık deney yapan ya da modelini aynı makinede servis eden ekipler içindir.

İnce ayar mı, RAG mı?

Modelin bilmediği ve sık değişen bilgiyi eklemek istiyorsanız RAG, modelin cevap verme biçimini değiştirmek istiyorsanız ince ayar doğru araçtır.

LIMA çalışmasında 65B'lik bir LLaMA modeli yalnızca 1.000 özenle seçilmiş örnekle ince ayarlandı. Yazarlar, modelin bilgisinin neredeyse tamamının ön eğitimde (pretraining) öğrenildiği sonucuna vardı.

• İnce ayara uygun: sabit bir JSON şeması, sınıflandırma, kurumsal üslup, alan terminolojisi, büyük bir modelin işini küçük ve ucuz bir modele devretmek.
• RAG için uygun: ürün kataloğu, mevzuat, iç belgeler gibi güncel kalması gereken bilgi; kaynak gösterme; belge bazında erişim yetkisi.

İkisi çoğu zaman birlikte kullanılır: RAG doğru belgeyi getirir, ince ayarlı model cevabı istenen biçimde yazar. Şirket içi asistanın yapı taşlarını kurumsal yapay zeka sayfamızda anlattık.

LoRA, QLoRA ve tam ince ayar arasındaki fark nedir?

Üçü de aynı modeli uyarlar; fark, hangi ağırlıkların eğitildiği ve ana modelin bellekte nasıl tutulduğudur.

LoRA'yı tanıtan makale, GPT-3 175B'de eğitilen parametre sayısını 10.000 kat, GPU belleği ihtiyacını 3 kat azalttığını ve çıkarıma (inference) ek gecikme eklemediğini gösterdi. QLoRA makalesi ise 65B bir modelin tek bir 48 GB GPU'da, 16-bit ince ayarın başarımını koruyarak eğitilebildiğini gösterdi.

LoRA ya da QLoRA ile başlayın; tam ince ayarı sona bırakın. Sürekli ön eğitim ve sıfırdan eğitim için model eğitimi sayfamıza bakın.

İnce ayarda model boyutuna göre kaç GB VRAM gerekir?

QLoRA'da 70B'ye, LoRA'da 32B'ye kadar modeller tek karta sığar; tam ince ayar ise 8B'de bile iki kart ister. Değerler sitemizin VRAM hesaplayıcısından; varsayım: 2.048 token, batch 1, gradient checkpointing açık, kart belleğinin %92'si kullanılabilir.

Dizi uzunluğu ve batch büyüdükçe aktivasyon belleği hızla artar. 4.096 token ve batch 4'te Qwen3 14B LoRA 55 GB'a, Llama 3.3 70B QLoRA 95,4 GB'a çıkar; ikincisi artık tek bir RTX PRO 6000'e sığmaz. Kendi ayarlarınızı VRAM hesaplayıcının ince ayar modunda deneyin. Qwen3.6 27B ya da Gemma 4 31B gibi tabloda olmayan yoğun (dense) modellerde ihtiyaç kabaca parametre sayısıyla orantılıdır.

LLM fine-tuning için kiralık GPU sunucusu nasıl seçilir?

Önce yöntemi ve modeli belirleyin, sonra o modelin sığdığı kartlar arasında aylık fiyatı düşük olanla başlayın; çok GPU'ya yalnızca model tek karta sığmadığında ya da eğitim süresi işinize uymadığında geçin. Kartların FP8 ve FP4 desteğini, bellek bant genişliğini ve çok GPU'lu eğitimdeki farklarını LLM fine-tuning için en iyi GPU rehberimizde karşılaştırdık.

RTX PRO 6000, RTX 5090 ve L40S PCIe üzerinden haberleşir; H100 ve H200 NVLink destekler, ancak kiraladığınız sunucudaki bağlantı kartın sürümüne ve sunucu yapılandırmasına bağlıdır. LoRA'da GPU'lar yalnızca küçük adaptör gradyanlarını paylaştığı için PCIe genellikle yeter; tam ince ayarda iletişim yükü artar. 8B tam ince ayar 2 × RTX PRO 6000'e de sığar, ancak FSDP trafiği PCIe'den geçer. NVLink ihtiyacınızı sipariş formunda belirtin.

İki kart arasında kaldıysanız RTX 5090 ile RTX PRO 6000 farkını ve RTX PRO 6000 ile H100 farkını karşılaştırma sayfalarımızda anlattık.

İnce ayar hangi framework ile yapılır?

LLM fine-tuning için tek GPU'da Unsloth ya da TRL, çok GPU'da Axolotl ya da LlamaFactory yaygın seçeneklerdir. Dördü de GitHub'da Apache 2.0 lisansıyla geliştirilen açık kaynak projelerdir ve Hugging Face model biçimiyle çalışır. Ekim 2026 itibarıyla güncel sürümler:

• Unsloth (2026.10.8): Tek GPU'da daha az bellekle LoRA, QLoRA ve tam ince ayar; RTX 5090 ve RTX PRO 6000 gibi Blackwell kartları destekler. Belgelerine göre çok GPU şimdilik Accelerate ya da DeepSpeed ile, elle kurulumla çalışıyor.
• Hugging Face TRL (1.16.0) ve PEFT (0.21.2): SFT, DPO, GRPO ve KTO eğiticileri; LoRA ve QLoRA adaptörleri PEFT ile kurulur.
• Axolotl (0.21.0): Süreci tek bir YAML dosyasında tanımlar; FSDP2 ve DeepSpeed ile çok GPU'yu, torchrun ve Ray ile çok sunuculu eğitimi destekler.
• LlamaFactory (eski adıyla LLaMA-Factory, 0.9.5): LlamaBoard web arayüzüyle kod yazmadan LoRA, QLoRA, tam ince ayar ve DPO, KTO, ORPO gibi tercih optimizasyonu yöntemleri.
• torchtune: PyTorch ekibi 15 Temmuz 2025'te aktif geliştirmeyi durdurdu; projeye yeni özellik eklenmiyor. Yeni bir projeye torchtune ile başlamayın.

TRL ile tek kartta LoRA eğitimi; ayarlar tablodaki varsayımla aynıdır (Qwen3 8B LoRA: 20,6 GB). Veri, her satırı bir {"messages": [...]} kaydı olan JSONL dosyasıdır:

import torch
from datasets import load_dataset
from peft import LoraConfig
from trl import SFTConfig, SFTTrainer

dataset = load_dataset("json", data_files="egitim.jsonl", split="train")

trainer = SFTTrainer(
    model="Qwen/Qwen3-8B",
    train_dataset=dataset,
    args=SFTConfig(
        output_dir="qwen3-8b-lora",
        max_length=2048,
        per_device_train_batch_size=1,
        gradient_accumulation_steps=16,
        learning_rate=1e-4,
        num_train_epochs=2,
        assistant_only_loss=True,  # kayıp yalnızca asistan cevaplarında
        model_init_kwargs={"dtype": torch.bfloat16},  # belirtilmezse FP32 yüklenir
    ),
    peft_config=LoraConfig(r=16, lora_alpha=32, target_modules="all-linear"),
)
trainer.train()

Betiği egit.py olarak kaydedip tek kartta python egit.py, birden fazla kartta accelerate launch egit.py ile çalıştırırsınız. QLoRA için SFTTrainer'ın quantization_config parametresine 4-bit bir BitsAndBytesConfig verilir.

Eğitimden sonra adaptörü PEFT'in merge_and_unload() işleviyle ana modele birleştirebilir ya da birleştirmeden vLLM'de --enable-lora seçeneğiyle sunabilirsiniz; vLLM aynı ana model üzerinde birden çok adaptörü birlikte servis eder. Servis tarafı için LLM inference sayfamıza bakın.

Hangi temel model, hangi lisans?

Ticari kullanımda en az kısıtlı seçenek Apache 2.0 lisanslı modellerdir; Llama ise adlandırma ve ibare şartı getirir. Ekim 2026 itibarıyla yaygın açık modeller:

Türkçeye özel seçenekler de var: VNGRS'in Kumru-2B modeli (Apache 2.0) Türkçe için hazırlanmış, 50.176 tokenlık bir tokenizer kullanır. Trendyol-LLM-8B-T1 (Apache 2.0) ise Qwen3 8B üzerine Türkçe e-ticaret verisiyle geliştirilmiştir. Tabanı kendi değerlendirme setinizde seçin. Bu bölüm genel bilgidir, hukuki tavsiye değildir.

Türkçe veri nasıl hazırlanır?

Veriyi modelin sohbet şablonuna uygun, temiz ve kişisel veriden arındırılmış biçimde hazırlayın; sonucu çoğu zaman GPU değil veri belirler.

• Sohbet şablonu: Örnekleri kullanıcı ve asistan rolleriyle saklayın; TRL bu biçimde modelin kendi sohbet şablonunu (chat template) uygular. Şablonu elle yazmayın: Hugging Face belgelerine göre yanlış kontrol tokenları başarımı belirgin biçimde düşürür, şablonun üstüne ikinci kez özel token eklemek de modele zarar verir.
• Kaybı cevaplarda hesaplayın: assistant_only_loss=True ile model kullanıcı mesajlarını değil, cevapları öğrenir.
• Az ama temiz veri: Birkaç bin tutarlı ve kontrol edilmiş örnekle başlayın; bir kısmını değerlendirme için ayırıp eğitime hiç sokmayın.
• Türkçe harfler: Metni küçük harfe çevirmeyin. Python'un varsayılan lower() işlevi "IŞIK"ı "işik" yapar, "İ"yi ise "i" artı ayrı bir nokta işaretine (U+0307) çevirir. Dosyaları UTF-8 olarak kaydedin.
• Token sayısı: Çok dilli tokenizer'lar Türkçe kelimeleri genellikle birkaç parçaya böler; süre ve bellek hesabını kelimeyle değil, modelin kendi tokenizer'ıyla saydığınız tokenla yapın.
• Kişisel veri: Müşteri yazışmaları ve çağrı kayıtları kişisel veridir; eğitimden önce ayıklayın ya da maskeleyin. Ayrıntılar KVKK rehberimizde.

Eğitim süresi ve bütçe

Süreyi tahmin etmek için eğitimi 50–100 adım çalıştırıp saniyedeki token sayısını ölçün ve toplam token sayısını (örnek sayısı × ortalama token × epoch) bu hıza bölün; maliyeti ise tek koşunun süresinden çok deneme sayısı belirler. Örnek hesaplar için LLM fine-tuning ne kadar sürer ve ne kadara mal olur? yazımıza, birden fazla GPU'ya geçiş için multi-GPU eğitim rehberimize bakın.

Aylık sunucu ne zaman mantıklı, ne zaman değil?

Aylık ve size ayrılmış bir sunucu, kartı ayın büyük bölümünde kullanıyorsanız mantıklıdır. En kısa kiralama süresi 1 aydır ve saat bazında ücretlendirme yapmıyoruz; yıllık planda aylık fiyata %20 indirim uygulanır.

Mantıklı olduğu durumlar:

• Haftada birkaç eğitim ve değerlendirme koşuyorsanız: sabit fiyatta her ek koşunun ek maliyeti yoktur.
• Eğittiğiniz modeli aynı sunucuda servis edecekseniz: kart, eğitim bitince boşa çıkmaz.
• Eğitim verisi kişisel veri ya da ticari sır içeriyorsa: veriler İstanbul'daki kendi tesisimizde, Türkiye'de kalır. Uyum değerlendirmesi kendi veri işleme süreçlerinize bağlıdır; bu bilgi hukuki tavsiye değildir.
• Sabit bir aylık dolar fiyatıyla çalışıp Türk lirası fatura almak istiyorsanız: fatura, kesildiği günün TCMB döviz satış kuruyla düzenlenir.

Mantıklı olmadığı durumlar:

• Ayda bir iki kez, birkaç saatlik tek bir eğitim yapacaksanız saatlik bir bulut daha ucuzdur. Karşılaştırmak için aylık fiyatı sağlayıcının saatlik fiyatına bölün; çıkan sayı, aylık sunucunun öne geçtiği kullanım saatidir. Aylık fiyatımızın 730 saate bölünmüş karşılığı RTX PRO 6000 için $2,19, H100 için $3,42. Global bulutların güncel saatlik fiyatları model sayfalarımızda yer alır.
• Veri yurt dışına çıkabiliyorsa, en güçlü kapalı modeller API üzerinden bazı işlerde ince ayarlı bir açık modelden daha iyi sonuç verebilir; önce küçük bir test setinde karşılaştırın.

Özet

• LoRA ve QLoRA çoğu iş için yeterlidir ve tek GPU'ya sığar: 8B LoRA 19,9 GB, 32B LoRA 72,2 GB, 70B QLoRA 50,5 GB (2.048 token, batch 1).
• Tam ince ayar parametre başına ~16 bayt ister; 8B bir model bile 131,6 GB ile iki kart gerektirir.
• Yaygın araçlar Unsloth, TRL, Axolotl ve LlamaFactory'dir; torchtune artık geliştirilmiyor.
• Süreyi kısa bir ölçüm koşusuyla tahmin edin; maliyeti deneme sayısı belirler.
• Aylık sunucu sık deney yapan ve modelini aynı makinede servis eden ekipler içindir; tek seferlik kısa işlerde saatlik bulut daha ucuz olabilir.

Kaynaklar

• Hu ve ark. (2021): LoRA: Low-Rank Adaptation of Large Language Models
• Dettmers ve ark. (2023): QLoRA: Efficient Finetuning of Quantized LLMs
• Zhou ve ark. (2023): LIMA: Less Is More for Alignment
• Hugging Face TRL: SFT Trainer
• Hugging Face Transformers: Chat templates
• vLLM: LoRA Adapters
• torchtune: The future of torchtune (GitHub)
• Meta: Llama 3.3 Community License Agreement
• Unsloth: Multi-GPU Fine-tuning with Unsloth
• LlamaFactory (GitHub)
• OpenAI: gpt-oss-20b model kartı
• Google: Gemma 4 31B model kartı
• VNGRS: Kumru-2B model kartı
• Trendyol: Trendyol-LLM-8B-T1 model kartı