LLM Fine-Tuning Maliyeti: VRAM, Eğitim Süresi ve Bütçe Hesabı

Kısa cevap

LLM fine-tuning maliyeti, işin sığdığı en küçük karta ve ay içinde kaç deneme yaptığınıza bağlıdır. Bizde Llama 3.1 8B QLoRA için RTX PRO 4000 aylık $450, 8B LoRA ve 32B QLoRA için RTX 5090 aylık $600, 70B QLoRA için RTX PRO 6000 aylık $1.600 tutar (GPU başına, KDV hariç). Tek bir 8B eğitimi genellikle birkaç saat sürdüğü için asıl maliyeti kaç deneme yaptığınız belirler: veri setini düzeltip yeniden eğitmek, hiperparametre denemek ve sonuçları değerlendirmek.

Full fine-tuning ise başka bir lig: parametre başına yaklaşık 16 bayt bellek ister, yani 8B bir model için bile 128 GB'ın üzerine çıkar ve genellikle birden fazla GPU gerektirir.

Önce yöntemi seçin: QLoRA, LoRA, full fine-tuning

• QLoRA: Ana model 4-bit'e sıkıştırılarak dondurulur, üzerine küçük adaptör katmanları eğitilir. En az bellek ister. QLoRA'yı tanıtan makale, 65B bir modelin tek bir 48 GB GPU'da ince ayarlanabildiğini ve sonuçların 16-bit ince ayara çok yakın olduğunu göstermişti.
• LoRA: Ana model BF16'da dondurulur, adaptörler eğitilir. QLoRA'dan biraz daha hızlı ve hassastır; model ağırlıkları için bellek ihtiyacı yaklaşık 4 kat fazladır.
• Full fine-tuning: Tüm ağırlıklar güncellenir. Ağırlıklar, gradyanlar ve optimizer durumu birlikte tutulduğu için en pahalı yöntemdir. Modelin davranışını kökten değiştirmeniz gerekmiyorsa çoğu iş için gerekmez.

Pratik öneri: QLoRA veya LoRA ile başlayın. Sonuç yetmezse önce verinizi iyileştirin; full fine-tuning'i en sona bırakın.

LLM fine-tuning kaç GB VRAM ister?

Kaba hesap şöyle:

• QLoRA: parametre sayısı × ~0,5 bayt + aktivasyonlar
• LoRA: parametre sayısı × 2 bayt + aktivasyonlar
• Full fine-tuning (AdamW, karışık hassasiyet): parametre sayısı × ~16 bayt + aktivasyonlar

Aktivasyon belleği dizi uzunluğu ve batch boyutuyla büyür; gradient checkpointing bunu ciddi ölçüde azaltır. Sitemizin VRAM hesabına göre 2.048 token, batch 1, rank 16 LoRA ve gradient checkpointing açıkken değerler şöyle:

Bu değerler planlama içindir. Gerçek kullanım eğitim aracına (TRL, Axolotl, Unsloth), LoRA rank'ine ve batch boyutuna göre değişir; birkaç GB pay bırakın.

Kendi modeliniz, dizi uzunluğunuz ve batch boyutunuz için VRAM hesaplayıcımızda "İnce ayar" seçeneğini kullanabilirsiniz.

LLM fine-tuning ne kadara mal olur?

Bizde maliyet, işinizin sığdığı karta ve kart sayısına bağlıdır. Tek karta sığan işler (2.048 token, batch 1, gradient checkpointing açık):

Fiyatlar GPU başına, ABD doları cinsinden ve KDV hariçtir; fatura, fatura tarihindeki TCMB satış kuruyla Türk lirası olarak kesilir. Kiralamalar aylıktır; saatlik karşılığı yalnızca aylık fiyatın 730 saate bölünmesidir.

Tam ince ayar birden fazla GPU ister. Llama 3.1 8B yaklaşık 132 GB ile 2 karta sığar: 2 × RTX PRO 6000 ya da 2 × H100 (GPU başına aylık $1.600 ve $2.500). Qwen3 14B yaklaşık 241 GB ister ve 2 × H200 ile yapılabilir (GPU başına aylık $3.000). Llama 3.3 70B'nin tam ince ayarı ise yaklaşık 1,14 TB ister; bu, tek siparişte kiralanabilen en fazla 8 GPU'nun toplam belleğini bile aşar (8 × H200 = 1.128 GB). 70B'de çoğu ekip için QLoRA ya da LoRA daha mantıklıdır.

LLM fine-tuning ne kadar sürer?

Süreyi tahmin etmenin en güvenilir yolu kısa bir ölçüm yapmaktır:

1. Toplam token sayısını hesaplayın: örnek sayısı × ortalama token sayısı × epoch sayısı.
2. Hızı ölçün: Eğitimi 50–100 adım çalıştırıp saniyedeki token sayısını not edin.
3. Bölün: toplam token ÷ saniyedeki token = süre.

Örnek: 20.000 örnek × 600 token × 3 epoch = 36 milyon token. Saniyede 2.500 token işleyen bir kurulumda bu yaklaşık 4 saat eder. Bu hız kaba bir hesaba dayanır: gradient checkpointing açıkken LoRA eğitimi token başına yaklaşık 6 × parametre sayısı kadar işlem yapar (ileri geçiş, yeniden hesaplama ve geri yayılım için yaklaşık 2'şer kat), yani 8B bir model için token başına yaklaşık 48 milyar işlem. L40S'in seyrekliksiz BF16 tensör gücü 362 TFLOPS'tur; bunun üçte birini kullanabilen bir kurulum saniyede yaklaşık 2.500 token işler. H100'ün seyrekliksiz BF16 gücü sürüme göre L40S'in yaklaşık 2,1–2,7 katı olduğundan aynı iş kabaca yarı ile üçte bir arası bir sürede biter. Kendi veriniz ve ayarlarınızla mutlaka ölçün.

Deneme başına maliyet nasıl hesaplanır?

Saatlik bulutta maliyet "saat × saatlik fiyat"tır. Aylık sabit fiyatlı bir sunucuda ise bir eğitimin ek maliyeti sıfırdır; asıl soru ay içinde kaç deneme yapabileceğinizdir.

Yukarıdaki 4 saatlik örnekte, sunucu tüm ay sizin olduğu için teorik olarak günde beş-altı eğitim çalıştırabilirsiniz. Gerçekte veri hazırlama, değerlendirme ve hata ayıklama da zaman alır; yine de aynı ay içinde onlarca deneme yapmak mümkündür. Deneme başına maliyet, aylık fiyatın ay içindeki deneme sayısına bölünmesidir; deneme sayısı arttıkça bu tutar düşer.

Dürüst bir uyarı: Ayda yalnızca bir iki eğitim çalıştıracaksanız saatlik ücretli bir bulut daha ucuz olabilir; başabaş hesabını bulut GPU mu, fiziksel sunucu mu yazımızda yaptık. Aylık kiralama; sürekli iterasyon yapan, ince ayarladığı modeli aynı sunucuda yayına alan ya da veriyi yurt dışına çıkaramayan ekipler için mantıklıdır. Kart satın almakla kıyaslamak için GPU kiralama mı, satın alma mı hesabımıza bakın.

Gözden kaçan maliyet kalemleri

• Veri hazırlama: Temizleme, etiketleme ve formatlama çoğu projede GPU süresinden daha fazla emek ister. Kötü veriyle yapılan her eğitim boşa giden bir denemedir.
• Değerlendirme: Her eğitimden sonra modeli bir test setinde çalıştırmak da GPU süresi harcar. Bunu baştan otomatikleştirin.
• Başarısız denemeler: Yanlış öğrenme oranı, taşan bellek, bozuk veri. İlk denemelerde bunlar normaldir; kısa ölçüm çalıştırmalarıyla erken yakalayın.
• Yayına alma: İnce ayarlanan modeli kullanıcıya sunmak için bir inference sunucusu gerekir. Aylık sunucuda eğitim ve servis aynı makinede yapılabilir; saatlik bulutta servis için ayrı bir bütçe ayırmanız gerekir.
• Depolama ve aktarım: LoRA adaptörleri küçüktür ama adaptörü birleştirilmiş 8B bir modelin her BF16 kopyası yaklaşık 16 GB'tır; full fine-tuning checkpoint'leri optimizer durumuyla birlikte bunun birkaç katına çıkar.

Maliyeti düşürmenin yolları

1. QLoRA ile başlayın, sonuç yetmezse LoRA'ya geçin.
2. Veriyi küçültün ama iyileştirin. Birkaç bin temiz örnek, on binlerce gürültülü örnekten çoğu zaman daha iyi sonuç verir.
3. Dizi uzunluğunu ihtiyaca göre seçin. Verinizin büyük kısmı 1.000 tokenın altındaysa 4.096 tokenlık diziler bellek ve süre israfıdır.
4. Gradient checkpointing ve BF16 kullanın. Modern GPU'ların hepsinde (Ada, Hopper, Blackwell) BF16 desteklenir.
5. Kısa ölçüm çalıştırmaları yapın. Uzun eğitimden önce 50–100 adımla bellek, hız ve kayıp eğrisini kontrol edin.
6. Yıllık plana geçin. Sürekli kullanıyorsanız yıllık kiralamada %20 indirim uygulanır.

Hangi GPU'yla başlamalı?

Bütçeyi belirleyen, işinizin sığdığı en küçük karttır: yukarıdaki ayarlarla 8B QLoRA denemeleri için RTX PRO 4000, 8B LoRA ve 32B'ye kadar QLoRA için RTX 5090, 14B LoRA için RTX PRO 5000 ya da L40S yeter. 32B LoRA ve 70B QLoRA için ya da eğitim ile servisi aynı kartta yapmak istiyorsanız RTX PRO 6000'in 96 GB'ı ciddi rahatlık sağlar. Çok GPU'lu tam ince ayar planlıyorsanız H100 veya H200'e bakın; RTX PRO 6000 ile H100 farkını ve H100 ile H200'ün farkını ayrıca anlattık. Model boyutuna göre VRAM tablosunu, araçları ve kart önerilerini LLM fine-tuning hizmet sayfamızda topladık.

GPU seçimini senaryolara göre LLM eğitimi için GPU seçimi rehberimizde, birden fazla GPU'yla eğitimi multi-GPU eğitim rehberimizde ele aldık. Sunucuyu hazırlamak için PyTorch GPU kurulum rehberimize bakabilirsiniz. Tüm modellerin aylık fiyatları fiyat listesinde; fiyatlar GPU başına ve KDV hariçtir.

Özet

• QLoRA ve LoRA çoğu ince ayar işi için yeterlidir; full fine-tuning parametre başına yaklaşık 16 bayt bellek ister ve genellikle çok GPU gerektirir.
• 2.048 token ve batch 1'de Llama 3.1 8B için QLoRA yaklaşık 8 GB, LoRA yaklaşık 20 GB; Llama 3.3 70B için QLoRA yaklaşık 51 GB bellek gerekir.
• Tek karta sığan ince ayar işleri, aylık $450 olan RTX PRO 4000 ile aylık $1.600 olan RTX PRO 6000 arasındaki kartlarda yapılabilir (GPU başına, KDV hariç).
• Eğitim süresini kısa bir ölçümle tahmin edin: toplam token ÷ saniyedeki token.
• Aylık sabit fiyatlı bir sunucuda asıl soru, ay içinde kaç deneme yapabileceğinizdir.
• Veri hazırlama, değerlendirme ve yayına alma maliyetlerini de bütçeye katın.

Kaynaklar

• Dettmers ve ark. (2023): QLoRA: Efficient Finetuning of Quantized LLMs
• Hugging Face PEFT belgeleri
• NVIDIA L40S
• NVIDIA H100
• NVIDIA H100 Tensor Core GPU veri sayfası (PCIe dahil sürümler)
• Hu ve ark. (2021): LoRA: Low-Rank Adaptation of Large Language Models
• Rajbhandari ve ark. (2019): ZeRO, karışık hassasiyetli Adam'da parametre başına 16 bayt
• Kaplan ve ark. (2020): Scaling Laws for Neural Language Models, eğitimde token başına yaklaşık 6N işlem