AMD MI300X Nedir? Özellikler, Fiyat, ROCm ve H100/H200 Farkı

Kısa cevap

AMD Instinct MI300X, Aralık 2023'te çıkan, 192 GB HBM3 bellekli ve 5,3 TB/s bant genişlikli bir veri merkezi hızlandırıcısıdır. Tek bir GPU'da H100'ün (80 GB) 2,4 katı, H200'ün (141 GB) yaklaşık 1,4 katı bellek sunar; 70B bir model BF16'da tek karta sığar. Yazılım tarafında CUDA yerine AMD'nin ROCm platformu kullanılır.

Kağıt üzerindeki tensör hızı da H100 ve H200'den yüksektir (seyrekliksiz FP8'de 2.615 TFLOPS). ROCm'da PyTorch ve vLLM resmi olarak destekleniyor; CUDA'ya özgü araçlar çalışmıyor, özel CUDA çekirdekleri ise taşıma gerektiriyor.

AMD, MI300X için herkese açık bir liste fiyatı yayımlamıyor; kart bulut sağlayıcılarında saat başına ücretlendiriliyor. Biz MI300X kiralamıyoruz; büyük bellek isteyen işler için İstanbul Bağcılar'daki tesisimizde 141 GB'lık H200 ve 96 GB'lık RTX PRO 6000 sunuyoruz.

MI300X'in teknik özellikleri neler?

AMD'nin veri sayfasına göre MI300X, Aralık 2023'te çıkan CDNA 3 mimarili, 750 W'lık bir hızlandırıcıdır. H100 ve H200'ün SXM sürümleriyle karşılaştırma (tensör değerleri seyrekliksiz):

Seyreklikli (sparsity) değerler bunların iki katıdır; üreticilerin sayfalarında genellikle o değerler öne çıkar. MI300X bir PCIe kartı değil, çok GPU'lu bir taban kartına (UBB) takılan bir OAM modülüdür; örneğin Azure'un ND MI300X v5 sanal makinesinde sekiz MI300X bulunur. Tablodaki H100 ve H200 değerleri NVIDIA'nın SXM sürümlerine ait referans değerlerdir; filomuzdaki kartların sürüme göre değişen değerleri model sayfalarımızda yer alır.

MI300X'in halefleri hangileri?

AMD, MI300X'in ardından üç yeni model çıkardı. Ekim 2026 itibarıyla AMD'nin ürün sayfalarındaki değerler:

MI300X, MI325X ve MI355X için FP8 değerleri seyrekliksizdir; MI455X sayfasında FP8 için seyreklik belirtilmiyor. MI325X, MI300X'in hesap birimlerini korur, belleği büyütür. MI355X yeni CDNA 4 mimarisiyle FP6 ve FP4 (MXFP4) hassasiyetlerini ekler; aynı nesildeki MI350X 1.000 W'lık sürümdür. MI455X ise AMD'nin Helios raf ölçekli sistemi için tasarlanan, CDNA 5 mimarili ve sıvı soğutmalı yeni nesildir.

ROCm 2026'da ne durumda?

Ana akım araçlar resmi olarak destekleniyor; sorun genellikle CUDA'ya özgü ek bileşenlerde çıkıyor.

• ROCm sürümü: ROCm, 7.14 sürümüyle (Temmuz 2026) TheRock derleme ve yayın sistemine geçti. Ekim 2026'daki güncel sürüm ROCm Core SDK 10.1 (5 Ekim 2026). Sürüm notlarında MI300X, MI325X, MI350X ve MI355X destekleniyor; PyTorch 2.14, vLLM 0.29 ve SGLang 0.5.18 listeleniyor.
• PyTorch: PyTorch'un resmi ROCm paketleri var. ROCm sürümü bilerek torch.cuda arayüzünü kullanır; device="cuda" yazılmış kodun çoğu değişmeden çalışır.
• vLLM: Resmi belgeler MI300 serisini desteklenen GPU'lar arasında sayıyor; ROCm için hazır Docker imajı (vllm/vllm-openai-rocm) ve hazır paketler sunuluyor.

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.14
python3 -c "import torch; print(torch.cuda.is_available(), torch.version.hip)"

docker run --rm --group-add=video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined \
  --device /dev/kfd --device /dev/dri --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai-rocm:latest --model Qwen/Qwen3-0.6B

İlk komut ROCm'lu PyTorch'u kurar; ROCm sürümünde torch.version.hip bir sürüm numarası döndürür. İkincisi vLLM'in OpenAI uyumlu sunucusunu 8000 portunda başlatır.

MI300X LLM'lerde nerede öne çıkıyor?

MI300X, büyük bir modeli tek bir GPU'ya ya da tek bir sunucuya sığdırmanız gerektiğinde öne çıkar. Kaba kural: ağırlıklar, parametre sayısı × parametre başına bayt kadar yer kaplar (BF16'da 2, FP8'de 1 bayt).

• 70B model, BF16: VRAM hesaplayıcımıza göre Llama 3.3 70B, BF16'da 8K bağlam ve tek istekle yaklaşık 152 GB tutar (ağırlıklar 141 GB). Bu, tek bir MI300X'e sığar. H200'ün 141 GB'ına BF16'da sığmaz, FP8'de yaklaşık 78 GB'a iner; H100'ün 80 GB'ına ise FP8'de bile sığmaz.
• 400B sınıfı model, BF16 (≈800 GB): Sekiz MI300X'in toplam 1.536 GB belleğine sığar. Sekiz H100 (640 GB) için FP8'e inmek gerekir; sekiz H200 (1.128 GB) ise yeterlidir.
• Bant genişliği: LLM çıkarımında her yeni token için ağırlıklar bellekten yeniden okunur. 5,3 TB/s, kağıt üzerinde H100 ve H200'ün önündedir.

Modeli daha az GPU'ya sığdırmak, GPU'lar arası iletişimi de azaltır ve kurulumu basitleştirir. Kendi senaryonuzun bellek ihtiyacını VRAM hesaplayıcımızla görebilirsiniz.

CUDA ekosistemi nerede hala önemli?

Kendi CUDA kodunuz, NVIDIA'ya özgü araçlarınız ya da ROCm desteği gecikebilecek kütüphaneleriniz varsa CUDA hala belirleyicidir.

• Özel CUDA çekirdekleri: AMD'nin HIPIFY aracı CUDA kodunu HIP'e çevirmeye yardım eder. Ancak AMD'nin kendi belgesi, HIPIFY'ın tüm CUDA kodunu otomatik ve sorunsuz çeviremediğini, HIP'in CUDA'nın tam bir karşılığı olmadığını belirtiyor.
• NVIDIA'ya özgü araçlar: TensorRT ve TensorRT-LLM, CUDA üzerine kurulu NVIDIA araçlarıdır; AMD GPU'larda çalışmaz.
• Destek matrisi: Bir kütüphane ROCm desteği sunsa bile her sürüm ve her yapılandırma aynı anda gelmeyebilir. Örneğin vLLM'in ROCm için hazır paketleri yalnızca Python 3.12 için yayımlanıyor.

Kağıt üzerindeki TFLOPS değerleri gerçek hızı belirlemez; ulaşılan hız, kullandığınız yazılımın ilgili donanımda ne kadar iyileştirildiğine bağlıdır. MI300X'i değerlendiriyorsanız kendi modelinizle ve kendi yazılım yığınınızla ölçmeden karar vermeyin.

MI300X mi, H100 mü?

H100, CUDA'ya bağlı ve 80 GB'a sığan işler için; MI300X ise belleğin darboğaz olduğu ve yazılımını ROCm'a taşıyabilen ekipler için daha mantıklıdır. Seçimi çoğu zaman iki soru belirler: modeliniz kaç GB tutuyor ve yazılımınız CUDA'ya ne kadar bağlı? Tablodaki bellek değerleri Llama 3.3 70B için VRAM hesaplayıcımızdan alındı (8K bağlam, tek istek):

AMD MI300X fiyatı ne kadar?

AMD, MI300X için herkese açık bir liste fiyatı yayımlamıyor. Kart perakende satılmıyor; sekiz GPU'lu taban kartlı (UBB) sistemler halinde sunucu üreticileri üzerinden, teklifle satılıyor. İnternette geçen rakamlar resmi fiyat değil, analist tahminleri ya da satıcı teklifleridir.

Kiralamada MI300X GPU-saat başına fiyatlandırılır. getdeploying.com'un karşılaştırması 24 Ekim 2026 itibarıyla MI300X sunan 11 sağlayıcıyı listeliyor; aralarında Azure, Oracle Cloud, DigitalOcean, Vultr, TensorWave, Crusoe ve Runpod var. Birkaç günlük ya da birkaç haftalık bir deneme için bu saatlik seçenekler mantıklıdır. Saatlik bulut ile aylık sabit fiyatlı fiziksel sunucunun farkını bulut GPU ve fiziksel GPU yazımızda anlattık.

Büyük bellek için ne kiralayabilirsiniz?

MI300X filomuzda yok. Büyük bellek isteyen işler için iki seçeneğimiz var; ikisi de CUDA ekosisteminde olduğu için CUDA'ya göre yazılmış kodunuz değişiklik gerektirmez. Kart çiftlerinin farklarını H100, H200 ve RTX PRO 6000 karşılaştırmalarında ele aldık.

• H200 (141 GB HBM3e, 4,8 TB/s): 70B sınıfı modeller FP8'de ağırlıklar için yaklaşık 70 GB kullanır; uzun bağlam ve çok kullanıcı için geniş pay kalır. Aylık $3.000. H100 ile farkları H100 ve H200 karşılaştırmamızda.
• RTX PRO 6000 (96 GB GDDR7): 70B modeli FP8'de tek kartta, KV önbelleğine de yer bırakarak çalıştırır; daha ekonomik seçenektir. Aylık $1.600.

Daha büyük modeller için tek siparişte 8 GPU'ya kadar kiralayabilirsiniz; sekiz H200'ün toplam belleği 1.128 GB eder. Yapılandırma isteğinizi sipariş formundaki mesaj alanına yazın. LLM eğitiminde kart seçimini ayrı bir rehberde ele aldık. Büyük modelleri API olarak sunacaksanız eşzamanlı istek sayısına göre bellek tablosunu LLM inference hizmet sayfamızda bulabilirsiniz.

Kiralamalarımız aylıktır; 7/24 kullanımda saatlik karşılığı H200 için $4,11, RTX PRO 6000 için $2,19 eder. Fiyatlar GPU başına, ABD doları cinsinden ve KDV hariçtir; fatura tarihindeki TCMB döviz satış kuruyla Türk lirası olarak faturalanır, yıllık kiralamada %20 indirim uygulanır. Sunucular İstanbul Bağcılar'daki tesisimizde çalışır, verileriniz Türkiye'de kalır. MI300X'i yalnızca birkaç gün denemek istiyorsanız saatlik sunan bulut sağlayıcıları daha ucuz olabilir.

Özet

• MI300X'in asıl gücü bellek: 192 GB HBM3 ve 5,3 TB/s ile 70B bir modeli BF16'da tek GPU'ya sığdırır.
• Kağıt üzerindeki tensör hızı H100 ve H200'den yüksek; gerçek hız yazılımın olgunluğuna bağlı.
• ROCm 2026'da PyTorch, vLLM ve SGLang'ı resmi olarak destekliyor; özel CUDA kodu ve TensorRT gibi araçlar taşınamıyor ya da çaba istiyor.
• Halefleri MI325X (256 GB), MI355X (288 GB) ve MI455X (432 GB HBM4).
• AMD, MI300X için liste fiyatı yayımlamıyor; kart bulut sağlayıcılarında saat başına ücretlendiriliyor.
• MI300X kiralamıyoruz; büyük bellek için İstanbul'daki tesisimizde H200 (141 GB) ve RTX PRO 6000 (96 GB) sunuyoruz.

Kaynaklar

• AMD Instinct MI300X teknik özellikleri
• AMD Instinct MI325X teknik özellikleri
• AMD Instinct MI355X teknik özellikleri
• AMD Instinct MI455X teknik özellikleri
• ROCm Core SDK 10.1.0 sürüm notları
• vLLM kurulum belgeleri: AMD ROCm
• PyTorch belgeleri: HIP (ROCm) semantiği
• AMD HIPIFY belgeleri
• getdeploying.com: AMD MI300X bulut kiralama karşılaştırması (24 Ekim 2026)