AMD Zen 6 EPYC sunucu işlemcileri satışa çıktı

AMD, altıncı nesil EPYC SP7 sunucu işlemcilerini 10 Kasım’da genel kullanıma sundu. On modellik Zen 6 ailesi, yapay zeka ajanlarının çalıştığı sunucular, GPU host düğümleri ve kurumsal uygulamalar için konumlandırılıyor. Sunucu üreticileri sistemleri sevk etmeye başladı; Microsoft Azure ve Oracle Cloud Infrastructure tarafında bulut örneklerinin de yakında açılması bekleniyor.

64 çekirdekten 256 çekirdeğe

EPYC 9006 SP7 serisi 64 ile 256 çekirdek, 128 ile 512 iş parçacığı aralığında geliyor. Simultaneous multithreading sayesinde her çekirdek iki iş parçacığı çalıştırıyor. Zen 6 çekirdekleri yüksek frekans isteyen yapay zeka host düğümlerine, Zen 6c çekirdekleri ise daha yoğun ajan yürütmeye yönelik. Platform PCIe Gen 6 desteği de sunuyor.

Serinin tepesinde EPYC 9996 ve 9956 yer alıyor; ikisinde de 1.024 MB L3 önbellek var. 9996, 2,55 GHz taban ve 4,1 GHz turbo hızında çalışıyor, güç tüketimi 400 ile 600 watt arasında ayarlanabilen 600 watt olarak açıklandı. Frekansı öne çıkaran EPYC 9686F ve 9586F ise 4,05 GHz taban hızından 5,3 GHz’e kadar çıkabiliyor.

AMD’nin performans iddiaları

AMD, GPU host düğümlerinde önceki nesle kıyasla dil modeli çıktısında 1,8 kata kadar artış ölçtüğünü aktarıyor. Bu sonuç, model ağırlıklarının CPU tarafına taşındığı bir karşılaştırmadan geliyor; ölçüm PCIe Gen 5 hattı üzerinden yapılmış ve Gen 6 bant genişliğine yansıtılmış. Testlerde darboğazın ana bellek değil PCIe hattı olduğu görülmüş.

Ajan sandbox’ları için şirket, CPU başına watt verimliliğinde Nvidia Vera’ya göre yaklaşık 3,3 kat, Intel Xeon 6980P’ye göre 2,5 kat daha fazla ajan kapasitesi hesaplıyor. Ancak bu rakam canlı bir kurulumdan ölçülmedi; mevcut iş parçacığı sayısının ortak varsayımlı bir iş yüküne çevrilmesiyle bulundu. AMD ayrıca 35 kilowattlık bir kabinde işlemci ve bellek güç limitini %15 düşürmenin, EPYC 9996 yapılandırmasında yaklaşık 1,18 kat daha fazla ajan desteklediğini ve sunucu başına ortalama performans kaybının %1 civarında kaldığını öngörüyor. Bu tahmin beşinci nesil EPYC üzerinde yapılan ayrı testlere dayanıyor.

Azure HDv2 önizlemesi ve OpenAI

Microsoft, 10 Kasım’da altıncı nesil EPYC tabanlı Azure HDv2 sanal makine önizlemesi için kayıtları açtı. Her makine 500’ün üzerinde fiziksel Zen 6 çekirdeği, 3,8 TB DDR5-8800 bellek, 30 TB PCIe Gen 5 NVMe depolama ve 400 Gb Azure Boost ağ bağlantısı sunuyor. Microsoft’a göre bir HDv2 makinesi, piyasadaki en iyi alternatife kıyasla yaklaşık iki kat daha fazla ajan sandbox’ını paralel çalıştırabiliyor ve ajan görevlerinde 1,7 kata kadar daha yüksek iş hacmi sağlıyor. Şirket bu ölçümleri henüz ön hazırlık sonuç olarak etiketliyor.

OpenAI’nin CPU ve depolama kapasite planlamasından sorumlu Rafael Dietrich, büyük veri setleri hazırlanırken daha fazla çekirdeğin işi daha çok parçaya bölmeyi sağladığını söylüyor. Ona göre aynı denge, çok sayıda kodlama ajanının aynı anda yazılım derleyip test çalıştırdığı senaryolarda da geçerli. Genel kullanıma açıldığında HDv2, Azure Kubernetes Service, Azure Databricks ve Azure CycleCloud’un yanı sıra Rescale ve Synopsys gibi iş ortağı platformlarında da yer alacak.

AMD’nin duyurusu, ajan kapasitesini yalnızca hızlandırıcı sayısıyla değil çekirdek yoğunluğu, bellek ve kabin güç bütçesiyle birlikte ele alıyor. Gerçek sınav, sabit güç sınırı içinde GPU’ları boşta bırakmadan kaç eşzamanlı ajanın sürdürülebildiği olacak.

Kaynak: Unite.AI