Baidu ERNIE 5.5 Flash modelini indirmeye açtı

Baidu’nun ERNIE ekibi 5 Kasım 2026’da ERNIE-5.5-Flash-Base modelinin ağırlıklarını indirmeye açtı. Yalnızca metinle çalışan model, toplam 280 milyar parametreye sahip bir mixture-of-experts (MoE) mimarisi kullanıyor ve her token için bunun 14 milyarını etkinleştiriyor.

Yayınlanan dosya bir “base” sürüm: ön-eğitim tamamlanmış, ara eğitim ve talimat eğitimi henüz yapılmamış. Baidu bu sayede geliştiricilere alan uyarlaması, talimat ayarı ve pekiştirmeli öğrenme deneyleri için ortak bir başlangıç noktası veriyor. Şirket, eğitilmiş ERNIE 5.5 Flash sürümünün bu temelin üzerine geleceğini söylüyor.

Uzun bağlam için sıkıştırılmış dikkat

Model kartındaki bilgilere göre model 43 katmandan oluşuyor; gizli boyut 4096, dikkat başlığı sayısı 64. Katmanların 37’sinde “Heavily Compressed Attention” kullanılıyor: önbellek her 128 tokenlık blok için tek bir giriş tutuyor, buna kısa bir son-token penceresi ekleniyor. Kalan altı katman ise Multi-head Latent Attention ile token düzeyinde erişimi koruyor ve hangi eski konumların okunacağını bir indeksleyiciyle seçiyor. Baidu’ya göre bu seyrek seçim, bağlam büyüdükçe sorgu başına temel dikkat maliyetini sabit tutuyor.

İlk katman dışındaki tüm katmanlarda MoE bloğu var: 512 yönlendirilmiş uzman, bunların 10’u etkin, artı bir paylaşılan uzman. Uzmanlar modelin tam gizli genişliğinde değil, 2048 boyutlu bir latent uzayda çalışıyor. Baidu bu tercihin uzman yönlendirme trafiğini ve hesaplama yükünü kabaca yarıya indirdiğini belirtiyor.

33,5 trilyon token ve 1 milyon tokenlık çıkarım

Ön-eğitim 33,5 trilyon token üzerinde, Muon optimizasyon algoritması ve FP8 karışık hassasiyetle yapıldı. Eğitim sırasında bağlam penceresi kademeli olarak 128K tokena çıkarıldı; ince ayar ve çıkarımda model 1 milyon tokena kadar bağlamı destekliyor. Veri kümesinde çok dilli web içeriğinin yanı sıra kod ve yazılım geliştirme kayıtları var: commit’ler, issue’lar, pull request’ler, kod incelemeleri, üretilmiş testler ve CI’dan geçmiş düzeltmeler. Bu seçimler modeli depo düzeyinde akıl yürütme ve ajan tabanlı yazılım mühendisliği senaryolarına yaklaştırıyor.

Baidu ayrıca FlashMask adlı dikkat çekirdeklerini de yayınladı. Şirketin ölçümlerine göre Blackwell (SM100) donanımında ileri geçişte yüzde 175’e, geri geçişte yüzde 74’e varan hız artışı elde ediliyor. Ağırlıklar FP8 ve BF16 safetensors formatında; SGLang ve vLLM ile sunucuda çalıştırılabiliyor.

Kendi testlerinde önde, bazılarında geride

Baidu modeli DeepSeek-V4-Flash-Base, Hy3-preview-Base ve MiMo-V2.5-Base gibi açık checkpoint’lerle aynı test düzeneğinde karşılaştırdı. Beş örnekli MMLU testinde ERNIE 93,3 puan alırken DeepSeek 89,4’te, Hy3 87,5’te, MiMo 87,6’da kaldı. HumanEval+ testinde ERNIE 82,3 ile yine öndeydi. Ancak tablo tam bir üstünlük göstermiyor: FullStackBench’te Hy3 56,7 ile ERNIE’nin 54,6’sının, InfiniteBench’te ise DeepSeek 48,0 ile ERNIE’nin 46,5’inin önünde. Yani sonuçlar göreve göre değişiyor.

Lisans coğrafyayı ve geliri sınırlıyor

Modelin kullanım koşulları açık kaynak alışkanlıklarından oldukça farklı. ERNIE 5.5 Flash Base lisansı Avrupa Birliği, Birleşik Krallık ve Güney Kore’yi kapsam dışında bırakıyor; bu bölgelerde kullanım, değiştirme ve dağıtım yetkilendirilmiyor. Ticari olmayan kullanım için model ücreti alınmıyor. Yıllık geliri 50 milyon doların altındaki ticari kullanıcılar bir kerelik bildirim ve belirgin “Powered by ERNIE” atfıyla devam edebiliyor; bu sınırı aşanlar Baidu’dan ayrıca yazılı izin almak zorunda. Lisans ayrıca modelin veya çıktılarının başka bir yapay zeka sistemini geliştirmek için kullanılmasını yasaklıyor. Distilasyon ve sentetik veri üretmek isteyen ekipler için bu önemli bir kısıt.

Tam model ince ayarı da hafif bir iş değil: NVIDIA’nın Megatron Bridge tarifi, düğüm başına dört GB300 GPU’lu 16 düğüm öneriyor. Kısacası ERNIE 5.5 Flash Base, eğitim yöntemlerini karşılaştırmak isteyen araştırmacılar için sağlam bir referans noktası; ama coğrafi ve ticari sınırlar pratik erişimi daraltıyor.

Kaynak: Unite.AI