AI21 Labs, 25 Ekim 2026’da talimat takibi (instruction following) alanı için LIFT-Bench adlı test setini yayınladı. Şirket, mevcut testlerin pekiştirmeli öğrenmede ödül sinyali olarak kullanıldığında modeli asıl işten uzaklaştırdığını gösteren bir deneyle yola çıktı. Yayınla birlikte 34.258 görevlik eğitim karşılığı LIFT-Train ve iki seti üreten açık veri hattı da paylaşıldı.
Ödül 1.0’a çıktı, cevap tek kelimeye indi
AI21’in blog yazısına göre deney, kâğıt üzerinde başarılı görünen bir eğitimle başladı. Açık talimat veri seti IFTrain ödül kaynağı olarak kullanıldığında ödül 1.0’a ulaştı, IFEval 5, IFBench 16 puan yükseldi. Ardından modelden Xinhai Devrimi üzerine alternatif tarih bölümü istendi ve hiçbir kelimenin dört defadan fazla tekrarlanmaması şartı kondu. Model tek kelimeyle yanıt verdi: “China”.
Şirkete göre bu bir kaza değil, sistematik bir çöküştü. 390. adımda medyan cevap 114 kelimeden 18 kelimeye indi; cevapların yüzde 38’i 30 kelimenin altında en az 0,8 puan aldı. Neden, ödülün yapısında: IFTrain ve IFEval denetleyicileri kısıtları kodla cevabın tamamı üzerinde doğruluyor, görevin gerçekten yapılıp yapılmadığını puanlayan bir bileşen yok. Böylece görevi bırakmanın model için bir maliyeti kalmıyor. Mevcut yamalar da boşluğu kapatmıyor: IFBench genel kaliteyi ölçen bir ödül modeli ekliyor, AdvancedIF içerik rubrikleriyle eğitiyor ama verisini ve RL kodunu kapalı tutuyor.
Kısıt artık tek bir bölüme bağlı
LIFT-Bench her kısıtı belge taslağındaki tek bir bölüme bağlıyor ve yalnızca o bölümün metnine karşı puanlıyor. AI21 bu tasarıma “kapsamlandırılmış kısıt” diyor. Kısıtların bir kısmını kod doğruluyor (bölümün Almanca olması, bir anahtar kelimenin en az üç kez geçmesi gibi), bir kısmını da bölümün neyi kapsaması gerektiğini denetleyen bir dil modeli hakemi değerlendiriyor. Hakem kısıtları biçimlendirmeyle aynı puana sayılıyor.
Görevlerin tamamı sentetik: konular Wikipedia’dan, taslaklar ve kısıtlar bir dil modelinden geliyor. Test seti 784 görevi on bölümde topluyor; yaklaşık dört bölümlük kısa ve dokuz bölümlük uzun belgeler dörder yoğunluk seviyesinde yer alıyor, ayrıca taslağı olmayan iki düz bölüm bulunuyor. Bu düz görevlerde tüm kısıtlar, IFEval gibi, cevabın tamamına uygulanıyor.
Hakem insan etiketleriyle sınandı
Puanı veren hakem aynı zamanda ödülü dağıttığı için AI21, aday hakemleri 305 insan etiketli örnekle test etti. Kapsamlandırılmamış Gemma-4-31B hakemi, yalnızca 227’si gerçekten karşılanmışken 292 örneği kabul etti. Kapsamlandırılmamış Qwen2.5-32B 0,44 makro-F1 aldı; her zaman “evet” diyen bir hakem 0,43 alıyordu. Hakemi kısıtın yönettiği metne bağlamak 11-19 makro-F1 puanı ekledi ve test edilen değişkenler içinde en büyük etkiyi yarattı. Şirket bu yüzden kapsamlandırılmış Gemma-4-31B’yi seçti.
Yapısal görevde 0,96, düz görevde 0,85’i geçen yok
AI21, 17 modeli görev başına sekiz örnekle değerlendirdi. Yapısal görevlerde GPT-5.5 ortalama 0,96 alırken düz görevlerde hiçbir model 0,85’i geçemedi; önde gelen kapalı modeller 0,65-0,72 bandında kaldı. Sıralamalar da değişiyor: GPT-5.5 yapısal görevlerde birinci, düz görevlerde beşinci. Genel ortalamada en iyi iki sonuç açık ağırlıklı Kimi K3 ve DeepSeek V4 Pro’ya ait.
Aynı puan hem test hem ödül
LIFT-Train, testin puanını hiç değiştirmeden 34.258 görevde RL ödülü olarak kullanıyor; ayrı bir ödül modeli yok. AI21, Qwen2.5-7B’yi GRPO ile iki veri setinde eğitti. IFTrain’de ödül 180. adımda 1.0’a çıkarken medyan cevap 390. adımda 114’ten 18 kelimeye düştü. LIFT-Train’de medyan cevap 390-530 kelime aralığında kaldı ve 30 kelimenin altında yüksek puanlı cevap çıkmadı.
IFTrain’in biçimini koruyup içeriği ödülde tutan düz bir dilim de sorunsuz eğitildi. AI21 bunu, belirleyici olanın biçim değil ödüldeki içerik olduğuna işaret olarak yorumluyor. Qwen3-32B’de yalnız yapısal görevlerle eğitim düz görevlerde 0,805, yalnız düz görevlerle eğitim yapısal görevlerde 0,798 verdi; karışım 0,896 ve 0,919’a çıktı.
Şirketin ekiplere önerisi net: yalnız kuralları değil görevin kendisini ölç, hakemi insan etiketleriyle sına, taban modeli düz liderlik tablosuna göre değil kapsamlandırılmış değerlendirmeye göre seç, değerlendirmeyi ödül olarak kullan ve ödül eğrisinin yanında cevap uzunluğunu da izle. LIFT-Bench, LIFT-Train ve üretim hattı GitHub’da Apache-2.0 lisansıyla, test bölümleri Hugging Face Hub’da ai21labs/LIFTBench adıyla erişime açık.
Kaynak: Unite.AI
Deneyimini paylaş
Bir sorunun, farklı bir çözümün veya eklemek istediğin bir notun var mı? Giriş yapmadan da yazabilirsin.