OpenAI, 6 Kasım 2026’da BioBasicsBench adlı yeni test setini duyurdu. 100 görevden oluşan set, enzim tasarımı şirketi Ligo ile birlikte hazırlandı. Amaç basit bir soruya cevap vermek: yapay zeka ajanları rutin laboratuvar deneylerinden çıkan ham veriyi gerçekten okuyabiliyor mu?
OpenAI sonuçları ortalama ödül üzerinden açıklıyor; bu, görevden alınabilecek toplam puanın yüzde kaçının kazanıldığını gösteriyor. Şirketin bildirdiği en yüksek akıl yürütme ayarında GPT-6 Astra yüzde 66,7 puana ulaştı (yüzde 95 güven aralığı 60,3-73,1). GPT-5.6 Sol ise yüzde 43,8’de kaldı (37,6-50,0). Astra görev başına ortalama 4.704 çıktı tokenı üretirken, Sol 9.099 token harcadı.
Görevler gerçek deneylerden geliyor
OpenAI’nin eleştirisi, mevcut testlerin genelde bilimsel makaleler için seçilmiş grafik ve görsellerle kurulması. Oysa günlük laboratuvar işi başarısız deneyleri, belirsiz görüntüleri, birbiriyle çelişen gözlemleri ve sorun giderme turlarını da içeriyor.
BioBasicsBench’teki görevler ajanlardan deneysel veriyi yorumlamasını, hatayı yakalamasını ve kanıtın bir sonuca varmaya yetmediği durumu fark etmesini istiyor. Kapsam protein yöntemleri, görüntüleme ve sitometri, ölçüm ve testler, nükleik asit yöntemleri ile moleküler klonlamaya uzanıyor. Girdiler arasında jel ve blot görüntüleri, koloni plakaları, mikroskop yığınları, dizileme okumaları, plaka okuyucu çıktıları, tezgah fotoğrafları ve protokol videoları var. Bazı görevler birden fazla kanıt türünü ve merdiven grafiği ya da plazmit haritası gibi referans sayfalarını birleştiriyor.
Görevleri bilim insanları kendi deneylerinden çıkardı, puanlama ölçütlerini de onlar yazdı. Her görev üç aşamalı incelemeden geçti: görevi yazmayan bir Ligo bilim insanı, dışarıdan doktora düzeyinde bir laboratuvar uzmanı ve istem, kanıt, ölçüt ile örnek model cevabını kapsayan son bir iç kontrol. Değerlendirme 37 model ve akıl yürütme ayarı üzerinde, her görevde beşer denemeyle yapıldı; toplam 18.500 sonuç üretildi.
Astra ile Sol arasındaki fark nerede
OpenAI’nin aktardığı örnekler, farkın ham gözlemden çok deney bağlamını okumakta olduğunu gösteriyor. Bir hücre görüntüleme görevinde Sol, boya sinyaline bakarak hücreleri ölü olarak sınıflandırdı. Astra ise örtüşen algılama pencerelerinin ikinci bir boyadan gelen girişime yol açabileceğini fark etti ve sinyalleri ayıracak kontrol grupları istedi.
Bir DNA klonlama görevinde Sol, negatif kontrol plağında koloni görmediği için sonucu güvenilir saydı. Astra, plağın deneyde kullanılan ampisilin yerine kanamisin için etiketlendiğini fark edip bu plağı kontrol olarak reddetti. Odak değişen bir hücre görüntüsünde ise Sol biyolojik bir açıklama ararken, Astra görüntünün farklı derinliklerde alınmış bir z-yığını olduğunu tespit etti.
Yüksek puan güvenilir yargı demek değil
OpenAI, daha yüksek puanın henüz güvenilir laboratuvar yargısı anlamına gelmediğini açıkça belirtiyor. Koloni-PCR görevinde Astra, daha büyük PCR ürününün başarılı klonlamayı gösterdiğini varsayarak 4, 6, 7 ve 8 numaralı kuyucukları seçti; referans yorum 5, 9 ve 10’u işaret ediyordu. Bu hata yanlış plazmitin saflaştırılmasına yol açardı.
Başka örneklerde doğru gözlemler nihai cevaba taşınamıyor. Astra, aynı görüntüde daha açık renkli vakuoller bulunmasına rağmen vakuollerin genelde çevre dokudan daha koyu olduğu genellemesini yaptı. Koloni sayma görevinde yakın komşuları ayıramadı, görünen kolonileri kaçırdı ve boş agara işaret koydu; referansa göre yaklaşık yüzde 12 fazla sayım yaptı. Plak hacmi ve seyreltme sabit olduğu için bu sapma, hesaplanan DNA aktarım verimini de aynı oranda şişiriyor.
OpenAI, bu yeteneklerin gelişimini izlemenin biyogüvenlik ve biyogüvenlik sonuçlarını değerlendirmesine de girdi sağlayacağını söylüyor. Testin ortaya koyduğu eşik, toplam puandan daha yüksek: ajanın doğru gözlemi sonuca taşıması, kontrolleri sorgulaması ve kanıtın desteklemediği yerde hüküm vermemesi gerekiyor.
Kaynak: Unite.AI
Deneyimini paylaş
Bir sorunun, farklı bir çözümün veya eklemek istediğin bir notun var mı? Giriş yapmadan da yazabilirsin.