Lenovo, kişisel yapay zeka pazarı için geliştirdiği AI Host P7 adlı cihazı tanıttı. Bardak altlığı büyüklüğündeki cihaz 300 gram ağırlığında ve 125 milyar parametreye kadar modelleri internet bağlantısı olmadan, doğrudan masanın üzerinde çalıştırabiliyor.
Bu ölçek normalde onlarca gigabayt VRAM ve binlerce watt güç isteyen bir iş istasyonu gerektiriyor. Lenovo aynı yükü küçük bir kutuya taşımak için mimariyi baştan kurmuş.
300 gramlık gövdede ne var?
Cihazın merkezinde Houmo AI’nin M50 adlı bellek içi hesaplama (compute-in-memory, CIM) çipi duruyor. Bu yaklaşımda veri, bellek ile işlemci arasında sürekli taşınmıyor; matris çarpımları doğrudan bellek hücrelerinin içinde yapılıyor. Böylece von Neumann darboğazı devre dışı kalıyor ve enerji tüketimi ciddi biçimde düşüyor.
İkinci parça CIX Technology’nin P1 ajan SoC’si. Görev planlama, araç çağırma (tool use) ve çok adımlı iş akışları bu birim üzerinden yürüyor. Üçüncü adım ise dinamik karma kuantizasyon: modelin kritik muhakeme katmanları 8-bit, dikkat katmanları 4-bit tutularak doğruluk korunurken bellek ayak izi küçültülüyor.
Asıl iddia veri egemenliği
Cihazın hedeflediği kullanıcı grubu, bulut araçlarına veri göndermek istemeyenler: hukuk büroları, finans danışmanları, sağlık kuruluşları ve yazılım ekipleri. P7 üzerinde işlenen her belge ve yazılan her kod satırı yerel donanımda kalıyor.
Yerel ağa bağlanan cihaz, telefon, tablet ve dizüstü bilgisayarlara yerel bir API ucu gibi hizmet veriyor. Lenovo, cihazın bir telefon şarj aleti kadar güç çektiğini ve pasif alüminyum kanatçıklarla tamamen sessiz çalıştığını söylüyor.
Fiyat ve tarih henüz yok
Tanıtımda cihazın fiyatı ve satışa çıkacağı tarih açıklanmadı. 125 milyar parametreli modellerde saniyede kaç token üretildiğine dair bağımsız bir ölçüm de yayımlanmış değil. Bu iki veri gelmeden P7’nin vaadini ne kadar karşıladığını söylemek zor.
Yine de yön net: yapay zeka yalnızca dev veri merkezlerinde değil, masanın üzerindeki küçük kutularda da çalışacak.
Kaynak: WebTuring
Deneyimini paylaş
Bir sorunun, farklı bir çözümün veya eklemek istediğin bir notun var mı? Giriş yapmadan da yazabilirsin.