Nvidia 40 dilli açık kaynak ses modelini açtı

Nvidia, konuşma tanıma alanına açık ağırlıklı bir modelle girdi. Şirketin yayınladığı Nemotron 3.5 Transcribe, ses kaydını yazıya dökmeyi, konuşmacıları birbirinden ayırmayı ve başka dile çevirmeyi tek modelde topluyor. Bu işler bugüne kadar genelde yan yana çalıştırılan birkaç ayrı araçla yapılıyordu.

Model klasik bir transkripsiyon aracı gibi değil, komutla yönlendirilebilen bir konuşma destekli dil modeli (SALM) olarak tasarlanmış. Yani çıktının biçimini değiştirmek için yeniden eğitim ya da ayrı bir betik gerekmiyor; doğal dilde verilen talimat yeterli oluyor.

34 milyar parametre, token başına 4,3 milyar

Modelin omurgası Nemotron 3.5 Lightning mimarisine dayanıyor. Hibrit Mamba-2 ve Transformer katmanlarından oluşan uzmanlar karması (MoE) yapı toplamda 34 milyar parametre taşıyor, ancak her token için bunun yaklaşık 4,3 milyar parametresi devreye giriyor. Nvidia bu tercihi, 34B sınıfı bir modelin dil becerisini 4B sınıfı bir modelin çıkarım hızıyla buluşturmak diye açıklıyor.

Mamba-2 katmanlarının belleği doğrusal büyütmesi, uzun kayıtlarda yaşanan bellek tıkanmasını da azaltıyor. 65.536 tokenlık bağlam penceresi sayesinde 60 dakikaya kadar süren bir toplantı ya da ders, parçalara bölünmeden tek geçişte işlenebiliyor.

Kırk dil, sekiz konuşmacı, iki biçim

Model 40 dilde otomatik konuşma tanıma yapıyor; Türkçe de bu listede. 31 dil ile İngilizce arasında doğrudan konuşma çevirisi destekleniyor, araya ayrı bir metin çeviri modeli koymaya gerek kalmıyor. Aynı kayıtta 8 farklı konuşmacıya kadar etiketleme yapılabiliyor; üst üste binen konuşmalar bile ayrıştırılıyor.

Çıktı biçimi de komutla seçiliyor: birebir döküm (dolgu sözcükleri ve kekemelikler dahil) ya da temiz, tutanak düzeninde metin. Modele özel terim, ilaç adı veya kod kütüphanesi listesi verilebiliyor; Nvidia bu sayede özel isimlerde yanlış yazım oranının yüzde 70’e kadar düştüğünü belirtiyor. Çıkışa eklenen CTC hizalama adaptörü her kelimenin başlangıç ve bitiş zamanını milisaniye düzeyinde veriyor.

Kendi sunucunda çalıştırma

Ağırlıklar Hugging Face üzerinde BF16 olarak, ayrıca belleği yarıya indiren FP8 ve Blackwell mimarisine özel NVFP4 sürümleriyle yayınlandı. Model vLLM, TensorRT-LLM ve Nvidia Riva ile kutudan çıktığı gibi çalışıyor. Kaynağa göre tek bir 80 GB H100 veya A100 üzerinde tam hassasiyette yüzlerce eşzamanlı ses akışı işlenebiliyor; kuantize sürümler daha düşük VRAM’li makinelerde de koşuyor. Nvidia ayrıca Granary v2 veri hattını NeMo çatısı altında açtı; topluluk kendi diline veya sektörüne özel ses modelini bu hat üzerinden eğitebilir.

Neden önemli

Sesli arayüzler yaygınlaşırken kurumların en büyük çekincesi, çağrı merkezi kayıtlarının ve kapalı toplantıların bulut API’lerine gönderilmesiydi. Açık ağırlıklı ve kendi donanımında çalışabilen bir model, bu kayıtların dışarı çıkmadan işlenmesini mümkün kılıyor. Türkçe desteği de modeli yerel projelerde doğrudan denenebilir hale getiriyor.

Kaynak: WebTuring