PRISM ML
Inkling 2 Mini Çıktı: Looping Transformer Mimarisiyle Laptopta Çalışan Güçlü Model
Prism ML, orta katmanları döngüye sokarak (looping) çalışan ve 26.4B toplam parametreye sahip Inkling 2 Mini modelini duyurdu. Model, düşük bellek ayak iziyle dikkat çekiyor.
Prism ML, dizüstü bilgisayarlarda çalışabilecek kadar küçük ancak son derece güçlü yeni modeli Inkling 2 Mini'yi duyurdu. Model, her token için orta katmanları üç kez çalıştıran 'looped transformer' mimarisini kullanıyor. Bu yaklaşım, özellikle ajan tabanlı kodlama gibi akıl yürütme kalitesi gerektiren görevlerde daha az token harcayarak doğru sonuca ulaşılmasını sağlıyor.
Toplamda 26.4B parametreye sahip olan model, 3.4B aktif parametre ve token başına 5.4B ağırlık aktivasyonu sunuyor. DeepSWE v1.1 ve Vals Index v2.2 gibi benchmarklarda 100B altındaki açık ağırlıklı modeller arasında lider konumda yer alıyor. Ayrıca LookAtMyQuant sıkıştırma derleyicisi kullanılarak 5.4 GB bellek bütçesine sığdırıldı.