Sakana AI, yapay zekada devrim yaratabilecek bir adımla karşımıza çıkıyor. An Evolved Universal Transformer Memory başlıklı yeni çalışmaları, insan belleğinden ilham alarak geliştirilmiş bir bellek sistemi sunuyor. Bu yenilikçi sistem, transformer modellerinin performansını ve verimliliğini artırmakla kalmıyor, aynı zamanda farklı temellerdeki modellerle evrensel olarak uyumlu çalışabiliyor. İşte bu çığır açan gelişmenin detayları:

NAMMs: Transformer Belleğinde Yeni Bir Dönem

Transformer tabanlı modeller, genellikle tüm girdileri kaydetmek ve işlemek zorunda kalır. Bu, özellikle uzun metinlerde yüksek maliyetlere ve performans kayıplarına yol açar. NAMMs ise bu soruna çözüm getirerek, modellerin yalnızca önemli bilgileri “hatırlamasını” ve gereksiz detayları “unutmasını” sağlar.

NAMMs ile Öne Çıkan Özellikler

1. Performans ve Verimlilik Artışı:
   NAMMs, dil ve kodlama görevlerinde üstün sonuçlar elde ederken daha az bellek kullanır.
2. Evrensel Transfer Yeteneği:
   Tekrar eğitime gerek kalmadan, dil dışındaki görsel, robotik kontrol gibi farklı alanlara uygulanabilir.
3. Evrimsel Optimizasyon:
   NAMMs, geleneksel gradyan tabanlı yöntemlerden farklı olarak evrimsel algoritmalarla optimize edilmiştir. Bu yöntem, bellek kararlarının ikili olması nedeniyle ortaya çıkan sorunları aşar.

NAMMs Nasıl Çalışır?

NAMMs, üç temel adımla transformer belleklerini düzenler:

1. Dikkat Dizilerinin İşlenmesi:
   Her token’ın dikkat değerleri bir spektrogram olarak dönüştürülür.
2. Bilgilerin Sıkıştırılması:
   Veriler, üstel hareketli ortalama (EMA) kullanılarak kompakt bir özet haline getirilir.
3. Hatırlama Kararı:
   Bu özetler, bir sinir ağı sınıflandırıcısına giriş olarak kullanılır ve hangi tokenların unutulacağına karar verilir.

Performans Sonuçları

NAMMs, Llama 3 ve Llama 70B gibi güçlü dil modellerinde, ChouBun ve LongBench gibi uzun metin işleme benchmark’larında test edildi.

• Doğal Dil İşleme (NLP):
  Gramerin gereksiz tekrarlarını ortadan kaldırarak modelleri önemli isimler ve kavramlara odaklar.
• Kodlama Görevleri:
  Boşluklar, açıklama satırları ve gereksiz kod parçalarını temizler.

Sonuçlar, NAMMs’in yalnızca verimliliği artırmakla kalmadığını, aynı zamanda modellerin genel performansını da geliştirdiğini ortaya koyuyor.

NAMMs ile Sınırları Aşmak

NAMMs’in evrensel yapısı, sıfırdan transfer yetenekleriyle fark yaratır. Örneğin:

• Görsel modellerde gereksiz video karelerini kaldırarak analiz süresini kısaltır.
• Robotik kontrol modellerinde düşük verimli hareketleri çıkararak performansı artırır.

Geleceğe Bakış

NAMMs’in geliştirilmesi, yapay zekada bellek sistemlerinin evrimi için yalnızca bir başlangıç. Sakana AI, NAMMs’in daha uzun veri dizileriyle daha verimli eğitim sağlaması için gelecekte daha geniş çaplı deneylere odaklanmayı planlıyor.

Bu çalışma, Japonya Ekonomi, Ticaret ve Sanayi Bakanlığı’nın (METI) GENIAC süper bilgisayar fonu ile desteklenmiştir.