PrismML, iPhone'a uygun ilk büyük AI modeli Bonsai 27B'yi yayınladı

PrismML, bugün yayınladığı Bonsai 27B modeliyle yeniden gündeme geldi. AI girişiminin CEO'su CNBC'ye Apple'ın şirketin teknolojisini incelediğini söyledi. Şirket ayrıca Bonsai 27B modelinin iPhone, iPad ve Mac'te çalıştığını duyurdu.

PrismML ilk kez geçen hafta The Information'ın AI girişimi hakkında haber yapmasıyla manşetlere çıktı. Bu haberde PrismML'nin Apple ile teknolojisini kullanma yolları hakkında toplantılar yaptığı belirtilmişti. Raporda ayrıca bugün yayınlanması planlanan Bonsai 27B modeline de değinilmişti.

Beklendiği gibi PrismML şimdi bu modeli yayınladı: Bonsai 27B, NVIDIA GeForce RTX 5090'da 1-bit modunda saniyede 163 token, Ternary modunda ise 134 token hızına ulaşıyor. M5 Max'te ise 1-bit modunda saniyede 87 token, Ternary modunda 58 token hızına ulaşıyor. Bir telefona sığdırmak, depolama rakamlarının gösterdiğinden daha katı bir eşik. Bir telefon, uygulamaya tam belleğini asla açmaz; 12 GB'lık bir iPhone, modelin cihazda kullanması için yaklaşık 6 GB sunar ve model bu bütçeyi KV önbelleği ve aktivasyonlarıyla paylaşır. Geleneksel bir 27B modeli bunu karşılamaya yaklaşamaz. Yaklaşık 4 GB ile 1-bit Bonsai 27B, çalışacak alanla geçen ilk modeldir.

Basın açıklaması, yeni modelin Apple donanımında yerel olarak çalıştırılmasından özellikle bahsediyor: Bonsai 27B, Apple cihazlarında (Mac, iPhone, iPad) MLX aracılığıyla ve NVIDIA GPU'larda CUDA aracılığıyla, hibrit dikkat mimarisi için oluşturulmuş özel düşük bit çekirdekleri sayesinde yerel olarak çalışır. Model ağırlıkları bugünden itibaren Apache 2.0 Lisansı altında kullanıma sunulmuştur. Bu sürümle birlikte, geliştiricilerin modelimizi kolayca denemesi için sınırlı süreli ücretsiz bir geliştirici önizleme API'si sunuyoruz. Bu arada PrismML CEO'su Babak Hassibi, CNBC'ye Apple'ın şirketin teknolojisini incelediğini söyledi.