Microsoft, CPU üzerinde çalışabilen yeni nesil yapay zeka geliştirdi

Microsoft, CPU üzerinde çalışabilen yeni nesil yapay zeka geliştirdi
Microsoft’un araştırma grubu, yapay zeka modellerinde donanım bağımlılığını azaltacak potansiyele sahip yeni bir buluşla karşımızda. Şirketin geliştirdiği ve açık kaynak olarak MIT lisansı altında yayınladığı BitNet b1.58 2B4T, sadece CPU üzerinde çalışabilen hiper verimli bir yapay zeka modeli olarak dikkat çekiyor. Bu model, Apple’ın M2 işlemcileri üzere yaygın donanımlar üzerinde bile çalışabiliyor.

Güçlü AI için artık güçlü donanıma gerek yok

Bitnet’ler, yapay zeka modellerinin yüklerini -1, 0 ve 1 üzere sırf üç kıymete indirerek önemli oranda bellek ve süreç gücü tasarrufu sağlayan özel sıkıştırılmış modeller olarak tanımlanıyor. Bu metot sayesinde, yüksek performans için devasa grafik kartlarına muhtaçlık duymadan güçlü yapay zeka süreçleri gerçekleştirilebiliyor. Microsoft’un geliştirdiği bu yeni model, 2 milyar parametreye sahip ve bu özelliğiyle şu ana kadarki en büyük ölçekli 1-bit AI modeli unvanını taşıyor.

BitNet b1.58 2B4T, yaklaşık 4 trilyon token içeren devasa bir data setiyle eğitildi. Bu ölçü, yaklaşık 33 milyon kitaba muadil bir içerik manasına geliyor. Microsoft araştırmacılarına nazaran, model bu eğitimin akabinde, benzeri boyuttaki öbür yapay zeka modellerine karşı dikkate kıymet bir üstünlük sergiliyor. Benchmark testlerinde BitNet, Meta’nın Llama 3.2 1B, Google’ın Gemma 3 1B ve Alibaba’nın Qwen 2.5 1.5B modellerini geride bırakabiliyor.

Ama…

Sadece verimlilik değil, sürat konusunda da BitNet dikkat çekiyor. Microsoft’un bilgilerine nazaran, BitNet b1.58 2B4T kimi durumlarda muadil modellerden iki kat daha hızlı çalışabiliyor ve bunu çok daha az bellek tüketerek başarıyor.

Her ne kadar CPU’larda çalışabiliyor olması büyük bir avantaj üzere görünse de, BitNet’in tam performansa ulaşması için Microsoft’un özel geliştirdiği bitnet.cpp isimli framework’ün kullanılması gerekiyor. Ne yazık ki bu framework, şimdilik yalnızca sonlu sayıdaki işlemciyle uyumlu. Hasebiyle bir donanım uyumluluğu aranıyor. Dahası, günümüzde yapay zeka altyapısında hakimiyet kurmuş olan GPU’lar şimdi desteklenmiyor.

administrator

Related Articles

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir