Intel, sonunda NPU Hızlandırma Kütüphanesini açık kaynaklı hâle getirerek geliştiricilere ve meraklılara uygulamalarını Intel’in yapay zeka motorlarıyla en iyi şekilde optimize etme olanağı sağladı.
Intel’in NPU Kütüphanelerini Açık Kaynak Olarak Kullanması, Özel Yapay Zeka Motorlarının Önünde Büyük Bir Gelecek Olduğunu Ortaya Koyuyor
Haber, firmanın yeni açık kaynak kütüphanesini açıklayan Intel’in Teknoloji Evangelisti Tony Mongkolsmai’den geldi.
Bu adımla birlikte NPU hızlandırma kütüphanesi, geliştiricilerin Meteor Lake “Core Ultra” serisi gibi CPU serilerinde bulunan NPU’lardan faydalanmasına yardımcı olacak. Python tabanlı kütüphane, üst düzey bir arayüz sunarak geliştirmeyi basitleştiriyor ve TensorFlow ve PyTorch gibi popüler çerçeveleri destekleyerek geliştiricilere yapay zeka ile ilgili görevleri daha verimli hale getirmek için kütüphanenin yeteneklerinden yararlanma gücü veriyor.
Tony, NPU hızlandırma kütüphanesini Intel Core Ultra CPU’lara sahip bir MSI Prestige 16 AI Evo dizüstü bilgisayarda çalıştırıyordu. Makinede TinyLlama ve Gemma-2b-it LLM modellerini performans kesintisi olmadan çalıştırabildi, bu da Intel’in NPU’larında yakalanan potansiyeli ve geliştiriciler için uç yapay zeka ortamını nasıl desteklediklerini gösteriyor. Intel geliştirme ekibi kütüphaneyi şu şekilde tanımlıyor:
Intel NPU Hızlandırma Kütüphanesi, uyumlu donanım üzerinde yüksek hızlı hesaplamalar gerçekleştirmek için Intel Sinir İşleme Birimi’nin (NPU) gücünden yararlanarak uygulamalarınızın verimliliğini artırmak üzere tasarlanmış bir Python kütüphanesidir.
Kütüphanenin performansını önemli ölçüde artırma arayışımızda, çabalarımızı aşağıdakiler de dahil olmak üzere bir dizi temel özelliği uygulamaya yöneltiyoruz:
- 8 bit niceleme
- 4 bit Kuantizasyon ve GPTQ
- NPU-Yerel karma hassasiyetli çıkarım
- Float16 desteği
- BFloat16 (Beyin Kayan Nokta Formatı)
- torch.compile desteği
- LLM MLP yatay füzyon uygulaması
- Statik şekil çıkarımı
- MHA NPU çıkarımı
- NPU/GPU hetero hesaplama
NPU hızlandırma kütüphanesinin açık kaynak kodlu olması harika bir gelişme, zira bu sayede Intel’in özel yapay zeka motorlarında çalışan yapay zeka uygulamalarının daha gelişmiş bir şekilde hayata geçirilmesi mümkün olacak. İleride bu tür motorlarda ne tür gelişmeler göreceğimizi görmek ilginç olacak, çünkü Tony’nin de belirttiği gibi, tüketiciler ve geliştiriciler için çok şey var.
Haber Kaynağı: Tony Mongkolsmai
