Apple’ın kapalı kutu olarak bilinen donanım dünyasında tarihi bir gedik açıldı. Bir araştırmacı, şirketin sadece çıkarım (inference) işlemleri için kilitlediği ve dokümantasyonu bulunmayan Apple Neural Engine (ANE) birimini, tersine mühendislik yöntemleriyle kırarak bu birim üzerinde doğrudan bir sinir ağını eğitmeyi başardı.
Verimlilikte Çarpıcı Fark: Apple M4 ANE ile NVIDIA A100 Karşılaştırması
Araştırma projesi olarak başlayan çalışma, kısa sürede büyük yankı uyandırdı. Geliştirici, Apple’ın özel API’lerini tersine mühendislikle çözerek Neural Engine üzerinde doğrudan eğitim (training) yapmayı mümkün kıldı. Proje, _ANEClient ve _ANECompiler gibi özel API’ler kullanılarak gerçekleştirildi.
Projenin ortaya koyduğu en dikkat çekici bulgulardan biri, Apple Neural Engine’in verimliliği oldu. Yapılan ölçümlere göre:
- Apple M4 Neural Engine: 6.6 TFLOPS/Watt
- NVIDIA A100: 0.08 TFLOPS/Watt
Bu, Apple’ın Neural Engine’inin, NVIDIA’nın güçlü veri merkezi GPU’sundan yaklaşık 80 kat daha verimli olduğu anlamına geliyor. Ayrıca Apple’ın pazarlamada sıkça kullandığı “38 TOPS” değerinin gerçeği tam yansıtmadığı; gerçek çıktının FP16’da 19 TFLOPS seviyesinde olduğu ifade ediliyor.
Projenin bir diğer önemli vurgusu, milyonlarca Apple cihazında bulunan Neural Engine’in büyük ölçüde atıl durumda beklemesi. Kısacası, Mac mini’de bu çip var ve çoğunlukla boşta bekliyor.
Diğer bir yandan mevcut uygulamada ANE’nin tepe performansının yalnızca %2-3’ünün kullanılabildiği, pek çok işlemin hâlâ CPU’ya düştüğü ve büyük ölçekli model eğitiminde GPU’ların yerini almasının şimdilik mümkün olmadığı açıkça belirtiliyor.
Tüm kısıtlamalara rağmen bu çalışma, Apple Silicon’un Neural Engine’inin yetenekleri konusunda önemli bir gerçeği ortaya koyuyor: Engel her zaman yazılım desteğiydi, donanım kapasitesi değil. Araştırmacı, projeyi büyük bir topluluk projesine dönüştürme niyetinde olmadığını; asıl odak noktasının uç yapay zekâ optimizasyonu için derleyici altyapısı üzerine özgün araştırmalar yapmak olduğunu söylüyor.
Sonuç olarak her ne kadar bugün için küçük araştırma modelleriyle sınırlı olsa da bu proje, Apple’ın sıkı kontrolü altındaki donanımın aslında neler yapabileceğini gösteren önemli bir kanıt niteliği taşıyor.
Kaynak: maderix.substack.com
