Apple, cihazlarının yerel yapay zekâ çıkarımı konusundaki kapasitesine ilişkin yeni bilgiler paylaştı. Şirketin verilerine göre 16 GB birleşik belleğe sahip iPhone ve iPad modelleri 14 milyar aktif parametreli büyük dil modellerini (LLM) çalıştırabilirken, Mac Studio kümeleri uygun yapılandırmayla 1.6 trilyondan fazla parametreye sahip modelleri çalıştırabiliyor.
Mac Studio’nun Tek Başına 480 Milyar Parametreye Ulaşabildiği Belirtiliyor
Apple’ın paylaştığı grafikte farklı cihazların çalıştırabileceği yapay zekâ modellerinin boyutları sıralanıyor. Buna göre 16 GB birleşik belleğe sahip iPhone ve iPad modelleri için 14 milyar aktif parametreli LLM’ler öneriliyor. Apple, bu seviyedeki yerel yapay zekâ çıkarımı için 76 GB/s bellek bant genişliğine de dikkat çekiyor. MacBook Air ve Mac mini tarafında ise 64 GB’a kadar birleşik bellek ve 307 GB/s’ye kadar bellek bant genişliği sunuluyor. Şirket, bu cihazların 70 milyar aktif parametreye kadar LLM’leri çalıştırabileceğini belirtiyor.
MacBook Pro’nun üst seviye modelleri ise 128 GB’a kadar birleşik bellekle 120 milyar parametreli yapay zekâ modellerini çalıştırabiliyor. Böylece daha yüksek bellek kapasitesine sahip Mac modellerinde yerel yapay zekâ çıkarımı için desteklenen model boyutu da önemli ölçüde artıyor. Apple’ın en üst seviyedeki Mac Studio yapılandırmaları çok daha büyük modelleri hedefliyor. M5 Ultra, 1.2 TB/s’ye kadar bellek bant genişliği ve 512 GB birleşik bellek ile 480 milyar parametreli modellere kadar destek sunabiliyor.
Apple, Hangi LLM’lerin Çalıştırılabileceğini Açıklamadı
Daha büyük modeller için ise birden fazla Mac Studio’nun kümelenmesi gerekiyor. Dört Mac Studio’dan oluşan ve toplam birleşik belleği 2 TB’a ulaşan bir yapılandırmanın 1.6 trilyondan fazla parametreli modelleri çalıştırabileceği öne sürülüyor. Fakat bu seviyeye ulaşmak oldukça yüksek bir maliyet gerektiriyor. Apple’ın sitesinde 36 çekirdekli CPU, 80 çekirdekli GPU, 32 çekirdekli Neural Engine, 1 TB SSD ve 256 GB bellek ile yapılandırılan M5 Ultra çipli Mac Studio, yaklaşık 700 bin TL seviyesinde fiyatlandırılıyor. Dört sistemli bir yapılandırmanın toplam maliyeti yaklaşık 2.8 milyon TL’ye çıkarken, 1 trilyon parametreli modeller için sekiz Mac Studio’lu yapılandırmanın maliyeti yaklaşık 5.6 milyon TL olarak hesaplanıyor.
Paylaşılan bilgiler cihazların aktif parametre sayısı açısından teorik kapasitelerini gösterse de belirli LLM’lerin hangi cihazlarda çalıştırılabileceğine ilişkin örnekler sunulmuyor. Ayrıca modellerin farklı örnekleme seviyelerinde ne kadar bellek kullanacağı da belirtilmiyor. Bu nedenle desteklenen parametre sayıları, doğrudan belirli bir modelin her koşulda sorunsuz şekilde çalışacağı anlamına gelmiyor.
Kaynak: wccftech.com