Apple, üretken yapay zeka özelliklerinde bulut tabanlı girdileri işlemek için NVIDIA GPU’larını kullanmaktan kaçınıyor. Şirket, sunucularında kendi özelleştirilmiş silikonunu tercih ediyor ve gelecekte büyük dil modellerini (LLM) hızlandırmak için M4 Ultra çipini kullanmayı planlıyor. Ancak Apple, son blog yazısında mühendislerinin ortak bir hedef doğrultusunda NVIDIA ile iş birliği yapmaktan çekinmeyeceğini belirterek büyük dil modelleriyle daha hızlı metin üretimi sağlamak için bu tür iş birliklerine açık olduklarını gösterdi.
Yeni “Recurrent Drafter” Tekniği, Açık Kaynak Kodlu Olarak Yayınlandı
“ReDrafter” adı verilen bu blog yazısında Apple, metin üretim performansını iyileştirmek için iki farklı tekniği birleştirdiğini açıkladı. Bu teknikler, “Beam Search” ve “Tree Attention” olmak üzere iki yaklaşımdan oluşuyor. Şirket, araştırmalarının ardından NVIDIA ile iş birliği yaparak ReDrafter’ı TensorRT-LLM’ye entegre etti. Bu entegrasyon, NVIDIA GPU’larında büyük dil modellerinin daha hızlı çalışmasını sağlarken aynı zamanda gecikmeyi azaltıp enerji tüketimini de düşürüyor.
“Yaptığımız araştırma çalışması, güçlü sonuçlar gösterdi. ReDrafter’ı NVIDIA ile iş birliği yaparak TensorRT-LLM çıkarım hızlandırma çerçevesine entegre ettik. ReDrafter’ın algoritmaları, önceki uygulamalarda kullanılmamış operatörlere dayandığı için NVIDIA, yeni operatörler ekleyerek veya mevcut olanları açığa çıkararak TensorRT-LLM’nin karmaşık modelleri ve kod çözme yöntemlerini barındırma kapasitesini önemli ölçüde geliştirdi.
APPLE
Bu entegrasyon sayesinde NVIDIA GPU’larını kullanan makine öğrenimi geliştiricileri, artık TensorRT-LLM ile dil modeli uygulamaları için ReDrafter’ın hızlandırılmış simge üretiminden kolayca faydalanabilecekler. Yaptığımız kıyaslamada ReDrafter’ın TensorRT-LLM çıkarım hızlandırma çerçevesi ile on milyarlarca parametreli üretim modellerinde 2.7 kat artış sağladık. Bu gelişme, gecikmeyi önemli ölçüde azaltırken kullanıcıların daha az GPU kullanarak daha az güç tüketimi elde etmelerini sağlıyor.”
Apple ve NVIDIA arasındaki bu iş birliği, iki şirketin gelecekte bir anlaşma yapma olasılığını gündeme getirse de geçmişteki rekabetçi ilişkiler göz önüne alındığında bu tür bir ortaklığın gerçekleşmesinin pek mümkün olmadığı düşünülüyor. Gelecekte, kısa vadeli iş birliklerinin görülmesi olası olsa da uzun vadeli ve anlamlı bir iş ilişkisi kurmanın gerçekçi olmadığı ifade ediliyor.
Kaynak: wccftech.com
