Intel, yapay zeka (AI) teknolojilerindeki en son atılımı olan Gaudi 3 hızlandırıcısını duyurdu. 5nm TSMC işlem teknolojisi ile üretilen bu yeni nesil hızlandırıcı, NVIDIA’nın H100 serisi GPU ile rekabette iddialı bir konuma yerleşiyor.
Intel Gaudi 3 Yapay Zeka Hızlandırıcısı NVIDIA’ya Meydan Okuyacak, Ortalama %50 Daha Hızlı Yapay Zeka Performansı ve %40 Artırılmış Enerji Verimliliği Sunuyor
Intel’in Gaudi AI hızlandırıcı serisi, yapay zeka pazarında NVIDIA’nın GPU’larına karşı ciddi bir alternatif olarak öne çıkıyor. Yakın zamanda gerçekleştirilen Gaudi 2 ve NVIDIA A100/H100 hızlandırıcıları karşılaştırmasında, Intel fiyat-performans liderliğini sürdürürken, NVIDIA genel olarak yapay zeka performansında liderliğini korumuş durumda fakat bu durum değişebilir.
Intel, iki hesaplama kalıbı içerisine yerleştirilmiş en yeni (5. Nesil) toplam 64 tensör çekirdeği barındıran Gaudi 3 hızlandırıcısını detaylarını yayınladı. Bu GPU, her iki kalıpta 96 MB’lık paylaşılan önbellek havuzuna sahip. Ayrıca 8 HBM2e DRAM yığını içeren sekiz HBM bölgesi bulunmakta; her bir yığın 128 GB’a kadar kapasite ve 3,7 TB/s’ye kadar bant genişliği sunmakta. Çipin tamamı, TSMC’nin 5nm işlem düğümü teknolojisi kullanılarak üretildi ve 24 adet 200GbE ara bağlantı noktasına sahip.
Intel Gaudi 3 sunduğu özellikler açısından, Mezzanine OAM (HL-325L) form faktöründe 900W’a kadar standart ve 900W üzerinde sıvı soğutmalı versiyonlarla sunulacak. Tam yükseklik, çift genişlik ve 10,5 inç uzunluğa sahip PCIe AIC form faktörü, Gaudi 3 HL-338 PCIe kartlarını içerecek şekilde tasarlanmış. Bu kartlar, pasif soğutma özelliğine sahip olacak. OAM varyantı ile benzer özellikler göstermesiyle birlikte 600W TDP’ye kadar destek verebilecek.
Şirket ayrıca kendi HLB-325 ana kartını ve 8 adet Gaudi 3 hızlandırıcıyı barındırabilen HLFB-325L entegre alt sistemini tanıttı. Bu sistemin toplam TDP (Isıl Tasarım Enerjisi) değeri 7,6 Kilowatt ve boyutu 19 inç değerinde.
Intel Basın Bülteninde Gaudi 3 ile BF16 işlemlerde önceki modele kıyasla dört kat, bellek bant genişliğinde 1,5 kat artış ve devasa sistem ölçeklendirmesinde iki kat ağ bant genişliği sağladığını belirtti. Bu özellikler, popüler büyük dil modelleri (LLM’ler) ve çok modlu modeller üzerinde yapay zeka eğitimi ve çıkarım işlemleri için önemli performans ve verimlilik artışları sunuyor.
Intel Gaudi 3 hızlandırıcısı, açık topluluk tabanlı yazılım ve açık endüstri standardı Ethernet aracılığıyla esneklik sunarak işletmelerin yapay zeka sistemlerini ve uygulamalarını ölçeklendirmelerine olanak tanıyacak şekilde tasarlandığı da eklenmiş.
Intel Gaudi 3 hızlandırıcısı, önde gelen GenAI modellerinde eğitim ve çıkarım işlemleri için önemli performans iyileştirmeleri sağlayacak. Özellikle Gaudi 3, NVIDIA H100 ile karşılaştırıldığında gösterdiği performans aşağıdaki gibi özetlenmiş:
- Llama2’nin 7B ve 13B parametre modelleri ile GPT-3’ün 175B parametre modelinde %50 daha hızlı eğitim süresi sundu.
- Llama’nın 7B ve 70B parametre modelleri ile Falcon’un 180B parametre modelinde %50 daha hızlı çıkarım verimi ve %40 daha yüksek çıkarım gücü verimliliği sağlandı. Bu özellikle daha uzun girdi ve çıktı dizileri için büyük bir performans avantajı sunmakta.
- Aynı modeller üzerinde NVIDIA H200’e kıyasla %30 daha hızlı çıkarım performansı gösterdi.
Bu sonuçlar, Intel Gaudi 3 hızlandırıcısını yapay zeka alanında güçlü bir rekabetçi yaparken pazar dinamiklerini önemli ölçüde etkilemekte.
Intel Gaudi 3 hızlandırıcı, 2024 yılının ikinci çeyreğinde orijinal ekipman üreticilerine (OEM), Evrensel Ana Kart ve açık hızlandırıcı modülü (OAM) gibi endüstri standardı yapılandırmalarında sunulacak. Gaudi 3’ün pazara sunulmasını üstlenecek başlıca OEM’ler arasında Dell Technologies, HPE, Lenovo ve Supermicro bulunmakta. Intel Gaudi 3 hızlandırıcıların 2024 yılının üçüncü çeyreğinde genel kullanıma sunulması, Intel Gaudi 3 PCIe eklenti kartlarının ise yılın son çeyreğinde piyasaya sürülmesi planlanıyor.
Intel Gaudi 3 hızlandırıcı, aynı zamanda eğitim ve çıkarım işlemleri için çeşitli uygun maliyetli bulut LLM altyapılarına güç sağlayacak. Bu platform, NAVER gibi kuruluşlara yüksek fiyat-performans oranı ve geniş seçenekler sunarak yapay zeka uygulamalarının daha geniş bir kullanımını mümkün kılıyor. Bu adımlar, Intel’in yapay zeka pazarında daha büyük bir etki yaratmasına olanak tanıyarak, teknoloji sağlayıcıları arasında önemli bir konumda yer almasını sağlayacak.