Yapay zeka (AI) alanındaki yenilikler ve rekabet giderek büyüdüğü ortamda Stability AI’ın son blog yazısı, Intel ve NVIDIA’nın AI hızlandırıcıları arasındaki performans karşılaştırmasına ışık tutuyor. Intel’in Gaudi 2 hızlandırıcısı, NVIDIA’nın H100 ve A100 GPU hızlandırıcılarıyla kıyaslandığında Stable Diffusion ve Llama 2 LLM görevlerinde göze çarpan bir performans sergiledi.
Gaudi 2’nin sunduğu etkileyici fiyat-performans oranı, Intel tarafına geçiş için güçlü bir neden olarak öne çıkıyor.
Stability AI’ın oluşturduğu açık modeller çeşitli görevleri etkin bir şekilde ele alabilme özelliklerine sahip. Firma, popüler metni resme çevirme modeli olan Stable Diffusion 3 ve diğer AI modellerini temel alarak Intel ve NVIDIA’nın en popüler AI Hızlandırıcıları arasında bir performans testi gerçekleştirdi.
Testler, Gaudi 2’nin H100 80GB’ye göre %56, A100 80 GB’e göre ise 2.43 kat hız kazandığını gösterdi. Ayrıca, 32 düğüm (256 hızlandırıcı) ölçeklendirildiğinde, Intel çözümü A100 çözümüne göre 3.16 kat daha fazla performans sergileyerek saniyede 49.4 görüntü üretebilirken, A100 çözümü sadece saniyede 15.6 görüntü üretebildi.
Ancak çıkarım (Inference, eğitilmiş bir makine öğrenimi modelinin yeni veriler üzerinde tahminler yapma sürecini ifade eder) testlerinde NVIDIA, Tensor-RT optimizasyonları sayesinde hâlâ tahttın sahibi. A100, aynı Stable Diffusion 3 8B modelinde Gaudi 2’ye kıyasla bu özel yükler altında %40 daha hızlı resim üretebiliyor. Gaudi 2 çipleri, temel PyTorch kullanılarak Nvidia A100 çipleriyle benzer çıkarım hızı sunarken, TensorRT optimizasyonu ile A100 çipleri, Gaudi 2’den %40 daha hızlı resim üretiyor.
Testlerden çıkan önemli bir çıkarım da, en önemli olan faktörün donanımın dışında her bir hızlandırıcı için yapılan yazılım ve optimizasyonlar. Donanım temel bileşen olmakla birlikte çekirdekler, bellek ve çeşitli AI’a özgü hızlandırıcılardan tam verim alınmasını sağlayacak bir yazılım olmadan yapay zeka yarışında varlığınızı kanıtlamanız çok zor.