NVIDIA, Llama ve Mistral gibi yapay zeka modellerinde amiral gemisi RTX 4090 da dahil olmak üzere GeForce RTX 40 GPU’ları için etkileyici rakamlar sergiliyor.
NVIDIA GeForce RTX 40 GPU’ları, Yeni Llama ve Mistral Yapay Zeka Testlerinde Dizüstü Bilgisayar CPU’larını ve NPU’larını Geride Bırakıyor
NVIDIA’nın Windows için TensorRT-LLM hızlandırması, Windows PC platformunda önemli performans artışları sağladı. NVIDIA’nın RTX AI PC özellik paketine eklenen yeni özellikler ve şirketin amiral gemisi GeForce RTX 4090 GPU’su, büyük performans rakamları sergileyerek işleri daha da iyiye götürüyor.
Yeni bir AI-Decoded blog yazısında NVIDIA, mevcut GPU serisinin 2024 yılında 50 TOPS’a kadar ulaşan tüm NPU ekosistemini geride bıraktığını paylaştı. NVIDIA’nın RTX AI GPU’ları ise birkaç 100 TOPS’a sahip ve GeForce RTX 4090 ile 1321 TOPS’a kadar çıkabiliyor, bu da onu LLM’leri ve daha fazlasını çalıştırmak için en hızlı masaüstü AI çözümü yapıyor. Aynı zamanda dünyadaki en hızlı oyun grafik kartı olma özelliğini de taşıyor.
NVIDIA’nın GeForce RTX GPU’ları 24 GB’a kadar VRAM sunarken, NVIDIA RTX GPU’ları 48 GB’a kadar VRAM sunuyor ve bu da onları LLM’leri (Büyük Dil Modelleri) idare etme konusunda oldukça güçlü kılıyor çünkü bu iş yükleri büyük miktarlarda video belleği gerektiriyor. NVIDIA’nın RTX donanımı, özel video belleğinin yanı sıra Tensor Çekirdekleri (donanım) ve yukarıda bahsedilen TensorRT-LLM (yazılım) aracılığıyla yapay zeka özel hızlandırması ile birlikte geliyor.
NVIDIA, yakın zamanda TensorRT-LLM’yi entegre ettiği açık kaynaklı Jan.ai platformunu kullanarak bazı yeni kıyaslamalar paylaştı. Bu chatbot, Llama veya Mistral gibi yapay zeka modellerinden yararlanabilen kullanıcı dostu bir çözüm sunuyor. Jan.ai şimdi NVIDIA’nın GeForce RTX 40 GPU’ları ile özel AI NPU’lara sahip dizüstü bilgisayar CPU’ları arasında yapılan bazı kıyaslamalara bir göz attı.
NVIDIA GeForce RTX 4090, TensorRT-LLM olmadan AMD Ryzen 9 8945HS CPU‘ya göre 8,7 kat iyileştirme sunuyor ve hızlandırma kullanıldığında bu fark 15 kata çıkıyor (TensorRT-LLM olmayan yapılandırmaya göre %70 artış).
AMD CPU ile 11,57 token/sn’ye kadar işlem yapabilirsiniz. NVIDIA GeForce RTX 4070 dizüstü bilgisayar GPU’su ile dahi 4,45 katına varan bir hızlanma elde edebilirsiniz. Ayrıca, yapay zeka iş yükleri için harici bir GPU kullanarak dizüstü bilgisayarların performansını daha da hızlandırmanın mümkün olduğunu göstermek için eGPU yapılandırmasında RTX 4090 kullandıkları rakamları da paylaştılar. Bu yapılandırma, aynı AMD dizüstü bilgisayar CPU’suna göre %907 daha yüksek performans sağlıyor.
NVIDIA kısa süre önce yapay zeka hesaplama gücünün mevcut durumunu ortaya koydu ve GeForce RTX 40 masaüstü CPU’larının giriş seviyesinde 242 TOPS’tan en üst seviyede 1321 TOPS’a kadar nasıl ölçeklendiğini gösterdi. 2024 yılında SOC’larda göreceğimiz en son 45-50 TOPS AI NPU’lara kıyasla en düşük uçta 4,84 kat ve en üstte 26,42 kat artış anlamına geliyor.
- RTX 4070 Ti SUPER (Masaüstü)
- AMD Strix (NPU – Beklenen)
- Intel Lunar Lake (NPU – Beklenen)
RTX 4050 gibi dizüstü cihazlar için NVIDIA GeForce RTX 40 seçenekleri bile en hızlı NPU’ya göre 3,88 kat artışla 194 TOPS ile başlıyor. RTX 4090 dizüstü çipi ise 686 TOPS ile 13,72 kat hızlanma sağlıyor.
NVIDIA, yapay zeka segmentinde rakiplerine kıyasla önemli bir liderlik gösterdi ve bu karşılaştırmalar, yapay zeka uygulamaları için NVIDIA’nın doğru donanımı sunduğunu bir kez daha vurguluyor.
Kaynak: wccftech.com
