NVIDIA’nın RTX 30 ve RTX 40 serisi ekran kartları, açık kaynaklı yeni araçlar sayesinde yapay zekâ iş yüklerinde önemli performans artışları elde ediyor. Zagitta tarafından geliştirilen GPU-Unlock, özellikle RTX 30 serisindeki bazı modellerin FP16 ve BF16 hesaplama kapasitesini artırıyor.
RTX 40 Serisinde de Dikkat Çeken Performans Artışları Görülüyor
NVIDIA’nın Ampere mimarisini temel alan RTX 30 serisi ekran kartları, oyun performanslarının yanı sıra yerel yapay zekâ modellerini çalıştırmak için de kullanılabiliyor. Ancak bu kartların bazı hesaplama yetenekleri, donanımsal potansiyellerinin altında kalabiliyor.
GPU-Unlock; GA102, GA103, GA104 ve GA106 GPU’larda FP16 ve BF16 hesaplama performansını artırmayı hedefliyor. Araç, herhangi bir vBIOS güncellemesi veya donanım değişikliği gerektirmeden belirli hesaplama kısıtlamalarını kaldırabiliyor. Paylaşılan sonuçlara göre RTX 30 serisi ekran kartlarında bazı hesaplama işlemlerinin performansı yüzde 80’e kadar artabiliyor. Fakat elde edilen kazanç, ekran kartının modeline ve kullanılan iş yüküne göre değişiyor.
GPU-Unlock ile elde edilen sonuçlar, özellikle yüksek hesaplama kapasitesine sahip Ampere modellerinde dikkat çekiyor. Paylaşılan verilere göre RTX 3090 Ti’ın BF16 performansı 87.5 TFLOPS seviyesinden 157 TFLOPS’a yükselirken TF32 performansı da 42.6 TFLOPS’tan 82.6 TFLOPS’a çıkıyor. RTX 3080’in 10 GB belleğe sahip sürümünde ise FP16 hesaplama performansının, 320 W güç tüketimi korunarak 65 TFLOPS’tan 113 TFLOPS’a yükseldiği belirtiliyor.
Yapay zekâ modellerinde yapılan testlerde de iyileşmeler görülüyor. RTX 30 serisinde kilidi kaldırılmış bir ekran kartı, uzun bağlamlı girdilerin işlendiği prefill aşamasında yüzde 33 ila yüzde 36 arasında performans artışı sağlıyor. İlk token’ın üretilmesine kadar geçen süreyi ifade eden TTFT gecikmesi de yüzde 25 azalıyor.
Öte yandan RTX 40 serisi modellerde de benzer bir araç sayesinde performans artışları rapor ediliyor. Paylaşılan test sonuçlarına göre RTX 4090’ın FP16/BF16 performansı 165.6 TFLOPS’tan 331.6 TFLOPS’a yükselirken TF32 performansı da 500 W güç tüketiminde 77.5 TFLOPS’tan 165.9 TFLOPS’a ulaşıyor.
RTX 4080 SUPER’de FP16 performansının 110.6 TFLOPS’tan 202.7 TFLOPS’a, FP8 performansının ise 201.8 TFLOPS’tan 376.1 TFLOPS’a çıktığı belirtiliyor. RTX 4070 Ti SUPER’de de FP16/BF16 performansı 240 W güç tüketiminde 95 TFLOPS’tan 189.9 TFLOPS’a yükselirken FP8 testlerinde yaklaşık iki kat performans elde edildiği aktarılıyor. Son olarak RTX 4060 Ti 16 GB üzerinde yapılan testlerde ise güç tüketimi 182 W ile sınırlandırıldığında yüzde 38 ila yüzde 39 arasında artış kaydediliyor.