NVIDIA, üç gün evvel yaptığı açıklamayla TensorRT yapay zekâ hızlandırma teknolojisini RTX platformuna getirdiğini duyurdu. Bu yeni teknoloji sayesinde GeForce RTX GPU kullanıcıları, optimize edilmiş çıkarım (inference) arka ucu ile yapay zekâ uygulamalarında önemli performans artışı elde edebilecek.
TensorRT, Sadece Performans Artışı Vadetmiyor
TensorRT, DirectML’ye kıyasla yapay zekâ uygulamalarında 2 kata kadar performans artışı sağlıyor. Teknoloji aynı zamanda Windows ML tarafından yerel olarak destekleniyor ve TensorRT-LLM şimdiden Windows’ta kullanılabilir durumda.
Windows ML, ONNX Runtime üzerine inşa edilmiş ve her donanım üreticisi tarafından sağlanan optimize edilmiş bir yapay zekâ yürütme katmanına sorunsuz bağlanabiliyor. GeForce RTX GPU’lar için Windows ML, otomatik olarak TensorRT’yi kullanıyor ve DirectML’ye kıyasla bilgisayarlardaki yapay zekâ iş yükleri için yüzde 50’den fazla daha hızlı performans sunuyor.
TensorRT’nin avantajları sadece performansla sınırlı değil. Yeni arka uç, 8 kat daha küçük kütüphane dosya boyutları sunuyor ve GPU başına tam zamanında (Just-in-time) optimizasyonlarla geliyor. TensorRT for RTX, haziran ayında NVIDIA’nın geliştirici web sitesi üzerinden tüm NVIDIA GeForce RTX GPU’lar için kullanıma sunulacak.
NVIDIA’nın paylaştığı performans verilerine göre ComfyUI’de kullanıcılar 2 kat performans artışı elde edebilirken; DaVinci Resolve ve Vegas Pro’da ise yüzde 60’lık bir artış görülüyor. Bu da RTX GPU’ların ve RTX bilgisayarların, potansiyellerini tam anlamıyla kullanabilmelerini sağlıyor.
NVIDIA ayrıca bu ay 5 yeni ISV entegrasyonu ile 150’den fazla yapay zekâ SDK’sini desteklemeye devam ediyor: Bunlar ise LM Studio, Topaz Video AI, Bilibili, AutoDesk VRED ve Chaos Enscape.
Kaynak: wccftech.com