Google, geliştiricilerin bulut üzerinde AI çıkarım uygulamaları çalıştırmasını kolaylaştıracak. NVIDIA’nın L4 GPU desteğini Cloud Run’a ekleyen Google, artık gerçek zamanlı AI çıkarım uygulamalarında daha güçlü performans ve ölçeklenebilirlik sunuyor. Bu güncelleme, Google’ın ölçeklenebilir altyapısına dayalı olan Cloud Run platformunun, konteyner tabanlı uygulamalar için GPU hızlandırmasıyla AI çıkarımını daha da verimli hale getirmesini sağlıyor.
NVIDIA L4 GPU’ları, AI Çıkarımları için Hızlı İşlem Yapma İmkanını Sunacak
NVIDIA L4 GPU’ları, bulut tabanlı AI çıkarımları için özellikle hafif modeller (Gemma ve Llama benzeri) kullanarak hızlı işlem yapma imkanı sunuyor. Ayrıca Cloud Run‘ın sunucusuz mimarisi sayesinde kullanılmayan hizmetler sıfıra ölçeklenerek maliyetlerin optimize edilmesi mümkün oluyor.
Bu güncelleme ile Cloud Run örneklemelerine NVIDIA L4 GPU eklemek artık mümkün hale gelecek. GPU’lar şimdilik us-central1 bölgesinde kullanıma sunulsa da, yıl sonuna kadar Avrupa ve Asya‘daki diğer bölgelerde de mevcut olacak. Geliştiriciler güçlü altyapı ile AI çıkarım yüklerini hızlandırarak, özellikle büyük dil modelleri ve görüntü oluşturma gibi compute-intensive uygulamalarda performansı arttırabilecek.
Cloud Run platformuna GPU desteği eklenmesi, kullanıcıların hem performans hem de maliyet açısından faydalanacağı yeni bir dönemi başlatıyor.
Kaynak: wccftech.com