GPU maliyetlerinin piyasalarda yarattığı huzursuzluk tam gaz sürerken Yatırım Bankası Morgan Stanley, büyük ölçekli “Yapay Zeka fabrikaları” için NVIDIA GB200 NVL72 sistemlerinin verimlilikte rakip tanımadığını savunan ikna edici bir not paylaştı.
Kısaca hatırlatmak gerekirse her NVL72 yapay zeka rafında, 72 adet NVIDIA B200 GPU ve 36 Grace CPU yer alıyor. Bileşenler, yüksek bant genişliği ve düşük gecikmeli NVLink 5 ile birbirine bağlanıyor. Tek bir rafın fiyatı, şu an yaklaşık 3.1 milyon dolar. Karşılaştırma için H100 tabanlı bir raf yaklaşık 190 bin dolar seviyesinde.
Toplam ilk yatırım tarafında fark daha da açılıyor: H100’lü bir raf kurmanın maliyeti, yaklaşık 250 bin dolar olurken NVIDIA GB200 NVL72 için bu rakam yaklaşık 3.9 milyon dolara çıkıyor.
Morgan Stanley’ye göre yine de yeni nesil NVL72, eski nesil H100 çözümlerine kıyasla ekonomik açıdan daha mantıklı. Banka, gelir ve kârlılık yaratma kapasitesinde liderliğin GB200 NVL72 sistemlerinde olduğunu düşünüyor. Google’ın TPU v6e pod’u ise ikinci sırada geliyor.
Teorik bir 100 MW’lık yapay zeka fabrikası için tablo şöyle:
– NVIDIA GB200 NVL72 raflarıyla kâr marjı: %77.6
– Google TPU v6e pod’larıyla kâr marjı: %74.9
Google’ın TPU v6e fiyatları kamuya açık değil. Ancak bir pod’u kiralamanın NVL72 rafına kıyasla ortalama %40–50 daha ucuz olduğu belirtiliyor.
Dikkat çekici bir diğer nokta, AMD tarafında MI300 ve MI355 platformlarının kârlılıkta negatife düşmesi. Morgan Stanley’in modelinde bu iki yapı sırasıyla -%28.2 ve -%64 kâr marjı üretiyor. Varsayımlar ise şu şekilde:
– 100 MW’lık bir yapay zeka veri merkezinin altyapı maliyeti 660 milyon dolar; 10 yılda amorti ediliyor.
– GPU maliyetleri alt sınırda 367 milyon dolardan üst sınırda 2.273 milyar dolara uzanıyor; 4 yılda itfa ediliyor.
– Operasyonel giderler hesaplanırken farklı soğutma çözümlerinin sağladığı enerji verimliliği ve küresel elektrik fiyatlarının ortalaması baz alınıyor.
Toplam Sahip Olma Maliyeti (TCO) tarafında ise NVIDIA GB200 NVL72 sistemleri, 806.58 milyon dolarla en yüksek değere sahip. Onu 774.11 milyon dolarla AMD MI355X platformu izliyor. Kısacası NVL72’nin raf ve yatırım maliyetleri yüksek olsa da model, gelir üretimi ve verimlilik sayesinde nihai kârlılıkta zirvede konumlanıyor.
Kaynak: wccftech.com
