Yakın zamanda gündem olan OpenAI rakibi Çinli DeepSeek’in bu başarıya nasıl ulaştığı merak konusu olmuştu. Görünüşe bakılırsa yapay zekanın eğitimi için çok farklı bir yönteme başvurulmuş.
DeepSeek Farklı Bir Eğitme Aracı Tercih Etmiş
DeepSeek, yaklaşık iki ayda 2048 adet NVIDIA H800 GPU içeren bir sistem ile 671 milyar parametreli Mixture-of-Experts (MoE) dil modelini eğiterek sektörde epey ses getirdi ve Meta gibi yapay zeka sektörü liderlerinden 10 kat daha yüksek verimlilik gösterdi. Mirae Asset Securities Korea’nın bir analizine göre bu atılım, tonlarca ince optimizasyon uygulanarak ve bazı işlevler için NVIDIA’nın CUDA teknolojisi yerine assembly benzeri PTX (Paralel İş Parçacığı Yürütme) programlamasının kullanımıyla elde edildi.
NVIDIA’nın PTX teknolojisi (Paralel İş Parçacığı Yürütme), şirketin kendi ekran kartları için tasarladığı bir ara komut seti mimarisi. PTX, daha yüksek seviyeli ekran kartı programlama dilleri (CUDA C/C++ veya diğer diller gibi) ile düşük seviyelilerin arasında yer alıyor. Bu dil, daha ince ayrıntılı optimizasyonlara izin veriyor.
Örneğin V3 modelini eğitirken DeepSeek, NVIDIA’nın H800 GPU’larını yeniden ayarladı: 132 çoklu işlemciden 20’si, sunucudan sunucuya iletişim için ayrıldı; muhtemelen işlemcinin bağlantı sınırlamalarını aşmak, işlemleri hızlandırmak ve verileri sıkıştırmak için. Performansı en üst düzeye çıkarmak için ise DeepSeek’in, ekstra iş parçacığı seviyesi ayarlamalar yaptığı bildiriliyor.
Bu değişiklikler, standart CUDA seviyesinin çok ötesine geçiyor ancak sürdürülmesi de oldukça zor. Tüm bunlar, DeepSeek mühendislerinin olağanüstü becerilerini yansıtıyor. ABD kısıtlamalarıyla artan küresel ekran kartı kıtlığı, DeepSeek gibi şirketleri yenilikçi çözümler üretmeye zorladı. Ancak DeepSeek’in hedefe ulaşmak için geliştirmeye ne kadar para yatırması gerektiği belirsiz.
Öte yandan DeepSeek’in hızlı yükselişi, ABD ve Avrupa’nın gözüne takılmış durumda.
Kaynak: Tom’s Hardware