Öncelikle açıklama yaptığınız için teşekkür ederim. Sanırım bu derin öğrenme konuları çıktısı 1 TB kadar olabiliyormuş. O kadar zor olan projeler oluyor mu? 1 TB kadar oluyorsa ne kadar uzun sürer?
Geç cevap için kusura bakmayın ancak görebildim. 1 TB’lık çıktıyı milyar parametreli LLM modellerini sıfırdan eğitirken rahatlıkla görebilirsin. Her checkpoint dosyası yüzlerce GB olabilir ve onlarca checkpoint biriktiğinde TB'ları bile geçer. Yani kullanılan parametre arttıkça checkpoint noktalarının boyutları da o kadar artıyor.
10.000 tane GPU ile yaparsan 1 hafta da hallolurdu.
Cevap için teşekkür ederim. Bende ufak bir araştırma yaptım. Bir yerin yapay zeka/makine öğrenimi için 7 sunucusu var mış. Her birinde 256 GB RAM, Intel Xeon işlemci var mış. Toplamda ise 35 GPU var mış. Bu iş görür mü?Geç cevap için kusura bakmayın ancak görebildim. 1 TB’lık çıktıyı milyar parametreli LLM modellerini sıfırdan eğitirken rahatlıkla görebilirsin. Her checkpoint dosyası yüzlerce GB olabilir ve onlarca checkpoint biriktiğinde TB'ları bile geçer. Yani kullanılan parametre arttıkça checkpoint noktalarının boyutları da o kadar artıyor.
Okuduğum bir makaleye göre örnek vermem gerekirse llama 2nin 70B modelinden verebilirim. Bu ölçekteki bir modeli sıfırdan eğitmek, Meta'nın dediğine göre neredeyse 1.7 milyon GPU saatlik compute istiyormuş.
Yani tek bir GPU ile eğitmek isteseydin 200 yıl sürerdi.
GPT 4'ün tahminen 1 trilyon parametreye sahip olduğunu varsayarsak bu deve de kulak kalıyor diyebilirim.
Bu tip eğitimleri biz gibi orta ölçekli şirketler genelde AWS'in HPC sunucularında veya Bedrock üzerinde yapıyor. Ancak büyük şirketler maliyetlerinden ötürü bunu tercih etmiyor tabii ki. NVIDIA'nın dünyanın en büyük şirketi olma sebebi de tam olarak bu.
Burada GPU’ların modeli ve VRAM'i biraz önemli. A100 80 GB sınıfındaysa 70B’lik bir modeli eğitmesi aylar sürer ama 7B parametreli modelleri iyi bir sürede sıfırdan eğitebilir. Mühim olan parametre boyutu ve GPU kapasitesi.
