AI/ML öğrenimi sonucunda veriler çok mu yer kaplar ve ne kadar veri tutar?

Merhaba,

Morthunel dedi:

Türkiye'de bazı sağlam üniversitelerde GPU server var. Hepsinde yok diye biliyorum. Bu doğru mudur?

Genişletmek için tıkla...

Küçültmek için tıkla...

Bu konuda net bir bilgim yok fakat TR'de o yatırımı yapacak bütçeye sahip üniversitelerin sayısının kısıtlı olduğunu tahmin ediyorum.

Asıl sorunuza gelecek olursak basit tanımla bir modelin geliştirme sürecinde toplanan veri setlerinin vb. kapladığı alan modeli Ollama gibi araçlar üzerinde yerel bilgisayarınızda çalıştırmak istediğinizde indirdiğiniz model dosyasının boyutundan çok daha fazladır. Bunun sebebi geliştirme sürecinde birçok veri full haliyle indirilip saklanmakta, fakat model dosyası sıkıştırılıp çalıştırılabilir hale getirildiğinde çok daha küçük boyutlar kaplayabilir.

Özellikle görsel, ses vb. medya dosyası işleyen modellerin diskte kapladığı yerin yüksek olduğunu düşünüyorum. (Çok bilgim yok AI/ML geliştirme işi yapan bir kişi bu konuda yorum yaparsa daha iyi olur.)

Örnek vermek gerekirse OpenAI'ın açık kaynak kodlu GPT-OSS-120B modeli 120 milyar parametreye sahip ve Ollama ile indirip yerelde çalıştırmak istediğinizde 60.9 GB alan kaplamakta.


Fakat geliştirme sürecinde bunun çok daha yüksek TB boyutlarında olabileceğini düşünüyorum.

Morthunel dedi:

Türkiye'de bazı sağlam üniversitelerde GPU server var. Hepsinde yok diye biliyorum. Bu doğru mudur?

Peki bu AI/ML eğitmek için GPU serverlarda yapılan verilerin boyutu ortalama ne kadar tutar? Merak ettim daha doğrusu. Çünkü ağır veri kümeleri oluyor. Ayrıca, bunları nerede saklarlar?
@aliyasiny65

Genişletmek için tıkla...

Küçültmek için tıkla...

Yok hocam fazla yer tutmaz. Açıkçası ben de işin uzmanı değilim ama aslında modelin kendisi değilde eğiteceğiniz dataset'ler büyük olur ve asıl yer yiyen onlardır, birde training yaptığınız sırada RAM içerler ama elinize çıkan model baya bi az yer kaplıyor bence. Mesela ben tıbbi projem için DL modeli eğittim ve dataset içinde 20GB fotoğraf varken eğitilmiş model 8-10MB falan alan kaplıyordu.

Bu arada yine yanlış yönlendirme olmasın ama modelinizin kaplayacağı alanı parametre sayısı da belirliyor. Eğittiğim model yanlış hatırlamıyorsam sadece 4 milyon parametreden oluşuyordu yani aslında olay hangi veriler ile uğraşıyorsunuz ve modeli eğitirken bu verilerin ne kadar karmaşık olduğu. Verideki çıkarımlar ve ağırlıklar arttıkça tabii ki parametre sayısı da artar ve modeliniz daha fazla yer kaplar ama eğitildikren sonra alan konusunda çokta sorun yaratıcağını sanmıyorum.