35.000-40.000 TL bandında lokal AI çalıştırmak için cihaz önerisi

Bütçe
40.000 TL

denizius

Başarılı
Katılım
9 Eylül 2024
Mesajlar
469
Beğeniler
187
35K-40K bütçe ile lokalde 9B parametreli bir modeli rahat şekilde çalıştırabilecek bir cihaz arıyorum, sizce bulmam mümkün mü? Nano falan olmaz.
 
Baktım, sadece 16 GB modelleri var; o da beni sıkıntıya sokacak gibi.
Context kısmı çok düşük olur. Bilemedim hocam maalesef, Unified Memory ile çalıştırabilirseniz ancak hatırı sayılır güzel bir context elde edersiniz; o zaman da fiyat pahalı olur. Apple'ın M serisi işlemcilerinde NPU birimi mevcut. Bu, AI ile ilgili işler için tasarlanmış bir işlemci birimi ama bu da CUDA ve NVIDIA kartların sağladığı performansın aynısını sağlayamaz. AI için maalesef bütçe bir tık düşük gibi geldi bana.
 
Aşırı büyük bir şey planlamadığım için bu kadar tuttum bütçeyi. Tek bir alanda özelleşmiş bir yapay zeka olacak. Diğer ihtiyaçlarım için RAM'e gerek duymasam 16 modelini alırdım ama maalesef minimum 24 gerekiyor. Onun da fiyatı çok pahalı; muhtemelen 3070'li falan bir sistem bakacağım.
 
@barcaxsto
Local AI kullanan bir arkadaş, size bağlamınız konusunda yardımcı olabilir diye düşünüyorum.

​

 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…