Bütçe
40.000 TL
denizius

denizius

Başarılı
Katılım
9 Eylül 2024
Mesajlar
469
Beğeniler
188
35K-40K bütçe ile lokalde 9B parametreli bir modeli rahat şekilde çalıştırabilecek bir cihaz arıyorum, sizce bulmam mümkün mü? Nano falan olmaz.
 
denizius dedi:
Baktım, sadece 16 GB modelleri var; o da beni sıkıntıya sokacak gibi.
Genişletmek için tıkla...
Küçültmek için tıkla...
Context kısmı çok düşük olur. Bilemedim hocam maalesef, Unified Memory ile çalıştırabilirseniz ancak hatırı sayılır güzel bir context elde edersiniz; o zaman da fiyat pahalı olur. Apple'ın M serisi işlemcilerinde NPU birimi mevcut. Bu, AI ile ilgili işler için tasarlanmış bir işlemci birimi ama bu da CUDA ve NVIDIA kartların sağladığı performansın aynısını sağlayamaz. AI için maalesef bütçe bir tık düşük gibi geldi bana.
 
Superuser do dedi:
Context kısmı çok düşük olur. Bilemedim hocam maalesef, Unified Memory ile çalıştırabilirseniz ancak hatırı sayılır güzel bir context elde edersiniz; o zaman da fiyat pahalı olur. Apple'ın M serisi işlemcilerinde NPU birimi mevcut. Bu, AI ile ilgili işler için tasarlanmış bir işlemci birimi ama bu da CUDA ve NVIDIA kartların sağladığı performansın aynısını sağlayamaz. AI için maalesef bütçe bir tık düşük gibi geldi bana.
Genişletmek için tıkla...
Küçültmek için tıkla...
Aşırı büyük bir şey planlamadığım için bu kadar tuttum bütçeyi. Tek bir alanda özelleşmiş bir yapay zeka olacak. Diğer ihtiyaçlarım için RAM'e gerek duymasam 16 modelini alırdım ama maalesef minimum 24 gerekiyor. Onun da fiyatı çok pahalı; muhtemelen 3070'li falan bir sistem bakacağım.
 
denizius dedi:
35K-40K bütçe ile lokalde 9B parametreli bir modeli rahat şekilde çalıştırabilecek bir cihaz arıyorum, sizce bulmam mümkün mü? Nano falan olmaz.
Genişletmek için tıkla...
Küçültmek için tıkla...
Hocam, açıkçası 40.000 TL bütçe biraz kısıtlı. Bu bütçeye ne önerebilirim bilemedim ama bana kalırsa en mantıklı iki seçenek var: Ya RTX 3090'ın 24 GB VRAM kapasitesinden faydalanarak local LLM çalıştıracaksınız ya da M4 işlemcili, 24 GB Unified Memory'ye sahip bir Mac mini tercih edeceksiniz.

Sahibinden'e baktığımda ikisinin de 50.000 TL civarında bulunabildiğini gördüm. Tabii RTX 3090 yalnızca ekran kartı, Mac mini ise komple sistem.

Sizin kullanım senaryonuzda Mac'i doğrudan elemek bence mantıksız. Apple Silicon'ın Unified Memory Architecture yapısı, local LLM için ciddi avantajlar sunuyor. Özellikle amacınız fine-tuning veya model eğitmekten ziyade sadece kullanmak ise 24 GB Unified Memory'ye sahip M4 Mac mini'yi mutlaka değerlendirmenizi öneririm.
 

Benzer konular

eyyamgüder
40.000 TL bütçe ile sistem önerisi
Mesaj
5
Görüntüleme
123
mrzaknafein
mrzaknafein
Devin
30.000-40.000 TL bütçede sistem yükseltmesi önerisi
Mesaj
6
Görüntüleme
133
Lorien
Lorien
enesq
35.000-40.000 TL'ye masaüstü bilgisayar önerisi
Mesaj
4
Görüntüleme
143
enesq
enesq
erenalisen
40.000-45.000 TL'ye RTX 5070 uyumlu sistem önerisi
Mesaj
4
Görüntüleme
62
erenalisen
erenalisen
Ethem Efe
35.000-40.000 TL bütçe ile sistem önerisi
2 3
Mesaj
26
Görüntüleme
538
Ethem Efe
Ethem Efe
Winner
40.000 TL'ye 1080p için RTX 4060 yerine ekran kartı önerisi
2
Mesaj
16
Görüntüleme
291
HDDKullanıyorum
HDDKullanıyorum
A
35.000-40.000 TL arası sistem önerisi
Mesaj
4
Görüntüleme
135
Lorien
Lorien

Yeni konular

Yeni mesajlar