BIG C4LL

Başarılı
Katılım
8 Ağustos 2024
Mesajlar
291
Çözümler
3
Beğeniler
70
Yer
Ankara
16 GB DDR4, 4 GB RX 6400'um var. Kodlama yeteneği üst düzey olan, Türkçe bilen dil modeli arıyorum. Gemini Qwen 2.5-coder-7b-instruct (gguf) önerdi. Siz de önerilerinizi belirtirseniz çok mutlu olurum.
 
Son düzenleyen: Moderatör:
Hevesinizi kirmak istemem ancak bu sistemle kodlama odakli hatri sayilir bir local LLM calistirmaniz bile cok zor, Gemini cok ucmus gitmis. Calissa bile sistem RAM'ine sizma olacagi icin token/s oraniniz cok dusuk olacaktir. Gemma 4 E2B Q8 bile 4GB'in ustunde VRAM kullanmakta.

GLM ve Qwen modellerini cloudda da kullanabiliyorsunuz. Z.ai ve Qwen Chat'in free tierinda kullanim limitleri de oldukca bonkor, Z.ai'in ayni Deepseek gibi limitsiz tarzi bir sey hatta. Onlari onerebilirim, local LLM'in gizlilik avantajindan feragat edecekseniz tabii.
 
16 GB DDR4, 4 GB RX 6400'um var. Kodlama yeteneği üst düzey olan, Türkçe bilen dil modeli arıyorum. Gemini Qwen 2.5-coder-7b-instruct (gguf) önerdi. Siz de önerilerinizi belirtirseniz çok mutlu olurum.
Bizzat kendim bu konuda bir arayışa geçtim ve 27B kullanmış biri olarak söylüyorum, hayal kırıklığına uğrattı. Siz kendi sisteminizde çalıştıracağınız bir modelden hiç bir şey beklemeyin. Çünkü çok yetersiz kalacak.
 
16 GB VRAM var ben bulamıyorum açıkçası kodlama kısmında biraz bile iyi olan bir şey. Ki zaten olsa bile context çok düşük yapabiliyorsun yani senin işine yaramıyor 2 kod yazıyor hemen bitiyor.