4 GB VRAM & 16 GB RAM'li bilgisayarda kodlama için en iyi dil modeli nedir?

  • Konuyu başlatan Konuyu başlatan BIG C4LL
  • Başlangıç Tarihi Başlangıç Tarihi
  • Mesaj Mesaj 1
  • Görüntüleme Görüntüleme 28

BIG C4LL

Başarılı
Katılım
8 Ağustos 2024
Mesajlar
291
Çözümler
3
Beğeniler
70
Yer
Ankara
16 GB DDR4, 4 GB RX 6400'um var. Kodlama yeteneği üst düzey olan, Türkçe bilen dil modeli arıyorum. Gemini Qwen 2.5-coder-7b-instruct (gguf) önerdi. Siz de önerilerinizi belirtirseniz çok mutlu olurum.
 
Son düzenleyen: Moderatör:
Hevesinizi kirmak istemem ancak bu sistemle kodlama odakli hatri sayilir bir local LLM calistirmaniz bile cok zor, Gemini cok ucmus gitmis. Calissa bile sistem RAM'ine sizma olacagi icin token/s oraniniz cok dusuk olacaktir. Gemma 4 E2B Q8 bile 4GB'in ustunde VRAM kullanmakta.

GLM ve Qwen modellerini cloudda da kullanabiliyorsunuz. Z.ai ve Qwen Chat'in free tierinda kullanim limitleri de oldukca bonkor, Z.ai'in ayni Deepseek gibi limitsiz tarzi bir sey hatta. Onlari onerebilirim, local LLM'in gizlilik avantajindan feragat edecekseniz tabii.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…