Kodlama için localde çalışan en iyi LLM nedir?

dombikpanda · Dün 21:53

Soru o kadar kısa ki başlıkta zaten belirttim, imza kısmında da sitem zaten mevcut. Bu sistemde çalışabilecek bir LLM arıyorum, sadece kodlama için bir arayıştayım. Tabii ki de bir Claude, Chat GPT beklemiyorum ama en azından token hafifletmek için kullanabileceğim bir LLM olsun. QWEN 3.8 27B 4 Bit kullandım, çok da memnun kalamadım açıkçası.

NVIDIA RTX 4070 Ti Super
AMD Ryzen 9 9900X
XPG Lancer 2*32 GB 6200 MHz CL 28 RAM

vanillamint · 1 dakika önce

Qwen 3'un Coder olan varyanti var, direkt onu onermek isterdim ama tabii Q4'de bile 48 GB bir model oldugu icin kendisi sizin sistemde GPU'ya sigmayacak, sistem RAM'ine kayacak (o da sigarsa) ve bu da performansi oldurecektir.

Alternatif olarak direkt aklima Qwen 2.5'un Coder 32B olani geldi, onu deneyebilirsiniz. Bionic'de 16 GB GPU + 32GB RAM ile partial offload gozukuyor bende hepsinde.

Kodlama için localde çalışan en iyi LLM nedir?

Detaylar

dombikpanda 2

Uzman

vanillamint 122

Seçkin

Benzer konular

Yeni konular

Yeni mesajlar