Lokalde kullanmak için AI modeli önerisi

Player · Bugün 00:25

existentia dedi:
Context büyüklügü ya da hız önemli mi?

Content büyüklüğü çok önemli ama hız çok önemli değil.

existentia · Bugün 00:28

Player dedi:
Content büyüklüğü çok önemli ama hız çok önemli değil.

Qwen2.5-Coder 7B q4 olabilir ama önermem daha büyük modeller bile işe yaramıyır hobi olarak denemek istiyorsanız deneyin ama işe yaramıyorlar

Utku92 · 33 dakika önce

O VRAM ile hiçbir şey olmaz. Ben de 48 GB VRAM var, Qwen 3.8 27B 8 bit kullanıyorum; onda bile beğenmediğim noktalar çok var.

babyYoda · 14 dakika önce

Player dedi:
Hocam çıktı kalitesi nasıl.

5060 da calistirdim 8gb vram icin en iyisi bu bence. Tabi yine mal oldugu gercegini degistirmiyor daha zeki modeller daha fazla vram ve gpu gucu istiyor .8GB VRAM de daha pazla parametreli AI kullanirsin calisir basta vram kaplar yer kalmazsa ram kullanir harf harf cikti alirsin yani cok yavas olur diyorum.

Lokalde kullanmak için AI modeli önerisi

Detaylar

Player

Becerikli

existentia

Başarılı

Utku92

Bilgin

babyYoda

Gelişen

Benzer konular

Yeni konular

Yeni mesajlar