vanillamint dedi:
Eki Görüntüle 274751

En hafif varyantinda bile 16 GB VRAM ve 32 GB RAM'li bir sistemde "partial GPU offload" gosteriyor, sizin bilgisayarda dusunemiyorum. Model calisir muhtemelen calismasina ancak saniye basi token degeriniz cok dusuk olacaktir muhtemelen.

Uncensored model olmasi (her seye tamam abi ceken bir model) bozmayacaksa HauhauCS abimizin Uncensored Qwen 3.6-27B-A3B modeli var, onun Q2 K P varyanti guzel, dusunebilirsiniz. Tabii bu model de VRAM'e sigmayacagi icin RAM'e vuracaktir, yapabilecek bir şey yok.

Tamamen 8 GB VRAM'e sigabilecek bir Qwen modeli oldugunu sanmiyorum.
Genişletmek için tıkla...
Küçültmek için tıkla...

Yeni yeni local modellerle ilgileniyorum da bu Uncensored derken tam olarak ne oluyor, farkı nedir tam olarak?
Şu an qwen3.8:27b kullanıyorum güzel cevap veriyor gibi lakin uzun kullanma şansım olmadı.
Dediğin versiyonu kurmalı mıyım?
 

Benzer konular

Utku92
Local LLM olarak hangi modeli kullanıyorsunuz?
2
Mesaj
17
Görüntüleme
334
Utku92
Utku92
Testo Unit
Local LLM için 3 tane RTX 5080 ve RTX 5060 Ti 8 GB vs 1 tane RTX 5090
Mesaj
7
Görüntüleme
106
TÜRK GAMBİTİ
TÜRK GAMBİTİ
Utku92
Kimi K3 Huggingface'e Geldi
Mesaj
9
Görüntüleme
132
Utku92
Utku92
Vrother9
2026 Ağustos itibari ile en iyi local AI modeli hangisi?
Mesaj
2
Görüntüleme
96
erdym
erdym
Morthunel
Yapay zeka LLM önerisi
Mesaj
2
Görüntüleme
126
detista
detista
Lacan
Yerli LLM T3AI Next Sosyal'de kullanıma açıldı
2
Mesaj
11
Görüntüleme
357
KökBilgi
KökBilgi
gustavo
NotebookLM testi
Mesaj
1
Görüntüleme
149
Oltran
O

Yeni konular

Yeni mesajlar