Local AI önerisi

perFUNCTORY · Bugün 16:27

Merhaba, sistem bilgilerim ve hız testlerim aşağıda. Qwen 3.8-27b kullanıyorum. Memnun değilim. Daha hızlı ve daha kaliteli olarak kullanan var mı? Tavsiyelere açığım. Farklı model ve ayarlar üzerinde fikirlerinizi almak istiyorum.
RAM taşması yapmıyorum. Full GPU üzerinden çalıştırıyorum.
DeepSeek-V4.1 2.00/2.25 ve Flash-Next IQ3_XXS modellerini denemeye değer mi?

Yükleme ayarlarım.
C = 262144 kv = q8_0/q8_0 draft-kv = default np = 1 b = 4096 ub = 256.
Temp = 0.6 top_p = 0.95 top_k = 20 min_p = 0.0 effort = medium.
MTP n = 2 Spec-ub = 64 TS = 42, 58 ngl = 999 fa = on kv-offload = on.

Hız bilgilerim.
Kısa sohbet 61,5 t/s.
22,9K prefill 553 t/s.
22,9K decode 49,7 t/s.

Sistem bilgilerim.
RTX 5070 12 GB.
RTX 5060 Ti 16 GB.
64 GB RAM.

Superuser do · 49 dakika önce

Güvenlikle ilgili sıkıntılarınız yoksa, Local AI önermiyorum.

perFUNCTORY · 44 dakika önce

Superuser do dedi:
Güvenlikle ilgili sıkıntılarınız yoksa, local AI önermiyorum.

Hobi amaçlı kullanıyorum. Genel kültür olarak bilgi edinmek ve öğrenme amaçlı. Bulut tarafı çok iyi ama yakında bu fiyatlar olacağını sanmıyorum. GPT $500 çıktı, opus5.5 F/P ama Free kullanım yerini tutmaz. Ciddi yatırım gerektiren ve bilgi sahibi olunması gereken bir konu olarak düşünüyorum.

Superuser do · 26 dakika önce

ggbye dedi:
Hobi amaçlı kullanıyorum. Genel kültür olarak bilgi edinmek ve öğrenme amaçlı. Bulut tarafı çok iyi ama yakında bu fiyatlar olacağını sanmıyorum. GPT $500 çıktı, opus5.5 F/P ama Free kullanım yerini tutmaz. Ciddi yatırım gerektiren ve bilgi sahibi olunması gereken bir konu olarak düşünüyorum.

Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama Opus 5.5 gibi bir Frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile Context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum Context Windowun en az 300.000 ile 400.000 arasında olması lazım, Bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir Context Window'da değil agentic ai veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem Context Windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden Local önermiyorum.

Bu arkadaş 4X 4080 Super Workstation ile Qwen 3.8 27B çalıştırıyor, gidip Benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

perFUNCTORY · 24 dakika önce

Superuser do dedi:
Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama opus 5.5 gibi bir frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum context windowun en az 300.000 ile 400.000 arasında olması lazım, bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir context Window'da değil agentic AI veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem context windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden local önermiyorum.

Bu arkadaş 4X 4080 Super workstation ile qwen 3.8 27b çalıştırıyor, gidip benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

Yarn ile 1M çıkıyor, 262K genelikle harnese göre değişiyor ama iş görüyor benim için. Moe modellerde contex sorunu yok ama dense ölüm gibi 28 GB VRAM daha üstü imkansız. Linux dönme sebebim bu yönde. Windows 262K bırak 200k bile contex yüklenmiyordu.

Superuser do dedi:
Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama Opus 5.5 gibi bir Frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile Context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum Context Windowun en az 300.000 ile 400.000 arasında olması lazım, Bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir Context Window'da değil agentic ai veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem Context Windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden Local önermiyorum.

Bu arkadaş 4X 4080 Super Workstation ile Qwen 3.8 27B çalıştırıyor, gidip Benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

Bu videodaki kişinin ayarları çök kötü, daha kötü sistem ile daha iyi sonuçlar alıyorum.

Superuser do · 23 dakika önce

ggbye dedi:
Yarn ile 1M çıkıyor, 262K genelikle harnese göre değişiyor ama iş görüyor benim için. Moe modellerde contex sorunu yok ama dense ölüm gibi 28 GB VRAM daha üstü imkansız. Linux dönme sebebim bu yönde. Windows 262K bırak 200k bile contex yüklenmiyordu.

Qwen iyi bir model, devam edebilirsiniz ancak dediğim gibi yapabileceğiniz şeyler oldukça sınırlı.

perFUNCTORY · 22 dakika önce

Superuser do dedi:
Qwen iyi bir model, devam edebilirsiniz ancak dediğim gibi yapabileceğiniz şeyler oldukça sınırlı.

Qwen 4 çıktığı zaman işler değişir mi? 27b çıkacak denildi.

Superuser do · 19 dakika önce

ggbye dedi:
Qwen 4 çıktığı zaman işler değişir mi? 27b çıkacak denildi.

Local LLM için biraz daha zaman olduğunu düşünüyorum hocam. Qwen 4 için çok bir fikrim yok.

Local AI önerisi

Detaylar

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

Benzer konular

Yeni konular

Yeni mesajlar