Local AI önerisi

perFUNCTORY · Bugün 16:27

Merhaba, sistem bilgilerim ve hız testlerim aşağıda. Qwen 3.8-27b kullanıyorum. Memnun değilim. Daha hızlı ve daha kaliteli olarak kullanan var mı? Tavsiyelere açığım. Farklı model ve ayarlar üzerinde fikirlerinizi almak istiyorum.
RAM taşması yapmıyorum. Full GPU üzerinden çalıştırıyorum.
DeepSeek-V4.1 2.00/2.25 ve Flash-Next IQ3_XXS modellerini denemeye değer mi?

Yükleme ayarlarım.
C = 262144 kv = q8_0/q8_0 draft-kv = default np = 1 b = 4096 ub = 256.
Temp = 0.6 top_p = 0.95 top_k = 20 min_p = 0.0 effort = medium.
MTP n = 2 Spec-ub = 64 TS = 42, 58 ngl = 999 fa = on kv-offload = on.

Hız bilgilerim.
Kısa sohbet 61,5 t/s.
22,9K prefill 553 t/s.
22,9K decode 49,7 t/s.

Sistem bilgilerim.
RTX 5070 12 GB.
RTX 5060 Ti 16 GB.
64 GB RAM.

Superuser do · Bugün 16:46

Güvenlikle ilgili sıkıntılarınız yoksa, Local AI önermiyorum.

perFUNCTORY · Bugün 16:50

Superuser do dedi:
Güvenlikle ilgili sıkıntılarınız yoksa, local AI önermiyorum.

Hobi amaçlı kullanıyorum. Genel kültür olarak bilgi edinmek ve öğrenme amaçlı. Bulut tarafı çok iyi ama yakında bu fiyatlar olacağını sanmıyorum. GPT $500 çıktı, opus5.5 F/P ama Free kullanım yerini tutmaz. Ciddi yatırım gerektiren ve bilgi sahibi olunması gereken bir konu olarak düşünüyorum.

Superuser do · Bugün 17:08

ggbye dedi:
Hobi amaçlı kullanıyorum. Genel kültür olarak bilgi edinmek ve öğrenme amaçlı. Bulut tarafı çok iyi ama yakında bu fiyatlar olacağını sanmıyorum. GPT $500 çıktı, opus5.5 F/P ama Free kullanım yerini tutmaz. Ciddi yatırım gerektiren ve bilgi sahibi olunması gereken bir konu olarak düşünüyorum.

Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama Opus 5.5 gibi bir Frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile Context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum Context Windowun en az 300.000 ile 400.000 arasında olması lazım, Bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir Context Window'da değil agentic ai veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem Context Windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden Local önermiyorum.

Bu arkadaş 4X 4080 Super Workstation ile Qwen 3.8 27B çalıştırıyor, gidip Benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

perFUNCTORY · Bugün 17:11

Superuser do dedi:
Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama opus 5.5 gibi bir frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum context windowun en az 300.000 ile 400.000 arasında olması lazım, bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir context Window'da değil agentic AI veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem context windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden local önermiyorum.

Bu arkadaş 4X 4080 Super workstation ile qwen 3.8 27b çalıştırıyor, gidip benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

Yarn ile 1M çıkıyor, 262K genelikle harnese göre değişiyor ama iş görüyor benim için. Moe modellerde contex sorunu yok ama dense ölüm gibi 28 GB VRAM daha üstü imkansız. Linux dönme sebebim bu yönde. Windows 262K bırak 200k bile contex yüklenmiyordu.

Superuser do dedi:
Konuya ilgi ve alakanız varsa, bu konuda devam etmenizi şiddetle tavsiye ederim ve birazdan kendimce tavsiyelerimi vereceğim ama Opus 5.5 gibi bir Frontier modelin Free kullanımın yerini tutmayacağı yanılgısı oldukça kötü bir durumda. Elinizdeki VRAM miktarına da baktığım zaman büyük bir modeli sıkıştırmak ile Context Window'u altın orada tutma kısmında problem çıkacağını düşünüyorum Context Windowun en az 300.000 ile 400.000 arasında olması lazım, Bu da mevcut VRAM miktarınzın 1 /3 kısmını yiycektir. Altı bir Context Window'da değil agentic ai veya coding yapmayı, yumurta bile yapamazsınız, ancak selam, naber nasılsın diye devam edersiniz. Hem Context Windowu' hem de modeli sıkıştırdınız ancak token hızı da patlar, 2 haftada ancak doğru sonuç alırsınız, o yüzden Local önermiyorum.

Bu arkadaş 4X 4080 Super Workstation ile Qwen 3.8 27B çalıştırıyor, gidip Benchmarklarına vesaire bakabilirsiniz, elinizdeki GPU ile ne kadar performans alabileceğinizi az buçuk tahmin edersiniz.

Bu videodaki kişinin ayarları çök kötü, daha kötü sistem ile daha iyi sonuçlar alıyorum.

Superuser do · Bugün 17:12

ggbye dedi:
Yarn ile 1M çıkıyor, 262K genelikle harnese göre değişiyor ama iş görüyor benim için. Moe modellerde contex sorunu yok ama dense ölüm gibi 28 GB VRAM daha üstü imkansız. Linux dönme sebebim bu yönde. Windows 262K bırak 200k bile contex yüklenmiyordu.

Qwen iyi bir model, devam edebilirsiniz ancak dediğim gibi yapabileceğiniz şeyler oldukça sınırlı.

perFUNCTORY · Bugün 17:12

Superuser do dedi:
Qwen iyi bir model, devam edebilirsiniz ancak dediğim gibi yapabileceğiniz şeyler oldukça sınırlı.

Qwen 4 çıktığı zaman işler değişir mi? 27b çıkacak denildi.

Superuser do · Bugün 17:16

ggbye dedi:
Qwen 4 çıktığı zaman işler değişir mi? 27b çıkacak denildi.

Local LLM için biraz daha zaman olduğunu düşünüyorum hocam. Qwen 4 için çok bir fikrim yok.

barcaxsto · 38 dakika önce

ggbye dedi:
Merhaba, sistem bilgilerim ve hız testlerim aşağıda. Qwen 3.8-27b kullanıyorum. Memnun değilim. Daha hızlı ve daha kaliteli olarak kullanan var mı? Tavsiyelere açığım. Farklı model ve ayarlar üzerinde fikirlerinizi almak istiyorum.
RAM taşması yapmıyorum. Full GPU üzerinden çalıştırıyorum.
DeepSeek-V4.1 2.00/2.25 ve Flash-Next IQ3_XXS modellerini denemeye değer mi?

Yükleme ayarlarım.
C = 262144 kv = q8_0/q8_0 draft-kv = default np = 1 b = 4096 ub = 256.
Temp = 0.6 top_p = 0.95 top_k = 20 min_p = 0.0 effort = medium.
MTP n = 2 Spec-ub = 64 TS = 42, 58 ngl = 999 fa = on kv-offload = on.

Hız bilgilerim.
Kısa sohbet 61,5 t/s.
22,9K prefill 553 t/s.
22,9K decode 49,7 t/s.

Sistem bilgilerim.
RTX 5070 12 GB.
RTX 5060 Ti 16 GB.
64 GB RAM.

Hocam, aldığınız hızlar bence gayet iyi. Bende de Ryzen AI Max+ 395'li ASUS ROG Flow Z13 var, sırf zevk ve hobi amaçlı Local LLM ile uğraşıyorum. Unified Memory sayesinde bazı büyük modelleri çalıştırabiliyorum ama iş hız ve performansa gelince NVIDIA'nın avantajları daha fazla. Bu işte bütçe varsa bayrak NVIDIA'nın elinde.

Bu arada Qwen'in hangi quant sürümünü kullanıyorsunuz? Bir de 262K context'e gerçekten ihtiyacınız oluyor mu? Ben olsam önce 128K ile denerdim. Temperature değerini de 1.0 yapıp karşılaştırabilirsiniz. Qwen'in thinking modu için önerdiği değer bu, ben de bu ayarlarda kullanıyorum.

DeepSeek-V4.1'in 2.00/2.25 sürümleri kalite açısından çok iyi diyorlar ama hız konusunda pek umutlu değilim. Modeller oldukça büyük, dolayısıyla sizin sistemde de memory sorunu oluşturabilir. Flash-Next IQ3_XXS ise bence denemeye değer. Şahsen henüz denemedim ama internetteki hız testlerine de fazla takılmamak lazım. En sağlıklısı modeli kurup kendi sisteminizde test etmek.

Bu arada Qwen'den tam olarak hangi konuda memnun değilsiniz? Ben şahsen Qwen'i oldukça başarılı buluyorum. Open Source modeller arasında da Qwen listenin başlarında.

perFUNCTORY · 30 dakika önce

barcaxsto dedi:
Hocam, aldığınız hızlar bence gayet iyi. Bende de Ryzen AI Max+ 395'li ASUS ROG Flow Z13 var, sırf zevk ve hobi amaçlı local llm ile uğraşıyorum. Unified Memory sayesinde bazı büyük modelleri çalıştırabiliyorum ama iş hız ve performansa gelince NVIDIA'nın avantajları daha fazla. Bu işte bütçe varsa bayrak NVIDIA'nın elinde.

Bu arada Qwen'in hangi quant sürümünü kullanıyorsunuz? Bir de 262K Context'e gerçekten ihtiyacınız oluyor mu? Ben olsam önce 128k ile denerdim. Temperature değerini de 1.0 yapıp karşılaştırabilirsiniz. Qwen'in thinking modu için önerdiği değer bu, ben de bu ayarlarda kullanıyorum.

DeepSeek-v4.1'in 2.00/2.25 sürümleri kalite açısından çok iyi diyorlar ama hız konusunda pek umutlu değilim. Modeller oldukça büyük, dolayısıyla sizin sistemde de Memory sorunu oluşturabilir. Flash-Next IQ3_xxs ise bence denemeye değer. Şahsen henüz denemedim ama internetteki hız testlerine de fazla takılmamak lazım. En sağlıklısı modeli kurup kendi sisteminizde test etmek.

Bu arada Qwen'den tam olarak hangi konuda memnun değilsiniz? Ben şahsen Qwen'i oldukça başarılı buluyorum. Open Source modeller arasında da qwen listenin başlarında.

Eki Görüntüle 287218

Hocam, ben opus5.5 büyüsüne kapıldım. V4.1 flash büyüsüne kapıldım. Qwen3.8-27B-UD-Q4_k_m. Gguf bunu kullanıyorum. Qwen3.8-flash-NEXT-IQ3_xxs denedim aynı kalite. Contex ihtiyacım oluyor. Çünkü agent ile çalıştırıyorum. DeepSeek-v4.1-flash-ıst-das-2.25bpw indiriyorum. Deneyeceğim bakalım sonuçlar nasıl olacak. 5-10 t/s ile Max kalite olabilir. AI Max 128GB mi?

Local AI önerisi

Detaylar

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

perFUNCTORY

Üstün

Superuser do

Üstün

barcaxsto

Uzman

perFUNCTORY

Üstün

Benzer konular

Yeni konular

Yeni mesajlar