Local LLM için model önerisi

Testo Unit · Bugün 19:45

Aşağıdaki sistemde hangi model daha verimli çalışır? Genel kullanım ve görsel oluşturma için ayrı ayrı modeller önerirseniz sevinirim. Bir de hangi platform kullanılmalı?

Sistem:

Ryzen 7 5700X.
32 GB RAM.
Axle 2070 ITX (2060 Super gücünde sayabilirsiniz).
1 TB SSD.

Morv · 54 dakika önce

Ollamadaki modelleri incelebilirsiniz. Ben zamanla agentım için local LLM kullanmıştım ama şu anda Groq (Grok değil) kullanıyorum.

Görkem Say · 49 dakika önce

Bu sistemle Local LLM calistirmak zor onu bastan diyeyim. Cok verim almazsin yani.

Cruslan · 42 dakika önce

Şu anda frontier diyebileceğimiz modeller Gemma 4 ve Qwen 3.8. Bunlardan birini indirebilirsiniz. LLM'lerde resim yapma yeteneği yok, ayrıca model indirmeniz lazım ona. Onda da FLUX 2 ve Qwen Image şu anda localde en iyileri.

MR Hubu · 40 dakika önce

Gücü RAM'den alacak o yüzden güçlü modeller pek çalıştıramayabilir lm Studio önerebilirim ilk bunlarla uğraşmak için uygun yeni çıkmış olan bonsai adında yapay zekâ var küçük ama 1bit 27b parametre sahip iyidir ama kodlama düşünüyorsan qwen3.8 27b iyidir bunlar maksimum senin sistem bunun üstüne hiç açmaz düşüt bit modellere yönel.

madelyn · 35 dakika önce

Görsel konusunda daha deneysel takılmak istersen ComfyUI, A1111 gibi yazılımları deneyebilirsin.

Ek olarak şöyle bir repo var, sistem donanımlarıyla hangi YZ modeli nasıl çalışır hakkında fikir verir.

GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to find what runs on your hardware.

Hundreds of models & providers. One command to find what runs on your hardware. - AlexsJones/llmfit

github.com

Testo Unit · 28 dakika önce

Anladığım kadarıyla Qwen 3.8 27B çalıştırabileceğim maksimum seviye. LM Studio üzerinden Qwen 3.8 ve GitHub üzerinden Comfy UI yükleyeceğim gibi duruyor.

Görkem Say dedi:
Bu sistemle local llm calistirmak zor onu bastan diyeyim. Cok verim almazsin yani.

Sistem benim değil, kuzenimin. NVIDIA kartı olduğundan onun sistemi üzerinde denemek istedim.

vanillamint · 28 dakika önce

Gemma 4'un E2B olaninin LM Studio'da calisabilmesi lazim o GPU ile. Tabii Gemma 4 26B gibi seylere kiyasla cok daha ''salak''.

Gorsel olusturma isi bambaska bir kol ancak LLM kullanimi icin bir seyler ariyorsaniz, ne tarz bir sey icin aradiginizi (roleplay, brainstorming vs.) soylerseniz ona gore model onerilir. LM Studio'da ''Explore'' sekmesinde modellere bakarken program size sigip, sigmayacagini soyluyor zaten.

Testo Unit · 25 dakika önce

vanillamint dedi:
Gemma 4'un e2b olaninin lm Studio'da calisabilmesi lazim o GPU ile. Tabii gemma 4 26b gibi seylere kiyasla cok daha "salak".

Gorsel olusturma isi bambaska bir kol ancak llm kullanimi icin bir seyler ariyorsaniz, ne tarz bir şey icin aradiginizi (roleplay, brainstorming vs.) Soylerseniz ona gore model onerilir. Lm Studio'da "explore" sekmesinde modellere bakarken program size sigip, sigmayacagini soyluyor zaten.

Deneme amaçlı genel bir yapay zekâ arıyorum.

vanillamint · 13 dakika önce

Testo Unit dedi:
Anladığım kadarı ile Qwen 3.8 27b çalıştırabileceğim maksimum seviye.

En hafif varyantinda bile 16 GB VRAM ve 32 GB RAM'li bir sistemde ''partial GPU offload'' gosteriyor, sizin bilgisayarda dusunemiyorum. Model calisir muhtemelen calismasina ancak saniye basi token degeriniz cok dusuk olacaktir muhtemelen.

Uncensored model olmasi (her seye tamam abi ceken bir model) bozmayacaksa HauhauCS abimizin Uncensored Qwen 3.6-27B-A3B modeli var, onun Q2 K P varyanti guzel, dusunebilirsiniz. Tabii bu model de VRAM'e sigmayacagi icin RAM'e vuracaktir, yapabilecek bir sey yok.

Tamamen 8GB VRAM'e sigabilecek bir Qwen modeli oldugunu sanmiyorum.

Local LLM için model önerisi

Detaylar

Testo Unit 85

Üstün

Morv 1

Uzman

Görkem Say 41

Üstün

Cruslan 85

Bilgin

MR Hubu 85

Uzman

madelyn 85

Üstün

GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to find what runs on your hardware.

Testo Unit 85

Üstün

vanillamint 80

Seçkin

Testo Unit 85

Üstün

vanillamint 80

Seçkin

Benzer konular

Yeni konular

Yeni mesajlar