MacBook Air M4'te kullanmak için yapay zekâ modeli önerisi

kompetankedi · Bugün 14:13

Merhaba, MacBook Air M4 24 GB RAM modeli mevcut. Lm Studio ile kod yazmak için lokal yapay zekâ çalıştırmak istiyorum ama donanımım kaç milyar parametreli yapay zekâya yeter, bilmiyorum. Kodlama için hangisi iyi, hiçbir fikrim yok. Kod yazmak için lokal yapay zekâ önerebilir misiniz?

Not: Agent desteği olması lazım.

Utku92 · Bugün 14:24

24 GB paylaşımlı olacağı için RAM ve GPU arasında çok fazla bir şey beklemeyin.

kompetankedi · Bugün 14:25

Utku92 dedi:
24 GB paylaşımlı olacağı için RAM ve GPU arasında çok fazla bir şey beklemeyin.

Birleşik bellek hocam. Sorunu anlamadım.

Utku92 · Bugün 14:31

Gemma 4:26b ve Qwen 3.6:27b bu ikisi yeter de artar. Sadece tek olarak Qwen 3.6:27b de fena sayılmaz. Qwen 3.6:27b için Q5_K_S veya 1 tık altı 4 bit en üstü. Gemma 4:26b için Q5_K_S veya 1 tık altı yine aynı şekilde kullanabilirsiniz. Tabii context ile birlikte tam RAM'i doldurmaya yakın çalışır. Mac OS olduğundan dolayı da her indirdiğin modelde MLX olanını bulman gerekiyor, bu önemli token almak için.

kompetankedi · Bugün 14:32

Utku92 dedi:
Gemma 4:26b ve qwen 3.6:27b bu ikisi yeter de artar. Sadece tek olarak qwen 3.6:27b de fena sayılmaz. Qwen 3.6:27b için Q5_k_s veya 1 tık altı 4 bit en üstü. Gemma 4:26b için Q5_k_s veya 1 tık altı yine aynı şekilde kullanabilirsiniz. Tabii context ile birlikte tam RAM'i doldurmaya yakın çalışır. macOS olduğundan dolayı da her indirdiğin modelde mlx olanını bulman gerekiyor, bu önemli token almak için.

Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?

Utku92 · Bugün 14:34

Bunu deneyin, eğer zorlanırsanız 4 bitten tek tek inerek deneyin. Tabi kalite düşecektir; 3 biti hiç önermiyorum.

kompetankedi dedi:
Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?

Özel araçlar MCP'ler var, onları kurarsanız her işi yaptırabilirsiniz. Yalın halde bir şey yapamıyor, ben de WebUI olma var, PC dosya sistemine ulaşabiliyor.

Mesela embedding modeller de var. İyisinden bulursanız, rag sistemi için çalışabiliyor, PDF veya döküman okuyor, özetliyor, bilgi veriyor, soru sorabiliyorsun, çeviri yapabiliyor. Böyle durumlarda aynı anda 2 model çalışıyor; yerel + embedding model olarak fazladan RAM kaplıyor. Bendeki 1 GB gibi yaklaşık olarak, o yüzden sorun olmadı.

kompetankedi · Bugün 14:38

Utku92 dedi:
Bunu deneyin, eğer zorlanırsanız 4 bitten tek tek inerek deneyin. Tabii kalite düşecektir; 3 biti hiç önermiyorum.

Özel araçlar Mcp'ler var, onları kurarsanız her işi yaptırabilirsiniz. Yalın halde bir şey yapamıyor, ben de webuı olma var, PC dosya sistemine ulaşabiliyor.

Mesela embedding modeller de var. İyisinden bulursanız, rag sistemi için çalışabiliyor, PDF veya doküman okuyor, özetliyor, bilgi veriyor, soru sorabiliyorsun, çeviri yapabiliyor. Böyle durumlarda aynı anda 2 model çalışıyor; yerel + embedding model olarak fazladan RAM kaplıyor. Bendeki 1 GB gibi yaklaşık olarak, o yüzden sorun olmadı.

Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.

Utku92 · Bugün 14:41

kompetankedi dedi:
Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.

MCP araçları kurmanız gerekiyor, ben WebUI kullanıyorum. Şu anda 13 tane MCP aracım var, hepsinin farklı görevleri var. Kimisi tarayıcıya girebiliyor, bilgi çekebiliyor; farklı farklı işlevleri var.

Mesela benim 3 gündür PC açık, 24 GB VRAM'li 3090 var ama yetmiyor. Çeviri için kullanıyorum daha çok. Bir kısmı RAM'e taşıyor model. Böyle olduğundan dolayı da yavaş çalışıyor. 8 Bit'te kullanmaya çalışıyorum, kaliteden ödün vermemek için. Mesela Torrent'ten kurs indirdim, hala bitmedi. Altyazı çevirisi yaptırıyorum, otomatik görev verdim. Yakın zamanda 2. kartı almayı düşünüyorum; işte o zaman sınırsız kaynağa erişimim olacak ve her şeyin rahat şekilde çevirisini yapabilmiş olurum.

TÜRK GAMBİTİ · Bugün 15:48

Gemma 4:26B A4B gibi model düşünülebilir, fakat mükemmel sonuç beklenmez.

MacBook Air M4'te kullanmak için yapay zekâ modeli önerisi

Detaylar

kompetankedi 52

Üstün

Utku92 8

Üstün

kompetankedi 52

Üstün

Utku92 8

Üstün

kompetankedi 52

Üstün

Utku92 8

Üstün

kompetankedi 52

Üstün

Utku92 8

Üstün

TÜRK GAMBİTİ 12

Yetkin

Benzer konular

Yeni konular

Yeni mesajlar