MacBook Air M4'te kullanmak için yapay zekâ modeli önerisi

kompetankedi 52

Üstün
Ağ Büyücüsü
Katılım
8 Eylül 2024
Mesajlar
2.418
Makaleler
1
Çözümler
29
Beğeniler
1.629
Yer
Bootloader
Merhaba, MacBook Air M4 24 GB RAM modeli mevcut. Lm Studio ile kod yazmak için lokal yapay zekâ çalıştırmak istiyorum ama donanımım kaç milyar parametreli yapay zekâya yeter, bilmiyorum. Kodlama için hangisi iyi, hiçbir fikrim yok. Kod yazmak için lokal yapay zekâ önerebilir misiniz?

Not: Agent desteği olması lazım.
 
24 GB paylaşımlı olacağı için RAM ve GPU arasında çok fazla bir şey beklemeyin.
 
Gemma 4:26b ve Qwen 3.6:27b bu ikisi yeter de artar. Sadece tek olarak Qwen 3.6:27b de fena sayılmaz. Qwen 3.6:27b için Q5_K_S veya 1 tık altı 4 bit en üstü. Gemma 4:26b için Q5_K_S veya 1 tık altı yine aynı şekilde kullanabilirsiniz. Tabii context ile birlikte tam RAM'i doldurmaya yakın çalışır. Mac OS olduğundan dolayı da her indirdiğin modelde MLX olanını bulman gerekiyor, bu önemli token almak için.
 

Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?
 
Bunu deneyin, eğer zorlanırsanız 4 bitten tek tek inerek deneyin. Tabi kalite düşecektir; 3 biti hiç önermiyorum.

kompetankedi dedi:
Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?
Genişletmek için tıkla...
Özel araçlar MCP'ler var, onları kurarsanız her işi yaptırabilirsiniz. Yalın halde bir şey yapamıyor, ben de WebUI olma var, PC dosya sistemine ulaşabiliyor.

Mesela embedding modeller de var. İyisinden bulursanız, rag sistemi için çalışabiliyor, PDF veya döküman okuyor, özetliyor, bilgi veriyor, soru sorabiliyorsun, çeviri yapabiliyor. Böyle durumlarda aynı anda 2 model çalışıyor; yerel + embedding model olarak fazladan RAM kaplıyor. Bendeki 1 GB gibi yaklaşık olarak, o yüzden sorun olmadı.
 

Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.
 
kompetankedi dedi:
Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.
Genişletmek için tıkla...
MCP araçları kurmanız gerekiyor, ben WebUI kullanıyorum. Şu anda 13 tane MCP aracım var, hepsinin farklı görevleri var. Kimisi tarayıcıya girebiliyor, bilgi çekebiliyor; farklı farklı işlevleri var.

Mesela benim 3 gündür PC açık, 24 GB VRAM'li 3090 var ama yetmiyor. Çeviri için kullanıyorum daha çok. Bir kısmı RAM'e taşıyor model. Böyle olduğundan dolayı da yavaş çalışıyor. 8 Bit'te kullanmaya çalışıyorum, kaliteden ödün vermemek için. Mesela Torrent'ten kurs indirdim, hala bitmedi. Altyazı çevirisi yaptırıyorum, otomatik görev verdim. Yakın zamanda 2. kartı almayı düşünüyorum; işte o zaman sınırsız kaynağa erişimim olacak ve her şeyin rahat şekilde çevirisini yapabilmiş olurum.
 
Son düzenleme:
Gemma 4:26B A4B gibi model düşünülebilir, fakat mükemmel sonuç beklenmez.
 
Mesaj yazmak için giriş yapmalı ya da kaydolmalısınız.

Benzer konular

6
20 saniyelik video oluşturmak için ücretsiz yapay zekâ önerisi
Mesaj
6
Görüntüleme
73
RamKokusuSeven
Günlük kullanım ve kodlama için yapay zeka önerisi
Mesaj
3
Görüntüleme
90
Llama
6
Yerel ortamda kullanılabilecek yapay zekâ önerisi
Mesaj
2
Görüntüleme
58
65W
6
Web'de fotoğraf bulmak için yapay zeka aracı önerisi
Mesaj
0
Görüntüleme
21
Volage
Hangi yapay zekâ aracını önerirsiniz?
2
Mesaj
11
Görüntüleme
267
Baby Driver
Rehber Tüm yapay zekâ abonelikleri için karşılaştırmalar
Mesaj
2
Görüntüleme
171
Holy Templar
H
Hangi yapay zeka aracını kullanmalıyım?
2
Mesaj
17
Görüntüleme
174
ShadowLegion
Menü
Giriş yap
Kaydol
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…