MacBook Air M4'te kullanmak için yapay zekâ modeli önerisi

kompetankedi · Cumartesi 14:13

Merhaba, MacBook Air M4 24 GB RAM modeli mevcut. Lm Studio ile kod yazmak için lokal yapay zekâ çalıştırmak istiyorum ama donanımım kaç milyar parametreli yapay zekâya yeter, bilmiyorum. Kodlama için hangisi iyi, hiçbir fikrim yok. Kod yazmak için lokal yapay zekâ önerebilir misiniz?

Not: Agent desteği olması lazım.

Utku92 · Cumartesi 14:24

24 GB paylaşımlı olacağı için RAM ve GPU arasında çok fazla bir şey beklemeyin.

kompetankedi · Cumartesi 14:25

Utku92 dedi:
24 GB paylaşımlı olacağı için RAM ve GPU arasında çok fazla bir şey beklemeyin.

Birleşik bellek hocam. Sorunu anlamadım.

Utku92 · Cumartesi 14:31

Gemma 4:26b ve Qwen 3.6:27b bu ikisi yeter de artar. Sadece tek olarak Qwen 3.6:27b de fena sayılmaz. Qwen 3.6:27b için Q5_K_S veya 1 tık altı 4 bit en üstü. Gemma 4:26b için Q5_K_S veya 1 tık altı yine aynı şekilde kullanabilirsiniz. Tabii context ile birlikte tam RAM'i doldurmaya yakın çalışır. Mac OS olduğundan dolayı da her indirdiğin modelde MLX olanını bulman gerekiyor, bu önemli token almak için.

kompetankedi · Cumartesi 14:32

Utku92 dedi:
Gemma 4:26b ve qwen 3.6:27b bu ikisi yeter de artar. Sadece tek olarak qwen 3.6:27b de fena sayılmaz. Qwen 3.6:27b için Q5_k_s veya 1 tık altı 4 bit en üstü. Gemma 4:26b için Q5_k_s veya 1 tık altı yine aynı şekilde kullanabilirsiniz. Tabii context ile birlikte tam RAM'i doldurmaya yakın çalışır. macOS olduğundan dolayı da her indirdiğin modelde mlx olanını bulman gerekiyor, bu önemli token almak için.

Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?

Utku92 · Cumartesi 14:34

Bunu deneyin, eğer zorlanırsanız 4 bitten tek tek inerek deneyin. Tabi kalite düşecektir; 3 biti hiç önermiyorum.

kompetankedi dedi:
Teşekkür ederim hocam, deneyeceğim. Agent desteği modelden modele mi değişiyor yoksa API ile her model agent olarak kullanılabilir mi, VS Code'da?

Özel araçlar MCP'ler var, onları kurarsanız her işi yaptırabilirsiniz. Yalın halde bir şey yapamıyor, ben de WebUI olma var, PC dosya sistemine ulaşabiliyor.

Mesela embedding modeller de var. İyisinden bulursanız, rag sistemi için çalışabiliyor, PDF veya döküman okuyor, özetliyor, bilgi veriyor, soru sorabiliyorsun, çeviri yapabiliyor. Böyle durumlarda aynı anda 2 model çalışıyor; yerel + embedding model olarak fazladan RAM kaplıyor. Bendeki 1 GB gibi yaklaşık olarak, o yüzden sorun olmadı.

kompetankedi · Cumartesi 14:38

Utku92 dedi:
Bunu deneyin, eğer zorlanırsanız 4 bitten tek tek inerek deneyin. Tabii kalite düşecektir; 3 biti hiç önermiyorum.

Özel araçlar Mcp'ler var, onları kurarsanız her işi yaptırabilirsiniz. Yalın halde bir şey yapamıyor, ben de webuı olma var, PC dosya sistemine ulaşabiliyor.

Mesela embedding modeller de var. İyisinden bulursanız, rag sistemi için çalışabiliyor, PDF veya doküman okuyor, özetliyor, bilgi veriyor, soru sorabiliyorsun, çeviri yapabiliyor. Böyle durumlarda aynı anda 2 model çalışıyor; yerel + embedding model olarak fazladan RAM kaplıyor. Bendeki 1 GB gibi yaklaşık olarak, o yüzden sorun olmadı.

Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.

Utku92 · Cumartesi 14:41

kompetankedi dedi:
Benim amacım VSC'deki projemi görsün okuma yazma dosya oluşturma gibi işlemleri yapsa yeterli mcp sunucusumu kurmam lazım.

MCP araçları kurmanız gerekiyor, ben WebUI kullanıyorum. Şu anda 13 tane MCP aracım var, hepsinin farklı görevleri var. Kimisi tarayıcıya girebiliyor, bilgi çekebiliyor; farklı farklı işlevleri var.

Mesela benim 3 gündür PC açık, 24 GB VRAM'li 3090 var ama yetmiyor. Çeviri için kullanıyorum daha çok. Bir kısmı RAM'e taşıyor model. Böyle olduğundan dolayı da yavaş çalışıyor. 8 Bit'te kullanmaya çalışıyorum, kaliteden ödün vermemek için. Mesela Torrent'ten kurs indirdim, hala bitmedi. Altyazı çevirisi yaptırıyorum, otomatik görev verdim. Yakın zamanda 2. kartı almayı düşünüyorum; işte o zaman sınırsız kaynağa erişimim olacak ve her şeyin rahat şekilde çevirisini yapabilmiş olurum.

TÜRK GAMBİTİ · Cumartesi 15:48

Gemma 4:26B A4B gibi model düşünülebilir, fakat mükemmel sonuç beklenmez.

ygzasln · Salı 02:05

Utku92 dedi:
MCP araçları kurmanız gerekiyor, ben WebUI kullanıyorum. Şu anda 13 tane MCP aracım var, hepsinin farklı görevleri var. Kimisi tarayıcıya girebiliyor, bilgi çekebiliyor; farklı farklı işlevleri var.

Mesela benim 3 gündür PC açık, 24 GB VRAM'li 3090 var ama yetmiyor. Çeviri için kullanıyorum daha çok. Bir kısmı RAM'e taşıyor model. Böyle olduğundan dolayı da yavaş çalışıyor. 8 Bit'te kullanmaya çalışıyorum, kaliteden ödün vermemek için. Mesela Torrent'ten kurs indirdim, hala bitmedi. Altyazı çevirisi yaptırıyorum, otomatik görev verdim. Yakın zamanda 2. kartı almayı düşünüyorum; işte o zaman sınırsız kaynağa erişimim olacak ve her şeyin rahat şekilde çevirisini yapabilmiş olurum.

Valla bende lokalde TTS modellerini denemeye çalışıyorum VRAM kaynaklı deneyemiyorum. Şu ana kadar deneyip de memnun olduğum bir tek VoxCPM2 var. Fish Speech S2 Pro modelini denemek istiyorum o da min 24GB VRAM istiyor. Valla ya ekstra bir ekran kartı alacağım ki ihtiyacım var aklımda 5080 var (3080 Tİ ile aynı anda çalıştırmayı düşünüyorum) ya da aylık maliyeti neyse artık bir sunucu kiralayacağım. Aklımda çünkü TTS ve STT temelli bir proje var ve yapmak istiyorum hem hazır github student developer pack'e de erişimim varken.

Ek olarak bendede M3 air 24GB RAMli mac var ama onda hangi modeller çalışır bilmiyorum zamanında bir araştırma yapmıştım ama bir sonuca varamadım. Onda sadece araştırma yapsa bile okey benim için.

MacBook Air M4'te kullanmak için yapay zekâ modeli önerisi

Detaylar

kompetankedi 57

Üstün

Utku92 13

Üstün

kompetankedi 57

Üstün

Utku92 13

Üstün

kompetankedi 57

Üstün

Utku92 13

Üstün

kompetankedi 57

Üstün

Utku92 13

Üstün

TÜRK GAMBİTİ 16

Yetkin

ygzasln 4

Becerikli

Benzer konular

Yeni konular

Yeni mesajlar