Local AI önerisi

barcaxsto · Bugün 18:17

ggbye dedi:
Hocam, ben opus5.5 büyüsüne kapıldım. V4.1 flash büyüsüne kapıldım. Qwen3.8-27B-UD-Q4_k_m. Gguf bunu kullanıyorum. Qwen3.8-flash-NEXT-IQ3_xxs denedim aynı kalite. Contex ihtiyacım oluyor. Çünkü agent ile çalıştırıyorum. DeepSeek-v4.1-flash-ıst-das-2.25bpw indiriyorum. Deneyeceğim bakalım sonuçlar nasıl olacak. 5-10 t/s ile Max kalite olabilir. AI Max 128GB mi?

Hocam, Opus 5.5 seviyesine Local LLM ile ulaşmak şu an pek mümkün görünmüyor bence. ASUS ET900N G3 gibi ciddi donanımlar gerekiyor ki GLM gibi devasa modelleri bile rahatça çalıştırabilsek agent ve kodlama tarafında yine Opus 5.5'in gerisinde kalacağımızı düşünüyorum. Tabii Local LLM dünyası inanılmaz hızlı gelişiyor, birkaç yıl sonra ne olur bilemeyiz.

perFUNCTORY · 56 dakika önce

barcaxsto dedi:
Hocam, opus 5.5 seviyesine local llm ile ulaşmak şu an pek mümkün görünmüyor bence. ASUS ET900n G3 gibi ciddi donanımlar gerekiyor ki glm gibi devasa modelleri bile rahatça çalıştırabilsek agent ve kodlama tarafında yine opus 5.5'in gerisinde kalacağımızı düşünüyorum. Tabii local llm dünyası inanılmaz hızlı gelişiyor, birkaç yıl sonra ne olur bilemeyiz.

Qwen4 sonra salacağım. Şu an v4.1 flash modeli bile çalıştırmak mümkün. Bize 2X 512 Mac dağıtması gerek. Yine işimizi görmez. AI tarafı çok farklı olacak, şuan daha çöp. Quant tarafı çözüldü mü hem ucuz, hem kaliteli modeller kullanıcaz.

Local AI önerisi

Detaylar

barcaxsto

Uzman

perFUNCTORY

Üstün

Benzer konular

Yeni konular

Yeni mesajlar