VRAM önemlidir her zaman bu yüzden 4090 veya 5090.

@PoseidonWhisper aslında 3090 Ti tam ayarında çünkü güç girişi de Gen5 olduğu için kablo kalabalığı da yapmaz. Bendeki 2 kart çok kablo olduğundan çirkin görünüyor. Zaten 3. kartı alsam fazladan giriş yeri de yok. O yüzden 3. kartı mutlaka 3090 Ti alacağım.
3070 kartımı satıp tek kart takmak niyetindeyim. Kasa içindeki ferahlık da etkili olabilir. Zaten bu tip yapay zeka modelleri kullanımı anlamında da anladığım kadarıyla iki kartla çalışmak çok verimli değil gibi hatırlıyorum. Bu kartımda hiçbir zorlayıcı işlem yapılmadı. Belki berchmark bile 2-3 kere yapmışımdır. Yapay zeka tarafında da zaten gereksinimleri karşılamadığından yine zorlanacak konu söz konusu olmadı. Sadece python ve Whisper gibi işlerde en çok kullanmışımdır.
 
3070 kartımı satıp tek kart takmak niyetindeyim. Kasa içindeki ferahlık da etkili olabilir. Zaten bu tip yapay zeka modelleri kullanımı anlamında da anladığım kadarıyla iki kartla çalışmak çok verimli değil gibi hatırlıyorum. Bu kartımda hiçbir zorlayıcı işlem yapılmadı. Belki berchmark bile 2-3 kere yapmışımdır. Yapay zeka tarafında da zaten gereksinimleri karşılamadığından yine zorlanacak konu söz konusu olmadı. Sadece python ve Whisper gibi işlerde en çok kullanmışımdır.
İki kartla çalışmak daha verimli ama anakartına bakar, veri yoluna bakar, o kartları nasıl kullandığına bakar. Undervolt falan gerekir. Bir miktar para olsa 4lemek isterim. Tabii anakartı iyisinden almak lazım. NVLink gibi şeylere de gerek yok; CUDA ve kart numarasına göre ayar çekebiliyorsun zaten. ComfyUI'da da böyle.
 
Nasıl limit yettiriyorsunuz hocam? Opus'la çalışırken bile hızlıca bitiriyorum.
Hocam, belirli kurallarla token optimizasyonu yapıyorum. Süreci yöneten Opus 5.5 işlere doğrudan el sürmüyor; sadece alt ajanlara görev dağıtıyor. Metin yazımı, araştırma ve görsel üretimi gibi her adım için ayrı bir ajan çalışıyor. Maliyeti dengelemek için araştırma ajanında orta-üst seviye, görsel üretiminde orta seviye, paragraf yazımında ise daha hafif/düşük maliyetli bir model kullanıyorum. Token optimizasyonu için kullandığım spesifik repoların adı şu an aklımda değil ama kısa bir araştırmayla rahatlıkla bulabilirsiniz.
 
Ista Labs'ın Hugging Face linkinden indirdim. Sansürsüzü farklı yerden indirdim. 2.25 olan ile deneyin; o en iyisi.



Sansürsüz :


Strata maalesef DeepSeek desteğini kaldırdı ve ben AI model çalıştırmak için bilgisayarımı çöplüğe dönüştürmek pek istemiyorum. Llama CPP arayüzünü de beğenemedim. Ne yapsam diye düşünüyorum...
 
Strata maalesef DeepSeek desteğini kaldırdı ve ben AI model çalıştırmak için bilgisayarımı çöplüğe dönüştürmek pek istemiyorum. Llama CPP arayüzünü de beğenemedim. Ne yapsam diye düşünüyorum...
Ben de çalışıyor, sorunsuz. Llama CPP'de en iyisi ollamadan da iyi; arayüzü biraz basit tabi. Onda zaten Strata gibi VRAM'den taşan MOE modellerde başarılı değil. VRAM'e sığan modeller için iyi. Strata'ya benzer başka alternatifler de vardı; Basalt gibi. Belki deneyebilirsiniz.
 
Ben de çalışıyor, sorunsuz. Llama CPP'de en iyisi ollamadan da iyi; arayüzü biraz basit tabi. Onda zaten Strata gibi VRAM'den taşan MOE modellerde başarılı değil. VRAM'e sığan modeller için iyi. Strata'ya benzer başka alternatifler de vardı; Basalt gibi. Belki deneyebilirsiniz.
Stara'nın önceki sürümüne dönmeye ve onu güncellememeye karar verdim.
 
Stara'nın önceki sürümüne dönmeye ve onu güncellememeye karar verdim.
Zaten pek Windows'a göre değil gibi yerel LLM olayları. Çünkü daha az token veriyor.

Hem de kasıntı çalışır. Ben dev model ile çalışırken bile arkada YouTube açabiliyorum. Windows'da kasar muhtemelen. Modeli çıkartması da daha kısa sürüyor.
 
Sen onu Windows yalaması olan NVIDIA'ya anlat. :') Linux'a geçtiğimde GPU performans düşüyor.
Ben tam performans aldım, hatta daha iyi oldu; fazladan token alabildim. Tabi undervolt da yaptım. Isınmadan güzel çalışıyorlar. Yaklaşık 60 derecede kartlar. İşin ilginç yanı, artık Windows'a geçemem muhtemelen.
 
Ben tam performans aldım, hatta daha iyi oldu; fazladan token alabildim. Tabi undervolt da yaptım. Isınmadan güzel çalışıyorlar. Yaklaşık 60 derecede kartlar. İşin ilginç yanı, artık Windows'a geçemem muhtemelen.
1795011127795.webp


Bence yine de 0.2.13 sürümünü arşivle. :D