Ben sistemden izole çalıştırmak istiyorum GPU passthrough da VRAM kaybı ve CPU çekirdek kaybı olmasa sanal makinede kullanacağım neredeyse.
Sanal makinede denemen ile sanal makineyi kaldırman bir olacak. Fiziksel cihaza çok ağır gelen bir şey için VM'de şansın olduğunu sanmıyorum.

Ekran kartımı bu yaz güncellemeyi düşünüyorum bakalım belki o zaman daha hızlı çalıştırabilirim :D
O öyle update ile hızlanacak bir teknoloji değil. :/
 
@Cruslan kısaca açıklayabilir belki. Hocam MCP nedir?
Askerler silahlara nasıl dürbün, susturucu, tutamaç veya lazer gibi eklentiler takıyorsa LLM'lerinde dış dünyayla iletişim kurabilmeleri veya farklı platformlarda işlem yapabilmeleri için onlara MCP ekliyoruz. AI'ya yeni özellikler kazandırıyoruz. MCP'de bu eklediğin eklentiler oluyor.
 
@Koneko Toujou, modellere ek yetenekler verilebilmesini sağlayan bir protokoldür MCP, tek 1 aracı ifade etmek yerine modeller ile araçlar arasındaki bağlantıyı standartlaştırıp kolaylaştırır. Yukarıda verilen örnekteki gibi silahlara takılan tüm eklentilerin aynı giriş yuvasına sahip olması diyebiliriz.

Çok çeşitli MCP'ler var ve dosyalara erişim veren MCP sanırım Filesystem MCP'si idi, güncel durumları bilmiyorum. Bu lanet şeyler çok hızlı gelişiyor ve takip etmesi zor.

MCP falan uğraşmak yerine OpenClaw vb şeyler de denenebilir, en son PewDiePie bir şey çıkarmıştı mesela.


VS Code üzerinden Roo Code ve Cline eklentilerine de bakılabilir; LM Studio veya Ollama ile localhost linki alıp bu eklentilere tanımlanırsa tıpkı Github Copilot gibi dosya oluşturma, düzenleme vb işlerin yapılabileceğini görmüştüm ama bizzat denemedim.

Ama önce bi' modeli chatbot olarak çalıştırıp performansından memnun kalmak lazım RX 580 ile:terssurat:
 
Son düzenleme:
@Koneko Toujou, modellere ek yetenekler verilebilmesini sağlayan bir protokoldür MCP, tek 1 aracı ifade etmek yerine modeller ile araçlar arasındaki bağlantıyı standartlaştırıp kolaylaştırır. Yukarıda verilen örnekteki gibi silahlara takılan tüm eklentilerin aynı giriş yuvasına sahip olması diyebiliriz.

Çok çeşitli MCP'ler var ve dosyalara erişim veren MCP sanırım Filesystem MCP'si idi, güncel durumları bilmiyorum. Bu lanet şeyler çok hızlı gelişiyor ve takip etmesi zor.

MCP falan uğraşmak yerine OpenClaw vb şeyler de denenebilir, en son PewDiePie bir şey çıkarmıştı mesela.


VS Code üzerinden Roo Code ve Cline eklentilerine de bakılabilir; LM Studio veya Ollama ile localhost linki alıp bu eklentilere tanımlanırsa tıpkı GitHub Copilot gibi dosya oluşturma, düzenleme vb işlerin yapılabileceğini görmüştüm ama bizzat denemedim.

Ama önce bi' modeli chatbot olarak çalıştırıp performansından memnun kalmak lazım RX 580 ile:terssurat:


Qwen'i deneyeceğim işte. Stabil çalışırsa ne mutlu bana

Sanal makinede denemen ile sanal makineyi kaldırman bir olacak. Fiziksel cihaza çok ağır gelen bir şey için VM'de şansın olduğunu sanmıyorum.

O öyle Update ile hızlanacak bir teknoloji değil. :/

Nasıl yani yeni nesil GPU kullanımında daha hızlı çalışmıyorlar mı? 5060 alsam RX 580 le aynı hızda mı kullanacağım?

Askerler silahlara nasıl dürbün, susturucu, tutamaç veya lazer gibi eklentiler takıyorsa LLM'lerinde dış dünyayla iletişim kurabilmeleri veya farklı platformlarda işlem yapabilmeleri için onlara MCP ekliyoruz. AI'ya yeni özellikler kazandırıyoruz. MCP'de bu eklediğin eklentiler oluyor.

Tam aradığım tarzda anlatım :D. İyi bunlardan da uzak durduğuma göre sistem güvende demek.
 
Nasıl yani yeni nesil GPU kullanımında daha hızlı çalışmıyorlar mı? 5060 alsam RX 580 le aynı hızda mı kullanacağım?
Aslında bu işler son kullanıcı ekran kartı modelleriyle olacak işler değil... İyi araştırmak lazım. Bir de modelden modele değişiyordur. Ben de araştırma aşamasındayım. Ekran kartı gücünden çok mimarisine bağlı gibi. AI için daha iyi GPU alma kararı vereceğiniz ciddi bir hatalı karar olacaktır.
 
Aslında bu işler son kullanıcı ekran kartı modelleriyle olacak işler değil... İyi araştırmak lazım. Bir de modelden modele değişiyordur. Ben de araştırma aşamasındayım. Ekran kartı gücünden çok mimarisine bağlı gibi. AI için daha iyi GPU alma kararı vereceğiniz ciddi bir hatalı karar olacaktır.

Sadece AI için değil oyun için de kullanacağım. Anakartımda 2 GPU slotu var belki sadece AI için bir tane ekran kartı edinip onun üzerinde çalıştırabilirim.
 
@Koneko Toujou, modelin ağırlıklarının VRAM'e yüklenmesine ek olarak Context Lenght değerini de sığdırma işi var. Alt+Tab atarım sabaha kadar yavaş yavaş GPU sürekli %100 çalışsın diye düşünüyor olabilirsin ama Context Lenght değeri de önemli.

1 tane NVIDIA DGX Spark çekmek lazım aslında var ya.

Neyse ben istatistik finaline çalışmaya gidiyorum, bırakamıyorum AI konularını.