Ollama v0.30.0 pre-release sürümü yayınlandı

Forumda Ollama local LLM kullananlar var mıdır bilmiyorum. Yeni pre-release sürümü geldi. Bununla birlikte huggingface'de hata almadan istediğiniz modeli kullanabileceksiniz. Önceden vision modelleri (mmproj.GGUF) çalıştırmıyor ve tek parça GGUF modelleri çalıştırabiliyordu, hatta ben veya belki başkaları da yapıyordur, 2. satır modelfile dosyasından vision kısmını siler öyle kullanırdık. Artık ister 10 parça olsun model tanıyıp çalıştırabiliyor llama.cpp altyapısından direkt çalıştırıyor. Artık çok daha iyi ve performanslı oldu. Bir tek tensor kısmı kaldı. O da dev modellerde RAM'e taşınca 2 token/s fazla veriyordu. Onu da bekliyoruz bakalım. Durum bu şekilde. Bilgilendirmek istediğim için konu açtım.

madelyn dedi:

Lm Studio kullandıktan sonra attan inip eşeğe binmek gibi geliyor ollama, bu algıyı değiştirebilecek bir güncelleme mi orası önemli.

Genişletmek için tıkla...

Lm Studio en verimsizi ve kötüsü diyebilirim. Bu işin en iyisi llama.cpp dir. Ancak çok ilkel olduğu için kullanmak biraz zor. Ollama da direk o tabana geçirdi. Lm Studio da altyapısı llama.ccp dir bu arada.

Ana kaynak llama. Cppdir. Hepsi buradan alıyor esasında ama bazıları geri kalıyor çünkü en güncel özellikler llama. Ccp de. Hatta tensor Core özelliği var fazladan token alabiliyorsun RAM'e daha iyi dağıtıyor parça modelleri. Örnek kod: (--override-tensor "blk\.[0-9]+\.ffn.exps.=CPU" '.

erkanagri dedi:

Hem ollama hem de lm Studio kurulu bilgisayarımda ama lm Studio'nun yüzüne baktığım yok. Ollama'yı kendi arayüzünden, komut satırından ya da API portundan kullanmak beni rahat hissettiriyor. Ollama + VSC üzerinde continue kullanarak kendi yerel ajanını kullanmak de çok güzel bir şey.

Genişletmek için tıkla...

Llama.cpp direkt vermesi yeni güncelleme ile çok iyi oldu. Hatta en düşük 4 bitte Minimax 2.7 kurdum, fena değil tabii 5 token/s veriyor.