Local LLM Dil Çevirisi Benchmark'ı

Ayrıca ikinci kartla DLSS 5 bile FPS kaybı olmadan çalıştırılabilir bence.
Bence değil, çalıştırılabilir direkt. Ancak videoda denildiği gibi çok fazla takılma oluyor, kullanması hoş değil.

 
@oğuz sasi bende ollama kullanıyordum ancak daha çok yapılandırma ve erken güncelleme stabilite için llama cpp ye geçtim. Özel araç yazdırdım PC açıldığında otomatik serve ediyor programı ve 200 civarı mcp var.



 
Son düzenleme:
Ollama kullanmayı bilmiyorum açıkçası. Daha doğrusu AI kullanmayı bilmiyorum. Direkt modeli indirip çalıştırıyordum. Detay bilmiyorum kısacası.

O şekilde olmaz maalesef kendine özel kodları var model ayarları yapılır sonrasında hızlı ve stabil kullanılır. Modelfile dosyanızı ollamadan çekelim burada paylaşın bende ayarlarını yaparak paylaşırım.
 
Çok memnun olurum hocam. Model iniyor şuan maalesef internetim çok yavaş... Müsait olursanız indikten sonra yapalım.

@Utku92, Hocam model şimdi indi internetim sağ olsun. Modelfile dosyası şu şekilde:


Kod:
PS C:\WINDOWS\system32> ollama show --modelfile hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF:IQ3_S
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF:IQ3_S

FROM C:\Users\antil\.ollama\models\blobs\sha256-64b53b64c7aa39f20a7e54bd80582fe595b1d745624ee8a72e92508c0326d810
FROM C:\Users\antil\.ollama\models\blobs\sha256-13cb7bebccbd04afc8f4090cb949ecf8937cdf7377c5799b1a0c594e7c0d3e16
TEMPLATE {{ .Prompt }}
 
Son düzenleme:

Kod:
ollama list

Diyelim modelleri görelim. Sonrasında.

Kod:
cd C:\Users\Kullanıcı Adı\Desktop

Modelfile'ı masaüstüne çıkarıp ayarlarını yapıp tekrar göndereceğiz.
 
Kod:
PS C:\Users\antil\Desktop> ollama list
NAME                                                ID              SIZE     MODIFIED
hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF:IQ3_S    5e503bdfda16    12 GB    6 minutes ago
 
Kod:
ollama show hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF:IQ3_S --modelfile > Modelfile.txt

Txt e çıkacak. Onu paylaşın.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…