Local LLM Dil Çevirisi Benchmark'ı

Anladım hocam bilmiyordum teşekkür ederim. Kurayım o zaman. Kurduktan sonra extra bir ayar vb çekmem gerekecek mi? Yoksa modelfile ile yaptığımız işlem yeterli olur mu?

Her model için ayrı parametreler girilir bazıları ortaktır.
Parameter num_gpu 999.
Parameter num_thread 16.

Standart olur. Kaç token/s veriyor?

Kod:
docker run -d \
 -p 3000:8080 \
 --add-host=host.docker.internal:host-gateway \
 -v open-webui:/app/backend/data \
 --name open-webui \
 --restart unless-stopped \
 ghcr.io/open-webui/open-webui:main

Kod:
version: '3.8'

services:
 open-webui:
 image: ghcr.io/open-webui/open-webui:main
 container_name: open-webui
 ports:
 - "3000:8080"
 extra_hosts:
 - "host.docker.internal:host-gateway"
 volumes:
 - open-webui-data:/app/backend/data
 environment:
 # Yerel Ollama kullanıyorsanız:
 - OLLAMA_BASE_URL=http://host.docker.internal:11434
 restart: unless-stopped

volumes:
 open-webui-data:

Mcp de isteğinize göre kurabilirsiniz.

Gerekirse AIdan yardım alın mcpleri tek tek yazmak işgence olur ben öyle yapıyorum.
 
Ollama da modelfile ayarı yapıyor musunuz? Yapmazsanız düzgün çalışmaz.

2 5090 2 4090 2 3090 mantıklı bence

HBM LPDDR5X bellekliler gelse onlardan alalım diyeceğim de kaç para onlar?

Ben de ikinci bir kart almayı düşünüyorum. 3090 kadar fazla VRAM olmaz ama 32 GB VRAM ile de yapılır bence bir şeyler. Ayrıca ikinci kartla DLSS 5 bile FPS kaybı olmadan çalıştırılabilir bence.
Onu yapan bi eleman vardı görmüştüm YT'de. hani AI temelli olacaksa eyvallah da sırf DLSS 5 için de biraz fazla lüküs.
 
@Utku92,


Kod:
total duration:       11m44.8017246s
load duration:        6.2425ms
prompt eval count:    78 token(s)
prompt eval cached:   58 token(s)
prompt eval duration: 258.616ms
prompt eval rate:     77.33 tokens/s
eval count:           20438 token(s)
eval duration:        11m44.255055s
eval rate:            29.02 tokens/s

Bir önce ki mesajımda ki promptu iptal ettim aşırı büyük bir şey yapmaya kalkıştı bitmezdi. Yeni bir şey yazdım ve şöyle bitirdi.
 

Bayağı iyi değer 77.33 t/s hızlı çalıştığını anlarsınız zaten.
 
HBM LPDDR5X bellekliler gelse onlardan alalım diyeceğim de kaç para onlar?

Onu yapan bir eleman vardı görmüştüm YT'de. Hani AI temelli olacaksa eyvallah da sırf DLSS 5 için de biraz fazla lüküs.

Bellek hızı önemli ancak VRAM'in fazla olması en önemlisi.

Evet çok seri çalışıyordu. Yaptığı oyunu da şöyle bırakayım bakmak istersen eğer.

Ayarlamasını bildikten sonra tam verim alırsınız.

HTML oyunu yaptırın mesela uzay oyunu olsun. Web sitesi oluşturmayı deneyin.
 
acemiyim daha ya. Vaktim oldukça bunlarla uğraşmayı deneyeceğim. Size de teşekkür ederim zamanınızı çaldım. Attığım ekte ki txt zaten HTML oyunu hocam.

Rica ederim önemli değil test gibi denemiş olduk.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…