Utku92
Bilgin
- Katılım
- 8 Şubat 2024
- Mesajlar
- 3.949
- Makaleler
- 1
- Çözümler
- 8
- Beğeniler
- 2.294
Bendeki modellerin ne kadar başarılı olduğunu test etmek adına zorlu bir prompt hazırladım ve değerlendirme yaptım. Sonuçlar ektedir.
Prompt:
Aşağıdaki metni Türkçeden İngilizceye çevir. Yalnızca nihai İngilizce çeviriyi yaz, başına veya sonuna hiçbir açıklama ekleme:
"Duruşmada hâkim, şirketin tasfiyesinde karşı edim şartının gözetilmediğini ve avukatın terekeyi paraya çevirirken pireyi deve yaptığını vurguladı. O, alanında parmakla gösterilen bir çocuk cerrahı ve aynı zamanda hastanenin idari işler amiriyle ortak bir medikal şirket işletiyor; ancak davanın suya düşmemesi için elini taşın altına koymaya pek de niyetli görünmüyor. Yüzünde donuk bir ifadeyle masadaki yüz sayfalık raporu incelerken, projeyi yüz üstü bırakmanın ağır bir bedeli olacağını fısıldadı ve salondan çıkarken mübaşire 'kolay gelsin' deyip kapıyı çekti."
Sonuçlar:
Son olarak Gemma-4-31B-it-qat-UD-Q4_K_XL modelini de ekledim. Ek bilgi olarak qat olan modeller BF16'ya en yakın sıkıştırmalı modellerdir. Bundan dolayı daha yüksek başarı verdi. Düz olanda düşük token/s verdi. MTP dosyası çalışmıyor, nedense anlamadım. Son durum:
Prompt:
Aşağıdaki metni Türkçeden İngilizceye çevir. Yalnızca nihai İngilizce çeviriyi yaz, başına veya sonuna hiçbir açıklama ekleme:
"Duruşmada hâkim, şirketin tasfiyesinde karşı edim şartının gözetilmediğini ve avukatın terekeyi paraya çevirirken pireyi deve yaptığını vurguladı. O, alanında parmakla gösterilen bir çocuk cerrahı ve aynı zamanda hastanenin idari işler amiriyle ortak bir medikal şirket işletiyor; ancak davanın suya düşmemesi için elini taşın altına koymaya pek de niyetli görünmüyor. Yüzünde donuk bir ifadeyle masadaki yüz sayfalık raporu incelerken, projeyi yüz üstü bırakmanın ağır bir bedeli olacağını fısıldadı ve salondan çıkarken mübaşire 'kolay gelsin' deyip kapıyı çekti."
Sonuçlar:
Son olarak Gemma-4-31B-it-qat-UD-Q4_K_XL modelini de ekledim. Ek bilgi olarak qat olan modeller BF16'ya en yakın sıkıştırmalı modellerdir. Bundan dolayı daha yüksek başarı verdi. Düz olanda düşük token/s verdi. MTP dosyası çalışmıyor, nedense anlamadım. Son durum:
Son düzenleme: