Open AI whisper için Türkçe model nasıl eğitilir?

Ainal dedi:

Unity'de bir uygulama için yerelde çevirim dışı çalışan speech to text yapan bir sisteme ihtiyacım var. Open AI Whisper'ı buldum modelleri de denedim fakat küçük modellerde Türkçe iyi algılanmıyor. Büyük modellerde de hem dosya boyutu GB'larca oluyor hem de çözümlemesi uzun sürüyor. Bu model dosyalarında birden fazla dil olduğu için hem boyutr büyüyor hem de işlem süresi artıyor sadece Türkçe için model dosyası bulabilir miyim ya da nasıl eğitebilirim?

Genişletmek için tıkla...

Küçültmek için tıkla...

1. Ön Gereksinimleri Kontrol Et​

• Python Yükle: Python 3.7 veya daha yeni sürüm.
• Gerekli Kütüphaneleri Yükle: torch, torchaudio, transformers gibi kütüphaneler.

bash
  pip install torch torchaudio transformers

2. Veri Seti Hazırlama​

• Türkçe Ses Verisi: Türkçe konuşmaları içeren bir ses veri seti bul veya oluştur. Bu veri seti, ses dosyaları ve bunlara karşılık gelen transkriptlerden oluşmalıdır.
• Veri Temizleme: Ses dosyalarında gürültü, kesimler veya istenmeyen seslerin olduğu durumları temizle.

3. Varolan Modeli Kullanma​

bash
  git clone https://github.com/openai/whisper.git
  cd whisper

4. Modeli Eğitme (Fine-Tuning)​

python
  import whisper

  model = whisper.load_model("base")  # veya kullanmak istediğin modeli değiştir

python
  # Bu, genel bir eğitim döngüsü şablonudur.
  for audio_file, transcript in dataset:  # dataset'inizdeki tüm veriyi döngüye al
      audio = whisper.load_audio(audio_file)
      # Eğitimi başlat
      loss = model.train(audio, transcript)  # gerçek eğitim fonksiyonu

5. Modeli Değerlendirme​

• Doğruluk Testi: Eğitilen modeli, ayrı bir test veri seti ile değerlendirin.
• Tekrar Eğitmek: Gerekirse modelin performansını artırmak için eğitim ayarlarını değiştir ve yeniden eğit.

6. İşlem Süresi ve Boyut Optimizasyonu​

• Model Boyutu Küçültme: Eğer büyük bir modele gerek yoksa daha küçük bir model seçebilir veya model compressing teknikleri kullanabilirsin.
• Quantization: Modelin ağırlıklarını quantize ederek boyutunu küçültme:

python
  model.quantize()  # Dikkatli kullan, bazı performans kayıpları olabilir.

7. Yerel Kullanım​

Ek Hatırlatma​