Video ve kitaplar "md" formatında soru sorulabilir şekilde nasıl kullanılabilir?

Merhaba,

Şimdilerde sadece uygun fiyatlı olduğundan dolayı "Antigravity" kullanıyorum. Amacım elimdeki indirdiğim videoların ve PDF dosyalarının deşifresini yapacak şekilde onu RAG yapmaktır. Piyasadaki LLM Studıo vb gibi çözümlerle neden bilmiyorum yapamıyorum. İstediğim hız ve sonuçlarda olmuyor. Ayrıca halisünasyonları bitmiyor. Ollama da kurulu aynı zamanda SRT altyazı formatı ve Türkçe dili için tek tek çıktılar almak için Pot Player ile beraber ve ayrıca Antigravity ile bazı testler için kullanıyorum.

Github üstünden RAM, CPU, GPU ile kombinli şekilde kullanabileceğim seçenekler var mıdır?

The Merciful One dedi:

GitHub - microsoft/markitdown: Python tool for converting files and office documents to Markdown.

Python tool for converting files and office documents to Markdown. - microsoft/markitdown

github.com

Bahsettiğiniz işi görüyor mu bilmiyorum ama bu araç sayesinde yapay zeka ajanlarının anlayabileceği bir binary dosya elde edebiliyorsunuz. Özellikle dosya boyutlarını epey düşürüyor. Deneyebilirsiniz.

Genişletmek için tıkla...

Küçültmek için tıkla...

Bu RAG ile bağlantılı değil sanırım. Ben Obsidian tarafında Hermes Plugınleriyle çözdüm bu durumu. Tabii ki 1000 tane video kursu md formatına Python ile getirdim. GitHub - microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system Bu aracı da deneyeceğim; olmazsa birbirine köprüleyeceğim. En güzel Obsidian içinde çalışıyor sanırım. Ollama tarafında çok yavaş ve donmalar, Token sınırından dolayı halisünasyonlar oluyor.

eonder87 dedi:

ChatGPT bu işlemde GPT için dockling öneriyor video için de whisper. Ama dediğin gibi hiçbir zaman tam olarak yapamaz çünkü kullandığın metinlerin en kısası 300 sayfa falandır eğitim dokümanı ise videolar vs gibi şeyler.

Belki şöyle bir şey yapabilisin Notebooklm'e kaynakları atıp mcp ile AI'a bağlayabilirsin. Rag yapmak için kaynak materyalin doğru alınması lazım. Ayrıca Rag'a neden ihtiyacın oluyor. AI'ın çıktısı yetersiz mi geliyor.

Genişletmek için tıkla...

Küçültmek için tıkla...

Şunlardan dolayı ihtiyacım oluyor:

• Dataları kendi hazırladığım ve yalnızca oradakileri baz almasını istediğimden dolayı topluca eklemek için.
• Dataset hazırlayacak GPU olmadığından elimde bunu bir geliştirilmiş model haline de getiremiyorum; yatırım yapamam.

Örnek:


10 tane kitap var ve bunlarla birlikte bir kitabı odağıma alarak derin okuma veya çapraz okuma yapıyorum. Birbirine bağdaştırdığımda daha iyi aklımda kalıyor. Daha önceden okuduğum bir kaynak ya da kitabı da koyduğumda aklımda veya birine anlatır gibi yaptığımda sular seller gibi olması amacıyla bunları yapmak istiyorum.

---------------

Daha mantıklı önerin varsa lütfen belirtin, eleştirel de olabilir.

eonder87 dedi:

Hocam illa elinizde GPU olmasına gerek yok 5-10 dolarlık bir ücretle GPU servisi yapan yerler var. Onları araştırıp adamakıllı bir datasetle kendi GPU'nuzda kullanabilirsiniz. Veya madem kaynak materyallere bağlı kalmak istiyorsunuz.

Bir nevi sözlük oluşturmak daha rahat olmaz mıydı içinde arama yapabileceğiniz bir dijital sözlük gibi. Mesela sallıyorum dB yazdığınızda kaynak materyallerdeki dB satırlarını önünüze getiren bir App yapılabilir çok da basit bir şey olabilir. İçeriğini X bir yapıya getirip halüsinasyon görmesi veya özetlemesi yerine. Rag dediğin yapıda maalesef ki bunu 300 sayfayı 30 sayfaya düşürerek yapıyor.

Genişletmek için tıkla...

Küçültmek için tıkla...

Bunları kurdum. Az önce paylaştığım kütüphaneyle mümkün. Hatta Obsidian içindeki biraz daha iyi oldu. Bunun haricinde RUNPOD gibi bir çözümle bunları yapmayı denemek için de bütçe ayırmalıyım. Yoksa Antigravity ile baya geliştirme yapabiliyoruz. Fakat ben sıfırım kodlama anlamında; süreç içerisinde çok şey öğrendiysem de deneme yanılmayla gidince "acaba, yazılımcılar veya forumdaki arkadaşlar olsa neleri kullanırdı" diye sormak adına da buraya yazdım. Cache, chunk, gitnode kural yazma gibi bir çok şeyi rahatlıkla yaptırabiliyoruz ve sanırım en temizi dediğin gibi RUNPOD gibi yerlerde saatlik olarka çalıştırmak olurdu. Belki de Huggingface tarafında yedekleme yapıp her işim düşünce RUNPOD gibi yerlerde bunlarla SSH ile soru cevap yapmak mantıklı olabilir.

Az önce de MCP olarak da Todoist kullandım ve datadan verileri okuyup direkt uygulama içine proje ekliyor; dilediğim etikette ve proje ayarlarında. Yani eğitimleri nasıl değerlendirmem gerektiğini de organize etmeye çalışıyorum. Full Agent sevmesem de yarısını ben hallediyorum bazı işleri, bu daha verimli oluyor kanımca.

Dediğim gibi istikrarlı denemeler yapıyorum. Bir çok araç yaptım ve yine de benim gittiğim yol doğru mu diye de bakış açınızı merak ettim. Akıl akıldan üstündür. Hatta bir Agent kurdum dilediğim "DOCS" yapısını dilediğim siteden çekebiliyorum. Tek sorun bunları Fine Tuning ile kendime özel bir model seçip harmanlamak mı yoksa bu şekilde yarı manuel; uçtan uca proje geliştirmek mi daha verimli olurdu?