Video ve kitaplar "md" formatında soru sorulabilir şekilde nasıl kullanılabilir?

PoseidonWhisper · Bugün 17:34

Merhaba,

Şimdilerde sadece uygun fiyatlı olduğundan dolayı "Antigravity" kullanıyorum. Amacım elimdeki indirdiğim videoların ve PDF dosyalarının deşifresini yapacak şekilde onu RAG yapmaktır. Piyasadaki LLM Studıo vb gibi çözümlerle neden bilmiyorum yapamıyorum. İstediğim hız ve sonuçlarda olmuyor. Ayrıca halisünasyonları bitmiyor. Ollama da kurulu aynı zamanda SRT altyazı formatı ve Türkçe dili için tek tek çıktılar almak için Pot Player ile beraber ve ayrıca Antigravity ile bazı testler için kullanıyorum.

Github üstünden RAM, CPU, GPU ile kombinli şekilde kullanabileceğim seçenekler var mıdır?

The Merciful One · Bugün 17:56

GitHub - microsoft/markitdown: Python tool for converting files and office documents to Markdown.

Python tool for converting files and office documents to Markdown. - microsoft/markitdown

github.com

Bahsettiğiniz işi görüyor mu bilmiyorum ama bu araç sayesinde yapay zeka ajanlarının anlayabileceği bir binary dosya elde edebiliyorsunuz. Özellikle dosya boyutlarını epey düşürüyor. Deneyebilirsiniz.

PoseidonWhisper · 54 dakika önce

The Merciful One dedi:
GitHub - microsoft/markitdown: Python tool for converting files and office documents to Markdown.

Python tool for converting files and office documents to Markdown. - microsoft/markitdown

github.com

Bahsettiğiniz işi görüyor mu bilmiyorum ama bu araç sayesinde yapay zeka ajanlarının anlayabileceği bir binary dosya elde edebiliyorsunuz. Özellikle dosya boyutlarını epey düşürüyor. Deneyebilirsiniz.

Bu RAG ile bağlantılı değil sanırım. Ben Obsidian tarafında Hermes Plugınleriyle çözdüm bu durumu. Tabii ki 1000 tane video kursu md formatına Python ile getirdim. GitHub - microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system Bu aracı da deneyeceğim; olmazsa birbirine köprüleyeceğim. En güzel Obsidian içinde çalışıyor sanırım. Ollama tarafında çok yavaş ve donmalar, Token sınırından dolayı halisünasyonlar oluyor.

eonder87 · 42 dakika önce

ChatGPT bu işlemde GPT için dockling öneriyor video için de whisper. Ama dediğin gibi hiçbir zaman tam olarak yapamaz çünkü kullandığın metinlerin en kısası 300 sayfa falandır eğitim dokümanı ise videolar vs gibi şeyler.

Belki şöyle bir şey yapabilisin Notebooklm'e kaynakları atıp mcp ile AI'a bağlayabilirsin. Rag yapmak için kaynak materyalin doğru alınması lazım. Ayrıca Rag'a neden ihtiyacın oluyor. AI'ın çıktısı yetersiz mi geliyor.

PoseidonWhisper · 18 dakika önce

eonder87 dedi:
ChatGPT bu işlemde GPT için dockling öneriyor video için de whisper. Ama dediğin gibi hiçbir zaman tam olarak yapamaz çünkü kullandığın metinlerin en kısası 300 sayfa falandır eğitim dokümanı ise videolar vs gibi şeyler.

Belki şöyle bir şey yapabilisin Notebooklm'e kaynakları atıp mcp ile AI'a bağlayabilirsin. Rag yapmak için kaynak materyalin doğru alınması lazım. Ayrıca Rag'a neden ihtiyacın oluyor. AI'ın çıktısı yetersiz mi geliyor.

Şunlardan dolayı ihtiyacım oluyor:

Dataları kendi hazırladığım ve yalnızca oradakileri baz almasını istediğimden dolayı topluca eklemek için.
Dataset hazırlayacak GPU olmadığından elimde bunu bir geliştirilmiş model haline de getiremiyorum; yatırım yapamam.

Örnek:

10 tane kitap var ve bunlarla birlikte bir kitabı odağıma alarak derin okuma veya çapraz okuma yapıyorum. Birbirine bağdaştırdığımda daha iyi aklımda kalıyor. Daha önceden okuduğum bir kaynak ya da kitabı da koyduğumda aklımda veya birine anlatır gibi yaptığımda sular seller gibi olması amacıyla bunları yapmak istiyorum.

---------------

Daha mantıklı önerin varsa lütfen belirtin, eleştirel de olabilir.

eonder87 · 8 dakika önce

PoseidonWhisper dedi:
Şunlardan dolayı ihtiyacım oluyor:

Dataları kendi hazırladığım ve yalnızca oradakileri baz almasını istediğimden dolayı topluca eklemek için.

Dataset hazırlayacak GPU olmadığından elimde bunu bir geliştirilmiş model haline de getiremiyorum; yatırım yapamam.

Örnek:

10 tane kitap var ve bunlarla birlikte bir kitabı odağıma alarak derin okuma veya çapraz okuma yapıyorum. Birbirine bağdaştırdığımda daha iyi aklımda kalıyor. Daha önceden okuduğum bir kaynak ya da kitabı da koyduğumda aklımda veya birine anlatır gibi yaptığımda sular seller gibi olması amacıyla bunları yapmak istiyorum.

---------------

Daha mantıklı önerin varsa lütfen belirtin, eleştirel de olabilir.

Hocam illa elinizde GPU olmasına gerek yok 5-10 dolarlık bir ücretle GPU servisi yapan yerler var. Onları araştırıp adamakıllı bir datasetle kendi GPU'nuzda kullanabilirsiniz. Veya madem kaynak materyallere bağlı kalmak istiyorsunuz.

Bir nevi sözlük oluşturmak daha rahat olmaz mıydı içinde arama yapabileceğiniz bir dijital sözlük gibi. Mesela sallıyorum dB yazdığınızda kaynak materyallerdeki dB satırlarını önünüze getiren bir App yapılabilir çok da basit bir şey olabilir. İçeriğini X bir yapıya getirip halüsinasyon görmesi veya özetlemesi yerine. Rag dediğin yapıda maalesef ki bunu 300 sayfayı 30 sayfaya düşürerek yapıyor.

Video ve kitaplar "md" formatında soru sorulabilir şekilde nasıl kullanılabilir?

Detaylar

PoseidonWhisper

Uzman

The Merciful One

Üstün

GitHub - microsoft/markitdown: Python tool for converting files and office documents to Markdown.

PoseidonWhisper

Uzman

GitHub - microsoft/markitdown: Python tool for converting files and office documents to Markdown.

eonder87

Başarılı

PoseidonWhisper

Uzman

eonder87

Başarılı

Benzer konular

Video ve kitaplar "md" formatında soru sorulabilir şekilde nasıl kullanılabilir?

Uzman

Üstün

Uzman

Başarılı

Uzman

Başarılı

Benzer konular

Privacy & Transparency

Privacy & Transparency