Omerta Silenzio
Başarılı
Konu Başlıkları Gizle
Selamlar arkadaşlar,
Bilgisayar Mühendisliği ve Veri Bilimi kökenli kurucu ekibimizle bir süredir üzerinde AR-GE yürüttüğümüz, teorik mimarisini tamamlayıp teknik altyapısını kurguladığımız Geniş Dil Modeli ve RAG projemizdeki gelişmeleri paylaşmak istiyorum sizlerle.
Projemiz; veri gizliliği odaklı, kurum içi çalışabilen ve özellikle teknik/akademik Türkçe literatüre hakim Enterprise-Grade bir yapay zeka ekosistemi kurmayı hedefliyor.
Şu an projenin donanım ihtiyaçlarını karşılamak ve ölçeklenmek için Pre-Seed yatırım turuna çıktık. Çeşitli VC ve angel Yatırımcı ağlarıyla görüşme sürecimiz devam ederken, teknik detayları forumdaki yetkin arkadaşlarla tartışmak istedim.
Global API çözümleri (OpenAI vs.) veri mahremiyeti ve token maliyetleri açısından her kurum için uygun değil. Biz, şirketlerin kendi sunucularında çalışan, dışarı veri çıkarmayan "Egemen Yapay Zeka" (Sovereign AI) modelleri sunarak bu boşluğu doldurmayı amaçlıyoruz.
Yatırım sunumlarımızda yer alan, yüksek performans odaklı hibrit mimarimiz şu şekilde:
1. Model Eğitim Stratejisi:
2. Gelişmiş RAG Mimarisi:
Modelin halüsinasyon riskini minimize eden "Advanced RAG" yapımız:
3. Veri İşleme (Data Engineering):
Kaliteli veri, modelin yakıtıdır.
Proje şu an aktif tasarım ve prototipleme aşamasında, yatırım turumuz devam ediyor.
Bu vizyona teknik katkı sunmak isteyen geliştirici aarkadaşlarla tartışmak isterim. Boyumuzdan büyük bir işe kalkıştık valla. Ya tarih yazacağız ya tarih olacağız. İyi sosyaller herkse.
Bilgisayar Mühendisliği ve Veri Bilimi kökenli kurucu ekibimizle bir süredir üzerinde AR-GE yürüttüğümüz, teorik mimarisini tamamlayıp teknik altyapısını kurguladığımız Geniş Dil Modeli ve RAG projemizdeki gelişmeleri paylaşmak istiyorum sizlerle.
Projemiz; veri gizliliği odaklı, kurum içi çalışabilen ve özellikle teknik/akademik Türkçe literatüre hakim Enterprise-Grade bir yapay zeka ekosistemi kurmayı hedefliyor.
Şu an projenin donanım ihtiyaçlarını karşılamak ve ölçeklenmek için Pre-Seed yatırım turuna çıktık. Çeşitli VC ve angel Yatırımcı ağlarıyla görüşme sürecimiz devam ederken, teknik detayları forumdaki yetkin arkadaşlarla tartışmak istedim.
Global API çözümleri (OpenAI vs.) veri mahremiyeti ve token maliyetleri açısından her kurum için uygun değil. Biz, şirketlerin kendi sunucularında çalışan, dışarı veri çıkarmayan "Egemen Yapay Zeka" (Sovereign AI) modelleri sunarak bu boşluğu doldurmayı amaçlıyoruz.
Yatırım sunumlarımızda yer alan, yüksek performans odaklı hibrit mimarimiz şu şekilde:1. Model Eğitim Stratejisi:
- Base Model Seçimi: Ticari kullanım lisansı (Apache 2.0 / Community License) ve Türkçe token verimliliği nedeniyle Mistral veya Llama-3.1 mimarilerini baz alıyoruz.
- Fine-Tuning: Şu an QLoRA (4-bit) teknikleriyle lokal testlerini yaptığımız yapıyı, yatırım sonrası DeepSpeed ZeRO-3 ve FSDP teknolojilerini kullanarak Multi-GPU ortamına (H100/A100 Cluster) taşıyacağız.
- Hedef: Genel sohbet botu değil; Hukuk, Finans veya Mühendislik gibi dikey alanlarda uzmanlaşmış modeller.
2. Gelişmiş RAG Mimarisi:
Modelin halüsinasyon riskini minimize eden "Advanced RAG" yapımız:
- Vector Search: Milvus veya Qdrant üzerinde, HNSW algoritmasıyla milisaniyeler içinde semantik arama.
- Re-Ranking: Vektör aramadan dönen sonuçları Cross-Encoder modelleriyle tekrar puanlayarak bağlam doğruluğunu artırıyoruz.
3. Veri İşleme (Data Engineering):
Kaliteli veri, modelin yakıtıdır.
- ETL Pipeline: Açık kaynaklı ve lisanslı veri setlerini Apache Spark ile temizleyip, Deduplication (tekilleştirme) işlemlerinden geçiriyoruz.
- Format: Veriyi modelin en iyi anlayacağı ChatML veya Alpaca formatında instruction setlere dönüştürüyoruz.
Proje şu an aktif tasarım ve prototipleme aşamasında, yatırım turumuz devam ediyor.- Faz 1 (Tamamlandı): Mimari tasarım, teknik stack seçimi ve ekip kurulumu.
- Faz 2 (Şu An): POC (Proof of Concept) çalışmaları, Veri seti hazırlığı ve Yatırımcı görüşmeleri.
- Faz 3 (Hedef): Turun kapanmasıyla birlikte Cloud GPU Cluster kiralanması ve ilk ticari modelin eğitimi.
Bu vizyona teknik katkı sunmak isteyen geliştirici aarkadaşlarla tartışmak isterim. Boyumuzdan büyük bir işe kalkıştık valla. Ya tarih yazacağız ya tarih olacağız. İyi sosyaller herkse.