Depolama sistemi önerisi?

0x6

Çalışkan
Katılım
6 Ağustos 2025
Mesajlar
1
Beğeniler
3
AI diffusion modeli ile üretim yaptığımız projemizde günlük olarak on binlerce görsel ve video içeriği üretiyoruz. Bu içerikleri kullanıcılarımıza feed yapısında sunuyoruz. Şu anda yaklaşık 10 milyon içerik biriktirdik ve toplam 10TB veriye ulaştık.

mevcut altyapı
  • Cloudflare R2 ve DigitalOcean spaces: Ana depolama ve CDN.
  • içerik türü: PNG görseller + MP4 videolar.
  • günlük üretim: ~20000 dosya.
  • ortalama dosya boyutu: PNG: 0.4-8MB, MP4: 4-20 MB.
CDN maliyetlerimiz aylık 500 doları geçti. Büyüme hızımızla bu rakam önümüzdeki 3 ay içinde 1000 doları da aşacak gibi görünüyor.
Planladığım çözüm 30 günden eski içerikleri kendi nas sistemine taşımayı düşünüyorum.

sorularım
  1. TrueNAS yerine daha hızlı kurulabilecek alternatifler var mı? Bu konuda TrueNAS rehberini (https://techolay.net/kendi-nas-sunucumuzu-kurduk-truenas-rehberi/) inceledim.
  2. S3 uyumlu bir işletim sistemi önerisi de alabilirim? (seaweedfs, garagehq vs.)
  3. SSD cache + HDD Storage karışımı mantıklı mı? Çökme ve yazılımsal arızada diskler erişilebilir olur mu?
  4. RAID önerileriniz var mıdır?
  5. Hazır nas çözümleri (synology, qnap) vs diy hangisi daha mantıklı?
  6. Mümkünse ihtiyaç durumunda public IP atanabilir olmalı (en kötü ngrok gibi uygulamalar kullanabilmeliyim)
İçerikler ileride AI model eğitiminde kullanılacağı için tamamen kaybolması söz konusu değil. Fakat sürekli erişilmesi gereken bir arşiv olacak. Her bir resim ve video etiketi için caption.txt dosyası olacak.

Deneyimli arkadaşların önerilerini bekliyorum. Özellikle benzer projeler yapmış olanların tecrübelerini merak ediyorum.
 
Son düzenleme:
Merhaba,


Büyüme oranınızı göz önünde bulundurarak, sisteminizi kolayca yükseltebilmek ve gerektiğinde kapasite düşürebilmek adına önerimiz aşağıdaki gibidir:


Bütçenize bağlı olarak 10K SAS veya SATA SSD Enterprise disklerle, RAID 5 veya RAID 10 yapılandırması yapılmasını öneriyoruz. Olası donanım arızalarına karşı en az 2 adet hot spare disk ayırmanız faydalı olacaktır.


Yazılım tarafında birçok özel seçeneği değerlendirmek mümkün olsa da, ölçeklendirme açısından en mantıklı çözüm, kendi sunucunuzu toplamanızdır. Bu sunucuya minimum 10G Ethernet kartı eklenmesi ve 1:1 simetrik hat bağlantısı sağlanması da önerilerimiz arasındadır.


Cihaz olarak başlangıç seviyesinde DELL R740XD veya DELL R730XD 24 SFF modellerini öneriyoruz. Bu cihazlara 20 adet SAS veya bütçenize göre Enterprise sınıf disk takılabilir. Uygun bir RAID kartı ile öncelikli önerimiz RAID 5'tir. Daha yüksek hız ihtiyacınız varsa, RAID 50 yapılandırması da değerlendirilebilir. Disk kapasitesi olarak ise bütçenize bağlı şekilde 900 GB veya üzeri SAS disklerle başlamak mantıklı olacaktır.


Cihaz yapılandırması, simetrik/asimetrik hat tedariği ve diğer konularda size özel çözümler sunabiliriz.


İyi çalışmalar.
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…