GTX 1050 Ti LLM çalıştırır mı?

Hybrid Theory · Dün 15:10

Merhabalar, iyi sosyaller.

Ofisteki bilgisayarda i7 10700F işlemci, 2x16 GB bellek, GTX 1050 Ti 4 GB ekran kartı, 250 GB SSD ve 2 TB HDD var. GTX 1050 Ti üzerinden LLM kullanmak istiyorum. Şu anda çalıştığım sektörde, ürünlerin resmi sitelerinde datasheet'leri mevcut. Sadece resmi siteler değil, internette mevcut olmayan ama fiziksel olarak elimde olan ürün bilgilerini de datasheet hale getireceğim. Bütün bunları LLM'de işleyip kendi çalışma alanımda kullanmak istiyorum. Mesela ürün düzenlemek, açıklama hazırlamak gibi. GTX 1050 Ti ile bu ne kadar mümkün? Gemini'ye göre 1B-3B parametreli modellerle çalışabilirmişim. Ne düşünüyorsunuz? Ne tavsiye edersiniz?

Sistemdeki ekran kartı: NVIDIA GeForce GTX 1050 Ti Specs

Hasan Merkit · Dün 15:18

Aşırı zorlanır gibime geliyor. 5070 bile doğru düzgün bir LLM çalıştırdığını göremedim.

Superuser do · Dün 15:22

Teknik olarak evet, pratik olarak;

Hybrid Theory · Dün 15:22

Hasan Merkit dedi:
Aşırı zorlanır gibime geliyor. 5070 bile doğru düzgün bir LLM çalıştırdığını göremedim.

Hocam konuyu açarken sizi etiketleyecektim ama unuttum. Konuyu gördüğünüz iyi oldu.

Çok uzun çıktı süreleri benim için sorun değil. Yani basit bir Excel düzenleme işini 10 dakikada yapması dert değil (GPT Plus ile güncel olarak 5 dakika gibi süre alıyorum). Maksat basit ama uzun işlerimi kolaylaştırsın.

Superuser do dedi:
Teknik olarak evet, pratik olarak;

Kart resmen sadece görüntü vermek için duruyor. Bari bir işe yarasın...

Superuser do · Dün 15:24

Hybrid Theory dedi:
Hocam konuyu açarken sizi etiketleyecektim ama unuttum. Konuyu gördüğünüz iyi oldu.

Çok uzun çıktı süreleri benim için sorun değil. Yani basit bir Excel düzenleme işini 10 dakikada yapması dert değil (GPT Plus ile güncel olarak 5 dakika gibi süre alıyorum). Maksat basit ama uzun işlerimi kolaylaştırsın.

Kart resmen sadece görüntü vermek için duruyor. Bari bir işe yarasın...

Çünkü sadece görüntü verebiliyor hocam, o VRAM'e ne context sığar, ne de bir AI. Ücretsiz modeller bile daha çok iş görecektir.

Hasan Merkit · Dün 15:24

Hybrid Theory dedi:
Hocam konuyu açarken sizi etiketleyecektim ama unuttum. Konuyu gördüğünüz iyi oldu.

Çok uzun çıktı süreleri benim için sorun değil. Yani basit bir Excel düzenleme işini 10 dakikada yapması dert değil (GPT Plus ile güncel olarak 5 dakika gibi süre alıyorum). Maksat basit ama uzun işlerimi kolaylaştırsın.

Yerel modellerde henüz gelişemedim. Halen öğrenmeye çalışıyorum.

Ama gördüğüm kadarıyla bazı model ayarları, CPU'ya da yük veriyor.

Aslında doğru model-ayar seçimi yaparak Excel gibi görevleri yerine getirebilirsiniz. İşlemcinizin 9. nesil i7-i9 veya o seviye bir model olduğunu düşünerek bu yorumu yazıyorum.

Hybrid Theory · Dün 15:25

Superuser do dedi:
Çünkü sadece görüntü verebiliyor hocam, o VRAM'e ne context sığar, ne de bir AI. Ücretsiz modeller bile daha çok iş görecektir.

Gemini Plus ve GPT Plus var. GPT Plus bazen yetmiyor. Verimli kullanabilmek için birkaç video izleyeceğim. Şimdilik işin bir kısmını Gemini Notebook'a taşıyacağım.

Hasan Merkit dedi:
Yerel modellerde henüz gelişemedim. Halen öğrenmeye çalışıyorum.

Ama gördüğüm kadarıyla bazı model ayarları, CPU'ya da yük veriyor.

Aslında doğru model-ayar seçimi yaparak Excel gibi görevleri yerine getirebilirsiniz. İşlemcinizin 9. nesil i7-i9 veya o seviye bir model olduğunu düşünerek bu yorumu yazıyorum.

Teşekkürler hocam, size de kolay gelsin.

Evet, bazı modellerde CPU gücünden de yararlanabiliyoruz. Sanırım hibrit çalışıyor. İşlemciyi konuda belirtmiştim i7 10700F var. iGPU olmaması bana avantaj mı, bilemiyorum. AnythingLLM üzerinde uygun bir iki model deneyip buraya yazacağım sonuçları.

Hasan Merkit · Dün 15:32

Hybrid Theory dedi:
İşlemciyi konuda belirtmiştim i7 10700F var.

Yoğunluktan dolayı başlığı okuyup direkt cevap verdim maalesef.

Denememi istediğin örnek Excel ve prompt varsa DM açabilir, ardından en verimli modelin hangisi olabileceğini konuya yazabiliriz. Önce 5080 Mobil ile kontrol ederiz, ardından 1050 Ti ile kontrol ederiz.

Hybrid Theory · Dün 15:42

Hasan Merkit dedi:
Yoğunluktan dolayı başlığı okuyup direkt cevap verdim maalesef.

Denememi istediğin örnek Excel ve prompt varsa DM açabilir, ardından en verimli modelin hangisi olabileceğini konuya yazabiliriz. Önce 5080 Mobil ile kontrol ederiz, ardından 1050 Ti ile kontrol ederiz.

Hocam müsait olunca bir tane Excel ve promt hazırlayıp göndereyim size DM üzerinden. Siz 5080M üzerinde hangi modelleri rahatlıkla kullanabiliyorsunuz?

Hasan Merkit · Dün 18:26

Hybrid Theory dedi:
Hocam müsait olunca bir tane Excel ve promt hazırlayıp göndereyim size DM üzerinden. Siz 5080M üzerinde hangi modelleri rahatlıkla kullanabiliyorsunuz?

1. Flint: Loop'a girdi. 40 dakikadır çalışıyor. Sonuç veremedi.

2. GLM 4.7 Flash: Yapay zeka 25 dakika beklettikten sonra Python kurmamı istedi. Bu arada sistemde Python da yüklü.
1050 Ti tahminim: Bu modeli çalıştırabilir. Ancak daha basit işleri karşılayacak gibi.

3. GPT OSS 20B: Yapay zeka isteği yerine getirmek için imkanı olmadığını söyleyerek saçmaladı.
1050 Ti tahminim: Bu modeli çalıştırabilir. Bilgisayarı pek yormadı.

QWEN3.8 27.B: İşlemi tamamladı: 8 dakika sürdü. Dosya verdi.
Ancak 1050 Ti'da çalışmayabilir. Ultra 9 275HX + 5080 Mobil sistemi yordu.

GTX 1050 Ti LLM çalıştırır mı?

Detaylar

Hybrid Theory

Bilgin

Hasan Merkit

Moderasyon Üyesi

Superuser do

Üstün

Hybrid Theory

Bilgin

Superuser do

Üstün

Hasan Merkit

Moderasyon Üyesi

Hybrid Theory

Bilgin

Hasan Merkit

Moderasyon Üyesi

Hybrid Theory

Bilgin

Hasan Merkit

Moderasyon Üyesi

Benzer konular

Yeni konular

Yeni mesajlar