Local LLM'de de fena değilmiş, şimdi baktım ROCm devreye giriyormuş. İlginç, 6700 XT'de olur o zaman; ancak kurulum yapmak gerekiyormuş.
Step 1: Download KoboldCpp-ROCm
- GO to: Releases · YellowRoseCx/koboldcpp-rocm
- Download the latest koboldcpp_rocm.exe
- Create folder: C:\Users[YourUsername]\llamafile_test\koboldcpp-rocm\
- Place the executable Inside the koboldcpp-rocm folder
Hiç AMD kartında denemediğim için bir şey diyemem. Ancak denenebilir; hatta 2. slota 580 de durur, belki paylaşımlı çalıştırılabilir ama VRAM hızı 580'inki kadar indirgenir. Gene de 20 GB'lık alan oluşabilir. Söylediklerimin hepsi deneysel, kesin bir şey diyemem.