Jak skonfigurować lokalny Qsirch RAG
Produkty, do których ma to zastosowanie
Qsirch 6.0.0 (lub nowsza wersja) na platformie QuTS hero
Wyszukiwanie RAG na miejscu
Dla zaawansowanych użytkowników i przedsiębiorstw, które wymagają pełnej prywatności danych lub offline AI, Qsirch uruchamia RAG na lokalnie hostowanych LLM. Wszystko odbywa się na Twoim NAS lub podłączonym sprzęcie - żadne dane nie opuszczają Twojego środowiska.
Sprzęt i konfiguracja
Zalecenia dotyczące sprzętu
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU: RTX 6000 Ada i RTX 4000 Ada
- QuTS hero 5.2.1 lub nowsze wersje
- Zainstalowany i włączony LLM Core
- Przejdź do Panel sterowania > Sprzęt > Zasoby sprzętowe > Użycie zasobów > tryb Container Station
LLM Core (aplikacja) - Obsługiwane modele RAG na miejscu
LLM Core wprowadza duże modele językowe bezpośrednio do Twojego NAS, pozwalając Qsirch uruchamiać RAG prywatnie i efektywnie bez usług w chmurze. Dzięki wbudowanemu zarządzaniu modelami możesz pobierać, organizować i przełączać się między lokalnymi modelami, a następnie używać ich w Qsirch do generowania. Wszystko działa na Twoim sprzęcie, zapewniając pełną kontrolę nad wydajnością i prywatnością.
Obecnie obsługiwane lokalne modele (lista aktualizuje się z czasem; sprawdź w aplikacji najnowsze modele):
| Nazwa wyświetlana | Parametry | Kwantyzacja | Rozmiar |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Jak skonfigurować usługę lokalną w Qsirch
- Przejdź do Ustawienia > ustawienie administrator > Wyszukiwanie RAG > Usługa lokalna.
- Jeśli LLM Core nie jest zainstalowany/włączony, kliknij Włącz teraz, aby przejść do App Center i zainstalować/włączyć LLM Core.
Jeśli karta GPU nie jest ustawiona na tryb Container Station, kliknij Włącz teraz, aby przejść do Panel sterowania i ustawić GPU na tryb Container Station.
