Jak nastavit On-Prem Qsirch RAG
Použitelné produkty
Qsirch 6.0.0 (nebo novější) na platformě QuTS hero
On-Premise RAG vyhledávání
Pro pokročilé uživatele a podniky, které vyžadují plnou ochranu dat nebo offline AI, Qsirch provozuje RAG na lokálně hostovaných LLM. Vše se provádí na vašem NAS nebo připojeném hardwaru - žádná data neopouštějí vaše prostředí.
Hardware a konfigurace
Doporučení pro hardware
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU: RTX 6000 Ada a RTX 4000 Ada
- QuTS hero 5.2.1 nebo novější verze
- LLM Core je nainstalován a povolen
- Přejděte na Ovládací panely > Hardware > Hardwarové zdroje > Využití zdrojů > režim Container Station
LLM Core (aplikace) - Podporované modely On-Prem RAG
LLM Core přináší rozsáhlé jazykové modely přímo do vašeho NAS, což umožňuje Qsirch provozovat RAG soukromě a efektivně bez cloudových služeb. S vestavěným řízením modelů můžete stahovat, organizovat a přepínat mezi lokálními modely a poté je používat v Qsirch pro generování. Vše běží na vašem hardwaru pro plnou kontrolu nad výkonem a ochranou soukromí.
Aktuálně podporované lokální modely (seznam se časem aktualizuje; pro nejnovější modely zkontrolujte v aplikaci):
| Zobrazovaný název | Parametry | Kvantizace | Velikost |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Jak nastavit službu On-premise v Qsirch
- Přejděte na Nastavení > správce nastavení > RAG Search > On-premise Service.
- Pokud není LLM Core nainstalován/povolen, klikněte na Povolit nyní pro přechod na App Center a instalaci/povolení LLM Core.
Pokud není grafická karta nastavena na režim Container Station, klikněte na Povolit nyní pro přechod na Ovládací panely a nastavení GPU na režim Container Station.
Pro další pomoc se zeptejte ostatních uživatelů a odborníků QNAP v komunitě. Přejít do komunity QNAP
