Hur man ställer in On-Prem Qsirch RAG
Tillämpliga produkter
Qsirch 6.0.0 (eller senare) på QuTS hero-plattform
On-Premise RAG-sökning
För avancerade användare och företag som kräver fullständig dataintegritet eller offline-AI, kör Qsirch RAG på lokalt värdbaserade LLM:er. Allt utförs på din NAS eller anslutna hårdvara - ingen data lämnar din miljö.
Hårdvara och konfiguration
Hårdvarurekommendationer
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU:er: RTX 6000 Ada och RTX 4000 Ada
- QuTS hero 5.2.1 eller senare versioner
- LLM Core är installerad och aktiverad
- Gå till Kontrollpanelen > Hårdvara > Hårdvaruresurser > Resursanvändning > Container Station-läge
LLM Core (app) - On-Prem RAG-stödda modeller
LLM Core tar stora språkmodeller direkt till din NAS, vilket gör att Qsirch kan köra RAG privat och effektivt utan molntjänster. Med inbyggd modellhantering kan du ladda ner, organisera och växla mellan lokala modeller, och sedan använda dem i Qsirch för generering. Allt körs på din hårdvara för full kontroll över prestanda och integritet.
För närvarande stödda lokala modeller (listan uppdateras över tid; kontrollera i appen för de senaste modellerna):
| Visningsnamn | Parametrar | Kvantisering | Storlek |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Hur man ställer in lokal tjänst i Qsirch
- Gå till Inställningar > administratör inställning > RAG-sökning > Lokal tjänst.
- Om LLM Core inte är installerad/aktiverad, klicka på Aktivera nu för att gå till App Center och installera/aktivera LLM Core.
Om GPU-kortet inte är inställt på Container Station läge, klicka på Aktivera nu för att gå till Kontrollpanelen och ställa in GPU:n på Container Station läge.
