Sådan opsættes On-Prem Qsirch RAG
Anvendelige produkter
Qsirch 6.0.0 (eller senere) på QuTS hero platform
On-Premise RAG-søgning
For avancerede brugere og virksomheder, der kræver fuld databeskyttelse eller offline AI, kører Qsirch RAG på lokalt hostede LLM'er. Alt udføres på din NAS eller tilsluttede hardware - ingen data forlader dit miljø.
Hardware og konfiguration
Hardwareanbefalinger
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU'er: RTX 6000 Ada og RTX 4000 Ada
- QuTS hero 5.2.1 eller senere versioner
- LLM Core er installeret og aktiveret
- Gå til Kontrolpanel > Hardware > Hardwareressourcer > Ressourcebrug > Container Station tilstand
LLM Core (app) - On-Prem RAG understøttede modeller
LLM Core bringer store sprogmodeller direkte til din NAS, hvilket gør det muligt for Qsirch at køre RAG privat og effektivt uden cloud-tjenester. Med indbygget modelstyring kan du downloade, organisere og skifte mellem lokale modeller og derefter bruge dem i Qsirch til generering. Alt kører på din hardware for fuld kontrol over ydeevne og privatliv.
Aktuelt understøttede lokale modeller (listen opdateres over tid; tjek i appen for de nyeste modeller):
| Visningsnavn | Parametre | Kvantisering | Størrelse |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Sådan opsættes On-premise service i Qsirch
- Gå til Indstillinger > administrator indstilling > RAG Search > On-premise Service.
- Hvis LLM Core ikke er installeret/aktiveret, klik Aktivér nu for at gå til App Center og installere/aktivere LLM Core.
Hvis GPU-kortet ikke er indstillet til Container Station mode, klik Aktivér nu for at gå til Kontrolpanel og indstille GPU til Container Station mode.
