Sådan opsættes On-Prem Qsirch RAG
Anvendelige produkter
Qsirch 6.0.0 (eller senere) på QuTS hero platform
On-Premise RAG-søgning
For avancerede brugere og virksomheder, der kræver fuld databeskyttelse eller offline AI, kører Qsirch RAG på lokalt hostede LLM'er. Alt udføres på din NAS eller tilsluttede hardware - ingen data forlader dit miljø.
Hardware og konfiguration
Hardwareanbefalinger
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU'er: RTX 6000 Ada og RTX 4000 Ada
- QuTS hero 5.2.1 eller senere versioner
- LLM Core er installeret og aktiveret
- Gå til Kontrolpanel > Hardware > Hardwareressourcer > Ressourcebrug > Container Station tilstand
LLM Core (app) - On-Prem RAG understøttede modeller
LLM Core bringer store sprogmodeller direkte til din NAS, hvilket gør det muligt for Qsirch at køre RAG privat og effektivt uden cloud-tjenester. Med indbygget modelstyring kan du downloade, organisere og skifte mellem lokale modeller og derefter bruge dem i Qsirch til generering. Alt kører på din hardware for fuld kontrol over ydeevne og privatliv.
Aktuelt understøttede lokale modeller (listen opdateres over tid; tjek i appen for de nyeste modeller):
| Visningsnavn | Parametre | Kvantisering | Størrelse |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Sådan opsættes On-premise service i Qsirch
- Gå til Indstillinger > administrator indstilling > RAG Search > On-premise Service.
- Hvis LLM Core ikke er installeret/aktiveret, klik Aktivér nu for at gå til App Center og installere/aktivere LLM Core.
Hvis GPU-kortet ikke er indstillet til Container Station mode, klik Aktivér nu for at gå til Kontrolpanel og indstille GPU til Container Station mode.
For yderligere hjælp kan du spørge andre brugere og QNAP-eksperter i vores community. Gå til QNAP Community
