Hoe stel je On-Prem Qsirch RAG in
Toepasselijke Producten
Qsirch 6.0.0 (of later) op QuTS hero platform
On-Premise RAG Zoeken
Voor gevorderde gebruikers en ondernemingen die volledige gegevensprivacy of offline AI vereisen, draait Qsirch RAG op lokaal gehoste LLM's. Alles wordt uitgevoerd op uw NAS of aangesloten hardware - er verlaat geen data uw omgeving.
Hardware en Configuratie
Hardware aanbevelingen
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU's: RTX 6000 Ada en RTX 4000 Ada
- QuTS hero 5.2.1 of latere versies
- LLM Core is geïnstalleerd en ingeschakeld
- Ga naar Configuratiescherm > Hardware > Hardware-bronnen > Resource Gebruik > Container Station modus
LLM Core (app) - On-Prem RAG ondersteunde modellen
LLM Core brengt grote taalmodellen direct naar uw NAS, waardoor Qsirch RAG privé en efficiënt kan draaien zonder clouddiensten. Met ingebouwde modelbeheer kunt u lokale modellen downloaden, organiseren en wisselen, en ze vervolgens gebruiken in Qsirch voor generatie. Alles draait op uw hardware voor volledige controle over prestaties en privacy.
Momenteel ondersteunde lokale modellen (lijst wordt in de loop van de tijd bijgewerkt; controleer in de app voor de nieuwste modellen):
| Weergavenaam | Parameters | Kwantisatie | Grootte |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Hoe de On-premise service in Qsirch instellen
- Ga naar Instellingen > beheerder instelling > RAG Search > On-premise Service.
- Als de LLM Core niet is geïnstalleerd/ingeschakeld, klik op Nu inschakelen om naar de App Center te gaan en LLM Core te installeren/inschakelen.
Als de GPU-kaart niet is ingesteld op Container Station modus, klik op Nu inschakelen om naar Configuratiescherm te gaan en de GPU in te stellen op Container Station modus.
