Come configurare On-Prem Qsirch RAG
Prodotti Applicabili
Qsirch 6.0.0 (o successivo) sulla piattaforma QuTS hero
Ricerca RAG On-Premise
Per utenti avanzati e aziende che richiedono piena privacy dei dati o AI offline, Qsirch esegue RAG su LLM ospitati localmente. Tutto viene eseguito sul tuo NAS o hardware connesso - nessun dato lascia il tuo ambiente.
Hardware e Configurazione
Raccomandazioni hardware
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU: RTX 6000 Ada e RTX 4000 Ada
- QuTS hero 5.2.1 o versioni successive
- LLM Core è installato e abilitato
- Vai a Pannello di controllo > Hardware > Risorse hardware > Uso delle Risorse > modalità Container Station
LLM Core (app) - Modelli supportati da RAG On-Prem
LLM Core porta i modelli linguistici di grandi dimensioni direttamente sul tuo NAS, permettendo a Qsirch di eseguire RAG in modo privato ed efficiente senza servizi cloud. Con la gestione dei modelli integrata, puoi scaricare, organizzare e passare tra modelli locali, quindi usarli in Qsirch per la generazione. Tutto funziona sul tuo hardware per un controllo totale su prestazioni e privacy.
Modelli locali attualmente supportati (l'elenco si aggiorna nel tempo; controlla nell'app per i modelli più recenti):
| Nome visualizzato | Parametri | Quantizzazione | Dimensione |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4,70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9,00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8,10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4,90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Come configurare il servizio On-premise in Qsirch
- Vai a Impostazioni > impostazione amministratore > Ricerca RAG > Servizio On-premise.
- Se il LLM Core non è installato/abilitato, fai clic su Abilita ora per andare a App Center e installare/abilitare LLM Core.
Se la scheda GPU non è impostata su modalità Container Station, fai clic su Abilita ora per andare a Pannello di controllo e impostare la GPU su modalità Container Station.
Per ulteriore assistenza, chiedi ad altri utenti e agli esperti QNAP nella community. Vai alla community QNAP
