So richten Sie On-Prem Qsirch RAG ein
Anwendbare Produkte
Qsirch 6.0.0 (oder höher) auf der QuTS hero Plattform
On-Premise RAG-Suche
Für fortgeschrittene Benutzer und Unternehmen, die vollständige Datensicherheit oder Offline-KI benötigen, führt Qsirch RAG auf lokal gehosteten LLMs aus. Alles wird auf Ihrem NAS oder angeschlossener Hardware durchgeführt - keine Daten verlassen Ihre Umgebung.
Hardware und Konfiguration
Hardware-Empfehlungen
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPUs: RTX 6000 Ada und RTX 4000 Ada
- QuTS hero 5.2.1 oder spätere Versionen
- LLM Core ist installiert und aktiviert
- Gehen Sie zu Systemsteuerung > Hardware > Hardware-Ressourcen > Ressourcennutzung > Container Station Modus
LLM Core (App) - Unterstützte Modelle für On-Prem RAG
LLM Core bringt große Sprachmodelle direkt auf Ihr NAS, sodass Qsirch RAG privat und effizient ohne Cloud-Dienste ausführen kann. Mit integriertem Modellmanagement können Sie lokale Modelle herunterladen, organisieren und zwischen ihnen wechseln, um sie in Qsirch für die Generierung zu verwenden. Alles läuft auf Ihrer Hardware, um volle Kontrolle über Leistung und Datenschutz zu gewährleisten.
Derzeit unterstützte lokale Modelle (Liste wird im Laufe der Zeit aktualisiert; überprüfen Sie die App für die neuesten Modelle):
| Anzeigename | Parameter | Quantisierung | Größe |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4,70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9,00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8,10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4,90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
So richten Sie den On-Premise-Dienst in Qsirch ein
- Gehen Sie zu Einstellungen > Administrator Einstellung > RAG-Suche > On-Premise-Dienst.
- Wenn der LLM Core nicht installiert/aktiviert ist, klicken Sie auf Jetzt aktivieren, um zum App Center zu gelangen und LLM Core zu installieren/aktivieren.
Wenn die GPU-Karte nicht auf Container Station Modus eingestellt ist, klicken Sie auf Jetzt aktivieren, um zu Systemsteuerung zu gelangen und die GPU auf Container Station Modus einzustellen.
