Applicable Products
Qsirch 6.0.0 (or later) on QuTS hero platform
On-Premise RAG Search
For advanced users and enterprises who require full data privacy or offline AI, Qsirch runs RAG on locally hosted LLMs. Everything is performed on your NAS or connected hardware - no data leaves your environment.
Hardware and Configuration
Hardware recommendations
- NAS: TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- GPUs: RTX 6000 Ada and RTX 4000 Ada
- QuTS hero 5.2.1 or later versions
- LLM Core is installed and enabled
- Go to Control Panel > Hardware > Hardware Resources > Resource Use > Container Station mode

LLM Core (app) - On-Prem RAG supported models
LLM Core brings large language models directly to your NAS, letting Qsirch run RAG privately and efficiently without cloud services. With built-in model management, you can download, organize, and switch between local models, then use them in Qsirch for generation. Everything runs on your hardware for full control over performance and privacy.
Currently supported local models (list updates over time; check in-app for the latest models):
| Display name | Params | Quantization | Size |
|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
How to set up On-premise service in Qsirch
- Go to Settings > Administrator setting > RAG Search > On-premise Service.

- If the LLM Core is not installed/enabled, click Enable now to go to the app center and install/enable LLM Core.


If the GPU card is not set to Container Station mode, click Enable now to go to Control Panel and set the GPU to Container Station mode.


適用產品
Qsirch 6.0.0(或更新版本)在 QuTS hero 平台上
內部部署 RAG 搜尋
針對需要完整資料隱私或離線 AI 的進階使用者和企業,Qsirch 在本地託管的 LLM 上執行 RAG。所有操作均在您的 NAS 或連線的硬體上進行,沒有資料離開您的環境。
硬體和配置
硬體建議
- NAS:TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- GPUs:RTX 6000 Ada 和 RTX 4000 Ada
- QuTS hero 5.2.1 或更新版本
- 已安裝並啟用 LLM Core
- 前往 控制台 > 硬體 > 硬體資源 > 資源使用 > Container Station 模式

LLM Core (應用程式) - 支援內部部署 RAG 的型號
LLM Core 將大型語言模型直接帶到您的 NAS,讓 Qsirch 可以在不使用雲端服務的情況下私密且高效地執行 RAG。透過內建的模型管理,您可以下載、組織和切換本地模型,然後在 Qsirch 中使用它們進行生成。所有操作均在您的硬體上進行,讓您完全掌控效能和隱私。
目前支援的本地模型(清單會隨時間更新;請在應用程式中檢視最新模型):
| 顯示名稱 | 引數 | 量化 | 大小 |
|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
如何在 Qsirch 中設定內部部署服務
- 前往設定 > 系統管理員設定 > RAG 搜尋 > 內部部署服務。

- 如果尚未安裝 / 啟用 LLM Core,請按一下立即啟用以前往 App Center 並安裝 / 啟用 LLM Core。


如果 GPU 卡未設定為 Container Station 模式,請按一下立即啟用以前往控制台並將 GPU 設定為 Container Station 模式。

