此頁面為機器翻譯版本,請參閱機器翻譯免責聲明。
切換為English
如何設定內部部署 Qsirch RAG
最後修訂日期:
2025-10-28
適用產品
Qsirch 6.0.0(或更新版本)在 QuTS hero 平台上
內部部署 RAG 搜尋
針對需要完整資料隱私或離線 AI 的進階使用者和企業,Qsirch 在本地託管的 LLM 上執行 RAG。所有操作均在您的 NAS 或連線的硬體上進行,沒有資料離開您的環境。
硬體和配置
硬體建議
- NAS:TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- GPUs:RTX 6000 Ada 和 RTX 4000 Ada
- QuTS hero 5.2.1 或更新版本
- 已安裝並啟用 LLM Core
- 前往 控制台 > 硬體 > 硬體資源 > 資源使用 > Container Station 模式

LLM Core (應用程式) - 支援內部部署 RAG 的型號
LLM Core 將大型語言模型直接帶到您的 NAS,讓 Qsirch 可以在不使用雲端服務的情況下私密且高效地執行 RAG。透過內建的模型管理,您可以下載、組織和切換本地模型,然後在 Qsirch 中使用它們進行生成。所有操作均在您的硬體上進行,讓您完全掌控效能和隱私。
目前支援的本地模型(清單會隨時間更新;請在應用程式中檢視最新模型):
| 顯示名稱 | 引數 | 量化 | 大小 |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
如何在 Qsirch 中設定內部部署服務
- 前往設定 > 系統管理員設定 > RAG 搜尋 > 內部部署服務。

- 如果尚未安裝 / 啟用 LLM Core,請按一下立即啟用以前往 App Center 並安裝 / 啟用 LLM Core。


如果 GPU 卡未設定為 Container Station 模式,請按一下立即啟用以前往控制台並將 GPU 設定為 Container Station 模式。

