此頁面為機器翻譯版本,請參閱機器翻譯免責聲明
切換為English

How to Set up On-Prem Qsirch RAG
如何設定內部部署 Qsirch RAG


最後修訂日期: 2025-10-28

適用產品

Qsirch 6.0.0(或更新版本)在 QuTS hero 平台上


內部部署 RAG 搜尋

針對需要完整資料隱私或離線 AI 的進階使用者和企業,Qsirch 在本地託管的 LLM 上執行 RAG。所有操作均在您的 NAS 或連線的硬體上進行,沒有資料離開您的環境。


硬體和配置

硬體建議

- NAS:TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)

- GPUs:RTX 6000 Ada 和 RTX 4000 Ada

- QuTS hero 5.2.1 或更新版本

- 已安裝並啟用 LLM Core

- 前往 控制台 > 硬體 > 硬體資源 > 資源使用 > Container Station 模式


LLM Core (應用程式) - 支援內部部署 RAG 的型號

LLM Core 將大型語言模型直接帶到您的 NAS,讓 Qsirch 可以在不使用雲端服務的情況下私密且高效地執行 RAG。透過內建的模型管理,您可以下載、組織和切換本地模型,然後在 Qsirch 中使用它們進行生成。所有操作均在您的硬體上進行,讓您完全掌控效能和隱私。

目前支援的本地模型(清單會隨時間更新;請在應用程式中檢視最新模型):

顯示名稱引數量化大小
DeepSeek R1 7B7.628BQ4_K_M4.70 GB
DeepSeek R1 14B14.8BQ4_K_M9.00 GB
Gemma3 12B12.2BQ4_K_M8.10 GB
DeepSeek R1 8B8.03BQ4_K_M4.90 GB
DeepSeek R1 32B32.8BQ4_K_M20.00 GB
Gemma3 1B1.0BQ4_K_M0.815 GB
Gemma3 4B4.38BQ4_K_M3.30 GB
Gemma3 27B27.4BQ4_K_M18.00 GB
gpt-oss 20B20.98BMXFP414.00 GB
Mistral 7B7.25BQ4_K_M4.10 GB
Microsoft Phi-4 14B14.7BQ4_K_M9.10 GB

如何在 Qsirch 中設定內部部署服務

  1. 前往設定 > 系統管理員設定 > RAG 搜尋 > 內部部署服務。

  2. 如果尚未安裝 / 啟用 LLM Core,請按一下立即啟用以前往 App Center 並安裝 / 啟用 LLM Core。
  3. 如果 GPU 卡未設定為 Container Station 模式,請按一下立即啟用以前往控制台並將 GPU 設定為 Container Station 模式。


這篇文章有幫助嗎?

謝謝您,我們已經收到您的意見。

請告訴我們如何改進這篇文章:

如果您想提供其他意見,請於下方輸入。

選擇規格

      顯示更多 隱藏更多

      選擇其他偏好的語言:

      open menu
      back to top