Applicable Products
Qsirch 6.0.0 (or later) on QuTS hero platform
On-Premise RAG Search
For advanced users and enterprises who require full data privacy or offline AI, Qsirch runs RAG on locally hosted LLMs. Everything is performed on your NAS or connected hardware - no data leaves your environment.
Hardware and Configuration
Hardware recommendations
- NAS: TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- GPUs: RTX 6000 Ada and RTX 4000 Ada
- QuTS hero 5.2.1 or later versions
- LLM Core is installed and enabled
- Go to Control Panel > Hardware > Hardware Resources > Resource Use > Container Station mode
LLM Core (app) - On-Prem RAG supported models
LLM Core brings large language models directly to your NAS, letting Qsirch run RAG privately and efficiently without cloud services. With built-in model management, you can download, organize, and switch between local models, then use them in Qsirch for generation. Everything runs on your hardware for full control over performance and privacy.
Currently supported local models (list updates over time; check in-app for the latest models):
| Display name | Params | Quantization | Size |
|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
How to set up On-premise service in Qsirch
- Go to Settings > Administrator setting > RAG Search > On-premise Service.
- If the LLM Core is not installed/enabled, click Enable now to go to the app center and install/enable LLM Core.
If the GPU card is not set to Container Station mode, click Enable now to go to Control Panel and set the GPU to Container Station mode.
적용되는 제품
QuTS hero플랫폼에서 Qsirch 6.0.0 (이상)
온프레미스 RAG 검색
고급 사용자 및 데이터 프라이버시 또는 오프라인 AI를 필요로 하는 기업을 위해 Qsirch는 로컬에 호스팅된 LLM에서 RAG를 실행합니다. 모든 작업은 NAS 또는 연결된 하드웨어에서 수행되며, 데이터가 환경을 떠나지 않습니다.
하드웨어 및 구성
하드웨어 권장 사항
- NAS: TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- GPUs: RTX 6000 Ada 및 RTX 4000 Ada
- QuTS hero 5.2.1 이상 버전
- LLM Core가 설치되고 활성화됨
- 이동제어판 > 하드웨어 > 하드웨어 리소스 > 리소스 사용 > Container Station모드
LLM Core (앱) - 온프레미스 RAG 지원 모델
LLM Core는 대형 언어 모델을 NAS에 직접 가져와 Qsirch가 클라우드 서비스 없이 RAG를 개인적으로 효율적으로 실행할 수 있게 합니다. 내장된 모델 관리 기능을 통해 로컬 모델을 다운로드, 구성 및 전환하여 Qsirch에서 생성에 사용할 수 있습니다. 모든 작업은 하드웨어에서 실행되어 성능과 프라이버시에 대한 완전한 제어를 제공합니다.
현재 지원되는 로컬 모델 (목록은 시간이 지남에 따라 업데이트됨; 최신 모델은 앱 내에서 확인):
| 디스플레이 이름 | 매개변수 | 양자화 | 크기 |
|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
Qsirch에서 온프레미스 서비스를 설정하는 방법
- 이동설정 > 관리자설정 > RAG 검색 > 온프레미스 서비스.
- LLM 코어가 설치/활성화되지 않은 경우, 지금 활성화를 클릭하여App Center로 이동하여 LLM 코어를 설치/활성화합니다.
GPU 카드가Container Station모드로 설정되지 않은 경우, 지금 활성화를 클릭하여제어판로 이동하여 GPU를Container Station모드로 설정합니다.
