Hogyan állítsuk be a helyszíni Qsirch RAG-t
Alkalmazható termékek
Qsirch 6.0.0 (vagy újabb) a QuTS hero platformon
Helyszíni RAG keresés
Haladó felhasználók és vállalatok számára, akik teljes adatvédelmet vagy offline AI-t igényelnek, a Qsirch helyben telepített LLM-eken futtatja a RAG-et. Minden a NAS-án vagy a csatlakoztatott hardveren történik - semmilyen adat nem hagyja el a környezetét.
Hardver és konfiguráció
Hardver ajánlások
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU-k: RTX 6000 Ada és RTX 4000 Ada
- QuTS hero 5.2.1 vagy újabb verziók
- Az LLM Core telepítve és engedélyezve van
- Menjen a Vezérlőpult > Hardver > Hardvererőforrások > Erőforrás használat > Container Station mód
LLM Core (app) - Helyszíni RAG támogatott modellek
Az LLM Core közvetlenül a NAS-ára hozza a nagy nyelvi modelleket, lehetővé téve a Qsirch számára, hogy a RAG-et privát módon és hatékonyan futtassa felhőszolgáltatások nélkül. A beépített modellkezeléssel letöltheti, rendszerezheti és válthat a helyi modellek között, majd használhatja őket a Qsirch-ben generálásra. Minden a hardverén fut, teljesítmény és adatvédelem feletti teljes irányítással.
Jelenleg támogatott helyi modellek (a lista idővel frissül; ellenőrizze az alkalmazásban a legújabb modelleket):
| Megjelenítési név | Paraméterek | Kvantálás | Méret |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Hogyan állítsuk be az On-premise szolgáltatást a Qsirch-ben
- Menj a Beállítások > adminisztrátor beállítás > RAG keresés > On-premise szolgáltatás.
- Ha az LLM Core nincs telepítve/engedélyezve, kattints a Engedélyezés most gombra, hogy a App Center-hez menj és telepítsd/engedélyezd az LLM Core-t.
Ha a GPU kártya nincs Container Station módra állítva, kattints a Engedélyezés most gombra, hogy a Vezérlőpult-hez menj és állítsd a GPU-t Container Station módra.
