วิธีการตั้งค่า Qsirch RAG ในองค์กร
ผลิตภัณฑ์ที่รองรับ
Qsirch 6.0.0 (หรือใหม่กว่า) บนแพลตฟอร์ม QuTS hero
การค้นหา RAG ภายในองค์กร
สำหรับผู้ใช้ขั้นสูงและองค์กรที่ต้องการความเป็นส่วนตัวของข้อมูลอย่างเต็มที่หรือ AI แบบออฟไลน์ Qsirch จะรัน RAG บน LLMs ที่โฮสต์ในเครื่อง ทุกอย่างดำเนินการบน NAS หรือฮาร์ดแวร์ที่เชื่อมต่อของคุณ - ไม่มีข้อมูลใดออกจากสภาพแวดล้อมของคุณ
ฮาร์ดแวร์และการกำหนดค่า
คำแนะนำฮาร์ดแวร์
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPUs: RTX 6000 Ada และ RTX 4000 Ada
- QuTS hero 5.2.1 หรือเวอร์ชันใหม่กว่า
- ติดตั้งและเปิดใช้งาน LLM Core
- ไปที่ แผงควบคุม > ฮาร์ดแวร์ > ทรัพยากรฮาร์ดแวร์ > การใช้ทรัพยากร > โหมด Container Station

LLM Core (แอป) - รุ่นที่รองรับ On-Prem RAG
LLM Core นำโมเดลภาษาขนาดใหญ่มาสู่ NAS ของคุณโดยตรง ทำให้ Qsirch สามารถรัน RAG ได้อย่างเป็นส่วนตัวและมีประสิทธิภาพโดยไม่ต้องใช้บริการคลาวด์ ด้วยการจัดการโมเดลในตัว คุณสามารถดาวน์โหลด จัดระเบียบ และสลับระหว่างโมเดลในเครื่อง จากนั้นใช้ใน Qsirch เพื่อการสร้าง ทุกอย่างทำงานบนฮาร์ดแวร์ของคุณเพื่อควบคุมประสิทธิภาพและความเป็นส่วนตัวอย่างเต็มที่
รุ่นในเครื่องที่รองรับในปัจจุบัน (รายการอัปเดตตามเวลา; ตรวจสอบในแอปสำหรับรุ่นล่าสุด):
| ชื่อที่แสดง | พารามิเตอร์ | การควอนไทซ์ | ขนาด |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
วิธีการตั้งค่าบริการในสถานที่ใน Qsirch
- ไปที่ การตั้งค่า > การตั้งค่า ผู้ดูแลระบบ > การค้นหา RAG > บริการในสถานที่

- หาก LLM Core ยังไม่ได้ติดตั้ง/เปิดใช้งาน คลิก เปิดใช้งานตอนนี้ เพื่อไปที่ App Center และติดตั้ง/เปิดใช้งาน LLM Core


หากการ์ด GPU ยังไม่ได้ตั้งค่าเป็นโหมด Container Station คลิก เปิดใช้งานตอนนี้ เพื่อไปที่ แผงควบคุม และตั้งค่าการ์ด GPU เป็นโหมด Container Station

