Yerinde Qsirch RAG Nasıl Kurulur
Geçerli Ürünler
QuTS hero platformunda Qsirch 6.0.0 (veya üzeri)
Yerinde RAG Araması
Tam veri gizliliği veya çevrimdışı yapay zeka gerektiren ileri düzey kullanıcılar ve işletmeler için, Qsirch yerel olarak barındırılan LLM'lerde RAG çalıştırır. Her şey NAS'ınızda veya bağlı donanımınızda gerçekleştirilir - hiçbir veri ortamınızdan çıkmaz.
Donanım ve Yapılandırma
Donanım önerileri
- NAS: TS-h1290FX ( https://www.qnap.com/zh-tw/product/ts-h1290fx )
- GPU'lar: RTX 6000 Ada ve RTX 4000 Ada
- QuTS hero 5.2.1 veya daha yeni sürümler
- LLM Core yüklü ve etkinleştirilmiş
- Şuraya gidin Kontrol Paneli > Donanım > Donanım Kaynakları > Kaynak Kullanımı > Container Station modu
LLM Core (uygulama) - Yerinde RAG destekli modeller
LLM Core, büyük dil modellerini doğrudan NAS'ınıza getirir, böylece Qsirch, bulut hizmetleri olmadan RAG'i özel ve verimli bir şekilde çalıştırabilir. Dahili model yönetimi ile yerel modelleri indirip düzenleyebilir ve aralarında geçiş yapabilirsiniz, ardından bunları Qsirch'te üretim için kullanabilirsiniz. Her şey donanımınızda çalışır, böylece performans ve gizlilik üzerinde tam kontrol sahibi olursunuz.
Şu anda desteklenen yerel modeller (liste zamanla güncellenir; en son modeller için uygulama içinden kontrol edin):
| Görünen ad | Parametreler | Kantizasyon | Boyut |
|---|---|---|---|
| DeepSeek R1 7B | 7.628B | Q4_K_M | 4.70 GB |
| DeepSeek R1 14B | 14.8B | Q4_K_M | 9.00 GB |
| Gemma3 12B | 12.2B | Q4_K_M | 8.10 GB |
| DeepSeek R1 8B | 8.03B | Q4_K_M | 4.90 GB |
| DeepSeek R1 32B | 32.8B | Q4_K_M | 20.00 GB |
| Gemma3 1B | 1.0B | Q4_K_M | 0.815 GB |
| Gemma3 4B | 4.38B | Q4_K_M | 3.30 GB |
| Gemma3 27B | 27.4B | Q4_K_M | 18.00 GB |
| gpt-oss 20B | 20.98B | MXFP4 | 14.00 GB |
| Mistral 7B | 7.25B | Q4_K_M | 4.10 GB |
| Microsoft Phi-4 14B | 14.7B | Q4_K_M | 9.10 GB |
Qsirch'te Yerinde hizmeti nasıl kurulur
- Git Ayarlar > yönetici ayarı > RAG Arama > Yerinde Hizmet.
- LLM Çekirdeği yüklenmemiş/etkinleştirilmemişse, tıklayın Şimdi etkinleştir App Center'e gitmek ve LLM Çekirdeğini yüklemek/etkinleştirmek için.
GPU kartı Container Station moduna ayarlanmadıysa, tıklayın Şimdi etkinleştir Kontrol Paneli'e gitmek ve GPU'yu Container Station moduna ayarlamak için.
