Dieser Inhalt ist maschinell übersetzt. Bitte beachten Sie den Haftungsausschluss für maschinelle Übersetzung.

How to use large language models for Qsirch RAG search?

Wie verwendet man Large Language Models für die Qsirch RAG-Suche?

Zuletzt geändertes Datum 2025-09-24

Applicable Products

Qsirch 6.0.0 (or later) on all platforms

Qsirch RAG Search with Cloud and On-Premise LLMs

Qsirch supports using Retrieval-Augmented Generation (RAG) with cloud-based large language models (LLMs) to deliver accurate and context-aware responses. When you enter a query, Qsirch retrieves relevant documents from your NAS and uses them as context for the language model. This combination of search and generative AI enables Qsirch to generate precise and informed answers based on your own data.

Qsirch also supports multi-turn conversation, enabling natural and context-aware interactions. Users can ask follow-up questions without repeating prior context, and context is preserved across turns for coherent answers. Multi-turn conversation support works with both cloud and on-premise RAG modes.

Integrate RAG with Cloud-based AI Services

To integrate RAG search, you must first obtain an API key from an AI service of your choice.

ChatGPT (OpenAI API)

ChatGPT (OpenAI API) provides powerful GPT models for both RAG embeddings and generative responses. Follow the steps below to apply for an API key:

Sign up for an account on OpenAI: https://auth.openai.com/create-account
Create an API key in the account settings.

For more information, see OpenAI API Documentation.

Azure OpenAI

Azure OpenAI provides access to OpenAI models (like GPT-4.1) via Azure infrastructure, which is ideal for enterprise solutions. Follow the steps below to apply for an API key:

Sign in to the Azure Portal.
Select your OpenAI resource (or create one if you do not already have one).
On the left menu, click Keys and Endpoint.
Copy an API key and copy the endpoint (base URL) for API requests.

For more information, see Azure OpenAI Documentation.

Gemini (Google Cloud AI)

Gemini (Google Cloud AI) provides a set of models designed for high-performance reasoning and RAG. Follow the steps below to apply for an API key:

Visit the Google Gemini API Documentation.
Get a Gemini API key in Google AI Studio.
Sign in to your Google account.
Click Create API key.

For more information, see Google Cloud AI Documentation.

OpenAI-Compatible API

OpenAI Compatible API allows users to access various AI models beyond OpenAI’s own offerings, including models like DeepSeek and Grok, using the same API format. This enables seamless integration with existing applications built for OpenAI API. Follow the steps below to apply for an API key:

Choose a provider that supports OpenAI-compatible API (for example, DeepSeek or Grok).
Sign up on the provider's platform.
Generate an API key in the account settings.
Update your API endpoint and model settings as required.

For more information, refer to the provider's official API documentation.

On-Premise RAG Search

For advanced users and enterprises who require full data privacy or offline AI capabilities, Qsirch offers on-premise RAG search powered by locally hosted LLMs. This mode runs entirely on your NAS or connected hardware, without sending data to external services.

Note

This feature is only available on specific NAS models. For details, see the introduction to RAG search on the QNAP website.

To enable on-premise RAG:

Ensure that the LLM Core is ready.
Set the GPU to Container Station mode (Go to Control Panel > Hardware > Hardware Resources > Resource Use > Container Station mode).

How to Use RAG Search in Qsirch

Go to Settings > Administrative setting > RAG Search.
Add one or more cloud services to use RAG search.
(Optional) Verify your API key. This helps check whether an API key is valid.
Download one or more edge models from the on-premise services. This feature can only be used on the specific NAS models.
Add more AI models that are compatible with OpenAI API, including the GPT series, DeepSeek models, and Grok models.
Choose file formats for your RAG search.
Go to Qsirch home page and click the RAG search button.
Qsirch RAG search will only use the files included in "Source" for data retrieval.
Check the model you want to use and then start using RAG search.

Anwendbare Produkte

Qsirch 6.0.0 (oder später) auf allen Plattformen

Qsirch RAG-Suche mit Cloudund lokalen LLMs

Qsirch unterstützt die Verwendung von Retrieval-Augmented Generation (RAG) mit cloudbasierten Large Language Models (LLMs), um genaue und kontextbewusste Antworten zu liefern. Wenn Sie eine Anfrage eingeben, ruft Qsirch relevante Dokumente von Ihrem NAS ab und verwendet sie als Kontext für das Sprachmodell. Diese Kombination aus Suche und generativer KI ermöglicht es Qsirch, präzise und fundierte Antworten basierend auf Ihren eigenen Daten zu generieren.

Qsirch unterstützt auch mehrstufige Gespräche, die natürliche und kontextbewusste Interaktionen ermöglichen. Benutzer können Anschlussfragen stellen, ohne den vorherigen Kontext zu wiederholen, und der Kontext wird über die Gesprächsrunden hinweg für kohärente Antworten beibehalten. Die Unterstützung für mehrstufige Gespräche funktioniert sowohl mit Cloud- als auch mit lokalen RAG-Modi.

Integration von RAG mit Cloud-basierten KI-Diensten

Um die RAG-Suche zu integrieren, müssen Sie zunächst einen API-Schlüssel von einem KI-Dienst Ihrer Wahl erhalten.

ChatGPT (OpenAI API)

ChatGPT (OpenAI API) bietet leistungsstarke GPT-Modelle sowohl für RAG-Einbettungen als auch für generative Antworten. Befolgen Sie die folgenden Schritte, um einen API-Schlüssel zu beantragen:

Melden Sie sich für ein Konto bei OpenAI an: https://auth.openai.com/create-account
Erstellen Sie einen API-Schlüssel in den Kontoeinstellungen.

Weitere Informationen finden Sie unter OpenAI API-Dokumentation.

Azure OpenAI

Azure OpenAI bietet Zugriff auf OpenAI-Modelle (wie GPT-4.1) über die Azure-Infrastruktur, die ideal für Unternehmenslösungen ist. Befolgen Sie die folgenden Schritte, um einen API-Schlüssel zu beantragen:

Melden Sie sich beim Azure Portal an.
Wählen Sie Ihre OpenAI-Ressource aus (oder erstellen Sie eine, wenn Sie noch keine haben).
Klicken Sie im linken Menü auf Schlüssel und Endpunkt.
Kopieren Sie einen API-Schlüssel und kopieren Sie den Endpunkt (Basis-URL) für API-Anfragen.

Weitere Informationen finden Sie unter Azure OpenAI-Dokumentation.

Gemini (Google Cloud AI)

Gemini (Google Cloud AI) bietet eine Reihe von Modellen, die für leistungsstarkes Denken und RAG entwickelt wurden. Befolgen Sie die folgenden Schritte, um einen API-Schlüssel zu beantragen:

Besuchen Sie den Google Gemini API-Dokumentation.
Erhalten Sie einen Gemini API-Schlüssel im Google AI Studio.
Melden Sie sich bei Ihrem Google-Konto an.
Klicken Sie auf API-Schlüssel erstellen.

Weitere Informationen finden Sie unter Google Cloud AI-Dokumentation.

OpenAI-kompatible API

Die OpenAI-kompatible API ermöglicht es Benutzern, auf verschiedene KI-Modelle jenseits der eigenen Angebote von OpenAI zuzugreifen, einschließlich Modelle wie DeepSeek und Grok, unter Verwendung desselben API-Formats. Dies ermöglicht eine nahtlose Integration mit bestehenden Anwendungen, die für die OpenAI API entwickelt wurden. Folgen Sie den untenstehenden Schritten, um einen API-Schlüssel zu beantragen:

Wählen Sie einen Anbieter, der die OpenAI-kompatible API unterstützt (zum Beispiel DeepSeek oder Grok).
Melden Sie sich auf der Plattform des Anbieters an.
Generieren Sie einen API-Schlüssel in den Kontoeinstellungen.
Aktualisieren Sie Ihren API-Endpunkt und die Modelleinstellungen nach Bedarf.

Für weitere Informationen, siehe die offizielle API-Dokumentation des Anbieters.

On-Premise RAG-Suche

Für fortgeschrittene Benutzer und Unternehmen, die vollständige Datenprivatsphäre oder Offline-KI-Fähigkeiten benötigen, bietet Qsirch eine On-Premise RAG-Suche, die von lokal gehosteten LLMs betrieben wird. Dieser Modus läuft vollständig auf Ihrem NAS oder angeschlossener Hardware, ohne Daten an externe Dienste zu senden.

Hinweis

Diese Funktion ist nur auf bestimmten NAS-Modellen verfügbar. Einzelheiten finden Sie im Einführung in die RAG-Suche auf der QNAP-Website.

Um die On-Premise RAG zu aktivieren:

Stellen Sie sicher, dass der LLM-Core bereit ist.
Setzen Sie die GPU auf Container Station-Modus (Gehen Sie zu Systemsteuerung > Hardware > Hardware-Ressourcen > Ressourcenverbrauch > Container Station-Modus ).

Wie man die RAG-Suche in Qsirch verwendet

Gehen Sie zu Einstellungen > Verwaltungseinstellungen > RAG-Suche.
Fügen Sie einen oder mehrere Cloud-Dienste hinzu, um die RAG-Suche zu verwenden.
(Optional) Überprüfen Sie Ihren API-Schlüssel. Dies hilft, zu überprüfen, ob ein API-Schlüssel gültig ist.
Laden Sie ein oder mehrere Edge-Modelle von den On-Premise-Diensten herunter. Diese Funktion kann nur auf den spezifischen NAS-Modellen verwendet werden.
Fügen Sie weitere KI-Modelle hinzu, die mit der OpenAI API kompatibel sind, einschließlich der GPT-Serie, DeepSeek-Modelle und Grok-Modelle.
Wählen Sie Dateiformate für Ihre RAG-Suche.
Gehen Sie zur Qsirch-Startseite und klicken Sie auf die RAG-Suchschaltfläche.
Die Qsirch RAG-Suche wird nur die Dateien verwenden, die in "Quelle" für die Datenabfrage enthalten sind.
Überprüfen Sie das Modell, das Sie verwenden möchten, und beginnen Sie dann mit der Verwendung der RAG-Suche.

War dieser Artikel hilfreich?

Ja. Nein.

88% der Nutzer fanden es hilfreich.

Für weitere Unterstützung fragen Sie andere Anwender und QNAP-Experten in der Community. Zur QNAP Community

Bitte teilen Sie uns mit, wie dieser Artikel verbessert werden kann:

Dem Artikel fehlen wichtige Informationen
Die Lösungen des Artikels funktionieren nicht
Der Artikel ist zu kompliziert
Der Artikel enthält falsche Informationen
Der Artikel ist veraltet

Wenn Sie zusätzliches Feedback geben möchten, fügen Sie es bitte unten ein.