How to deploy Ollama on the QNAP NAS using Container Station

Wie man Ollama auf dem QNAP NAS mit Container Station einsetzt

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Erstellen Sie Speicher Ordner.

   Öffnen Sie File Station und erstellen Sie den folgenden Ordner, um Ollama-Modell-Daten zu speichern:
   /share/Container/ollama

   Screenshot: File Station — Erstellen des Ollama-Ordners unter /share/Container/

   Best Practice

   Wenn Ihr NAS über einen NVMe SSD Cache oder ein SSD Volume verfügt, erstellen Sie diesen Ordner auf der SSD. Die Modell-Ladegeschwindigkeit verbessert sich um bis zu 10 Mal im Vergleich zu HDDs.
   
   

2. Erstellen Sie eine Docker Compose-Datei.

   Gehen Sie in Container Station zu Anwendungen > Erstellen. Benennen Sie die Anwendung ollama und fügen Sie das folgende YAML ein:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Bildschirm zur Anwendungserstellung mit YAML-Editor
   Screenshot: Container Station — Speichergrenze festlegen

3. Den Container bereitstellen.

   Klicken Sie auf Erstellen. Container Station wird das Ollama-Image herunterladen und den Container starten. Warten Sie, bis der Status Läuft anzeigt.

   Screenshot: Container Station — Ollama-Container zeigt "Läuft"-Status

4. Ziehen Sie Ihr erstes Modell.

   Öffnen Sie das Terminal des Containers (oder SSH in Ihr NAS und führen Sie Ihr Docker aus) und führen Sie aus:

   # Für ein leichtes 3B-Modell (empfohlen für den ersten Test):
   ollama pull llama3.2:3b
   
   # Für ein Standard-9B-Modell (erfordert 16 GB+ RAM):
   ollama pull qwen3.5:9b

   Der Download kann je nach Ihrer Internetgeschwindigkeit mehrere Minuten dauern. Ein 9B Q4_K_M-Modell ist ungefähr 4–7 GB groß.

   Hinweis

   • Überprüfen Sie, ob Sie genügend Festplattenspeicher haben, bevor Sie herunterladen. Verwenden Sie ollama list, um vorhandene Modelle und deren Größen zu überprüfen.
   • Für ARM-basierte NAS-Modelle empfehlen wir, mit dem <1B-Modell zu beginnen, um die Speichernutzung zu überwachen. 

5. Testen Sie das Modell.

   Führen Sie im Container-Terminal aus:

   ollama run qwen3.5:9b

   Geben Sie eine Eingabeaufforderung ein und bestätigen Sie, dass Sie eine Antwort erhalten. Geben Sie /bye ein, um zu beenden.

1. Verwenden Sie die GPU-fähige Docker Compose-Konfiguration.

   Ersetzen Sie das YAML aus Methode 1 durch Folgendes:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-fähige Docker Compose YAML

   Hinweis

   Die von QNAP mitgelieferten NVIDIA-Treiber können älter als die neueste Version sein. Wenn der Container mit aktivierter GPU nicht startet, überprüfen Sie die Treiberversion mit nvidia-smi auf dem Host und stellen Sie sicher, dass sie mit der Ollama-Image-Version kompatibel ist
   
   

2. Bereitstellen und GPU-Zugriff überprüfen.

   Nachdem der Container gestartet ist, öffnen Sie sein Terminal und führen Sie aus:

   nvidia-smi

   Sie sollten Ihr GPU-Modell, die Treiberversion und Speicherinformationen sehen.
   

3. Ziehen Sie ein Modell und bestätigen Sie die GPU-Beschleunigung.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Während das Modell eine Antwort generiert, öffnen Sie ein weiteres Terminal und führen Sie nvidia-smi aus. Sie sollten beobachten, dass die GPU-Speichernutzung und die GPU-Auslastung steigen. 

Dies kann durch unzureichenden RAM oder eine GPU-Treiberinkongruenz verursacht werden. Überprüfen Sie die Container-Logs in Container Station. Reduzieren Sie die Speicherbegrenzungen oder deaktivieren Sie den GPU-Modus.

Dies kann durch unzureichenden Festplattenspeicher oder Netzwerk-Timeout verursacht werden. Versuchen Sie, Speicher Speicherplatz freizugeben. Führen Sie ollama pull erneut aus; das System setzt dort fort, wo es gestoppt hat.

Das Modell läuft möglicherweise auf der CPU statt auf der GPU oder das Modell ist zu groß für Ihren RAM. Überprüfen Sie Ihren GPU-Zugriff mit nvidia-smi innerhalb des Containers. Versuchen Sie, ein kleineres Modell zu verwenden.

Dies kann ein "Out of Memory"-Problem sein: Das Modell verbraucht den gesamten Systemspeicher. Wir empfehlen, das NAS neu zu starten. Setzen Sie ein Speicherverbrauchslimit in der Anwendung. Oder verwenden Sie ein kleineres Modell.

Dies kann durch eine falsche API-URL oder Docker Netzwerkisolation verursacht werden. Sie können http://ollama:11434 verwenden, wenn Sie sich im selben Docker Netzwerk befinden.