How to deploy Ollama on the QNAP NAS using Container Station

Hoe Ollama op de QNAP NAS te implementeren met behulp van Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Maak Opslag mappen aan.

   Open File Station en maak de volgende map aan om Ollama-modelgegevens op te slaan:
   /share/Container/ollama

   Schermafbeelding: File Station — het aanmaken van de Ollama-map onder /share/Container/

   Best Practice

   Als uw NAS een NVMe SSD-cache of SSD-volume heeft, maak deze map dan op de SSD. De laadsnelheid van het model verbetert tot 10 keer in vergelijking met HDD's.
   
   

2. Maak een Docker Compose-bestand.

   In Container Station, ga naar Applications > Create. Geef de applicatie een naam ollama en plak de volgende YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Schermafbeelding: Container Station — Applicatie-aanmaakscherm met YAML-editor
   Schermafbeelding: Container Station — Stel de geheugenlimiet in

3. Implementeer de container.

   Klik op Create. Container Station zal de Ollama-afbeelding ophalen en de container starten. Wacht tot de status Running aangeeft.

   Schermafbeelding: Container Station — ollama-container toont "Running" status

4. Trek uw eerste model binnen.

   Open de Terminal van de container (of SSH naar uw NAS en voer uw Docker uit) en voer uit:

   # Voor een lichtgewicht 3B model (aanbevolen voor eerste test):
   ollama pull llama3.2:3b
   
   # Voor een standaard 9B model (vereist 16 GB+ RAM):
   ollama pull qwen3.5:9b

   Het downloaden kan enkele minuten duren, afhankelijk van uw internetsnelheid. Een 9B Q4_K_M model is ongeveer 4–7 GB.

   Opmerking

   • Controleer of u voldoende schijfruimte heeft voordat u binnenhaalt. Gebruik ollama list om bestaande modellen en hun groottes te controleren.
   • Voor ARM-gebaseerde NAS-modellen raden we aan te beginnen met het <1B model om het geheugengebruik te monitoren. 

5. Test het model.

   Voer in de containerterminal uit:

   ollama run qwen3.5:9b

   Typ een prompt en bevestig dat u een reactie ontvangt. Typ /bye om af te sluiten.

1. Gebruik de GPU-ingeschakelde Docker Compose-configuratie.

   Vervang de YAML van Methode 1 door het volgende:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Schermafbeelding: Container Station — GPU-ingeschakelde Docker Compose YAML

   Opmerking

   De meegeleverde NVIDIA-drivers van QNAP kunnen ouder zijn dan de nieuwste release. Als de container niet start met GPU ingeschakeld, controleer dan de stuurprogramma-versie met nvidia-smi op de host en zorg ervoor dat deze compatibel is met de Ollama image-versie
   
   

2. Implementeer en verifieer GPU-toegang.

   Nadat de container is gestart, open de terminal en voer uit:

   nvidia-smi

   U zou uw GPU-model, stuurprogramma-versie en geheugeninformatie moeten zien.
   

3. Haal een model op en bevestig GPU-versnelling.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Terwijl het model een reactie genereert, open een andere terminal en voer nvidia-smi uit. U zou een toename van GPU-geheugengebruik en GPU-utilisatie moeten waarnemen. 

Dit kan worden veroorzaakt door onvoldoende RAM of een mismatch van de GPU-driver. Controleer containerlogs in Container Station. Verminder geheugenbeperkingen of schakel GPU-modus uit.

Dit kan het gevolg zijn van onvoldoende schijfruimte of een netwerk-timeout. Probeer Opslag ruimte vrij te maken. Voer ollama pull opnieuw uit; het systeem hervat vanaf waar het stopte.

Het model draait mogelijk op de CPU in plaats van de GPU, of het model is te groot voor uw RAM. Controleer uw GPU-toegang met nvidia-smi binnen de container. Probeer een kleiner model te gebruiken.

Dit kan een "out of memory" probleem zijn: het model verbruikt al het systeemgeheugen. We raden aan de NAS opnieuw op te starten. Stel een geheugenverbruiksbeperking in de applicatie in. Of gebruik een kleiner model.

Dit kan worden veroorzaakt door een verkeerde API-URL of Docker netwerkisolatie. U kunt http://ollama:11434 gebruiken als u op hetzelfde Docker netwerk bent.