How to deploy Ollama on the QNAP NAS using Container Station

Hur man distribuerar Ollama på QNAP NAS med hjälp av Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Skapa Lagring mappar.

   Öppna File Station och skapa följande mapp för att lagra Ollama-modelldata:
   /share/Container/ollama

   Skärmdump: File Station — skapar Ollama-mappen under /share/Container/

   Branschrekommendationer

   Om din NAS har en NVMe SSD-cache eller SSD-volym, skapa denna mapp på SSD:n. Modellens laddningshastighet förbättras med upp till 10 gånger jämfört med HDD.
   
   

2. Skapa en Docker Compose-fil.

   I Container Station, gå till Applications > Create. Namnge applikationen ollama och klistra in följande YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Skärmdump: Container Station — Skärm för applikationsskapande med YAML-redigerare
   Skärmdump: Container Station — Ställ in minnesgränsen

3. Distribuera containern.

   Klicka på Create. Container Station kommer att hämta Ollama-avbildningen och starta behållaren. Vänta tills statusen visar Running.

   Skärmdump: Container Station — ollama-behållare som visar "Running"-status

4. Dra din första modell.

   Öppna behållarens Terminal (eller SSH till din NAS och kör din Docker) och kör:

   # För en lätt 3B-modell (rekommenderas för första testet):
   ollama pull llama3.2:3b
   
   # För en standard 9B-modell (kräver 16 GB+ RAM):
   ollama pull qwen3.5:9b

   Nedladdningen kan ta flera minuter beroende på din internetanslutning. En 9B Q4_K_M-modell är ungefär 4–7 GB.

   Obs

   • Kontrollera att du har tillräckligt med diskutrymme innan du hämtar. Använd ollama list för att kontrollera befintliga modeller och deras storlekar.
   • För ARM-baserade NAS-modeller rekommenderar vi att börja med <1B-modellen för att övervaka minnesanvändningen. 

5. Testa modellen.

   Kör i behållarens terminal:

   ollama run qwen3.5:9b

   Skriv en prompt och bekräfta att du får ett svar. Skriv /bye för att avsluta.

1. Använd den GPU-aktiverade Docker Compose-konfigurationen.

   Byt ut YAML från metod 1 med följande:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Skärmdump: Container Station — GPU-aktiverad Docker Compose YAML

   Obs

   QNAP:s medföljande NVIDIA-drivrutiner kan vara äldre än den senaste versionen. Om containern inte startar med GPU aktiverad, kontrollera drivrutinsversionen med nvidia-smi på värden och säkerställ att den är kompatibel med Ollama-bildversionen
   
   

2. Distribuera och verifiera GPU-åtkomst.

   När containern startar, öppna dess terminal och kör:

   nvidia-smi

   Du bör se din GPU-modell, drivrutinsversion och minnesinformation.
   

3. Dra en modell och bekräfta GPU-acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Medan modellen genererar ett svar, öppna en annan terminal och kör nvidia-smi. Du bör observera att GPU-minnesanvändning och GPU-utnyttjande ökar. 

Detta kan orsakas av otillräckligt RAM eller felaktig GPU-drivrutin. Kontrollera containerloggar i Container Station. Minska minnesbegränsningar eller inaktivera GPU-läge.

Detta kan bero på otillräckligt diskutrymme eller nätverkstidsgräns. Försök att frigöra Lagring-utrymme. Kör om ollama pull; systemet återupptar där det slutade.

Modellen kan köras på CPU istället för GPU, eller modellen är för stor för ditt RAM. Verifiera din GPU-åtkomst med nvidia-smi inne i containern. Försök att använda en mindre modell.

Detta kan vara ett "out of memory"-problem: modellen förbrukar all systemminne. Vi rekommenderar att du startar om NAS-enheten. Ställ in en minnesanvändningsgräns i applikationen. Eller använd en mindre modell.

Detta kan orsakas av en felaktig API-URL eller Docker-nätverksisolering. Du kan använda http://ollama:11434 om du är på samma Docker-nätverk.