How to deploy Ollama on the QNAP NAS using Container Station

Come distribuire Ollama sul NAS QNAP utilizzando Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Crea cartelle Archiviazione.

   Apri File Station e crea la seguente cartella per memorizzare i dati del modello Ollama:
   /share/Container/ollama

   Schermata: File Station — creazione della cartella Ollama sotto /share/Container/

   Migliori Prassi

   Se il tuo NAS ha una cache SSD NVMe o un volume SSD, crea questa cartella sull'SSD. La velocità di caricamento del modello migliora fino a 10 volte rispetto agli HDD.
   
   

2. Crea un file Docker Compose.

   In Container Station, vai a Applicazioni > Crea. Assegna un nome all'applicazione ollama e incolla il seguente YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Schermata: Container Station — Schermata di creazione dell'applicazione con editor YAML
   Schermata: Container Station — Imposta il limite di memoria

3. Distribuisci il container.

   Fare clic su Crea. Container Station scaricherà l'immagine Ollama e avvierà il container. Attendere fino a quando lo stato mostra In esecuzione.

   Screenshot: Container Station — container ollama che mostra lo stato "In esecuzione"

4. Scarica il tuo primo modello.

   Apri il Terminale del container (o accedi tramite SSH al tuo NAS ed esegui il tuo Docker) e esegui:

   # Per un modello leggero 3B (consigliato per il primo test):
   ollama pull llama3.2:3b
   
   # Per un modello standard 9B (richiede 16 GB+ di RAM):
   ollama pull qwen3.5:9b

   Il download potrebbe richiedere diversi minuti a seconda della velocità di internet. Un modello 9B Q4_K_M è di circa 4–7 GB.

   Nota

   • Verifica di avere spazio su disco sufficiente prima di scaricare. Usa ollama list per controllare i modelli esistenti e le loro dimensioni.
   • Per i modelli NAS basati su ARM, consigliamo di iniziare con il modello <1B per monitorare l'uso della memoria. 

5. Testa il modello.

   Nel terminale del container, esegui:

   ollama run qwen3.5:9b

   Digita un prompt e conferma di ricevere una risposta. Digita /bye per uscire.

1. Utilizzare la configurazione Docker Compose abilitata per GPU.

   Sostituire il YAML del Metodo 1 con il seguente:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — YAML Docker Compose abilitato per GPU

   Nota

   I driver NVIDIA inclusi di QNAP potrebbero essere più vecchi dell'ultima versione rilasciata. Se il container non si avvia con la GPU abilitata, controllare la versione del driver con nvidia-smi sull'host e assicurarsi che sia compatibile con la versione dell'immagine Ollama
   
   

2. Distribuire e verificare l'accesso alla GPU.

   Dopo l'avvio del container, aprire il suo terminale ed eseguire:

   nvidia-smi

   Dovresti vedere il modello della tua GPU, la versione del driver e le informazioni sulla memoria.
   

3. Scaricare un modello e confermare l'accelerazione GPU.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Mentre il modello sta generando una risposta, aprire un altro terminale ed eseguire nvidia-smi. Dovresti osservare un aumento dell'uso della memoria GPU e dell'utilizzo della GPU. 

Questo può essere causato da RAM insufficiente o incompatibilità del driver GPU. Controlla i log del container in Container Station. Riduci le limitazioni di memoria o disabilita la modalità GPU.

Questo può essere dovuto a spazio su disco insufficiente o timeout di rete. Prova a liberare spazio Archiviazione. Esegui nuovamente ollama pull; il sistema riprende da dove si era fermato.

Il modello potrebbe essere in esecuzione su CPU invece che su GPU, o il modello è troppo grande per la tua RAM. Verifica l'accesso alla GPU con nvidia-smi all'interno del container. Prova a utilizzare un modello più piccolo.

Questo può essere un problema di "memoria esaurita": il modello sta consumando tutta la memoria di sistema. Si consiglia di riavviare il NAS. Imposta un limite di utilizzo della memoria nell'applicazione. Oppure usa un modello più piccolo.

Questo può essere causato da un URL API errato o dall'isolamento di rete Docker. Puoi usare http://ollama:11434 se sei sulla stessa rete Docker.