How to deploy Ollama on the QNAP NAS using Container Station

Cómo implementar Ollama en el NAS de QNAP usando Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Crear carpetas Almacenamiento.

   Abra File Station y cree la siguiente carpeta para almacenar datos del modelo Ollama:
   /share/Container/ollama

   Captura de pantalla: File Station — creando la carpeta Ollama en /share/Container/

   Práctica recomendada

   Si su NAS tiene un caché SSD NVMe o un volumen SSD, cree esta carpeta en el SSD. La velocidad de carga del modelo mejora hasta 10 veces en comparación con los HDD.
   
   

2. Crear un archivo Docker Compose.

   En Container Station, vaya a Aplicaciones > Crear. Nombre la aplicación ollama y pegue el siguiente YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Captura de pantalla: Container Station — pantalla de creación de aplicaciones con editor YAML
   Captura de pantalla: Container Station — Establecer el límite de memoria

3. Implemente el contenedor.

   Haga clic en Crear. Container Station descargará la imagen de Ollama y comenzará el contenedor. Espere hasta que el estado muestre Ejecutando.

   Captura de pantalla: Container Station — contenedor de ollama mostrando estado "Ejecutando"

4. Descargue su primer modelo.

   Abra el Terminal del contenedor (o acceda por SSH a su NAS y ejecute su Docker) y ejecute:

   # Para un modelo ligero de 3B (recomendado para la primera prueba):
   ollama pull llama3.2:3b
   
   # Para un modelo estándar de 9B (requiere 16 GB+ de RAM):
   ollama pull qwen3.5:9b

   La descarga puede tardar varios minutos dependiendo de la velocidad de su internet. Un modelo 9B Q4_K_M es aproximadamente de 4–7 GB.

   Nota

   • Verifique que tenga suficiente espacio en disco antes de descargar. Use ollama list para comprobar los modelos existentes y sus tamaños.
   • Para modelos NAS basados en ARM, recomendamos comenzar con el modelo <1B para monitorear el uso de memoria. 

5. Pruebe el modelo.

   En el terminal del contenedor, ejecute:

   ollama run qwen3.5:9b

   Escriba un mensaje y confirme que recibe una respuesta. Escriba /bye para salir.

1. Utilice la configuración de Docker Compose habilitada para GPU.

   Reemplace el YAML del Método 1 con lo siguiente:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Captura de pantalla: Container Station — YAML de Docker Compose habilitado para GPU

   Nota

   Los controladores NVIDIA incluidos de QNAP pueden ser más antiguos que la última versión. Si el contenedor no se inicia con la GPU habilitada, verifique la versión del controlador con nvidia-smi en el host y asegúrese de que sea compatible con la versión de imagen de Ollama
   
   

2. Despliegue y verifique el acceso a la GPU.

   Después de que el contenedor se inicie, abra su terminal y ejecute:

   nvidia-smi

   Debería ver su modelo de GPU, versión del controlador e información de memoria.
   

3. Descargue un modelo y confirme la aceleración de GPU.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Mientras el modelo genera una respuesta, abra otro terminal y ejecute nvidia-smi. Debería observar un aumento en el uso de memoria de la GPU y la utilización de la GPU. 

Esto puede ser causado por insuficiente RAM o incompatibilidad del controlador de GPU. Revisa los registros del contenedor en Container Station. Reduce las limitaciones de memoria o desactiva el modo GPU.

Esto puede ser resultado de espacio insuficiente en disco o tiempo de espera de red. Intenta liberar espacio en Almacenamiento. Vuelve a ejecutar ollama pull; el sistema se reanuda desde donde se detuvo.

El modelo puede estar ejecutándose en CPU en lugar de GPU, o el modelo es demasiado grande para tu RAM. Verifica el acceso a tu GPU con nvidia-smi dentro del contenedor. Intenta usar un modelo más pequeño.

Esto puede ser un problema de "falta de memoria": el modelo está consumiendo toda la memoria del sistema. Recomendamos reiniciar el NAS. Establece un límite de uso de memoria en la aplicación. O utiliza un modelo más pequeño.

Esto puede ser causado por una URL de API incorrecta o aislamiento de red de Docker. Puedes usar http://ollama:11434 si estás en la misma red de Docker.