How to deploy Ollama on the QNAP NAS using Container Station

Comment déployer Ollama sur le NAS QNAP en utilisant Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Créez des dossiers Stockage.

   Ouvrez File Station et créez le dossier suivant pour stocker les données du modèle Ollama :
   /share/Container/ollama

   Capture d'écran : File Station — création du dossier Ollama sous /share/Container/

   Meilleure pratique

   Si votre NAS dispose d'un cache SSD NVMe ou d'un volume SSD, créez ce dossier sur le SSD. La vitesse de chargement du modèle s'améliore jusqu'à 10 fois par rapport aux disques durs.
   
   

2. Créez un fichier Compose Docker.

   Dans Container Station, allez à Applications > Créer. Nommez l'application ollama et collez le YAML suivant :

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Capture d'écran : Container Station — écran de création d'application avec éditeur YAML
   Capture d'écran : Container Station — Définir la limite de mémoire

3. Déployez le conteneur.

   Cliquez sur Créer. Container Station va récupérer l'image Ollama et démarrer le conteneur. Attendez que le statut affiche En cours d'exécution.

   Capture d'écran : Container Station — conteneur ollama affichant le statut "En cours d'exécution"

4. Tirez votre premier modèle.

   Ouvrez le Terminal du conteneur (ou connectez-vous en SSH à votre NAS et exécutez votre Docker) et lancez :

   # Pour un modèle 3B léger (recommandé pour le premier test) :
   ollama pull llama3.2:3b
   
   # Pour un modèle 9B standard (nécessite 16 Go+ de RAM) :
   ollama pull qwen3.5:9b

   Le téléchargement peut prendre plusieurs minutes selon la vitesse de votre connexion Internet. Un modèle 9B Q4_K_M est d'environ 4 à 7 Go.

   Note

   • Vérifiez que vous avez suffisamment d'espace disque avant de tirer. Utilisez ollama list pour vérifier les modèles existants et leurs tailles.
   • Pour les modèles NAS basés sur ARM, nous recommandons de commencer avec le modèle <1B pour surveiller l'utilisation de la mémoire. 

5. Testez le modèle.

   Dans le terminal du conteneur, exécutez :

   ollama run qwen3.5:9b

   Tapez une invite et confirmez que vous recevez une réponse. Tapez /bye pour quitter.

1. Utilisez la configuration Docker Compose activée pour GPU.

   Remplacez le YAML de la méthode 1 par ce qui suit :

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Capture d'écran : Container Station — YAML Compose activé pour GPU Docker

   Note

   Les pilotes NVIDIA fournis par QNAP peuvent être plus anciens que la dernière version. Si le conteneur ne démarre pas avec le GPU activé, vérifiez la version du pilote avec nvidia-smi sur l'hôte et assurez-vous qu'elle est compatible avec la version de l'image Ollama
   
   

2. Déployez et vérifiez l'accès au GPU.

   Après le démarrage du conteneur, ouvrez son terminal et exécutez :

   nvidia-smi

   Vous devriez voir votre modèle de GPU, la version du pilote et les informations de mémoire.
   

3. Tirez un modèle et confirmez l'accélération GPU.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Pendant que le modèle génère une réponse, ouvrez un autre terminal et exécutez nvidia-smi. Vous devriez observer une augmentation de l'utilisation de la mémoire GPU et de l'utilisation du GPU. 

Cela peut être causé par une RAM insuffisante ou une incompatibilité du pilote GPU. Vérifiez les journaux du conteneur dans Container Station. Réduisez les limitations de mémoire ou désactivez le mode GPU.

Cela peut être dû à un espace disque insuffisant ou à un délai d'attente réseau. Essayez de libérer de l'espace Stockage. Relancez ollama pull; le système reprend là où il s'est arrêté.

Le modèle peut fonctionner sur le CPU au lieu du GPU, ou le modèle est trop grand pour votre RAM. Vérifiez l'accès à votre GPU avec nvidia-smi à l'intérieur du conteneur. Essayez d'utiliser un modèle plus petit.

Cela peut être un problème de "mémoire insuffisante" : le modèle consomme toute la mémoire système. Nous recommandons de redémarrer le NAS. Définissez une limite d'utilisation de la mémoire dans l'application. Ou utilisez un modèle plus petit.

Cela peut être causé par une mauvaise URL d'API ou une isolation réseau Docker. Vous pouvez utiliser http://ollama:11434 si vous êtes sur le même réseau Docker.