How to deploy Ollama on the QNAP NAS using Container Station

Jak wdrożyć Ollama na QNAP NAS używając Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Utwórz foldery Pamięć masowa.

   Otwórz File Station i utwórz następujący folder do przechowywania danych modelu Ollama:
   /share/Container/ollama

   Zrzut ekranu: File Station — tworzenie folderu Ollama w /share/Container/

   Najlepsze praktyki

   Jeśli Twój NAS ma pamięć podręczną NVMe SSD lub wolumin SSD, utwórz ten folder na SSD. Szybkość ładowania modelu poprawia się nawet 10-krotnie w porównaniu do HDD.
   
   

2. Utwórz plik Docker Compose.

   W Container Station, przejdź do Aplikacje > Utwórz. Nazwij aplikację ollama i wklej poniższy YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Zrzut ekranu: Container Station — ekran tworzenia aplikacji z edytorem YAML
   Zrzut ekranu: Container Station — ustawienie limitu pamięci

3. Wdróż kontener.

   Kliknij Utwórz. Container Station pobierze obraz Ollama i uruchomi kontener. Poczekaj, aż status pokaże Uruchomiony.

   Zrzut ekranu: Container Station — kontener ollama pokazujący status "Uruchomiony"

4. Pobierz swój pierwszy model.

   Otwórz Terminal kontenera (lub połącz się z NAS przez SSH i wykonaj Docker) i uruchom:

   # Dla lekkiego modelu 3B (zalecane do pierwszego testu):
   ollama pull llama3.2:3b
   
   # Dla standardowego modelu 9B (wymaga 16 GB+ RAM):
   ollama pull qwen3.5:9b

   Pobieranie może potrwać kilka minut w zależności od prędkości internetu. Model 9B Q4_K_M ma około 4–7 GB.

   Uwaga

   • Sprawdź, czy masz wystarczającą ilość miejsca na dysku przed pobraniem. Użyj ollama list, aby sprawdzić istniejące modele i ich rozmiary.
   • Dla modeli NAS opartych na ARM zalecamy rozpoczęcie od modelu <1B, aby monitorować użycie pamięci. 

5. Przetestuj model.

   W terminalu kontenera uruchom:

   ollama run qwen3.5:9b

   Wpisz polecenie i potwierdź, że otrzymujesz odpowiedź. Wpisz /bye, aby zakończyć.

1. Użyj konfiguracji Docker Compose z obsługą GPU.

   Zastąp YAML z Metody 1 następującym:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Zrzut ekranu: Container Station — YAML Compose z obsługą GPU Docker

   Notatka

   Sterowniki NVIDIA dostarczane przez QNAP mogą być starsze niż najnowsza wersja. Jeśli kontener nie uruchamia się z włączonym GPU, sprawdź wersję sterownika za pomocą nvidia-smi na hoście i upewnij się, że jest zgodna z wersją obrazu Ollama
   
   

2. Wdróż i zweryfikuj dostęp do GPU.

   Po uruchomieniu kontenera otwórz jego terminal i uruchom:

   nvidia-smi

   Powinieneś zobaczyć model swojego GPU, wersję sterownika i informacje o pamięci.
   

3. Pobierz model i potwierdź przyspieszenie GPU.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Podczas generowania odpowiedzi przez model, otwórz kolejny terminal i uruchom nvidia-smi. Powinieneś zaobserwować wzrost użycia pamięci GPU i wykorzystania GPU. 

Może to być spowodowane niewystarczającą ilością pamięci RAM lub niezgodnością sterownika GPU. Sprawdź logi kontenera w Container Station. Zmniejsz ograniczenia pamięci lub wyłącz tryb GPU.

Może to wynikać z niewystarczającej ilości miejsca na dysku lub przekroczenia czasu sieciowego. Spróbuj zwolnić miejsce w Pamięć masowa. Ponownie uruchom ollama pull; system wznowi działanie od miejsca, w którym się zatrzymał.

Model może działać na CPU zamiast na GPU lub model jest zbyt duży dla Twojej pamięci RAM. Zweryfikuj dostęp do GPU za pomocą nvidia-smi wewnątrz kontenera. Spróbuj użyć mniejszego modelu.

Może to być problem z "brakiem pamięci": model zużywa całą pamięć systemową. Zalecamy ponowne uruchomienie serwera NAS. Ustaw limit użycia pamięci w aplikacji. Lub użyj mniejszego modelu.

Może to być spowodowane błędnym adresem URL API lub izolacją sieci Docker. Możesz użyć http://ollama:11434, jeśli jesteś w tej samej sieci Docker.