How to deploy Ollama on the QNAP NAS using Container Station

Container Station kullanarak QNAP NAS üzerinde Ollama nasıl dağıtılır

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. Depolama klasörleri oluşturun.

   File Station açın ve Ollama model verilerini depolamak için aşağıdaki klasörü oluşturun:
   /share/Container/ollama

   Ekran görüntüsü: File Station — /share/Container/ altında Ollama klasörü oluşturma

   En İyi Uygulama

   NAS'ınızda bir NVMe SSD önbelleği veya SSD hacmi varsa, bu klasörü SSD'ye oluşturun. Model yükleme hızı HDD'lere göre 10 kata kadar artar.
   
   

2. Bir Docker Compose dosyası oluşturun.

   Container Station içinde, Uygulamalar > Oluştur 'a gidin. Uygulamayı adlandırın ollama ve aşağıdaki YAML'ı yapıştırın:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Ekran görüntüsü: Container Station — YAML düzenleyicisi ile Uygulama oluşturma ekranı
   Ekran görüntüsü: Container Station — Bellek sınırını ayarlayın

3. Kapsayıcıyı dağıtın.

   Oluştur seçeneğine tıklayın. Container Station, Ollama imajını çekecek ve kapsayıcıyı başlatacaktır. Durum Çalışıyor olarak görünene kadar bekleyin.

   Ekran görüntüsü: Container Station — ollama kapsayıcısı "Çalışıyor" durumunu gösteriyor

4. İlk modelinizi çekin.

   Kapsayıcının Terminal 'ini açın (veya NAS'ınıza SSH ile bağlanın ve Docker'inizi çalıştırın) ve şunu çalıştırın:

   # Hafif bir 3B model için (ilk test için önerilir):
   ollama pull llama3.2:3b
   
   # Standart bir 9B model için (16 GB+ RAM gerektirir):
   ollama pull qwen3.5:9b

   İndirme işlemi internet hızınıza bağlı olarak birkaç dakika sürebilir. 9B Q4_K_M modeli yaklaşık 4–7 GB'dir.

   Not

   • Çekmeden önce yeterli disk alanınız olduğundan emin olun. Mevcut modelleri ve boyutlarını kontrol etmek için ollama list kullanın.
   • ARM tabanlı NAS modelleri için, bellek kullanımını izlemek amacıyla <1B model ile başlamanızı öneririz. 

5. Modeli test edin.

   Kapsayıcı terminalinde şunu çalıştırın:

   ollama run qwen3.5:9b

   Bir istem yazın ve yanıt aldığınızı doğrulayın. Çıkmak için /bye yazın.

1. GPU etkin Docker Compose yapılandırmasını kullanın.

   Yöntem 1'deki YAML'ı aşağıdaki ile değiştirin:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Ekran görüntüsü: Container Station — GPU etkin Docker Compose YAML

   Not

   QNAP'ın paketlenmiş NVIDIA sürücüleri en son sürümden daha eski olabilir. GPU etkinleştirilmiş olarak konteyner başlatılamazsa, sürücü sürümünü ana bilgisayarda nvidia-smi ile kontrol edin ve Ollama görüntü sürümüyle uyumlu olduğundan emin olun
   
   

2. GPU erişimini dağıtın ve doğrulayın.

   Konteyner başladıktan sonra, terminalini açın ve çalıştırın:

   nvidia-smi

   GPU modelinizi, sürücü sürümünüzü ve bellek bilgilerinizi görmelisiniz.
   

3. Bir model çekin ve GPU hızlandırmasını doğrulayın.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   Model bir yanıt oluştururken, başka bir terminal açın ve nvidia-smi çalıştırın. GPU bellek kullanımı ve GPU kullanımının arttığını gözlemlemelisiniz. 

Bu, yetersiz RAM veya GPU sürücü uyumsuzluğundan kaynaklanabilir. Container Station içindeki kapsayıcı günlüklerini kontrol edin. Bellek sınırlamalarını azaltın veya GPU modunu devre dışı bırakın.

Bu, yetersiz disk alanı veya ağ zaman aşımından kaynaklanabilir. Depolama alanını boşaltmayı deneyin. ollama pull'yi yeniden çalıştırın; sistem durduğu yerden devam eder.

Model CPU üzerinde çalışıyor olabilir veya model RAM'iniz için çok büyük olabilir. Kapsayıcı içinde nvidia-smi ile GPU erişiminizi doğrulayın. Daha küçük bir model kullanmayı deneyin.

Bu bir "bellek yetersizliği" sorunu olabilir: model tüm sistem belleğini tüketiyor. NAS'ı yeniden başlatmanızı öneririz. Uygulamada bir bellek kullanım sınırı belirleyin. Veya daha küçük bir model kullanın.

Bu, yanlış bir API URL'si veya Docker ağ izolasyonundan kaynaklanabilir. Aynı Docker ağındaysanız http://ollama:11434 kullanabilirsiniz.