Tento obsah je přeložen strojově. Informace najdete na stránce Odmítnutí odpovědnosti za strojový překlad.

How to deploy Ollama on the QNAP NAS using Container Station

Jak nasadit Ollama na QNAP NAS pomocí Container Station

Datum poslední úpravy: 2026-05-08

Applicable Products

QTS, QuTS hero

Container Station

Scenario

You want to run large language models (LLMs) locally on your QNAP NAS for private AI chat, code assistance, or document analysis without sending data to the cloud. Ollama is the most popular and beginner-friendly inference engine for this purpose. This tutorial explains how to deploy Ollama on the QNAP NAS using Container Station.

System Requirements

Requirement	Detail
QNAP App	Container Station 3.x or later
NAS Architecture	x86_64 (Intel or AMD CPU) (Only a few ARM-based models are supported.)
Memory	At least 8 GB (for 3B models) At least 16 GB (for 7B models)
Storage Space	At least 20 GB of extra free storage space in addition to the model file size. Use an SSD volume if possible.
GPU (Optional)	Compatible NVIDIA GPUs (see the compatibility list) GPU should be set to Container Station Mode in the Control Panel.

Warning

OOM (Out of Memory) Risk
Ollama will attempt to load the entire model into memory by default. If your NAS has only 8–16 GB of RAM, loading a 14B or larger model may exhaust system memory, causing NAS services to become unresponsive or the system to restart.

Data Loss Risk
If you do not mount a persistent volume for /root/.ollama, all downloaded models and configuration will be lost when the container is removed or recreated. Always follow the volume mounting instructions in this tutorial.

Best Practice

Check the model size against your available RAM in advance.
Set memory limits to cap container memory usage.
Start with small models (1B or 3B) and assess system stability before attempting larger models.

Procedure

Method 1: CPU-Only Deployment (No GPU Required)

Create storage folders.
Open File Station and create the following folder to store Ollama model data:
/share/Container/ollama
Screenshot: File Station — creating the Ollama folder under /share/Container/
Best Practice
If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.

Create a Docker Compose file.

In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Screenshot: Container Station — Application creation screen with YAML editor
Screenshot: Container Station — Set the memory limit

Deploy the container.
Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.
Screenshot: Container Station — ollama container showing "Running" status
Pull your first model.
Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:
```
# For a lightweight 3B model (recommended for first test):
ollama pull llama3.2:3b

# For a standard 9B model (requires 16 GB+ RAM):
ollama pull qwen3.5:9b
```
The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.
Note
- Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
- For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage.
Test the model.
In the container terminal, run:
```
ollama run qwen3.5:9b
```
Type a prompt and confirm that you receive a response. Type /bye to exit.

Method 2: NVIDIA GPU-Accelerated Deployment

Note

Additional prerequisites for GPU Mode:

NVIDIA GPU installed and detected by QTS/QuTS hero
GPU set to Container Station Mode in the Control Panel
NVIDIA GPU Driver and NvKernelDriver installed from App Center

Use the GPU-enabled Docker Compose configuration.

Replace the YAML from Method 1 with the following:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Screenshot: Container Station — GPU-enabled Docker Compose YAML

Note

QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version

Deploy and verify GPU access.
After the container starts, open its terminal and run:
```
nvidia-smi
```
You should see your GPU model, driver version, and memory information.
Pull a model and confirm GPU acceleration.
```
ollama pull qwen3.5:9b
ollama run qwen3.5:9b
```
While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing.

Result

After completing this tutorial, you will have:

Ollama running on your QNAP NAS at http://<NAS-IP>:11434
Model data persisted in /share/Container/ollama (survives container rebuilds)
A working LLM accessible via the Ollama API

You can test the API from any device on your local network:

curl http://<NAS-IP>:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "Hello, how are you?",
  "stream": false
}'

Important

The OLLAMA_HOST=0.0.0.0 setting exposes the Ollama API on all network interfaces. Do not expose port 11434 to the internet. Use firewall rules or QNAP's network settings to restrict access to your local network only.

Troubleshooting

Container exits immediately after starting

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

Model pull fails midway

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

Response speed is very slow (1–3 tokens per second)

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

The NAS becomes unresponsive during inference

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

"Cannot connect to Ollama" message from Open WebUI

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

Použitelné produkty

QTS, QuTS hero

Container Station

Scénář

Chcete provozovat velké jazykové modely (LLM) lokálně na vašem QNAP NAS pro soukromý AI chat, asistenci při kódování nebo analýzu dokumentů bez odesílání dat do cloudu. Ollama je nejpopulárnější a uživatelsky nejpřívětivější inferenční engine pro tento účel. Tento návod vysvětluje, jak nasadit Ollama na QNAP NAS pomocí Container Station.

Požadavky na systém

Požadavek	Detail
QNAP App	Container Station 3.x nebo novější
Architektura NAS	x86_64 (Intel nebo AMD CPU) (Podporováno je pouze několik modelů založených na ARM.)
Paměť	Alespoň 8 GB (pro modely 3B) Alespoň 16 GB (pro modely 7B)
Úložiště Prostor	Alespoň 20 GB volného Úložiště prostoru navíc k velikosti souboru modelu. Pokud je to možné, použijte SSD svazek.
GPU (Volitelné)	Kompatibilní NVIDIA GPU (viz Seznam kompatibilních zařízení) GPU by mělo být nastaveno na Container Station Režim v Ovládací panely.

Varování

Riziko OOM (Out of Memory)
Ollama se pokusí načíst celý model do paměti ve výchozím nastavení. Pokud má váš NAS pouze 8–16 GB RAM, načtení modelu 14B nebo většího může vyčerpat systémovou paměť, což způsobí, že služby NAS přestanou reagovat nebo se systém restartuje.

Riziko ztráty dat
Pokud nenamontujete trvalý svazek pro /root/.ollama, všechny stažené modely a konfigurace budou ztraceny, když bude kontejner odstraněn nebo znovu vytvořen. Vždy dodržujte pokyny pro montáž svazku v tomto návodu.

Osvědčené postupy

Předem zkontrolujte velikost modelu vůči dostupné RAM.
Nastavte limity paměti pro omezení využití paměti kontejneru.
Začněte s malými modely (1B nebo 3B) a posuďte stabilitu systému před pokusem o větší modely.

Postup

Metoda 1: Nasazení pouze s CPU (není vyžadováno GPU)

Vytvořte složky Úložiště.
Otevřete File Station a vytvořte následující složku pro uložení dat modelu Ollama:
/share/Container/ollama
Snímek obrazovky: File Station — vytváření složky Ollama v /share/Container/
Osvědčené postupy
Pokud má váš NAS NVMe SSD cache nebo SSD svazek, vytvořte tuto složku na SSD. Rychlost načítání modelu se zlepší až 10krát ve srovnání s HDD.

Vytvořte soubor Docker Compose.

V Container Station přejděte na Aplikace > Vytvořit. Pojmenujte aplikaci ollama a vložte následující YAML:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Snímek obrazovky: Container Station — obrazovka pro vytvoření aplikace s editorem YAML
Snímek obrazovky: Container Station — Nastavení limitu paměti

Nasaďte kontejner.
Klikněte na Vytvořit. Container Station stáhne obraz Ollama a spustí kontejner. Počkejte, dokud se stav nezobrazí jako Běží.
Snímek obrazovky: Container Station — kontejner ollama ukazuje stav "Běží"
Stáhněte si svůj první model.
Otevřete Terminál kontejneru (nebo se připojte přes SSH k vašemu NAS a spusťte Docker) a zadejte:
```
# Pro lehký model 3B (doporučeno pro první test):
ollama pull llama3.2:3b

# Pro standardní model 9B (vyžaduje 16 GB+ RAM):
ollama pull qwen3.5:9b
```
Stahování může trvat několik minut v závislosti na rychlosti vašeho internetu. Model 9B Q4_K_M má přibližně 4–7 GB.
Poznámka
- Ověřte, že máte dostatek místa na disku před stažením. Použijte ollama list k ověření existujících modelů a jejich velikostí.
- Pro modely NAS založené na ARM doporučujeme začít s modelem <1B pro sledování využití paměti.
Otestujte model.
V terminálu kontejneru spusťte:
```
ollama run qwen3.5:9b
```
Zadejte výzvu a potvrďte, že obdržíte odpověď. Zadejte /bye pro ukončení.

Metoda 2: Nasazení s akcelerací pomocí NVIDIA GPU

Poznámka

Další předpoklady pro režim GPU:

NVIDIA GPU nainstalována a detekována systémem QTS/QuTS hero
GPU nastavena na režim Container Station v Ovládací panely
Ovladač NVIDIA GPU a NvKernelDriver nainstalovány z App Center

Použijte konfiguraci Docker Compose s podporou GPU.

Nahraďte YAML z Metody 1 následujícím:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Snímek obrazovky: Container Station — YAML pro Docker Compose s podporou GPU

Poznámka

Ovladače NVIDIA dodávané s QNAP mohou být starší než nejnovější verze. Pokud se kontejner nespustí s povoleným GPU, zkontrolujte verzi ovladače pomocí nvidia-smi na hostiteli a ujistěte se, že je kompatibilní s verzí obrazu Ollama

Nasadit a ověřit přístup k GPU.
Po spuštění kontejneru otevřete jeho terminál a spusťte:
```
nvidia-smi
```
Měli byste vidět model GPU, verzi ovladače a informace o paměti.
Stáhněte model a potvrďte akceleraci pomocí GPU.
```
ollama pull qwen3.5:9b
ollama run qwen3.5:9b
```
Zatímco model generuje odpověď, otevřete další terminál a spusťte nvidia-smi. Měli byste pozorovat zvýšení využití paměti GPU a využití GPU.

Výsledek

Po dokončení tohoto tutoriálu budete mít:

Ollama běžící na vašem QNAP NAS na http://<NAS-IP>:11434
Data modelu uložená v /share/Container/ollama (přežijí přestavby kontejneru)
Funkční LLM přístupné přes Ollama API

API můžete otestovat z jakéhokoli zařízení ve vaší místní síti:

curl http://<NAS-IP>:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "Hello, how are you?",
  "stream": false
}'

Důležité

Nastavení OLLAMA_HOST=0.0.0.0 vystavuje Ollama API na všech síťových rozhraních. Neotevírejte port 11434 do internetu. Použijte pravidla Brána firewall nebo síťová nastavení QNAP k omezení přístupu pouze na vaši místní síť.

Řešení problémů

Kontejner se ihned po spuštění ukončí

To může být způsobeno nedostatkem RAM nebo nesouladem ovladače GPU. Zkontrolujte protokoly kontejneru v Container Station. Snižte omezení paměti nebo deaktivujte režim GPU.

Stažení modelu selže v polovině

To může být způsobeno nedostatkem místa na disku nebo vypršením časového limitu sítě. Pokuste se uvolnit místo Úložiště. Znovu spusťte ollama pull; systém pokračuje tam, kde přestal.

Rychlost odezvy je velmi pomalá (1–3 tokeny za sekundu)

Model může běžet na CPU místo GPU, nebo je model příliš velký pro vaši RAM. Ověřte přístup k GPU pomocí nvidia-smi uvnitř kontejneru. Zkuste použít menší model.

NAS se během inference stává nereagujícím

Může se jednat o problém s nedostatkem paměti: model spotřebovává veškerou systémovou paměť. Doporučujeme restartovat NAS. Nastavte limit využití paměti v aplikaci. Nebo použijte menší model.

Zpráva "Nelze se připojit k Ollama" z Open WebUI

To může být způsobeno nesprávnou URL API nebo izolací sítě Docker. Můžete použít http://ollama:11434, pokud jste na stejné síti Docker.

Byl tento článek užitečný?

Ano. Ne.

100% lidí si myslí, že to pomáhá.

Pro další pomoc se zeptejte ostatních uživatelů a odborníků QNAP v komunitě. Přejít do komunity QNAP

Sdělte nám prosím, jak lze tento článek vylepšit:

Článek postrádá důležité informace
Řešení v článku nefungují
Článek je příliš složitý
Článek obsahuje nesprávné informace
Článek je zastaralý

Pokud chcete poskytnout další zpětnou vazbu, uveďte ji níže.