เนื้อหานี้ได้รับการแปลด้วยเครื่อง กรุณาดูที่คำแถลงการณ์ปฏิเสธความรับผิดชอบของการแปลภาษาด้วยเครื่อง

How to deploy Ollama on the QNAP NAS using Container Station

วิธีการติดตั้ง Ollama บน QNAP NAS โดยใช้ Container Station

Last modified date: 2026-05-08

Applicable Products

QTS, QuTS hero

Container Station

Scenario

You want to run large language models (LLMs) locally on your QNAP NAS for private AI chat, code assistance, or document analysis without sending data to the cloud. Ollama is the most popular and beginner-friendly inference engine for this purpose. This tutorial explains how to deploy Ollama on the QNAP NAS using Container Station.

System Requirements

Requirement	Detail
QNAP App	Container Station 3.x or later
NAS Architecture	x86_64 (Intel or AMD CPU) (Only a few ARM-based models are supported.)
Memory	At least 8 GB (for 3B models) At least 16 GB (for 7B models)
Storage Space	At least 20 GB of extra free storage space in addition to the model file size. Use an SSD volume if possible.
GPU (Optional)	Compatible NVIDIA GPUs (see the compatibility list) GPU should be set to Container Station Mode in the Control Panel.

Warning

OOM (Out of Memory) Risk
Ollama will attempt to load the entire model into memory by default. If your NAS has only 8–16 GB of RAM, loading a 14B or larger model may exhaust system memory, causing NAS services to become unresponsive or the system to restart.

Data Loss Risk
If you do not mount a persistent volume for /root/.ollama, all downloaded models and configuration will be lost when the container is removed or recreated. Always follow the volume mounting instructions in this tutorial.

Best Practice

Check the model size against your available RAM in advance.
Set memory limits to cap container memory usage.
Start with small models (1B or 3B) and assess system stability before attempting larger models.

Procedure

Method 1: CPU-Only Deployment (No GPU Required)

Create storage folders.
Open File Station and create the following folder to store Ollama model data:
/share/Container/ollama
Screenshot: File Station — creating the Ollama folder under /share/Container/
Best Practice
If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.

Create a Docker Compose file.

In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Screenshot: Container Station — Application creation screen with YAML editor
Screenshot: Container Station — Set the memory limit

Deploy the container.
Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.
Screenshot: Container Station — ollama container showing "Running" status
Pull your first model.
Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:
```
# For a lightweight 3B model (recommended for first test):
ollama pull llama3.2:3b

# For a standard 9B model (requires 16 GB+ RAM):
ollama pull qwen3.5:9b
```
The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.
Note
- Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
- For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage.
Test the model.
In the container terminal, run:
```
ollama run qwen3.5:9b
```
Type a prompt and confirm that you receive a response. Type /bye to exit.

Method 2: NVIDIA GPU-Accelerated Deployment

Note

Additional prerequisites for GPU Mode:

NVIDIA GPU installed and detected by QTS/QuTS hero
GPU set to Container Station Mode in the Control Panel
NVIDIA GPU Driver and NvKernelDriver installed from App Center

Use the GPU-enabled Docker Compose configuration.

Replace the YAML from Method 1 with the following:

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge

Screenshot: Container Station — GPU-enabled Docker Compose YAML

Note

QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version

Deploy and verify GPU access.
After the container starts, open its terminal and run:
```
nvidia-smi
```
You should see your GPU model, driver version, and memory information.
Pull a model and confirm GPU acceleration.
```
ollama pull qwen3.5:9b
ollama run qwen3.5:9b
```
While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing.

Result

After completing this tutorial, you will have:

Ollama running on your QNAP NAS at http://<NAS-IP>:11434
Model data persisted in /share/Container/ollama (survives container rebuilds)
A working LLM accessible via the Ollama API

You can test the API from any device on your local network:

curl http://<NAS-IP>:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "Hello, how are you?",
  "stream": false
}'

Important

The OLLAMA_HOST=0.0.0.0 setting exposes the Ollama API on all network interfaces. Do not expose port 11434 to the internet. Use firewall rules or QNAP's network settings to restrict access to your local network only.

Troubleshooting

Container exits immediately after starting

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

Model pull fails midway

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

Response speed is very slow (1–3 tokens per second)

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

The NAS becomes unresponsive during inference

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

"Cannot connect to Ollama" message from Open WebUI

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

ผลิตภัณฑ์ที่รองรับ

QTS, QuTS hero

Container Station

กรณีใช้งาน

คุณต้องการรันโมเดลภาษาขนาดใหญ่ (LLMs) ในเครื่องบน QNAP NAS ของคุณสำหรับการแชท AI ส่วนตัว, การช่วยเหลือด้านโค้ด, หรือการวิเคราะห์เอกสารโดยไม่ต้องส่งข้อมูลไปยังคลาวด์ Ollama เป็นเอนจินการอนุมานที่ได้รับความนิยมและเหมาะสำหรับผู้เริ่มต้นมากที่สุดสำหรับวัตถุประสงค์นี้ บทแนะนำนี้อธิบายวิธีการปรับใช้ Ollama บน QNAP NAS โดยใช้ Container Station

ข้อกำหนดของระบบ

ข้อกำหนด	รายละเอียด
แอป QNAP	Container Station 3.x หรือใหม่กว่า
สถาปัตยกรรม NAS	x86_64 (Intel หรือ AMD CPU) (รองรับเฉพาะบางรุ่นที่ใช้ ARM)
หน่วยความจำ	อย่างน้อย 8 GB (สำหรับรุ่น 3B) อย่างน้อย 16 GB (สำหรับรุ่น 7B)
พื้นที่ ที่เก็บข้อมูล	พื้นที่ ที่เก็บข้อมูล ว่างอย่างน้อย 20 GB นอกเหนือจากขนาดไฟล์โมเดล ใช้โวลุ่ม SSD หากเป็นไปได้
GPU (ไม่บังคับ)	GPU ของ NVIDIA ที่รองรับ (ดูที่ รายการความเข้ากันได้) GPU ควรถูกตั้งค่าเป็นโหมด Container Station ใน แผงควบคุม

คำเตือน

ความเสี่ยง OOM (Out of Memory)
Ollama จะพยายามโหลดโมเดลทั้งหมดเข้าสู่หน่วยความจำโดยค่าเริ่มต้น หาก NAS ของคุณมี RAM เพียง 8–16 GB การโหลดโมเดล 14B หรือใหญ่กว่าอาจทำให้หน่วยความจำระบบหมด ส่งผลให้บริการ NAS ไม่ตอบสนองหรือระบบรีสตาร์ท

ความเสี่ยงในการสูญหายของข้อมูล
หากคุณไม่ติดตั้งโวลุ่มถาวรสำหรับ /root/.ollama โมเดลและการตั้งค่าที่ดาวน์โหลดทั้งหมดจะสูญหายเมื่อคอนเทนเนอร์ถูกลบหรือสร้างใหม่ ควรปฏิบัติตามคำแนะนำการติดตั้งโวลุ่มในบทแนะนำนี้เสมอ

แนวทางปฏิบัติที่ดีที่สุด

ตรวจสอบขนาดของโมเดลกับ RAM ที่มีอยู่ล่วงหน้า
ตั้งค่าขีดจำกัดหน่วยความจำเพื่อจำกัดการใช้งานหน่วยความจำของคอนเทนเนอร์
เริ่มต้นด้วยโมเดลขนาดเล็ก (1B หรือ 3B) และประเมินความเสถียรของระบบก่อนลองใช้โมเดลขนาดใหญ่

ขั้นตอน

วิธีที่ 1: การปรับใช้ด้วย CPU เท่านั้น (ไม่ต้องใช้ GPU)

สร้างโฟลเดอร์ ที่เก็บข้อมูล
เปิด File Station และสร้างโฟลเดอร์ต่อไปนี้เพื่อเก็บข้อมูลโมเดล Ollama:
/share/Container/ollama
ภาพหน้าจอ: File Station — การสร้างโฟลเดอร์ Ollama ภายใต้ /share/Container/
แนวทางปฏิบัติที่ดีที่สุด
หาก NAS ของคุณมี NVMe SSD cache หรือ SSD volume ให้สร้างโฟลเดอร์นี้บน SSD ความเร็วในการโหลดโมเดลจะเพิ่มขึ้นถึง 10 เท่าเมื่อเทียบกับ HDD
สร้างไฟล์ Docker Compose
ใน Container Station ไปที่ Applications > Create ตั้งชื่อแอปพลิเคชัน ollama และวาง YAML ต่อไปนี้:
```
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge
```
ภาพหน้าจอ: Container Station — หน้าจอการสร้างแอปพลิเคชันพร้อมตัวแก้ไข YAML
ภาพหน้าจอ: Container Station — ตั้งค่าขีดจำกัดหน่วยความจำ
ปรับใช้คอนเทนเนอร์
คลิก Create. Container Station จะดึงภาพ Ollama และเริ่มคอนเทนเนอร์ รอจนกว่าสถานะจะแสดง Running.
ภาพหน้าจอ: Container Station — คอนเทนเนอร์ ollama แสดงสถานะ "Running"
ดึงโมเดลแรกของคุณ
เปิด Terminal ของคอนเทนเนอร์ (หรือ SSH เข้า NAS ของคุณและ exec คุณ Docker) และรัน:
```
# สำหรับโมเดล 3B ที่เบา (แนะนำสำหรับการทดสอบครั้งแรก):
ollama pull llama3.2:3b

# สำหรับโมเดล 9B มาตรฐาน (ต้องการ RAM 16 GB ขึ้นไป):
ollama pull qwen3.5:9b
```
การดาวน์โหลดอาจใช้เวลาหลายนาทีขึ้นอยู่กับความเร็วอินเทอร์เน็ตของคุณ โมเดล 9B Q4_K_M มีขนาดประมาณ 4–7 GB.
หมายเหตุ
- ตรวจสอบว่าคุณมีพื้นที่ดิสก์เพียงพอก่อนดึง ใช้ ollama list เพื่อตรวจสอบโมเดลที่มีอยู่และขนาดของมัน
- สำหรับโมเดล NAS ที่ใช้ ARM เราแนะนำให้เริ่มต้นด้วยโมเดล <1B เพื่อตรวจสอบการใช้งานหน่วยความจำ
ทดสอบโมเดล
ในเทอร์มินัลของคอนเทนเนอร์ รัน:
```
ollama run qwen3.5:9b
```
พิมพ์พรอมต์และยืนยันว่าคุณได้รับการตอบกลับ พิมพ์ /bye เพื่อออก

วิธีที่ 2: การปรับใช้ด้วย NVIDIA GPU

หมายเหตุ

ข้อกำหนดเพิ่มเติมสำหรับโหมด GPU:

ติดตั้ง NVIDIA GPU และตรวจพบโดย QTS/QuTS hero
ตั้งค่า GPU เป็นโหมด Container Station ใน แผงควบคุม
ติดตั้ง NVIDIA GPU Driver และ NvKernelDriver จาก App Center

ใช้การกำหนดค่า Docker Compose ที่รองรับ GPU
แทนที่ YAML จากวิธีที่ 1 ด้วยสิ่งต่อไปนี้:
```
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /share/Container/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=10m
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-network

networks:
  ai-network:
    name: ai-network
    driver: bridge
```
ภาพหน้าจอ: Container Station — GPU-enabled Docker Compose YAML
หมายเหตุ
ไดรเวอร์ NVIDIA ที่มาพร้อมกับ QNAP อาจเก่ากว่ารุ่นล่าสุด หากคอนเทนเนอร์ไม่สามารถเริ่มต้นด้วย GPU ได้ ให้ตรวจสอบเวอร์ชันไดรเวอร์ด้วย nvidia-smi บนโฮสต์และตรวจสอบให้แน่ใจว่าเข้ากันได้กับเวอร์ชันภาพ Ollama
ปรับใช้และตรวจสอบการเข้าถึง GPU
หลังจากคอนเทนเนอร์เริ่มต้น ให้เปิดเทอร์มินัลและรัน:
```
nvidia-smi
```
คุณควรเห็นรุ่น GPU ของคุณ เวอร์ชันไดรเวอร์ และข้อมูลหน่วยความจำ
ดึงโมเดลและยืนยันการเร่งความเร็วด้วย GPU
```
ollama pull qwen3.5:9b
ollama run qwen3.5:9b
```
ขณะที่โมเดลกำลังสร้างการตอบสนอง ให้เปิดเทอร์มินัลอีกอันและรัน nvidia-smi คุณควรสังเกตการใช้หน่วยความจำ GPU และการใช้งาน GPU ที่เพิ่มขึ้น

ผลลัพธ์

หลังจากทำคู่มือนี้เสร็จสิ้น คุณจะมี:

Ollama ทำงานบน QNAP NAS ของคุณที่ http://<NAS-IP>:11434
ข้อมูลโมเดลถูกเก็บไว้ใน /share/Container/ollama (ยังคงอยู่แม้จะสร้างคอนเทนเนอร์ใหม่)
LLM ที่ใช้งานได้ผ่าน Ollama API

คุณสามารถทดสอบ API จากอุปกรณ์ใดก็ได้ในเครือข่ายท้องถิ่นของคุณ:

curl http://<NAS-IP>:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "Hello, how are you?",
  "stream": false
}'

สำคัญ

การตั้งค่า OLLAMA_HOST=0.0.0.0 เปิดเผย Ollama API บนอินเทอร์เฟซเครือข่ายทั้งหมด อย่าเปิดเผยพอร์ต 11434 สู่อินเทอร์เน็ต ใช้กฎ ไฟร์วอลล์ หรือการตั้งค่าเครือข่ายของ QNAP เพื่อจำกัดการเข้าถึงเฉพาะเครือข่ายท้องถิ่นของคุณเท่านั้น

การแก้ไขปัญหา

คอนเทนเนอร์ออกทันทีหลังจากเริ่มต้น

อาจเกิดจาก RAM ไม่เพียงพอหรือไดรเวอร์ GPU ไม่ตรงกัน ตรวจสอบบันทึกคอนเทนเนอร์ใน Container Station ลดข้อจำกัดของหน่วยความจำหรือปิดโหมด GPU

การดึงโมเดลล้มเหลวกลางคัน

อาจเกิดจากพื้นที่ดิสก์ไม่เพียงพอหรือหมดเวลาการเชื่อมต่อเครือข่าย ลองเพิ่มพื้นที่ ที่เก็บข้อมูล เรียกใช้ ollama pull อีกครั้ง ระบบจะดำเนินการต่อจากที่หยุด

ความเร็วในการตอบสนองช้ามาก (1–3 โทเค็นต่อวินาที)

โมเดลอาจทำงานบน CPU แทน GPU หรือโมเดลใหญ่เกินไปสำหรับ RAM ของคุณ ตรวจสอบการเข้าถึง GPU ของคุณด้วย nvidia-smi ภายในคอนเทนเนอร์ ลองใช้โมเดลที่เล็กลง

NAS ไม่ตอบสนองระหว่างการอนุมาน

อาจเป็นปัญหา "หน่วยความจำไม่เพียงพอ": โมเดลใช้หน่วยความจำของระบบทั้งหมด เราแนะนำให้รีสตาร์ท NAS ตั้งค่าขีดจำกัดการใช้หน่วยความจำในแอปพลิเคชัน หรือใช้โมเดลที่เล็กลง

ข้อความ "ไม่สามารถเชื่อมต่อกับ Ollama" จาก Open WebUI

อาจเกิดจาก URL API ที่ผิดหรือการแยกเครือข่าย Docker คุณสามารถใช้ http://ollama:11434 หากคุณอยู่ในเครือข่าย Docker เดียวกัน

Was this article helpful?

Yes. No.

100% of people think it helps.

หากต้องการความช่วยเหลือเพิ่มเติม สอบถามผู้ใช้รายอื่นและผู้เชี่ยวชาญของ QNAP ได้ในคอมมูนิตี้ ไปที่ QNAP Community

Please tell us how this article can be improved:

The article is missing important information
The article's solutions do not work
The article is too complicated
The article contains incorrect information
The article is out-of-date

If you want to provide additional feedback, please include it below.