How to deploy Ollama on the QNAP NAS using Container Station

วิธีการติดตั้ง Ollama บน QNAP NAS โดยใช้ Container Station

1. Create storage folders.

   Open File Station and create the following folder to store Ollama model data:
   /share/Container/ollama

   Screenshot: File Station — creating the Ollama folder under /share/Container/

   Best Practice

   If your NAS has an NVMe SSD cache or SSD volume, create this folder on the SSD. Model loading speed improves by up to 10 times compared to HDDs.
   
   

2. Create a Docker Compose file.

   In Container Station, go to Applications > Create. Name the application ollama and paste the following YAML:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — Application creation screen with YAML editor
   Screenshot: Container Station — Set the memory limit

3. Deploy the container.

   Click Create. Container Station will pull the Ollama image and start the container. Wait until the status shows Running.

   Screenshot: Container Station — ollama container showing "Running" status

4. Pull your first model.

   Open the container's Terminal (or SSH into your NAS and exec you Docker) and run:

   # For a lightweight 3B model (recommended for first test):
   ollama pull llama3.2:3b
   
   # For a standard 9B model (requires 16 GB+ RAM):
   ollama pull qwen3.5:9b

   The download may take several minutes depending on your internet speed. A 9B Q4_K_M model is approximately 4–7 GB.

   Note

   • Verify you have sufficient disk space before pulling. Use ollama list to check existing models and their sizes.
   • For ARM-based NAS models, we recommend starting with the <1B model to monitor memory usage. 

5. Test the model.

   In the container terminal, run:

   ollama run qwen3.5:9b

   Type a prompt and confirm that you receive a response. Type /bye to exit.

1. Use the GPU-enabled Docker Compose configuration.

   Replace the YAML from Method 1 with the following:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   Screenshot: Container Station — GPU-enabled Docker Compose YAML

   Note

   QNAP's bundled NVIDIA drivers may be older than the latest release. If the container fails to start with GPU enabled, check the driver version with nvidia-smi on the host and ensure it is compatible with the Ollama image version
   
   

2. Deploy and verify GPU access.

   After the container starts, open its terminal and run:

   nvidia-smi

   You should see your GPU model, driver version, and memory information.
   

3. Pull a model and confirm GPU acceleration.

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   While the model is generating a response, open another terminal and run nvidia-smi. You should observe GPU memory usage and GPU utilization increasing. 

This may be caused by insufficient RAM or GPU driver mismatch. Check container logs in Container Station. Reduce memory limitations or disable GPU mode.

This may result from insufficient disk space or network timeout. Try to free up storage space. Re-run ollama pull; the system resumes from where it stopped.

The model may be running on CPU instead of GPU, or the model is too large for your RAM. Verify your GPU access with nvidia-smi inside the container. Try to use a smaller model.

This can be an "out of memory" issue: the model is consuming all the system memory. We recommend restarting the NAS. Set a memory usage limit in the application. Or use a smaller model.

This may be caused by a wrong API URL or Docker network isolation. You can use http://ollama:11434 if you are on the same Docker network.

1. สร้างโฟลเดอร์ ที่เก็บข้อมูล

   เปิด File Station และสร้างโฟลเดอร์ต่อไปนี้เพื่อเก็บข้อมูลโมเดล Ollama:
   /share/Container/ollama

   ภาพหน้าจอ: File Station — การสร้างโฟลเดอร์ Ollama ภายใต้ /share/Container/

   แนวทางปฏิบัติที่ดีที่สุด

   หาก NAS ของคุณมี NVMe SSD cache หรือ SSD volume ให้สร้างโฟลเดอร์นี้บน SSD ความเร็วในการโหลดโมเดลจะเพิ่มขึ้นถึง 10 เท่าเมื่อเทียบกับ HDD
   
   

2. สร้างไฟล์ Docker Compose

   ใน Container Station ไปที่ Applications > Create ตั้งชื่อแอปพลิเคชัน ollama และวาง YAML ต่อไปนี้:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   ภาพหน้าจอ: Container Station — หน้าจอการสร้างแอปพลิเคชันพร้อมตัวแก้ไข YAML
   ภาพหน้าจอ: Container Station — ตั้งค่าขีดจำกัดหน่วยความจำ

3. ปรับใช้คอนเทนเนอร์

   คลิก Create. Container Station จะดึงภาพ Ollama และเริ่มคอนเทนเนอร์ รอจนกว่าสถานะจะแสดง Running.

   ภาพหน้าจอ: Container Station — คอนเทนเนอร์ ollama แสดงสถานะ "Running"

4. ดึงโมเดลแรกของคุณ

   เปิด Terminal ของคอนเทนเนอร์ (หรือ SSH เข้า NAS ของคุณและ exec คุณ Docker) และรัน:

   # สำหรับโมเดล 3B ที่เบา (แนะนำสำหรับการทดสอบครั้งแรก):
   ollama pull llama3.2:3b
   
   # สำหรับโมเดล 9B มาตรฐาน (ต้องการ RAM 16 GB ขึ้นไป):
   ollama pull qwen3.5:9b

   การดาวน์โหลดอาจใช้เวลาหลายนาทีขึ้นอยู่กับความเร็วอินเทอร์เน็ตของคุณ โมเดล 9B Q4_K_M มีขนาดประมาณ 4–7 GB.

   หมายเหตุ

   • ตรวจสอบว่าคุณมีพื้นที่ดิสก์เพียงพอก่อนดึง ใช้ ollama list เพื่อตรวจสอบโมเดลที่มีอยู่และขนาดของมัน
   • สำหรับโมเดล NAS ที่ใช้ ARM เราแนะนำให้เริ่มต้นด้วยโมเดล <1B เพื่อตรวจสอบการใช้งานหน่วยความจำ 

5. ทดสอบโมเดล

   ในเทอร์มินัลของคอนเทนเนอร์ รัน:

   ollama run qwen3.5:9b

   พิมพ์พรอมต์และยืนยันว่าคุณได้รับการตอบกลับ พิมพ์ /bye เพื่อออก

1. ใช้การกำหนดค่า Docker Compose ที่รองรับ GPU

   แทนที่ YAML จากวิธีที่ 1 ด้วยสิ่งต่อไปนี้:

   version: "3.8"
   
   services:
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       restart: unless-stopped
       ports:
         - "11434:11434"
       volumes:
         - /share/Container/ollama:/root/.ollama
       environment:
         - OLLAMA_HOST=0.0.0.0
         - OLLAMA_KEEP_ALIVE=10m
         - NVIDIA_VISIBLE_DEVICES=all
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       networks:
         - ai-network
   
   networks:
     ai-network:
       name: ai-network
       driver: bridge

   ภาพหน้าจอ: Container Station — GPU-enabled Docker Compose YAML

   หมายเหตุ

   ไดรเวอร์ NVIDIA ที่มาพร้อมกับ QNAP อาจเก่ากว่ารุ่นล่าสุด หากคอนเทนเนอร์ไม่สามารถเริ่มต้นด้วย GPU ได้ ให้ตรวจสอบเวอร์ชันไดรเวอร์ด้วย nvidia-smi บนโฮสต์และตรวจสอบให้แน่ใจว่าเข้ากันได้กับเวอร์ชันภาพ Ollama
   
   

2. ปรับใช้และตรวจสอบการเข้าถึง GPU

   หลังจากคอนเทนเนอร์เริ่มต้น ให้เปิดเทอร์มินัลและรัน:

   nvidia-smi

   คุณควรเห็นรุ่น GPU ของคุณ เวอร์ชันไดรเวอร์ และข้อมูลหน่วยความจำ
   

3. ดึงโมเดลและยืนยันการเร่งความเร็วด้วย GPU

   ollama pull qwen3.5:9b
   ollama run qwen3.5:9b

   ขณะที่โมเดลกำลังสร้างการตอบสนอง ให้เปิดเทอร์มินัลอีกอันและรัน nvidia-smi คุณควรสังเกตการใช้หน่วยความจำ GPU และการใช้งาน GPU ที่เพิ่มขึ้น 

อาจเกิดจาก RAM ไม่เพียงพอหรือไดรเวอร์ GPU ไม่ตรงกัน ตรวจสอบบันทึกคอนเทนเนอร์ใน Container Station ลดข้อจำกัดของหน่วยความจำหรือปิดโหมด GPU

อาจเกิดจากพื้นที่ดิสก์ไม่เพียงพอหรือหมดเวลาการเชื่อมต่อเครือข่าย ลองเพิ่มพื้นที่ ที่เก็บข้อมูล เรียกใช้ ollama pull อีกครั้ง ระบบจะดำเนินการต่อจากที่หยุด

โมเดลอาจทำงานบน CPU แทน GPU หรือโมเดลใหญ่เกินไปสำหรับ RAM ของคุณ ตรวจสอบการเข้าถึง GPU ของคุณด้วย nvidia-smi ภายในคอนเทนเนอร์ ลองใช้โมเดลที่เล็กลง

อาจเป็นปัญหา "หน่วยความจำไม่เพียงพอ": โมเดลใช้หน่วยความจำของระบบทั้งหมด เราแนะนำให้รีสตาร์ท NAS ตั้งค่าขีดจำกัดการใช้หน่วยความจำในแอปพลิเคชัน หรือใช้โมเดลที่เล็กลง

อาจเกิดจาก URL API ที่ผิดหรือการแยกเครือข่าย Docker คุณสามารถใช้ http://ollama:11434 หากคุณอยู่ในเครือข่าย Docker เดียวกัน