Chi phí, thanh toán và vận hành24 tháng 10, 2026Flatkey Team

Có chạy Kimi K3 cục bộ được không? Hướng dẫn phần cứng, GGUF và vLLM (2026)

Kimi K3 có thể chạy cục bộ, nhưng bản GGUF 1-bit nhỏ nhất cần khoảng 610 GB RAM cộng VRAM. Xem yêu cầu phần cứng chính xác, lệnh llama.cpp và vLLM, điều khoản giấy phép và so sánh chi phí với thuê GPU và API.

Có chạy Kimi K3 cục bộ được không? Hướng dẫn phần cứng, GGUF và vLLM (2026)

Có, Kimi K3 có thể chạy cục bộ vì Moonshot AI công bố trọng số trên Hugging Face, nhưng đây là mô hình 2,8 nghìn tỷ tham số, nên "cục bộ" nghĩa là cần khoảng 610 GB RAM và VRAM cộng lại cho bản GGUF 1-bit nhỏ nhất, hoặc cả một node Blackwell 8 GPU cho trọng số gốc. Trên một máy trạm đơn lẻ có ít bộ nhớ hơn, mô hình vẫn tải được từ ổ đĩa, chỉ là rất chậm. Với hầu hết nhà phát triển, chạy K3 trên GPU thuê hoặc gọi qua API rẻ hơn so với mua phần cứng.

Hướng dẫn này trình bày những gì bạn cần để chạy Kimi K3 trên máy của mình tính đến ngày 24/10/2026: giấy phép, yêu cầu bộ nhớ chính xác theo từng mức lượng tử hóa, các lệnh llama.cpp và vLLM từng bước, cách gọi server cục bộ từ mã nguồn, và so sánh chi phí với thuê GPU và API được lưu trữ. Số liệu lấy từ model card của Moonshot AI, các recipe chính thức của vLLM và SGLang và tài liệu của Unsloth; mọi con số chúng tôi tự ước tính đều được ghi rõ là ước tính.

Tổng quan về Kimi K3

Thông số	Giá trị
Nhà phát triển	Moonshot AI
Trọng số	moonshotai/Kimi-K3 trên Hugging Face
Kiến trúc	Mixture of experts: tổng 2,8T tham số, 104B hoạt động mỗi token
Chuyên gia	896 chuyên gia được định tuyến, chọn 16 mỗi token, cộng 2 chuyên gia dùng chung
Số lớp	93 (69 lớp attention tuyến tính KDA và 24 lớp MLA có cổng)
Cửa sổ ngữ cảnh	1.048.576 token
Đầu vào	Văn bản và hình ảnh (bộ mã hóa thị giác MoonViT-V2, 401M tham số)
Độ chính xác gốc	Trọng số MXFP4 với activation MXFP8 (huấn luyện có nhận biết lượng tử hóa)
Suy luận	Luôn bật chế độ suy nghĩ; `reasoning_effort` low, high hoặc max (mặc định max)
Giấy phép	Kimi K3 License (MIT sửa đổi)

Nguồn: model card của Kimi K3, kiểm tra ngày 24/10/2026.

Hai lưu ý trước khi bắt đầu. Thứ nhất, Moonshot AI hiện cung cấp Kimi K3.1 Pro qua API và gọi K3 là "flagship thế hệ trước", nhưng tính đến ngày 24/10/2026, trọng số mở mới nhất trên Hugging Face vẫn là Kimi K3, nên K3 là mô hình bạn có thể tự chạy. Thứ hai, K3 chỉ có chế độ suy nghĩ: trong hội thoại nhiều lượt, client phải gửi lại reasoning_content và các lệnh gọi công cụ, như model card mô tả.

Có thể dùng Kimi K3 cho mục đích thương mại không?

Theo tệp giấy phép trên Hugging Face (tháng 10/2026), Kimi K3 License là giấy phép kiểu MIT với hai điều kiện bổ sung:

Nếu bạn cung cấp K3 dưới dạng kinh doanh model-as-a-service với doanh thu hơn 20 triệu USD trong 12 tháng trước đó, bạn cần một thỏa thuận riêng với Moonshot AI.
Nếu sản phẩm của bạn có hơn 100 triệu người dùng hoạt động hằng tháng hoặc doanh thu hơn 20 triệu USD mỗi tháng, bạn phải hiển thị "Kimi K3" trên giao diện người dùng.

Việc sử dụng nội bộ trong công ty không bị các điều kiện này hạn chế. Với hầu hết startup và nhóm phát triển, việc dùng cục bộ hoặc tự host là được phép; hãy đọc toàn văn giấy phép trước khi phát hành.

Kimi K3 cần bao nhiêu phần cứng?

Các bản lượng tử hóa GGUF (llama.cpp)

Unsloth phát hành các bản lượng tử hóa GGUF động. Quy tắc kinh nghiệm của họ: tổng RAM và VRAM phải ít nhất bằng kích thước bản lượng tử hóa, nếu không mô hình sẽ bị đẩy xuống ổ đĩa và chạy chậm hơn nhiều.

Lượng tử hóa	Bộ nhớ cần (RAM + VRAM)	Ghi chú
1-bit động S (`UD-IQ1_S`)	khoảng 610 GB	594 GB tệp; điểm cân bằng kích thước và chất lượng được Unsloth khuyến nghị, độ chính xác top-1 khoảng 79%
1-bit động M	khoảng 665 GB
2-bit động XXS	khoảng 726 GB
2-bit động XL	khoảng 880 GB	Unsloth báo cáo độ chính xác khoảng 90% cho bản 2-bit động 861 GB
Q8 (`UD-Q8_K_XL`, không mất mát)	khoảng 1,6 TB	1,56 TB tệp; tương đương trọng số gốc MXFP4

Unsloth báo cáo tốc độ sinh khoảng 20 token mỗi giây khi bản 1-bit nằm gọn trong GPU B200. Trên các máy thiên về CPU giữ phần lớn trọng số trong RAM hệ thống, tốc độ sẽ thấp hơn nhiều; chúng tôi chưa đo, nên hãy coi mọi con số bạn thấy là ước tính cho đến khi tự thử trên phần cứng của mình.

Trên thực tế điều đó có nghĩa là gì? Một số cấu hình cục bộ thực tế:

Cấu hình	Chứa được bản 1-bit (610 GB)?	Kỳ vọng (ước tính)
PC chơi game: 1x RTX 4090 (24 GB) + 128 GB RAM	Không	Chỉ chạy được khi đẩy nhiều xuống ổ đĩa; rất chậm, chỉ hữu ích để thử nghiệm
Máy trạm hoặc server: 1-2 GPU + 768 GB DDR5	Có	Dùng được cho thử nghiệm một người dùng ở tốc độ thấp
Server nhiều GPU với 8x GPU 80-141 GB	Có, trong VRAM	Tốc độ tương tác cho một hoặc vài người dùng
Node 8x B300 / cấp GB300	Trọng số gốc MXFP4	Phục vụ production với vLLM hoặc SGLang

Trọng số gốc (vLLM và SGLang)

Với trọng số chính thức, recipe vLLM cho Kimi K3 yêu cầu ít nhất 8x GPU GB300 (hoặc ít nhất 8x MI355X hay MI350X trên AMD ROCm), dùng image vllm/vllm-openai:kimi-k3, đòi hỏi CUDA 13 và driver NVIDIA r580 trở lên. Cookbook của SGLang liệt kê các cấu hình node như B300 1x8, GB300 2x4, B200 2x8, GB200 4x4, H200 2x8, H100 4x8 và MI350X/MI355X 1x8, nhưng tính đến tháng 10/2026 chỉ cấu hình B300 1x8 được đánh dấu là đã xác minh. Nói cách khác, triển khai trên H100 cần bốn node 8 GPU, vượt ngoài khả năng của hầu hết những ai chạy "cục bộ".

Để tìm hiểu sâu hơn về tính toán tài nguyên, xem hướng dẫn yêu cầu bộ nhớ GPU cho LLM và hướng dẫn triển khai vLLM song song chuyên gia của chúng tôi.

Chạy Kimi K3 cục bộ với llama.cpp (GGUF)

Các bước sau theo hướng dẫn của Unsloth. Hỗ trợ hình ảnh của K3 hiện cần bản fork llama.cpp của Unsloth; dùng chỉ văn bản thì các bước tương tự.

1. Biên dịch llama.cpp. Dùng -DGGML_CUDA=OFF nếu bạn không có GPU NVIDIA.

git clone https://github.com/unslothai/llama.cpp
cd llama.cpp
git fetch origin pull/48/head:kimi-k3-fullsize-vision
git checkout kimi-k3-fullsize-vision
cd ..
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
  --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Tải bản 1-bit (khoảng 594 GB) và bộ chiếu thị giác. Kiểm tra dung lượng ổ đĩa trống trước.

pip install -U huggingface_hub
df -h .   # need roughly 650 GB free
hf download unsloth/Kimi-K3-GGUF \
  --local-dir unsloth/Kimi-K3-GGUF \
  --include "*mmproj-BF16*" \
  --include "*UD-IQ1_S*"

3. Trò chuyện trong terminal. Dùng tham số lấy mẫu Moonshot khuyến nghị: temperature 1.0 và top_p 0.95 (top_p 1.0 cho tác vụ agent).

FIRST=$(ls unsloth/Kimi-K3-GGUF/UD-IQ1_S/*00001-of-*.gguf | head -1)
./llama.cpp/llama-cli --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --temp 1.0 --top-p 0.95

4. Cung cấp API tương thích OpenAI. llama-server cung cấp /v1/chat/completions. Kích thước ngữ cảnh nhỏ hơn giúp tiết kiệm bộ nhớ cho KV cache.

./llama.cpp/llama-server --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --ctx-size 32768 --temp 1.0 --top-p 0.95 \
  --host 127.0.0.1 --port 8080

Phục vụ Kimi K3 với vLLM (nguyên node)

Nếu bạn có, hoặc thuê, một node 8 GPU được hỗ trợ, vLLM cho bạn thông lượng production, gọi công cụ và đầy đủ ngữ cảnh 1M. Lệnh cơ bản từ recipe chính thức:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:kimi-k3 \
  moonshotai/Kimi-K3 --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k3 --reasoning-parser kimi_k3 \
  --enable-auto-tool-choice \
  --max-model-len 1048576 \
  --enable-prefix-caching --kv-cache-dtype fp8

Recipe cũng lưu ý rằng định dạng lệnh gọi công cụ thỉnh thoảng bị sai, vì vậy hãy kiểm tra tham số công cụ và thử lại khi phân tích thất bại. Hướng dẫn triển khai vLLM và hướng dẫn suy luận nhiều GPU của chúng tôi trình bày cách giám sát và tinh chỉnh.

Gọi server Kimi K3 cục bộ

Cả llama-server (cổng 8080 ở trên) và vLLM (cổng 8000) đều hỗ trợ OpenAI API, nên SDK OpenAI nào cũng dùng được.

curl

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"moonshotai/Kimi-K3","temperature":1.0,"top_p":0.95,
       "messages":[{"role":"user","content":"Write a bash one-liner that finds the 5 largest files in a directory."}]}'

Python

from openai import OpenAI

# Local vLLM server; use base_url="http://127.0.0.1:8080/v1" for llama-server
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="local")

r = client.chat.completions.create(
    model="moonshotai/Kimi-K3",
    temperature=1.0, top_p=0.95,
    messages=[{"role": "user", "content": "Explain MoE routing in 3 sentences."}],
)
msg = r.choices[0].message
print(getattr(msg, "reasoning_content", None))  # thinking trace, when the server returns it
print(msg.content)

Node.js

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "http://127.0.0.1:8000/v1", apiKey: "local" });
const r = await client.chat.completions.create({
  model: "moonshotai/Kimi-K3",
  temperature: 1.0,
  top_p: 0.95,
  messages: [{ role: "user", content: "Give me a regex for ISO 8601 dates." }],
});
console.log(r.choices[0].message.content);

Trong hội thoại nhiều lượt, hãy thêm tin nhắn của assistant kèm reasoning_content và mọi tool_calls vào lịch sử trước lượt tiếp theo, như model card yêu cầu.

Cục bộ, thuê GPU hay API: Kimi K3 tốn bao nhiêu?

Thuê GPU. Chỉ số giá GPU của Flatkey (cập nhật ngày 24/10/2026) liệt kê giá theo thời gian thực: 7,49 USD mỗi giờ GPU cho B200, 7,34 USD cho B300, 3,60 USD cho H200 và 2,48 USD cho H100. Vì vậy một node 8x B200 tốn khoảng 59,92 USD mỗi giờ, tức khoảng 43.700 USD mỗi tháng nếu chạy 24/7 (ước tính của chúng tôi: 8 x 7,49 USD x 730 giờ).

API được lưu trữ. Nền tảng chính thức của Moonshot niêm yết Kimi K3 ở mức 3,00 USD mỗi triệu token đầu vào, 0,30 USD cho đầu vào được cache và 15,00 USD mỗi triệu token đầu ra. Trên trang mô hình của Flatkey, Kimi K3 có giá 1,80 USD đầu vào, 0,18 USD đầu vào được cache và 9,00 USD đầu ra mỗi triệu token, với cùng ngữ cảnh 1.048.576 token (cả hai kiểm tra ngày 24/10/2026).

Điểm hòa vốn (ước tính). Với tỷ lệ đầu vào trên đầu ra là 3:1, giá của Flatkey tương đương khoảng 3,60 USD mỗi triệu token kết hợp. 43.700 USD mỗi tháng mua được khoảng 12 tỷ token kết hợp, tức khoảng 400 triệu token mỗi ngày. Dưới mức này, API rẻ hơn một node 8x B200 chuyên dụng, chưa tính thời gian kỹ thuật.

Phương án	Chi phí ban đầu	Phù hợp nhất cho
GGUF 1-bit cục bộ trên máy trạm nhiều RAM	Phần cứng tự sở hữu	Thử nghiệm nhạy cảm về quyền riêng tư, làm việc offline, học tập
Thuê node 8 GPU chạy vLLM hoặc SGLang	Thuê theo giờ	Kiểm soát dữ liệu kèm thông lượng production, nghiên cứu fine-tuning
API được lưu trữ (Moonshot hoặc Flatkey)	Không	Hầu hết ứng dụng, prototype và lưu lượng biến động

Bạn có thể gọi mô hình được lưu trữ bằng chính đoạn mã ở trên, chỉ cần đổi base URL:

import os
from openai import OpenAI

client = OpenAI(base_url="https://router.flatkey.ai/v1", api_key=os.environ["FLATKEY_API_KEY"])
r = client.chat.completions.create(model="kimi-k3",
    messages=[{"role": "user", "content": "Summarize the Kimi K3 license in two sentences."}])
print(r.choices[0].message.content)

Đọc thêm trong phân tích chi phí mỗi triệu token của LLM tự host, bài so sánh GPU cloud và API mô hình và hướng dẫn truy cập API Kimi K3.

Khắc phục sự cố

Vấn đề	Nguyên nhân có thể	Cách khắc phục
Sinh văn bản cực kỳ chậm	Mô hình không vừa RAM + VRAM và đang đọc từ ổ đĩa	Dùng bản lượng tử hóa nhỏ hơn, thêm RAM hoặc chuyển sang server GPU
`out of memory` khi khởi động llama-server	KV cache quá lớn	Giảm `--ctx-size`
Đầu vào hình ảnh bị bỏ qua	Thiếu tệp bộ chiếu hoặc dùng bản llama.cpp upstream	Truyền `--mmproj` và biên dịch bản fork của Unsloth
Image vLLM không khởi động	CUDA hoặc driver quá cũ	Dùng CUDA 13 với driver r580 trở lên
Lệnh gọi công cụ bị lỗi	Đầu ra lệnh gọi công cụ thỉnh thoảng sai định dạng	Kiểm tra tham số và thử lại
Lượt thứ hai hoạt động bất thường	Nội dung suy nghĩ không được gửi lại	Đưa `reasoning_content` vào lịch sử
Tải xuống bị treo	Truyền tải lớn nhiều tệp	Chạy lại `hf download`; nó sẽ tải tiếp

Câu hỏi thường gặp

Kimi K3 có chạy cục bộ được không?

Có. Trọng số được công khai, và bản GGUF 1-bit nhỏ nhất cần khoảng 610 GB RAM và VRAM cộng lại để chạy ở tốc độ hợp lý. Với ít bộ nhớ hơn mô hình vẫn chạy nhưng chậm, vì llama.cpp đọc trọng số từ ổ đĩa.

Tôi có thể chạy Kimi trên PC chơi game không?

Không thực sự hữu ích. Một GPU 24 GB với 64-128 GB RAM thấp hơn nhiều so với khoảng 610 GB mà bản lượng tử hóa nhỏ nhất cần, nên bạn sẽ phải phụ thuộc vào việc đẩy xuống ổ đĩa. Hãy dùng API hoặc thuê server GPU.

Kimi K3 cần bao nhiêu VRAM?

Với trọng số gốc, recipe vLLM chính thức yêu cầu ít nhất 8x GPU GB300. Với GGUF, điều quan trọng là tổng RAM và VRAM: khoảng 610 GB cho 1-bit và khoảng 880 GB cho 2-bit (Unsloth, tháng 10/2026).

Kimi K3 có thực sự rẻ hơn các mô hình khác không?

Qua API, giá của nó ở mức trung bình: 3 USD / 15 USD mỗi triệu token trên nền tảng của Moonshot và 1,80 USD / 9 USD trên Flatkey tính đến tháng 10/2026. Tự host chỉ rẻ hơn giá API khi khối lượng rất lớn và ổn định.