Biaya, penagihan, dan operasional24 Oktober 2026Flatkey Team

Bisakah Kimi K3 Dijalankan Secara Lokal? Panduan Hardware, GGUF, dan vLLM (2026)

Kimi K3 bisa dijalankan secara lokal, tetapi GGUF 1-bit terkecil butuh sekitar 610 GB RAM plus VRAM. Dapatkan kebutuhan hardware yang tepat, perintah llama.cpp dan vLLM, ketentuan lisensi, dan perbandingan biaya dengan sewa GPU dan API.

Bisakah Kimi K3 Dijalankan Secara Lokal? Panduan Hardware, GGUF, dan vLLM (2026)

Ya, Kimi K3 bisa dijalankan secara lokal karena Moonshot AI memublikasikan bobotnya di Hugging Face, tetapi ini adalah model dengan 2,8 triliun parameter, jadi "lokal" berarti sekitar 610 GB gabungan RAM dan VRAM untuk GGUF 1-bit terkecil, atau satu node Blackwell 8 GPU penuh untuk bobot aslinya. Di satu workstation dengan memori lebih kecil, model tetap bisa dimuat dari disk, hanya saja sangat lambat. Bagi sebagian besar developer, menjalankan K3 di GPU sewaan atau memanggilnya lewat API lebih murah daripada membeli hardware.

Panduan ini membahas apa saja yang Anda perlukan untuk menjalankan Kimi K3 di mesin sendiri per 24 Oktober 2026: lisensi, kebutuhan memori yang tepat per kuantisasi, perintah llama.cpp dan vLLM langkah demi langkah, cara memanggil server lokal dari kode, serta perbandingan biaya dengan GPU sewaan dan API yang di-hosting. Angka-angka berasal dari model card Moonshot AI, resep resmi vLLM dan SGLang, serta dokumentasi Unsloth; semua yang kami perkirakan diberi label perkiraan.

Sekilas tentang Kimi K3

Spesifikasi	Nilai
Pengembang	Moonshot AI
Bobot	moonshotai/Kimi-K3 di Hugging Face
Arsitektur	Mixture of experts: total 2,8T parameter, 104B aktif per token
Expert	896 expert yang dirutekan, 16 dipilih per token, ditambah 2 expert bersama
Lapisan	93 (69 lapisan linear attention KDA dan 24 lapisan gated MLA)
Jendela konteks	1.048.576 token
Input	Teks dan gambar (encoder visi MoonViT-V2, 401M parameter)
Presisi asli	Bobot MXFP4 dengan aktivasi MXFP8 (pelatihan yang sadar kuantisasi)
Penalaran	Mode berpikir selalu aktif; `reasoning_effort` low, high, atau max (default max)
Lisensi	Kimi K3 License (MIT yang dimodifikasi)

Sumber: model card Kimi K3, diperiksa 24 Oktober 2026.

Dua catatan sebelum mulai. Pertama, Moonshot AI kini menawarkan Kimi K3.1 Pro di API-nya dan menyebut K3 sebagai "flagship generasi sebelumnya", tetapi per 24 Oktober 2026 bobot terbuka terbaru di Hugging Face masih Kimi K3, jadi K3 adalah model yang bisa Anda jalankan sendiri. Kedua, K3 hanya punya mode berpikir: klien Anda harus mengirim kembali reasoning_content dan pemanggilan tool dalam percakapan multi-giliran, seperti dijelaskan di model card.

Bisakah Kimi K3 digunakan secara komersial?

Kimi K3 License bergaya MIT dengan dua syarat tambahan, menurut file lisensi di Hugging Face (Oktober 2026):

Jika Anda menawarkan K3 sebagai bisnis model-as-a-service dengan pendapatan lebih dari 20 juta dolar AS dalam 12 bulan sebelumnya, Anda memerlukan perjanjian terpisah dengan Moonshot AI.
Jika produk Anda memiliki lebih dari 100 juta pengguna aktif bulanan atau pendapatan bulanan lebih dari 20 juta dolar AS, Anda harus menampilkan "Kimi K3" di antarmuka pengguna.

Penggunaan internal di dalam perusahaan tidak dibatasi oleh syarat-syarat tersebut. Bagi sebagian besar startup dan tim, penggunaan lokal atau self-hosted diperbolehkan; baca teks lisensi lengkap sebelum merilis.

Berapa banyak hardware yang dibutuhkan Kimi K3?

Kuantisasi GGUF (llama.cpp)

Unsloth menerbitkan kuantisasi GGUF dinamis. Aturan praktisnya: RAM ditambah VRAM Anda minimal sebesar ukuran kuantisasi, jika tidak model akan di-offload ke disk dan berjalan jauh lebih lambat.

Kuantisasi	Memori yang dibutuhkan (RAM + VRAM)	Catatan
1-bit dinamis S (`UD-IQ1_S`)	sekitar 610 GB	File 594 GB; keseimbangan ukuran dan kualitas yang direkomendasikan Unsloth, akurasi top-1 sekitar 79%
1-bit dinamis M	sekitar 665 GB
2-bit dinamis XXS	sekitar 726 GB
2-bit dinamis XL	sekitar 880 GB	Unsloth melaporkan akurasi sekitar 90% untuk 2-bit dinamis 861 GB miliknya
Q8 (`UD-Q8_K_XL`, lossless)	sekitar 1,6 TB	File 1,56 TB; setara bobot asli MXFP4

Unsloth melaporkan kecepatan generasi sekitar 20 token per detik saat kuantisasi 1-bit muat di GPU B200. Pada mesin yang mengandalkan CPU dan menyimpan sebagian besar bobot di RAM sistem, kecepatannya jauh lebih rendah; kami belum mengukurnya, jadi anggap angka apa pun yang Anda lihat sebagai perkiraan sampai Anda menguji hardware sendiri.

Apa artinya dalam praktik? Beberapa konfigurasi lokal yang realistis:

Konfigurasi	Muat 1-bit (610 GB)?	Ekspektasi (perkiraan)
PC gaming: 1x RTX 4090 (24 GB) + RAM 128 GB	Tidak	Hanya jalan dengan offload disk berat; sangat lambat, hanya berguna untuk uji coba
Workstation atau server: 1-2 GPU + DDR5 768 GB	Ya	Bisa dipakai untuk eksperimen satu pengguna dengan kecepatan rendah
Server multi-GPU dengan 8x GPU 80-141 GB	Ya, di VRAM	Kecepatan interaktif untuk satu atau beberapa pengguna
Node 8x B300 / kelas GB300	Bobot asli MXFP4	Layanan produksi dengan vLLM atau SGLang

Bobot asli (vLLM dan SGLang)

Untuk bobot resmi, resep vLLM untuk Kimi K3 mensyaratkan minimal 8x GPU GB300 (atau minimal 8x MI355X atau MI350X di AMD ROCm), menggunakan image vllm/vllm-openai:kimi-k3 yang memerlukan CUDA 13 dan driver NVIDIA r580 atau lebih baru. Cookbook SGLang mencantumkan bentuk node seperti B300 1x8, GB300 2x4, B200 2x8, GB200 4x4, H200 2x8, H100 4x8, dan MI350X/MI355X 1x8, tetapi per Oktober 2026 hanya konfigurasi B300 1x8 yang ditandai sudah terverifikasi. Dengan kata lain, deployment H100 membutuhkan empat node 8 GPU, yang berada di luar jangkauan hampir semua orang yang menjalankannya "secara lokal".

Untuk pembahasan sizing yang lebih mendalam, lihat panduan kebutuhan memori GPU untuk LLM dan panduan deployment vLLM dengan expert parallel kami.

Menjalankan Kimi K3 secara lokal dengan llama.cpp (GGUF)

Langkah-langkah ini mengikuti panduan Unsloth. Dukungan visi K3 saat ini memerlukan fork llama.cpp milik Unsloth; penggunaan teks saja mengikuti langkah yang sama.

1. Build llama.cpp. Gunakan -DGGML_CUDA=OFF jika Anda tidak punya GPU NVIDIA.

git clone https://github.com/unslothai/llama.cpp
cd llama.cpp
git fetch origin pull/48/head:kimi-k3-fullsize-vision
git checkout kimi-k3-fullsize-vision
cd ..
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
  --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Unduh kuantisasi 1-bit (sekitar 594 GB) dan proyektor visi. Periksa ruang disk kosong terlebih dahulu.

pip install -U huggingface_hub
df -h .   # need roughly 650 GB free
hf download unsloth/Kimi-K3-GGUF \
  --local-dir unsloth/Kimi-K3-GGUF \
  --include "*mmproj-BF16*" \
  --include "*UD-IQ1_S*"

3. Mengobrol di terminal. Gunakan sampling yang direkomendasikan Moonshot: temperature 1.0 dan top_p 0.95 (top_p 1.0 untuk tugas agentik).

FIRST=$(ls unsloth/Kimi-K3-GGUF/UD-IQ1_S/*00001-of-*.gguf | head -1)
./llama.cpp/llama-cli --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --temp 1.0 --top-p 0.95

4. Sajikan API yang kompatibel dengan OpenAI. llama-server menyediakan /v1/chat/completions. Ukuran konteks yang lebih kecil menghemat memori untuk KV cache.

./llama.cpp/llama-server --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --ctx-size 32768 --temp 1.0 --top-p 0.95 \
  --host 127.0.0.1 --port 8080

Menyajikan Kimi K3 dengan vLLM (node penuh)

Jika Anda memiliki, atau menyewa, node 8 GPU yang didukung, vLLM memberi throughput produksi, pemanggilan tool, dan konteks 1M penuh. Perintah dasar dari resep resmi:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:kimi-k3 \
  moonshotai/Kimi-K3 --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k3 --reasoning-parser kimi_k3 \
  --enable-auto-tool-choice \
  --max-model-len 1048576 \
  --enable-prefix-caching --kv-cache-dtype fp8

Resep tersebut juga mencatat bahwa format pemanggilan tool sesekali tidak valid, jadi validasi argumen tool dan coba ulang saat parsing gagal. Panduan deployment vLLM dan panduan inferensi multi-GPU kami membahas pemantauan dan tuning.

Memanggil server Kimi K3 lokal Anda

llama-server (port 8080 di atas) dan vLLM (port 8000) sama-sama mendukung API OpenAI, jadi SDK OpenAI apa pun bisa digunakan.

curl

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"moonshotai/Kimi-K3","temperature":1.0,"top_p":0.95,
       "messages":[{"role":"user","content":"Write a bash one-liner that finds the 5 largest files in a directory."}]}'

Python

from openai import OpenAI

# Local vLLM server; use base_url="http://127.0.0.1:8080/v1" for llama-server
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="local")

r = client.chat.completions.create(
    model="moonshotai/Kimi-K3",
    temperature=1.0, top_p=0.95,
    messages=[{"role": "user", "content": "Explain MoE routing in 3 sentences."}],
)
msg = r.choices[0].message
print(getattr(msg, "reasoning_content", None))  # thinking trace, when the server returns it
print(msg.content)

Node.js

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "http://127.0.0.1:8000/v1", apiKey: "local" });
const r = await client.chat.completions.create({
  model: "moonshotai/Kimi-K3",
  temperature: 1.0,
  top_p: 0.95,
  messages: [{ role: "user", content: "Give me a regex for ISO 8601 dates." }],
});
console.log(r.choices[0].message.content);

Dalam percakapan multi-giliran, tambahkan pesan assistant beserta reasoning_content dan tool_calls-nya ke riwayat sebelum giliran berikutnya, sesuai ketentuan model card.

Lokal vs sewa GPU vs API: berapa biaya Kimi K3?

Menyewa GPU. Indeks harga GPU Flatkey (diperbarui 24 Oktober 2026) mencantumkan tarif realtime 7,49 dolar AS per jam GPU untuk B200, 7,34 dolar AS untuk B300, 3,60 dolar AS untuk H200, dan 2,48 dolar AS untuk H100. Dengan demikian, satu node 8x B200 berbiaya sekitar 59,92 dolar AS per jam, atau kira-kira 43.700 dolar AS per bulan jika berjalan 24/7 (perkiraan kami: 8 x 7,49 dolar AS x 730 jam).

API yang di-hosting. Platform resmi Moonshot mencantumkan Kimi K3 seharga 3,00 dolar AS per juta token input, 0,30 dolar AS untuk input yang di-cache, dan 15,00 dolar AS per juta token output. Di halaman model Flatkey, Kimi K3 seharga 1,80 dolar AS input, 0,18 dolar AS input yang di-cache, dan 9,00 dolar AS output per juta token, dengan konteks yang sama sebesar 1.048.576 token (keduanya diperiksa 24 Oktober 2026).

Titik impas (perkiraan). Dengan rasio input terhadap output 3:1, harga Flatkey setara sekitar 3,60 dolar AS per juta token campuran. 43.700 dolar AS per bulan bisa membeli sekitar 12 miliar token campuran, atau sekitar 400 juta token per hari. Di bawah volume itu, API lebih murah daripada node 8x B200 khusus, belum termasuk waktu engineering.

Opsi	Biaya awal	Paling cocok untuk
GGUF 1-bit lokal di workstation ber-RAM besar	Hardware milik sendiri	Eksperimen yang sensitif privasi, kerja offline, belajar
Node 8 GPU sewaan dengan vLLM atau SGLang	Sewa per jam	Kontrol data plus throughput produksi, riset fine-tuning
API yang di-hosting (Moonshot atau Flatkey)	Tidak ada	Sebagian besar aplikasi, prototipe, dan lalu lintas yang fluktuatif

Anda dapat memanggil model yang di-hosting dengan kode yang sama seperti di atas dengan mengganti base URL:

import os
from openai import OpenAI

client = OpenAI(base_url="https://router.flatkey.ai/v1", api_key=os.environ["FLATKEY_API_KEY"])
r = client.chat.completions.create(model="kimi-k3",
    messages=[{"role": "user", "content": "Summarize the Kimi K3 license in two sentences."}])
print(r.choices[0].message.content)

Baca lebih lanjut di analisis biaya per juta token LLM self-hosted, perbandingan GPU cloud vs API model, dan panduan akses API Kimi K3 kami.

Pemecahan masalah

Masalah	Kemungkinan penyebab	Solusi
Generasi sangat lambat	Model tidak muat di RAM + VRAM dan dibaca dari disk	Gunakan kuantisasi lebih kecil, tambah RAM, atau pindah ke server GPU
`out of memory` saat memulai llama-server	KV cache terlalu besar	Turunkan `--ctx-size`
Input gambar diabaikan	File proyektor tidak ada atau memakai build llama.cpp upstream	Berikan `--mmproj` dan build fork Unsloth
Image vLLM gagal berjalan	CUDA atau driver terlalu lama	Gunakan CUDA 13 dengan driver r580 atau lebih baru
Pemanggilan tool rusak	Output pemanggilan tool sesekali tidak valid	Validasi argumen dan coba ulang
Giliran kedua berperilaku aneh	Konten berpikir tidak dikirim kembali	Sertakan `reasoning_content` dalam riwayat
Unduhan macet	Transfer besar dengan banyak file	Jalankan ulang `hf download`; unduhan akan dilanjutkan

FAQ

Bisakah Kimi K3 berjalan secara lokal?

Bisa. Bobotnya publik, dan GGUF 1-bit terkecil membutuhkan sekitar 610 GB gabungan RAM dan VRAM agar berjalan dengan kecepatan wajar. Dengan memori lebih sedikit model tetap berjalan, tetapi lambat, karena llama.cpp membaca bobot dari disk.

Bisakah saya menjalankan Kimi di PC gaming?

Tidak secara berguna. Satu GPU 24 GB dengan RAM 64-128 GB jauh di bawah sekitar 610 GB yang dibutuhkan kuantisasi terkecil, sehingga Anda harus mengandalkan offload ke disk. Gunakan API atau sewa server GPU.

Berapa VRAM yang dibutuhkan Kimi K3?

Untuk bobot asli, resep resmi vLLM mensyaratkan minimal 8x GPU GB300. Untuk GGUF, yang penting adalah gabungan RAM dan VRAM: sekitar 610 GB untuk 1-bit dan sekitar 880 GB untuk 2-bit (Unsloth, Oktober 2026).

Apakah Kimi K3 benar-benar lebih murah daripada model lain?

Lewat API, harganya menengah: 3 / 15 dolar AS per juta token di platform Moonshot dan 1,80 / 9 dolar AS di Flatkey per Oktober 2026. Self-hosting hanya mengalahkan harga API pada volume yang sangat tinggi dan stabil.