Затраты, оплата и эксплуатация24 октября 2026 г.Flatkey Team

Можно ли запустить Kimi K3 локально? Железо, GGUF и vLLM (2026)

Kimi K3 можно запустить локально, но самому маленькому 1-битному GGUF нужно около 610 ГБ RAM и VRAM. Точные требования к железу, команды llama.cpp и vLLM, условия лицензии и сравнение стоимости с арендой GPU и API.

Можно ли запустить Kimi K3 локально? Железо, GGUF и vLLM (2026)

Да, Kimi K3 можно запустить локально, потому что Moonshot AI публикует веса на Hugging Face, но это модель на 2,8 триллиона параметров, поэтому «локально» означает около 610 ГБ суммарной RAM и VRAM для самого маленького 1-битного GGUF или целый 8-GPU узел Blackwell для нативных весов. На одной рабочей станции с меньшим объёмом памяти модель всё равно загрузится с диска, но будет работать очень медленно. Для большинства разработчиков запуск K3 на арендованных GPU или вызов через API обходится дешевле покупки железа.

В этом руководстве описано всё, что нужно для запуска Kimi K3 на собственных машинах по состоянию на 24 октября 2026 года: лицензия, точные требования к памяти для каждого квантования, пошаговые команды llama.cpp и vLLM, вызов локального сервера из кода и сравнение стоимости с арендой GPU и облачными API. Цифры взяты из карточки модели Moonshot AI, официальных рецептов vLLM и SGLang и документации Unsloth; всё, что мы оценивали сами, помечено как оценка.

Kimi K3 вкратце

Характеристика	Значение
Разработчик	Moonshot AI
Веса	moonshotai/Kimi-K3 на Hugging Face
Архитектура	Mixture of experts: 2,8T параметров всего, 104B активных на токен
Эксперты	896 маршрутизируемых экспертов, 16 выбираются на токен, плюс 2 общих
Слои	93 (69 слоёв линейного внимания KDA и 24 слоя gated MLA)
Контекстное окно	1 048 576 токенов
Входные данные	Текст и изображения (визуальный энкодер MoonViT-V2, 401M параметров)
Нативная точность	Веса MXFP4 с активациями MXFP8 (обучение с учётом квантования)
Рассуждение	Режим размышления всегда включён; `reasoning_effort` low, high или max (по умолчанию max)
Лицензия	Kimi K3 License (модифицированная MIT)

Источник: карточка модели Kimi K3, проверено 24 октября 2026 года.

Два замечания перед началом. Во-первых, Moonshot AI теперь предлагает Kimi K3.1 Pro через свой API и называет K3 «флагманом предыдущего поколения», но на 24 октября 2026 года новейшие открытые веса на Hugging Face — по-прежнему Kimi K3, так что именно K3 вы можете запустить сами. Во-вторых, K3 работает только в режиме размышления: в многоходовых диалогах клиент должен передавать обратно reasoning_content и вызовы инструментов, как описано в карточке модели.

Можно ли использовать Kimi K3 в коммерческих целях?

Kimi K3 License — лицензия в стиле MIT с двумя дополнительными условиями, согласно файлу лицензии на Hugging Face (октябрь 2026 года):

Если вы предлагаете K3 как модель-как-сервис и ваша выручка за предыдущие 12 месяцев превышает 20 миллионов долларов, нужен отдельный договор с Moonshot AI.
Если у вашего продукта более 100 миллионов активных пользователей в месяц или более 20 миллионов долларов выручки в месяц, в интерфейсе нужно указывать «Kimi K3».

Внутреннее использование в компании этими условиями не ограничено. Для большинства стартапов и команд локальное или self-hosted использование разрешено; перед запуском прочитайте полный текст лицензии.

Сколько железа нужно Kimi K3?

Квантования GGUF (llama.cpp)

Unsloth публикует динамические квантования GGUF. Их практическое правило: сумма RAM и VRAM должна быть не меньше размера квантования, иначе модель будет выгружаться на диск и работать намного медленнее.

Квантование	Нужно памяти (RAM + VRAM)	Примечания
Динамическое 1-бит S (`UD-IQ1_S`)	около 610 ГБ	594 ГБ файлов; рекомендуемый Unsloth баланс размера и качества, точность top-1 около 79%
Динамическое 1-бит M	около 665 ГБ
Динамическое 2-бит XXS	около 726 ГБ
Динамическое 2-бит XL	около 880 ГБ	Unsloth сообщает о точности около 90% для своего динамического 2-бит на 861 ГБ
Q8 (`UD-Q8_K_XL`, без потерь)	около 1,6 ТБ	1,56 ТБ файлов; соответствует нативным весам MXFP4

Unsloth сообщает о скорости генерации около 20 токенов в секунду, когда 1-битное квантование помещается в GPU B200. На машинах с упором на CPU, где большая часть весов лежит в системной RAM, скорость будет гораздо ниже; мы её не измеряли, поэтому считайте любые встреченные цифры оценкой, пока не протестируете своё железо.

Что это значит на практике? Несколько реалистичных локальных конфигураций:

Конфигурация	Помещается 1-бит (610 ГБ)?	Ожидания (оценка)
Игровой ПК: 1x RTX 4090 (24 ГБ) + 128 ГБ RAM	Нет	Работает только с интенсивной выгрузкой на диск; очень медленно, подходит лишь для тестов
Рабочая станция или сервер: 1-2 GPU + 768 ГБ DDR5	Да	Подходит для однопользовательских экспериментов на низкой скорости
Мульти-GPU сервер с 8x GPU по 80-141 ГБ	Да, в VRAM	Интерактивная скорость для одного или нескольких пользователей
Узел 8x B300 / класса GB300	Нативные веса MXFP4	Продакшен-обслуживание через vLLM или SGLang

Нативные веса (vLLM и SGLang)

Для официальных весов рецепт vLLM для Kimi K3 требует минимум 8x GPU GB300 (или минимум 8x MI355X или MI350X на AMD ROCm) и образ vllm/vllm-openai:kimi-k3, которому нужны CUDA 13 и драйвер NVIDIA r580 или новее. Cookbook SGLang перечисляет конфигурации узлов B300 1x8, GB300 2x4, B200 2x8, GB200 4x4, H200 2x8, H100 4x8 и MI350X/MI355X 1x8, но на октябрь 2026 года проверенной отмечена только конфигурация B300 1x8. Иными словами, для развёртывания на H100 нужны четыре 8-GPU узла, что недоступно почти никому из тех, кто запускает модель «локально».

Подробнее о расчёте ресурсов — в нашем руководстве по требованиям LLM к памяти GPU и руководстве по развёртыванию vLLM с параллелизмом экспертов.

Запуск Kimi K3 локально через llama.cpp (GGUF)

Эти шаги следуют руководству Unsloth. Поддержка изображений в K3 пока требует форка llama.cpp от Unsloth; для работы только с текстом шаги те же.

1. Соберите llama.cpp. Используйте -DGGML_CUDA=OFF, если у вас нет GPU NVIDIA.

git clone https://github.com/unslothai/llama.cpp
cd llama.cpp
git fetch origin pull/48/head:kimi-k3-fullsize-vision
git checkout kimi-k3-fullsize-vision
cd ..
cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
  --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2. Скачайте 1-битное квантование (около 594 ГБ) и визуальный проектор. Сначала проверьте свободное место на диске.

pip install -U huggingface_hub
df -h .   # need roughly 650 GB free
hf download unsloth/Kimi-K3-GGUF \
  --local-dir unsloth/Kimi-K3-GGUF \
  --include "*mmproj-BF16*" \
  --include "*UD-IQ1_S*"

3. Общайтесь в терминале. Используйте рекомендованные Moonshot параметры сэмплирования: temperature 1.0 и top_p 0.95 (top_p 1.0 для агентных задач).

FIRST=$(ls unsloth/Kimi-K3-GGUF/UD-IQ1_S/*00001-of-*.gguf | head -1)
./llama.cpp/llama-cli --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --temp 1.0 --top-p 0.95

4. Поднимите OpenAI-совместимый API. llama-server предоставляет /v1/chat/completions. Меньший размер контекста экономит память под KV-кэш.

./llama.cpp/llama-server --model "$FIRST" \
  --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
  --ctx-size 32768 --temp 1.0 --top-p 0.95 \
  --host 127.0.0.1 --port 8080

Обслуживание Kimi K3 через vLLM (полный узел)

Если у вас есть или вы арендуете поддерживаемый 8-GPU узел, vLLM даёт продакшен-пропускную способность, вызов инструментов и полный контекст 1M. Базовая команда из официального рецепта:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:kimi-k3 \
  moonshotai/Kimi-K3 --trust-remote-code \
  --tensor-parallel-size 8 \
  --tool-call-parser kimi_k3 --reasoning-parser kimi_k3 \
  --enable-auto-tool-choice \
  --max-model-len 1048576 \
  --enable-prefix-caching --kv-cache-dtype fp8

В рецепте также отмечено, что формат вызовов инструментов иногда бывает некорректным, поэтому проверяйте аргументы и повторяйте запрос при ошибке парсинга. Наше руководство по развёртыванию vLLM и руководство по мульти-GPU инференсу описывают мониторинг и настройку.

Вызов локального сервера Kimi K3

И llama-server (порт 8080 выше), и vLLM (порт 8000) поддерживают OpenAI API, поэтому подойдёт любой OpenAI SDK.

curl

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"moonshotai/Kimi-K3","temperature":1.0,"top_p":0.95,
       "messages":[{"role":"user","content":"Write a bash one-liner that finds the 5 largest files in a directory."}]}'

Python

from openai import OpenAI

# Local vLLM server; use base_url="http://127.0.0.1:8080/v1" for llama-server
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="local")

r = client.chat.completions.create(
    model="moonshotai/Kimi-K3",
    temperature=1.0, top_p=0.95,
    messages=[{"role": "user", "content": "Explain MoE routing in 3 sentences."}],
)
msg = r.choices[0].message
print(getattr(msg, "reasoning_content", None))  # thinking trace, when the server returns it
print(msg.content)

Node.js

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "http://127.0.0.1:8000/v1", apiKey: "local" });
const r = await client.chat.completions.create({
  model: "moonshotai/Kimi-K3",
  temperature: 1.0,
  top_p: 0.95,
  messages: [{ role: "user", content: "Give me a regex for ISO 8601 dates." }],
});
console.log(r.choices[0].message.content);

В многоходовых диалогах перед следующим ходом добавляйте в историю сообщение ассистента вместе с reasoning_content и всеми tool_calls, как требует карточка модели.

Локально, аренда GPU или API: сколько стоит Kimi K3?

Аренда GPU. Индекс цен на GPU от Flatkey (обновлён 24 октября 2026 года) показывает текущие ставки: 7,49 $ за GPU-час для B200, 7,34 $ для B300, 3,60 $ для H200 и 2,48 $ для H100. Таким образом, узел 8x B200 стоит около 59,92 $ в час, или примерно 43 700 $ в месяц при круглосуточной работе (наша оценка: 8 x 7,49 $ x 730 часов).

Облачный API. На официальной платформе Moonshot Kimi K3 стоит 3,00 $ за миллион входных токенов, 0,30 $ за кэшированный вход и 15,00 $ за миллион выходных токенов. На странице модели во Flatkey Kimi K3 стоит 1,80 $ за вход, 0,18 $ за кэшированный вход и 9,00 $ за выход на миллион токенов, с тем же контекстом 1 048 576 токенов (оба проверены 24 октября 2026 года).

Точка безубыточности (оценка). При соотношении входа к выходу 3:1 цена Flatkey составляет около 3,60 $ за миллион смешанных токенов. На 43 700 $ в месяц можно купить около 12 миллиардов смешанных токенов, то есть около 400 миллионов токенов в день. При меньшем объёме API дешевле выделенного узла 8x B200, даже без учёта инженерного времени.

Вариант	Начальные затраты	Лучше всего для
Локальный 1-битный GGUF на станции с большим объёмом RAM	Собственное железо	Эксперименты с чувствительными данными, офлайн-работа, обучение
Арендованный 8-GPU узел с vLLM или SGLang	Почасовая аренда	Контроль над данными плюс продакшен-пропускная способность, исследования по дообучению
Облачный API (Moonshot или Flatkey)	Нет	Большинство приложений, прототипы и переменная нагрузка

Облачную модель можно вызвать тем же кодом, что и выше, просто сменив base URL:

import os
from openai import OpenAI

client = OpenAI(base_url="https://router.flatkey.ai/v1", api_key=os.environ["FLATKEY_API_KEY"])
r = client.chat.completions.create(model="kimi-k3",
    messages=[{"role": "user", "content": "Summarize the Kimi K3 license in two sentences."}])
print(r.choices[0].message.content)

Подробнее — в нашем анализе стоимости миллиона токенов для self-hosted LLM, сравнении GPU-облака и API моделей и руководстве по доступу к API Kimi K3.

Устранение неполадок

Проблема	Вероятная причина	Решение
Генерация крайне медленная	Модель не помещается в RAM + VRAM и читается с диска	Возьмите квантование меньше, добавьте RAM или перейдите на GPU-сервер
`out of memory` при запуске llama-server	Слишком большой KV-кэш	Уменьшите `--ctx-size`
Изображения игнорируются	Нет файла проектора или используется upstream-сборка llama.cpp	Передайте `--mmproj` и соберите форк Unsloth
Образ vLLM не запускается	Слишком старые CUDA или драйвер	Используйте CUDA 13 с драйвером r580 или новее
Сломанные вызовы инструментов	Иногда некорректный вывод вызова инструмента	Проверяйте аргументы и повторяйте запрос
Второй ход ведёт себя странно	Содержимое размышлений не передано обратно	Включайте `reasoning_content` в историю
Загрузка зависает	Большая многофайловая передача	Перезапустите `hf download` — загрузка продолжится

Частые вопросы

Можно ли запустить Kimi K3 локально?

Да. Веса открыты, и самому маленькому 1-битному GGUF нужно около 610 ГБ суммарной RAM и VRAM для разумной скорости. С меньшим объёмом памяти модель тоже работает, но медленно, потому что llama.cpp читает веса с диска.

Можно ли запустить Kimi на игровом ПК?

Практически нет. Одна GPU на 24 ГБ и 64-128 ГБ RAM — это намного меньше примерно 610 ГБ, нужных самому маленькому квантованию, так что придётся полагаться на выгрузку на диск. Лучше используйте API или арендуйте GPU-сервер.

Сколько VRAM нужно Kimi K3?

Для нативных весов официальный рецепт vLLM требует минимум 8x GPU GB300. Для GGUF важна сумма RAM и VRAM: около 610 ГБ для 1-бит и около 880 ГБ для 2-бит (Unsloth, октябрь 2026 года).

Действительно ли Kimi K3 дешевле других моделей?

Через API он в среднем ценовом сегменте: 3 $ / 15 $ за миллион токенов на платформе Moonshot и 1,80 $ / 9 $ во Flatkey на октябрь 2026 года. Self-hosting выгоднее API только при очень больших и стабильных объёмах.