LLM gateway là gì? Cách hoạt động, tính năng chính và so sánh 7 lựa chọn (2026)
LLM gateway là một lớp API duy nhất nằm giữa ứng dụng của bạn và một hoặc nhiều nhà cung cấp mô hình. Nó đảm nhận xác thực, định tuyến, fallback, giới hạn tốc độ, theo dõi chi phí và ghi log, để mã của bạn chỉ gọi một endpoint thay vì tích hợp riêng với từng nhà cung cấp. Hầu hết gateway cung cấp API tương thích OpenAI. Khi đó, chuyển từ GPT sang Claude, Gemini hay Qwen chỉ là đổi một chuỗi model, không phải triển khai một tích hợp SDK mới.
Bài viết này giải thích từng bước cách LLM gateway hoạt động, chín tính năng quan trọng, điểm khác biệt so với API gateway, model router và MCP gateway, khi nào bạn cần và không cần, cùng bảng so sánh bảy gateway phổ biến. Thông tin sản phẩm được đối chiếu với tài liệu chính thức của từng nhà cung cấp vào ngày 20/10/2026.
Định nghĩa LLM gateway
LLM gateway (còn gọi là AI gateway hoặc LLM API gateway) nhận request gọi mô hình từ ứng dụng, áp dụng các quy tắc kiểm soát chung, chuyển tiếp từng request tới endpoint mô hình phù hợp và trả phản hồi theo một định dạng thống nhất.
Your apps ──► LLM gateway ──┬──► OpenAI
├──► Anthropic
one key ├──► Google
one API shape ├──► Alibaba (Qwen)
one usage ledger └──► fallback provider
Gateway không lưu trữ mô hình. Nó kiểm soát quyền truy cập vào mô hình.
Vì sao các đội ngũ dùng LLM gateway
Không có gateway, mỗi dịch vụ phải tự lưu key của nhà cung cấp, tự viết cơ chế retry và tự ghi log mức dùng theo định dạng riêng. Mỗi nhà cung cấp mới lại khiến vấn đề tăng thêm:
| Không có gateway | Có gateway |
|---|---|
| Mỗi dịch vụ một key cho mỗi nhà cung cấp | Mỗi dịch vụ một key gateway, xoay vòng tập trung (hướng dẫn xoay vòng key) |
| SDK và định dạng lỗi khác nhau | Một định dạng API, thường tương thích OpenAI |
| Sự cố nghĩa là phải sửa code | Fallback chỉ là cấu hình |
| Chi tiêu rải rác trên nhiều hóa đơn | Một sổ ghi mức dùng theo đội, key và mô hình |
| Không có giới hạn dùng chung | Hạn mức và ngân sách theo từng key |
Giá giữa các nhà cung cấp cũng chênh lệch đủ lớn để định tuyến mang lại giá trị. Ngày 20/10/2026, giá niêm yết đầu ra trên trang mô hình Flatkey dao động từ 0,47 USD mỗi 1 triệu token (qwen3.8-flash) đến 10,00 USD (gpt-6-sol, claude-sonnet-5-5) và 15,00 USD (kimi-k3). Gateway giúp bạn tận dụng chênh lệch đó mà không cần viết lại code.
LLM gateway hoạt động thế nào, từng bước
- Ứng dụng gửi request tới base URL của gateway kèm key gateway.
- Xác thực: gateway kiểm tra key và tải chính sách của key đó (mô hình được phép, ngân sách, giới hạn tốc độ).
- Chính sách trước request: kiểm tra hạn mức, có thể che hoặc chặn nội dung và gắn metadata như đội, môi trường hay tính năng.
- Định tuyến: chọn endpoint nhà cung cấp cho mô hình được yêu cầu, hoặc tuyến khỏe mạnh tiếp theo trong chuỗi fallback.
- Gọi nhà cung cấp: chuyển request sang định dạng của nhà cung cấp nếu cần và stream phản hồi về.
- Ghi nhận: log mô hình, độ trễ, token, chi phí, trạng thái và ID request để phục vụ quan sát và tính phí.
9 tính năng quan trọng của LLM gateway
| Tính năng | Cần kiểm tra gì |
|---|---|
| API thống nhất | /v1/chat/completions tương thích OpenAI, cùng Responses hoặc Messages nếu bạn dùng |
| Danh mục mô hình | Mô hình nào đang hoạt động và mô hình mới được thêm nhanh đến đâu |
| Fallback và failover | Chuỗi có thứ tự và điều kiện kích hoạt (429, 5xx, timeout) |
| Cân bằng tải | Giữa các key, khu vực hoặc nhà cung cấp |
| Giới hạn và ngân sách | Theo key, đội và mô hình, có trần cứng |
| Khả năng quan sát | Log request, mức dùng token, độ trễ và lỗi, lý tưởng là xuất được theo quy ước GenAI của OpenTelemetry |
| Theo dõi chi phí | Theo key, đội và môi trường (hướng dẫn phân bổ chi phí) |
| Cache | Cache phản hồi chính xác hoặc ngữ nghĩa, và chuyển tiếp prompt caching của nhà cung cấp |
| Bảo mật và chính sách | Phạm vi key, che dữ liệu cá nhân, điều khoản lưu trữ dữ liệu, bằng chứng SOC 2 hoặc DPA |
LLM gateway, API gateway, model router và MCP gateway khác nhau thế nào
| Lớp | Kiểm soát | Hiểu token và mô hình? | Ví dụ |
|---|---|---|---|
| API gateway | API HTTP chung | Không | Kong, AWS API Gateway |
| LLM gateway | Lưu lượng gọi mô hình qua nhiều nhà cung cấp | Có | LiteLLM, Portkey, Flatkey |
| Model router | Mô hình nào trả lời từng prompt | Có | RouteLLM, công cụ quy tắc |
| MCP gateway | Lệnh gọi công cụ của agent qua Model Context Protocol | Ở cấp công cụ | Proxy và registry MCP |
MCP gateway khác LLM gateway ở điểm nào? LLM gateway quản lý các lệnh gọi tới mô hình. MCP gateway quản lý các lệnh gọi từ agent tới công cụ và nguồn dữ liệu qua Model Context Protocol. Nền tảng agent thường cần cả hai: LLM gateway cho chi tiêu mô hình và MCP gateway cho quyền truy cập công cụ. Xem thêm kiểm soát AI agent qua gateway và AI API gateway so với quản lý API.
So sánh 7 LLM gateway (2026)
| Gateway | Triển khai | Mã nguồn mở | Điểm mạnh | Cần lưu ý |
|---|---|---|---|---|
| LiteLLM | Proxy tự host hoặc SDK | Có | Hơn 100 nhà cung cấp, định tuyến, ngân sách | Bạn tự vận hành, mở rộng và vá lỗi |
| Portkey | Dịch vụ host hoặc tự host | Lõi gateway là mã nguồn mở | Guardrail, khả năng quan sát | Tính năng nâng cao ở gói trả phí |
| Cloudflare AI Gateway | Host tại edge | Không | Cache, phân tích, giới hạn tốc độ | Bạn vẫn phải quản lý key nhà cung cấp |
| Kong AI Gateway | Tự host hoặc Konnect | Lõi là mã nguồn mở | Phù hợp với hệ thống quản lý API Kong sẵn có | Cấu hình plugin khá tốn công |
| Vercel AI Gateway | Dịch vụ host | Không | Tích hợp chặt với Vercel và AI SDK | Tốt nhất khi dùng trong hệ sinh thái Vercel |
| OpenRouter | Dịch vụ host | Không | Danh mục mô hình rất rộng, dùng credit | Định tuyến dùng chung kiểu marketplace |
| Flatkey | Dịch vụ host | Không | Một key và một số dư cho GPT, Claude, Gemini, Qwen, DeepSeek, Kimi, GLM, cùng mô hình ảnh và video | Kiểm tra danh mục với các mô hình ngách |
So sánh chi tiết hơn: hướng dẫn chọn LLM gateway, các lựa chọn thay thế OpenRouter, lựa chọn thay thế Portkey, lựa chọn thay thế Vercel AI Gateway và gateway được quản lý so với proxy tự host.
LLM gateway trông thế nào trong code
Với gateway tương thích OpenAI, ứng dụng vẫn dùng OpenAI SDK và chỉ đổi hai giá trị: base URL và key. Từ đó, chuyển nhà cung cấp chỉ là đổi một chuỗi.
curl
curl https://router.flatkey.ai/v1/chat/completions \
-H "Authorization: Bearer $FLATKEY_API_KEY" -H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-5-5", "messages": [{"role": "user", "content": "What is an LLM gateway?"}]}'
Python: một client, nhiều nhà cung cấp, fallback tự động
import os
from openai import OpenAI, APIError
gw = OpenAI(api_key=os.environ["FLATKEY_API_KEY"], base_url="https://router.flatkey.ai/v1")
def complete(prompt, chain=("gpt-6-sol", "claude-sonnet-5-5", "gemini-3.5-flash")):
for model in chain:
try:
r = gw.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
return model, r.choices[0].message.content, r.usage.total_tokens
except APIError as err:
print(f"{model} -> {err.__class__.__name__}, trying next")
raise RuntimeError("no route available")
print(complete("Give me one sentence on why gateways log token usage."))
Node.js
import OpenAI from "openai";
const gw = new OpenAI({ apiKey: process.env.FLATKEY_API_KEY, baseURL: "https://router.flatkey.ai/v1" });
const models = ["qwen3.8-max", "gpt-6-luna"];
const results = await Promise.all(models.map((model) =>
gw.chat.completions.create({ model, messages: [{ role: "user", content: "Define 'fallback' in 8 words." }] })
));
results.forEach((r, i) => console.log(models[i], r.usage.total_tokens, r.choices[0].message.content));
Không có gateway, việc này cần ba SDK, ba key và ba định dạng lỗi. Để thực hiện lệnh gọi đầu tiên, hãy làm theo hướng dẫn nhanh Flatkey.
Tương thích OpenAI: đảm bảo gì và không đảm bảo gì
"Tương thích OpenAI" nghĩa là định dạng request và response khớp với Chat Completions API của OpenAI. Điều đó không đảm bảo mọi mô hình đều hỗ trợ mọi tính năng. Trước khi chuyển đổi, hãy kiểm thử theo từng mô hình:
- Các chunk streaming và giá trị
finish_reason - Gọi tool/function và gọi tool song song
- Structured output hoặc chế độ JSON
- Đầu vào hình ảnh và tệp
- Các trường
usage, kể cả token được cache - Mã lỗi khi vượt giới hạn tốc độ và tràn ngữ cảnh (phân loại lỗi)
Khi nào bạn cần LLM gateway (và khi nào không)
Bạn nhiều khả năng cần nếu: - Bạn gọi hai nhà cung cấp mô hình trở lên, hoặc có kế hoạch làm vậy. - Nhiều đội hoặc dịch vụ dùng chung chi phí AI và cần ngân sách theo đội. - Bạn cần failover khi nhà cung cấp gặp sự cố. - Bộ phận tài chính cần một sổ ghi thay vì năm hóa đơn.
Có thể bạn chưa cần nếu: - Bạn chỉ có một prototype trên một mô hình với lưu lượng thấp. - Hợp đồng với nhà cung cấp yêu cầu truy cập trực tiếp, không qua trung gian.
Cách đánh giá một LLM gateway trong một buổi chiều
- Kiểm thử hợp đồng: chạy 20 request phổ biến nhất của bạn (streaming, tool, JSON) qua gateway.
- Kiểm thử lỗi: cố tình dùng ID mô hình sai và tạo timeout. Fallback có kích hoạt không, lỗi có rõ ràng không?
- Kiểm thử overhead: so sánh độ trễ P50 và P95 với việc gọi trực tiếp nhà cung cấp.
- Kiểm thử sổ ghi: số token được log có khớp với
usagecủa nhà cung cấp không? Có xem được chi phí theo key không? - Rà soát bảo mật: kiểm tra phạm vi key, thời gian lưu log và điều khoản xử lý dữ liệu (checklist DPA).
- Kiểm thử rút lui: bạn có thể rời đi chỉ bằng cách đổi base URL về như cũ không?
Câu hỏi thường gặp
LLM gateway là gì?
LLM gateway là một API trung gian nằm giữa ứng dụng và nhà cung cấp mô hình. Nó tập trung xác thực, định tuyến, fallback, giới hạn tốc độ, ghi log và theo dõi chi phí sau một endpoint duy nhất, thường tương thích OpenAI.
Những LLM gateway phổ biến nhất là gì?
Các lựa chọn được dùng nhiều trong năm 2026 gồm LiteLLM (mã nguồn mở, tự host), Portkey, Cloudflare AI Gateway, Kong AI Gateway, Vercel AI Gateway, OpenRouter và các router dạng dịch vụ như Flatkey.
LLM gateway có miễn phí không?
Gateway mã nguồn mở như LiteLLM có thể chạy miễn phí, nhưng bạn phải trả chi phí hosting và vận hành. Gateway dạng dịch vụ hoặc thu phí nền tảng, hoặc tính phí sử dụng mô hình theo bảng giá riêng. Dù thế nào, token của mô hình vẫn tốn tiền.
MCP gateway khác LLM gateway thế nào?
LLM gateway quản lý request tới mô hình ngôn ngữ. MCP gateway quản lý request của agent tới công cụ và nguồn dữ liệu qua Model Context Protocol. Chúng giải quyết các vấn đề khác nhau và thường được triển khai cùng nhau.
LLM gateway có giống AI gateway không?
Thường là có. "AI gateway" là thuật ngữ marketing rộng hơn, thường bao gồm cả mô hình ảnh, video và âm thanh. "LLM gateway" nhấn mạnh vào mô hình văn bản.
LLM gateway có làm tăng độ trễ không?
Có, một chút: thêm một bước mạng cộng với các kiểm tra chính sách. Hãy đo overhead P95 tại khu vực của bạn. Khi có sự cố, failover thường tiết kiệm thời gian nhiều hơn hẳn so với chi phí của bước mạng đó.
LLM gateway có giúp giảm chi phí không?
Có, một cách gián tiếp. Nó giúp áp dụng nhất quán việc định tuyến sang mô hình rẻ hơn, cache và trần ngân sách. Nó không làm token của một mô hình cụ thể rẻ hơn, trừ khi chính gateway đưa ra mức giá chiết khấu.
Kết luận
LLM gateway biến nhiều tích hợp nhà cung cấp thành một endpoint được kiểm soát: một key, một định dạng API, một sổ ghi và fallback chỉ là cấu hình. Chọn tự host (LiteLLM, Kong) nếu bạn muốn toàn quyền kiểm soát và có khả năng vận hành. Chọn dịch vụ host (Portkey, Cloudflare, Vercel, OpenRouter, Flatkey) nếu không muốn tự vận hành hạ tầng. Để thử hướng dịch vụ host, hãy xem danh mục mô hình Flatkey và trang giá.
Cập nhật lần cuối: 20/10/2026 · Flatkey Team. Thông tin sản phẩm được tóm tắt từ tài liệu chính thức được liên kết trong bài.
