Câu trả lời thực tế cho B200 vs B300 không phải là "mua GPU Blackwell mới hơn". NVIDIA B300 là lựa chọn mạnh hơn khi dung lượng bộ nhớ dự phòng, suy luận ngữ cảnh dài, batch lớn hơn và quy mô mô hình trong tương lai là các yếu tố bị giới hạn. NVIDIA B200 vẫn là điểm khởi đầu tốt hơn khi dung lượng có sẵn sớm hơn, giá tốt hơn đáng kể, hoặc workload của bạn đã nằm gọn trong một hệ thống B200 mà không tạo áp lực phân mảnh.
Đối với các nhóm hạ tầng ML, câu hỏi hữu ích là:
B300 có làm giảm đủ số lượng GPU, số bản sao, job thất bại hoặc chi phí output được chấp nhận để biện minh cho giá, tính sẵn có và rủi ro chuyển đổi so với B200 không?
Hướng dẫn B300 vs B200 này tập trung vào các quyết định về bộ nhớ, băng thông, huấn luyện và suy luận cho việc mua sắm GPU đám mây. Nó sử dụng các nguồn thông số/hệ thống chính thức của NVIDIA khi có thể và không giả định rằng một benchmark công khai duy nhất có thể trả lời mọi workload.
Đã kiểm tra vào ngày 12 tháng 10, 2026.
B200 vs B300: câu trả lời nhanh
Chọn B300 khi mô hình, độ dài ngữ cảnh, kích thước batch, checkpoint hoặc KV cache tiến gần giới hạn bộ nhớ trên B200. Lợi thế thực tế lớn nhất của B300 là dung lượng bộ nhớ dự phòng trong các hệ thống Blackwell Ultra, chứ không phải lời hứa chung rằng mọi lượt huấn luyện hay điểm cuối suy luận đều rẻ hơn.
Chọn B200 khi workload phù hợp một cách trọn vẹn, việc chuyển từ Hopper sang Blackwell đã đủ thay đổi, hoặc báo giá của nhà cung cấp cho B300 vẫn còn khan hiếm trong giai đoạn ra mắt. B200 vẫn là một bộ tăng tốc thuộc lớp Blackwell, và một cụm B300 sử dụng không hết có thể thua một triển khai B200 được tận dụng tốt.
| Quyết định | Benchmark đầu tiên tốt hơn | Tại sao |
|---|---|---|
| Suy luận LLM ngữ cảnh dài gần giới hạn bộ nhớ | B300 | Nhiều headroom HBM hơn có thể hỗ trợ KV cache lớn hơn, concurrency cao hơn hoặc ít shard hơn. |
| Serving FP8/BF16 hạng 70B vốn đã vừa | B200 và B300 | B200 có thể đã đủ; B300 phải chứng minh chi phí output được chấp nhận thấp hơn. |
| Suy luận mô hình rất lớn hoặc endpoint đa thuê | B300 | Dung lượng bộ nhớ có thể có giá trị hơn đỉnh tensor lý thuyết. |
| Các lượt huấn luyện bị giới hạn bởi bộ nhớ activation/checkpoint | B300 | HBM lớn hơn có thể giảm recomputation, áp lực sharding hoặc việc phải đánh đổi kích thước batch. |
| Đã có dung lượng đặt trước B200 hiện hữu | B200 | Tính liên tục vận hành và mức sử dụng có thể tốt hơn một SKU mới hơn. |
| Dung lượng B300 khan hiếm hoặc chỉ có báo giá | B200 | Tính sẵn có, SLA và thời gian chờ có thể lấn át bảng thông số. |
| Rủi ro mua sắm thấp nhất hiện nay | B200 | Dễ khám phá giá hơn và mô hình triển khai Blackwell sớm đã trưởng thành hơn. |
So sánh thông số cốt lõi
Hãy dùng bảng dưới đây như một bộ lọc shortlist, không phải đơn đặt hàng. Giá trị chính xác có thể thay đổi theo thiết kế hệ thống, dạng thức và nhà cung cấp. Hướng dẫn người dùng DGX B300 của NVIDIA liệt kê tám GPU Tensor Core B300 với tổng 2,3 TB bộ nhớ GPU HBM3e, 72 petaFLOPS FP8, 144 petaFLOPS FP4, 64 TB/s băng thông bộ nhớ GPU tổng hợp, và 14,4 TB/s băng thông NVLink tổng hợp. Hướng dẫn người dùng DGX B200 của NVIDIA liệt kê tám GPU Tensor Core B200 với tổng 1,4 TB bộ nhớ GPU HBM3e, cùng mức hiệu năng FP8/FP4 tổng hợp cấp DGX như trên, 64 TB/s băng thông bộ nhớ GPU tổng hợp, và 14,4 TB/s băng thông NVLink tổng hợp. Nguồn: Hướng dẫn người dùng NVIDIA DGX B300 và Hướng dẫn người dùng NVIDIA DGX B200.
| Khu vực | NVIDIA B200 trong DGX B200 | NVIDIA B300 trong DGX B300 | Hàm ý cho người mua |
|---|---|---|---|
| Họ kiến trúc | Blackwell | Blackwell Ultra | B300 là tùy chọn Blackwell thiên về bộ nhớ mới hơn; B200 vẫn thuộc lớp Blackwell. |
| Số GPU trong hệ thống DGX | 8 GPU | 8 GPU | Hãy so sánh dung lượng ở cấp hệ thống, không chỉ tên một GPU. |
| Tổng bộ nhớ GPU trong hệ thống DGX | 1,4 TB HBM3e | 2,3 TB HBM3e | B300 có dung lượng bộ nhớ GPU DGX được liệt kê cao hơn khoảng 60%. |
| Bộ nhớ suy ra trên mỗi GPU | Hạng 180 GB | Hạng 288 GB | Đây là ranh giới trực quan lớn nhất cho workload LLM. |
| Băng thông bộ nhớ tổng hợp | 64 TB/s | 64 TB/s | Băng thông không tự động là yếu tố khác biệt trong các bảng DGX; mức độ phù hợp với workload vẫn rất quan trọng. |
| Băng thông NVLink tổng hợp | 14,4 TB/s | 14,4 TB/s | Topologies đa GPU vẫn quan trọng hơn bản thân tên GPU đơn lẻ. |
| FP8 / FP4 tổng hợp được liệt kê | 72 PFLOPS FP8 / 144 PFLOPS FP4 | 72 PFLOPS FP8 / 144 PFLOPS FP4 | Đừng cho rằng B300 sẽ thắng mọi benchmark chỉ từ phép toán đỉnh. |
Thông điệp chính: trong một đợt xem xét mua sắm NVIDIA B300 vs B200, B300 trước hết nên được xem là một nâng cấp về dung lượng bộ nhớ dự phòng. Nếu workload của bạn bị giới hạn bởi bộ nhớ, B300 có thể thay đổi kinh tế tổng thể. Nếu workload của bạn bị giới hạn bởi tính toán và đã vừa thoải mái trên B200, câu trả lời phải đến từ dữ liệu benchmark, không phải tên SKU.
Bộ nhớ: vì sao B300 làm thay đổi danh sách rút gọn
Bộ nhớ là lý do mạnh nhất để chọn B300. Hạ tầng LLM trong sản xuất cần chỗ cho nhiều thứ hơn là trọng số mô hình:
- KV cache cho ngữ cảnh dài và concurrency.
- Các bộ đệm runtime và overhead của framework serving.
- Giải mã suy đoán hoặc trạng thái của mô hình nháp.
- Các bộ đệm giao tiếp tensor parallel.
- Adapter LoRA hoặc các biến thể mô hình đa thuê.
- Biên an toàn cho các trường hợp độ dài prompt ngoại lai.
Bộ nhớ lớp 180 GB của B200 đã là rất lớn. Bộ nhớ lớp 288 GB của B300 thay đổi các trường hợp biên: những workload cần nhiều tensor parallel shard hơn trên B200, phải giới hạn độ dài ngữ cảnh, hoặc không thể giữ đủ KV cache trên một GPU có thể trở nên đơn giản hơn trên B300.
Điều đó không có nghĩa là B300 luôn rẻ hơn. Điều đó có nghĩa là B300 có thể thắng khi nó giảm số lượng hệ thống, tránh độ phức tạp của sharding, cải thiện kích thước batch được chấp nhận, hoặc ngăn chặn OOM và lãng phí do thử lại.
Băng thông: B300 không xóa bỏ bước nhảy benchmark
Nhiều đội AI tìm kiếm một so sánh hiệu năng NVIDIA B300 vs B200 đơn giản và kỳ vọng một bên thắng rõ ràng về băng thông. Các bảng hướng dẫn DGX tinh tế hơn. NVIDIA liệt kê cùng băng thông bộ nhớ GPU tổng hợp cho các hệ thống DGX B200 và DGX B300: 64 TB/s trên tám GPU.
Điều đó quan trọng vì suy luận LLM có nhiều nút thắt:
| Nút thắt | Điều đó có ý nghĩa gì với B200 vs B300 |
|---|---|
| Độ phù hợp bộ nhớ của mô hình | B300 có thể thắng nếu B200 cần nhiều shard hơn hoặc batch size thấp hơn. |
| Dung lượng KV cache | B300 có thể thắng với ngữ cảnh dài và mức đồng thời cao. |
| Băng thông bộ nhớ | Các bảng DGX công khai không cho thấy băng thông là yếu tố phân tách B300 một cách rõ ràng. |
| Tính toán tensor | Các bảng DGX công khai liệt kê cùng giá trị đỉnh tổng hợp FP8/FP4 cho cả hai hệ thống. |
| Liên kết nội bộ | Cả hai hệ thống vẫn cần benchmark có hiểu biết về topology. |
| Kernel phần mềm | TensorRT-LLM, vLLM, SGLang, CUDA và các kernel đặc thù theo mô hình có thể thay đổi bên thắng. |
Vì vậy, kết luận về băng thông là thận trọng: B300 có thể là GPU tốt hơn khi bộ nhớ bổ sung cho phép tầng phục vụ dùng batching tốt hơn hoặc ít shard hơn, nhưng người mua vẫn phải đo thông lượng và độ trễ trên lưu lượng thực tế.
Huấn luyện: khi nào B300 đáng tiền
Đối với huấn luyện và tinh chỉnh, B300 hấp dẫn nhất khi bộ nhớ thay đổi thiết kế của lần chạy.
Ví dụ:
- Micro-batch lớn hơn mà không ngay lập tức gặp lỗi bộ nhớ activation.
- Ít cần activation checkpointing gắt gao hơn.
- Ít stage pipeline hoặc tensor parallel hơn cho một kích thước mô hình.
- Cửa sổ ngữ cảnh lớn hơn trong quá trình supervised fine-tuning hoặc reinforcement learning.
- Batch đa phương thức độ phân giải cao hơn.
- Rủi ro lỗi thấp hơn cho các lần chạy có độ dài chuỗi thay đổi.
Nhưng nếu công việc huấn luyện của bạn đã được tối ưu xoay quanh B200, GPU mới hơn không loại bỏ nhu cầu so sánh chi phí của job đã hoàn thành:
completed_training_job_cost =
GPU hourly cost
x wall-clock training hours
x number of GPUs
+ storage, networking, retry, idle, and engineering overhead
Nếu B300 giảm đủ thời gian đồng hồ hoặc số lượng GPU, nó có thể là job hoàn thành rẻ hơn ngay cả khi đơn giá theo giờ cao hơn. Nếu job dùng cùng số GPU, có cùng trần băng thông, và chủ yếu chờ tải dữ liệu hoặc đồng bộ phân tán, B200 vẫn có thể thắng.
Đối với benchmark huấn luyện, hãy ghi nhận:
| Trường | Vì sao nó quan trọng |
|---|---|
| Kiến trúc mô hình và số lượng tham số | Mẫu bộ nhớ và giao tiếp khác nhau theo họ mô hình. |
| Phân phối độ dài chuỗi | Ngữ cảnh dài làm thay đổi áp lực lên activation và bộ nhớ kiểu KV. |
| Chính sách độ chính xác | Các đường đánh giá FP8, BF16, FP16, FP4 có ràng buộc khác nhau về chất lượng và độ ổn định. |
| Kế hoạch song song | Song song tensor, pipeline, data và expert quyết định chi phí giao tiếp. |
| Khoảng checkpoint và đường dẫn lưu trữ | Đình trệ checkpoint có thể che khuất khác biệt giữa GPU. |
| Số mẫu mỗi giây | Tín hiệu tốc độ thô. |
| Chi phí mỗi bước huấn luyện được chấp nhận | Chuẩn hóa các lần chạy lỗi, khởi động lại và chất lượng xác thực. |
Suy luận: nơi B300 có thể vượt B200
Đối với suy luận, B300 có nhiều khả năng thắng nhất khi dung lượng bộ nhớ thay đổi hành vi phục vụ. Quyết định B200 vs B300 nên tập trung vào đầu ra được chấp nhận ở độ trễ mục tiêu, không phải số token mỗi giây tối đa một cách riêng lẻ.
Endpoint ngữ cảnh dài
Suy luận ngữ cảnh dài tiêu tốn bộ nhớ rất nhanh. Ngay cả khi trọng số mô hình vừa khít, KV cache vẫn có thể chiếm ưu thế. Ngân sách bộ nhớ lớn hơn của B300 có thể hỗ trợ mức đồng thời cao hơn, cửa sổ prompt dài hơn, hoặc ít replica hơn cho cùng một mục tiêu dịch vụ.
Mô hình rất lớn
Với các mô hình rất lớn, B300 có thể giảm mức tensor parallel hoặc làm cho việc triển khai khả thi với ít GPU hơn. Lợi ích không chỉ là tốc độ; nó còn có thể giảm độ phức tạp vận hành, áp lực mạng và các chế độ lỗi.
Phục vụ đa tenant
Nếu một endpoint phục vụ nhiều mô hình, adapter, tầng khách hàng hoặc các bucket độ dài prompt, bộ đệm bộ nhớ của B300 có thể giúp việc bố trí dễ hơn. B200 vẫn có thể tốt hơn cho các endpoint đơn giản, một mô hình duy nhất, duy trì mức sử dụng cao.
FP4 và các đường đi độ chính xác thấp
Các hệ thống Blackwell được thiết kế cho các đường AI độ chính xác thấp hơn, bao gồm các workflow FP4. Nhưng độ chính xác không chỉ là một công tắc tốc độ. Trước khi dùng FP4 hoặc NVFP4 trong sản xuất, hãy xác thực chất lượng trên tool call, đầu ra có cấu trúc, truy xuất ngữ cảnh dài, prompt đa ngôn ngữ, hành vi từ chối và độ chính xác theo miền cụ thể. Tài liệu TensorRT-LLM của NVIDIA là điểm khởi đầu hữu ích cho phương pháp luận hiệu năng và các khái niệm phục vụ: Tổng quan hiệu năng TensorRT-LLM.
Kế hoạch benchmark cho B300 vs B200
Chạy cùng một workload trên B200 và B300. Giữ nguyên stack phần mềm trước khi thay đổi phần cứng.
| Bước | Cần làm gì | Vì sao |
|---|---|---|
| 1. Cố định workload | ID mô hình, phân phối prompt, giới hạn output, bài kiểm thử chất lượng | Ngăn chặn một phép so sánh giả. |
| 2. Cố định stack serving | TensorRT-LLM, vLLM, SGLang, CUDA, driver, image container | Phần mềm có thể tạo ra hoặc xóa bỏ chênh lệch phần cứng. |
| 3. Kiểm tra giới hạn bộ nhớ | Độ dài context, kích thước batch, chính sách KV-cache, ngưỡng OOM | Đây là lợi thế chính mà B300 được kỳ vọng có. |
| 4. Chạy các bậc concurrency | 1, 4, 8, 16, 32, 64, hoặc các bucket lưu lượng thực tế | Cho thấy mỗi GPU bão hòa ở đâu. |
| 5. Tách prefill và decode | Thời gian đến token đầu tiên và độ trễ token đầu ra | Cho thấy workload bị giới hạn bởi băng thông, cache hay lập lịch. |
| 6. Theo dõi output được chấp nhận | Số câu trả lời được chấp nhận/giờ hoặc số token output được chấp nhận/giờ | Output lỗi và time-out không được tính. |
| 7. Tính thêm chi phí thực | Giá thuê GPU, đặt chỗ, lưu trữ, egress, thời gian nhàn rỗi, hỗ trợ | Giá GPU theo giờ בלבד là chưa đầy đủ. |
Replay suy luận tối thiểu:
model_id:
weights_precision:
serving_runtime:
gpu: B200 | B300
gpu_count:
context_input_p50:
context_input_p95:
output_tokens_p50:
output_tokens_p95:
target_ttft_ms:
target_tpot_ms:
concurrency_ladder:
kv_cache_policy:
quality_eval_suite:
hourly_gpu_cost:
accepted_responses_per_hour:
cost_per_1m_accepted_output_tokens:
Bảng quyết định:
| Chỉ số | Kết quả B200 | Kết quả B300 |
|---|---|---|
| Chi phí hiệu dụng theo giờ | ||
| Số phản hồi được chấp nhận/giờ | ||
| Số token đầu ra được chấp nhận/giờ | ||
| Chi phí trên 1M token đầu ra được chấp nhận | ||
| Thời gian đến token đầu tiên p95 | ||
| Độ trễ end-to-end p95/p99 | ||
| Cửa sổ ngữ cảnh ổn định tối đa | ||
| Concurrency ổn định tối đa | ||
| Tỷ lệ OOM hoặc retry | ||
| Dư địa bộ nhớ GPU ở tải mục tiêu |
Đối với các lựa chọn GPU và serving rộng hơn, hãy ghép benchmark này với các hướng dẫn của Flatkey về GPU tốt nhất cho suy luận LLM, B200 vs H200, H200 vs H100, L40S vs H100, và vLLM vs SGLang.
Danh sách kiểm tra mua sắm
Trước khi ký hợp đồng cho năng lực GPU đám mây B200 hoặc B300, hãy yêu cầu nhà cung cấp trả lời ở cấp hệ thống:
| Câu hỏi | Vì sao quan trọng |
|---|---|
| Đây là năng lực B200, B300, GB200, GB300, HGX, DGX, NVL, PCIe hay SXM? | Hình thái hệ thống có thể quan trọng hơn nhãn GPU. |
| HBM dùng được trên mỗi GPU là bao nhiêu? | Bộ nhớ quảng bá và bộ nhớ có thể cấp phát có thể khác nhau tùy phần mềm và phân vùng. |
| Topology interconnect nào được bao gồm? | Suy luận và huấn luyện đa GPU phụ thuộc vào hành vi NVLink/NVSwitch. |
| Mạng fabric nào được bao gồm giữa các node? | Huấn luyện đa node cần InfiniBand, RoCE hoặc một fabric đáng tin cậy khác. |
| Năng lực là on-demand, reserved, committed hay private cluster? | Tính sẵn có và rủi ro hủy ảnh hưởng đến chi phí. |
| Chi phí lưu trữ, snapshot và egress là bao nhiêu? | Chi phí ẩn có thể xóa sạch lợi ích benchmark. |
| SLA hỗ trợ và thay thế là gì? | Thời gian ngừng hoạt động phải được tính vào chi phí output được chấp nhận. |
| Nhà cung cấp có thể hỗ trợ chạy cùng một replay B200 vs B300 không? | Nhà cung cấp không thể benchmark workload sẽ khiến người mua chịu nhiều rủi ro hơn. |
Đối với phần chi phí ẩn, hãy dùng giá thuê GPU và hướng dẫn thuê cụm GPU của Flatkey.
Khi cả B200 lẫn B300 đều không phải là câu trả lời đúng
Đôi khi câu trả lời đúng cho B200 vs B300 là "chưa thuê cái nào trong hai cái này."
Hãy dùng API mô hình hoặc lớp routing trước khi:
- Lưu lượng bùng nổ hoặc khó dự báo.
- Mô hình thay đổi hàng tuần.
- Bạn không cần trọng số tùy chỉnh.
- Dư địa GPU nhàn rỗi sẽ cao.
- Nhóm cần phương án dự phòng giữa các nhà cung cấp mô hình.
- Bộ phận tài chính cần hồ sơ chi phí theo từng request trước khi cam kết một cụm.
Flatkey phù hợp với phía quyết định đó. Nó cung cấp cho các nhóm một key, một số dư, một hóa đơn, các endpoint mô hình chính thức và sổ ghi nhận mức sử dụng trên hơn 300 mô hình chính thức và hơn 1.000 công cụ pay-per-call. Nếu bảng B200 vs B300 của bạn cho thấy mức sử dụng thấp, rủi ro hàng đợi cao hoặc chi phí vận hành lớn, hãy so sánh một lộ trình mô hình được quản lý trước khi ký hợp đồng GPU dài hạn. Các kiểm soát chi phí liên quan: so sánh giá mô hình AI, quản lý chi tiêu API AI, và kiểm soát hạn ngạch API AI.
Điều này không có nghĩa là API luôn tốt hơn GPU. Nó có nghĩa là quyết định về GPU nên được đo lường với một phương án thay thế API bằng cùng một chỉ số output được chấp nhận.
Khuyến nghị cuối cùng
Đối với hầu hết các nhóm hạ tầng AI, câu trả lời thực tế cho B200 vs B300 là:
- Bắt đầu với B200 nếu khối lượng công việc của bạn vừa vặn, bạn có thể đảm bảo năng lực với mức hiệu dụng tốt hơn, và sự đơn giản trong vận hành quan trọng hơn mức dự phòng bộ nhớ tối đa.
- Bắt đầu với B300 nếu B200 bị giới hạn bộ nhớ, lưu lượng ngữ cảnh dài đang tăng, các mô hình rất lớn nằm trong lộ trình, hoặc B300 giúp giảm số lượng GPU và độ phức tạp của việc sharding.
- Đừng chốt chọn một trong hai cho đến khi bạn đo chi phí trên mỗi đầu ra được chấp nhận dựa trên prompt thực tế, độ dài ngữ cảnh, mức độ đồng thời, kiểm tra chất lượng và báo giá từ nhà cung cấp.
B300 là lựa chọn Blackwell Ultra mang tính hướng tới tương lai hơn cho huấn luyện và suy luận ngốn bộ nhớ. B200 vẫn là một nền tảng Blackwell mạnh mẽ và có thể là quyết định thương mại tốt hơn khi mức sử dụng, khả năng sẵn có và giá cả phù hợp.
Câu hỏi thường gặp
B300 có tốt hơn B200 không?
B300 tốt hơn B200 khi mức dự phòng bộ nhớ là yếu tố giới hạn. Nếu khối lượng công việc đã vừa khít trên B200 và không bị giới hạn bởi bộ nhớ, B300 vẫn cần chứng minh chi phí trên đầu ra được chấp nhận thấp hơn thông qua một bài benchmark.
Khác biệt lớn nhất trong hiệu năng NVIDIA B300 vs B200 là gì?
Khác biệt thực tế lớn nhất trong hiệu năng NVIDIA B300 vs B200 là mức dự phòng bộ nhớ trong các hệ thống thuộc dòng B300. Các bảng hướng dẫn DGX công khai liệt kê tổng HBM của DGX B300 cao hơn nhiều so với DGX B200, trong khi vẫn liệt kê cùng mức tổng băng thông bộ nhớ và các giá trị đỉnh FP8/FP4 giống nhau.
Tôi nên chọn B200 hay B300 cho suy luận LLM?
Hãy chọn B300 trước cho suy luận ngữ cảnh dài, mức đồng thời cao, mô hình rất lớn, hoặc bị giới hạn bộ nhớ. Hãy chọn B200 trước khi mô hình vừa vặn, năng lực từ nhà cung cấp dễ đảm bảo hơn, và giá hoặc tình trạng sẵn có của B300 còn chưa chắc chắn.
B300 có luôn rẻ hơn B200 trên mỗi token không?
Không. B300 có thể rẻ hơn trên mỗi token khi bộ nhớ bổ sung cải thiện batching, giảm số bản sao, tránh sharding, hoặc ngăn việc thử lại. B200 có thể rẻ hơn khi giá theo giờ của B300, thời gian chờ hàng đợi, hoặc việc không tận dụng hết tài nguyên bù trừ lợi thế bộ nhớ.
B300 có băng thông bộ nhớ cao hơn B200 không?
Không, trong các bảng hệ thống DGX được trích dẫn cho hướng dẫn này. NVIDIA liệt kê băng thông bộ nhớ GPU tổng cộng 64 TB/s cho cả DGX B200 và DGX B300. Hãy xác minh hệ thống đám mây chính xác trước khi cho rằng có lợi thế về băng thông.
Tôi nên benchmark những gì trước khi mua năng lực B300 hoặc B200?
Hãy benchmark thời gian đến token đầu tiên, số token mỗi giây đầu ra, độ trễ p95/p99, độ dài ngữ cảnh ổn định tối đa, mức đồng thời ổn định tối đa, số câu trả lời được chấp nhận mỗi giờ, tỷ lệ OOM hoặc retry, mức dự phòng bộ nhớ, chi phí hiệu dụng theo giờ, và chi phí trên 1 triệu token đầu ra được chấp nhận.
