TCO cụm GPU: Thuê đám mây vs Colocation vs Tại chỗ

Hầu hết các so sánh TCO cụm GPU đều thất bại vì cùng một lý do: chúng so sánh đơn giá theo giờ của đám mây với một đơn đặt hàng phần cứng. Đó không phải là quyết định thực sự.

Quyết định thực sự là đội AI của bạn nên mua sự linh hoạt, mua phần cứng hay mua quyền kiểm soát hạ tầng. Một mô hình TCO cụm GPU nghiêm túc phải chuẩn hóa thuê đám mây, colocation và tại chỗ theo cùng một đầu ra: các lần huấn luyện hoàn tất, token suy luận được chấp nhận, các tác vụ tạo nội dung đã sinh ra hoặc số tháng năng lực được giữ chỗ.

Với hầu hết các đội, thuê GPU trên đám mây sẽ thắng khi mức sử dụng chưa chắc chắn, tốc độ triển khai quan trọng, hoặc khối lượng công việc thay đổi theo họ mô hình. Colocation bắt đầu thắng khi nhu cầu ổn định, đội ngũ có thể vận hành phần cứng, và hợp đồng đủ dài để khấu hao GPU, mạng, linh kiện dự phòng và dịch vụ hỗ trợ từ xa. Tại chỗ thường đòi hỏi lý do thuyết phục nhất: mức sử dụng rất cao và có thể dự đoán, đã có sẵn vận hành trung tâm dữ liệu, yêu cầu địa phương hóa nghiêm ngặt, hoặc một chỉ đạo chiến lược về việc sở hữu lớp hạ tầng.

Nguyên tắc thực tế của Flatkey: hãy bắt đầu từ khối lượng công việc, không phải từ rack. Nếu khối lượng công việc có thể được phục vụ bằng một API mô hình được quản lý, hãy so sánh phương án đó trước. Nếu bạn thực sự cần GPU chuyên dụng, hãy định giá thuê đám mây, colocation và tại chỗ bằng cùng một bảng tính trước khi ký hợp đồng năng lực.

Câu trả lời nhanh về TCO cụm GPU

Hãy dùng bảng quyết định bước đầu này trước khi xây dựng mô hình đầy đủ.

Tình huống	Thường bắt đầu với	Vì sao
Nguyên mẫu, fine-tuning theo đợt, cửa sổ benchmark ngắn	Thuê GPU trên đám mây	Cam kết thấp nhất và con đường đến năng lực nhanh nhất.
Đội ngũ suy luận ổn định trong nhiều tháng với cấu hình mô hình đã biết	Năng lực dự trữ trên đám mây hoặc colocation	Mức sử dụng đủ cao để thương lượng giá theo kỳ hạn, nhưng vẫn có thể tránh được rủi ro sở hữu.
Các tác vụ huấn luyện lớn với yêu cầu chặt chẽ về topology mạng	Cụm đám mây chuyên dụng hoặc colocation	Bạn cần vị trí nút có thể dự đoán, fabric mạng, tính cục bộ của lưu trữ và sự chấp nhận benchmark.
Mức sử dụng nhiều năm vượt quá ngưỡng nội bộ của bạn	Colocation hoặc tại chỗ	Khấu hao phần cứng chỉ có thể tốt hơn thuê theo giờ nếu thời gian nhàn rỗi, vận hành, điện và thời gian ngừng hoạt động được tính một cách trung thực.
Yêu cầu địa phương hóa dữ liệu theo quy định hoặc bắt buộc kiểm soát cơ sở	Tại chỗ hoặc colocation có kiểm soát	Quyết định TCO bao gồm cả tuân thủ và kiểm soát, không chỉ giá compute.
Ứng dụng chỉ cần đầu ra mô hình, không cần kiểm soát GPU	API mô hình hoặc báo giá thị trường GPU	Mua cả cụm có thể là quá mức khi chỉ số kinh doanh là chi phí trên mỗi đầu ra được chấp nhận.

Phần còn lại của hướng dẫn này cho thấy cách xây dựng một bảng tính TCO cụm GPU mà bộ phận mua sắm, kỹ thuật nền tảng và tài chính đều có thể dùng.

Chuẩn hóa mọi phương án về một đơn vị

Đừng so sánh "H100 mỗi giờ" với "giá mua server." Hãy chọn một mẫu số và ép mọi phương án vào đó.

Các mẫu số hữu ích bao gồm:

• Chi phí trên mỗi lần huấn luyện hoàn tất: tốt nhất cho fine-tuning định kỳ, thử nghiệm pretraining và các công việc theo lô.
• Chi phí trên mỗi đầu ra được chấp nhận: tốt nhất cho suy luận LLM, tạo mã, tạo ảnh và các pipeline video nơi việc thử lại có ý nghĩa.
• Chi phí trên mỗi GPU-tháng được giữ chỗ: tốt nhất cho các đội nền tảng mua năng lực nội bộ cho nhiều đội sản phẩm.
• Chi phí trên mỗi token hoặc job đạt SLA: tốt nhất khi downtime, bị preempt, hoặc độ trễ hàng đợi làm thay đổi độ tin cậy đối với người dùng cuối.

Đối với suy luận, mẫu số rõ ràng nhất thường là:

effective_cost_per_accepted_output =
  total_monthly_cluster_cost
  / accepted_outputs_after_retries_and_quality_filters

Mẫu số đó bắt được hai điều mà giá theo giờ che khuất: các job thất bại và năng lực nhàn rỗi.

Công thức TCO cụm GPU

Hãy dùng mô hình này trước khi thêm chi tiết riêng của nhà cung cấp:

monthly_gpu_cluster_tco =
  capacity_cost
  + storage_cost
  + data_transfer_cost
  + network_and_interconnect_cost
  + software_and_observability_cost
  + labor_and_operations_cost
  + support_and_warranty_cost
  + financing_or_depreciation_cost
  + downtime_and_retry_waste

Sau đó chuyển nó sang đơn vị bạn quan tâm:

unit_cost =
  monthly_gpu_cluster_tco
  / useful_work_completed_per_month

Điều này quan trọng vì một GPU-giờ rẻ vẫn có thể đắt nếu cụm bị sử dụng thấp, nếu job phải chờ trong hàng đợi, nếu lưu trữ nằm ở vùng sai, hoặc nếu các lần chạy thất bại tiêu tốn toàn bộ thời gian tính giá đầy đủ.

Thành phần chi phí theo mô hình triển khai

Dòng chi phí	Thuê đám mây	Colocation	Tại chỗ
Năng lực GPU	Theo nhu cầu, spot, reserved, dedicated, hoặc báo giá thị trường.	Mua hoặc thuê phần cứng cộng với hợp đồng rack.	Mua hoặc thuê phần cứng cộng với phân bổ cơ sở nội bộ.
Điện và làm mát	Thường đã được gộp trong đơn giá, nhưng không phải là miễn phí.	Điện theo hợp đồng, điện theo công tơ, chi phí làm mát và giới hạn mật độ công suất.	Điện lưới, UPS, máy phát điện, hệ thống làm mát, và mức độ phơi nhiễm với PUE.
Mạng	Chiều ra, liên kết riêng, IP công khai, lưu lượng liên vùng, interconnect.	Transit, cross-connect, liên kết riêng, truy cập từ xa, dịch vụ DDoS/bảo mật.	WAN, internet transit, liên kết riêng, tường lửa, switching, đường dự phòng.
Lưu trữ	Block, object, filesystem, snapshot, sao lưu, các mức IOPS.	Local NVMe, lưu trữ dùng chung, đích sao lưu, nhân bản từ xa.	Phần cứng lưu trữ, sao lưu, nhân bản, thay thế phương tiện, vận hành vòng đời.
Vận hành	Chủ yếu là tích hợp nền tảng và kiểm soát chi phí.	Vòng đời phần cứng, remote hands, kiểm thử nghiệm thu, linh kiện dự phòng, điều phối RMA.	Vận hành cơ sở và phần cứng đầy đủ, truy cập vật lý, linh kiện dự phòng, hỗ trợ ngoài giờ.
Rủi ro cam kết	Thấp với theo nhu cầu; cao hơn với hợp đồng reserved hoặc dedicated.	Trung bình đến cao. Việc chấm dứt hợp đồng và bán lại phần cứng rất quan trọng.	Cao nhất. Các quyết định về cơ sở và thiết bị có thể kéo dài hơn lộ trình mô hình.

Thuê đám mây có vẻ đơn giản vì nhiều chi phí đã được gộp vào đơn giá. Colocation và tại chỗ trông rẻ hơn khi bảng tính quên tính đến nhân sự, điện, mạng, và ngân sách cho sự cố.

Thuê đám mây: cần tính gì

Thuê đám mây là mốc cơ sở rõ ràng nhất cho TCO cụm GPU vì nó chuyển năng lực thành một dịch vụ đo theo mức sử dụng. Điều đó không có nghĩa là đơn giá theo giờ là toàn bộ chi phí.

Cần tính:

• Đơn giá theo giờ của phiên bản GPU hoặc bare metal.
• Các điều khoản năng lực reserved, committed hoặc dedicated.
• Lưu trữ gắn với cụm.
• Lưu trữ object và thời gian lưu snapshot.
• Truyền dữ liệu và chi phí egress.
• Mạng riêng, load balancer, IP công khai và NAT.
• Scheduler, Kubernetes, Slurm, observability, logging và alerting.
• Thời gian nhàn rỗi do khoảng trống hàng đợi, triển khai lỗi, cold start và đóng gói tài nguyên kém.
• Chi phí lãng phí do retry với spot hoặc interruptible, nếu dùng.
• Gói hỗ trợ và chi phí quản lý tài khoản.

Thuê đám mây thường thắng khi đường cong nhu cầu của đội ngũ không chắc chắn. Nó cũng cung cấp cho bộ phận mua sắm một mốc giá hiện tại. Các trang nhà cung cấp công khai từ AWS, Google Cloud, Lambda, RunPod và các đám mây GPU khác hữu ích để đối chiếu nguồn, nhưng con số duy nhất quan trọng với một cụm lớn là báo giá mà bạn thực sự có thể đặt giữ cho khu vực, topology và thời hạn bạn cần.

Dùng các trang chính thức như những điểm kiểm tra:

• AWS mô tả hạ tầng hạng P5 cho khối lượng công việc AI quy mô lớn trên trang instance EC2 P5 của mình.
• Google Cloud công bố giá GPU và lưu ý rằng giá phụ thuộc vào loại GPU, khu vực và mô hình sử dụng.
• Lambda và RunPod công bố các mặt bằng giá đám mây GPU hữu ích cho việc kiểm tra thị trường nhanh.
• Flatkey Compute công bố chỉ số giá GPU-giờ trực tiếp và cho phép người mua đăng yêu cầu GPU ẩn danh để các nhà cung cấp đã xác minh đấu giá.

Hãy coi mọi mức giá là có dấu thời gian. Tình trạng sẵn có của GPU và đơn giá theo giờ thay đổi nhanh hơn giá SaaS thông thường.

Colocation: cần tính gì

Colocation không chỉ là "đám mây nhưng rẻ hơn." Nó chuyển một phần lớn gánh nặng vận hành từ nhà cung cấp sang đội của bạn.

Cần tính:

• Máy chủ GPU, bộ chuyển mạng, switch, optics, cáp và lưu trữ.
• Phí rack hoặc cage.
• Điện theo hợp đồng và điện theo công tơ.
• Giới hạn làm mát và mật độ.
• Cross-connect, internet transit, liên kết riêng và bảo mật mạng.
• Remote hands, vận chuyển, tiếp nhận, lắp đặt, kiểm kê và xử lý RMA.
• GPU dự phòng, bộ nguồn, NIC, optics, quạt và ổ lưu trữ.
• Khấu hao phần cứng, chi phí thuê, chi phí tài chính và giả định về giá trị bán lại.
• SLA cơ sở, cửa sổ bảo trì và quy trình truy cập.
• Vận hành nền tảng: image, driver, CUDA stack, Kubernetes hoặc Slurm, observability, vá lỗi bảo mật và ứng phó sự cố.

Colocation bắt đầu có ý nghĩa khi mức sử dụng có thể dự đoán và cao, đội ngũ có năng lực vận hành hạ tầng thực sự, và hợp đồng cung cấp đủ mật độ công suất cho thế hệ GPU bạn dự định chạy. Nó thất bại khi các đội mua phần cứng nhưng đánh giá thấp remote hands, mạng, giới hạn công suất, linh kiện dự phòng và tốc độ mở rộng chậm.

Đối với cụm GPU, fabric mạng thường là hạng mục quyết định kiến trúc. Một cụm cần huấn luyện gắn chặt không tương đương với một tập các nút suy luận độc lập. Nếu khối lượng công việc phụ thuộc vào InfiniBand, RoCE, NVLink, NVSwitch hoặc một bố cục lưu trữ cụ thể, hãy đưa điều đó vào báo giá và kiểm thử nghiệm thu.

Tại chỗ: cần tính gì

TCO cụm GPU tại chỗ nên được xem như một dự án cơ sở hạ tầng, không phải một đơn mua máy chủ.

Cần tính:

• Tất cả những gì có trong mô hình colocation.
• Phân bổ diện tích data hall hoặc phần xây dựng mới.
• Công tác điện, UPS, máy phát điện, phân phối điện và chống cháy.
• Năng lực hệ thống làm mát và bảo trì.
• An ninh vật lý và kiểm soát truy cập.
• Nhân sự cơ sở và xử lý leo thang ngoài giờ.
• Bảo hiểm, kiểm toán tuân thủ và quy trình an toàn.
• Lập kế hoạch năng lực dài hạn cho thế hệ GPU tiếp theo.
• Chi phí cơ hội của vốn bị chôn trong cơ sở và phần cứng.

Triển khai tại chỗ có thể được biện minh cho các tổ chức đã có sẵn năng lực trung tâm dữ liệu, mức sử dụng cao, yêu cầu nghiêm ngặt về vị trí dữ liệu, hoặc các yêu cầu kiểm soát chiến lược. Đây là lựa chọn yếu nhất khi đội ngũ vẫn đang khám phá tổ hợp mô hình, độ dài ngữ cảnh, mục tiêu thông lượng và độ phù hợp sản phẩm-thị trường.

Rủi ro ẩn là sự thay đổi thế hệ GPU. Một quyết định về cơ sở hạ tầng có thể kéo dài lâu hơn kiến trúc mô hình mà bạn đang phục vụ. Nếu TCO của bạn phụ thuộc vào việc một họ mô hình duy trì vị thế thống trị trong ba năm, hãy kiểm tra áp lực giả định đó.

Điểm hòa vốn theo mức sử dụng

Câu hỏi hòa vốn cốt lõi là:

required_utilization =
  owned_monthly_cost
  / equivalent_cloud_monthly_cost_at_100_percent_use

Nếu hạ tầng sở hữu có chi phí $X mỗi tháng và thuê đám mây tương đương ở mức sử dụng tối đa có chi phí $Y mỗi tháng, thì việc sở hữu chỉ hiệu quả nếu mức sử dụng hữu ích cao hơn X / Y. Mức sử dụng hữu ích là khối lượng công việc lẽ ra phải được trả tiền. Nó không bao gồm tài nguyên nhàn rỗi, job thất bại, đệm hàng đợi và dung lượng dành cho các đợt tăng đột biến hiếm gặp.

Chạy mô hình dưới ba kịch bản:

Kịch bản	Cần kiểm tra gì
Cơ sở	Khối lượng công việc dự kiến, mức sử dụng dự kiến, thời hạn dự kiến.
Bất lợi	Mức sử dụng thấp hơn, việc sử dụng sản phẩm bị trì hoãn, khả năng bán lại yếu hơn, điện đắt hơn, mức chấp nhận chậm hơn.
Áp lực	Mô hình mới không vừa bộ nhớ, topology mạng sai, hoặc nhu cầu chuyển sang API được quản lý.

Nếu kịch bản bất lợi làm phá vỡ hiệu quả kinh tế, thuê đám mây hoặc một hợp đồng chuyên dụng ngắn hơn thường là bước khởi đầu an toàn hơn.

Bảng tính TCO cụm GPU có thể sao chép

Hãy dùng bảng tính này trong tài liệu mua sắm của bạn. Điền một lần cho thuê đám mây, một lần cho colocation, và một lần cho triển khai tại chỗ.

Trường	Thuê đám mây	Colocation	Triển khai tại chỗ
Model GPU và số lượng
Thời hạn hợp đồng
Mức sử dụng hữu ích dự kiến
Chi phí năng lực GPU hàng tháng
Lưu trữ và sao lưu
Truyền dữ liệu và mạng
Điện và làm mát	Đã bao gồm hoặc báo giá
Phân bổ rack, cage hoặc cơ sở vật chất	Không áp dụng
Khấu hao phần cứng hoặc thuê mua	Không áp dụng
Remote hands / nhân sự
Hỗ trợ, bảo hành và linh kiện dự phòng
Khả năng quan sát và công cụ nền tảng
Thời gian ngừng hoạt động và lãng phí do thử lại
TCO hàng tháng ước tính
Mẫu số chi phí trên mỗi đơn vị
Chi phí trên mỗi đầu ra được chấp nhận
Thời gian dẫn dắt mở rộng
Chi phí thoát

Đừng bỏ qua hai dòng cuối. Thời gian dẫn dắt mở rộng và chi phí thoát là nơi các kinh tế phần cứng hấp dẫn thường trở nên đắt đỏ.

Các câu hỏi mua sắm cần hỏi mọi nhà cung cấp

Đối với thuê đám mây:

1. Dung lượng được báo giá là dùng chung, dành riêng, chuyên dụng hay bare metal?
2. Khu vực, availability zone và vị trí node nào được đảm bảo?
3. Chính xác model GPU, dung lượng bộ nhớ, interconnect, CPU, RAM, lưu trữ cục bộ và network fabric nào được bao gồm?
4. Storage, snapshot, object storage, băng thông, public IP và hỗ trợ có được bao gồm không?
5. Điều gì xảy ra nếu cụm không khả dụng trong thời hạn hợp đồng?
6. Nhà cung cấp có thể chạy benchmark nghiệm thu trước khi cam kết bắt đầu không?
7. Các job thất bại, sự cố nền tảng và cửa sổ bảo trì được ghi có như thế nào?

Đối với colocation:

1. Mật độ điện năng được ký hợp đồng trên mỗi rack là bao nhiêu?
2. Điện được đo công tơ, cam kết hay gộp vào giá rack?
3. Công việc remote hands nào được bao gồm, và công việc nào tính phí?
4. Những carrier và đường liên kết riêng nào khả dụng?
5. Có thể cung cấp thêm rack, điện và cross-connect nhanh đến mức nào?
6. Ai sở hữu linh kiện dự phòng, RMA và bảo trì firmware?
7. Bài kiểm tra nghiệm thu nào xác nhận cụm sẵn sàng cho sản xuất?

Đối với triển khai tại chỗ:

1. Cơ sở hiện tại đã hỗ trợ mật độ điện năng mục tiêu chưa?
2. Khả năng làm mát có sẵn mà không cần xây dựng thêm không?
3. Ai chịu trách nhiệm phản ứng phần cứng 24/7?
4. Quy trình phê duyệt cho các thay đổi về điện, mạng và bảo mật là gì?
5. Thời gian khấu hao là bao lâu, và giả định giá trị bán lại là gì?
6. Điều gì xảy ra nếu mô hình tiếp theo cần nhiều bộ nhớ hơn, nhiều băng thông hơn hoặc một stack phục vụ khác?

Bảng quyết định

Tiêu chí	Thuê đám mây	Colocation	Tại chỗ
Tốc độ khởi động	Tốt nhất	Trung bình	Chậm nhất
Vốn đầu tư ban đầu	Thấp nhất	Trung bình đến cao	Cao nhất
Gánh nặng vận hành	Thấp nhất	Trung bình	Cao nhất
Kinh tế sử dụng ổn định dài hạn	Trung bình	Mạnh nếu vận hành tốt	Chỉ mạnh khi cơ sở hạ tầng đủ trưởng thành
Khả năng linh hoạt theo thế hệ GPU	Tốt nhất	Trung bình	Thấp nhất
Kiểm soát cơ sở hạ tầng	Thấp	Trung bình	Cao nhất
Khả năng đảo ngược quyết định mua sắm	Tốt nhất	Trung bình	Thấp nhất
Yêu cầu benchmark	Quan trọng	Then chốt	Then chốt

Câu trả lời đáng tin cậy nhất hiếm khi là "luôn dùng cloud" hoặc "luôn mua". Thường đó là một cách tiếp cận theo từng giai đoạn: thuê để khám phá, đặt trước cho nhu cầu ổn định, dùng colocation khi mức sử dụng đã được chứng minh, và chỉ chuyển sang tại chỗ khi kiểm soát cơ sở hạ tầng là một phần của yêu cầu.

Các sai lầm phổ biến trong mô hình TCO cụm GPU

So sánh giá niêm yết với quyền sở hữu trong kịch bản tốt nhất

Một mô hình TCO cụm GPU công bằng sẽ so sánh báo giá thực tế với chi phí sở hữu thực tế. Giá niêm yết của cloud không giống với dung lượng đặt trước hay đã đàm phán. Giá mua phần cứng không giống với chi phí vận hành cụm.

Bỏ qua mức sử dụng

Một cụm sở hữu với mức sử dụng hữu ích 40% có thể thua một cụm cloud có mức giá theo giờ cao hơn nhiều. Hãy đo lường khối lượng công việc hữu ích, không phải số GPU đã lắp đặt.

Xem nhẹ topology mạng

Chỉ số lượng GPU thôi không xác định được một cụm. Huấn luyện, fine-tuning và suy luận thông lượng cao có thể có yêu cầu rất khác nhau về mạng và lưu trữ.

Quên hao phí do retry

Các lần retry, triển khai thất bại, preemption và đầu ra chất lượng thấp đều làm tăng chi phí đơn vị. Hãy đưa hao phí retry vào mẫu số, không chỉ vào tử số.

Đánh giá thấp chi phí nhân sự

Driver, phiên bản CUDA, image container, scheduler, giám sát, vá firmware, bảo mật và ứng phó sự cố đều là một phần của TCO cụm GPU. Ai đó vẫn phải trả cho chúng, ngay cả khi chúng không xuất hiện trong báo giá.

Khi API mô hình vượt trội hơn một cụm GPU

Một cụm GPU chuyên dụng không phải lúc nào cũng là trừu tượng phù hợp. Nếu sản phẩm của bạn chỉ cần đầu ra mô hình, không cần kiểm soát phần cứng, hãy so sánh TCO cụm với phương án API.

API mô hình có thể chiến thắng khi:

• Lưu lượng biến động theo đợt.
• Tổ hợp mô hình thay đổi thường xuyên.
• Bạn cần truy cập nhiều mô hình tiên phong và mô hình mã nguồn mở.
• Nhóm không thể giữ GPU ở mức sử dụng cao.
• Bộ lọc chất lượng và retry dễ quản lý hơn ở lớp request.
• Bộ phận tài chính muốn có bản ghi sử dụng theo từng request thay vì một pool hạ tầng.

Flatkey có liên quan ở đây vì cùng một bên mua thường cần cả hai hướng. Flatkey Compute giúp các nhóm so sánh năng lực GPU-hour trực tiếp, đăng nhu cầu GPU ẩn danh và nhận báo giá từ nhà cung cấp. Lớp API mô hình và công cụ của Flatkey cung cấp cho các nhóm một cách để định tuyến khối lượng công việc AI qua một khóa, một số dư và một sổ cái sử dụng khi việc sở hữu lớp GPU là không cần thiết.

Quy trình thực tế là:

1. Benchmark khối lượng công việc trên GPU thuê.
2. Tính chi phí trên mỗi đầu ra được chấp nhận.
3. So sánh cùng khối lượng công việc qua API mô hình.
4. Chỉ đặt trước hoặc dùng colocation khi phần cứng chuyên dụng rõ ràng mang lại lợi thế theo các giả định bất lợi.

Danh sách kiểm tra nguồn cho mô hình TCO cụm GPU của bạn

Hãy sử dụng các trang nguồn và tài liệu báo giá hiện tại thay vì sao chép mức giá cũ từ một bài viết khác.

Loại nguồn	Cần xác minh gì
Trang nhà cung cấp GPU cloud	Loại instance, số GPU, khu vực, lưu trữ, mạng và giá là on-demand, reserved, spot hay dedicated.
Thông số hệ thống từ nhà cung cấp GPU	Điện năng, bộ nhớ, interconnect, dạng máy chủ và topology được hỗ trợ.
Báo giá colocation	Rack/cage, điện, remote hands, cross-connect, mạng, phí lắp đặt và giới hạn mở rộng.
Dữ liệu tiện ích hoặc năng lượng	Giả định giá điện và mức tăng giá.
Dữ liệu nền tảng nội bộ	Mức sử dụng thực, độ trễ hàng đợi, tỷ lệ lỗi, tỷ lệ retry, khối lượng đầu ra được chấp nhận và thời gian của nhân sự.
Giả định tài chính	Thời gian khấu hao, chi phí vốn, cách xử lý thuế, giá trị còn lại và chi phí thoát hợp đồng.

Điểm khởi đầu hữu ích:

• Flatkey Compute để có bối cảnh thị trường GPU-hour trực tiếp và đăng nhu cầu.
• Flatkey Compute price index để kiểm tra tham chiếu thị trường theo giờ.
• AWS EC2 P5 instances để tham khảo bối cảnh hạ tầng cụm cloud H100.
• Google Cloud GPU pricing để xem phương pháp định giá GPU theo loại và khu vực.
• Lambda GPU Cloud để tham khảo bối cảnh định giá GPU cloud chuyên dụng.
• RunPod pricing để kiểm tra giá GPU trên marketplace và cloud.
• NVIDIA DGX H100 và NVIDIA DGX B200 để xem thông số hệ thống từ nhà cung cấp.
• U.S. Energy Information Administration electricity data để tham khảo giả định chi phí điện.
• FinOps FOCUS nếu đội tài chính của bạn cần các trường chi phí cloud được chuẩn hóa.

Các câu hỏi thường gặp

TCO cụm GPU là gì?

TCO cụm GPU là toàn bộ chi phí để cung cấp năng lực tính toán AI hữu ích từ một cụm. Nó bao gồm dung lượng GPU, lưu trữ, mạng, điện, làm mát, nhân công, phần mềm, hỗ trợ, thời gian gián đoạn, lãng phí do chạy lại và rủi ro về vốn hoặc hợp đồng.

Thuê GPU trên đám mây có luôn đắt hơn mua GPU không?

Không. Thuê GPU trên đám mây có thể rẻ hơn khi mức sử dụng chưa chắc chắn, khối lượng công việc chỉ tồn tại trong thời gian ngắn, đội ngũ thiếu năng lực vận hành, hoặc ngăn xếp mô hình thay đổi nhanh chóng. Mua hoặc đặt GPU tại colocate chỉ có lợi khi mức sử dụng hữu ích đủ cao để bù cho vận hành, điện, mạng, tài chính và rủi ro thoát ra.

Khi nào colocation tốt hơn thuê đám mây?

Colocation có thể tốt hơn thuê đám mây khi nhu cầu ổn định, thời hạn hợp đồng dài, mật độ điện đủ, phần cứng được tận dụng tốt và đội ngũ có thể vận hành cụm. Nó không tốt hơn thuê đám mây chỉ vì giá mua phần cứng trông thấp hơn so với giá niêm yết của đám mây.

Khi nào một đội nên chọn GPU tại chỗ?

Hãy chọn GPU tại chỗ khi quyền kiểm soát cơ sở hạ tầng, vị trí dữ liệu, tuân thủ hoặc quyền sở hữu hạ tầng chiến lược đáng để gánh nặng vận hành. Với đa số đội ngũ sản phẩm AI, tại chỗ là lựa chọn cuối cùng cần được chứng minh, không phải mặc định.

Các đội FinOps nên so sánh các विकल्प cụm GPU như thế nào?

Các đội FinOps nên so sánh các lựa chọn theo chi phí trên mỗi đầu ra hữu ích, chứ không chỉ dựa vào đơn giá theo giờ. Bảng tính nên bao gồm mức sử dụng, lãng phí do chạy lại, lưu trữ, truyền dữ liệu, chi phí nhân sự, điện, thời hạn hợp đồng, thời gian chờ mở rộng và chi phí thoát ra.

Flatkey phù hợp ở đâu trong TCO cụm GPU?

Flatkey giúp các đội tránh mua sai lớp trừu tượng. Hãy dùng Flatkey Compute khi bạn cần dung lượng GPU theo giá thị trường hoặc báo giá từ nhà cung cấp. Hãy dùng lớp API mô hình và công cụ của Flatkey khi bạn chỉ cần đầu ra mô hình, một khóa, một số dư và sổ theo dõi sử dụng ở cấp độ yêu cầu.

Kết luận

Mô hình TCO cụm GPU tốt nhất không phải là bảng tính dài nhất. Nó là mô hình làm rõ ba quyết định:

1. Khối lượng công việc có thực sự cần GPU chuyên dụng hay không.
2. Thuê đám mây, colocation hay tại chỗ có chi phí đã điều chỉnh theo mặt trái tốt nhất.
3. Hợp đồng còn phù hợp hay không khi mức sử dụng, thành phần mô hình, điện năng và khả năng sẵn sàng thay đổi.

Hãy bắt đầu bằng dung lượng thuê hoặc báo giá thị trường GPU trực tiếp, benchmark khối lượng công việc thực tế, chuẩn hóa theo đầu ra được chấp nhận, và chỉ chuyển sang colocation hoặc tại chỗ khi phép tính về mức sử dụng hữu ích vẫn đứng vững trong kịch bản bất lợi.

Nếu câu trả lời vẫn chưa chắc chắn, hãy giữ lại giá trị của quyền chọn. TCO cụm GPU sẽ thưởng cho các đội mua dung lượng theo từng giai đoạn thay vì khóa chặt vào phần cứng trước khi khối lượng công việc tự chứng minh được.