Chi phí ẩn của dịch vụ GPU cloud là gì? Câu trả lời ngắn gọn là: mức giá theo giờ của GPU chỉ là điểm khởi đầu. Hóa đơn thực tế còn bao gồm lưu trữ, snapshots, egress băng thông, notebook hoặc pod nhàn rỗi, cold start, job thất bại, gói hỗ trợ, mạng riêng, giám sát, và công việc kỹ thuật cần thiết để giữ cho năng lực GPU thực sự hữu ích.
Đối với các nhóm AI doanh nghiệp, chi phí ẩn của GPU cloud thường xuất hiện sau benchmark thành công đầu tiên. Nhóm thấy mức giá theo giờ của H100, H200, A100, L40S, hoặc RTX ở mức hợp lý, bắt đầu di chuyển mô hình và dữ liệu, rồi phát hiện ra rằng hóa đơn được định hình bởi mọi thứ xung quanh bộ tăng tốc. Một GPU rẻ hơn có thể trở nên bất lợi nếu nó bị nhàn rỗi, liên tục tải lại trọng số mô hình, di chuyển terabyte dữ liệu giữa các vùng, hoặc cần một cấp hỗ trợ vốn đã không có trong báo giá ban đầu.
Hướng dẫn này cung cấp cho các nhóm platform engineering, FinOps, mua sắm và sản phẩm AI một cách thực tế để kiểm tra chi phí GPU cloud trước khi ký thỏa thuận thuê, reserved-capacity hoặc dedicated-cluster.
Quy tắc hữu ích rất đơn giản:
chi phí GPU cloud thực tế =
compute GPU
+ lưu trữ
+ egress và mạng
+ thời gian nhàn rỗi
+ lãng phí do khởi động lại và lỗi
+ hỗ trợ
+ chi phí vận hànhNếu bạn chỉ so sánh nhà cung cấp theo hạng mục GPU, bạn chưa thực sự so sánh chi phí của một hệ thống AI đang hoạt động.
Chi phí ẩn của GPU cloud: câu trả lời nhanh
Hãy bắt đầu mọi lần đánh giá chi phí ẩn của GPU cloud bằng bảng này.
| Chi phí ẩn | Cách nó xuất hiện | Kiểm soát cần yêu cầu |
|---|---|---|
| Lưu trữ | Persistent volume, block disk, object storage, snapshots, cache mô hình, tập dữ liệu, checkpoint | Tách dữ liệu tạm thời và dữ liệu lâu bền; gắn thẻ volume; hết hạn các snapshot không dùng; giữ trọng số mô hình gần GPU. |
| Egress | Truyền dữ liệu ra Internet, di chuyển xuyên vùng, lưu lượng IP công khai, dữ liệu rời khỏi object storage, tải kết quả xuống | Giữ dữ liệu, GPU và lưu trữ trong cùng một vùng; lập ngân sách cho lưu lượng outbound; tránh tải lại artifact nhiều lần. |
| Thời gian nhàn rỗi | Pod, notebook, endpoint hoặc node reserved đang chạy nhưng không có công việc GPU hữu ích | Tự động dừng tài nguyên nhàn rỗi; lập lịch job qua hàng đợi; cảnh báo khi GPU utilization thấp và thí nghiệm kéo dài. |
| Cold start | Kéo container, tải trọng số mô hình, làm ấm kernel, gắn volume trước khi công việc hữu ích bắt đầu | Xây dựng image trước; cache trọng số; đo thời gian khởi động như một phần thời gian tính phí. |
| Job thất bại | Lỗi out-of-memory, driver không khớp, preemption, host lỗi, triển khai bị hỏng | Chạy canary; checkpoint; dùng job ID idempotent; theo dõi chi phí lỗi như một hạng mục ngân sách. |
| Hỗ trợ | Cấp hỗ trợ trả phí, phí dịch vụ quản lý, hỗ trợ cụm riêng, phạm vi SLA, hỗ trợ di chuyển | Hỏi rõ các điều khoản hỗ trợ nào đã bao gồm trong báo giá và điều khoản nào là chi phí hàng tháng riêng. |
| Mạng | Load balancer, NAT, liên kết riêng, IP công khai, lưu lượng liên vùng, phí premium cho InfiniBand hoặc RoCE | Khớp hạ tầng mạng với workload thay vì chấp nhận báo giá GPU-giờ chung chung. |
| Vận hành | Giám sát, log, công việc scheduler, bản vá bảo mật, sự cố cụm, đối soát tài chính | Tính giờ của platform engineering trong cùng mô hình TCO với hóa đơn của nhà cung cấp. |
Với đánh giá ban đầu của người mua, hãy hỏi một câu: chi phí ẩn của dịch vụ GPU cloud là gì sau khi GPU đã chạy? Câu trả lời hiếm khi là một khoản phí bất ngờ duy nhất. Thông thường đó là tập hợp các thành phần cloud thông thường trở nên đắt đỏ vì workload AI di chuyển các artifact lớn và lãng phí thời gian của bộ tăng tốc đắt tiền khi orchestration yếu.
Vì sao giá GPU theo giờ được niêm yết là chưa đầy đủ
Một giờ GPU cloud là một đơn vị năng lực. Nó không phải là một lượt training hoàn tất, phản hồi inference được chấp nhận, video được tạo ra, hay một batch đánh giá thành công.
Phân biệt này quan trọng vì workload GPU thường có chi phí xung quanh rất cao:
- Trọng số mô hình có thể lớn hàng chục hoặc hàng trăm gigabyte.
- Tập dữ liệu fine-tuning và checkpoint có thể tồn tại rất lâu sau khi job kết thúc.
- Endpoint inference có thể cần năng lực nóng để đảm bảo độ trễ, ngay cả khi lưu lượng yêu cầu không đều.
- Huấn luyện đa nút có thể thất bại nếu một worker, liên kết mạng hoặc mount lưu trữ gặp trục trặc.
- Năng lực marketplace hoặc spot có thể rẻ hơn nhưng cần kiểm soát việc khởi động lại và trùng lặp công việc.
Mẫu số tốt hơn là:
chi phí trên mỗi workload hoàn tất =
tổng chi phí GPU cloud
/ số lượt chạy hoàn tất, đầu ra được chấp nhận, token được chấp nhận, ảnh, clip hoặc bản ghiĐây cũng là logic đứng sau hướng dẫn rộng hơn của Flatkey về GPU cloud so với model API. Nếu doanh nghiệp cần đầu ra của mô hình, hãy so sánh chi phí trên mỗi đầu ra được chấp nhận. Nếu doanh nghiệp thực sự cần quyền kiểm soát phần cứng, hãy so sánh mọi lựa chọn GPU theo chi phí workload hoàn tất.
Chi phí ẩn 1: lưu trữ, snapshots và artifact mô hình
Lưu trữ là chi phí ẩn đầu tiên của dịch vụ GPU cloud vì các nhóm AI cần dữ liệu gần với compute. Hạng mục này có thể bao gồm:
- Persistent block disk hoặc volume gắn với các instance GPU.
- Object storage cho tập dữ liệu, prompt, đầu ra và artifact mô hình.
- Snapshots và bản sao lưu.
- Hệ thống tệp qua mạng hoặc volume dùng chung cho các cụm.
- NVMe cục bộ đi kèm với một số máy nhưng bị mất khi instance bị hủy.
- Model cache tồn tại lâu dài nhưng không ai sở hữu sau một thí nghiệm.
Với một benchmark nhỏ, lưu trữ có vẻ không đáng kể. Nhưng với một LLM production, mô hình thị giác hoặc pipeline media, nó có thể trở thành khoản chi phí hàng tháng bền vững. Sai lầm là giữ mọi thứ mãi mãi chỉ vì xóa nhầm cache mô hình sẽ làm chậm lần chạy tiếp theo.
Hãy dùng chính sách ba nhóm:
| Loại lưu trữ | Ví dụ | Quy tắc lưu giữ |
|---|---|---|
| Dữ liệu nguồn bền vững | Kho dữ liệu huấn luyện, tập đánh giá đã được phê duyệt, tài sản do khách hàng chấp thuận | Thuộc quyền quản lý của nền tảng dữ liệu; được version hóa và sao lưu. |
| Hiện vật runtime có thể tái sử dụng | Trọng số mô hình, các biến thể lượng tử hóa, lớp container, tệp tokenizer | Được cache gần tài nguyên tính toán; làm mới có chủ đích; không nhân bản cho từng thí nghiệm. |
| Đầu ra tạm thời | Checkpoint thất bại, log debug, volume scratch, media trung gian | Tự động hết hạn trừ khi được nâng cấp/promotion một cách rõ ràng. |
Các trang của nhà cung cấp cần kiểm tra bao gồm giá AWS EC2 và EBS, giá persistent disk và snapshot của Google Cloud, giá managed disk của Azure, tài liệu lưu trữ và network-volume của RunPod, chi tiết danh sách lưu trữ của Vast.ai, và các giả định về lưu trữ instance của Lambda Cloud. Hãy xem đây là danh sách kiểm tra nguồn, không phải bảng giá được sao chép.
Chi phí ẩn 2: egress và chuyển dữ liệu qua mạng
Egress là chi phí ẩn có khả năng khiến các đội bất ngờ nhất khi chuyển dữ liệu giữa các cloud, các region hoặc các nhóm nhà cung cấp. Các job GPU thường được xây dựng quanh dữ liệu đầu vào lớn và hiện vật lớn:
- Bộ dữ liệu huấn luyện.
- Checkpoint fine-tune.
- Đầu ra embedding.
- Hình ảnh và video được tạo ra.
- Trace và log đánh giá.
- Image container và trọng số mô hình.
Khoản phí không chỉ là “tải xuống internet.” Tùy nhà cung cấp và kiến trúc, bạn cũng có thể phải trả cho chuyển vùng liên vùng, chuyển giữa các zone, NAT, load balancer, public IP, private link hoặc các dịch vụ mạng được quản lý. Với cluster nhiều node, hạ tầng mạng cũng là một yêu cầu về hiệu năng, không chỉ là một dòng chi phí.
Trước khi phê duyệt chi tiêu, hãy lập bản đồ đường đi của dữ liệu:
nguồn dữ liệu
-> object storage
-> region GPU
-> scratch hoặc shared storage
-> đầu ra inference/huấn luyện
-> region đánh giá hoặc ứng dụng
-> khách hàng, kho dữ liệu hoặc lưu trữ lưu trữ dài hạn
Sau đó hãy hỏi:
- Bộ dữ liệu đã ở cùng region với GPU chưa?
- Job có sẽ tải lại trọng số mô hình cho mỗi worker không?
- Đầu ra được tạo ra có rời khỏi nhà cung cấp hay chỉ di chuyển nội bộ?
- Private link có giảm rủi ro bảo mật nhưng làm tăng chi phí mạng cố định không?
- Log và trace có được xuất sang các region khác không?
Nếu đường đi của dữ liệu vượt qua các region hoặc nhà cung cấp mỗi ngày, thì việc tối ưu theo giá GPU theo giờ thấp có thể không phải mục tiêu đúng.
Chi phí ẩn 3: thời gian nhàn rỗi và hiệu suất sử dụng kém
Thời gian nhàn rỗi là chi phí ẩn trực tiếp nhất của GPU cloud, vì bộ tăng tốc này đắt đỏ dù nó đang làm việc hữu ích hay chỉ chờ đợi một người, hàng đợi, tải image, triển khai thất bại hoặc dữ liệu được nạp.
Hãy đo riêng hai con số:
thời gian chạy tính phí =
số phút nhà cung cấp tính phí cho tài nguyên GPU
thời gian GPU hoạt động hữu ích =
số phút dành cho công việc huấn luyện, inference, đánh giá hoặc sinh đầu ra đã được chấp nhận
Sau đó tính:
tỷ lệ lãng phí nhàn rỗi =
1 - thời gian GPU hoạt động hữu ích / thời gian chạy tính phí
Nếu một notebook chạy 100 giờ bị tính phí và công việc GPU hữu ích chỉ diễn ra trong 32 giờ, thì mức lãng phí nhàn rỗi ẩn là 68%. Đàm phán giảm 10% giá GPU sẽ không khắc phục được điều đó. Chính sách tự dừng, gom hàng đợi, lập lịch job và gắn thẻ chủ sở hữu thì sẽ làm được.
Các biện pháp kiểm soát hữu ích:
- Tự động dừng notebook tương tác sau thời gian không hoạt động.
- Loại bỏ pod không còn gắn kết, endpoint mồ côi và các thử nghiệm bị bỏ dở.
- Yêu cầu gắn thẻ chủ sở hữu, dự án, môi trường và thời hạn hết hạn.
- Theo dõi đồng thời mức sử dụng GPU, mức sử dụng bộ nhớ, thời gian chờ hàng đợi và thời gian chạy tính phí.
- Chuyển các job định kỳ từ notebook sang scheduler.
- Cảnh báo khi một GPU ở dưới ngưỡng sử dụng trong một khoảng thời gian xác định.
Thời gian nhàn rỗi cũng là lý do chính khiến API mô hình được quản lý có thể tốt hơn thuê GPU trực tiếp đối với các workload inference không chắc chắn. Nếu mức sử dụng thấp hoặc dao động mạnh, hãy so sánh worksheet GPU với so sánh giá mô hình AI trước khi đặt trước năng lực.
Chi phí ẩn 4: gián đoạn, thử lại và workload thất bại
Năng lực GPU spot, có thể bị gián đoạn và từ marketplace có thể hữu ích. Nó cũng có thể chuyển chi phí từ bảng giá sang logic thử lại.
Mô hình chi phí nên bao gồm:
- Bị đuổi và bị thu hồi trước hạn.
- Tải lại mô hình nhiều lần.
- Công việc bị mất kể từ checkpoint gần nhất.
- Bản ghi batch trùng lặp.
- Fine-tune thất bại.
- Các lần chạy thiếu bộ nhớ.
- Các kết hợp driver hoặc CUDA không phù hợp.
- Độ trễ hàng đợi khi không có năng lực thay thế.
Đối với các job có thể thử lại, hãy dùng:
chi phí hiệu dụng khi có lỗi =
chi phí tính toán niêm yết
* hệ số khuếch đại do thử lạiNếu 1.000 đầu ra được chấp nhận cần 1.180 đầu ra đã thử sau khi có lỗi, các lần bị đuổi và kiểm tra chất lượng thất bại, thì hệ số khuếch đại do thử lại là 1.18x. Hệ số đó phải nằm trong cùng worksheet với giá theo giờ.
Để có lựa chọn sâu hơn giữa các mô hình định giá, hãy xem hướng dẫn GPU theo nhu cầu so với GPU spot của Flatkey. Đối với bài viết này, điểm chính hẹp hơn: chi phí ẩn không chỉ là lưu trữ và egress. Công việc bị lỗi cũng là công việc có thể tính phí, trừ khi nhà cung cấp của bạn nêu rõ sẽ ghi nhận bù cho chúng.
Chi phí ẩn 5: hỗ trợ, SLA và phạm vi dịch vụ được quản lý
Hỗ trợ rất dễ bị bỏ qua vì nó thường xuất hiện ngoài báo giá GPU. Các đội AI doanh nghiệp có thể cần:
- Các gói hỗ trợ trả phí.
- Cam kết về thời gian phản hồi.
- Slack riêng tư hoặc hỗ trợ qua tài khoản.
- Onboarding cụm chuyên dụng.
- Hỗ trợ di chuyển.
- Đánh giá bảo mật.
- Tài liệu tuân thủ.
- Hỗ trợ Kubernetes được quản lý, Slurm hoặc phục vụ suy luận (inference).
- Credit hoặc biện pháp khắc phục cho các sự cố từ phía nhà cung cấp.
Hỗ trợ không tự động là điều xấu. Nó có thể rẻ hơn việc mất thời gian ra mắt vì các vấn đề chưa được giải quyết về dung lượng GPU, driver hoặc mạng. Sai lầm khi mua sắm là so sánh mức giá GPU theo giờ tự phục vụ của một nhà cung cấp với mức giá được quản lý hoặc có hỗ trợ của nhà cung cấp khác như thể chúng tương đương nhau.
Hãy hỏi từng nhà cung cấp:
| Câu hỏi | Tại sao điều này quan trọng |
|---|---|
| Gói hỗ trợ nào được bao gồm trong báo giá này? | Ngăn việc so sánh dung lượng có hỗ trợ và không có hỗ trợ như thể chúng là cùng một sản phẩm. |
| Mục tiêu phản hồi cho các sự cố production là gì? | Giá trị của hỗ trợ phụ thuộc vào thời điểm xảy ra sự cố, không chỉ vào quyền truy cập ticket. |
| Các lỗi từ phía nhà cung cấp có được ghi nhận bù không? | Credit có thể giảm lãng phí, nhưng chỉ khi hợp đồng định nghĩa các sự kiện được bao phủ. |
| Ai chịu trách nhiệm cho các vấn đề về driver, CUDA, image và kernel? | Phạm vi hỗ trợ quyết định bao nhiêu công việc nền tảng sẽ vẫn nằm nội bộ. |
| Việc di chuyển hoặc chấp nhận benchmark có được bao gồm không? | Một báo giá theo giờ thấp vẫn có thể đắt nếu quá trình onboarding thất bại. |
Đối với các cụm riêng tư và dung lượng nhiều nút, phạm vi hỗ trợ có thể quan trọng không kém mô hình GPU.
Chi phí ẩn 6: giám sát, log và khả năng quan sát
Các workload GPU cần khả năng quan sát vượt ra ngoài một hóa đơn hàng tháng. Chi phí xuất hiện ở hai nơi: bản thân các công cụ quan sát và thời gian kỹ thuật cần để biến các chỉ số thành hành động.
Theo dõi:
- Mức sử dụng GPU và mức sử dụng bộ nhớ.
- Độ trễ p50, p95 và p99.
- Thời gian chờ trong hàng đợi và thời gian khởi động lạnh.
- Thời gian kéo container.
- Thời gian tải mô hình.
- Các lỗi hết bộ nhớ.
- Số lần thử lại và chi phí thử lại.
- Khối lượng egress.
- Tăng trưởng lưu trữ theo dự án.
- Chi phí trên mỗi đầu ra được chấp nhận.
Log và trace cũng có thể trở thành một khoản trên hóa đơn nếu chúng quá chi tiết, được lưu giữ quá lâu, hoặc được xuất sang khu vực khác. Hãy giữ đủ chi tiết để gỡ lỗi chi phí và độ tin cậy, nhưng xác định thời gian lưu giữ theo từng môi trường. Trace production, log đánh giá và log debug không cần cùng một vòng đời.
Chi phí ẩn 7: lệch khớp đặt trước và khóa chặt dung lượng
Dung lượng GPU đặt trước có thể giảm chi phí tính toán hiệu dụng khi nhu cầu là có thật. Nó cũng có thể trở thành một gói đăng ký dung lượng nhàn rỗi.
Hãy dùng công thức này trước khi cam kết:
reservation break-even utilization =
reserved monthly commitment
/ equivalent on-demand monthly cost at full use
Sau đó kiểm tra sức chịu đựng:
- Điều gì xảy ra nếu nhu cầu thấp hơn dự báo 40%?
- Điều gì xảy ra nếu sản phẩm chuyển từ một họ mô hình sang họ khác?
- Cam kết có thể chuyển từ H100 sang H200, B200, L40S, hoặc một khu vực khác không?
- Storage, egress, hỗ trợ và mạng có nằm trong cam kết không?
- Các workload nội bộ khác có thể lấp đầy dung lượng cơ sở nhàn rỗi không?
Nếu câu trả lời phụ thuộc vào hy vọng, hãy đặt trước ít hơn và giữ dung lượng tăng đột biến linh hoạt. Với các triển khai lớn hơn, hãy kết hợp điều này với bảng tính TCO cụm GPU.
Bảng tính chi phí ẩn của GPU cloud
Sử dụng bảng tính này trong các buổi xem xét mua sắm. Điền cho từng nhà cung cấp, từng khu vực và từng chế độ sản phẩm.
| Trường | Những gì cần nhập |
|---|---|
| Nhà cung cấp và chế độ sản phẩm | Phiên bản theo nhu cầu, pod, VM spot, GPU serverless, cụm đặt trước, máy chủ trên marketplace, bare metal chuyên dụng. |
| Mẫu GPU và số lượng | H100, H200, B200, A100, L40S, dòng RTX, dung lượng bộ nhớ, số lượng GPU. |
| Khu vực và vị trí dữ liệu | Nơi dữ liệu bắt đầu, nơi GPU chạy, nơi đầu ra di chuyển. |
| Đơn vị tính phí | Giây, phút, giờ, tháng, thời hạn cam kết, khối năng lực, worker endpoint. |
| Chi phí tính toán GPU niêm yết | Nguồn hoặc báo giá có dấu thời gian, kèm ngày đã kiểm tra. |
| Ước tính mức sử dụng hữu ích | Số phút GPU hoạt động dự kiến chia cho số phút có tính phí. |
| Ước tính lãng phí do nhàn rỗi | Thời gian có tính phí dự kiến nhưng không hữu ích. |
| Lưu trữ bền vững | Volume, đĩa, lưu trữ đối tượng, hệ thống tệp dùng chung, bộ nhớ đệm mô hình. |
| Snapshot và sao lưu | Chính sách lưu giữ, chủ sở hữu chi phí, quy trình dọn dẹp. |
| Egress và mạng | Egress internet, di chuyển liên vùng, liên kết riêng, NAT, bộ cân bằng tải, IP công khai. |
| Chi phí khởi động nguội | Thời gian kéo container, thời gian tải mô hình, khởi động ấm worker. |
| Khuếch đại do thử lại | Số lần thử thất bại chia cho kết quả được chấp nhận. |
| Hỗ trợ và SLA | Hỗ trợ bao gồm, gói hỗ trợ trả phí, phạm vi dịch vụ được quản lý, tín dụng. |
| Giám sát và nhật ký | Chỉ số, trace, xuất nhật ký, lưu giữ. |
| Chi phí vận hành kỹ thuật | Giờ làm việc của nền tảng, ứng phó sự cố, bảo trì, đối soát tài chính. |
| Mẫu số đơn vị | Đầu ra được chấp nhận, lần chạy hoàn tất, token đã huấn luyện, ảnh, clip, bản ghi, GPU-tháng. |
| Chi phí đơn vị cuối cùng | Tổng chi phí chia cho khối lượng công việc hữu ích đã hoàn thành. |
Bảng tính nên được xem xét hằng tháng đối với khối lượng công việc production và trước mỗi lần gia hạn cam kết.
Danh sách kiểm tra nguồn của nhà cung cấp
Trang giá GPU và lưu trữ thay đổi thường xuyên. Đừng sao chép các con số cũ vào một bản phân tích kinh doanh. Hãy dùng các trang chính thức như một danh sách kiểm tra nguồn và ghi ngày đã kiểm tra bên cạnh mọi báo giá.
| Nhà cung cấp hoặc nguồn | Những gì cần xác minh |
|---|---|
| Giá AWS EC2, Giá Amazon EBS, Giá truyền dữ liệu AWS, Các gói AWS Support | Dòng phiên bản GPU, On-Demand hoặc Spot, EBS, snapshot, truyền dữ liệu, gói hỗ trợ. |
| Giá GPU Google Cloud Compute Engine, Giá Persistent Disk, Giá mạng VPC, Cloud Customer Care | Loại GPU, dòng máy, khu vực, đĩa, snapshot, egress, dịch vụ hỗ trợ. |
| Giá Azure Virtual Machines, Giá Azure managed disks, Giá băng thông Azure, Các gói hỗ trợ Azure | SKU VM GPU, managed disk, snapshot, băng thông, gói hỗ trợ, điều khoản đặt trước. |
| Giá RunPod và tài liệu lưu trữ RunPod | Secure Cloud so với Community Cloud, chế độ pod hoặc serverless, volume bền vững, network volume, hành vi nhàn rỗi. |
| Giá Vast.ai, Câu hỏi thường gặp Vast.ai, và chi tiết niêm yết của nhà cung cấp | Độ tin cậy của máy chủ marketplace, đĩa, băng thông, IP công khai, trạng thái có thể bị gián đoạn, datacenter hoặc máy chủ cộng đồng. |
| Giá GPU Lambda Cloud | Loại phiên bản, số lượng GPU, giả định lưu trữ đi kèm, khả dụng theo khu vực, điều khoản cụm đặt trước. |
| FinOps FOCUS | Các chiều kích tính phí chung và ngôn ngữ phân bổ chi phí cho đội tài chính và nền tảng. |
| Giá Flatkey, Mô hình Flatkey, và Flatkey Compute | Giải pháp thay thế API mô hình, một số dư, sổ cái sử dụng, và kiểm tra nguồn thị trường compute hiện tại. |
Đối với bài viết này, danh sách kiểm tra nguồn đã được xem xét vào ngày 13 tháng 10 năm 2026. Hãy kiểm tra lại trước khi dùng bất kỳ báo giá nào của nhà cung cấp trong bản ghi nhớ phê duyệt.
Câu hỏi mua sắm trước khi phê duyệt chi tiêu GPU cloud
Hãy dùng các câu hỏi này trước khi bạn chấp nhận một báo giá hoặc bắt đầu di chuyển.
- Những chi phí ẩn của dịch vụ GPU cloud trong báo giá này là gì, và những chi phí nào nằm ngoài báo giá?
- Lưu trữ, snapshot, object storage và bản sao lưu được bao gồm hay tính riêng?
- Những luồng dữ liệu nào tạo ra phí egress hoặc phí liên vùng?
- Tỷ lệ nhàn rỗi dự kiến là bao nhiêu sau các khoảng trống của scheduler, thời gian khởi động và gỡ lỗi thủ công?
- Việc gián đoạn spot, lỗi host và sự cố phía nhà cung cấp được ghi có như thế nào?
- Cần gói hỗ trợ nào để đáp ứng thời gian phản hồi cho môi trường production?
- Ai chịu trách nhiệm cho các vấn đề CUDA, driver, image, kernel và serving stack?
- Những chỉ số nào sẽ chứng minh mức sử dụng hữu ích sau khi triển khai?
- Lối thoát là gì nếu lựa chọn mô hình thay đổi?
- API mô hình được quản lý hoặc lộ trình hybrid có thể tạo ra cùng output được chấp nhận với ít dung lượng nhàn rỗi hơn không?
Câu hỏi cuối không phải là một lối tắt bán hàng. Đó là một biện pháp kiểm soát TCO. Nếu workload không cần quyền kiểm soát phần cứng, thuê GPU chỉ là một cách có thể để mua output mô hình.
Khi Flatkey nên được đưa vào so sánh
Flatkey không phải là sự thay thế cho mọi cụm GPU. Các nhóm vẫn cần dung lượng GPU cloud cho huấn luyện tùy chỉnh, các mô hình open-weight tự lưu trữ, kernel chuyên dụng, cụm riêng và hạ tầng được kiểm soát chặt chẽ.
Flatkey nên được đưa vào so sánh khi workload thực sự là về việc tiêu thụ kết quả mô hình:
- Sản phẩm cần nhiều mô hình chính thức thay vì một mô hình tự lưu trữ.
- Nhu cầu không chắc chắn, tăng vọt theo đợt hoặc theo mùa.
- Bộ phận tài chính muốn một số dư, một hóa đơn và một sổ cái sử dụng.
- Kỹ thuật muốn truy cập mô hình mà không có các khóa nhà cung cấp rải rác.
- Nhóm muốn so sánh chi phí API mô hình trước khi thuê hoặc đặt trước GPU.
Trong hướng đi đó, Flatkey cung cấp cho các nhóm một API key, một số dư và một hóa đơn duy nhất trên các tuyến và công cụ mô hình chính thức. Nếu bảng tính chi phí ẩn cho thấy lưu trữ, egress, thời gian nhàn rỗi và hỗ trợ làm mất lợi thế chi phí theo giờ GPU, hãy so sánh lộ trình API được quản lý trước khi cam kết vào phần cứng.
Bắt đầu với các hướng dẫn giá thuê GPU, GPU cloud so với API mô hình, TCO của cụm GPU, và quản lý chi tiêu API AI để có quyết định rộng hơn.
Khuyến nghị cuối cùng
Khi ai đó hỏi chi phí ẩn của dịch vụ GPU cloud là gì, đừng trả lời bằng một khoản phí duy nhất. Hãy trả lời bằng một bảng tính.
- Bắt đầu từ giá GPU theo giờ.
- Cộng thêm lưu trữ, snapshot, egress, mạng, hỗ trợ, khả năng quan sát và vận hành.
- Không trừ bất cứ thứ gì cho đến khi khoản ghi có của nhà cung cấp được ghi rõ trong thỏa thuận.
- Chia cho khối lượng công việc đã hoàn thành, không phải số giờ tính phí.
- Tính lại mô hình dưới mức sử dụng thấp hơn, tỷ lệ thử lại cao hơn và khi lựa chọn mô hình thay đổi.
Dịch vụ GPU cloud có thể là lựa chọn đúng khi nhóm cần quyền kiểm soát phần cứng và có thể giữ cho năng lực trở nên hữu ích. Chúng trở nên đắt đỏ khi lưu trữ tăng âm thầm, dữ liệu di chuyển lặp đi lặp lại, GPU nằm nhàn rỗi, hỗ trợ không có sẵn và công việc thất bại bị coi là vấn đề của người khác.
Nhiệm vụ của người mua là làm cho những chi phí đó trở nên hữu hình trước khi hóa đơn đến tay.
