Hướng dẫn chọn GPU cho AI: Ghép đúng khối lượng công việc huấn luyện và suy luận với GPU phù hợp

Hướng dẫn chọn GPU cho AI: Ghép đúng khối lượng công việc huấn luyện và suy luận với GPU phù hợp

Một hướng dẫn chọn GPU cho AI nên bắt đầu từ khối lượng công việc, không phải tên bộ tăng tốc mới nhất. Huấn luyện, tinh chỉnh, suy luận theo lô, suy luận thời gian thực, pipeline truy xuất, tạo media và các tác vụ đánh giá đều gây áp lực lên GPU theo những cách khác nhau. Một GPU không phù hợp có thể trông rất hấp dẫn trên bảng giá theo giờ nhưng vẫn thất bại khi bạn tính đến mức độ phù hợp bộ nhớ, topo mạng, thời gian nhàn rỗi, xếp hàng, công việc của stack phục vụ và chất lượng đầu ra được chấp nhận.

Hãy dùng hướng dẫn chọn GPU cho AI này như một checklist cho mua sắm và kiến trúc. Nó ánh xạ các khối lượng công việc AI phổ biến với những đặc tính GPU quan trọng, giải thích khi nào H100, H200, B200, A100, L40S, các hệ thống hạng GB200 và GPU RTX cục bộ là hợp lý, đồng thời đưa ra một kế hoạch benchmark giúp quyết định mua gắn với công việc hoàn thành thay vì các con số đỉnh tổng hợp.

Quy tắc thực dụng của Flatkey: chọn GPU theo chi phí trên mỗi lần huấn luyện hoàn tất, chi phí trên mỗi token được chấp nhận, chi phí trên mỗi ảnh hoặc video được chấp nhận, và mức rủi ro vận hành mà bạn sẵn sàng chịu trách nhiệm. Nếu bạn chỉ cần quyền truy cập mô hình, quản trị, cơ chế dự phòng và một sổ ghi sử dụng duy nhất, hãy so sánh thuê GPU với các phương án mô hình/API trước khi cam kết đầu tư phần cứng.

Câu trả lời nhanh của hướng dẫn chọn GPU cho AI

Bắt đầu với ma trận này trước khi so sánh báo giá từ nhà cung cấp.

Câu trả lời nhanh cố ý không phải là "mua GPU nhanh nhất". Với các nhóm AI doanh nghiệp, GPU tốt nhất là GPU phù hợp với mô hình, độ dài ngữ cảnh, mục tiêu độ trễ, mức đồng thời, ranh giới dữ liệu và mô hình vận hành của đội ngũ.

Bước 1: Phân loại khối lượng công việc

Bước đầu tiên trong bất kỳ hướng dẫn chọn GPU cho AI nào là phân loại khối lượng công việc. Không có bước này, mọi so sánh sau đó sẽ sụp thành một cuộc tranh luận chung chung về bộ tăng tốc.

Mọi cuộc thảo luận về GPU nên bắt đầu bằng một bản tóm tắt khối lượng công việc. Hãy ghi nó ra trước khi yêu cầu nhà cung cấp báo giá.

Nếu bạn không thể điền bảng này, hãy tạm dừng việc chọn GPU. Lúc đó, bạn vẫn đang mua khả năng, không phải năng lực thực tế.

Bước 2: Chọn chỉ số quyết định phù hợp

Bước thứ hai trong một hướng dẫn chọn GPU cho AI là chọn mẫu số. Một mẫu số tốt sẽ gắn quyết định GPU với công việc đã hoàn thành, chứ không phải với bảng thông số của nhà cung cấp.

FLOPS đỉnh, số lượng Tensor Core, và giá GPU theo giờ là những đầu vào hữu ích, nhưng không phải là chỉ số ra quyết định. Hãy dùng một mẫu số gắn với đầu ra kinh doanh.

Hãy dùng công thức cơ bản này:

effective_unit_cost =
  all_in_workload_cost
  / accepted_outputs_after_retries_failures_and_quality_filters

Đối với huấn luyện:

training_run_cost =
  gpu_hours
  + storage
  + network
  + checkpointing
  + failed_run_waste
  + platform_labor

Đối với suy luận:

inference_cost_per_accepted_output =
  gpu_compute
  + storage
  + serving_stack
  + idle_capacity
  + retry_waste
  + observability
  + platform_labor
  / accepted_outputs

Đây là lúc lựa chọn GPU thay đổi. Một GPU thắng trong benchmark thông lượng có thể thua nếu nó đòi hỏi topology đắt đỏ, chạy ở mức sử dụng thấp, không đạt mục tiêu độ trễ, hoặc buộc phải phát sinh thêm công việc vận hành.

Lựa chọn GPU cho huấn luyện

Đối với huấn luyện, một hướng dẫn chọn GPU cho AI nên hoạt động như một hướng dẫn về cụm máy. Bản thân GPU riêng lẻ quan trọng, nhưng vị trí đặt, liên kết nội bộ, lưu trữ, và hành vi khởi động lại thường quyết định chi phí của lần chạy hoàn tất.

Huấn luyện cần bộ nhớ lớn, băng thông bộ nhớ cao, mạng GPU-to-GPU tốc độ cao, vị trí đa nút ổn định, và độ tin cậy của checkpoint. Nó ít khoan dung hơn suy luận vì một nút bị lỗi có thể làm lãng phí hàng giờ hoặc hàng ngày tính toán.

Điều quan trọng nhất đối với huấn luyện

• Dung lượng HBM: tham số mô hình, gradient, trạng thái optimizer, activation, độ dài chuỗi và kích thước batch đều tranh chấp bộ nhớ.
• Băng thông bộ nhớ: các phép toán ma trận lớn và các bước optimizer có thể bị giới hạn bởi băng thông.
• Liên kết nội bộ: NVLink, NVSwitch, InfiniBand, RoCE, EFA, hoặc AI fabric đặc thù của nhà cung cấp có thể quyết định khả năng mở rộng có hiệu quả hay không.
• Hỗ trợ độ chính xác: BF16, FP8, và các đường dẫn độ chính xác thấp mới hơn chỉ quan trọng nếu framework và cấu hình mô hình của bạn dùng chúng an toàn.
• Lưu trữ và I/O checkpoint: thời gian ghi checkpoint và thời gian khôi phục là một phần của chi phí của lần chạy hoàn tất.
• Độ tin cậy vị trí: các GPU phù hợp nhưng bị phân tán trên hạ tầng yếu không giống với một cụm huấn luyện nhất quán.

Hướng chọn GPU cho huấn luyện

Hãy dùng H100 hoặc H200 khi bạn cần hỗ trợ huấn luyện kiểu Hopper đã được kiểm chứng và mức độ trưởng thành rộng rãi của framework. H200 có dung lượng HBM và băng thông cao hơn H100, điều này hữu ích cho huấn luyện và tinh chỉnh nặng về bộ nhớ. Hãy dùng B200 hoặc các hệ thống cấp GB200 khi khối lượng công việc có thể tận dụng thông lượng kiểu Blackwell, các đường dẫn độ chính xác thấp hơn, và nhà cung cấp có thể thực sự cung cấp topology, hỗ trợ framework, và các bài kiểm thử chấp nhận mà bạn cần. Hãy dùng A100 khi mô hình nhỏ hơn, quy trình huấn luyện đã trưởng thành, ngân sách bị giới hạn, hoặc tính sẵn có quan trọng hơn hiệu năng đỉnh.

Đừng chọn GPU huấn luyện chỉ từ một benchmark duy nhất. Hãy chạy đúng quy trình của bạn hoặc một proxy gần đúng. Đo thời gian để đạt điểm đánh giá mục tiêu, hành vi khởi động lại, thời gian checkpoint, và tổng chi phí. Các quyết định H100 so với A100 và H200 so với H100 thường là quyết định về lần chạy hoàn tất, không phải quyết định về đơn giá theo giờ.

Bài đọc liên quan hữu ích: H100 vs A100, H200 vs H100, B200 vs H200, và B300 vs B200.

Lựa chọn GPU cho tinh chỉnh

Tinh chỉnh nằm giữa huấn luyện và suy luận. Tinh chỉnh đầy đủ hoạt động giống huấn luyện, trong khi LoRA và QLoRA có thể vừa với phần cứng nhỏ hơn nếu kích thước mô hình, độ dài ngữ cảnh, kích thước batch, và độ chính xác được kiểm soát.

Tinh chỉnh đầy đủ

Đối với tinh chỉnh đầy đủ, hãy ưu tiên bộ nhớ và topology trước. GPU phải chứa được trạng thái huấn luyện hoặc phân mảnh nó một cách hiệu quả. H100, H200, B200, và các cụm A100 đa GPU là những hướng phổ biến tùy theo kích thước mô hình và ngân sách. GPU cấp H200 và B200 có thể giảm áp lực phân mảnh cho các công việc nặng về bộ nhớ, nhưng chỉ khi stack của nhà cung cấp và phiên bản framework đã sẵn sàng.

Các câu hỏi cần hỏi:

• Mô hình lớn nhất và độ dài ngữ cảnh dài nhất mà bạn phải tinh chỉnh là gì?
• Trạng thái optimizer được nạp đầy, phân mảnh, offload, hay lượng tử hóa?
• Công việc có cần tensor parallelism, pipeline parallelism, FSDP, DeepSpeed, hay một phương pháp phân tán khác không?
• Bộ dữ liệu có nằm cục bộ trong vùng GPU không?
• Chi phí của một checkpoint thất bại là bao nhiêu?

Tinh chỉnh adapter

Với LoRA, QLoRA, instruction tuning, và thích nghi miền nhỏ hơn, câu trả lời có thể linh hoạt hơn. A100, L40S, H100, H200, và các GPU RTX cục bộ có thể phù hợp với các phần khác nhau của quy trình. Rủi ro là cho rằng một bản demo nhỏ có nghĩa là công việc sản xuất cũng sẽ vừa. Ngữ cảnh dài hơn, batch lớn hơn, nhiều ví dụ hơn, và các lần chạy xác thực có thể đẩy công việc sang một hạng mục khác.

Đây là một vị trí tốt để chạy một benchmark hai giai đoạn: trước tiên chứng minh bộ nhớ đủ dùng, sau đó chứng minh thời gian đến checkpoint và chi phí trên mỗi mô hình tinh chỉnh được chấp nhận.

Chọn GPU cho suy luận LLM

Đối với suy luận, một hướng dẫn chọn GPU cho AI nên tách việc phù hợp bộ nhớ khỏi việc phù hợp độ trễ. Một GPU có thể tải được mô hình nhưng vẫn không đạt mục tiêu p99 trong môi trường sản xuất.

Suy luận không phải là một khối lượng công việc duy nhất. GPU phù hợp sẽ thay đổi tùy theo kích thước mô hình, độ dài ngữ cảnh, mức độ đồng thời, mục tiêu độ trễ và việc yêu cầu là theo lô hay thời gian thực.

Bộ nhớ phù hợp là ưu tiên hàng đầu

Với suy luận LLM, bộ nhớ GPU phải đủ chứa trọng số mô hình và KV cache, đồng thời còn đủ chỗ cho framework phục vụ. Ngữ cảnh dài và mức độ đồng thời cao có thể khiến KV cache trở thành áp lực bộ nhớ chủ đạo. Một GPU đủ cho một người dùng có thể thất bại ở mức đồng thời của môi trường sản xuất.

Sử dụng danh sách kiểm tra này:

• Kích thước trọng số ở độ chính xác của bạn: FP16, BF16, FP8, INT8, INT4 hoặc một định dạng lượng tử hóa khác.
• Cửa sổ ngữ cảnh và độ dài đầu vào p95 dự kiến.
• Độ dài đầu ra và hành vi streaming.
• Số phiên đồng thời và kích thước batch.
• Chiến lược KV cache, prefix cache và hành vi xóa (eviction).
• Overhead của framework phục vụ.
• Biên an toàn cho các đợt tăng đột biến và phân mảnh.

Nếu bộ nhớ quá chật, một GPU có bộ nhớ lớn hơn có thể vượt qua một GPU bộ nhớ nhỏ hơn nhưng nhanh hơn về mặt lý thuyết, vì nó tránh được sharding, offload hoặc lượng tử hóa chất lượng thấp hơn.

Suy luận thời gian thực

Suy luận thời gian thực quan tâm đến độ trễ p95 và p99, không chỉ thông lượng trung bình. Các GPU thuộc lớp H100, H200 và B200 thường phù hợp hơn cho mô hình lớn, ngữ cảnh dài và khối lượng công việc nhạy cảm với độ trễ. L40S và A100 có thể hiệu quả về chi phí cho mô hình nhỏ hơn, mức độ đồng thời thấp hơn hoặc các khối lượng công việc có mục tiêu p99 thoáng hơn.

Đo lường:

• Thời gian đến token đầu tiên.
• Độ trễ giữa các token.
• Độ trễ đầu-cuối p95/p99.
• Số token mỗi giây trên mỗi GPU.
• Số token được chấp nhận trên mỗi đô la.
• Tỷ lệ lỗi khi có lưu lượng tăng đột biến.
• Mức khuếch đại do retry khi bị giới hạn tốc độ, OOM hoặc triển khai mới.

Đối với lựa chọn serving stack, hãy dùng vLLM vs SGLang và hướng dẫn triển khai vLLM.

Suy luận theo lô

Suy luận theo lô có thể đánh đổi độ trễ để lấy thông lượng. Điều đó mở ra nhiều lựa chọn GPU hơn. L40S, A100, H100, H200 và B200 đều có thể phù hợp nếu mô hình vừa bộ nhớ và mức sử dụng cao. Chỉ số quyết định thường là số đầu ra được chấp nhận trên mỗi đô la trong suốt cửa sổ batch.

Các khối lượng công việc theo lô cũng phù hợp với spot, cửa sổ dành riêng hoặc năng lực GPU serverless khi hành vi retry được kiểm soát. Nếu cùng một batch có thể được gửi tới một model API với ít gánh nặng vận hành hơn, hãy so sánh cả hai hướng bằng bảng tính GPU cloud so với model API.

Chọn GPU cho tạo media

Tạo ảnh và video thường hoạt động khác với suy luận văn bản. VRAM, độ phức tạp của pipeline mô hình, I/O lưu trữ và khả năng chịu xếp hàng quan trọng hơn độ trễ hội thoại.

L40S thường hấp dẫn cho các khối lượng công việc về ảnh và media nhỏ hơn vì nó có khả năng suy luận mạnh và đặc tính hướng đồ họa, với mức đầu tư thấp hơn so với GPU lớp H100. H100, H200 và B200 trở nên liên quan hơn khi khối lượng công việc nặng hơn, lớn hơn, đa phương thức hơn hoặc bị ràng buộc chặt về độ trễ. Các workstation RTX cục bộ có thể hữu ích cho người sáng tạo, tạo mẫu và các pipeline khối lượng thấp, nhưng đội ngũ sản xuất vẫn cần xếp hàng, lưu trữ, retry và khả năng quan sát.

Hãy dùng chi phí trên mỗi ảnh hoặc clip được chấp nhận, không phải thời gian render thô:

media_accepted_cost =
  gpu_cost
  + storage
  + failed_renders
  + moderation_or_quality_filtering
  + queue_overhead
  + operator_review
  / accepted_assets

Nếu nhóm của bạn chỉ cần truy cập nhiều mô hình ảnh hoặc video, hướng model/API có thể đơn giản hơn so với việc vận hành các pipeline media trên GPU. Hãy áp dụng cùng kỷ luật mua sắm như với văn bản: chi phí trên mỗi kết quả được chấp nhận, không chỉ đơn thuần là giá niêm yết.

Bảng tóm tắt GPU

Hãy dùng bảng này như một điểm khởi đầu, sau đó xác minh thông số và tình trạng sẵn có hiện tại trên các trang chính thức của nhà cung cấp. Đừng coi đây là bảng giá.

Bảng này che đi một sự thật quan trọng trong mua sắm: model GPU chỉ là một phần của câu trả lời. Hình dạng node, lưu trữ, bộ lập lịch, interconnect, mô hình quota và chất lượng hỗ trợ có thể quyết định việc GPU có hữu ích hay không.

Danh sách kiểm tra khi mua sắm

Trước khi mua hoặc thuê, hãy hỏi nhà cung cấp các chi tiết sau.

Phần cứng và topology

• Model GPU chính xác, dung lượng bộ nhớ, hình dạng node và số GPU trên mỗi node.
• Interconnect bên trong node và giữa các node.
• CPU, RAM, NVMe cục bộ, băng thông lưu trữ và băng thông mạng.
• Giả định về region, zone, placement group, rack hoặc cụm chuyên dụng.
• Quy trình thay thế cho GPU, node, lưu trữ và thiết bị mạng bị lỗi.

Ngăn xếp phần mềm

• Phiên bản driver, CUDA, cuDNN, NCCL, container runtime và framework được hỗ trợ.
• Mô hình truy cập Kubernetes, Slurm, managed endpoint hoặc bare-metal.
• Hỗ trợ vLLM, SGLang, TensorRT-LLM, Triton, Ray hoặc pipeline media.
• Các trường quan sát cho mức sử dụng GPU, bộ nhớ, thời gian chờ hàng đợi, độ trễ, lỗi và chi phí.
• Quy trình nâng cấp và rollback.

Mô hình thương mại

• On-demand, spot, reserved, marketplace, cụm chuyên dụng, private cloud hoặc managed endpoint.
• Cam kết tối thiểu, quyền hủy, mức phí quá hạn và các cấp hỗ trợ.
• Chi phí lưu trữ, egress, snapshot, IP công khai, load balancer và mạng riêng.
• Định dạng xuất usage và độ chi tiết của hóa đơn.
• Việc công suất nhàn rỗi có bị tính phí hay không và cơ chế tự động tắt hoạt động như thế nào.

Bảo mật và quản trị

• Ranh giới mạng, mô hình VPC/VNet, hỗ trợ private endpoint và chính sách egress.
• IAM, xử lý secret, audit logs, quyền truy cập hỗ trợ và thông báo sự cố.
• Lưu trữ dữ liệu, thời gian giữ checkpoint, sao lưu, xóa và legal hold.
• Bằng chứng tuân thủ và hỗ trợ rà soát nhà cung cấp.
• Ngân sách theo nhóm, quota, tag và hỗ trợ chargeback/showback.

Danh sách kiểm tra này áp dụng cho public GPU cloud, private GPU cloud và thuê cụm GPU. Cam kết càng sâu, bạn càng nên yêu cầu nhiều bằng chứng hơn.

Kế hoạch benchmark: Cách kiểm thử trước khi cam kết

Đây là phần của hướng dẫn chọn GPU cho AI nên trở thành bằng chứng mua sắm của bạn. Hãy lưu lại input, output và tiêu chí chấp nhận để bộ phận tài chính và nền tảng có thể xem lại quyết định sau này.

Chạy benchmark giống với khối lượng công việc của bạn. Đừng chỉ dựa vào các bảng benchmark công khai.

Giai đoạn 1: Kiểm tra mức độ phù hợp bộ nhớ

1. Nạp model chính xác hoặc proxy gần nhất.
2. Sử dụng độ chính xác và lượng tử hóa dự kiến.
3. Thiết lập độ dài ngữ cảnh mục tiêu và batch size.
4. Chạy các prompt hoặc bản ghi đại diện.
5. Ghi lại peak memory, fragmentation, tỷ lệ OOM và headroom an toàn.

Giai đoạn 2: Kiểm tra throughput và độ trễ

1. Kiểm tra lưu lượng ổn định và lưu lượng tăng đột biến.
2. Đo độ trễ p50, p95 và p99.
3. Đo thời gian đến token đầu tiên cho khối lượng công việc LLM streaming.
4. Đo tokens/sec, images/hour, clips/hour hoặc records/hour.
5. Ghi lại các output được chấp nhận, không chỉ output được tạo ra.

Giai đoạn 3: Kiểm tra lỗi và vận hành

1. Giết một worker, drain một node, khởi động lại stack phục vụ và mô phỏng một lần triển khai lỗi.
2. Xác minh khả năng khôi phục checkpoint cho huấn luyện và fine-tuning.
3. Kiểm tra thời gian cold-start và thời gian tải model.
4. Xác nhận log và metrics có sẵn cho các nhóm nền tảng, bảo mật và tài chính.
5. Xác thực rằng phân bổ chi phí vẫn đúng khi có retry và lỗi.

Giai đoạn 4: Chuẩn hóa tài chính

Tạo một hàng cho mỗi ứng viên:

Điều này biến hướng dẫn chọn GPU cho AI thành một bản ghi quyết định để tài chính, nền tảng và sản phẩm có thể xem xét.

Thuê, đặt trước, mua hay dùng API mô hình?

Bước cuối cùng trong hướng dẫn chọn GPU cho AI này là quyết định liệu năng lực nên được thuê, đặt trước, mua, hay tránh dùng thông qua API mô hình.

Lựa chọn mô hình GPU và lựa chọn mô hình năng lực là hai quyết định riêng biệt.

Nếu lý do để dùng GPU chủ yếu là "chúng ta cần truy cập các mô hình AI," hãy bắt đầu với định tuyến model/API. Nếu lý do là "chúng ta cần kiểm soát topology, runtime, weights, ranh giới dữ liệu, hoặc kernel tùy chỉnh," hãy giữ phương án GPU mở. Sự khác biệt này quan trọng vì hạ tầng GPU kéo theo quyền sở hữu bộ lập lịch, runtime, bảo mật, FinOps và sự cố.

Flatkey hỗ trợ phía API của quyết định đó: một khóa, một số dư, một hóa đơn, kiểm soát sổ cái sử dụng, và các tuyến mô hình/công cụ chính thức. Nó không thay thế việc kiểm soát phần cứng khi yêu cầu là kiểm soát phần cứng. Nó là lựa chọn đơn giản hơn khi yêu cầu thực sự là quyền truy cập mô hình được quản lý và khả năng hiển thị chi phí.

Những sai lầm phổ biến khi chọn GPU

Sai lầm 1: Chọn theo đơn giá theo giờ

Đơn giá theo giờ bỏ qua mức sử dụng, số lần thử lại, thời gian nhàn rỗi, lưu trữ, mạng, hỗ trợ và thời gian kỹ sư. Hãy dùng chi phí của khối lượng công việc đã hoàn thành thay thế. Hướng dẫn giá thuê GPU trình bày các dòng chi phí ẩn.

Sai lầm 2: Xem mức phù hợp bộ nhớ như câu hỏi có/không

Mức phù hợp bộ nhớ ở một độ dài prompt hoặc kích thước batch không chứng minh được mức phù hợp cho sản xuất. Context dài, concurrency cao, chuyển đổi mô hình, và phần dư của framework serving có thể làm thay đổi câu trả lời.

Sai lầm 3: Bỏ qua interconnect

Đối với tác vụ nhiều GPU và nhiều nút, topology là một phần của GPU. Một cụm GPU rẻ hơn nhưng bố trí kém có thể thua một cụm đắt hơn nhưng nhất quán.

Sai lầm 4: Đo hiệu năng theo đầu ra được tạo ra thay vì đầu ra được chấp nhận

Khối lượng công việc AI có bộ lọc chất lượng, bộ lọc an toàn, retry, tạo sinh thất bại, bản vá thất bại, và eval thất bại. Hãy đo chi phí của đầu ra được chấp nhận.

Sai lầm 5: Quên trách nhiệm sở hữu nền tảng

Ai đó phải vận hành driver, CUDA, container, model server, autoscaling, quota, ghi log, cảnh báo, sự cố, và báo cáo chi tiêu. Nếu chưa có đội ngũ đó, hãy tính đến điều này.

Sai lầm 6: Chỉ mua cho mô hình hiện tại

Lựa chọn mô hình thay đổi. Cửa sổ ngữ cảnh tăng lên. Lượng tử hóa cải thiện. Tính sẵn có của nhà cung cấp thay đổi. Hãy giữ bản ghi quyết định linh hoạt và tránh các cam kết giả định rằng một mô hình sẽ luôn chiếm ưu thế.

Các nguồn chính thức cần kiểm tra

Hãy dùng các trang chính thức cho những chi tiết biến động hoặc đặc thù theo nhà cung cấp:

• Tổng quan về NVIDIA H100 cho bối cảnh GPU dòng Hopper: NVIDIA H100 Tensor Core GPU.
• Tổng quan về NVIDIA H200 cho bối cảnh bộ nhớ HBM3e lớn hơn và băng thông cao hơn: NVIDIA H200 Tensor Core GPU.
• Tài liệu về NVIDIA Blackwell/DGX B200 và GB200 cho bối cảnh hệ thống Blackwell: NVIDIA DGX B200 và NVIDIA GB200 NVL72.
• Tổng quan về NVIDIA A100 cho bối cảnh nền tảng Ampere đã trưởng thành: NVIDIA A100 Tensor Core GPU.
• Trang NVIDIA L40S cho bối cảnh khối lượng công việc suy luận và đồ họa/media: NVIDIA L40S.
• Tài liệu NVIDIA MIG khi phân vùng các GPU được hỗ trợ: NVIDIA Multi-Instance GPU User Guide.
• Tài liệu framework phục vụ để phù hợp với môi trường runtime: vLLM OpenAI-compatible server, tài liệu SGLang, và NVIDIA TensorRT-LLM.
• Trang báo giá và giá từ nhà cung cấp để biết tình trạng sẵn có và chi phí hiện tại. Hãy gắn dấu thời gian cho mọi mức giá bạn sao chép vào bảng tính mua sắm.

Câu hỏi thường gặp

GPU tốt nhất cho huấn luyện AI là gì?

GPU tốt nhất cho huấn luyện AI phụ thuộc vào kích thước mô hình, công thức huấn luyện, yêu cầu bộ nhớ, kết nối liên thông, hành vi checkpoint và thời gian đạt điểm đánh giá mục tiêu. Các hệ thống thuộc dòng H100, H200, B200 và GB200 là những ứng viên mạnh cho các tác vụ huấn luyện lớn, trong khi A100 vẫn có thể khả thi cho khối lượng công việc nhỏ hơn hoặc nhạy cảm về ngân sách. Hãy benchmark chi phí của toàn bộ lần chạy hoàn tất trước khi lựa chọn.

GPU tốt nhất cho suy luận LLM là gì?

GPU tốt nhất cho suy luận LLM là GPU phù hợp với trọng số mô hình và KV cache đồng thời đáp ứng mục tiêu độ trễ p95/p99 và chi phí trên mỗi token được chấp nhận. H100, H200 và B200 rất mạnh cho khối lượng công việc lớn hoặc ngữ cảnh dài. L40S và A100 có thể hiệu quả cho các mô hình nhỏ hơn, suy luận theo lô và mục tiêu độ trễ ít khắt khe hơn. Hãy dùng hướng dẫn chuyên sâu về GPU tốt nhất cho suy luận LLM để có công thức tính dành riêng cho suy luận.

H200 có luôn tốt hơn H100 không?

Không. H200 có dung lượng bộ nhớ và băng thông cao hơn H100, điều này có thể giúp ích cho suy luận và huấn luyện nặng về bộ nhớ. Nhưng lựa chọn tốt hơn còn phụ thuộc vào giá, khả năng sẵn có, độ trưởng thành của framework, kích thước batch, độ trễ, và việc khối lượng công việc có thực sự bị giới hạn bởi bộ nhớ hay không. Nếu H100 đáp ứng mục tiêu với chi phí hiệu dụng thấp hơn, H100 vẫn có thể thắng.

Khi nào tôi nên chọn L40S thay vì H100?

Hãy chọn L40S khi mô hình phù hợp, mục tiêu độ trễ ở mức vừa phải, thông lượng media/suy luận trên mỗi đô la là quan trọng, và năng lực cấp H100 sẽ không được khai thác hết. Hãy chọn H100 khi các mô hình lớn hơn, độ trễ p99 nghiêm ngặt hơn, huấn luyện, hoặc suy luận đồng thời cao đòi hỏi hiệu năng bộ tăng tốc trung tâm dữ liệu mạnh hơn.

Tôi nên thuê GPU hay dùng API mô hình?

Hãy thuê GPU khi bạn cần kiểm soát phần cứng, runtime tùy chỉnh, topology riêng tư, hoặc mức sử dụng ổn định trên một mô hình ổn định. Hãy dùng API mô hình khi nhu cầu không chắc chắn, mô hình thay đổi thường xuyên, cần truy cập mô hình tiên phong, hoặc đội ngũ của bạn cần quản trị, phương án dự phòng, sổ cái sử dụng và một hóa đơn duy nhất hơn là kiểm soát phần cứng. So sánh với GPU cloud vs model API.

Làm sao để tránh mua quá nhiều GPU?

Tránh mua quá nhiều bằng cách benchmark đúng khối lượng công việc thực tế, đo lường đầu ra được chấp nhận, bao gồm thời gian nhàn rỗi và vận hành, và thử các lựa chọn nhỏ hơn hoặc được quản lý trước. Chỉ đặt chỗ hoặc mua sau khi lưu lượng, lựa chọn mô hình và mức sử dụng đã được xác minh.

Kết luận

Hướng dẫn chọn GPU cho AI này không phải là bảng xếp hạng các bộ tăng tốc. Nó là một cách để đưa ra quyết định về GPU một cách có cơ sở. Hãy bắt đầu từ khối lượng công việc, chọn một chỉ số phù hợp với mục tiêu kinh doanh, chứng minh mức độ phù hợp của bộ nhớ, kiểm tra thông lượng và độ trễ đuôi, tính cả vận hành và lãng phí do lỗi, rồi so sánh với các phương án mô hình/API trước khi ký cam kết.

Đối với nhiều đội ngũ, câu trả lời đúng là mô hình lai: dùng GPU cho các khối lượng công việc thực sự cần kiểm soát phần cứng, và dùng quyền truy cập mô hình/API do Flatkey quản trị cho phần lưu lượng dư, các mô hình tiên phong, phương án dự phòng, sổ cái sử dụng, và các đội không nên vận hành một stack phục vụ. Lựa chọn GPU chiến thắng là lựa chọn mang lại khối lượng công việc được chấp nhận với chi phí phù hợp mà không buộc đội ngũ của bạn phải sở hữu hạ tầng mà họ không cần.