NVLink vs NVSwitch: Giải thích các kết nối liên GPU cho cụm AI
Nếu bạn đang so sánh NVLink vs NVSwitch, câu trả lời ngắn gọn là:
- NVLink là liên kết GPU-to-GPU băng thông cao.
- NVSwitch là cấu trúc chuyển mạch cho phép nhiều GPU được kết nối bằng NVLink giao tiếp với nhau mà không buộc mọi cặp GPU phải đi qua một làn điểm-đến-điểm hẹp.
- InfiniBand hoặc Ethernet vẫn là mạng mở rộng quy mô kết nối các hệ thống, rack, lưu trữ và các cụm lớn hơn.
Phân biệt này rất quan trọng khi bạn thuê GPU, mua hệ thống HGX hoặc DGX, hoặc quyết định liệu một workload có thực sự cần truy cập trực tiếp vào cụm hay không thay vì một API mô hình được quản lý. Một GPU nhanh là chưa đủ nếu mô hình phải dành quá nhiều thời gian chờ các đồng bộ tensor-parallel, all-reduce, all-gather, reduce-scatter hoặc lưu lượng all-to-all.
Hướng dẫn này giải thích khác biệt giữa nvidia nvlink vs nvswitch theo ngữ cảnh cụm thực tế: mỗi thành phần làm gì, InfiniBand phù hợp ở đâu, khi nào topology thay đổi hiệu năng LLM, và cần hỏi gì trước khi cam kết với một kiến trúc cụm GPU đắt tiền.
NVLink vs NVSwitch: sự khác biệt nhanh
| Lớp | Đó là gì | Phạm vi điển hình | Nó cải thiện gì | Nó không thay thế điều gì |
|---|---|---|---|---|
| NVLink | Kết nối trực tiếp GPU băng thông cao | Các liên kết GPU-to-GPU bên trong những nền tảng NVIDIA được hỗ trợ | Tensor parallelism, di chuyển bộ nhớ giữa các GPU ngang hàng, giao tiếp tập thể bên trong một miền scale-up | Nó không phải là mạng cụm tự thân |
| NVSwitch | Silicon chuyển mạch và fabric cho các điểm cuối NVLink | Miền NVLink của máy chủ đa GPU, baseboard, hoặc quy mô rack tùy nền tảng | Giao tiếp GPU all-to-all, fabric GPU không nghẽn hoặc có băng thông chia cắt lớn hơn, miền GPU lớn hơn | Nó không loại bỏ nhu cầu dùng InfiniBand/Ethernet cho mở rộng quy mô cụm |
| InfiniBand / Ethernet | Fabric mạng giữa các hệ thống và rack | Node-to-node, lưu trữ, quản trị, cụm nhiều rack | Huấn luyện phân tán trên nhiều node, truy cập lưu trữ, lưu lượng dịch vụ, miền lập lịch | Nó không tạo ra băng thông NVLink cục bộ giữa các GPU trong một node |
Sự khác biệt giữa nvlink vs nvswitch dễ nhớ nhất là link vs fabric. NVLink là con đường giữa các GPU. NVSwitch là nút giao giúp nhiều con đường như vậy gặp nhau mà không biến mỗi chuyến đi thành một tuyến điểm-đến-điểm hẹp.
NVLink làm gì
NVLink là interconnect tốc độ cao của NVIDIA cho giao tiếp GPU-to-GPU. Nó được thiết kế cho các kiểu lưu lượng trở nên tốn kém khi đi qua các đường PCIe thông thường: các lớp model parallel, các shard tensor được đồng bộ, truy cập bộ nhớ ngang hàng, và các collective tần suất cao.
Trên các nền tảng NVIDIA công khai hiện nay, thế hệ là yếu tố quan trọng:
| Thế hệ nền tảng | Điểm tham chiếu công khai của NVIDIA | Băng thông NVLink trên mỗi GPU |
|---|---|---|
| Hopper | Thế hệ H100/H200 | 900 GB/s |
| Blackwell | Thế hệ B200/GB200 | 1,800 GB/s |
| Vera Rubin | Nền tảng thế hệ tiếp theo đã công bố | 3,000 GB/s sơ bộ |
Với người mua hạ tầng, những con số này không đảm bảo mọi workload đều nhận được mức tăng tốc tương ứng. Chúng cho bạn biết trần giao tiếp mà topology có sẵn. Lợi ích thực tế phụ thuộc vào kích thước mô hình, chiến lược song song, batch size, độ dài chuỗi, hành vi framework, cách bố trí, và việc workload có bị giới hạn bởi giao tiếp hay không.
Hãy xem NVLink như một tín hiệu khi mua sắm nếu workload của bạn dùng nhiều GPU cho một request, một bước huấn luyện, hoặc một nhóm shard mô hình. Nó ít quan trọng hơn nhiều khi mỗi GPU phục vụ các job độc lập với rất ít giao tiếp ngang hàng.
NVSwitch làm gì
NVSwitch là lớp chuyển mạch kết nối nhiều điểm cuối NVLink thành một fabric GPU băng thông cao hơn. Nếu không có fabric chuyển mạch, một hệ thống đa GPU có thể phải chia ngân sách liên kết sẵn có của mỗi GPU cho nhiều kết nối điểm-đến-điểm. Với NVSwitch, các hệ thống được hỗ trợ có thể cung cấp cho mỗi GPU một đường đi đồng đều hơn đến mọi GPU khác trong miền NVLink.
Đó là lý do nvswitch vs nvlink không phải là lựa chọn giữa hai phương án thay thế. NVSwitch dùng các kết nối NVLink để xây dựng một fabric. Bộ chuyển mạch này hữu ích vì tám, mười sáu hoặc bảy mươi hai GPU không hoạt động như hai GPU nối cáp với nhau.
Trong các ví dụ công khai của NVIDIA:
- Các hệ thống DGX H100/H200 sử dụng tám GPU H100 hoặc H200 và công bố băng thông GPU-to-GPU 900 GB/s cùng kết nối cụm qua các cổng ConnectX-7 InfiniBand/Ethernet.
- Các hệ thống DGX B200 sử dụng tám GPU B200 và công bố hai NVLink switch thế hệ thứ năm với băng thông tổng hợp 14.4 TB/s; so sánh các đánh đổi khi mua trong hướng dẫn B200 vs H200 của chúng tôi.
- GB200 NVL72 kết nối 36 CPU Grace và 72 GPU Blackwell trong một thiết kế quy mô rack; NVIDIA mô tả đây là một miền NVLink 72 GPU với 130 TB/s giao tiếp GPU độ trễ thấp. Để chọn nền tảng, xem GB200 vs B200.
Kết luận thực tế: NVSwitch trở nên quan trọng hơn khi số lượng GPU trong một miền scale-up tăng lên và khi nhiều hơn trên đường dẫn quan trọng của workload là giao tiếp giữa các GPU.
NVLink vs NVSwitch vs InfiniBand
Cụm từ nvlink vs nvswitch vs infiniband thường che khuất ba câu hỏi thiết kế khác nhau:
- Bên trong một hệ thống GPU: Các GPU có đủ băng thông ngang hàng cho tensor parallelism, các giai đoạn pipeline hay suy luận đa GPU không?
- Bên trong một miền quy mô rack: Nhiều GPU có thể hoạt động như một fabric tăng tốc lớn hơn cho mô hình parallelism quy mô lớn không?
- Trên nhiều nút hoặc nhiều rack: Mạng cụm có thể xử lý huấn luyện phân tán, nạp dữ liệu, lưu trữ, checkpointing và lưu lượng dịch vụ một cách có thể dự đoán được không?
NVLink và NVSwitch trả lời hai câu hỏi đầu tiên. InfiniBand hoặc Ethernet trả lời câu hỏi thứ ba.
Ví dụ, một nút HGX hoặc DGX tám GPU với NVSwitch có thể rất phù hợp cho một bản sao mô hình cần tensor parallelism chặt chẽ giữa các GPU trong nút. Nếu bạn cần hàng trăm hoặc hàng nghìn GPU, bạn vẫn cần một mạng scale-out. Trên các hệ thống rack Blackwell, NVIDIA kết hợp các miền NVLink lớn với InfiniBand hoặc Spectrum-X Ethernet để mở rộng vượt ra ngoài rack.
Đừng hỏi liệu NVLink có thay thế InfiniBand không. Hãy hỏi lưu lượng nào nên ở trong miền NVLink và lưu lượng nào bắt buộc phải đi qua fabric của cụm.
Tại sao khối lượng công việc AI quan tâm đến topology
Các khối lượng công việc LLM hiện đại không chỉ là phép nhân ma trận. Khi một mô hình được chia trên nhiều thiết bị, mỗi lớp có thể tạo ra giao tiếp.
Các mẫu giao tiếp phổ biến bao gồm:
- All-reduce: mỗi rank đóng góp giá trị và nhận kết quả đã được giảm.
- Reduce-scatter và all-gather: các khối xây dựng phổ biến cho các chiến lược tensor và data parallel.
- All-to-all: mỗi rank gửi các phần khác nhau đến các rank khác, điều này quan trọng đối với một số thiết kế expert-parallel và có nhiều định tuyến.
- Di chuyển KV cache và activation: phụ thuộc vào cách triển khai, nhưng thường nhạy cảm với tính cục bộ và vị trí đặt.
NCCL mô tả các collective này như các thao tác dựa trên rank trên các thiết bị CUDA. Điều đó quan trọng vì phần mềm nhìn thấy các rank, không phải các thuật ngữ tiếp thị. Một fabric tốt chỉ hữu ích nếu việc đặt rank, framework, container, thiết lập NCCL và bố cục scheduler cho phép công việc tận dụng nó.
Trong thảo luận của NVIDIA về suy luận LLM, suy luận tensor-parallel yêu cầu các GPU trao đổi kết quả sau khi xử lý một lớp mô hình trước khi lớp tiếp theo có thể tiếp tục. Khi việc trao đổi đó chậm, các Tensor Core có thể nhàn rỗi. Đó là lý do cốt lõi khiến NVSwitch có thể quan trọng đối với phục vụ đa GPU.
Khi nào NVSwitch đáng để chú ý
Ưu tiên các hệ thống dựa trên NVSwitch khi một trong các điều sau đúng:
- Bạn phục vụ các mô hình cần tensor parallelism trên nhiều GPU để đạt mục tiêu độ trễ.
- Các công việc huấn luyện hoặc fine-tuning cho thấy thời gian collective cao trong profiler.
- Bạn dự định chạy suy luận theo batch lớn, nơi đồng bộ giữa GPU với GPU tăng theo mức độ đồng thời.
- Bạn cần giao tiếp all-to-all có thể dự đoán giữa mọi GPU trong một nút tám GPU.
- Bạn đang đánh giá các hệ thống quy mô rack như GB200 NVL72, nơi miền NVLink là một tính năng sản phẩm chính.
NVSwitch ít mang tính quyết định hơn khi:
- Các công việc là embarrassingly parallel và mỗi GPU chạy khối lượng công việc độc lập.
- Khối lượng công việc bị giới hạn bởi CPU, lưu trữ hoặc bộ nạp dữ liệu.
- Mô hình vừa vặn và có thể phục vụ thoải mái trên một GPU duy nhất.
- Ứng dụng gọi các API mô hình được lưu trữ và không quản lý topology phần cứng trực tiếp.
- Nút thắt cổ chai là fabric giữa các nút thay vì giao tiếp GPU trong cùng nút.
Câu hỏi đúng không phải là "GPU này có NVLink không?" Mà là "Khối lượng công việc quan trọng của tôi có giữ cho nhiều GPU trong cùng một miền NVLink/NVSwitch bận đủ nhiều để xứng đáng với chi phí cao hơn không?"
Danh sách kiểm tra mua sắm cho các hệ thống NVLink so với NVSwitch
Sử dụng danh sách kiểm tra này trước khi thuê hoặc mua một cụm GPU, và kết hợp nó với một đánh giá TCO của cụm GPU trước khi ký một hợp đồng giữ chỗ dài hạn.
| Câu hỏi | Vì sao điều này quan trọng |
|---|---|
| SKU GPU và form factor chính xác nào được cung cấp? | H100 PCIe, H100 SXM, H200, B200 và các hệ thống GB200 có thể thể hiện topology và băng thông rất khác nhau. |
| Hệ thống là point-to-point chỉ NVLink, dựa trên NVSwitch, hay một miền NVLink quy mô rack? | "Có NVLink" là chưa đủ. Bạn cần hình dạng của fabric. |
| Có bao nhiêu GPU trong một miền NVLink? | Kích thước miền ảnh hưởng đến các tùy chọn đặt tensor parallel và model-parallel. |
| Mạng giữa các nút là gì: InfiniBand, RoCE, Spectrum-X Ethernet, hay Ethernet thông thường? | NVSwitch không khắc phục được một mạng scale-out yếu. |
| Có sẵn các bài kiểm tra NCCL cho đúng cấu hình thuê không? | Các collective tổng hợp cho thấy topology, driver, rail và container có được nối đúng hay không. |
| Bạn có thể ghim một nút hoặc miền hoàn chỉnh không? | Đồng thuê có thể phá vỡ các giả định về tính cục bộ và khả năng lặp lại. |
| Các rail mạng và vị trí NIC có được tài liệu hóa không? | NCCL có thể cần lựa chọn interface đúng và bố trí theo rail một cách phù hợp ở quy mô lớn. |
| Điều gì xảy ra khi một GPU, khay switch hoặc NIC bị suy giảm? | Khả năng chịu lỗi và chính sách thay thế ảnh hưởng đến thời gian hoạt động production. |
| Bài benchmark nào phải vượt qua trước khi giữ chỗ dài hạn? | Chi phí đầu ra được chấp nhận hữu ích hơn giá theo giờ thô. |
Kế hoạch benchmark: chứng minh fabric trước khi bạn đặt chỗ
Đối với các đặt chỗ GPU chi phí cao, hãy chạy một bài kiểm tra chấp nhận topology trước khi cam kết dài hạn.
- Lập danh mục topology. Ghi lại
nvidia-smi topo -m, GPU SKU, driver, CUDA, phiên bản NCCL, NIC và image container. - Chạy các collective của NCCL. Kiểm thử all-reduce, reduce-scatter, all-gather và all-to-all ở các kích thước thông điệp giống với workload của bạn.
- Đo độ trễ của workload thực tế. Sử dụng mô hình thực, độ dài ngữ cảnh, chính sách batch và thiết lập song song hiện tại của bạn.
- So sánh bố trí trong cùng miền và liên node. Kiểm tra xem scheduler có vô tình di chuyển các rank sang những đường đi chậm hơn hay không.
- Theo dõi chi phí trên mỗi đầu ra được chấp nhận. Với inference, hãy đo số token được chấp nhận hoặc số phản hồi thành công trên mỗi đô la, không chỉ token mỗi giây. Với training, hãy đo tiến trình loss hoặc số mẫu hoàn tất trên mỗi đô la.
- Ghi nhận hành vi khi lỗi xảy ra. Dừng một worker, khởi động lại container, hoặc mô phỏng NIC bị suy giảm nếu nhà cung cấp cho phép.
Nếu một nhà cung cấp không thể cho bạn biết topology hoặc chạy benchmark NCCL cơ bản, hãy xem đó là tín hiệu rủi ro. Giá theo giờ cũng cần được đặt trong bối cảnh từ giá thuê GPU, cam kết dung lượng, các tiện ích mạng bổ sung và chi phí của các lần chạy thất bại.
Sai lầm phổ biến
Sai lầm 1: Xem NVLink như đồng nghĩa với NVSwitch. Một nền tảng có thể cung cấp các liên kết NVLink mà không mang lại cùng hành vi all-to-all như một hệ thống dựa trên NVSwitch.
Sai lầm 2: Cho rằng NVSwitch loại bỏ nhu cầu thiết kế mạng. NVSwitch giúp miền GPU scale-up. Huấn luyện đa node vẫn cần một thiết kế InfiniBand hoặc Ethernet nghiêm túc.
Sai lầm 3: Mua băng thông cho các job độc lập. Nếu mỗi GPU chạy một worker inference riêng, NVSwitch có thể không cải thiện đủ mức sử dụng để xứng đáng với chi phí.
Sai lầm 4: So sánh giá GPU theo giờ mà không xét topology. Hai gói "8x H100" có thể hoạt động khác nhau nếu một gói là SXM với NVSwitch và gói kia là PCIe hoặc có mạng yếu hơn.
Sai lầm 5: Bỏ qua vị trí đặt phần mềm. Ánh xạ rank của NCCL, phiên bản container, lựa chọn giao diện mạng và chính sách scheduler có thể xóa bỏ các lợi thế phần cứng.
Bảng quyết định
| Workload | Mức độ quan trọng của NVLink | Mức độ quan trọng của NVSwitch | Mức độ quan trọng của mạng scale-out | Khuyến nghị thực tế |
|---|---|---|---|---|
| Inference trên một GPU | Thấp | Thấp | Thấp đến trung bình | Tối ưu bộ nhớ GPU, batching và lựa chọn mô hình trước khi trả tiền cho NVSwitch. |
| Inference tensor-parallel 2-8 GPU | Cao | Cao trên hệ thống 8 GPU | Trung bình | Ưu tiên các hệ thống H100/H200/B200 dựa trên NVSwitch và benchmark độ trễ thực tế. |
| Huấn luyện phân tán đa node | Cao trong mỗi node | Cao trong mỗi node | Rất cao | Đánh giá cả fabric của node và InfiniBand/Ethernet; đừng chỉ dựa vào GPU SKU. |
| Mô hình expert-parallel hoặc nặng all-to-all | Cao | Cao | Cao khi vượt qua các node | Kiểm thử all-to-all và vị trí đặt trực tiếp; topology có thể chi phối. |
| Tạo sinh offline theo batch | Trung bình | Trung bình | Trung bình | Đo đầu ra được chấp nhận trên mỗi đô la; NVSwitch có thể hữu ích ở batch size cao hơn. |
| Workload sản phẩm ưu tiên API | Thường được trừu tượng hóa | Thường được trừu tượng hóa | Trách nhiệm của nhà cung cấp | So sánh khả năng điều khiển GPU trực tiếp với baseline mô hình/API trước khi thuê phần cứng. |
Flatkey phù hợp ở đâu
Flatkey là một cổng API LLM hợp nhất: một khóa, một hóa đơn và một endpoint tương thích OpenAI trên nhiều mô hình văn bản, hình ảnh và video. Điều đó không thay thế các cụm GPU trực tiếp khi bạn cần kernel tùy chỉnh, trọng số riêng, kiểm soát fine-tuning hoặc công việc hiệu năng phụ thuộc topology.
Nó hữu ích như một baseline khi mục tiêu kinh doanh là đầu ra, không phải sở hữu hạ tầng. Trước khi đặt chỗ một cụm nặng về topology cho inference, hãy so sánh kế hoạch cluster với một lộ trình mô hình/API được quản lý:
- Bạn nhận được chất lượng và độ trễ nào từ các mô hình được host?
- Chi phí trên mỗi phản hồi được chấp nhận là bao nhiêu sau khi tính đến các lần thử lại và các lần tạo sinh thất bại?
- Việc vận hành cluster sẽ tiêu tốn bao nhiêu thời gian kỹ thuật?
- Workload có yêu cầu điều khiển bộ nhớ GPU trực tiếp hay chỉ cần đầu ra mô hình đáng tin cậy?
Nếu baseline mô hình/API đã đáp ứng yêu cầu sản phẩm, thì NVLink so với NVSwitch có thể là một tối ưu hóa mà bạn chưa cần phải tự sở hữu. Nếu workload cần triển khai riêng, serving tùy chỉnh hoặc các mục tiêu độ trễ nghiêm ngặt ở quy mô lớn, hãy so sánh các đánh đổi GPU cloud vs model API, rồi dùng danh sách kiểm tra ở trên để mua đúng topology thay vì cái tên GPU dễ nhận biết nhất.
Câu hỏi thường gặp
NVSwitch có nhanh hơn NVLink không?
NVSwitch không đơn giản là "NVLink nhanh hơn." NVLink là liên kết GPU. NVSwitch là fabric kết nối nhiều điểm cuối NVLink để nhiều GPU có thể giao tiếp hiệu quả. Trong các hệ thống được hỗ trợ, NVSwitch có thể duy trì băng thông GPU-đến-GPU cao trên nhiều cặp GPU hơn so với bố cục điểm-điểm đơn giản.
Tôi có cần NVSwitch cho inference LLM không?
Bạn cần quan tâm đến NVSwitch khi inference sử dụng nhiều GPU cho một bản sao mô hình, đặc biệt là tensor parallelism dưới các mục tiêu về độ trễ hoặc thông lượng. Nếu mỗi GPU phục vụ các job đơn GPU độc lập, NVSwitch có thể ít quan trọng hơn nhiều.
NVLink có thay thế InfiniBand không?
Không. NVLink và NVSwitch là các fabric scale-up cho GPU. InfiniBand hoặc Ethernet kết nối các node, rack, lưu trữ và các cụm lớn hơn. Các hệ thống AI lớn thường cần cả hai.
Khác biệt lớn nhất giữa nvlink và nvswitch là gì?
Khác biệt lớn nhất giữa nvlink và nvswitch là phạm vi. NVLink là một liên kết giao tiếp trực tiếp giữa các GPU. NVSwitch kết nối nhiều GPU được trang bị NVLink vào một fabric all-to-all rộng hơn.
Tôi nên chọn H100, H200, B200, hay GB200 dựa trên NVSwitch không?
Đừng chỉ chọn dựa trên nhãn kết nối liên GPU. Hãy đối chiếu bộ nhớ GPU, hỗ trợ độ chính xác, mức độ sẵn có, làm mát, độ trưởng thành của phần mềm, miền NVLink, mạng scale-out, và chi phí đầu ra được chấp nhận với khối lượng công việc của bạn. Sau đó chạy benchmark topology trước khi quyết định.
Kết luận
Đối với các cụm AI, nvlink vs nvswitch không phải là cuộc đối đầu giữa hai tính năng có thể thay thế cho nhau. NVLink là liên kết GPU tốc độ cao. NVSwitch là fabric giúp nhiều GPU kết nối qua NVLink có thể được sử dụng như một miền giao tiếp lớn hơn. InfiniBand hoặc Ethernet là mạng scale-out bao quanh miền đó.
Bài học mua sắm rất đơn giản: hãy hỏi về topology, không chỉ tên GPU. Nếu khối lượng công việc của bạn bị giới hạn bởi giao tiếp, NVSwitch có thể là yếu tố trung tâm đối với hiệu năng. Nếu khối lượng công việc của bạn bị giới hạn bởi đầu ra và không yêu cầu điều khiển phần cứng, hãy benchmark một đường dẫn model/API với Flatkey trước khi thuê một topology mà bạn sẽ phải vận hành.
Tài liệu tham khảo chính thức
- NVIDIA, "NVIDIA NVLink và NVLink Switch"
- NVIDIA Technical Blog, "NVIDIA NVLink và NVIDIA NVSwitch tăng tốc suy luận mô hình ngôn ngữ lớn"
- Hướng dẫn sử dụng NVIDIA DGX H100/H200
- Hướng dẫn sử dụng NVIDIA DGX B200
- NVIDIA GB200 NVL72
- Hướng dẫn sử dụng NVIDIA NCCL, "Các phép toán tập thể"
- Hướng dẫn sử dụng NVIDIA NCCL, "Biến môi trường"
