Kiến trúc NVLink: Cách hoạt động bên trong, topology kết nối và vai trò của NVSwitch

Ở bài viết trước, chúng ta đã tìm hiểu NVLink là gì và vì sao nó trở thành nền tảng quan trọng cho các hệ thống AI và HPC. Tuy nhiên, để hiểu rõ tại sao công nghệ này mạnh đến mức có thể thay thế vai trò của PCIe trong những workload cường độ cao, chúng ta cần nhìn vào cấu trúc bên trong của NVLink — cách các “link” được tổ chức, cách dữ liệu được truyền qua các lane song song, và vì sao NVSwitch lại trở thành chìa khóa cho những hệ thống GPU quy mô lớn.

Bài viết này sẽ đi sâu vào những yếu tố kiến trúc quan trọng giúp NVLink đạt được hiệu năng vượt trội và khả năng mở rộng ấn tượng.

Link và lane: những đơn vị nền tảng của NVLink

NVLink được xây dựng dựa trên hai thành phần cơ bản: link và lane. Mỗi link bao gồm nhiều lane hoạt động song song, tạo thành một đường truyền dữ liệu có băng thông cao. Số lượng lane trong một link thay đổi theo thế hệ GPU, nhưng nguyên tắc chung là: càng nhiều lane, băng thông càng lớn.

Một GPU có thể sở hữu nhiều link và có thể dồn nhiều link để kết nối với một GPU duy nhất hoặc chia chúng ra để kết nối với nhiều GPU khác nhau. Điều này cho phép NVLink không chỉ truyền dữ liệu nhanh mà còn linh hoạt trong cách xây dựng cấu trúc mạng giữa các GPU.

Cơ chế này hoạt động gần giống như việc gộp nhiều làn đường lại thành một đường cao tốc lớn. Thay vì bị giới hạn bởi một kênh truyền đơn lẻ, dữ liệu được tách ra và đi qua nhiều kênh nhỏ hơn. Khi đến nơi, dữ liệu được ghép lại, đảm bảo tốc độ truyền liên tục và độ trễ thấp.

Lớp giao thức: điều phối dữ liệu một cách thông minh

Bên dưới các lane vật lý là hệ thống lớp giao thức của NVLink, đảm nhiệm việc mã hóa, đóng gói và truyền dữ liệu. Các lớp này chịu trách nhiệm kiểm tra lỗi, điều phối luồng truyền, bảo đảm tính toàn vẹn và duy trì kết nối ổn định giữa các GPU.

Điều làm NVLink khác biệt là cách nó chia dữ liệu thành các gói nhỏ và phân phối đều trên nhiều lane. Việc truyền song song giúp băng thông tổng hợp lớn hơn nhiều so với PCIe, đồng thời giảm thiểu độ trễ nhờ ít tầng trung gian hơn.

Ngoài ra, việc hỗ trợ cache coherence ở mức giao thức giúp các GPU có thể làm việc trên cùng một không gian dữ liệu mà không xảy ra xung đột — một điểm rất quan trọng trong các mô hình phức tạp, nơi nhiều GPU cùng thao tác trên một bộ tham số chung.

Topology kết nối: ring, mesh và mô hình lai

NVLink không giới hạn vào một cấu trúc kết nối cố định. Tùy vào số lượng GPU và nhu cầu của hệ thống, các nhà thiết kế có thể sử dụng nhiều loại topology khác nhau.

Cấu trúc ring là dạng cơ bản và thường được dùng khi chỉ có vài GPU. Từng GPU kết nối với GPU kế tiếp, tạo thành một vòng khép kín. Dữ liệu có thể di chuyển vòng quanh ring theo hai hướng, giúp giảm độ trễ khi truyền giữa các GPU không liền kề.

Cấu trúc mesh phức tạp hơn, trong đó các GPU được kết nối theo dạng lưới. Mỗi GPU có thể kết nối với nhiều GPU khác, giúp rút ngắn đường đi của dữ liệu và cải thiện khả năng truyền song song.

Trong thực tế, nhiều hệ thống sử dụng topology lai, kết hợp giữa ring và mesh để tối ưu băng thông cho các nhóm GPU đồng thời giữ được khả năng mở rộng khi hệ thống lớn hơn. Tuy nhiên, khi số lượng GPU tăng lên đến 8, 16 hay thậm chí 32, cả ring và mesh đều bộc lộ giới hạn. Đây là lúc NVSwitch trở thành tâm điểm.

NVSwitch: chìa khóa mở rộng hệ thống GPU lên quy mô lớn

NVSwitch đóng vai trò như một bộ chuyển mạch tốc độ cao, cho phép mọi GPU trong hệ thống kết nối trực tiếp với nhau mà không cần đi vòng qua GPU trung gian. Nếu NVLink giống như những đường cao tốc nối các thành phố, thì NVSwitch giống như một siêu nút giao giúp tất cả các kết nối gặp nhau ở một điểm mà không xảy ra tắc nghẽn.

Nhờ NVSwitch, hệ thống có thể mở rộng từ 4–8 GPU lên 16–32 GPU trong cùng một máy chủ mà vẫn duy trì băng thông gần như tuyến tính. Mỗi GPU có thể giao tiếp với mọi GPU khác với băng thông tương đương, giúp toàn bộ cụm hoạt động giống như một “siêu GPU” thống nhất.

Hệ thống DGX và HGX của NVIDIA đều dựa vào NVSwitch để đạt được hiệu suất cực cao trong các bài toán deep learning và mô phỏng khoa học. Không có NVSwitch, những hệ thống này sẽ không thể giữ được tốc độ truyền dữ liệu đồng đều giữa tất cả các GPU.

Tại sao kiến trúc NVLink lại quan trọng?

Điểm mạnh lớn nhất của NVLink và NVSwitch không chỉ nằm ở băng thông. Điều thực sự làm chúng khác biệt là khả năng duy trì hiệu năng ổn định khi số lượng GPU tăng lên — điều mà PCIe không thể đảm bảo ở những hệ thống lớn.

Khi training mô hình lớn, các GPU liên tục trao đổi gradient và tensor. Nếu đường truyền bị nghẽn, tốc độ training sẽ giảm đáng kể. Kiến trúc NVLink với thiết kế song song nhiều lane, nhiều link và hỗ trợ topology linh hoạt giúp duy trì dòng dữ liệu liên tục, từ đó tối ưu hiệu suất cho toàn bộ hệ thống.

Kết luận

Kiến trúc NVLink là nền tảng kỹ thuật giúp GPU hiện đại đạt được khả năng mở rộng ấn tượng. Từ các link và lane tốc độ cao, đến các topology tinh tế và vai trò quan trọng của NVSwitch, toàn bộ hệ thống được thiết kế để tối ưu băng thông và giảm độ trễ trong môi trường multi-GPU.