Thời đại mô hình AI lớn bùng nổ nhu cầu thiết bị mạng Thảo luận về cơ hội đổi mới và đầu tư trong tương lai

Mạng đóng vai trò quan trọng trong thời đại mô hình AI lớn

Thời đại mô hình lớn, các thiết bị mạng như mô-đun quang, công tắc... đang tăng tốc độ thay thế, nhu cầu bùng nổ. Bài viết này bắt đầu từ nguyên lý, khám phá lý do tại sao mạng trở thành một phần quan trọng trong thời đại AI và thảo luận về những cơ hội đổi mới và đầu tư ở phía mạng trong tương lai.

Nguồn cầu mạng

1. Sự chênh lệch giữa kích thước mô hình và giới hạn trên của một thẻ đã gia tăng, chuyển sang đào tạo cụm máy chủ đa dạng, tạo thành nền tảng quan trọng của mạng.

2. Mạng nhiều hơn được sử dụng để đồng bộ hóa các tham số mô hình giữa các card đồ họa, yêu cầu về mật độ và dung lượng tăng lên.

3. Thời gian huấn luyện = quy mô dữ liệu x số lượng tham số / tốc độ tính toán. Tốc độ tính toán = tốc độ trên một thiết bị x số lượng thiết bị x hiệu suất song song. Mở rộng số lượng thiết bị và hiệu suất song song trở thành yếu tố then chốt.

4. Đồng bộ nhiều thẻ phức tạp: mỗi lần tính toán cần phải căn chỉnh, thao tác All-to-All thường gặp, yêu cầu cao về truyền tải và trao đổi.

5. Chi phí sự cố cao: Đào tạo kéo dài trong vài tháng, nếu bị gián đoạn cần quay lại điểm dừng để đào tạo lại, độ ổn định của mạng là rất quan trọng.

Hướng đổi mới mạng

1. Chất liệu truyền thông: Cập nhật chất liệu quang, đồng, silicon, phát triển công nghệ giảm chi phí như LPO, LRO, quang silicon.

2. Giao thức mạng: Cạnh tranh giữa giao thức truyền thông giữa các mảnh và giao thức truyền thông giữa các nút.

3. Kiến trúc mạng: Kiến trúc lá phổi tiến hóa sang các kiến trúc mới như Dragonfly, rail-only.

Đề xuất đầu tư

Các liên kết cốt lõi của hệ thống truyền thông: Zhongji Xuchuang, New Yi Sheng, Tianfu Communication, Industrial Fulian, Yingwei Ke, Hu Dian Co., Ltd.

Các khâu đổi mới trong hệ thống truyền thông: Long Tech Fiber, Tai Chen Light, Yuan Jie Technology, Sheng Ke Communication-U, Han Wu Ji, De Ke Li.

Cảnh báo rủi ro

1. Nhu cầu AI không đạt kỳ vọng
2. Quy luật mở rộng không còn hiệu lực
3. Cạnh tranh trong ngành gia tăng

Nhận thức về tầm quan trọng của mạng

Tầm quan trọng của giao tiếp trong thời đại AI thể hiện ở:

1. Số lượng card đồ họa và hiệu suất kết nối quyết định thời gian đào tạo, thời gian là tài nguyên cạnh tranh quan trọng.

2. Trong quá trình đào tạo, cần phải căn chỉnh tham số sau mỗi phép toán ở mỗi lớp, điều này yêu cầu rất cao đối với mạng.

3. Chi phí do sự cố mạng cao, gián đoạn sẽ ảnh hưởng nghiêm trọng đến hiệu quả và chi phí đào tạo.

4. Quy mô cụm đạt hàng vạn thẻ, số lượng bộ phận kết nối lên tới hàng trăm nghìn, yêu cầu độ ổn định của hệ thống cao.

Nhận thức về hướng đổi mới mạng

1. Giảm chi phí, mở cửa và cân bằng quy mô sức mạnh tính toán là những vấn đề chính.

2. Đổi mới phương tiện truyền thông: Tiến bộ về chất liệu quang, đồng, silicon, các công nghệ mới như LPO, LRO, quang silicon.

3. Đổi mới giao thức truyền thông: Cạnh tranh giữa các giao thức trong nút ( như NVLINK ) và giữa các nút ( IB so với Ethernet ).

4. Cập nhật kiến trúc mạng: Kiến trúc lá được phát triển sang các kiến trúc mới như Drangonfly, Rail-only.

Từ điện toán đám mây đến thời đại AI, tầm quan trọng của truyền thông tăng lên

1. Nhu cầu kết nối mạng của AI bùng nổ, quy mô tham số tăng lên khiến một thẻ không thể chịu đựng được.

2. Thời gian huấn luyện = quy mô dữ liệu x số lượng tham số / tốc độ tính toán, sức mạnh tính toán chồng chất trở thành yếu tố then chốt.

3. Tốc độ tính toán = Tốc độ từng thiết bị x Số lượng thiết bị x Hiệu suất song song, số lượng thiết bị và hiệu suất song song trở nên quan trọng như nhau.

4. Mạng trở thành yếu tố then chốt trong việc nâng cao số lượng thiết bị và hiệu suất song song, việc Nvidia mua lại Mellanox chính là vì lý do này.

Hợp tác đa thẻ trong đào tạo mô hình lớn

1. Song song dữ liệu: Mỗi GPU giữ nguyên mô hình đầy đủ, phân chia dữ liệu để huấn luyện.

2. Song song mô hình: Chia mô hình ra các GPU khác nhau, bao gồm song song tensor và song song ống dẫn.

3. Phối hợp đa chiều song song: Kết hợp nhiều phương thức song song, chia thành nhiều giai đoạn để đào tạo.

4. Các phương thức song song khác nhau đều cần phải đồng bộ tham số, đặt ra các yêu cầu khác nhau cho mạng.

Cốt lõi của đa thẻ liên kết: Độ chính xác của đồng bộ

1. Phát sóng ngược để căn chỉnh tham số, độ trễ All-to-All là chỉ số quan trọng.

2. Phương pháp đồng bộ bao gồm đồng bộ song song, đồng bộ bất đồng bộ, All-Reduce, v.v.

3. Các thuật toán tối ưu như Ring All-Reduce có thể giảm băng thông và độ trễ.

4. Cần hỗ trợ phần cứng mạng, như NVLink, giao thức IB, v.v.

Kỹ thuật hệ thống: Giám sát - Tóm tắt - Đổi mới lặp lại

1. Cần theo dõi luồng dữ liệu và tình hình hoạt động theo thời gian thực.

2. Phần mềm và phần cứng bắt gói là phương pháp giám sát chính, chẳng hạn như Wireshark.

3. Công nghệ kết nối chuỗi và song song như DPI/DFI có thể thực hiện giám sát không mất mát.

4. Tối ưu hóa tính ổn định và hiệu suất của hệ thống dựa trên kết quả giám sát.

Cạnh tranh và lặp lại của giao thức truyền thông

1. Giao tiếp trong nút: PCIe, NVLink, Infinity Fabric, v.v.

2. Giao tiếp giữa các nút: InfiniBand so với gia đình giao thức Ethernet RoCE.

3. RDMA trở thành nhu cầu thiết yếu kết nối cụm AI.

4. Giao thức IB của Nvidia so với Liên minh Siêu Ethernet do AMD dẫn đầu.

Hướng đổi mới phần cứng mạng

1. Phương tiện truyền dẫn: Sự cạnh tranh giữa ánh sáng, đồng và silicon, yếu tố giá thành và độ ổn định là rất quan trọng.

2. Bộ chuyển mạch: Sự trỗi dậy của bộ chuyển mạch quang, đổi mới chip bộ chuyển mạch điện.

3. Kiến trúc mạng: Kiến trúc lá xòe tiến hóa thành Dragonfly, Rail-only và các kiến trúc khác.

4. Cụm trung tâm dữ liệu: Kết nối giữa các trung tâm dữ liệu trở thành điểm nhấn mới.

Gợi ý đầu tư

1. Chú ý đến các phần cứng cơ bản như switch, module quang.

2. Theo dõi cơ hội từ các công nghệ mới như LPO, CPO, sợi quang đặc biệt.

3. Chú ý đến cơ hội tăng tốc phát triển của các switch sản xuất trong nước.

Cảnh báo rủi ro

1. Nhu cầu AI không đạt kỳ vọng
2. Quy luật mở rộng thất bại
3. Cạnh tranh trong ngành gia tăng