عصر النماذج الكبيرة للذكاء الاصطناعي يشهد انفجارًا في الطلب على الأجهزة الشبكية مناقشة الابتكارات المستقبلية وفرص الاستثمار

تلعب الشبكة دورًا حاسمًا في عصر نماذج الذكاء الاصطناعي الكبيرة

في عصر النماذج الكبيرة، تتسارع وتيرة تحديث الأجهزة الشبكية مثل وحدات الضوء والمبدلات، ويتفجر الطلب. يبدأ هذا المقال من المبادئ الأساسية، ويناقش لماذا أصبحت الشبكة جزءًا مهمًا من عصر الذكاء الاصطناعي، ويتناول فرص الابتكار والاستثمار في جانب الشبكة في المستقبل.

مصدر الطلب على الشبكة

1. اتساع الفجوة بين حجم النموذج وحدود بطاقة واحدة، والتحول إلى تدريب عناقيد خوادم متعددة، يشكل أساس أهمية الشبكة.

2. الشبكة أكثر استخدامًا لمزامنة معلمات النموذج بين بطاقات الرسوميات، مما يزيد من متطلبات الكثافة والسعة.

3. وقت التدريب = حجم البيانات × عدد المعلمات / معدل الحساب. معدل الحساب = معدل جهاز واحد × عدد الأجهزة × كفاءة التوازي. زيادة عدد الأجهزة وكفاءة التوازي تصبح مفتاحاً.

4. تعقيد تزامن عدة بطاقات: يجب محاذاة كل مرة بعد الحساب، عمليات All-to-All شائعة، ومتطلبات النقل والتبادل عالية.

5. ارتفاع تكلفة الفشل: يستمر التدريب لعدة أشهر ، وتتطلب الانقطاعات إعادة التدريب عند نقطة التوقف ، واستقرار الشبكة أمر بالغ الأهمية.

اتجاه الابتكار الشبكي

1. وسيلة الاتصال: تحديث وسائط الضوء، النحاس، السيليكون، وتطوير تقنيات خفض التكلفة مثل LPO، LRO، والسيليكون الضوئي.

2. بروتوكول الشبكة: تنافس بروتوكولات الاتصال بين الشرائح وبروتوكولات الاتصال بين العقد.

3. الهيكل الشبكي: تطور هيكل ورقة الشجر نحو هياكل جديدة مثل Dragonfly و rail-only.

نصائح استثمارية

الرابط الأساسي لنظام الاتصالات: Zhongji Innolight ، Xin Yisheng ، Tianfu Communication ، Industrial Fortune Union ، Invic ، Shanghai Electric Co.، Ltd.

ابتكارات نظام الاتصالات: تشانغفي للألياف البصرية، تاي تشينغ غوانغ، يوان جيه تكنولوجيا، شينغ كاي للاتصالات-U، هان وو جي، دي كولي.

إشعار المخاطر

1. الطلب على الذكاء الاصطناعي أقل من المتوقع
2. فشل قانون التوسع
3. تزايد المنافسة في الصناعة

فهم أهمية الشبكة

تتجلى أهمية الاتصال في عصر الذكاء الاصطناعي في:

1. عدد بطاقات الرسومات وكفاءة الاتصال تحدد وقت التدريب، والوقت هو المورد الرئيسي في المنافسة.

2. تحتاج كل طبقة من العمليات أثناء التدريب إلى محاذاة المعلمات، مما يتطلب متطلبات عالية على الشبكة.

3. تكلفة أعطال الشبكة عالية، والانقطاعات ستؤثر بشكل خطير على كفاءة التدريب وتكلفته.

4. تصل حجم المجموعة إلى عشرة آلاف، وعدد مكونات الاتصال مئات الآلاف، ومتطلبات استقرار النظام عالية.

فهم اتجاهات الابتكار الشبكي

1. تقليل التكاليف، والانفتاح، وتوازن نطاق القدرة الحاسوبية هي المواضيع الرئيسية.

2. الابتكار في وسط الاتصالات: تقدم الأوساط الضوئية والنحاسية والسيليكونية، تقنيات جديدة مثل LPO و LRO و السيليكون الضوئي.

3. ابتكار بروتوكولات الاتصال: المنافسة بين بروتوكولات ( NVLINK) داخل العقد و ( IB مقابل Ethernet) بين العقد.

4. تحديث بنية الشبكة: تطور بنية الورقة نحو بنى جديدة مثل Dragonfly و Rail-only.

من الحوسبة السحابية إلى عصر الذكاء الاصطناعي، تزداد أهمية الاتصالات

1. انفجار الطلب على الاتصال بالشبكة من قبل الذكاء الاصطناعي، وزيادة حجم المعلمات أدت إلى عدم قدرة بطاقة واحدة على التحمل.

2. الوقت المستغرق للتدريب = حجم البيانات × عدد المعلمات / معدل الحساب، تصبح قوة الحوسبة المتزايدة هي المفتاح.

3. معدل الحساب = معدل الجهاز الواحد × عدد الأجهزة × كفاءة التوازي، يصبح عدد الأجهزة وكفاءة التوازي بنفس الأهمية.

4. أصبحت الشبكة هي المفتاح لزيادة عدد الأجهزة وكفاءة التوازي، واستحواذ إنفيديا على ميلانوكس هو مثال على ذلك.

التعاون متعدد البطاقات في تدريب النماذج الكبيرة

1. التوازي البياني: يحتفظ كل GPU بالنموذج الكامل، ويتم تقسيم البيانات للتدريب.

2. التوازي النموذجي: تقسيم النموذج إلى وحدات معالجة الرسوميات المختلفة، بما في ذلك التوازي التنسوري والتوازي المتسلسل.

3. الجمع بين التوازي متعدد الأبعاد: دمج طرق توازي متعددة، وتقسيم مراحل متعددة للتدريب.

4. تتطلب طرق التوازي المختلفة مزامنة المعلمات، مما يفرض متطلبات مختلفة على الشبكة.

النواة الرئيسية للتواصل متعدد البطاقات: دقة التزامن

1. إجراء البث العكسي لمواءمة المعلمات، وتأخير All-to-All هو مؤشر رئيسي.

2. تشمل طرق التزامن التزامن المتوازي، والتزامن غير المتوازي، وAll-Reduce وغيرها.

3. يمكن أن تقلل خوارزميات تحسين مثل Ring All-Reduce من عرض النطاق الترددي والكمون.

4. تحتاج إلى دعم الأجهزة الشبكية، مثل NVLink، بروتوكول IB، إلخ.

الهندسة النظامية: المراقبة - التلخيص - الابتكار المتكرر

1. تحتاج إلى مراقبة تدفق البيانات ووضع التشغيل في الوقت الحقيقي.

2. تعتبر أدوات التقاط الحزم البرمجية والعتادية وسائل المراقبة الرئيسية، مثل Wireshark وغيرها.

3. يمكن لتقنيات الربط التسلسلي والتوازي مثل DPI/DFI تحقيق مراقبة بدون فقدان.

4. تحسين استقرار النظام وكفاءته باستمرار بناءً على نتائج المراقبة.

تنافس وتكرار بروتوكولات الاتصال

1. التواصل داخل العقد: PCIe، NVLink، Infinity Fabric وغيرها.

2. التواصل بين العقد: InfiniBand مقابل عائلة بروتوكولات Ethernet RoCE.

3. أصبحت RDMA ضرورة ملحة لربط مجموعات الذكاء الاصطناعي.

4. بروتوكول IB من إنفيديا مقابل التحالف الفائق للإيثر بقيادة إيه إم دي.

ابتكار في اتجاه الأجهزة الشبكية

1. وسائط النقل: الصراع بين الضوء، النحاس، والسيليكون، حيث تعتبر التكلفة الفعالة والاستقرار هما المفتاح.

2. المحولات: ظهور المحولات الضوئية، وابتكار شرائح المحولات الكهربائية.

3. هيكل الشبكة: تطور هيكل الياقوت إلى Dragonfly و Rail-only.

4. تجمع مراكز البيانات: أصبح الربط بين مراكز البيانات عبر الإنترنت هو النقطة المحورية الجديدة.

نصائح الاستثمار

1. التركيز على الأجهزة الأساسية مثل المحولات ووحدات الضوء.

2. تتبع الفرص التي توفرها التقنيات الجديدة مثل LPO و CPO والألياف الضوئية الخاصة.

3. متابعة فرص تسريع تطور المحولات المحلية.

إشعار المخاطر

1. الطلب على الذكاء الاصطناعي أقل من المتوقع
2. فشل قانون التوسع
3. تزايد المنافسة في الصناعة