لا تدع التخزين يصبح عنق الزجاجة الرئيسي في تدريب النموذج

يقال إن شركات التكنولوجيا إما تتدافع للحصول على وحدات معالجة الرسومات أو في طريقها للحصول عليها.في أبريل ، اشترى الرئيس التنفيذي لشركة Tesla Elon Musk 10000 وحدة معالجة رسومات ، وذكر أن الشركة ستستمر في شراء كمية كبيرة من وحدات معالجة الرسومات من NVIDIA.على جانب المؤسسة ، يضغط موظفو تكنولوجيا المعلومات بشدة لضمان استخدام وحدات معالجة الرسومات باستمرار لزيادة عائد الاستثمار.ومع ذلك ، قد تجد بعض الشركات أنه بينما يزداد عدد وحدات معالجة الرسومات ، يصبح خمول وحدة معالجة الرسومات أكثر حدة.

إذا علمنا التاريخ أي شيء عن الحوسبة عالية الأداء (HPC) ، فلا ينبغي التضحية بالتخزين والشبكات على حساب التركيز كثيرًا على الحوسبة.إذا تعذر على التخزين نقل البيانات بكفاءة إلى وحدات الحوسبة ، حتى لو كان لديك معظم وحدات معالجة الرسومات في العالم ، فلن تحقق الكفاءة المثلى.

وفقًا لمايك ماتشيت ، المحلل في Small World Big Data ، يمكن تنفيذ نماذج أصغر في الذاكرة (RAM) ، مما يتيح مزيدًا من التركيز على الحساب.ومع ذلك ، لا يمكن تخزين الطرز الأكبر مثل ChatGPT التي تحتوي على مليارات العقد في الذاكرة بسبب التكلفة العالية.

يقول ماتشيت: "لا يمكنك احتواء مليارات العقد في الذاكرة ، لذا يصبح التخزين أكثر أهمية".لسوء الحظ ، غالبًا ما يتم تجاهل تخزين البيانات أثناء عملية التخطيط.

بشكل عام ، بغض النظر عن حالة الاستخدام ، هناك أربع نقاط مشتركة في عملية التدريب النموذجية:

1. تدريب نموذجي
2. تطبيق الاستدلال
3. تخزين البيانات
4. الحوسبة المعجلة

عند إنشاء النماذج ونشرها ، تعطي معظم المتطلبات الأولوية لإثبات المفهوم السريع (POC) أو بيئات الاختبار لبدء التدريب على النموذج ، مع عدم إعطاء احتياجات تخزين البيانات الاعتبار الأول.

ومع ذلك ، يكمن التحدي في حقيقة أن التدريب أو نشر الاستدلال يمكن أن يستمر لأشهر أو حتى سنوات.تقوم العديد من الشركات بتوسيع أحجام نماذجها بسرعة خلال هذا الوقت ، ويجب أن تتوسع البنية التحتية لاستيعاب النماذج ومجموعات البيانات المتزايدة.

يكشف البحث الذي أجرته Google حول الملايين من أعباء التدريب على تعلم الآلة أن متوسط ​​30 ٪ من وقت التدريب يتم إنفاقه على خط أنابيب بيانات الإدخال.بينما ركزت الأبحاث السابقة على تحسين وحدات معالجة الرسومات لتسريع التدريب ، لا تزال هناك العديد من التحديات في تحسين أجزاء مختلفة من خط أنابيب البيانات.عندما يكون لديك قوة حسابية كبيرة ، فإن عنق الزجاجة الحقيقي يصبح مدى السرعة التي يمكنك بها إدخال البيانات في الحسابات للحصول على النتائج.

على وجه التحديد ، تتطلب التحديات في تخزين البيانات وإدارتها التخطيط لنمو البيانات ، مما يسمح لك باستخراج قيمة البيانات باستمرار أثناء تقدمك ، لا سيما عندما تغامر في حالات استخدام أكثر تقدمًا مثل التعلم العميق والشبكات العصبية ، والتي تتطلب متطلبات أعلى على التخزين من حيث السعة والأداء وقابلية التوسع.

بخاصة:

قابلية التوسع
يتطلب التعلم الآلي التعامل مع كميات هائلة من البيانات ، ومع زيادة حجم البيانات ، تتحسن دقة النماذج أيضًا.هذا يعني أنه يجب على الشركات جمع وتخزين المزيد من البيانات كل يوم.عندما يتعذر توسيع مساحة التخزين ، تؤدي أعباء العمل كثيفة البيانات إلى حدوث اختناقات ، مما يحد من الأداء وينتج عنه وقت خمول مكلف لوحدة معالجة الرسومات.

المرونة
يعد الدعم المرن لبروتوكولات متعددة (بما في ذلك NFS و SMB و HTTP و FTP و HDFS و S3) ضروريًا لتلبية احتياجات الأنظمة المختلفة ، بدلاً من الاقتصار على نوع واحد من البيئة.

وقت الإستجابة
يعد زمن انتقال الإدخال / الإخراج أمرًا بالغ الأهمية لبناء النماذج واستخدامها أثناء قراءة البيانات وإعادة قراءتها عدة مرات.يمكن أن يؤدي تقليل وقت استجابة الإدخال / الإخراج إلى تقصير وقت تدريب النماذج بأيام أو شهور.تطوير النموذج الأسرع يترجم مباشرة إلى مزايا تجارية أكبر.

الإنتاجية
تعد سعة أنظمة التخزين أمرًا بالغ الأهمية لتدريب النموذج الفعال.تتضمن عمليات التدريب كميات كبيرة من البيانات ، عادةً بوحدات تيرابايت في الساعة.

الوصول الموازي
لتحقيق إنتاجية عالية ، قسمت نماذج التدريب الأنشطة إلى مهام متوازية متعددة.يعني هذا غالبًا أن خوارزميات التعلم الآلي تصل إلى نفس الملفات من عمليات متعددة (من المحتمل أن تكون على خوادم فعلية متعددة) في وقت واحد.يجب أن يتعامل نظام التخزين مع الطلبات المتزامنة دون المساس بالأداء.

بفضل إمكاناته المتميزة في زمن الوصول المنخفض ، والإنتاجية العالية ، والإدخال / الإخراج المتوازي واسع النطاق ، يُعد Dell PowerScale مكملاً مثاليًا للتخزين للحوسبة المسرَّعة من خلال وحدة معالجة الرسومات.يعمل PowerScale على تقليل الوقت المطلوب بشكل فعال لنماذج التحليل التي تقوم بتدريب واختبار مجموعات بيانات متعددة تيرابايت.في التخزين PowerScale all-flash ، يزيد عرض النطاق الترددي بمقدار 18 مرة ، مما يزيل اختناقات الإدخال / الإخراج ، ويمكن إضافته إلى مجموعات Isilon الحالية لتسريع وفتح قيمة كميات كبيرة من البيانات غير المهيكلة.

علاوة على ذلك ، توفر إمكانات الوصول متعدد البروتوكولات في PowerScale مرونة غير محدودة لتشغيل أحمال العمل ، مما يسمح بتخزين البيانات باستخدام بروتوكول واحد والوصول إليها باستخدام بروتوكول آخر.على وجه التحديد ، تساعد الميزات القوية والمرونة وقابلية التوسع والوظائف على مستوى المؤسسات لمنصة PowerScale على مواجهة التحديات التالية:

- تسريع الابتكار بما يصل إلى 2.7 مرة ، مما يقلل من دورة تدريب النموذج.

- القضاء على اختناقات الإدخال / الإخراج وتوفير تدريب أسرع على النماذج والتحقق من صحتها ، ودقة نموذج محسّنة ، وإنتاجية محسّنة لعلوم البيانات ، وعائد مضاعف على استثمارات الحوسبة من خلال الاستفادة من الميزات على مستوى المؤسسة ، والأداء العالي ، والتزامن ، وقابلية التوسع.عزز دقة النموذج من خلال مجموعات بيانات أعمق وأعلى دقة من خلال الاستفادة من ما يصل إلى 119 بيتابايت من سعة التخزين الفعالة في مجموعة واحدة.

- تحقيق النشر على نطاق واسع من خلال بدء نطاق الحوسبة والتخزين على نطاق صغير ومستقل ، وتوفير حماية قوية للبيانات وخيارات الأمان.

- تحسين إنتاجية علوم البيانات من خلال التحليلات الموضعية والحلول التي تم التحقق من صحتها مسبقًا لعمليات النشر الأسرع والأقل خطورة.

- الاستفادة من التصاميم التي أثبتت جدواها استنادًا إلى أفضل التقنيات ، بما في ذلك تسريع NVIDIA GPU والبنى المرجعية مع أنظمة NVIDIA DGX.يفي الأداء العالي والتزامن لـ PowerScale بمتطلبات أداء التخزين في كل مرحلة من مراحل التعلم الآلي ، من الحصول على البيانات والتحضير إلى التدريب النموذجي والاستدلال.جنبًا إلى جنب مع نظام التشغيل OneFS ، يمكن أن تعمل جميع العقد بسلاسة داخل نفس المجموعة التي يقودها OneFS ، مع ميزات على مستوى المؤسسة مثل إدارة الأداء وإدارة البيانات والأمان وحماية البيانات ، مما يتيح إكمال تدريب النموذج والتحقق من صحته بشكل أسرع للشركات.