لا تدع التخزين يصبح عنق الزجاجة الرئيسي في التدريب النموذجي

لقد قيل أن شركات التكنولوجيا إما تتدافع للحصول على وحدات معالجة الرسوميات أو في طريقها للحصول عليها. في أبريل، اشترى الرئيس التنفيذي لشركة Tesla Elon Musk 10000 وحدة معالجة رسوميات، وذكر أن الشركة ستستمر في شراء كمية كبيرة من وحدات معالجة الرسومات من NVIDIA. على الجانب المؤسسي، يبذل موظفو تكنولوجيا المعلومات أيضًا جهودًا حثيثة لضمان استخدام وحدات معالجة الرسومات باستمرار لتحقيق أقصى قدر من العائد على الاستثمار. ومع ذلك، قد تجد بعض الشركات أنه مع زيادة عدد وحدات معالجة الرسومات، يصبح تباطؤ وحدة معالجة الرسومات أكثر خطورة.

إذا علمنا التاريخ أي شيء عن الحوسبة عالية الأداء (HPC)، فهو أنه لا ينبغي التضحية بالتخزين والشبكات على حساب التركيز أكثر من اللازم على الحساب. إذا لم يتمكن التخزين من نقل البيانات بكفاءة إلى وحدات الحوسبة، حتى لو كان لديك أكبر عدد من وحدات معالجة الرسومات في العالم، فلن تحقق الكفاءة المثلى.

وفقًا لمايك ماتشيت، المحلل في Small World Big Data، يمكن تنفيذ نماذج أصغر في الذاكرة (RAM)، مما يسمح بمزيد من التركيز على الحساب. ومع ذلك، لا يمكن تخزين النماذج الأكبر حجمًا مثل ChatGPT التي تحتوي على مليارات العقد في الذاكرة بسبب التكلفة العالية.

يقول ماتشيت: "لا يمكنك احتواء مليارات العقد في الذاكرة، لذا يصبح التخزين أكثر أهمية". لسوء الحظ، غالبًا ما يتم التغاضي عن تخزين البيانات أثناء عملية التخطيط.

بشكل عام، وبغض النظر عن حالة الاستخدام، هناك أربع نقاط مشتركة في عملية التدريب النموذجي:

1. التدريب النموذجي
2. تطبيق الاستدلال
3. تخزين البيانات
4. الحوسبة المتسارعة

عند إنشاء النماذج ونشرها، تعطي معظم المتطلبات الأولوية لإثبات المفهوم السريع (POC) أو بيئات الاختبار لبدء التدريب على النماذج، مع عدم إعطاء احتياجات تخزين البيانات الاعتبار الأول.

ومع ذلك، يكمن التحدي في حقيقة أن التدريب أو نشر الاستدلال يمكن أن يستمر لأشهر أو حتى سنوات. تقوم العديد من الشركات بتوسيع أحجام نماذجها بسرعة خلال هذه الفترة، ويجب أن تتوسع البنية التحتية لاستيعاب النماذج ومجموعات البيانات المتنامية.

تكشف الأبحاث التي أجرتها Google حول الملايين من أعباء عمل التدريب على تعلم الآلة أن ما متوسطه 30% من وقت التدريب يتم إنفاقه على مسار البيانات المدخلة. في حين ركزت الأبحاث السابقة على تحسين وحدات معالجة الرسومات لتسريع التدريب، لا تزال هناك العديد من التحديات في تحسين أجزاء مختلفة من خط أنابيب البيانات. عندما تكون لديك قوة حسابية كبيرة، يصبح عنق الزجاجة الحقيقي هو مدى سرعة إدخال البيانات في الحسابات للحصول على النتائج.

على وجه التحديد، تتطلب التحديات في تخزين البيانات وإدارتها التخطيط لنمو البيانات، مما يسمح لك باستخراج قيمة البيانات بشكل مستمر مع تقدمك، لا سيما عندما تغامر في حالات استخدام أكثر تقدمًا مثل التعلم العميق والشبكات العصبية، والتي تضع متطلبات أعلى على التخزين من حيث السعة والأداء وقابلية التوسع.

بخاصة:

قابلية التوسع
يتطلب التعلم الآلي التعامل مع كميات هائلة من البيانات، ومع زيادة حجم البيانات، تتحسن دقة النماذج أيضًا. وهذا يعني أنه يجب على الشركات جمع وتخزين المزيد من البيانات كل يوم. عندما لا يمكن توسيع مساحة التخزين، تؤدي أعباء العمل كثيفة البيانات إلى حدوث اختناقات، مما يحد من الأداء ويؤدي إلى وقت خمول مكلف لوحدة معالجة الرسومات.

المرونة
يعد الدعم المرن لبروتوكولات متعددة (بما في ذلك NFS وSMB وHTTP وFTP وHDFS وS3) ضروريًا لتلبية احتياجات الأنظمة المختلفة، بدلاً من الاقتصار على نوع واحد من البيئة.

كمون
يعد زمن انتقال الإدخال/الإخراج أمرًا بالغ الأهمية لإنشاء النماذج واستخدامها أثناء قراءة البيانات وإعادة قراءتها عدة مرات. يمكن أن يؤدي تقليل زمن الوصول للإدخال/الإخراج إلى تقليل وقت تدريب النماذج بأيام أو أشهر. إن تطوير النموذج بشكل أسرع يترجم مباشرة إلى مزايا تجارية أكبر.

الإنتاجية
يعد إنتاجية أنظمة التخزين أمرًا بالغ الأهمية للتدريب الفعال على النماذج. تتضمن عمليات التدريب كميات كبيرة من البيانات، عادةً بالتيرابايت في الساعة.

الوصول الموازي
لتحقيق إنتاجية عالية، تقوم نماذج التدريب بتقسيم الأنشطة إلى مهام متوازية متعددة. وهذا يعني غالبًا أن خوارزميات التعلم الآلي تصل إلى نفس الملفات من عمليات متعددة (ربما على خوادم فعلية متعددة) في وقت واحد. يجب أن يتعامل نظام التخزين مع الطلبات المتزامنة دون المساس بالأداء.

بفضل إمكاناته المتميزة في زمن الاستجابة المنخفض، والإنتاجية العالية، والإدخال/الإخراج المتوازي واسع النطاق، يعد Dell PowerScale بمثابة مكمل تخزين مثالي للحوسبة المسرَّعة باستخدام وحدة معالجة الرسومات. يعمل PowerScale بشكل فعال على تقليل الوقت اللازم لنماذج التحليل التي تقوم بتدريب واختبار مجموعات البيانات متعددة التيرابايت. في وحدة تخزين PowerScale للفلاش بالكامل، يزيد عرض النطاق الترددي بمقدار 18 مرة، مما يزيل اختناقات الإدخال/الإخراج، ويمكن إضافته إلى مجموعات Isilon الحالية لتسريع وفتح قيمة الكميات الكبيرة من البيانات غير المنظمة.

علاوة على ذلك، توفر إمكانيات الوصول إلى البروتوكولات المتعددة في PowerScale مرونة غير محدودة لتشغيل أحمال العمل، مما يسمح بتخزين البيانات باستخدام بروتوكول واحد والوصول إليها باستخدام بروتوكول آخر. وعلى وجه التحديد، تساعد الميزات القوية والمرونة وقابلية التوسع والوظائف على مستوى المؤسسات في نظام PowerScale الأساسي على مواجهة التحديات التالية:

- تسريع الابتكار بما يصل إلى 2.7 مرة، مما يقلل من دورة تدريب النموذج.

- القضاء على اختناقات الإدخال/الإخراج وتوفير تدريب أسرع على النموذج والتحقق من صحته، وتحسين دقة النموذج، وتعزيز إنتاجية علوم البيانات، وتعظيم العائد على استثمارات الحوسبة من خلال الاستفادة من الميزات على مستوى المؤسسة والأداء العالي والتزامن وقابلية التوسع. يمكنك تحسين دقة النموذج من خلال مجموعات بيانات أعمق وأكثر دقة من خلال الاستفادة من سعة تخزين فعالة تصل إلى 119 بيتابايت في مجموعة واحدة.

- تحقيق النشر على نطاق واسع من خلال البدء في توسيع نطاق الحوسبة والتخزين بشكل صغير ومستقل، مما يوفر خيارات قوية لحماية البيانات والأمان.

- تحسين إنتاجية علوم البيانات من خلال التحليلات الموضعية والحلول التي تم التحقق من صحتها مسبقًا لعمليات نشر أسرع ومنخفضة المخاطر.

- الاستفادة من التصميمات التي أثبتت جدواها بناءً على أفضل التقنيات، بما في ذلك تسريع NVIDIA GPU والبنى المرجعية مع أنظمة NVIDIA DGX. يلبي الأداء العالي والتزامن في PowerScale متطلبات أداء التخزين في كل مرحلة من مراحل التعلم الآلي، بدءًا من الحصول على البيانات وإعدادها وحتى التدريب على النماذج والاستدلال. جنبًا إلى جنب مع نظام التشغيل OneFS، يمكن لجميع العقد العمل بسلاسة ضمن نفس المجموعة التي تعتمد على OneFS، مع ميزات على مستوى المؤسسة مثل إدارة الأداء وإدارة البيانات والأمن وحماية البيانات، مما يتيح إكمالًا أسرع للتدريب النموذجي والتحقق من صحة الشركات.