الدراسة: لا يمكن الوثوق بنماذج التعلم الآلي بيقين مطلق
البصمة الكربونية لتدريب الذكاء الاصطناعي بنسبة 15 إلى 75٪. تستفيد مجموعة متنوعة من نماذج التعلم العميق الشائعة من قدرة Zeus على ضبط حدود طاقة وحدة معالجة الرسومات وحجم دفعة التدريب. عندما تم ضبط كلا المعلمتين، حقق البرنامج ما يصل إلى 75٪ من تقليل الطاقة. الائتمان: SymbioticLab، جامعة ميشيغان
يمكن لطريقة جديدة لتحسين تدريب نماذج التعلم العميق، وهي أداة سريعة التطور لدعم الذكاء الاصطناعي، أن تخفض متطلبات الذكاء الاصطناعي من الطاقة.
تم تطوير إطار التحسين مفتوح المصدر في جامعة ميشيغان، وهو يدرس نماذج التعلم العميق أثناء التدريب، ويحدد أفضل المقايضة بين استهلاك الطاقة وسرعة التدريب.
قال مشرف شودري، الأستاذ المساعد في الهندسة الكهربائية وعلوم الكمبيوتر: “على نطاقات قصوى، يستهلك تدريب نموذج GPT-3 مرة واحدة فقط 1287 ميجاوات في الساعة، وهو ما يكفي لتزويد أسرة أمريكية في المتوسط لمدة 120 عامًا”.
مع Zeus، إطار العمل الجديد لتحسين الطاقة الذي طوره Chowdhury وفريقه، يمكن تقليل مثل هذه الأرقام بنسبة تصل إلى 75٪ بدون أي أجهزة جديدة – وبتأثيرات طفيفة فقط على الوقت الذي يستغرقه تدريب النموذج. تم تقديمه في ندوة USENIX 2023 حول تصميم وتنفيذ الأنظمة الشبكية (NSDI)، في بوسطن.
انتشرت الاستخدامات السائدة لنماذج التعلم العميق الضخمة على مدار السنوات الثلاث الماضية، بدءًا من نماذج توليد الصور وروبوتات الدردشة التعبيرية إلى أنظمة التوصية التي تشغل TikTok وAmazon. مع الحوسبة السحابية التي تطلق بالفعل الطيران التجاري، فإن العبء المناخي المتزايد الناجم عن الذكاء الاصطناعي هو مصدر قلق كبير.
قال جاي وون تشونج، طالب الدكتوراه في علوم الكمبيوتر والهندسة والمؤلف الأول المشارك للدراسة: “يركز العمل الحالي بشكل أساسي على تحسين التدريب على التعلم العميق لإتمامه بشكل أسرع، وغالبًا دون مراعاة التأثير على كفاءة الطاقة “. “اكتشفنا أن الطاقة التي نصبها في وحدات معالجة الرسومات تعطي عوائد متناقصة، مما يسمح لنا بتقليل استهلاك الطاقة بشكل ككبير،مع تباطؤ ضئيل نسبيًا.”
التعلم العميق عبارة عن مجموعة من التقنيات التي تستخدم الشبكات العصبية الاصطناعية متعددة الطبقات لمعالجة مجموعة من مهام التعلم الآلي الشائعة. تُعرف هذه أيضًا باسم الشبكات العصبية العميقة (DNNs). النماذج نفسها معقدة للغاية، وتتعلم من بعض مجموعات البيانات الأكثر ضخامة التي تم استخدامها على الإطلاق في التعلم الآلي. لهذا السبب، يستفيدون بشكل كبير من إمكانيات تعدد المهام لوحدات المعالجة الرسومية (GPUs)، والتي تحرق 70٪ من الطاقة التي تدخل في تدريب أحد هذه النماذج.
يستخدم Zeus مقابض برمجية لتقليل استهلاك الطاقة. أحدهما هو حد طاقة وحدة معالجة الرسومات، مما يقلل من استخدام طاقة وحدة معالجة الرسومات مع إبطاء تدريب النموذج حتى يتم ضبط الإعداد مرة أخرى. الآخر هو معلمة حجم الدُفعة الخاصة بنموذج التعلم العميق، والتي تتحكم في عدد العينات من بيانات التدريب التي يعمل بها النموذج قبل تحديث الطريقة التي يمثل بها النموذج العلاقات التي يجدها في البيانات. تعمل أحجام الدُفعات الأكبر على تقليل وقت التدريب، ولكن مع زيادة استهلاك الطاقة.
زيوس قادر على ضبط كل من هذه الإعدادات في الوقت الحقيقي، والسعي إلى نقطة المقايضة المثلى التي يتم عندها تقليل استخدام الطاقة مع أقل تأثير ممكن على وقت التدريب. في الأمثلة، كان الفريق قادرًا على إظهار نقطة المقايضة هذه بصريًا من خلال إظهار كل مجموعة ممكنة من هاتين المعلمتين. في حين أن هذا المستوى من الدقة لن يحدث في الممارسة العملية مع وظيفة تدريبية معينة، فإن زيوس سيستفيد من الطبيعة المتكررة للتعلم الآلي ليقترب كثيرًا.
قال جي يو، وهو خريج دكتوراه حديث في علوم وهندسة الكمبيوتر ومؤلف مشارك في الدراسة: “لحسن الحظ، تقوم الشركات بتدريب نفس DNN مرارًا وتكرارًا على بيانات أحدث، في كثير من الأحيان كل ساعة. يمكننا التعرف على كيفية تصرف DNN من خلال المراقبة عبر تلك التكرارات”.
يعد Zeus أول إطار عمل مصمم للتوصيل بمهام سير العمل الحالية لمجموعة متنوعة من مهام التعلم الآلي ووحدات معالجة الرسومات، مما يقلل من استهلاك الطاقة دون الحاجة إلى أي تغييرات على أجهزة النظام أو البنية التحتية لمركز البيانات.
بالإضافة إلى ذلك، طور الفريق برنامجًا تكميليًا يضعونه فوق زيوس لتقليل البصمة الكربونية بشكل أكبر. هذا البرنامج، المسمى Chase، يمتاز بالسرعة عندما تكون الطاقة منخفضة الكربون متاحة، ويختار الكفاءة على حساب السرعة خلال أوقات الذروة، والتي من المرجح أن تتطلب تكثيف توليد الطاقة كثيفة الكربون مثل الفحم. احتل Chase المركز الثاني في هاكاثون CarbonHack العام الماضي، ومن المقرر أن يتم تقديمه في 4 مايو في المؤتمر الدولي لورشة تمثيل التعلم.
قال Zhenning Yang، طالب ماجستير في علوم الكمبيوتر والهندسة، “ليس من الممكن دائمًا ترحيل وظائف تدريب DNN بسهولة إلى مواقع أخرى بسبب أحجام مجموعات البيانات الكبيرة أو لوائح البيانات”. “قد لا يكون تأجيل مهام التدريب إلى أطر زمنية أكثر صداقة للبيئة خيارًا أيضًا، حيث يجب تدريب DNN على أحدث البيانات ونشرها بسرعة في الإنتاج لتحقيق أعلى دقة.
“هدفنا هو تصميم وتنفيذ الحلول التي لا تتعارض مع هذه القيود الواقعية، مع تقليل البصمة الكربونية لتدريب DNN.”
قد يهمك:
الاستضافة السحابية | استضافة المواقع السحابية
