طورت الصين طريقة لتدريب الشبكات العصبية على الميمريستورات، والتي يمكن أن تقلل من استهلاك الطاقة في الذكاء الاصطناعي بمليون مرة. وقد تم بالفعل اختبار هذه التقنية على أجهزة حقيقية.
تعد الحوسبة التناظرية في الذاكرة المستندة إلى الميمريستورات بالتغلب على قيود الطاقة للرقائق الرقمية عن طريق إجراء عمليات المصفوفة باستخدام القوانين الفيزيائية. الممرستورات هي أجهزة، مثل نقاط الاشتباك العصبي في الدماغ، تجمع بين وظائف الذاكرة والمعالجة.
وكما أظهرت التجارب العملية، فإن الإصدار يعمل بشكل جيد على مثل هذه الأنظمة. ومع ذلك، فإن تدريب الشبكات العصبية العميقة يواجه مشكلة: “ضوضاء الكتابة” عند ضبط أوزان الذاكرة. إن الأمر يشبه محاولة التقاط موجة على الراديو باستخدام مقبض ضبط خاطئ: يتم فقدان التحول الصغير المطلوب في الضوضاء بسبب تفاوتات البرمجة والانحراف بعد التسجيل. ونتيجة لذلك، تتغير الأوزان عشوائيًا بدلاً من التقارب تمامًا كما هو مطلوب بواسطة خوارزمية الانتشار العكسي. هذه الفوضى العشوائية تزعزع استقرار التعلم.
طريقة التحديث الاحتمالي للخطأ (EaPU).الموصوفة في المجلة اتصالات الطبيعة، يحل المشكلة عن طريق تخطي معظم التعديلات الصغيرة بذكاء وتوسيع نطاق الباقي ليناسب الأجهزة، مما يقلل من عمليات الكتابة بنسبة تزيد عن 99%.
التدخل من الأجهزة
في الشبكات العصبية القياسية، تقوم خوارزميات الانتشار العكسي بإجراء تعديلات صغيرة ودقيقة على أوزان الشبكة أثناء التدريب. وهو يعمل عن طريق حساب التدرجات من دالة الخسارة ونشر الأخطاء إلى الوراء طبقة بعد طبقة، وضبط “قوة التشابك” تدريجيًا لتقليل أخطاء التنبؤ.
ومع ذلك، فإن الذاكرات هي عناصر لا يمكن التنبؤ بها: فالقيم التي تخزنها تنحرف بمرور الوقت بسبب أخطاء البرمجة والتقلبات العشوائية.
وأوضح الباحثون: “لقد لاحظنا في العديد من التجارب أن خطأ التحديث (الكتابة) للميمريستورات يزداد بمرور الوقت، وهو ما يرجع بشكل أساسي إلى خصائص الاسترخاء للجهاز”. — هذه المشكلة تضعف استقرار وفعالية التدريب. وكان الهدف من بحثنا هو إزالة التناقض بين خطأ تحديث الجهاز ومقدار تحديث الوزن في الخوارزمية.
ووجدوا أن التغييرات المرغوبة في الأوزان في الشبكات العصبية تكون عادةً أصغر بـ 10 إلى 100 مرة من الضوضاء الجوهرية لأجهزة الميمريستور. لقد ضحّت الأساليب السابقة بالدقة من أجل السرعة أو استهلكت طاقة زائدة في محاولة لإجبار الأجهزة على اعتماد حالات دقيقة، ولم يكن أي منهما مناسبًا للتنفيذ على نطاق واسع.
التعاون مع عدم اليقين
بدلاً من محاربة ضجيج الأجهزة، يعمل EaPU معها. تستخدم الطريقة نهجًا احتماليًا يحول التغييرات الحتمية الصغيرة إلى الأوزان إلى تحديثات منفصلة أكبر يتم تطبيقها باحتمال محسوب – تعمل بشكل أساسي كمرشح. باختصار، الآلية بسيطة: إذا انخفض تغيير الوزن إلى ما دون عتبة الضوضاء، فإن EaPU، مع احتمال يتناسب مع التغيير المطلوب، يطبق نبضة العتبة الكاملة – أو يتخطى التحديث تمامًا. تستمر التحديثات الأكبر حجمًا دون تغييرات.
“الفكرة الرئيسية لهذه الطريقة هي أن مقدار التحديث ΔW لخوارزمية الانتشار الخلفي القياسي يتم تحويله إلى مقدار تحديث الممريستور ΔWth باستخدام تحويل احتمالي، مع ضمان بقاء متوسط قيمة التحديثات دون تغيير للحفاظ على كفاءة التعلم”، أوضح المؤلفون.
كفاءة التطوير مذهلة. تعمل EaPU على تقليل عدد المعلمات التي تتطلب التحديث أثناء التدريب إلى أقل من 0.1%. على سبيل المثال، بالنسبة لشبكة ResNet العصبية المكونة من 152 طبقة، يلزم تحديث 0.86 معلمة فقط من أصل ألف في كل خطوة.
التحقق على مستويات مختلفة
وأكد الاختبار نتائج مبهرة. قام الباحثون بتدريب الشبكات العصبية على إزالة التشويش من الصور وزيادة دقتها، وذلك باستخدام مصفوفة ذاكرات مصممة خصيصًا بحجم 180 نانومتر. وكانت مؤشرات التشابه الهيكلي التي تم الحصول عليها (SSIM) 0.896 و 0.933 على التوالي، وهي نتائج مماثلة للطرق التقليدية.
لم يكن لدى المؤلفين القدرة التقنية على اختبار شبكات أكبر، لذلك لجأوا إلى النمذجة. لقد تمكنوا من تدريب بنيات ResNet بنجاح لما يصل إلى 152 طبقة عميقة ونماذج Vision Transformer الحديثة، مما أدى إلى تحسينات في الدقة تزيد عن 60% مقارنة بطرق الانتشار العكسي القياسية على الأجهزة المزعجة.
فوائد الطاقة مذهلة. بالمقارنة مع أساليب تدريب الممريستور السابقة، يقلل EaPU من استهلاك طاقة التدريب بمقدار 50 مرة، ومقارنة بطريقة MADEM الحديثة بمقدار 13 مرة. كما يؤدي تقليل تكرار التحديثات بشكل كبير إلى إطالة عمر الجهاز بحوالي 1000 مرة.
الصورة: اتصالات الطبيعة
تنفيذ شبكة عصبية لتحسين الصور على الميمرستورات.
مخطط شبكة SRNet × 2 (أ). صورة لشريحة ممرستور، حيث يتم تمييز المناطق المقابلة لطبقات مختلفة من الشبكة بألوان مختلفة (ب). نتائج الشبكة – مقارنة الصور غير الواضحة والمحسنة (f، g).
ما هو التالي
ويأمل المطورون أن تجد هذه الطريقة تطبيقًا ليس فقط على الأجهزة التي تحتوي على ذاكرات. يمكن تكييفه مع تقنيات الذاكرة الأخرى مثل الترانزستورات الكهروضوئية وذاكرة الوصول العشوائي المقاومة للمغناطيسية.
والأهم من ذلك، أنه يمكن تطبيق EaPU على المجموعات لتدريب نماذج اللغة الكبيرة. أصبحت نماذج الذكاء الاصطناعي أكبر حجما، وترتفع تكاليف الطاقة في المقابل، حيث وصلت إلى مستويات فلكية تقدر بملايين الدولارات. وهنا يكون المكاسب المليونية المذكورة في البداية (مقارنة بأجهزة GPU) مفيدة.
اشترك واقرأ “العلم” في
برقية
تنويه من موقعنا
تم جلب هذا المحتوى بشكل آلي من المصدر:
yalebnan.org
بتاريخ: 2026-01-19 10:29:00.
الآراء والمعلومات الواردة في هذا المقال لا تعبر بالضرورة عن رأي موقعنا والمسؤولية الكاملة تقع على عاتق المصدر الأصلي.
ملاحظة: قد يتم استخدام الترجمة الآلية في بعض الأحيان لتوفير هذا المحتوى.