الكأس المقدسة للذكاء الاصطناعي في التشفير: استكشاف الحدود للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في متطلبات التكنولوجيا، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه العملي. بالمقارنة مع استدعاءات المرحلة الخفيفة في الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا من القوة الحاسوبية الكبيرة، وعمليات معالجة البيانات المعقدة، ودعم خوارزميات التحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج البنية، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.

تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم بواسطة مؤسسة واحدة داخل مجموعة محلية عالية الأداء إكمال جميع عمليات التدريب، من الأجهزة وبرامج الطبقة الأساسية ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تسمح هذه البنية التحتية ذات التعاون العميق بتحقيق الكفاءة المثلى لمشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، وهي مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، ولها ميزات كفاءة عالية، وتحكم في الموارد، ولكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، وذلك لتجاوز عنق الزجاجة في حسابات وتخزين الآلات الفردية. على الرغم من أن له خصائص "موزعة" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال تحت سيطرة المؤسسات المركزية، وغالبًا ما يعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية ناقل الاتصال السريع NVLink، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:

• التوازي البياني: كل عقدة تقوم بتدريب بيانات مختلفة مع مشاركة المعلمات، يجب مطابقة أوزان النموذج
• التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة، لتحقيق قابلية توسيع قوية
• تنفيذ متسلسل على مراحل: زيادة معدل النقل
• التوازي المتري: تقسيم دقيق لحساب المصفوفات، تحسين درجة التوازي

التدريب الموزع هو مزيج من "تحكم مركزي + تنفيذ موزع"، مثل قيادة نفس المدير عن بُعد للموظفين في عدة "مكاتب" بالتعاون لإنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.

تمثل التدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل ميزتها الأساسية في: العديد من العقد غير الموثوقة ( التي قد تكون أجهزة كمبيوتر منزلية أو وحدات معالجة رسومية سحابية أو أجهزة حافة ) تتعاون لإكمال مهام التدريب دون وجود منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستفيد من آليات التحفيز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:

• صعوبة تباين الأجهزة وتقسيم المهام: التنسيق بين الأجهزة المتباينة صعب، وكفاءة تقسيم المهام منخفضة
• عنق الزجاجة في كفاءة الاتصال: الاتصال الشبكي غير مستقر، وظهور واضح لعنق الزجاجة في مزامنة التدرج
• نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب.
• نقص التنسيق الموحد: لا يوجد جهاز توزيع مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقاً" لا يزال يمثل تحدياً هندسياً نظامياً، ويتضمن جوانب متعددة مثل هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن ما إذا كان يمكن "التعاون بفعالية + تحفيز الصدق + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.

يعتبر التعلم الفيدرالي شكلاً انتقالياً بين الموزع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج بشكل مركزي، مما يجعله مناسبًا للسيناريوهات التي تركز على امتثال الخصوصية مثل الرعاية الصحية، والمالية (. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، وفي الوقت نفسه يتمتع بمزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب، وبنية الثقة، وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والواقع المسار

من منظور نموذج التدريب، فإن التدريب اللامركزي لا ينطبق على جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإكماله بكفاءة بين العقد الموزعة والموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على سعة ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيم البيانات والتزامن بشكل فعال في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات وقيود السيادة تكون مقيدة بالامتثال القانوني والأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى أساس حوافز التعاون تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام ذات الهيكل الخفيف وسهولة التوازي والتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بتوافق السلوك مثل RLHF، DPO)، مهام تدريب وتصنيف البيانات الجماعية، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.

تحليل المشاريع الكلاسيكية للتدريب اللامركزي

حاليًا، تشمل المشاريع الرائدة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائجة في البحث النظري الحالي؛ بينما تكون مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بشكل متتابع، وستناقش المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.

( Prime Intellect: رائد شبكة التعلم المعزز المتعاون القابلة للتحقق من مسار التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والمجهز بآلية تحفيز كاملة من خلال ثلاثة وحدات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

)# 01، قيمة هيكل البروتوكولات Prime Intellect والوظائف الرئيسية

![كأس القدر للذكاء الاصطناعي: استكشاف الحدود للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###

(# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect

#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار لنمذجة وتنفيذ المهام مصمم من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أساسي، حيث يفصل هيكليًا عمليات التدريب والاستدلال ورفع الأوزان، مما يمكّن كل عقدة تدريب من إكمال حلقة المهام بشكل مستقل محليًا، ويتعاون عبر واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويوفر أساسًا لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

#TOPLOC:آلية تحقق سلوكية خفيفة الوزن

TOPLOC هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة معينة قد أكملت فعليًا تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يتم التحقق من الهيكل الخفيف من خلال تحليل المسارات المحلية للاتساق بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنها تحول لأول مرة المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول لنشر الأوزان وتجميعها مصمم بواسطة Prime Intellect، وهو مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز بعدم التزامن، وقيود النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجيات المزامنة المحلية، مما يسمح للعديد من العقد بتقديم تحديثات جزئية باستمرار في حالة عدم التزامن، مما يحقق التقارب التدريجي للأوزان والتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسِّن SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الأوزان المستقر والتكرار المستمر للتدريب.

#OpenDiLoCo: إطار اتصالات غير متزامنة متفرقة

OpenDiLoCo هو إطار تحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحه DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية متناثرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للتزامن العالمي، ويعتمد فقط على العقد الجارة المحلية لإكمال تدريب النموذج التعاوني. بدمج التحديث غير المتزامن وآلية التحمل لقطع الاتصال، يجعل OpenDiLoCo حتى وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بثبات في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

#PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصال خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف الذي تواجهه المكتبات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زاد بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

)# 03، شبكة Prime Intellect للتحفيز وتوزيع الأدوار

بني Prime Intellect شبكة تدريب يمكن التحقق منها وبدون إذن، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات رئيسية من الأدوار:

• مُبادِر المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ### SHARDCAST ### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

(# 04، INTELLECT-2: أول نموذج تدريب لامركزي قابل للتحقق يتم إصداره

أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، حيث يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة على ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. هذا النموذج ليس فقط اختراقًا في الأداء، ولكنه أيضًا أول تنفيذ منهجي لمفهوم "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يتضمن INTELLECT-2 هيكل التدريب غير المتزامن PRIME-RL)، والتحقق من سلوك التدريب TOPLOC###، وتجميع الأوزان غير المتزامن SHARDCAST( وغيرها من الوحدات البروتوكول الأساسية، مما يميز أول تحقيق لشبكة تدريب لامركزية.