في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكاً للموارد والأعلى في العوائق التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. مقارنة بمرحلة الاستدلال التي تتطلب استدعاءات خفيفة، تحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "صناعة ثقيلة" حقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركز، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
يعد التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتناغمة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل بكفاءة مثلى، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا عالية الكفاءة وقابلية التحكم في الموارد، ولكنها تواجه في الوقت نفسه مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على العديد من الآلات لتنفيذها بشكل متزامن، من أجل تجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة كيان مركزي للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية حافلة الاتصال NVLink عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، تحتاج إلى مطابقة أوزان النموذج
التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
تنفيذ متسلسل مرحلي: تنفيذ تسلسلي في مراحل، زيادة معدل النقل
توازي الموتر: تقسيم دقيق لحساب المصفوفات، تعزيز حجم التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو يشبه كيف يقوم نفس المدير بتوجيه عدة "مكاتب" عن بُعد للتعاون في إكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل ميزته الأساسية في: عدد من العقد غير الموثوقة تتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، وعادة ما يتم ذلك من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز المشفرة في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
صعوبة تباين الأجهزة والتقسيم: صعوبة تنسيق الأجهزة اللامركزية، وكفاءة تقسيم المهام منخفضة
اختناق كفاءة الاتصال: الاتصال الشبكي غير مستقر، واختناق مزامنة التدرجات واضح
فقدان التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق فعلاً" لا يزال تحدياً هندسياً نظامياً، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، آلية الاقتصاد، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان من الممكن "التعاون بشكل فعال + تحفيز الصدق + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف نموذج أولي مبكر.
تعتبر التعلم الفيدرالي كحالة انتقالية بين البنية الموزعة واللامركزية، حيث تؤكد على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعلها مناسبة للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية المسيطر عليها" في سيناريوهات الامتثال للخصوصية، حيث يكون التدريب، وهيكل الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعلها أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نموذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية جداً، أو صعوبة التعاون، فإنه لا يناسب بطبيعته إكمال المهام بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالباً ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة تكون مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاقًا واضحة للتطبيق في أنواع المهام الخفيفة الهيكلية، سهلة التوازي، والمحفزة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA الدقيق، مهام التدريب اللاحقة المتوافقة مع السلوك، تدريب وتوسيم البيانات الجماعية، تدريب نماذج أساسية صغيرة تحت السيطرة على الموارد، ومشاهد التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل أساسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، تقدم Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تكون مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية وهياكل الهندسة وراء هذه المشاريع الخمسة، وتناقش المزيد عن الفروقات والعلاقات التكميلية بينها في نظام التدريب الذكي اللامركزي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI غير موثوق بها، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي يتمتع بالتحقق، والانفتاح، وآلية الحوافز المكتملة.
01، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية
تشمل مجموعة بروتوكولات Prime Intellect ثلاثة وحدات أساسية هي PRIME-RL و TOPLOC و SHARDCAST، والتي تعالج على التوالي مشاكل التدريب غير المتزامن، والتحقق الموثوق، ونشر الأوزان.
02، شرح آلية تدريب Prime Intellect الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار لنمذجة وتنفيذ المهام تم تخصيصه بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتغايرة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أساسي، ويفكك بشكل هيكلي عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم تحت الإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس أيضًا لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيفة الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كانت العقدة قد أكملت فعليًا تعلم استراتيجية فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون حاجة للثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجميع الوزن مصمم بواسطة Prime Intellect، مُحسّن خصيصًا لبيئات الشبكة الحقيقية ذات الحالة المتغيرة، مع قيود على النطاق الترددي. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقارب وزني تدريجي وتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل كبير من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع وزني مستقر وتكرار تدريب مستمر.
OpenDiLoCo: إطار الاتصال غير المتناظر النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring و Expander و Small-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل مشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في ملاءمة المكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل كبير قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، ويفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وغير مرخصة، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الرئيسية:
م initiator: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للاتفاقية نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة Nodes لامركزية غير موثوقة تعمل بالتعاون بشكل غير متزامن، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 Node GPU متوزعة عبر ثلاث قارات، باستخدام بنية كاملة غير متزامنة، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد إنجاز في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو الإجماع" الذي قدمته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يدل على أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحًا في عملية التدريب، والتحقق، ودائرة الحوافز الاقتصادية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 10
أعجبني
10
6
مشاركة
تعليق
0/400
GasFeeCrier
· منذ 12 س
آه، هذه الذكاء الاصطناعي يحتاج إلى الكثير من قوة الحوسبة، أليس كذلك؟
شاهد النسخة الأصليةرد0
ChainMaskedRider
· منذ 12 س
少说不会摆烂 هذه فخ
شاهد النسخة الأصليةرد0
GateUser-40edb63b
· منذ 13 س
هل جننت؟
شاهد النسخة الأصليةرد0
SillyWhale
· منذ 13 س
هل يُمكن أن يُطلق على هذا اسم اللامركزية؟ من الأفضل أن يُطلق عليه اسم قوة الحوسبة الديمقراطية.
شاهد النسخة الأصليةرد0
TestnetScholar
· منذ 13 س
الاحتكار قوة الحوسبة هو جذر المشكلة، أليس كذلك؟
شاهد النسخة الأصليةرد0
P2ENotWorking
· منذ 13 س
ما فائدة ذلك؟ أليس علينا الاستفادة من النماذج الكبيرة مجانًا؟
突破 اللامركزية AI التدريب: Prime Intellect يقود نموذج جديد للشبكات التعاونية
الكأس المقدسة للذكاء الاصطناعي في العملات المشفرة: استكشاف متقدم للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكاً للموارد والأعلى في العوائق التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. مقارنة بمرحلة الاستدلال التي تتطلب استدعاءات خفيفة، تحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "صناعة ثقيلة" حقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركز، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
يعد التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتناغمة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل بكفاءة مثلى، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا عالية الكفاءة وقابلية التحكم في الموارد، ولكنها تواجه في الوقت نفسه مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على العديد من الآلات لتنفيذها بشكل متزامن، من أجل تجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة كيان مركزي للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية حافلة الاتصال NVLink عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو يشبه كيف يقوم نفس المدير بتوجيه عدة "مكاتب" عن بُعد للتعاون في إكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل ميزته الأساسية في: عدد من العقد غير الموثوقة تتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، وعادة ما يتم ذلك من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز المشفرة في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق فعلاً" لا يزال تحدياً هندسياً نظامياً، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، آلية الاقتصاد، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان من الممكن "التعاون بشكل فعال + تحفيز الصدق + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف نموذج أولي مبكر.
تعتبر التعلم الفيدرالي كحالة انتقالية بين البنية الموزعة واللامركزية، حيث تؤكد على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعلها مناسبة للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية المسيطر عليها" في سيناريوهات الامتثال للخصوصية، حيث يكون التدريب، وهيكل الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعلها أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نموذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية جداً، أو صعوبة التعاون، فإنه لا يناسب بطبيعته إكمال المهام بكفاءة بين العقد غير المتجانسة وغير الموثوقة. على سبيل المثال، غالباً ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة تكون مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاقًا واضحة للتطبيق في أنواع المهام الخفيفة الهيكلية، سهلة التوازي، والمحفزة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA الدقيق، مهام التدريب اللاحقة المتوافقة مع السلوك، تدريب وتوسيم البيانات الجماعية، تدريب نماذج أساسية صغيرة تحت السيطرة على الموارد، ومشاهد التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل أساسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، تقدم Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تكون مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية وهياكل الهندسة وراء هذه المشاريع الخمسة، وتناقش المزيد عن الفروقات والعلاقات التكميلية بينها في نظام التدريب الذكي اللامركزي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI غير موثوق بها، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي يتمتع بالتحقق، والانفتاح، وآلية الحوافز المكتملة.
01، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية
تشمل مجموعة بروتوكولات Prime Intellect ثلاثة وحدات أساسية هي PRIME-RL و TOPLOC و SHARDCAST، والتي تعالج على التوالي مشاكل التدريب غير المتزامن، والتحقق الموثوق، ونشر الأوزان.
02، شرح آلية تدريب Prime Intellect الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار لنمذجة وتنفيذ المهام تم تخصيصه بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتغايرة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أساسي، ويفكك بشكل هيكلي عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم تحت الإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس أيضًا لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيفة الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كانت العقدة قد أكملت فعليًا تعلم استراتيجية فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يُكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون حاجة للثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجميع الوزن مصمم بواسطة Prime Intellect، مُحسّن خصيصًا لبيئات الشبكة الحقيقية ذات الحالة المتغيرة، مع قيود على النطاق الترددي. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقارب وزني تدريجي وتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل كبير من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع وزني مستقر وتكرار تدريب مستمر.
OpenDiLoCo: إطار الاتصال غير المتناظر النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring و Expander و Small-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل مشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في ملاءمة المكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل كبير قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، ويفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وغير مرخصة، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الرئيسية:
تشمل العمليات الأساسية للاتفاقية نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة Nodes لامركزية غير موثوقة تعمل بالتعاون بشكل غير متزامن، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 Node GPU متوزعة عبر ثلاث قارات، باستخدام بنية كاملة غير متزامنة، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد إنجاز في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو الإجماع" الذي قدمته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يدل على أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحًا في عملية التدريب، والتحقق، ودائرة الحوافز الاقتصادية.
في جانب الأداء