Святий Грааль Crypto AI: Децентралізація навчання на передовій
У повній ціннісній ланці AI, навчання моделей є етапом з найбільшим споживанням ресурсів і найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. В порівнянні з легковаговими викликами на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Концентраційне навчання є найпоширенішим традиційним методом, що здійснюється єдиним закладом на локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення низького рівня, системи розподілу кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Ця архітектура глибокої синергії забезпечує оптимальну ефективність в обміні пам'яттю, синхронізації градієнтів і механізмах відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, енергетичних витрат і ризиків одноточкових відмов.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "дистрибутивну" характеристику, в цілому все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології високошвидкісної магістралі NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Паралельна обробка даних: кожен вузол тренує різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельне паралельне: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельні канали: поетапне послідовне виконання, підвищення пропускної здатності
Тензорне паралельне обчислення: тонка сегментація матричних обчислень, підвищення ступеня паралелізму
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", подібно до того, як один і той же керівник дистанційно керує співробітниками з кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі проходять навчання саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його ключовою характеристикою є: кілька недовірливих вузлів, які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою криптостимулюючих механізмів, що забезпечують чесність внесків. Основними викликами для цієї моделі є:
Гетерогенність пристроїв та труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Проблеми з ефективністю зв'язку: мережевий зв'язок нестабільний, помітні проблеми з синхронізацією градієнтів
Відсутність довірливого виконання: відсутність довірливого виконуваного середовища ускладнює перевірку того, чи дійсно вузол бере участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань та механізм відкату помилок складний
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійснене велике децентралізоване навчання" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримати правильні результати" поки що перебуває на стадії раннього прототипування.
Федеративне навчання, як перехідна форма між дистрибутивним та децентралізованим, підкреслює збереження даних локально та централізоване агрегування параметрів моделі, що підходить для сценаріїв, що акцентують на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні координаційні можливості, водночас має переваги розподілених даних децентралізованого навчання, але все ще залежить від надійної координуючої сторони і не має повністю відкритих та стійких до цензури характеристик. Це можна вважати «контрольованим децентралізованим» рішенням у сценаріях дотримання конфіденційності, яке є відносно помірним у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш підходящим для промислової перехідної архітектури.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складність структури завдання, високі вимоги до ресурсів або великі труднощі в координації, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективний поділ та синхронізацію в відкритих мережах; завдання, що пов'язані з конфіденційністю даних та суворими обмеженнями суверенітету, обмежені юридичною відповідністю та етичними обмеженнями, не можуть бути відкрито поділені; в той час як завдання, які страждають від нестачі основи для коопераційних стимулів, не мають зовнішньої мотивації для участі. Ці межі разом формують нинішні реальні обмеження децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимулюючими, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: тонке налаштування LoRA, завдання пост-тренування з поведінкової відповідності, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання за участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші засоби.
Децентралізація тренувальних класичних проектів解析
Наразі на фронті децентралізованого навчання та федеративного навчання, представленими блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували чимало оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що відображає сучасні теоретичні дослідження; в той час як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, вже можна побачити перші інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також буде додатково обговорено їхні відмінності та взаємодоповнюючі зв'язки в децентралізованій системі AI-навчання.
Prime Intellect: Тренувальні траєкторії, що підлягають перевірці, посилювальна навчальна кооперативна мережа піонера
Prime Intellect прагне створити мережу тренування ШІ, яка не вимагає довіри, щоб кожен міг брати участь у тренуванні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається за допомогою трьох основних модулів PRIME-RL + TOPLOC + SHARDCAST створити систему децентралізованого тренування ШІ, яка має верифікацію, відкритість та повністю розроблену систему мотивації.
01、Структура і цінність ключових модулів Prime Intellect протоколу
Протокольний стек Prime Intellect включає три основні модулі: PRIME-RL, TOPLOC та SHARDCAST, які відповідно вирішують проблеми асинхронного навчання, надійної верифікації та поширення ваг.
02, Детальне пояснення ключових механізмів тренування Prime Intellect
PRIME-RL: декомпозована асинхронна архітектура завдань посиленого навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізація навчальних сцен, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, міркування та завантаження ваг, дозволяючи кожному навчальному вузлу незалежно виконувати цикли завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання з наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищі без централізованого планування, що знижує складність системи і закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм перевірки поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а виконує верифікацію легковісної структури шляхом аналізу локальних траєкторій узгодженості між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює траєкторії дій під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без необхідності довіри, і надає життєздатний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці в навчанні.
SHARDCAST:асинхронна вага агрегації та розповсюдження протоколу
SHARDCAST є протоколом вагового поширення та агрегування, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм гомінгу та локальну синхронізацію, дозволяючи кільком вузлам продовжувати надсилати часткові оновлення в умовах несинхронізації, що забезпечує поступову конвергенцію ваг і еволюцію багатьох версій. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість і стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг і безперервної ітерації навчання.
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, що часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, уникнувши високих витрат на зв'язок через глобальну синхронізацію, спираючись лише на сусідні вузли для проведення спільного навчання моделі. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, істотно підвищуючи можливості участі в глобальному кооперативному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека кооперативного зв'язку
PCCL є легковажною комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних обмежень традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв і мереж з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності мережі для навчання та сумісність пристроїв, прокладаючи "останню милю" комунікаційної основи для створення справжньої відкритої, бездостатньої кооперативної навчальної мережі.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та критеріїв валідації
Тренувальний вузол: виконання локального навчання, подача оновлень ваг та спостережувальних траєкторій
Вузли перевірки: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участі в обчисленні винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, утворюючи закритий цикл стимулювання навколо "реальної навчальної поведінки".
04、INTELLECT-2: Перший перевіряємий децентралізований навчальний модель.
Prime Intellect випустив INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю навчання з підкріпленням, створеною за допомогою асинхронних, бездоверених децентралізованих вузлів. Кількість параметрів становить 32B. Модель INTELLECT-2 була успішно навчена за допомогою понад 100 ГПУ гетерогенних вузлів, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, що продемонструвало життєздатність та стабільність асинхронних кооперативних мереж. Ця модель не тільки є проривом у продуктивності, але й першим системним впровадженням парадигми "навчання = консенсус", запропонованою Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше досягнення у відкритті, верифікації та економічних стимулів у процесі навчання децентралізованої навчальної мережі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
10 лайків
Нагородити
10
6
Поділіться
Прокоментувати
0/400
GasFeeCrier
· 8год тому
А це AI, напевно, вимагав багато обчислювальної потужності, так?
Переглянути оригіналвідповісти на0
ChainMaskedRider
· 8год тому
Менше говори, що не вмієш розкладати цю пастку.
Переглянути оригіналвідповісти на0
GateUser-40edb63b
· 9год тому
Здається, ти з'їхав з глузду
Переглянути оригіналвідповісти на0
SillyWhale
· 9год тому
Отже, це також називається децентралізацією? Ще краще назвати це обчислювальною потужністю демократії.
Переглянути оригіналвідповісти на0
TestnetScholar
· 9год тому
Монополія обчислювальної потужності є коренем проблеми, чи не так?
Переглянути оригіналвідповісти на0
P2ENotWorking
· 9год тому
А для чого це? Все одно доведеться безкоштовно користуватися великими моделями.
Децентралізація AI тренування: Prime Intellect веде нову парадигму кооперативних мереж
Святий Грааль Crypto AI: Децентралізація навчання на передовій
У повній ціннісній ланці AI, навчання моделей є етапом з найбільшим споживанням ресурсів і найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. В порівнянні з легковаговими викликами на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Концентраційне навчання є найпоширенішим традиційним методом, що здійснюється єдиним закладом на локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення низького рівня, системи розподілу кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Ця архітектура глибокої синергії забезпечує оптимальну ефективність в обміні пам'яттю, синхронізації градієнтів і механізмах відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, енергетичних витрат і ризиків одноточкових відмов.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "дистрибутивну" характеристику, в цілому все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології високошвидкісної магістралі NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", подібно до того, як один і той же керівник дистанційно керує співробітниками з кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі проходять навчання саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його ключовою характеристикою є: кілька недовірливих вузлів, які спільно виконують навчальні завдання без центрального координатора, зазвичай через протоколи, що керують розподілом завдань та співпрацею, а також за допомогою криптостимулюючих механізмів, що забезпечують чесність внесків. Основними викликами для цієї моделі є:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійснене велике децентралізоване навчання" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримати правильні результати" поки що перебуває на стадії раннього прототипування.
Федеративне навчання, як перехідна форма між дистрибутивним та децентралізованим, підкреслює збереження даних локально та централізоване агрегування параметрів моделі, що підходить для сценаріїв, що акцентують на дотриманні конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні координаційні можливості, водночас має переваги розподілених даних децентралізованого навчання, але все ще залежить від надійної координуючої сторони і не має повністю відкритих та стійких до цензури характеристик. Це можна вважати «контрольованим децентралізованим» рішенням у сценаріях дотримання конфіденційності, яке є відносно помірним у завданнях навчання, структурах довіри та комунікаційних механізмах, що робить його більш підходящим для промислової перехідної архітектури.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складність структури завдання, високі вимоги до ресурсів або великі труднощі в координації, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективний поділ та синхронізацію в відкритих мережах; завдання, що пов'язані з конфіденційністю даних та суворими обмеженнями суверенітету, обмежені юридичною відповідністю та етичними обмеженнями, не можуть бути відкрито поділені; в той час як завдання, які страждають від нестачі основи для коопераційних стимулів, не мають зовнішньої мотивації для участі. Ці межі разом формують нинішні реальні обмеження децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимулюючими, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: тонке налаштування LoRA, завдання пост-тренування з поведінкової відповідності, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання за участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші засоби.
Децентралізація тренувальних класичних проектів解析
Наразі на фронті децентралізованого навчання та федеративного навчання, представленими блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували чимало оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що відображає сучасні теоретичні дослідження; в той час як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, вже можна побачити перші інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також буде додатково обговорено їхні відмінності та взаємодоповнюючі зв'язки в децентралізованій системі AI-навчання.
Prime Intellect: Тренувальні траєкторії, що підлягають перевірці, посилювальна навчальна кооперативна мережа піонера
Prime Intellect прагне створити мережу тренування ШІ, яка не вимагає довіри, щоб кожен міг брати участь у тренуванні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається за допомогою трьох основних модулів PRIME-RL + TOPLOC + SHARDCAST створити систему децентралізованого тренування ШІ, яка має верифікацію, відкритість та повністю розроблену систему мотивації.
01、Структура і цінність ключових модулів Prime Intellect протоколу
Протокольний стек Prime Intellect включає три основні модулі: PRIME-RL, TOPLOC та SHARDCAST, які відповідно вирішують проблеми асинхронного навчання, надійної верифікації та поширення ваг.
02, Детальне пояснення ключових механізмів тренування Prime Intellect
PRIME-RL: декомпозована асинхронна архітектура завдань посиленого навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізація навчальних сцен, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, міркування та завантаження ваг, дозволяючи кожному навчальному вузлу незалежно виконувати цикли завдань на місці та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання з наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищі без централізованого планування, що знижує складність системи і закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм перевірки поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а виконує верифікацію легковісної структури шляхом аналізу локальних траєкторій узгодженості між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює траєкторії дій під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без необхідності довіри, і надає життєздатний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці в навчанні.
SHARDCAST:асинхронна вага агрегації та розповсюдження протоколу
SHARDCAST є протоколом вагового поширення та агрегування, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм гомінгу та локальну синхронізацію, дозволяючи кільком вузлам продовжувати надсилати часткові оновлення в умовах несинхронізації, що забезпечує поступову конвергенцію ваг і еволюцію багатьох версій. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість і стійкість до помилок децентралізованого навчання, що є основою для створення стабільного консенсусу ваг і безперервної ітерації навчання.
OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, що часто зустрічаються в децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, уникнувши високих витрат на зв'язок через глобальну синхронізацію, спираючись лише на сусідні вузли для проведення спільного навчання моделі. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, істотно підвищуючи можливості участі в глобальному кооперативному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека кооперативного зв'язку
PCCL є легковажною комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних обмежень традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв і мереж з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності мережі для навчання та сумісність пристроїв, прокладаючи "останню милю" комунікаційної основи для створення справжньої відкритої, бездостатньої кооперативної навчальної мережі.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реальних внесків. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, утворюючи закритий цикл стимулювання навколо "реальної навчальної поведінки".
04、INTELLECT-2: Перший перевіряємий децентралізований навчальний модель.
Prime Intellect випустив INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю навчання з підкріпленням, створеною за допомогою асинхронних, бездоверених децентралізованих вузлів. Кількість параметрів становить 32B. Модель INTELLECT-2 була успішно навчена за допомогою понад 100 ГПУ гетерогенних вузлів, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, що продемонструвало життєздатність та стабільність асинхронних кооперативних мереж. Ця модель не тільки є проривом у продуктивності, але й першим системним впровадженням парадигми "навчання = консенсус", запропонованою Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше досягнення у відкритті, верифікації та економічних стимулів у процесі навчання децентралізованої навчальної мережі.
На ефективності