Accès aux données Web3 : Présentation des indexeurs et des projets connexes

Écrit par : Geng Kai, DFG

L'importance des données dans la blockchain

Les données sont la clé de la technologie blockchain et constituent la base du développement d'applications décentralisées (dApp). Bien que la plupart des discussions actuelles portent sur la disponibilité des données (DA) - assurant que chaque participant du réseau peut accéder aux données de transaction les plus récentes pour vérification - un aspect tout aussi important est souvent négligé: l'accessibilité des données.

Dans l'ère de la blockchain modulaire, les solutions DA sont devenues indispensables. Ces solutions garantissent que tous les participants peuvent utiliser les données de transaction pour effectuer une vérification en temps réel et maintenir l'intégrité du réseau. Cependant, les fonctionnalités de la couche DA ressemblent plus à des panneaux publicitaires qu'à une base de données. Cela signifie que les données ne sont pas stockées indéfiniment ; elles sont supprimées au fil du temps, tout comme les affiches sur un panneau publicitaire sont finalement remplacées par de nouvelles affiches.

D'autre part, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est essentiel pour le développement de dApp et l'analyse de la blockchain. C'est crucial pour les tâches qui nécessitent l'accès aux données passées pour assurer une représentation et une exécution précises. Bien que l'accessibilité des données soit importante mais moins discutée, elle est aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème de la blockchain, une approche globale de la gestion des données doit résoudre ces deux problèmes pour soutenir des applications blockchain puissantes et efficaces.

Comment les données de la blockchain étaient-elles récupérées auparavant

Depuis sa création, la blockchain a complètement transformé les infrastructures et a stimulé la création d'applications décentralisées (dApp) dans des domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la construction de ces dApp nécessite un accès à une grande quantité de données de blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs de dApp, une option consiste à héberger et exécuter leurs propres nœuds RPC d'archive. Ces nœuds stockent toutes les données de la chaîne de blocs depuis le début, ce qui permet un accès complet aux données. Cependant, la maintenance de ces nœuds d'archive est coûteuse et leur capacité de requête est limitée, ce qui signifie qu'ils ne peuvent pas interroger les données dans le format dont les développeurs ont besoin. Bien qu'il soit possible d'exécuter des nœuds moins chers, leur capacité de récupération des données est limitée, ce qui peut entraver le fonctionnement des dApps.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, et fournissent des données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits, mais soumis à des limitations de débit, ce qui peut affecter négativement l'expérience des utilisateurs de dApp. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même une simple récupération de données nécessite beaucoup de communications bidirectionnelles, les rendant ainsi lourdes à solliciter et inefficaces pour des requêtes de données complexes. De plus, les points de terminaison RPC privés sont souvent difficiles à mettre à l'échelle et manquent de compatibilité entre différents réseaux.

Meilleure alternative : Indexeur de blocs

Les indexeurs de blockchain jouent un rôle essentiel dans l'organisation des données sur la chaîne et leur envoi vers une base de données pour faciliter la recherche, c'est pourquoi ils sont souvent appelés "Google de la blockchain". Ils fonctionnent en indexant les données de la blockchain et les rendent disponibles en tout temps grâce à un langage de requête similaire à SQL (utilisant des API telles que GraphQL). En fournissant une interface unifiée pour interroger les données, les indexeurs permettent aux développeurs de récupérer rapidement et précisément les informations requises à l'aide d'un langage de requête normalisé, simplifiant ainsi considérablement le processus.

Les indexeurs de différents types optimisent la recherche de données de diverses manières :

1. Indexeur de nœud complet : ces indexeurs exécutent un nœud blockchain complet et extraient directement les données de celui-ci pour garantir l'intégrité et l'exactitude des données, mais nécessitent beaucoup de capacité de stockage et de traitement.
2. Indexeur léger: ces indexeurs dépendent des nœuds complets pour obtenir des données spécifiques selon les besoins, ce qui réduit les exigences de stockage mais peut augmenter le temps de requête.
3. Indexeurs spécialisés: ces indexeurs sont spécifiquement conçus pour certains types de données ou des blockchains spécifiques, afin d'optimiser la recherche pour des cas d'utilisation particuliers, tels que les données NFT ou les transactions DeFi.
4. Agrégateur d'index : ces indexeurs extraient des données de plusieurs blockchains et sources, y compris des informations hors chaîne, pour fournir une interface de requête unifiée, ce qui est particulièrement utile pour les dApps multi-chaînes.

Seule Ethereum nécessite 3 To d'espace de stockage, et avec la croissance continue de la blockchain, le volume de données des nœuds d'archivage Erigon augmentera également. Le protocole d'indexation déploie plusieurs indexeurs pour indexer efficacement et interroger rapidement de grandes quantités de données, ce qui est impossible avec les RPC.

Les indexeurs permettent également des requêtes complexes, filtrage facile des données selon divers critères et extraction et analyse ultérieure des données. Certains indexeurs permettent également d'agréger des données provenant de plusieurs sources, ce qui évite de déployer plusieurs API dans plusieurs dApp multi-chaînes. Répartis sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances améliorées, tandis que les fournisseurs de RPC peuvent connaître des interruptions et des arrêts en raison de leur nature centralisée.

Dans l'ensemble, par rapport aux fournisseurs de nœuds RPC, l'indexeur améliore l'efficacité et la fiabilité de la recherche de données, tout en réduisant le coût de déploiement d'un seul nœud. Cela fait du protocole d'indexation de la blockchain le choix privilégié des développeurs d'applications décentralisées.

Exemple d'Utilisation de l'Indexeur

Comme mentionné précédemment, la construction d'une dApp nécessite la récupération et la lecture des données de la blockchain pour exécuter ses services. Cela s'applique à tous les types de dApps, y compris les plateformes DeFi, les jetons non fongibles (NFT), les jeux et même les réseaux sociaux, car ces plateformes doivent d'abord lire les données pour effectuer d'autres transactions.

DeFi

Les protocoles DeFi ont besoin de différentes informations pour fournir aux utilisateurs des prix, des taux, des frais spécifiques, etc. Les AMM ont besoin d'informations sur les prix et la liquidité de certains pools de fonds pour calculer les taux d'intérêt de swap, tandis que les protocoles de prêt ont besoin de taux d'utilisation pour déterminer les taux d'intérêt des prêts et les ratios d'endettement de liquidation. Il est essentiel de saisir ces informations dans leur dApp avant de calculer les taux d'intérêt que les utilisateurs exécutent.

Jeu

GameFi needs to index and access data quickly to ensure smooth gameplay for users. Only with lightning-fast data retrieval and execution can Web3 games rival Web2 games in performance, attracting more users. These games require data such as land ownership, in-game token balances, and in-game operations. With an indexer, they can better ensure stable data flow and consistent uptime for a perfect gaming experience.

NFT

Les marchés NFT et les plates-formes de prêt ont besoin d'indexer les données pour accéder à diverses informations telles que les métadonnées NFT, les données de propriété et de transfert, les informations de redevances, etc. L'indexation rapide de ces données permet d'éviter de parcourir chaque NFT individuellement pour trouver les données de propriété ou les attributs NFT.

Que ce soit pour les AMM de DeFi nécessitant des informations sur les prix et la liquidité, ou pour les applications SocialFi nécessitant la mise à jour de nouveaux messages d'utilisateurs, la capacité à rechercher rapidement des données est essentielle au bon fonctionnement des dApps. Avec des indexeurs, elles peuvent rechercher efficacement et avec précision des données pour offrir une expérience utilisateur fluide.

Analyse

L'indexeur fournit une méthode d'extraction de données spécifiques à partir des données brutes de la blockchain, y compris les événements de contrat intelligent dans chaque bloc. Cela offre l'opportunité d'une analyse de données plus précise, offrant ainsi une vision complète.

Par exemple, le protocole d'échange perpétuel peut identifier les jetons avec un volume de transactions élevé et ceux qui génèrent des frais, afin de décider s'ils doivent être répertoriés en tant que contrats perpétuels sur leur plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour mieux comprendre quels pools de liquidité offrent le meilleur rendement ou la plus grande liquidité. Il est également possible de créer des tableaux de bord publics permettant aux développeurs de consulter librement n'importe quel type de données à afficher sur les graphiques.

Étant donné qu’il existe long Blockchain indexeurs disponibles, il est essentiel d’identifier les différences entre les protocole indexées pour s’assurer que les développeurs choisissent celui qui répond le mieux à leurs besoins.

Aperçu de l'indexeur de blocs

Aperçu de l'indexeur

Le Graphique

The Graph est le premier protocole d'indexation lancé sur Ethereum, qui permet de facilement interroger des données de transactions précédemment difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer des sous-ensembles de données collectées à partir de la blockchain, tels que toutes les transactions liées à la piscine Uniswap v3 USDC/ETH.

Avec les preuves d’index, l’indexeur stake Jeton GRT natif utilisé pour les services d’indexation et d’interrogation, où le principal peut choisir de Jeton stake. Les curateurs ont accès à des sous-graphes de haute qualité pour aider les indexeurs à déterminer les sous-graphes pour lesquels compiler les données dans l’ordre afin de gagner les meilleurs frais de requête. Dans le cadre de la transition vers un plus grand degré de décentralisation, The Graph finira par arrêter ses services d’hébergement et exigera que les sous-graphes mettent à niveau son réseau tout en fournissant un indexeur de mise à niveau.

Son infrastructure permet de réduire considérablement le coût moyen de 40 dollars par million de requêtes par rapport au coût des nœuds auto-hébergés. Avec une source de données de fichiers, il prend également en charge l'indexation parallèle des données à la fois sur et hors chaîne pour une récupération efficace des données.

Découvrez les récompenses des indexeurs de The Graph, qui ont progressé de manière constante au cours des derniers trimestres. Cela est en partie dû à l'augmentation du volume des requêtes, mais aussi à la hausse du prix du jeton, car ils prévoient d'intégrer l'assistance de l'intelligence artificielle pour les requêtes à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé, peer-to-peer et horizontalement évolutif, capable d'agréger efficacement de grandes quantités de données hors chaîne et sur chaîne, protégées par des preuves à divulgation nulle de connaissance. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble spécifique de blocs, accélérant ainsi le processus de recherche de données en identifiant rapidement les nœuds de stockage des données requises.

Subsquid prend également en charge l'indexation en temps réel, ce qui permet d'indexer avant que le bloc ne soit définitif. Il prend également en charge le stockage des données dans le format choisi par le développeur, ce qui facilite l'analyse avec des outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphiques peuvent être déployés sur le réseau Subsquid sans avoir à migrer vers le kit de développement Squid, permettant ainsi un déploiement sans code.

Bien que toujours à l'étape du testnet, Subsquid a déjà obtenu des statistiques impressionnantes, avec plus de 80 000 utilisateurs du testnet, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Récemment, le 3 juin, Subsquid a lancé son mainnet de data lake.

En plus des index, le lac de données Subsquid Network peut également remplacer les RPC dans les cas d'utilisation tels que l'analyse, le coprocesseur ZK/TEE, l'agent d'IA et l'Oracle.

Sous-requête

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services de données RPC et d'indexation. Il prend initialement en charge les réseaux Polkadot et Substrate et s'est maintenant étendu à plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph, qui utilise des preuves d'indexation pour indexer les données et répondre aux requêtes de recherche. Les délégants placent des enjeux sur les indexeurs. Cependant, il introduit des consommateurs pour soumettre des ordres d'achat afin de garantir les revenus des indexeurs plutôt que de les gérer.

Il introduira des nœuds de données SubQuery prenant en charge le sharding pour éviter une synchronisation continue des nouvelles données entre chaque nœud, optimisant ainsi l'efficacité des requêtes et se dirigeant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 jeton SQT pour chaque 1000 requêtes de calcul, ou de définir des frais personnalisés pour les indexeurs via le protocole.

Bien que SubQuery n'ait lancé son jeton que plus tôt cette année, les récompenses d'émission pour les nœuds et les délégués ont également augmenté en valeur en dollars par rapport au mois précédent, ce qui indique également une augmentation continue du nombre de services de requête disponibles sur sa plateforme. Depuis le TGE, le montant total de SQT mis en jeu est passé de 6 millions à 125 millions, mettant en évidence la croissance de sa participation réseau.

Covalent

Covalent est un réseau d'indexeurs décentralisés, créant une copie des données de la blockchain de manière groupée par les nœuds du producteur d'échantillons de blocs (BSP) et publiant la preuve sur la blockchain Covalent L1. Ces données sont ensuite affinées par les nœuds producteurs de résultats de blocs (BRP) selon des règles définies, filtrant les données conformes aux exigences.

Avec une API unifiée, les développeurs peuvent facilement extraire des données pertinentes de la blockchain avec un format de demande et de réponse cohérent, sans avoir à écrire de requêtes personnalisées complexes. Les ensembles de données préconfigurés peuvent être extraits auprès des opérateurs de réseau en utilisant le jeton CQT pour le règlement sur Moonbeam.

Les récompenses de Covalent semblent augmenter globalement du premier trimestre de 23 ans au premier trimestre de 24 ans, en partie en raison de la hausse du prix du jeton Covalent CQT.

Considérations pour le choix d'un indexeur

La personnalisation des données

Certains indexeurs (comme Covalent) sont des indexeurs génériques qui ne fournissent que des ensembles de données préconfigurés via une API standard. Bien qu'ils puissent être rapides, ils ne offrent pas la flexibilité aux développeurs qui ont besoin d'ensembles de données personnalisés. En utilisant un cadre d'indexeur, il permet un traitement de données personnalisé supplémentaire pour répondre aux besoins spécifiques de l'application.

Sécurité

Les données d'indexation doivent être sécurisées, sinon les dApps construites sur la base de ces indexeurs sont également vulnérables aux attaques. Par exemple, si les transactions et les soldes de portefeuille peuvent être manipulés, la liquidité de la dApp risque de se perdre, ce qui affecte ses utilisateurs. Bien que tous les indexeurs adoptent une forme de sécurité via le staking de jetons d'indexation, d'autres solutions d'indexation peuvent utiliser des preuves pour renforcer davantage la sécurité.

Subsquid offre des options utilisant des preuves d'optimisme et de zéro connaissance, tandis que Covalent a également publié des preuves contenant des valeurs de hachage de bloc. Graph fournit un délai de contestation controversé pour les requêtes d'indexeurs de manière optimiste, tandis que SubQuery génère une preuve de Merkle Mountain pour chaque bloc afin de calculer la valeur de hachage de chaque bloc de toutes les données stockées dans sa base de données.

Vitesse et évolutivité

Avec la hausse continue de la Blockchain, le volume des transactions augmente également, ce qui rend l'indexation de grandes quantités de données plus fastidieuse car elle nécessite plus de capacité de traitement et d'espace de stockage. Avec la croissance du réseau de la Blockchain, maintenir l'efficacité devient de plus en plus difficile, mais le protocole de l'indexeur a introduit des solutions pour répondre à ces besoins croissants.

Par exemple, Subsquid stocke des données en ajoutant plus de nœuds pour permettre une expansion horizontale, et avec l'amélioration du matériel, il peut s'étendre. Graph offre des flux de données parallèles pour synchroniser les données plus rapidement, tandis que SubQuery introduit le sharding des nœuds pour accélérer le processus de synchronisation.

Réseaux pris en charge

Bien que la plupart des activités de la blockchain se déroulent toujours sur Ethereum, avec le temps, différentes blockchains deviennent de plus en plus populaires. Par exemple, les Layer 2s, Solana, la blockchain Move et la chaîne d'écosystème Bitcoin ont toutes leur propre ensemble croissant de développeurs et d'activités, ce qui nécessite également des services d'indexation.

Fournir un support pour certaines chaînes non prises en charge par d'autres protocoles d'indexation peut permettre d'obtenir une plus grande part de marché. Indexer des réseaux de données à forte intensité tels que Solana n'est pas une tâche facile, et jusqu'à présent, seuls Subsquid a réussi à leur fournir un support d'indexation.

Conclusion

Bien que les indexeurs soient largement utilisés dans le développement d'applications dApp, leur potentiel reste énorme, en particulier lorsqu'ils sont intégrés à l'IA. Avec la popularité croissante de l'IA dans Web2 et Web3, sa capacité d'amélioration dépend de l'accès aux données pertinentes pour entraîner des modèles et développer des agents d'IA. Assurer l'intégrité des données est crucial pour les applications d'IA, car cela peut empêcher les modèles de recevoir des informations biaisées ou inexactes.

Dans le domaine des solutions d'indexation, Subsquid a réalisé des progrès significatifs en termes de performances et d'indicateurs utilisateur. Les utilisateurs ont commencé à utiliser Subsquid pour construire des agents d'intelligence artificielle, démontrant la polyvalence et le potentiel de la plateforme dans le domaine en constante évolution de l'indexation des données. De plus, des outils tels que AutoAgora permettent aux indexeurs d'utiliser l'intelligence artificielle pour offrir une tarification dynamique des services de requête sur The Graph, tandis que SubQuery prend en charge plusieurs réseaux d'intelligence artificielle (comme OriginTrail et Oraichain) pour une indexation transparente des données.

L'intégration de l'intelligence artificielle et de l'indexeur devrait renforcer l'accessibilité et la disponibilité des données dans l'écosystème de la blockchain. En utilisant les technologies de l'intelligence artificielle, l'indexeur peut fournir une recherche de données plus efficace et précise, permettant aux développeurs de créer des dApp et des outils d'analyse plus complexes. Alors que l'intelligence artificielle et l'indexeur continuent de se développer conjointement, nous restons optimistes quant à l'avenir de l'indexation des données et de son rôle dans la formation d'un modèle numérique décentralisé.