A evolução do acesso a dados Web3: Análise de indexadores e projetos relacionados

Os dados são o núcleo da tecnologia blockchain e a base para o desenvolvimento de aplicações descentralizadas (dApp). Atualmente, a maioria das discussões se concentra na disponibilidade de dados (DA), ou seja, garantir que todos os participantes da rede possam acessar os dados de transação mais recentes para validação. No entanto, outro aspecto igualmente importante, mas frequentemente negligenciado, é a acessibilidade dos dados.

Na era das blockchains modularizadas, as soluções DA tornaram-se uma parte indispensável. Estas soluções garantem que todos os participantes possam aceder aos dados das transações, permitindo a validação em tempo real e mantendo a integridade da rede. No entanto, a funcionalidade da camada DA é mais semelhante a um painel publicitário do que a uma base de dados. Isso significa que os dados não serão armazenados indefinidamente, sendo eliminados com o tempo, tal como os cartazes em um painel publicitário são eventualmente substituídos por novos cartazes.

Em comparação, a acessibilidade dos dados concentra-se na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApps e para a análise de blockchain. Este aspecto é fundamental para tarefas que exigem acesso a dados passados para garantir uma representação e execução precisas. Embora haja pouca discussão sobre a acessibilidade dos dados, ela é igualmente importante como a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares, no ecossistema de blockchain, e uma abordagem abrangente de gestão de dados deve abordar essas duas questões simultaneamente para apoiar aplicações de blockchain robustas e eficientes.

A evolução da recuperação de dados em blockchain

Desde o seu surgimento, a blockchain transformou completamente a infraestrutura, impulsionando a criação de dApps em várias áreas, como jogos, finanças e redes sociais. No entanto, a construção desses dApps requer acesso a uma grande quantidade de dados da blockchain, o que é tanto difícil quanto caro.

Para os desenvolvedores de dApp, uma opção é hospedar e executar seus próprios nós RPC de arquivo. Esses nós armazenam todos os dados históricos da blockchain desde o início, permitindo acesso completo aos dados. No entanto, a manutenção de nós de arquivo é cara e a capacidade de consulta é limitada, não permitindo consultar os dados no formato necessário para os desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperação de dados desses nós é limitada, o que pode afetar o funcionamento do dApp.

Outra maneira é usar provedores de nós RPC comerciais. Esses provedores são responsáveis pelo custo e gerenciamento dos nós, fornecendo dados através de pontos finais RPC. Embora os pontos finais RPC públicos sejam gratuitos, eles têm limitações de taxa, o que pode afetar negativamente a experiência do usuário do dApp. Os pontos finais RPC privados oferecem melhor desempenho ao reduzir a congestão, mas até mesmo a simples recuperação de dados requer uma quantidade significativa de comunicação de ida e volta. Isso torna-os pesados em solicitações e ineficientes para consultas de dados complexas. Além disso, os pontos finais RPC privados geralmente são difíceis de escalar e carecem de compatibilidade entre diferentes redes.

Melhor escolha: Indexador de blockchain

Os indexadores de blockchain desempenham um papel crucial na organização de dados em cadeias e na sua transmissão para bases de dados para facilitar consultas, sendo frequentemente chamados de "motores de busca da blockchain". O seu funcionamento baseia-se na indexação dos dados da blockchain e na disponibilização dos mesmos através de uma linguagem de consulta semelhante ao SQL (usando APIs como GraphQL). Ao fornecer uma interface de consulta de dados unificada, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias utilizando uma linguagem de consulta padronizada, simplificando assim significativamente este processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nós completos: extrai dados diretamente de nós completos da blockchain, garantindo que os dados sejam completos e precisos, mas requer uma grande capacidade de armazenamento e processamento.

2. Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.

3. Indexador dedicado: otimizado para tipos específicos de dados ou blockchains específicos, como dados de NFT ou transações DeFi.

4. Indexador Agregado: Extrai dados de várias blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento, à medida que a blockchain continua a crescer, a quantidade de dados armazenados continua a aumentar. O protocolo de indexação implanta vários indexadores, que podem indexar de forma eficiente e consultar rapidamente uma grande quantidade de dados, o que não é possível com RPC.

Os indexadores também permitem consultas complexas, filtragem fácil de dados e análise posterior. Alguns indexadores podem agregar dados de várias fontes, evitando a necessidade de implantar várias APIs em um dApp multichain. Ao serem distribuídos por vários nós, os indexadores oferecem segurança e desempenho aprimorados, enquanto os provedores de RPC podem enfrentar interrupções e inatividade devido às suas características centralizadas.

Em geral, em comparação com os provedores de nós RPC, os indexadores melhoram a eficiência e a confiabilidade da recuperação de dados, ao mesmo tempo que reduzem o custo de implantação de um único nó. Isso torna o protocolo de indexador de blockchain a escolha preferida para desenvolvedores de dApp.

Cenários de aplicação do indexador

Construir um dApp requer a recuperação e leitura de dados da blockchain para que os serviços funcionem. Isso inclui vários tipos de dApps, como DeFi, plataformas NFT, jogos e até redes sociais, pois essas plataformas precisam primeiro ler os dados para executar outras transações.

DeFi

Os protocolos DeFi precisam de diferentes informações para fornecer aos usuários preços, taxas, custos, etc., específicos. O Automated Market Maker (AMM) precisa de informações de preço e liquidez do pool de liquidez para calcular a taxa de swap, enquanto o protocolo de empréstimo precisa da taxa de utilização para determinar a taxa de juros de empréstimo e a relação de dívida de liquidação. Antes de calcular a taxa executada pelo usuário, é essencial inserir as informações no dApp.

Jogo

O GameFi precisa de indexação rápida e acesso a dados para garantir uma experiência de jogo fluida para os usuários. Somente através de recuperação e execução rápida de dados, os jogos Web3 podem se igualar em desempenho aos jogos Web2, atraindo assim mais usuários. Esses jogos precisam de dados como propriedade de terrenos, saldo de tokens dentro do jogo, operações dentro do jogo, entre outros. Com o uso de indexadores, eles podem garantir melhor um fluxo de dados estável e tempo de atividade normal, assegurando uma experiência de jogo perfeita.

NFT

O mercado de NFT e as plataformas de empréstimo precisam indexar dados para acessar várias informações, como metadados de NFT, dados de propriedade e transferência, informações sobre royalties, etc. A indexação rápida desses dados pode evitar a navegação individual de cada NFT para encontrar dados de propriedade ou atributos.

Quer seja uma AMM DeFi que precisa de informações sobre preços e liquidez, ou uma aplicação SocialFi que precisa de atualizar posts de novos utilizadores, a recuperação rápida de dados é crucial para o funcionamento normal de dApps. Com a ajuda de indexadores, podem recuperar dados de forma eficiente e precisa, proporcionando uma experiência de utilizador fluida.

análise

O indexador fornece um método para extrair dados específicos dos dados brutos da blockchain (incluindo eventos de contratos inteligentes em cada bloco). Isso oferece uma oportunidade para uma análise de dados mais específica, proporcionando uma visão abrangente.

Por exemplo, um protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação e geram altas taxas, decidindo assim se devem ser listados como contratos perpétuos na plataforma. Os desenvolvedores de DEX podem criar painéis para seus produtos, obtendo uma visão detalhada sobre quais pools de liquidez têm os maiores retornos ou a maior liquidez. Também podem criar painéis públicos que permitem aos desenvolvedores consultar livremente qualquer tipo de dado e exibi-los em gráficos.

Devido à disponibilidade de vários indexadores de blockchain, é crucial identificar as diferenças entre os protocolos de indexação para garantir que os desenvolvedores escolham o indexador que melhor atende às suas necessidades.

Visão geral do indexador de blockchain

O Graph

The Graph é o primeiro protocolo de indexação lançado na Ethereum, que permite consultar facilmente dados de transações que antes eram difíceis de acessar. Ele utiliza subgrafos para definir e filtrar subconjuntos de dados coletados da blockchain, como todas as transações relacionadas ao pool USDC/ETH de uma DEX.

Usando prova de índice, os indexadores apostam o token nativo GRT para serviços de indexação e consulta, e os delegadores podem escolher apostar seus tokens aqui. Os curadores podem acessar subgráficos de alta qualidade para ajudar os indexadores a determinar quais subgráficos compilar dados para ganhar as melhores taxas de consulta. No processo de transição para uma maior descentralização, The Graph eventualmente interromperá seus serviços de hospedagem e exigirá que os subgráficos sejam atualizados para sua rede, ao mesmo tempo que fornece indexadores de atualização.

A sua infraestrutura permite que o custo médio de cada milhão de consultas seja de 40 dólares, o que é muito mais baixo do que o custo de nós auto-hospedados. Usando fontes de dados de arquivos, também suporta a indexação paralela de dados em cadeia e fora da cadeia, para uma recuperação de dados eficiente.

As recompensas dos indexadores do The Graph cresceram de forma constante nos últimos trimestres. Isso se deve em parte ao aumento no volume de consultas, mas também é atribuído ao aumento do preço dos tokens, uma vez que planejam integrar consultas assistidas por inteligência artificial no futuro.

Subsquid

Subsquid é um lago de dados descentralizado, ponto a ponto e escalável horizontalmente, que agrega de forma eficiente uma grande quantidade de dados on-chain e off-chain, e os protege através de provas de conhecimento zero. Como uma rede de trabalhadores descentralizada, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados ao identificar rapidamente os nós que armazenam os dados necessários.

O Subsquid também suporta indexação em tempo real, permitindo que seja indexado antes da confirmação final do bloco. Ele também suporta o armazenamento de dados no formato escolhido pelo desenvolvedor, facilitando a análise com ferramentas como BigQuery, Parquet ou CSV. Além disso, subgráficos podem ser implantados na rede Subsquid sem a necessidade de migração para o Squid SDK, possibilitando uma implantação sem código.

Apesar de ainda estar na fase de teste, a Subsquid já obteve estatísticas impressionantes, com mais de 80.000 usuários na rede de teste, mais de 60.000 indexadores Squid implantados e mais de 20.000 desenvolvedores verificados na rede. Recentemente, a Subsquid lançou a mainnet do seu lago de dados.

Além do índice, o lago de dados da Subsquid Network também pode substituir RPC em casos de uso como análise, co-processadores ZK/TEE, agentes de IA e Oráculos.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que oferece serviços de RPC e indexação de dados. Inicialmente, suportava as redes Polkadot e Substrate, mas agora se expandiu para incluir mais de 200 cadeias. Seu funcionamento é semelhante ao The Graph, que utiliza provas de indexação, onde os indexadores indexam dados e fornecem pedidos de consulta, e os delegadores apostam suas participações aos indexadores. No entanto, introduz consumidores para enviar ordens de compra, a fim de garantir que a receita dos indexadores esteja assegurada, em vez de depender dos gerentes.

Ele introduzirá nós de dados SubQuery que suportam sharding, a fim de evitar a sincronização constante de novos dados entre cada nó, otimizando assim a eficiência das consultas, enquanto avança para uma maior descentralização. Os usuários podem optar por pagar uma taxa de computação de cerca de 1 SQT por cada 1000 solicitações, ou definir taxas personalizadas para o indexador através do protocolo.

Embora a SubQuery tenha lançado seu token apenas no início deste ano, as recompensas de emissão para nós e delegadores também cresceram em valor em dólares, o que representa um aumento contínuo no número de serviços de consulta disponíveis em sua plataforma. Desde o TGE, a quantidade total de SQT em staking aumentou de 6 milhões para 125 milhões, destacando o crescimento da participação na sua rede.

Covalent

Covalent é uma rede de indexadores descentralizada, onde os nós da rede de produtores de amostras de bloco (BSP) criam cópias de dados de blockchain através de exportações em massa e publicam provas na blockchain Covalent L1. Esses dados são então refinados pelos nós produtores de resultados de bloco (BRP) de acordo com regras estabelecidas, filtrando os dados que atendem aos requisitos.

Através de uma API unificada, os desenvolvedores podem facilmente extrair dados relevantes da blockchain em um formato consistente de solicitação e resposta, sem a necessidade de escrever consultas complexas personalizadas para acessar os dados. Os tokens CQT, que podem ser liquidadas em uma plataforma, podem ser usados como meio de pagamento para extrair esses conjuntos de dados pré-configurados dos operadores de rede.

As recompensas da Covalent parecem estar em tendência de crescimento geral desde o primeiro trimestre de 2023 até o primeiro trimestre de 2024, em parte devido à valorização do preço do token Covalent CQT.

Considerações ao escolher um indexador

Personalização de dados

Alguns indexadores (como a Covalent) são indexadores genéricos que oferecem conjuntos de dados pré-configurados padrão apenas através da API. Embora possam ser rápidos, não oferecem flexibilidade para desenvolvedores que precisam de conjuntos de dados personalizados. Ao usar uma estrutura de indexadores, permite-se um processamento de dados mais personalizado para atender às necessidades específicas da aplicação.

seguro

Os dados de índice devem ser seguros; caso contrário, os dApps construídos com base nesses indexadores também estarão suscetíveis a ataques. Por exemplo, se as transações e os saldos de carteira puderem ser manipulados, o dApp poderá perder liquidez, afetando assim seus usuários. Embora todos os indexadores adotem alguma forma de segurança por meio da aposta de tokens de indexador.