区块链数据索引技术的演进:从节点到 AI 赋能的全链服务

1. 引言

近年来,去中心化应用(dApp)在区块链领域蓬勃发展,从早期的金融、游戏和社交应用,到如今多链生态的百花齐放。在这个过程中,dApp 所依赖的数据源头和访问方式也在不断演进。

2024年,人工智能(AI)与Web3成为热点话题。AI系统需要海量数据来不断学习和进化,就像植物需要阳光和水分才能茁壮成长。没有数据支撑,再先进的AI算法也难以发挥其应有的智能与效能。

本文将从区块链数据可访问性的角度,深入分析行业发展过程中区块链数据索引的演变历程。我们还将对比传统的数据索引协议The Graph与新兴的区块链数据服务协议Chainbase和Space and Time,探讨这些结合AI技术的新协议在数据服务与产品架构上的异同。

2. 数据索引的繁与简:从区块链节点到全链数据库

2.1 数据源头:区块链节点

区块链的基础是由众多节点组成的去中心化网络,每个节点都存储着完整的区块链数据副本。然而,对普通用户而言,自建和维护节点并非易事,不仅需要专业技能,还面临高昂的硬件和带宽成本。同时,普通节点的查询能力有限,难以满足开发人员的需求。

为解决这一问题,远程过程调用(RPC)节点提供商应运而生。这些服务商负责节点的运营和管理,通过RPC端点为用户提供数据访问服务。公共RPC端点虽然免费,但存在速率限制,可能影响dApp的用户体验。私有RPC端点虽然性能更佳,但对于复杂查询仍显效率低下,且难以跨网络扩展。尽管如此,节点提供商标准化的API接口降低了用户访问链上数据的门槛,为后续的数据解析和应用奠定了基础。

2.2 数据解析:从原型数据到可用数据

区块链节点提供的原始数据通常经过加密和编码处理,直接使用这些数据对普通用户和开发者而言难度较大。数据解析过程将复杂的原型数据转换为更易理解和操作的格式,是整个数据索引流程中的关键环节。

2.3 数据索引器的演进

随着区块链数据量激增,数据索引器的需求日益凸显。索引器能够组织链上数据并将其存入数据库,便于查询。它们通过索引区块链数据,并提供类似SQL的查询语言(如GraphQL)接口,使数据随时可用。索引器为开发人员提供了标准化的查询语言,大大简化了数据检索流程。

不同类型的索引器各有特点:

1. 完整节点索引器:直接从完整节点提取数据,确保数据完整性,但需要大量存储和处理资源。
2. 轻量级索引器:依赖完整节点按需获取特定数据,减少存储需求但可能增加查询时间。
3. 专用索引器:针对特定类型数据或区块链优化,如NFT数据或DeFi交易。
4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询界面,适用于多链dApp。

目前,以太坊档案节点在不同客户端下的存储需求从3TB到13.5TB不等,随着区块链的持续增长,这一数据量还在不断攀升。面对如此庞大的数据量,主流索引器协议不仅支持多链索引,还针对不同应用的数据需求定制了数据解析框架。

相较于传统RPC端点,索引器在数据索引和查询效率方面有显著优势。它们能够高效索引海量数据,支持复杂查询和数据过滤,并在提取后进行分析。一些索引器还支持聚合多个区块链的数据源,避免了多链dApp需要部署多个API的问题。通过分布式运行,索引器提供了更强的安全性和性能,同时降低了集中式RPC提供商可能带来的中断风险。

2.4 全链数据库:向流优先对齐

随着应用需求日益复杂化,标准化的API索引格式逐渐难以满足多样化的查询需求,如跨链访问或链下数据映射。在现代数据管道架构中,"流优先"方法成为解决传统批处理局限性的方案,实现实时数据处理和分析。

区块链数据服务提供商也正朝着构建区块链数据流的方向发展。传统索引器服务商纷纷推出了以数据流方式获取实时区块链数据的产品,如The Graph的Substreams和Goldsky的Mirror。同时,也出现了如Chainbase和SubSquid这样基于区块链生成数据流的实时数据湖服务。

这些服务旨在解决对区块链交易进行实时解析和提供更全面查询能力的需求。通过现代数据管道的视角重新定义链上数据的挑战,我们可以设想一个能够为任何业务用例量身定制高性能数据集的可能世界。

3. AI + Database? 深入对比 The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph网络通过去中心化节点网络提供多链数据索引和查询服务,便于开发者索引区块链数据并构建去中心化应用。其主要产品模式包括数据查询执行市场和数据索引缓存市场,服务于用户的产品查询需求。

子图(Subgraphs)是The Graph网络的基础数据结构,定义了如何从区块链中提取并转换数据为可查询的格式。任何人都可以创建子图,多个应用可以重复使用这些子图,提升了数据可复用性和使用效率。

The Graph网络由四个关键角色构成:索引器、策展人、委托人和开发者。索引器提供索引和查询处理服务;委托者质押代币支持索引节点运营;策展人负责信号哪些子图应该被网络索引;开发者作为需求方创建并提交子图。

The Graph的产品也在AI浪潮中迅速发展。Semiotic Labs开发的AutoAgora、Allocation Optimizer和AgentC工具分别在多个方面提升了生态系统的性能,如动态定价机制、资源优化分配和自然语言查询等。

3.2 Chainbase

Chainbase是一个全链数据网络,整合所有区块链数据到一个平台。其独特功能包括:

• 实时数据湖:提供专门用于区块链数据流的实时数据湖。
• 双链架构:基于Eigenlayer AVS构建执行层,与CometBFT共识算法形成并行双链架构。
• 创新数据格式标准:引入"manuscripts"数据格式标准,优化加密行业数据的结构化和利用。
• 加密世界模型:结合AI模型技术,打造能够理解、预测区块链交易并与之交互的AI模型。

Chainbase的AI模型Theia是其关键亮点,基于NVIDIA的DORA模型,结合链上和链下数据以及时空活动,学习并分析加密模式,通过因果推理做出响应。

3.3 Space and Time

Space and Time (SxT)致力于打造可验证的计算层,在去中心化数据仓库上扩展零知识证明。其创新技术Proof of SQL是一种零知识证明技术,确保在去中心化数据仓库上执行的SQL查询是防篡改和可验证的。

SxT与微软AI联合创新实验室合作,研发生成式AI工具,方便用户通过自然语言处理区块链数据。在Space and Time Studio中,用户可以输入自然语言查询,AI会自动转换为SQL并执行查询。

结论与展望

区块链数据索引技术从最初的节点数据源头,经过数据解析和索引器的发展,最终演进到AI赋能的全链数据服务,经历了一个逐步完善的过程。这些技术的不断演进不仅提高了数据访问的效率和准确性,还为用户带来了智能化体验。

未来,随着AI技术和零知识证明等新技术的不断发展,区块链数据服务将进一步智能化和安全化。作为基础设施,区块链数据服务将继续为行业的进步和创新提供有力支持。