以太坊奇偶节点全量数据1.9TB获取机制

以太坊奇偶节点全量数据1.9TB获取机制

以太坊全节点中有大量​​的数据，不仅包括区块数据、交易数据，还包括日志数据。 日志数据是解析ERC20代币等智能合约数据的关键数据。 截至 2019 年 2 月，使用 parity 程序的以太坊总数据已超过 1.9T。 由于网络等各种原因，下载这么大的数据难度很大。 笔者使用阿里云连续下载了3个月左右才基本赶上最新进度。

图1数据已同步至2019年2月15日

数据已同步至2019年2月15日

图2 总数据约1.9T

所有数据约1.9T

考虑到不同的需求，给出了几种获取以太坊数据的方法。

第一：基于区块链浏览器API。 etherscan等以太坊浏览器提供API接口以太坊api文档，可以查询区块、交易等基本信息。 包括ERC20等典型代币的交易信息。 这种方法使用简单，投资最少。 但是性能受限于API提供者，数据类型也受限。 这种方法适用于小规模实验和验证程序。

第二：基于infura服务。 Infura 是一家专门提供以太坊数据的服务商。 它提供了功能丰富、功能强大的以太坊接口以太坊api文档，查询数据类型非常全面。 与区块链浏览器的API相比，这种方式投入更少，但性能也受到API提供商的限制，可以通过付费提高性能。 这种方式适用于小型系统的数据同步机制。

第三：基于自营数据库的以太坊数据基础设施。 通过在本地运行以太坊节点获取所有以太坊数据。 然后自己解析原始数据，得到需要的数据格式。 这种方式成本最高（节点维护成本、解析程序成本），但扩展性最强，可以按需实现各类数据服务。 这种方式适用于数据类型和性能要求高的系统。