Arweave技术原理及与Filecoin的异同

本篇文章内容来源于youtube视频的音频字幕https://www.youtube.com/watch?v=o3EsHNROJPg，博客内容Arweave—不仅仅是存储这么简单 — W3.Hitchhiker (mirror.xyz)和Arweave核心原理 (notion.site)，以及Arweave官网的轻量级白皮书、黄皮书的部分章节，内容文字经过一定的修改，读起来会更加流畅，文章末尾有个人的一些看法。如有侵权，请联系本人进行删除。

目前来看，去中心化存储（Decentralized Storage）的解决方案可以分成三类，分别是：

数据分散在多个节点中，每个节点只保存一小部分，不采用区块链技术；

数据分散在多个节点中，每个节点只保存一小部分，同时采用区块链技术存储数据的哈希；

数据分散在多个区块链节点中，数据存储在区块链的区块体中。

• 只采用P2P网络实现数据之间的传送，网络中各个节点只保存一部分数据，某份数据在网络中可能只有1个节点保存，也可能有多个节点都保存，数据的组织形式并不采用区块链的形式
  • 例子：IPFS
  • 优点：数据检索（retrieve）快
  • 缺点：没有激励，数据持久性差
• 采用某种去中心化存储（也可以采用中心化的存储）进行链下的数据存储，区块链上只存储数据的一个哈希值，作为数据的证明
  • Filecoin
  • 优点：有存储激励，数据持久性好
  • 缺点：冷存储，数据检索慢
• 直接采用区块链形式进行数据的存储，区块链中每个区块可以分为区块头和区块体，区块体含有多个tx，可以利用tx进行存储
  • 在比特币、以太坊链上存数据
  • 优点：每个节点存一份，数据持久性好；交易在节点间同步，数据检索快
  • 缺点：每个节点存一份，存储代价大；tx size大，同步时间长
  • 因此：通过block size limit、tx size limit、fee等多种手段限制用链存数据；否则影响链的同步，容易造成孤块和分叉

Arweave将自己描述为一种新颖的数据存储区块链协议，可实现永久网络并首次创建真正的永久数据。当 Arweave 的创始人分析互联网数据的当前状态时，很明显互联网并不是一个很好的数据存储库。互联网实际上每20年就会丢失 95% 以上的网络信息。
因此Arweave 着手解决的主要问题是如何长期可靠地存储数据。他们的愿景是成为一座新的亚历山大图书馆一座古老的图书馆，旨在成为世界知识的普遍宝库。
当 Arweave 着手解决长期数据存储的问题时，他们对当前的区块链技术进行了创新，并为人们永久存储数据开发了独特的激励系统。
Arweave 没有制作区块链，而是制作了一个 blockweave。类似于机织织物由多股线连接在一起的方式，块状织物由整个数据存储中的多个链接连接在一起。例如将新数据添加到 blockweave 的唯一方法是服务器是否可以调用已经在 blockweave 上的随机选择的文件（或文件组）。只有那些可以调用这个先前随机块的服务器才能存储任何新数据。数据存储的这种创新以及对矿工（存储数据的人）的一些新的经济激励为数据的长期保存创造了条件。
blockweave 的到来也解锁了数据存储的几个新功能。首先它使数据既不可更改又无法删除。如果文件副本在全球各地的服务器上被无数次复制，那么几乎不可能更改已上传到永久网络的任何文件。
其次存储数据的付款不再需要按月支付。取而代之的是permaweb 以一次付费的方式工作。数据永久性的发明也让 Arweave 能够让其他人建立一个永久性应用生态系统，可以在 Arweave 协议之上解决创新问题。现在我们已经了解了 Filecoin和Arweave，让我们先看看两者之间的相似之处，然后再仔细研究它们的不同之处。

Arweave的4项核心技术

Arweave以四项核心技术为基础，在新型区块链上实现低成本、高通量、永久存储。这些创新包括：

• Blockweave
• 访问证明
• Wildfire
• Blockshadows

虽然这些技术交织在一起，但每一种技术都在创建一种适合快速交易和低成本永久存储的新型网络方面发挥着关键作用。

Blockweave

大多数区块链的一个众所周知的特性是每个区块必须作为“完整节点”参与验证交易。Arweave的情况并非如此。
相反，Arweave引入了两个新概念，允许节点在不拥有整个链的情况下实现关键的网络功能。第一个概念是区块哈希列表，它是所有之前区块的哈希列表。这允许验证旧块，并有效地评估潜在的新块。第二个概念是钱包列表（wallet list），它是系统中所有活跃钱包的列表。这允许在不拥有上一次交易使用的区块的情况下进行交易验证。使用这些由网络同步并可供矿工下载的区块哈希列表和钱包列表，节点能够加入网络并几乎立即参与到weave的挖掘中。

此外，Arweave使用“持续验证”系统，而不是让每个矿工在加入网络时验证从初始区块到当前区块的整个区块结构。当矿工加入Arweave网络时，他们将下载当前区块并从当前区块检索区块哈希和钱包列表。由于这些区块哈希和钱包列表已经通过每个区块的持续进展进行了不断的验证，新矿工可以立即开始参与，而无需验证整个编织。当然，任何希望执行Full weave验证的节点都可以使用它。通过这种方式，矿工不需要找到与钱包关联的以前的交易来验证新交易。相反，挖矿者只需要验证交易是否被钱包所有者的私钥正确签名。为了防止召回区块伪造攻击，区块哈希列表的哈希随每个新区块一起分发。

图1：blockweave数据结构的示意图，展示了到前一个块和召回块的链接。

访问证明

Arweaves共识机制基于访问证明（proof of access, PoA）和工作量证明（proof of work, PoW）。虽然典型的PoW系统仅依赖于前一个块来生成每个连续的块，但PoA算法合并了随机选择的前一个块的数据。结合blockweave数据结构，矿工不需要存储所有的区块（形成一个区块链），而是可以存储任何以前的区块，在PoA和wildfire的激励下，形成一个区块组织，一个区块组织。通过计算当前块的哈希值并计算其相对于当前块高度的模，选择要合并到下一个块中的“召回块”。
召回块中的交易与当前块中的交易一起哈希，以便生成下一个块。当矿工找到适当的哈希时，他们将新块与召回块一起分发给网络的其他成员。这允许网络的其他成员，即使是那些没有自己的召回块副本的成员，独立地验证新块是否有效。

Wildfire

作为一个数据存储系统，Arweave不仅需要能够存储大量的信息，还需要以最方便的方式提供对这些数据的访问。此外，Arweave系统的一个重要组成部分是在请求时免费访问数据。随后，Arweave又增加了一层激励机制，鼓励矿工自由分享数据。
Wildfire是一种解决去中心化网络中数据共享问题的系统，它将快速完成网络上的数据请求作为参与的必要部分。Wildfire的工作原理是在每个节点本地创建一个排名系统，根据节点响应请求和接受其他节点数据的速度，确定新区块和交易分发到节点的速度。节点按照其等级的顺序被服务，表现不佳的节点被完全从网络中列入黑名单。同行会受到经济激励，在彼此的排名中保持良好位置，这样他们就可以花最多的时间高效地挖掘。

图2：Wildfire系统示意图。每个节点根据节点之前对自己的表现有多好对其进行排名。

这强烈地鼓励系统中的节点以尽可能友好的方式对待其他节点，而不影响接收数据的节点，即使是那些可能只发出一次请求的节点。甚至，它创建了一个网络拓扑，以适应全球分布的最有效路由，因为允许在系统周围快速传输新数据的连接是首选。在实践中，Wildfire机制构建的网络拓扑映射了互联网的底层物理连接基础，并适应其架构随时间的变化。总的来说，wildfire系统确保了新块的高速分布，并以较短的延迟保持数据可用性。

Blockshadows

在传统的区块链系统中，当挖掘到一个新区块时，不管一个节点已经拥有多少区块数据，整个区块都会分配给网络中的每个节点。这不仅是对数据的巨大浪费，而且会显著降低网络就某个区块达成共识的速度。因此，Arweave引入了一种新技术——blockshadows，它不仅可以最大限度地减少数据浪费，还可以实现快速的区块共识和大规模的交易吞吐量。
Blockshadowing的工作原理是将交易部分地从区块中解耦，并且只在节点之间发送允许节点重构整个区块的最小区块“影子”，而不是传输整个区块本身。这些区块影子具体包含钱包列表和哈希列表的哈希，并且只包含交易哈希列表，而不是区块内的交易。根据这些信息（可能只有几千字节），一个已经持有区块内所有交易以及最新的哈希和钱包列表的节点可以重建几乎任意大小的整个区块。为了实现这一点，节点也将立即彼此共享交易，但只有当它们高度确定网络中的其他节点也有交易时，才试图在区块内放置交易。
这种区块跟踪系统的结果是一个快速灵活的区块分发系统，允许交易以尽可能快的速度在网络上进行处理，并以接近网络的速度实现对区块的共识。此外，当网络使用率很高时，该系统可以确保交易费用不会大幅增加，而在乐观的100mbps网络上，交易吞吐量的理论上限约为每秒5000笔交易。

民主内容的政策

为了支持网络中个人参与者控制他们存储内容的自由，并允许网络作为一个整体民主地拒绝被广泛谴责的内容，Arweave软件提供了一个黑名单系统。每个节点维护一个（可选的）黑名单，其中包含它不希望存储的某些数据的散列值或子字符串，也永远不会将与之匹配的内容写入磁盘。这些黑名单可以由个人或协作建立，也可以从其他来源导入。
在本地级别，这些黑名单允许节点控制自己的内容，但这些本地拒绝的总和也会产生网络范围的内容拒绝。被超过一半的网络拒绝的内容不仅会被这些单独的节点拒绝，而且会被更广泛的网络作为一个整体拒绝。这创建了一个民主的网络内容拒绝系统，可以将各种文化和观点的黑名单合并为一个微小的、特定的黑名单内容，而这些内容是普遍被辱骂的。这一近乎普遍的民主黑名单保护了网络免受少数演员的外部审查，同时仍允许它以民主方式保护自己的自由。

Arweave和Filecoin的异同

Arweave和Filecoin相同之处

Arweave和Filecoin 之间的主要相似之处在于它们都是在去中心化系统上使用区块链技术的存储设备。如果我用手机拍一张数码照片，我有很多不同的选择来存储它。Arweave和Filecoin都可以用来存储我的文件。
Arweave和Filecoin 也是去中心化的，这意味着没有总部控制他们的服务器。相反服务器由世界各地的个人（称为矿工）控制，他们将收费存储数据。矿工受一套预先制定的规则的约束。如果区块链网络运行正常，它将随着时间的推移而建立起来，包括成千上万的矿工他们在彼此之间共享和复制数据。
最后Arweave和Filecoin 都有自己的数字货币形式，作为支付数据上传到各自网络的一种方式。Arweave使用AR代币而Filecoin使用FIL代币。

Arweave和Filecoin不同之处

尽管 Arweave和Filecoin 之间有很多相似之处，但 Arweave 的创始人 Sam Williams 会说他们从根本上做了不同的事情，Arweave 在允许永久数据存储方面实现了从零到一的改变。通过可持续的捐赠结构支持数据存储，由协议而不是公司裁决，它使得以一次性费用永久存储数据成为可能。
而Filecoin 提供的服务与其他提供商基本相同，按月收费的数据存储。主要区别在于 Filecoin 在幕后使用了一种不同且可能更具成本效益的方法来提供这种临时存储。
Arweave 正在为市场提供一项全新的服务，通过一次性付款方式长期存储数据，同时允许在其上构建新型永久应用程序。如果你查看放置在两个网络中的一段数据，则 Filecoin 中没有内在的内容来保证其永久性。如果你的 Filecoin 账单未支付则你的数据将被删除。相比之下Arweave 旨在确保数据的永久性，矿工必须参考以前存储的数据，证明他们仍然拥有这些数据。
这似乎只是一个很小的差异，但是当大门在小铰链上摆动时，这个看似很小的差异却带来了巨大的可能性。Arweave 向前发展的根本区别和最大潜力在于，他们正在其协议之上构建一个新的永久应用程序生态系统。
这是 Arweave 未来的主要重点，孵化越来越多的与其协议交互的永久性 Web 应用程序。这些永久应用程序的潜在能力对开发人员和用户来说都是一个游戏规则改变者。
Arweave 将这些永久性 Web 应用程序称为利润分享应用程序，因为它们具有与 Arweave 本身相同的属性，它们是永久性的且是基于代币及由社区治理的，并具有符合开发人员和用户而非企业的经济激励。与合作社类似这些利润分享社区目的是在应用程序的开发者和用户以及代币持有者之间“分享”利润。利润共享社区改变了应用程序的激励结构，以在开发人员和用户之间建立更好的联盟，并允许双方更充分地参与应用程序的成功。
Filecoin 要想在云存储市场上取得成功，就需要能够在价格上竞争。他们的主要竞争对手是亚马逊和阿里巴巴等现有科技巨头。由于其网络的安全性和去中心化性质，他们可能能够收取溢价，但他们需要与世界巨头进行价格竞争才能长期生存。这对 Filecoin 来说并不容易，因为大型中心化公司在规模经济方面具有竞争优势，可以随着时间的推移不断降低价格。
如果你希望将数据保留更短的时间并且可以按月付费，那么 Filecoin 可能是适合你的服务。Arweave 希望为长期永久存储打造一个新市场。在商业中最难做的事情之一就是将产品创新到从未开发过的市场。Arweave 有许多早期采用者，他们看到了永久存储的价值和用例。Arweave 的一些最大的早期采用者是其他区块链（如Solana），他们希望确保自己的区块链数据永久保存。
但大多数人甚至不知道永久数据是一种选择。大规模采用将需要更高的意识和公众发现以及开发人员教育。当普通大众看到 Arweave 解决了其他任何方式都无法解决的问题时，他们就会开始关心 Arweave。需要永久保存合同的律师，想要存档独一无二的文件的历史学家，希望确保他们的工作能传到子孙后代。
长期数据存储是一个新的且令人兴奋的及有时令人困惑的概念。而且它确实还处于起步阶段。随着这种与数据的新型关系成为可能，未来几年它在市场上的表现将会令人着迷。
视频最后我想说尽管两者都有明显的相似之处，因为它们都是建立在去中心化区块链技术上的存储解决方案，但最公平的说法是它们都试图解决根本不同的问题。
Filecoin 正在寻求通过提供比亚马逊或阿里巴巴更好的低成本分散式临时存储解决方案来分割当前的存储市场。Arweave 正在寻求为长期数据存储提供解决方案，并在此基础上构建新的永久应用程序浪潮。

一些个人观点

1. Arweave 和Filecoin是两个不同的发展方向，一个是一次性付费的永久存储，一个是颠覆中心化存储而产生的。
2. Arweave作为存储赛道中的潜力项目备受关注，因其一次付费的永久存储的特点，能够充分满足DeFi、NFT的发展需求；
3. 除此之外，Arweave还设立了激励机制，允许开发者在Arweave上构建应用程序，打造出一个Web3.0应用生态系统。
4. 随着Web 3.0时代的来临，全球的数字化程度不断提高，数据信息也随之爆发式增长，主打永久存储的Arweave，在数据存储界的影响力将远远大于Filecoin。