0

0

Solana 联创:Solana 状态增长有何解决方案?

DDD

DDD

发布时间:2024-06-04 10:19:18

|

968人浏览过

|

来源于ChainCatcher

转载

solana 联创:solana 状态增长有何解决方案?

作者:toly,Solana 联合创始人

编译:Felix,PANews

每天大约有 100 万个新账户被添加到 Solana 中,现在的总状态已超 5 亿,而快照大小约为 70GB。随着硬件的改进,这些数字本身是完全可管理的,但是 SVM 运行时的目标是提供最便宜的硬件访问方式,为了实现这一点,必须在当前硬件限制内管理状态和内存。

PCI 带宽

截至 2024 年,最新的 PCI 带宽可以达到 0.5 Tbs 到 1 Tb 的吞吐量。或者每秒 64GB 到 128GB。虽然听起来很大,但如果一个 tx 读取 / 写入为 128MB, 128GBps 的 PCI 带宽会将链的 TPS 限制在 1000 左右。实际上,大多数 txs 访问的是最近加载并缓存到 RAM 中的内存。理想的设计应该是允许加载 1000 个具有 128MB 新状态的 txs,再加上 10k 或更多读取和写入现有缓存状态的 txs。

帐户索引

创建新帐户需要证明该帐户当前不存在。这通常是在每个验证器上自动完成,因为每个验证器都有当前所有有效帐户的完整索引。即使帐户数据不存储在本地,只存储数据的哈希,5 亿个帐户也将是 32 字节的密钥 + 32 字节的数据哈希或者每项 64 字节,即 32 GB。这已经足可以保证 RAM 和磁盘的分离。

快照大小

在某些快照大小(Snapshot Size)下,如果部分网络出现硬件故障,冷启动新系统所需的时间足以延长最坏情况的重启时间。随着带宽和硬件的改进,情况每天都在变化,而 Solana 并没有接近这个限制,但该限制在任何时间点都存在。

概要

内存和磁盘具有不同的性能特征和限制。如果 SVM 不区分,那么交易和限制就必须针对最坏的情况进行定价,进而限制了性能。在交易执行期间,所有帐户密钥至少必须可用,并且总帐户数量将影响 RAM 和磁盘 PCIi 带宽利用率。快照不能任意增大。理想的解决方案是:

  • 允许将更多不需要 PCI 资源的 txs 打包到区块中

  • 管理总索引大小和快照大小

Chilly、Avocado、LSR。糟糕的名字通常是优秀软件设计的标志。Anza 和 Firedancer 的工程师想出了以下方案。

Chilly

帐户运行时的缓存由所有实例(instances)进行确定性管理。从更高层次看,这是访问状态的 LRU 缓存。在区块构建和调度期间,该实现(implementation)可以很容易检查帐户,不需要锁定或迭代 LRU 缓存。缓存是用一个非常简单的计数器机制实现。

  • 总加载字节被跟踪为 Bank::loaded_bytes:u64

  • 每个帐户在使用时都用当前运行总数 account::load_counter:u64 进行标记

  • 加载帐户时,如果 Bank::loaded_bytes - Account::load_counter > CACHE_SIZE,则帐户被认为是冷帐户,其大小是根据每个区块的 LOAD_LIMIT 计算

  • 新帐户 load_counter 为 0,因此所有新帐户都是冷帐户

  • Leader 的调度程序将 LOAD_LIMIT 作为一个水印,类似于写锁 CU 限制。

这种设计的绝妙之处在于,它很自然地适合当前的调度程序。用户只需要担心他们的优先费。调度程序必须处理将所有低于 LOAD_LIMIT 和帐户写锁限制的 tx 放入背包问题。最高优先级的 tx 可以首先加载并使用 LOAD_LIMIT。一旦达到这个限制,所有其他 tx 仍然可以放入一个区块中。因此,验证器可以最大化缓解 txs 的缓存局部性。

Avocado

Avacado 由两部分组成,状态压缩和索引压缩。首先用哈希替换帐户数据,然后将帐户索引迁移到 Binary Trie / patricia Trie。新帐户必须提供证明,证明他们不在「trie」中。

状态压缩

大致设计如下:

  • 在分配期间,每个帐户每字节绑定 X 个 lamports。

  • 如果 X

  • 压缩是一个多步骤的过程,运行在一个 epoch 上

  • 帐户数据被替换为哈希值(data)

  • 帐户密钥仍处于状态之中

  • 引用压缩帐户的交易失败

  • 解压需要上传类似于加载程序的数据

  • 解压的成本应该与分配一个新帐户的成本相同

估计 75% 的账户在超过 6 个月的时间里没有被访问,而且很可能永远不会被访问。压缩它们可以节省 50% 的快照大小。

索引压缩

这是一个更难解决的问题。仅通过状态压缩,验证器仍然拥有系统中所有可能的有效帐户。创建新帐户需要检查此数据库。验证器存储此数据库的成本很高,但用户创建新帐户的成本很低。要保证新私钥不会与现有帐户发生任何冲突。

Binary Trie mining

  • Binary Trie 作为快照的一部分被跟踪

  • 想要获得额外 sol 的验证者可以创建一个交易,从状态中删除压缩的帐户 kv 对,并将它们添加到 Binary Trie 中

  • 用户可以在解压过程中将 kv 从 Trie 中移除,从而在不被允许的情况下反向执行此操作(这可能需要在解压时进行原子操作,以便在后台服务压缩帐户时更容易)。

  • 对于验证器,无论它包含多少 kv 对,Trie 根的大小都是恒定的

  • 使用 zkp,每个 tx 可以压缩约 30 个帐户

  • 假设每个区块只有一个,那么压缩 5 亿个账户需要大约 80 天的时间

这个过程的关键之处在于,执行此操作的验证者将获得奖励,但并不是所有验证者都必须执行此操作。如果所有验证器都必须执行此操作,那么所有验证器都必须维护当前 Binary Trie 中的内容,这意味着整个状态必须是快照的一部分。想要维护整个状态的验证器应该提交一个交易,将索引中的 N 个帐户压缩到 Trie 中。

新帐户证明

要创建一个新帐户,用户必须证明该帐户在 Trie 中不存在。维护整个状态的验证器可以生成帐户不在 Trie 中的证明。这给用户带来了负担,他们必须始终与大型状态提供者连接以生成这些证明。

或者,用户可以证明他们的帐户是用最近的 PoH 哈希创建的。支持这一点的最简单的方法是:

  • 生成新的 PKI

  • 帐户地址是哈希(最近的 PoH 哈希,PKI::public_key)

鉴于 Trie 中的帐户必须首先进行状态压缩,这需要一个完整的 epoch。Trie 中的任何帐户都不可能使用最近的 PoH 哈希来生成地址。

其他可以支持的方法是 PKI 创建本身可以提供一个证明,证明私钥是用哈希(用户隐藏的秘密,最近的 PoH 哈希)创建的。

LSR

Lightweight Simple Rent,又称 Less Stupid Rent。如何为分配新帐户的成本定价,以及如何确保旧的废弃账户最终得到压缩,并减少系统的整体负载和新用户的价格?

需要恢复租金(Rent)制度。Rent 是指当前状态下的账户应该支付 X 美元 / 字节 / 天的费用,就像 AWS 上的账户支付存储费用一样。

Rent Rate bonding curve

RentRate = K*(state_size)^N

无论当前状态大小如何,如果很小,费率应该很低,如果接近快照限制,费率应该非常高。

Allocation Minimum Bonding Price

账户必须至少存在一个 epoch。分配需要将帐户带入 Hot 状态。热帐户应该在缓存期间存在。

New Account bond = Epoch Slots * RentRate * Account::size

新账户的余额中必须至少有这么多的 lamports 才能创建。

Hot Account Burn

lruturnverrate = 每个帐户在 LRU 缓存中平均占用的时间,最大值为 1 epoch。这个值可以是一个常数,也可以在链下计算,并作为中位数权益加权常数报告给 SVM。

压缩

当(current slot - account::creation_slot) * RentRate * account::size > account::lamports 时,压缩帐户并烧毁所有 lamports。

上述解决方案,应该会让 State 很便宜,因为随着时间的推移,未使用的帐户最终会达到 lamports 0,并将被压缩。所以数据开销会减少,甚至索引开销也会减少,这将减少当前状态的大小。减少状态的大小将降低超二次分配的成本。

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Sass和less的区别
Sass和less的区别

Sass和less的区别有语法差异、变量和混合器的定义方式、导入方式、运算符的支持、扩展性等。本专题为大家提供Sass和less相关的文章、下载、课程内容,供大家免费下载体验。

204

2023.10.12

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

360

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2083

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

349

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

256

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

326

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

413

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

411

2023.10.16

C++ 设计模式与软件架构
C++ 设计模式与软件架构

本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

14

2026.01.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号