赤峰网站建设red,兴义市建设局网站,摄影协会网站源码,网络营销案例论文阿里妹导读#xff1a;在刚刚结束的乌镇世界互联网大会上#xff0c;阿里云自主研发的POLARDB云原生数据库当选世界互联网领先科技成果#xff0c;凭实力站上C位。这个”包管“了北京市每天800万人次的公交出行的下一代分布式数据库到底有多强大#xff1f;我们请阿里云智能… 阿里妹导读在刚刚结束的乌镇世界互联网大会上阿里云自主研发的POLARDB云原生数据库当选世界互联网领先科技成果凭实力站上C位。这个”包管“了北京市每天800万人次的公交出行的下一代分布式数据库到底有多强大我们请阿里云智能数据库事业部总经理鸣嵩跟大家一起聊聊。
POLARDB 是阿里云自主研发的下一代云原生分布式数据库。POLARDB 100%兼容MySQL、PostgreSQL等开源数据库高度兼容Oracle语法使用RDS服务的客户不需要修改应用代码可以一键迁移到POLARDB体验更大的容量更高的性能更低的成本和更灵活的弹性。目前POLARDB是阿里云增速最快的数据库产品广泛应用于互联网金融、政府便民工程、新零售、教育、游戏、社交直播等行业。
作为基于计算与存储分离架构的新一代云原生数据库POLARDB的计算节点里主要实现了 SQL 解析和优化、以及查询并行执行与无锁高性能事务处理计算节点之间通过高吞吐的物理复制协议同步内存状态。而存储层基于分布式文件系统PolarFS通过ParallelRaft共识算法实现多数据副本间的强一致性在存储层进行存储引擎的多版本页管理来支持全集群跨计算节点的Snapshot Isolation隔离级别。
基于计算与存储分离的先进架构
计算节点与存储节点之间通过理解数据库语义的智能互联协议将filter和projection等算子从计算层下推到存储层执行。为了保证事务和查询语句的低延迟同时降低计算节点之间状态同步的延迟计算节点和存储节点之间使用25Gb高速RDMA网络互联采用Bypasskernel的用户态网络协议层进行通讯。基于计算与存储分离的先进架构POLARDB可以从1个计算节点2个CPU核弹性伸缩到16个计算节点最高达到1000核的事务扩展能力单实例存储容量从10GB按使用量弹性扩展到100TB。 计算节点与存储节点分离的架构设计给POLARDB带来了实时的水平扩展能力。由于单个数据库实例的计算能力有限传统的做法是通过搭建多个数据库副本来分担压力从而提供数据库Scale out 的扩展能力。然而这种做法需要存储多份全量数据并且频繁同步日志数据造成了过高的网络开销。此外在传统数据库集群上增加副本需要同步所有增量数据这带来了同步延迟上涨的问题。
POLARDB 将数据库文件以及Redo log 等日志文件存放在共享存储设备上确保主实例和所有副本共享同一份全量数据和增量日志数据。节点间只需要同步内存里的元数据信息通过MVCC机制的保证就能支持跨节点读取数据的一致性非常巧妙地解决了主实例和副本之间的数据同步问题大大节约了跨节点的网络开销降低副本间的同步延迟。
提升事务性能 POLARDB内核层面优化揭秘
为了提高事务性能POLARDB 在内核层面进行了大量优化。把一系列性能瓶颈用无锁lockless算法以及各种并行优化算法进行改造减少甚至消除各种锁之间的相互冲突大大增加了系统的scalability 能力。同时我们依托处理双十一这种大规模高并发场景下的经验, 在 POLARDB 上实现了对库存等热点数据进行优化的功能。对于简单重复的查询POLARDB支持直接从存储引擎获取结果从而减少了优化器及执行器的开销。
此外进一步优化已经高效的物理复制。比如我们在重做日志加了一些元数据以减少日志解析CPU开销. 这个简单优化减少了了60%日志解析时间。我们也重用 一些数据结构以减少内存分配器的开销。 POLARDB运动了一系列算法来优化日志应用比如只有在buffer pool中的数据页面 才需要日志应用。同时我们也优化了了page cleaner and double write buffer大大减少这些工作的成本. 这一系列优化使得在性能上 POLARDB 远超 MySQL 在sysbencholtp_insert等大量并发写入的基准评测中达到最高6倍于MySQL 的性能。
支持并行查询Parallel Query
为了提高子查询和join等复杂查询例如TPC-H基准评测的能力POLARDB的查询处理器支持并行查询parallel query可以将一个查询同时在多个或所有可用CPU核上进行执行。并行查询能够将一个查询任务当前只支持SELECT语句划分为多个子任务多个子任务可以并行进行处理整体采用Leader-Worker的并发模型。Leader线程负责生成并行查询计划协调并行执行过程的其他组件并行执行计划会包括并行扫描、多表并行连接、并行排序、并行分组、并行聚集等子动作。
Message queue是leader线程和worker线程的通讯层worker线程通过message queue向leader线程发送数据而leader线程也会通过message queue向worker线程发送控制信息。Worker线程负责真正的执行任务。Leader线程解析查询语句生成并行计划然后同时启动多个worker线程进行并行任务处理为了高效的执行查询Worker上的执行不需要进行再次优化而是直接从Leader上来拷贝生成好的计划分片。这需要实现执行计划树上所有节点的拷贝。worker线程在进行扫描聚集排序等操作后将中间结果集返回给leaderleader负责收集来自worker的所有数据集然后进行适当的二次处理比如merge sort二次group by 等操作最后将最终结果返回给客户端。 Parallel Scan层会结合存储引擎的数据结构特征来实现工作负载的均衡。如何将扫描数据划分成多个分区使得所有的工作线程尽可能的均匀的工作是数据分区划分的目标。在以B树作为存储结构的存储引擎里划分分区的时候是先从根上来划分如果根上不能划分出足够多的分区 并行度将会继续从下一层进行划分。而如果我们需要6个分区的话根节点最多分出4个分区所以就需要继续搜索下一层来进行分区。以此类推。在实际实现并行查询的过程中为了能让多个工作线程更加均匀的分配扫描段会在B树里尽可能的多划分分区这样如果某个工作线程由于过滤性比较高会优先完成当前分区那么它会自动attach下一个分区继续执行通过自动attach的方式来实现所有线程的负载均衡。 新一代基于代价的优化器
云上客户的业务是多样化的如果执行计划选错会导致慢查询。为了系统性地解决这些问题POLARDB推出了新一代的基于代价的优化器。POLARDB里实现新的直方图Compressed Histogram对高频率数据进行自动探测并构建精确描述在选择率计算时考虑数据频率和取值空间解决实际应用中普遍存在的数据倾斜场景。
POLARDB大量基于改良的直方图进行代价估算比如估算表和表join的结果大小是join代价和join order优化的决定性因素MySQL只能根据经验公式粗略的估算无论是有索引时的rows_per_key,还是无索引时的默认参数值估算的误差都较大这些误差会在多表连接的过程中不断放大导致生成效率低下的执行计划。
在POLARDB中使用直方图对重合部分进行合并计算并根据不同的直方图类型适配不同的estimation算法大大提高了估算精度帮助优化器做出更优的join order选择。在随机生成的正态分布数据测试中多表联合查询优化后可提速2.4-12倍TPC-H测试中多个查询的join order发生变化性能提升77%-332%。POLARDB也使用直方图优化了record_in_range的逻辑MySQL对于有索引的过滤条件采用index dive来估算区间的记录数这个操作在OLTP短查询中CPU占比较高。在使用基于直方图估算替换index dive后在淘宝电商核心业务中绝大多数的查询查询响应时间减少一半。 自研分布式文件系统PolarFS高可靠、高可用、与数据库协同设计
POLARDB的存储层采用的是阿里云自主研制的分布式文件系统PolarFS。PolarFS是国内首款面向DB应用设计的采用了全用户空间I/O栈的低延迟高性能分布式存储系统参见VLDB 2018 上的文章 PolarFS: An Ultra-low Latency and Failure Resilient Distributed FileSystem for Shared Storage Cloud Database其具备与本地SSD硬盘架构相当的低延迟高性能I/O能力同时也以分布式集群的方式提供了优异的存储容量与存储性能的扩展能力。
而PolarFS作为一款与POLARDB深度协同的存储基础设施其最核心的竞争力不仅体现在性能和扩展性方面更深层次的则是在面临有许多挑战性的POLARDB客户业务需求和规模化的公有云研发运维过程中而长期积累形成的一系列高可靠、高可用、与数据库协同设计的存储技术。
为了支持POLARDB在多个计算节点之间分发查询且保持全局的Snapshot Isolation语义PolarFS支持存储POLARDB存储引擎B树动态生成的多版本Multi-version page。为了减少读写冲突现代数据库一般都通过以MVCC并发控制为框架来提供RC、SI、SSI等不同的事务隔离级别在MVCC机制下B树的每个页面会动态维护一系列的版本并发执行中的多个事务允许各自访问一个页面的不同版本。
在POLARDB集群里由于跨节点复制同步延迟的存在每个计算节点B树的页面可能是不同版本的这时多版本存储可以为各节点提供其所对应版本。在POLARDB中计算节点向PolarFS写入一个页面的同时要提供该数据页的版本信息LSNPolarFS不仅存储数据页的同时还要存储数据版本元信息计算节点读取数据页时也会提供版本信息从存储获取相应的数据页历史版本。POLARDB数据库层定期会将集群所有计算节点版本号的低水位线发送给PolarFSPolarFS会基于此版本号清理不再使用的历史版本。 保证数据可靠性是POLARDB所有设计的底线。在实际的分布式系统中硬盘、网络与内存等硬件、固件或软件的bug等问题可能会造成数据错误从而给数据可靠性保障带来各种挑战。存储端的可靠性问题来自静默错误lost write、misdirected writeblock corruption等网络和内存主要来自于比特反转和软件bug。为了保证在各种异常情况包括硬件故障软件故障人工操作故障发生时的数据可靠性POLARDB和PolarFS 提供了端到端全链路数据校验保障。
在数据写入时POLARDB 从计算节点的存储引擎开始一直到PolarFS存储节点的数据落盘经过的中间链路都会对数据的正确性做校验防止异常数据写入。在数据读取时PolarFS和POLARDB存储引擎都会对读取到的数据做checksum校验准确地识别磁盘静默错误的发生防止静默错误扩散。在业务流量低峰时还会在后台持续性的做数据一致性扫描用于检查单副本数据的checksum是否正确以及各个副本间的数据是否一致。数据迁移过程中的正确校验性也非常重要POLARDB在执行任何形式的数据迁移动作时除了副本自身数据的 checksum 校验还会对多个副本数据的一致性做校验当这两个校验都通过才会将数据迁移到目标端最大限度的防止由于迁移动作导致单副本上的数据错误扩散避免数据损坏问题。
PolarFS还支持对POLARDB做快速的物理快照备份与还原。快照是一种流行的基于存储系统的备份方案。其本质是采用Redirect-On-Write 的机制通过记录块设备的元数据变化对于发生写操作的存储卷进行写时复制将写操作内容改动到新复制出的存储卷上来实现恢复到快照时间点的数据的目的。快照是一个典型的基于时间以及写负载模型的后置处理机制。也就是说创建快照时并没有备份数据而是把备份数据的负载均分到创建 快照之后的实际数据写发生的时间窗口以此实现备份、恢复的快速响应。POLARDB通过底层存储系统的快照机制以及Redo log增量备份在按时间点恢复用户数据的功能上比传统的全量数据结合逻辑日志增量数据的恢复方式更加高效。
高度兼容Oracle语法 成本是商业数据库的1/10
除了100%兼容MySQL和PostgreSQL这两个最流行的开源数据库生态 POLARDB还高度兼容Oracle语法为传统企业上云提供成本是商业数据库1/10的方案。通过用DMS替换Oracle的GUI管理工具OEM以及用POLARDBPlus替换命令行工具SQL Plus沿袭了OracleDBA的使用习惯客户端SDK可以从OCI和O-JDBC Driver替换成libpq和JDBC Driver只需要做so和jar包的替换程序主体代码不需要修改对Oracle的SQL普通DML语法都能支持对几乎所有高级语法如connect by、pivot、listagg等也都全面支持对PL/SQL存储过程、以及存储过程用到的内置函数库也能做到全面覆盖支持对一些高级功能如安全管理、AWR等提供完全相同的格式布局和操作语法所以综合看来POLARDB对Oracle的操作方法、使用习惯、生态工具、SQL语法、格式布局等都做到了全面的兼容和替换结合迁移评估工具ADAM应用可以做到少量改动甚至无改动。
提前看更多新技术和企业级特性即将上线
除了上面介绍的技术POLARDB还有大量新技术和企业级特性在2019下半年陆续发布这些技术会全面提升POLARDB的可用性、性能降低POLARDB的使用成本
1从弹性存储到弹性内存热缓冲池warm buffer pool技术
POLARDB即将支持和计算节点进程解构的“热”缓冲池这将大大减少用户业务在计算节点重启时受到的影响。在进行机型替换规格升降级的时候serverless对业务的影响更小。同时一个独立的内存也使得其动态按需扩展或收缩成为可能。
2 性能数倍增长更好的DDL支持FAST DDL
POLARDB即将支持并行DDL这将大大缩短表级别的DDL延迟。这个功能把并行化做到极致可以把建索引等DDL的时间减少近10倍。同时POLARDB还进行了大量的DDL复制层面的优化这使得DDL可以进行跨区域的大批量复制速度更加迅速资源的消耗更少。
3 支持跨地域的全球数据库Global Database
POLARDB 支持跨地域、长距离的物理复制帮助用户建立其全球数据库的部署。通过物理复制数据可以实时复制到全球各个机房使得全球用户的查询在当地机房就得到响应反应更迅速。
4分区表的支持
POLARDB支持100T的存储容量。但是随着表的大小的增长单表索引的层次也增加导致数据的查找定位也变得更慢一些单表上的物理锁也导致并行DML碰到天花板。所以进行合理的分区变得更加紧迫。之前不少用户依赖数据库外部中间件的分库分表的来减少单表的压力。但是随着POLARDB在各方面比如并行查询的发展我们可以把这些分库分表的功能通过分区表的形式在数据库内更有效的实现。有效的分区不但使我们能够支持更大的表而且它减少了一些数据库索引的全局物理锁的冲突从而提高整体DML的性能。同时这种形态之后可以更好的支持冷热数据分离把不同“温度“的数据存放在不同的存储介质中在保证数据access的性能的同时减少数据存放的成本。 POLARDB在增强分区表的一系列功能包括全局索引Global Index分区表的外键Foreign Key Constraint自增分区表Interval Partition等使得POLARDB更好的应对特大表
5 行级压缩
POLARDB即将推出行级压缩功能。业界通常的做法是在数据页级别通过通用压缩算法比如LZ77、Snappy进行压缩但页级压缩会带来CPU开销过大的问题因为改动一行数据也要把整个数据页解压改动再压缩。此外有些场景下数据页压缩后反而变大bloat还会导致多重索引页分裂 multiple splits。POLARDB采用细粒度fine-grain行级压缩技术对不同的数据类型采用特定的压缩方式。数据以压缩的方式同时存在于外存及内存中只有在要查询的时候才进行行级数据的解压而不用解压整个数据页。由于数据除查询外都是以压缩方式存储所以日志也记录了压缩的数据这个进一步减少了日志的大小以及在网络传输的数据/日志的压力。同时其相对应的索引也只存储压缩的数据。整体数据量的减少足以抵消解压所引起的额外开销使得这种压缩在大大减少数据存储的同时并不会引起性能衰退。
6In-Memory的列存HTAP
在传统的数据库领域分析数据库和在线事务处理是分隔开来的。因此通常需要在一天的经营结束后将在线事务处理的数据与往期分析处理的数据一起导入至数据仓库后运行分析以生成相应的报表。在HTAP数据库中则省去了大规模数据搬移的时间与运营成本一站式解决大部分企业级应用的需求并在交易结束当天同步出具T0的分析报告。在这种需求下POLARDB在实现in-memory的列存数据表。通过物理逻辑日志直接和POLARDB行存数据同步。这样通过特定适合分析的算子可以对这些列存数据进行实时的大数据分析。使得用户可以一站式的得到分析结果。
7冷热分离存储引擎X-Engine
存储数据的规模越来越庞大但不是所有的数据访问频率都相同实际上数据访问总是呈现比较明显的冷热分布特征基于这一特征X-Engine设计了冷热分层的存储架构根据数据访问频度(冷热)的不同将数据划分为多个层次针对每个层次数据的访问特点设计对应的存储结构写入合适的存储设备。不同于传统的B树技术X-Engine使用了LSM-Tree作为分层存储的架构基础使用多事务处理队列和流水线处理技术减少线程上下文切换代价并计算每个阶段任务量配比使整个流水线充分流转极大提升事务处理性能。数据复用技术减少数据合并代价并且因为数据复用减少缓存淘汰带来的性能抖动。进一步利用FPGA硬件加速compaction过程使得系统上限进一步提升。相对于其他类似架构的存储引擎比如RocksDBX-Engine的事务处理性能有10倍以上提升。X-Engine的详细技术参考SIGMOD 2019的论文X-Engine: An Optimized StorageEngine for Large-scale E-Commerce Transaction Processing。
目前POLARDB不仅支撑阿里巴巴集团淘宝、天猫、菜鸟等业务场景还广泛应用于政务、零售、金融、电信、制造等领域目前已经有40万个数据库迁上阿里云。基于POLARDB分布式数据库北京的公交系统快捷、流畅地安排着全市2万多辆公交车方便每天800万人次出行众安保险则使用该数据库处理保单数据效率提升25%。 阿里云双11亿元补贴提前领进入抽取iPhone 11 Prohttps://www.aliyun.com/1111/2019/home?utm_contentg_1000083110
原文链接 本文为云栖社区原创内容未经允许不得转载。
