PolarDB分布式版产品架构

时间：2023-04-26 来源：

PolarDB有三种引擎，其中MySQL版和PostgreSQL版的PolarDB有着相同的产品架构：Share Storage，计算存储分离，PolarDB分布式版使用的是另外一种产品架构：Share Nothing，分布式。

PolarDB分布式版采用了基于计算存储分离的Share Nothing系统架构，该架构使用户可以根据业务需要进行分层容量规划，实现大规模扩展。

核心组件

元数据服务(Global Meta Service，GMS)，主要提供分布式的元数据，提供全局授时服务(TSO)，维护Table/Schema、Statistic等Meta信息、维护账号、权限等安全信息。

计算节点(Compute Node，CN)，主要提供分布式SQL引擎，包含核心的优化器和执行器。基于无状态的SQL引擎提供分布式路由和计算，解决分布式事务2PC协调、分布式DDL执行、全局索引维护等。

存储节点 (Data Node，DN)，主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求(比如Project/Filter/Join/Agg等下推计算)，可支持本地盘和共享存储。

日志节点(Change Data Capture，CDC)，主要提供兼容MySQL生态的主备复制协议，兼容Binlog协议和数据格式、支持主备复制Replication的协议和交互。

架构优势

高可用：经过阿里巴巴多年双十一验证的X-DB(X-Paxos共识协议能力)，提供数据强一致，保证节点故障切换时RPO=0。另外支持多样化的部署和容灾能力，比如基于Paxos强同步的同城三机房、三地五中心，另外搭配Binlog异步复制的两地三中心、异地灾备、异地多活等。尤其在异地长距离传输上，基于Batching&Pipelining进行网络优化来提升性能。

高兼容：PolarDB分布式版主要兼容MySQL，包括SQL、函数类型等，技术上引入全局时间授时服务，提供全局一致性的分布式事务能力，通过TSO+2PC提供数据库完整的ACID能力，满足分布式下的Read-Committed/Repeatable-Read的隔离级别。同时在分布式事务的基础上，提供全局二级索引能力，通过事务多写保证索引和主表数据强一致的同时，引入基于代价的CBO优化器实现索引选择。除此以外，在元数据和生态对接层面，PolarDB分布式版基于Online DDL的技术提供了分布式下元数据的一致性。同时硬件层面，兼容主流国产操作系统和芯片认证，比如麒麟、鲲鹏、海光等。另外在业界主流的分布式数据库里，分布式下的Redolog/Binlog等数据库变更日志其实一直被厂商所忽视，从关系数据库的发展历史来看，生态和标准对于市场规模化非常重要，PolarDB分布式版支持Binlog日志服务，兼容和拥抱MySQL数据库生态，可以将PolarDB分布式版当做一个MySQL库，采用标准的Binlog dump协议获取Binlog日志。

高扩展：PolarDB分布式版基于Share Nothing的架构支持水平扩展，同时支持数据库在线扩缩容能力，在OLTP场景下可支持千万级别的并发、以及PB级别的数据存储规模，同样在OLAP场景下，引入MPP并行查询技术，扩展机器后查询能力可线性提升，满足TPC-H等的复杂报表查询诉求。

HTAP：随着移动互联网和IoT设备的普及，数据会产生爆炸式的增长趋势，传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。PolarDB分布式版设计中支持OLTP和OLAP的混合负载的能力，可以在一个实例里同时运行TPC-C和TPC-H的benchmark测试，保证AP的查询不影响TP流量的稳定性。核心技术层面也有所创新，比如在计算层精确识别出TP和AP的流量，结合多副本的特性和多副本的一致性读能力，将TP和AP智能路由到不同的副本上，同时在AP链路上默认开启MPP并行查询技术，从而在满足隔离性的基础上，线性提升AP的查询能力。