创作者：阿里服务器数据库产品事业部 王林平、王宏宇、叶强

01 简述

智能化成为了公司提高业务能力高效率、竞争能力、管理方法能力的关键所在，疫情当下经济回暖与企业重新出发必须长时间，大部分企业在这几个月核心目标是“收拢前线，精兵简政”，公司在使用云服务器、用云环节中，遭遇增效降本的诉求，做为智能化的核心技术—数据库怎样增效降本，与企业一起度过困难的时期，是许多企业关注的问题。

阿里服务器圣宫数据库一直在想着如何给公司提供高效相对稳定的数据库解决方法，与此同时帮企业节省IT费用，并继续建设与设计构思增效降本的方式和途径。

02 业务痛点和解决思索

2.1 工业云、用云所面临的数据库增效困扰

公司业务由小到大发展壮大环节中，业务流程逐渐繁杂、业务种类日趋多样化、数据量逐渐增大、数据库案例数逐渐增加，必须搭建性价比、低成本数据库计划方案；数据库计划方案要具有性能稳定、性能卓越、可扩展性好、架构设计简单容易维护等特性；不同种类业务流程对数据库云计算服务器应用特征不一样，必须具备灵便、高弹性、匹配性好云计算服务器给予方法以满足不同种类业务流程人性化使用需求；伴随着数据量从比较小逐渐扩大，数据存放怎么更降低成本、更快捷地存储和浏览及其可持续性支撑点业务流程，都是数据库策略的关键侧重点；伴随着研发部门工作的人员日趋增加和数据库案例的不断增加，怎么给研发部门提供安全、高效率、低维护成本的数据库计划方案的都变成主要负责人关心的关键话题讨论。应对公司这种需求，云数据库怎样在商品、计划方案侧解决问题的呢？

2.2 搭建增效降本能力、方案和思索

我们先思索一个问题：将数据库界定为一种服务项目，对一个使用云服务器、用云企业，云数据库形象化成本包括哪些？

• 硬件配置成本费：云厂商承重数据库案例服务器、互联网、存放及其IDC基础设施建设成本费。
• 软件成本：云厂商产品研发、迭代更新数据库手机软件的人工成本，一部分服务项目有手机软件产品成本。
• 使用及维护费用：企业使用数据库的工作人员花费时间学习培训、提高技能，数据库必须专业技术人员维护保养。
• 经济成本：公司选用繁杂计划方案、低效能计划方案、不稳计划方案方案，有很长学习时间费用和试错的成本。
• 数据解决成本费：为提升数据资产净值，公司探寻数据使用方法和数据运转方法必须比较大人工成本。

对企业来说数据库成本费包括两个方面，一个是云厂商给予可持续性服务项目成本，一个是企业使用与维护数据库的人工成本与时间投资成本；增效降本计划方案必须“减少”硬件软件成本费，并通过优点计划方案提升数据库应用人效、降低人工成本和经济成本。

03 搭建云原生数据库增效降本计划方案

3.1 数据库增效降本架构

云数据库完成增效降本，给予好多个方面方法和计划方案：

• 数据库云计算服务器弹性，根据迅速弹性调节配、全自动弹性调节配、Serverless等形式提升弹性能力，灵活运用云的弹性能力降本。
• 数据库服务器资源，给予数据全透明冷热交替分层次、数据光滑存档、存放高压缩比、新硬件增效降本等解决大量数据存储和浏览的高性价比计划方案。
• 数据库架构优化，给予数据库HTAP解决方法、多源聚集库、降低成本多等级仓等架构优化计划方案，减少维护成本、开发设计维护费用。
• 基本建设运维管理、产品研发增效计划方案，根据DMS的数据库DevOPS计划方案，根据DAS的搭建数据库“无人驾驶”计划方案。

从下面的图能够得知云数据库所提供的增效降本计划方案覆盖数据测算、数据存放、数据运转、数据剖析、数据管理方法维护等不一样业务流程环节供企业选择。

3.2 测算弹性增效将该

弹性是云原生数据库核心竞争优势，能有效降低核算成本，阿里服务器数据库一直致力于提供弹性能力比较强计划方案给客户需求，云数据库的弹性能力经历过三个阶段：

第一阶段是高弹性能力，将天、钟头级弹性加速到min级。

第二阶段是全自动弹升，适用根据预测全自动弹性伸缩和按时全自动弹性伸缩式提升弹性能力。

第三阶段是建设和持续演变数据库Serverless能力，进一步提升资源应用效率。

传统式主从复制架构设计数据库调节配并增加连接点必须拷贝数据，耗费精力和数据物理学尺寸相关。PolarDB依靠RDMA高速网络和共享存储能力，调节配提升连接点与数据库尺寸耦合，min级就可以完成，可搭建“总流量突发性型业务库”提质增效计划方案提高企业数据库弹性能力。

一部分公司业务复杂性高、多元化强、异常流量无法预料，对弹性计划方案给出了演变规定，数据库基层民主服务项目DAS的全自动特性拓展融合PolarDBmin级弹性给予min级全自动弹升能力，许多客户需求依靠该能力避开特性风险性。云数据库RDSMySQL还支持特性自动扩容能力，云原生数仓AnalyticDB根据分时图弹性适用按时全自动弹升能力。

Serverless技术性给网络资源弹升和收费产生更加灵活的能力，PolarDB行动了Serverless技术难题：网络资源耦合、全自动弹性伸缩式、按用量收费、秒级弹性拓展等。适用无感觉BP Resize的当地Scale Up、跨机ScaleUp、跨机ScaleOut。云数据库RDS MySQL、云原生数据库房AnalyticDB、云MongoDB都具有了Serverless能力。

3.3 存放全透明冷热交替分层次、缩小增效降本

数据存放是数据库的关键能力，云数据库依靠云基础设施搭建与支持不一样性能指标、不一样成本费、应用灵活多变的存储方案。公司的项目数据种类、业务流程数据量、数据物理学尺寸伴随着业务流程发展到一定阶段和数量级遭遇下列困扰：单实例存储容量大、存储成本高、即时业务流程数据性能卓越浏览、大量数据性能卓越浏览需求等。

云数据库根据以下这些技术规范来达到数据存放等方面的提质增效和降本：

• 数据全透明冷热交替分层存储读写能力
• 数据存放缩小
• 自主研发X-Engine模块历史时间库
• 硬件配置压缩盘（Smart-SSD）
• Tair PMEM长久运行内存

3.3.1 全透明冷热交替分层次计划方案

冷热交替数据分层存储是解决很多数据存放普遍计划方案，依据数据使用次数、图片大小、文件属性等特性做数据冷热交替分层次，选用兼容的存储设备存放，达到存放大量数据、增加保存期、减少存储成本、提升数据浏览高效率等需求。

数据冷热交替分层次的关键在于全透明冷热交替分层存储对策、冷热交替数据全透明载入及其无感觉数据到期转移，一般以时长字段名做为区别冷热交替数据根据。如果在Lindorm上，在表里配备数据冷热交替时长分界线（COLD_BOUNDARY），Lindorm依据数据载入时间格式(ms)来判定数据冷热交替。数据载入时优先选择存放于热存储，载入时间超冷热交替时长分界线，major_compact时存档冷数据到冷存储设备。数据载入时自动依据查询时间范畴标准确定查看热区、冷区或是冷热交替都查。

除开Lindorm，Clickhouse、PolarDB MySQL、AnalyticDB MySQL还支持数据冷热交替分层存储和载入。

3.3.2 数据存放缩小计划方案

除开将冷热交替数据各自存放到不一样物质外，许多数据库适用模块方面选用压缩算法来降低室内空间占有，如PolarDB X-Engine模块，比照InnoDB模块，最大可节省50%的内存空间；Lindorm内嵌深层改善的压缩算法，数据缩小率高达10:1之上。

X-Engine模块行存数据缩小

业内依据MySQL可插拔存储引擎能力带来了RocksDB、Tokudb、Infobright等具有缩小能力的存储引擎解决关系型数据提高难题。阿里服务器X-Engine更是为处理大量关系型数据存储的数据模块。X-Engine在LSM-Tree分层存储架构设计基础上进行了重新定位，依据数据浏览频率(冷热交替)的差异将数据划分成好几个层级，针对每个层级数据的浏览特性设计方案相匹配存储结构，载入适宜储存器。应用Copy-on-write技术性，防止原地不动升级数据页，对写保护数据网页页面开展编号缩小，能将内存空间降低至10%~50%。

Lindorm压缩率能力

Lindorm在数据缩小层面也提供了很优秀的能力，给予超10倍数据空气压缩比。

• 词典缩小：Lindorm宽表根据LSM-Tree模块搭建数据存放，通用性压缩算法上融合ZSTD深度定制，发布词典缩小能力—全自动获取数据样版取样剖析，依据数据特性，智能化选择适合自己的编号缩小主要参数，获取公共性词典清除词典构造所带来的附加花销，进一步提升了数据的缩小比例与缩小速率。
• 时钟频率数据专用型压缩算法：Lindorm时钟频率模块依靠TSM架构设计完成时钟频率数据高效载入，选用订制时钟频率压缩算法提升空气压缩比，最高可达15:1的压缩系数比。
• 本地界HDD与ESSD异构体团本：Lindorm根据LindormDFS异构体团本完成1团本ESSD 2HDD多余，根据HDD盘低成本优势融合冷热交替分层次显著降低存储成本。

3.3.3 新硬件新技术规范

硬件配置压缩盘（Smart-SSD）PSL4

PolarDB引进阿里自主研发Aliflash Smart-SSD技术性，在物理SSD硬盘方面缩小、压缩包解压存储的数据，完成特性零消耗下数据存储成本最大降低 60%。硬件配置压缩盘的缩小模块集成化在盘体内部结构，根据FPGA/ASIC给予专用型算率在数据读写能力环节中即时缩小、压缩包解压数据，进而节约内存空间。

Tair长久运行内存

Tair是阿里服务器自主研发云原生运行内存数据库，彻底适配开源系统Redis，除开纯运行内存的产品体系，Tair凭借新式存储设备——Intel 傲腾（AEP）长久运行内存技术性，完成成本费小于于运行内存（Dram）30%之上。

Tair长久运行内存案例中，每一条纪录都保证载入AEP而且分布式锁才回到，极大提升数据稳定性，能做到RPO=0；载入途径中使用Dram缓存文件如检索、数据构造、元数资料等网络热点数据，加快数据浏览。

3.4 技术性架构优化增效降本

伴随着经营规模、用户数量、业务流程繁杂度的提升，企业使用数据库的情景日趋繁杂，建造数据库服务项目面临搭建大量周边服务减少应用、培训成本，云数据库提供多种技术性架构优化计划方案，此段详细介绍HTAP解决方法、多源聚集库计划方案、根据湖仓一体的多级数仓方案。

3.4.1 HTAP解决方案

HTAP是数据库技术领域新概念，是在线事务（OLTP）和在线分析（OLAP）合称简写。HTAP的最大优点是可以在一个数据库中支持OLTP和OLAP业务，系统具备完整事务能力，支持实时插入、实时删除、单条更新、批量导入、按索引查询、海量数据实时分析等能力。

阿里云PolarDB MySQL通过列存索引IMCI和弹性多机并行ePQ使得PolarDB具备HTAP能力，支持OLTP高并发读写的同时，大幅提升PolarDB在大数据量复杂查询性能。优化器支持基于代价的执行计划选择，从IMCI->ePQ->MySQL原生串行查询，保证SQL 100%可解析执行。IMCI(In-Memory Column Index)节点和行存只读节点基于物理复制保证延迟在毫秒至秒级，提高数据访问的实时性。适用于亿至百亿业务数据复杂查询提速、原生MySQL查询慢、业务混合负载业务查询提速。PolarDB HTAP方案在实际业务场景使用中最高可以达到百倍慢查询提速，畅捷通、金万维等客户都借助HTAP方案为业务提速。HTAP方案业务架构图如下：

PolarDB IMCI通过列式存储高压缩存放、按需读取需要分析列、执行器算子并行执行、单个线程内算子数据交互以Batch为单位降低函数调用开销等技术结合配合弹性多机并行使得PolarDB成为一个真正的HTAP数据库系统。

弹性多机并行ePQ可以利用多计算节点资源进行并行查询，提速TB级别甚至单表10TB以上多表关联复杂查询，突破单机CPU/IO瓶颈将多个节点计算资源打通，利用全局资源提速大量数据复杂查询。

3.4.2 多源汇聚库

多源汇聚库是泛互联网企业做微服务拆分、数据库垂直拆分后常见的跨实例数据访问、数据抽取、数据流转方案，为降低研发成本考虑采用汇聚库方式做拆分后跨库数据查询和数据流转。传统多源汇聚库方案通过开源或商业数据复制工具将多个业务库数据复制到汇聚库，汇聚库结合代理软件向不同业务侧提供数据库服务，支持跨库查询、数据抽取、数据下有复制等，常见架构如下：

该方案满足跨库查询需求、数据向下游流转、慢查询导致业务库性能抖动问题，存在以下不足：数据复制延迟大影响数据访问质量、存储成本高、开源代理不稳定维护成本高、汇聚库以及数据流转任务恢复成本高DBA维护压力大。

阿里云数据库提供基于PolarDB多主集群的多源汇聚库方案，多主集群支持一个集群多个主节点，任意主节点都可访问共享存储内所有数据，并可以在任意主节点读写。不同主节点可以承载不同数据库支持任意主节点之间秒级切换数据库，可以通过全局读节点结合智能代理替代汇聚库，支持流量自动转发读写和负载均衡，架构如下图：

基于PolarDB多主集群构建的多源汇聚库方案具备以下业务收益：

• 提高跨库聚合查询和数据向下游流转效率。
• 降低存储成本：存储成本占比高(50%以上)相对自建数据库可降本10%以上，某交易属性客户迁移后降本20%。
• 提高数据访问质量：复制延迟毫秒至秒。
• 提高异常恢复速度：级扩容写节点、全局读节点高可用、分钟级新增几点。
• DBA工作量低：异常切换恢复操作便捷、数据流转方便、方便授权。

3.4.3 基于湖仓一体的多级数仓方案

随着业务数据不断增长和多样化，可以把数据大致分为两类，一类是结构化数据，另一类是非结构化数据。结构化数据最具代表性的数据库有Oracle和Teradata，但面临维护成本+政策风险双重压力；半结构化或非结构化数据根据数据特征可以分为宽表、时序、图、key-value、文档等，这两类数据存储读取典型代表是Hadoop，但技术栈繁多、复杂依赖个人能力，维护成本过高。数据业务特性随着时间发展从传统商业业务数据，到互联网平台业务数据，再到万物互联的业务数据，数据规模也从GB级，到PB级，再到EB级。

数据作为企业的核心资产，随着企业之间商业竞争日益激烈，数据流动越快产生价值越大企业竞争力越强。传统数仓面临挑战越加严峻，大数据发展也从传统数仓发展到离线大数据时代来满足大数据量和数据多样化的诉求，企业对数据实时性要求越来越高，需要通过实时数仓以及湖仓一体来解决所面临的痛点。下面介绍基于阿里云构建实时数仓和湖仓一体的多级数仓方案。

如何构建实时数仓

数仓一般分为ODS层、DWD层、DWS层和ADS层，数据分层越多，数据的实时性受影响越大。要构建实时数仓需要减少数据端到端的层数和并提高数据处理速度，数据分层结合数据业务需求，额外构建一套实时数仓，来满足实时业务场景。

根据现有数仓体系演进的架构就变成标准数仓分层+流计算+批处理，具体架构变成如下：

基于该设计理念衍生到阿里云实时数仓解决方案：

选择数据传输服务DTS支持业务数据到实时数据的数流转，实时数仓选择云原生数据仓库AnalyticDB MySQL数仓版，湖仓一体方案选择AnalyticDB湖仓版支持，通过数据管理DMS支持任务编排、数仓开发、ETL等功能，同时DMS还支持流式ETL。

为何选择DTS做数据实时流转

数据传输服务DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源数据实时同步，提供功能丰富、操作便捷、数据实时复制、传输性能强、支持断点续传、易用性高、安全可靠的数据传输服务，简化数据流转工作，使数据开发人员可以专注数据业务开发。

为何选择AnalyticDB？

云原生数据仓库AnalyticDB MySQL版是新一代云原生数据仓库，AnalyticDB支持高吞吐数据实时增删改、低延时实时分析和复杂ETL，兼容上下游生态工具，可用于构建企业级报表系统、数据仓库和数据服务引擎。AnalyticDB具备以下优势：

• 兼容MySQL：高度兼容MySQL协议以及SQL 92、SQL 99、SQL 2003标准。
• 多租户：通过资源组实现计算资源隔离满足不同类型租户业务需求。
• 分时弹性：支持定制弹性计划（每天定时、每周定时），业务高峰期来临前自动扩容满足业务流量增长需求，业务高峰过后缩容降低IT成本。

AnalyticDB湖仓版

基于AnalyticDB湖仓版构建湖仓一体方案，内部存储支持在线数据处理和查询，开放式存储支持离线数据处理，能够识别加载多种数据格式文件。具备云原生、自动数据冷热分层能、多租户、多种计算引擎等能力，支持PB级数据实时、离线分析，秒级到分钟级出结果，湖仓版架构图：

3.5 运维、研发流程增效方案

云数据库帮助企业解决了资源弹性、高可用、备份、监控等基础运维问题，随着业务发展、公司规模扩大，数据库运维团队面临着数据库集群规模化、研发流程化以及运维智能化建设需求。云数据库提供运维、研发流程增效方案：数据库DevOPS方案、数据库自治管理方案。

3.5.1 数据库DevOps方案

传统数据库研发模式通常会面临研发效率低、数据安全无保障、变更风险大等问题，比如新业务上线层次审批后因“还没到窗口发布期”不得不推迟几个小时；多项目共用库表发布顺序问题；新项目上线结构不合理慢SQL激增影响到生产环境。数据管理DMS提供了平台化、流程化数据库协同开发能力，使得构建、测试、发布数据库变更更快捷、安全和可靠。

• 数据库开发设计阶段：表结构设计中，引入数据库设计规范。比如表名/列名带业务含义、必须有主键或UK等。DBA根据业务重要级别设置不同审批发布流程，比如非核心库研发TL审批、核心库必须DBA审批，一方面适当放权另一方面提升生产系统稳定性。
• SQL审核阶段：项目正式发布前，避免不符合数据库开发规范的SQL（比如建表语句不含主键、索引过多等）发布到线上影响生产服务，需要审核SQL语句、提出相关优化建议。
• 发布阶段：结构设计及测试完成、SQL审核后，进入结构发布审批流程。由系统做风险识别，比如表数据量、索引数量、是否会锁表变更等，由审批人员（通常数据库owner或者DBA）审批确认，审批通过后由研发选择自动执行或者手动执行。
• 变更执行阶段：在执行阶段，需要一些策略来降低变更风险，比如对添加唯一索引、变更主键等需要采用无锁表结构变更、限制DDL并发数降低对系统影响等。也需要根据业务类型级别设置不同变更窗口，比如交易相关数据库变更时间设定在凌晨执行。
• 运维调优阶段：上线之后，要对变更内容进行持续关注，比如查询性能、会话并发数等等，需要从多个角度了解、并及时定位并解决数据库存在问题，保障服务安全性和稳定性。

除了数据库DevOps相关功能外，DMS也提供了更加细粒度的安全策略：比如行级别访问权限控制、防泄露数字水印、敏感数据脱敏保护、操作审计等，对数据库进行全方位保护。

3.5.2 数据库自动驾驶方案 DAS

随着业务的发展，企业数据库集群不断增长，运维人员数量没有按比例增加，数据库运维平台化、自动化、智能化要求也是越来越高。人工智能、机器学习技术的发展，给数据库运维智能化带来新能力。如在SQL诊断与优化场景，数据库自治服务DAS便基于机器学习和专家经验，实现数据库“自感知、自修复、自优化、自运维及自安全”能力，企业可以“辅助驾驶”数据库，降低维护成本。DAS具备以下核心能力：

• 异常事件：系统收集各种指标和事件，如QPS、TPS、CPU、IOPS等等，并对指标数据进行实时和离线分析，能秒级获取到异常事件。
• 诊断发起：自动SQL优化服务从事件中心收异常事件，完成实例初步判断，向诊断引擎发起诊断请求并处理诊断结果，完成有效性评估，生成新的优化事件驱动下一步优化。
• 建议推送或自动优化：根据用户设置的自治策略，事件中心推送SQL优化建议给DBA判断执行，或在用户授权下自动执行优化，并确认执行情况。
• 效果跟踪和衡量：优化执行后，决策引擎启动跟踪任务，跟踪被优化SQL及相关SQL性能，如性能出现衰退，则自动回滚。

DAS已具备“7 x 24实时异常检测、故障自愈、自动优化、智能调参、自动弹性、智能压测”等能力。并会持续发展自动化、智能化能力，数据库运维由目前的“辅助驾驶”升级为真正的“自动驾驶”。

04 增效降本方案展望

除了持续优化迭代计算降、存储降本、架构优化、流程增效等方案，帮企业增效降本之外，云数据库产品和解决方案，还好会依托云原生数据库和周边配套设施持续构建更丰富、更高效、更高性价比的数据库解决方案，助力企业持续发展。

如需了解「数据库增效降本解决方案」欢迎点击「链接」进行咨询

引用

[1] 降本增效｜云原生数仓AnalyticDB MySQL的Serverless弹性技术解析

[2] 我，PolarDB云原生数据库，5年来实现这些重磅技术创新

[3]重磅发布｜AnalyticDB MySQL湖仓版公测发布：从湖到仓，打造云原生一站式数据分析平台

[4] 400倍加速, PolarDB HTAP实时数据分析技术解密

推荐阅读

重磅发布｜AnalyticDB MySQL湖仓版公测发布：从湖到仓，打造云原生一站式数据分析平台

降本增效｜云原生数仓AnalyticDB MySQL的Serverless弹性技术解析

400倍加速, PolarDB HTAP实时数据分析技术解密