科技猎阿里云李飞飞：数据库发展的几个重要趋势
阿里云李飞飞：数据库发展的几个重要趋势
阿里云
· 刚刚
云计算加速了数据库发展，数据库和大数据走向融合。
图片来源@视觉中国
文 | 阿里云，分享 | 李飞飞（阿里巴巴集团副总裁）
上世纪80年代初，数据库系统逐步走上信息技术舞台的中央，2000年开始大数据技术兴起，再到2010年后云计算热度持续升温。技术的进程走到了今天这个奇妙的节点，看向未来，有几个趋势可能会发生。
仅以此文，分享一些浅见和实践。
三段交叉的技术史
过去40年，数据库系统、大数据和云计算三项技术交替兴起。
首先是数据库系统，成型于上个世纪80年代，是计算机领域三大基础软件系统之一。早期的关系型数据库以甲骨文数据库为代表，取得了巨大的商业成功。后来出现了MySQL、PostgreSQL等开源的关系型数据库。
90年代，随着关系型数据库的广泛应用，产生了大量的数据，分析这些结构化的数据对分析型的数据库系统提出了很高的要求，因而在90年代涌现出了一批分析型数据库系统。
世纪更迭，2000年到2010年，大数据技术走上历史舞台的时代。大数据技术诞生的原因有以下两方面：
一是大数据的产生。随着以谷歌为代表的互联网公司的发展，产生了大量数据。
二是获取、处理、分析数据的方式不一样。比如说银行最简单的交易、转账，对隔离、一致性、持久性有非常严格的要求。大数据不一样，单一数据对最终结果没有特别影响。这种应用场景和传统的联机交易关系型数据库完全不同。
于是，大数据系统应运而生，谷歌发表了耳熟能详的分布式文件系统、分布式表格存储、MapReduce三大论文，奠定了今天大数据的整个技术生态圈的基石。
2010年后，另一个趋势是云计算的热度逐渐升温。云计算的本质就是利用分布式技术将资源高效池化，而对应用做到透明的集中式部署。
把云计算、数据库、以及大数据发展结合起来看，数据系统本质上就是对数据从生产、处理、消费、存储的一个全链路的过程。
云计算对数据处理系统产生了非常大的影响：
第一， 云原生技术在数据处理系统深入的应用；
第二， 传统的关系型数据库和传统大数据生态正在快速发生融合。
业界发展的趋势，是资源的池化，资源解耦，以云原生、分布式的技术为基础，打造下一代的数据处理系统。举例来说，阿里云数据库之所以能够支撑双11，也是在不断实践基于这些理念的思考。
以双11为例，第一张图是历年双11的零点交易峰值的曲线，最新的2020年双11的零点的峰值是58万笔/秒。每一笔交易还会有一个拆单的动作，到数据库系统就是每秒几百万TPS。
第二张图是系统零点负载的瞬间变化曲线，一秒钟时间内系统负载瞬间爆发了145倍。如果不是利用云原生的技术，简单依赖传统技术根本无法满足这种高并发、弹性、高可用的要求。
几个重要趋势
从架构的角度来看，数据库系统的变化如下图所示：
左边是传统的冯诺依曼架构；右边是分布式架构；中间是云原生的架构，背后大量利用了分布式技术。这种资源池化带来的弹性、高可用的能力显而易见。
这是今天三种不同的架构，有以下几个趋势：
- l 大数据和数据库一体化；
- l 云原生和分布式技术结合；
- l 智能化；
- l 多模数据处理;
- l 软硬件一体化：例如，利用高速网络等来提升数据处理系统的性能和效率；
- l 安全可信：例如，如何确保数据不可更改。
结合阿里云数据库的核心技术，把以上背景、趋势实例化：
- 云原生关系型数据库PolarDB
PolarDB的每个数据块分成三个物理节点，不用关心分布式带来的挑战，比如分库分表、分布式的查询，对应用完全透明，读写一份数据，做到了分布式技术透明化、集中式部署。
PolarDB是阿里云自研的云原生数据库，创新采用存储与计算架构分离设计，能在分钟级别部署一个新的计算节点、或者扩容存储节点。同时，在性能上做了大量的优化，非常好地兼容了生态，比如100%兼容MySQL和PostgreSQL，高度兼容Oracle。
在实际的客户案例里，利用PolarDB Oracle兼容版替换现有的Oracle，在性能一样的前提下，整体成本不到原来的三分之一。
除了云原生的架构，也有分布式架构版的PolarDB-X。在每个分区里面做这种三节点的架构，同时三节点利用协议做数据的一致性保障，而且三节点可以做到同城跨AZ部署。
- 一体化设计是下一代数据分析系统的核心理念
下一代的系统，是将云原生技术和分布式技术合二为一：上面是分布式，而下面是云原生的方式实现，每个分区都可以享受云原生带来弹性、高可用的能力，同时上面有分布式带来的水平拓展的能力，解决高并发可能带来的瓶颈问题。
- 云原生数据仓库ADB
云原生的数据仓库本质上也是云原生的架构，存储池化、计算池化、存储计算分离，同时实现海量存储弹性，轻量化部署。
利用这些技术实现数据处理和计算分析的离在线一体化，数据库与大数据一体化。如同现实生活中的仓库，所有物品要分门别类放好，所以数据仓库比较适合已经范式化的数据格式、业务类型比较固定的场景，性价比非常高。
在云原生数仓方面，我们也利用这套架构研发了AnalyticDB(ADB)支持了淘宝天猫对实时交易数据进行在线交互式分析和计算的需求，同时支持复杂的离线ETL与在线分析的融合。
- 数据湖
数据湖，“湖底”的数据参差不齐，“湖面”却是平的。不同于数据仓库，数据湖的存储是多源异构的，只需要有一个统一的界面对这些数据进行分析、处理。
以阿里云的云原生Serverless数据湖解决方案DLA为例，基于对象存储，对多源异构的数据存储进行统一的计算和分析，利用云原生的Serverless技术可以用非常低成本的实现弹性高可用的能力，并且满足安全性的要求。
- 多模、智能化和安全可信
在管控这一层实现异常检测、安全诊断，通过K8S这套编排技术，把多源异构的资源管理起来，打造智能化的运维管控平台。
我们做了全加密的数据库，数据进入内核以后不需要解密。利用安全硬件技术做了全加密的流程和保护，实现了不解密也能进行数据加工和处理。
数据业务的多样化带来了除了结构化数据之外的多模数据，例如文本、时序、图片、图数据等非结构化数据。针对多模数据，我们设计研发了基于云原生架构的多模数据库Lindorm以及云原生内存数据库Tair来支持多模数据处理。
最后是生态工具，从传输、备份到管理。传输采用DTS，做端到端数据的同步，用DBS数据备份做多云多端的逻辑备份、物理备份，DMS做企业级的开发建模流程, ADAM做针对基于传统数据库和数据仓库开发的应用评估和迁移。
今年疫情期间，各行各业有一个非常大的变化——传统的离线业务和在线业务在快速融合，线上线下的边界越来越模糊。
这带来的挑战是，业务波峰波谷的变化越来越剧烈。这是疫情带来的必然变化，数字化的转型也是一个必然发生的事实。在这种背景下，云原生数据库、云原生数仓等产品，将会服务越来越多“线上线下边界模糊”的各行各业。
【钛媒体作者简介：李飞飞，现任阿里巴巴集团副总裁、高级研究员，阿里云智能数据库事业部总负责人。美国计算机协会ACM杰出科学家，加入阿里巴巴之前为美国犹他大学计算机系终身教授。】
1篇资讯
阿里云
上云就上阿里云！
最近资讯
- 阿里云李飞飞：数据库发展的几个重要趋势
想和千万钛媒体用户分享你的新奇观点和发现，点击这里投稿 。创业或融资寻求报道，点击这里。
敬原创，有钛度，得赞赏
404人赞赏钛媒体文章
-
hU8dfb 赞赏了
中国电商的下一个绝佳机会
昨天 -
钛粉76789 赞赏了
一个“傻瓜式”的SaaS开店工具，如何赚得千亿美金...
约2天以前 -
钛粉68961 赞赏了
挑战海拉尔零下30度，体验一汽丰田双擎混动技术 |...
约3天以前 -
钛粉18683 赞赏了
2020年最后一天，社交平台Uki被Soul前员工...
约6天以前 -
钛粉17696 赞赏了
2020年最后一天，社交平台Uki被Soul前员工...
约6天以前 -
h2WkpG 赞赏了
2020年最后一天，社交平台Uki被Soul前员工...
约6天以前 -
hwDjnH 赞赏了
2020年最后一天，社交平台Uki被Soul前员工...
约6天以前 -
钛粉40181 赞赏了
石家庄，工厂子弟，和“万青”失去的十年
2020-12-25 14:33 -
钛粉89488 赞赏了
中高端MPV竞争，微妙平衡中寻找取胜之道
2020-12-18 16:41 -
钛粉89860 赞赏了
中高端MPV竞争，微妙平衡中寻找取胜之道
2020-12-18 16:32 -
钛粉15908 赞赏了
英特尔：硅谷文化的最后传承者 | 钛媒体深度
2020-12-15 13:47 -
钛粉77486 赞赏了
苹果：拨弄中、美、日命运的人
2020-12-07 08:11 -
钛粉02929 赞赏了
为何上海高院未按反垄断法第14条判决？
2020-11-25 15:39 -
Kris00135 赞赏了
“优爱腾”难题无解，长视频去向何方？
2020-11-24 12:04 -
钛粉88011 赞赏了
从荷兰回到张家口种树莓，他想用AI无人种植改变中国...
2020-11-19 17:52 -
钛粉39442 赞赏了
看完美国大选，是时候聊聊国内综艺的投票机制了
2020-11-09 12:59 -
在天空中自由翱翔的百灵鸟 赞赏了
透露一个共享办公的惊人事实：空置率70%-90%
2020-11-06 13:48 -
在天空中自由翱翔的百灵鸟 赞赏了
雷军：继续死磕硬核技术，小米2021年扩招5000...
2020-11-05 18:13 -
钛粉94592 赞赏了
手机用户“被5G”？三大运营商回应：办理4G业务建...
2020-11-04 21:12 -
在天空中自由翱翔的百灵鸟 赞赏了
详解互联网+医保新政：什么病能用？什么钱能报？
2020-11-04 16:51 -
钛粉18709 赞赏了
陈天桥再捐5亿支持中国脑科学研究，先在上海打造这个...
2020-10-23 20:30 -
钛aw26M5 赞赏了
深藏大山的汞矿遗址，孤身守矿的他，一辈子没有离开|...
2020-10-16 08:59 -
钛粉94035 赞赏了
海底捞涉嫌抄袭巴奴，4万亿餐饮行业什么才是核心竞争...
2020-10-10 01:25 -
钛粉15375 赞赏了
中国游戏的光荣与破灭
2020-10-06 13:44 -
钛哥儿 赞赏了
赵何娟对话薇娅：两个女人的知世故而不世故
2020-09-25 13:07 -
钛粉85193 赞赏了
以应用带产品，“自适应”工业级机器人Flexiv试...
2020-09-23 11:43 -
那只猫已转身不见 赞赏了
低房价、高收入，这些城市买房性价比最高
2020-09-18 16:36 -
一潭浑水 赞赏了
豆瓣评分4.8的《花木兰》，真的那么烂吗？
2020-09-12 13:24 -
钛粉59301 赞赏了
市值超四千亿，创造首富，农夫山泉为何这么“甜”？
2020-09-08 17:57 -
钛粉14259 赞赏了
到95后的茶杯里兴风作浪
2020-09-08 12:30 -
钛粉55117 赞赏了
中国APP出海“变形记”：再见工具，你好社交
2020-09-06 23:36 -
钛粉96933 赞赏了
银行与实体经济如何产融对接？产业要全面深入，数据需...
2020-09-05 09:42 -
钛粉86548 赞赏了
代餐赛道会跑出下一个“三只松鼠”吗？| 钛媒体深度
2020-09-01 16:39 -
钛粉22511 赞赏了
【书评】光环效应，另一种乌合之众
2020-08-21 09:43 -
钛粉92962 赞赏了
【钛晨报】Airbnb向美国证监会秘密递交IPO注...
2020-08-20 13:30 -
苑晶 赞赏了
完美世界“杀入”邮箱红海意欲何为？
2020-08-14 09:47 -
钛粉20283 赞赏了
汽车行业新老势力竞逐新赛道，谁会是幸存者？
2020-08-12 13:31 -
钛粉54633 赞赏了
腾讯发起虎牙斗鱼合并建议，结束同质化竞争
2020-08-11 12:02 -
钛粉20377 赞赏了
Zoom在中国暂停直销，或与TikTok“同因”
2020-08-04 15:21 -
钛粉88981 赞赏了
华为改变松山湖，松山湖改变东莞
2020-07-27 10:37 -
钛粉88609 赞赏了
WWD CHINA与量子云合作，成立营销机构“华耘...
2020-07-24 15:57 -
钛粉22894 赞赏了
AI芯片的十字路口：RISC-V能带来下一代芯片吗...
2020-07-21 12:35 -
钛粉46303 赞赏了
中国的暗网，迷失的闲鱼
2020-07-13 19:44 -
钛粉32504 赞赏了
实现高级自动驾驶，一定要用激光雷达吗？
2020-07-11 09:15 -
钛粉53982 赞赏了
太空旅行离我们还有多远？亚轨道距离为零，地球轨道还...
2020-07-10 12:45 -
LS邋遢道人 赞赏了
黄峥辞任CEO，大佬们为什么都要退居幕后？
2020-07-08 13:50 -
钛粉90243 赞赏了
英特尔“断货”浪潮信息背后：真的只是虚惊一场吗？
2020-07-07 14:27 -
钛粉11017 赞赏了
美的空调回应格力举报：清者自清，这是第一次也是最后...
2020-07-06 23:20 -
钛粉09803 赞赏了
比瑞幸造假更夸张，中概股金凰珠宝上演200亿黄金大...
2020-07-06 03:54 -
躬身求索路 赞赏了
跑马圈地三年，新茶饮仍是一场无限规模游戏 | 钛媒...
2020-07-05 02:57 - 查看精彩文章，打开钛媒体客户端
挺钛度，加点码！
- ¥ 5
- ¥ 10
- ¥ 20
- ¥ 50
- ¥ 100
支付方式
支付
支付金额：¥6
赞赏金额：¥ 6
赞赏时间：2020.02.11 17:32
账户【未登录】提示！
个人中心将无法记录并同步您的赞赏记录，
是否进行登录
分享文章
猜你喜欢
Oh! no
您是否确认要删除该条评论吗？
分享文章
