夯实数据库技术基础 为京东大数据运营护航
近日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。京东作为国内领先的大数据、云计算实践者受邀出席了此次大会,就大规模内存数据库分散式存储系统、自动化数据库运维、京东电商广告和推荐系统以及分布式数据库等内容做了专业精彩的分享。
大规模内存数据库支撑核心业务
随着大数据影响力的不断扩张及其相关技术的深入发展,大数据的运算和使用,正对整个互联网行业乃至传统行业带来颠覆性的创新和变革。电商也从原来习惯的货架式销售走向场景式销售,走向“内容和商品融合”的阶段。京东作为国内中国领先的自营式电商企业,拥有亿级用户数据,数据库的建设对于京东业务的发展有着至关重要的作用。
京东高级技术总监刘海锋分享了京东过去三年在大规模内存数据库领域的技术探索。电商业务需要高速数据访问,数据访问速度对终端用户的体验非常关键。京东目前使用的数据库叫做JIMDB(The Jingdong In-Memory Database),是一种新型的,以内存为中心的全部托管、全管理服务化的数据库。刘海锋介绍称,JIMDB能够提供非常丰富的数据类型和数据结构,性能稳定,简单高效,对互联网公司来说非常方便。从目前的业务价值角度,JIMDB支撑了京东几乎所有的在线业务。现在,团队正在针对电商业务场景来设计开发JIMDB第三代版本——完全自主研发的以内存为中心的NewSQL数据库,将同时实现高性能、高可靠、强一致、横向可扩展、事务与SQL支持等技术特性。
京东数据库系统研发部负责人田琪也从技术角度展示了京东分布式数据库的特性。京东分布式数据库具备诸多优点:服务高可用,主库出现故障,从库自动切换;数据高可靠,定期快照备份,增量备份;数据自动拆分,一键无缝迁移扩容等特性;同时还能够针对特殊业务需求,定制优化特殊的数据库版本。这些优点满足了京东高并发海量数据业务的需求。
自动化数据库管理平台保障运维
在数据库技术、云计算的广泛应用下,企业数据库运维面临日益增长的规模挑战,而有限的运维人员越来越感觉到管理上力不从心。京东技术总监李京生从流程管理与上线、数据库运维管理方面分享了京东在数据库管理平台的自动化与自助化成果。
李京生表示目前京东的核心数据库都已基本运行在MySQL上,规模十分庞大,日常的PV已达千亿级别,为京东业务提供百分百安全、高效、稳定的服务。李京生强调,京东超大规模数据库的运维工作,是靠运维自动化平台完成的。
大数据运维管理平台的自动化能够保障平台的安全、稳定、高效运行,而大数据背景下的推荐系统则能够实现更有效而精准的数字营销。京东数字营销业务部架构师包勇军结合京东推荐机器学习平台的算法和架构演化过程,分享了更为具体的实践经验。对从浅层模型时代到深度学习时代的技术应用做了专业精深的解读和分析。
京东在数据库技术方面的创新和研究成果充分反映了京东以技术驱动,不断提升用户体验和网购品质的发展战略。京东大数据的创新应用在推动业务发展的同时也在不断取得新突破,而这样的创新性突破也将为即将到来的618大促保驾护航。