金山云推出全新航母级大数据云平台 掘金万亿大数据服务市场
随着“ 互联网 ﹢”概念的持续深入推进以及数字技术的不断成熟,大数据的应用和服务持续深化,市场对大数据服务的需求也在持续增长,带动大数据产业迅猛发展。据知名市场分析机构IDC近日发布《IDC全球大数据支出指南》显示,2020年全球大数据相关硬件、软件、服务市场整体收益将达1878.4亿美元,同比增长3.1%。2020年中国大数据相关市场的总体收益将达104.2亿美元,同比增长16%,增幅领跑全球大数据市场。
在数据量呈指数型增长的当下,传统的大数据服务已经力不从心,基于云端的大数据服务凭借更加智能、安全、可弹性伸缩、部署速度快、成本低等特点,成为了近年来的发展趋势。金山云基于对市场的深入洞察,面向 金融 、公共服务、医疗等领域对大数据服务的全新需求,于近日重磅推出全新航母级大数据云平台。
大数据云平台基于金山云庞大的云端计算资源,集成了人工智能技术,面向大规模及超大规模数据处理场景,为客户提供从数据采集、存储到分析利用的全栈式大数据服务,助力客户一键搭建各类大数据应用,加速业务应用创新和数据能力输出。
融合数据中台和数据湖理念,实现“八个统一”
大数据从最开始的概念炒作到后来的探索尝试,再到现在的应用挖掘,其巨大的价值潜力和行业影响力,正深刻变革着各行各业原有的生产方式,虽然数据本身是座金矿,但是如何找到合适的方式把黄金从矿石中提炼出来,这才是最为关键的部分。传统的大数据服务已经愈发无法满足更大规模、更大数据量的处理需求,更高效率从数据当中获取洞察、实现更精准的趋势预测和辅助决策,成为新时期的发展趋势。
金山云大数据云平台融合数据中台和数据湖理念, 集数据存储、数据加工、数据展现及数据运营和治理于一体,通过将后台各式各样的资源转化为前台易于使用的能力,实现了“八个统一”,包括数据开发平台、服务平台、运维平台、分析平台、管理平台、数据体系、用户体系、门户的八大统一,实现一站式可视化数据开发。
其中,数据中台作为企业中台的有机组成部分,通过数据的采集、存储、分析和服务将后台各式各样的资源转化为前台易于使用的能力,与中台的其他组成部分协同,帮助企业满足以用户为中心的业务定制和模式创新。数据湖作为一个大型的存储库和处理引擎,提供海量的数据存储,巨大的处理能力,以及处理几乎无限的并发任务或作业,加速数据的摄取并且极大便利了对新数据的价值挖掘。
大数据云平台集结了八大组件、两大支撑体系和一套公共服务。每一个组件都达到了“航母级”标准。其中,标准化组件涵盖数据采集、数据集成、数据开发、数据分析、数据服务、智能调度、数据管理和存储计算八大功能,大数据运维和大数据运营两大支撑体系,实现从监控告警、健康检查、服务管理、统一日志、产品管理、资源计量等的统一管控。公共服务则包括平台门户、项目管理、资源管理、用户管理几大类别,为用户提供高效的数据管理能力。
强化云端能力,构建面向未来的云原生大数据云平台
大数据经过十多年的发展,在诸多行业取得了卓有成效的应用,但是在落地过程中,也出现了一些问题。例如,对于一些大型金融企业,存储和计算资源增加之后,无法很好地进行云化和统一调配,数据孤岛不减少反而增多,不仅增加了运维难度,也使得新业务尝试掣肘重重;对于物联网领域的一些企业,终端规模大,数据实时性强,对平台的处理能力要求较高,面临性能和规模的新瓶颈,这些都是在大数据逐渐落地过程中出现的新问题。
金山云从云端出发,技术能力持续延伸,通过大数据、人工智能与云计算技术互相融合,推动大数据服务向4.0阶段——云原生大数据平台快速发展。借助云原生环境,可以加快应用发布的节奏,有效的降低解决应用发布周期长的问题,极大地增加资源使用的灵活性,提升资源使用效率。
在云化能力方面,作为面向企业级的新一代大数据PaaS平台,金山云大数据云平台打造为云而生的大数据生态,提供云端数据采集、数据集成、数据管理、数据开发、作业调度等一站式大数据处理环境。同时,降低混搭架构运营运维复杂度,提供资源弹性伸缩,并支持资源弹性伸缩、多租户管理、服务高可用等完善的云化特性。此外,金山云大数据云平台支持多云异构环境,不仅可以高效运行在金山云的IaaS平台上,其他主流的IaaS平台也都可以支持大数据云平台的部署,充分体现平台的灵活性。
在规模能力方面,金山云大数据云平台破除Hadoop、MPP等关键系统的规模瓶颈,底层引擎具备高度的可扩展性,支持高达万台规模、百万级别作业调度、百万QPS 实时处理 、十万以上节点采集规模,保障大规模集群的正常运行。
在应用场景方面,金山云为某金融机构搭建的智能统一调度系统和大数据开发平台,实现了大数据任务、机器学习任务等多策略调度,同时与IaaS资源管理层充分整合,提供一站式拖拽、所见即所得的任务编排能力,通过大数据和机器学习资源的精细控制和隔离,极大提升整体资源利用率。
金山云全新航母级大数据云平台主要面向金融、公共服务、医疗等领域,通过构建AI驱动的大数据云平台,为智慧金融、智慧城市、智慧医疗等领域提供强大的智能化决策支持。面向未来,金山云大数据云平台将持续完善技术产品服务体系、优化数据处理性能,帮助客户快速构建全新的大数据落地能力,更高效地掘金万亿级大数据服务市场。