弹性资源池500万核、日实时计算超40万亿次的腾讯云大数据平台，是如何支撑企业用户的？

毫无疑问，腾讯云正不断将把腾讯多年来的能力沉淀对外开放，赋能千万企业，这一次是大数据。

在9月11日腾讯全球数字生态大会大数据专场上，腾讯云一口气公布了1+6款大数据核心应用产品。

要知道，在过去的十多年时间里，腾讯大数据经历了由外部采购到自研再到对外输送能力的快速迭代和发展，目前产品矩阵已经覆盖运维、开发、应用三大层面，无论是作为基础设施的弹性分布式计算、神盾联邦计算，场景开发的商业智能分析、云搜等，还是作为大数据应用服务的云图、灯塔增长平台等，目前都以腾讯云产品和服务的形式，面向开发者和企业开放。

腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。

此时，正是检验腾讯云大数据产品能力的最好时候。

一场疫情带来的大数据产业机遇

而2020年的新冠疫情严重暴露了很多企业的数字化支撑能力不足，很多企业都仓促将业务转移到线上，但由于过去积累不足，并未取得很好的效果。

哪些能力是需要补足的？腾讯研究院今年4月的一份调研数据显示，有50%的企业认为大数据是数字化转型过程中首要关注的一项技术。

腾讯云大数据产品副总经理雷小平表示，企业构建大数据能力的核心有三点：一是平台的统一，大数据涵盖的范围非常广，每个组件只能解决一小部分，导致整体对大数据平台的维护和升级的复杂度极其高；二是异构算力，大数据的算力占到了企业IT采购的50%以上；三是企业级安全，对企业经营影响非常大。

为此，腾讯云推出了全新全链路数据开发平台WeData，以解决从数据集成到开发调度到部署测试长链条上的问题。

具体来说，WeData提供了涵盖数据即席分析、数据任务可视化编排、运维等在内的全链路数据开发能力。将主要解决三个问题：一是元数据统一，做到不同平台的数据打通；二是数据开发的统一，从数据集成、开发、测试、发布、调度，都能在一个平台内统一；三是数据治理的统一，包括数据血缘、数据地图、数据的质量等。

例如，通过在云端构建统一元数据管理服务，涵盖技术元数据和业务元数据的管理，并打通了弹性MapReduce（EMR）、CDW云数仓、MySQL云数据库、对象存储等在内元数据，以便于企业数据在不同云端数据设施之间进行无缝流转的同时，还能保障其元数据的一致性和可维护性。

目前，WeData已经进入内测阶段，预计下半年正式公布并开源出来。

除了全链路数据开发平台WeData之外，在更细分的场景上，腾讯云大数据推出流计算服务Oceanus、云数据仓库CDW、ES、弹性MapReduce、神盾联邦计算以及企业画像等6项重磅能力发布和升级。

针对大数据开发场景，

• 正式发布流计算服务Oceanus，面向大数据实时计算领域，可应用于实时点击流分析、物联网监控、实时推荐、实时金融风控等场景。

• 全新发布云数据仓库CDW，则可以帮助中小企业快速构建数据仓库，对于常见的运维操作进行高度封装，屏蔽底层复杂的逻辑细节，同时提供多维度全方位智能化的监控体系。

• 全新升级“明星产品”ES，新增自研中文分词系统，准确度和性能均达到行业领先水平。

在大数据基础设施层，

• 全新升级弹性MapReduce，能够实现企业大数据构建成本降低30%。MapReduce实现异构算力的融合，能够在计算高峰期通过云原生的弹性资源或者在线业务的空闲资源快速补充算力。

• 全新发布神盾联邦计算，可以零门槛进行企业间的数据融合计算。

 在大数据应用服务上，

• 全新升级企业画像，提供企业营销、企业风控、企业扶持、产业分析等四个方向的解决方案，助力政府管理、企业拓客和金融机构规避风险。

WeData如何快速落地？ 

以上解决方案，不难看出腾讯云对企业大数据应用痛点有着清晰的认知。

然而，数据开发领域，类似的产品并不鲜，相较之下，具体到场景中，WeData解决了哪些问题？又会有怎样的发展逻辑？

腾讯云大数据产品副总经理雷小平在接受雷锋网采访时表示，

“WeData首先满足的肯定是企业客户的核心诉求，我们也会聚焦两类群客户体：

一类是过去使用大数据比较浅层次，可能就使用了数据报表功能的企业，但现在希望能够利用这些数据做更多的探索，如用户分析。

还有一类是此前可能已经部署了一些大数据相关应用，希望投入更多精力在数据价值上的企业，但这类企业所构建的数据平台的维护和升级成本极高。”

据了解，腾讯QQ音乐首先基于WeData产品进行了大数据能力的重构。

在重构之前，所有的数据分析能力都是基于Spark构建，所有报表的延时也都是小时级。在将热数据全部升级到Clickhouse，并通过WeData进行数据开发工作，重构完成之后数据决策能力从小时级别提升到秒级。

但不同的是，在接触到真正的外部政企客户，很多诉求很难说在腾讯内部就能遇到，如跨源、跨域、跨类型、跨IDC的数据分析需求等。为观察到这些客户诉求并给出可落地的解决方案，腾讯云大数据基础平台总经理陈鹏向雷锋网举了一个实际场景：

“腾讯云产研团队会有专门的类似售前的架构师，可真正第一线了解客户需求。比方说，客户对运营有某些特定诉求，内部就会将这部分能力作为高优先级进行产品化，然后迭代赋能给外部。

在这个过程中，可能会遇到外部客户所能接受的集群规模调度在几十台的量级，如何保证这套协同既能支撑腾讯内部大规模调度又能支撑外部客户低成本部署的问题，其实非常考验整体架构的的能力。”

直接跳过腾讯之前踩的坑，让企业有更多时间关注业务价值，可以说是腾讯云WeData的核心目标。

雷锋网总结

可以看到整个大数据的演进已经从过去比较多地关心存储计算能力，发展到了现在，能够将存储计算封装起来往场景开发和应用服务的方向演进。

这其实也是腾讯云大数据平台接下来的发展方向。据透露，腾讯大数据平台将会在数据安全、智能化、统一平台三大方向重点发力。

正如雷晓平在采访中最后对WeData的未来期待所描述的那样：目前大数据开发平台并没有统一的标准和协议，这导致每个企业用户在平台迁移成本上非常高，WeData主打开源和开放，同时我们也希望将它做成一个生态。

将技术落实到场景中，将研究相关成果开放出来，从WeData身上我们看到了腾讯云对企业用户真正开始了解的一面。

（雷锋网 (公众号：雷锋网) ）

。