对话青云QingCloud｜有关大数据工作台的“十问十答”

近日，青云QingCloud正式发布大数据工作台，可为客户提供“数据上云、数据开发、数据同步、作业运维调度、引擎资源管理”等功能模块，实现数据在云平台各产品之间快速流转，消除“数据孤岛”，统一调度和计算，助力企业一键开启云端数据洞察之旅。

青云QingCloud 大数据产品经理刘雄风与多家 IT 科技 媒体 分享了大数据工作台在云原生、混合云、工业 互联网 等热门领域的技术实践和业务应用。我们精选了十个精彩问答，一起深入了解青云大数据工作台????

Q：与目前市面上已有的大数据开发和治理平台相比，青云的产品具有哪些优势和不同？

A：市面上成熟的大数据开发和治理平台，大多都是在比功能。而现实场景里，客户不一定需要所有功能，而是更看重性能。就像我们买 手机 一样，运行流畅与否更加重要，而不是那些不常用的功能。

关于青云的产品优势，首先，我们是基于云原生架构进行开发的，具备天然的跨云服务和弹性计算的优点。其次，我们聚焦解决客户实时计算等数据业务场景需求。此外，我们的界面及功能上的历史包袱基本上是没有的，客户可以更聚焦地做数据开发。

Q：大数据工作台是否可以看作是一个数据中台？如果不是，它与数据中台的差别在哪？

A：数据中台是在 DT 时代大背景下，企业为实现数据快速、准确、低成本赋能业务发展目标，将数据统一整合起来，基于 Onedata 方法论而搭建的平台。借助于数据中台，企业可以进行完善的、统一的数据加工和处理，对外提供数据服务能力。目前市面上的数据中台，主要以大项目的定制化方式进行私有化交付，其成本是比较大的，周期也是比较长的。

与数据中台的差别在于，青云大数据工作台采用云原生架构，没有基于传统的 Hadoop 体系的YARN 来做资源调度，而是基于 Kubernetes 实现资源的调度。同时，青云大数据工作台聚焦于数据使用场景下，解决数据集成、流批一体计算、统一运维和统一数据服务共享等问题，并通过云端一站式、便捷低成本的方式，帮助中小型企业快速发挥数据价值，构建“云上数据中台”。

Q：混合云成为越来越多企业数字化转型的选择，大数据工作台如何确保跨云之间数据甚至是算力调度的流畅及安全？

A：数据跨云传输和计算其中有两个关键点：一致性流畅的体验，以及组网。青云作为“混合云第一股”，一直是以“公私一致”的技术架构为混合云用户交付公有云与私有云，大数据工作台也是公私统一架构，能够为客户提供一致的使用体验，降低运维管理的复杂度。网络层面，青云提供丰富的组网模式，用户通过控制台即可完成不同网络接入方案的配置。

目前我们正在规划满足客户跨云算力分配的场景功能，即在私有云突发算力任务加剧的情况下，将一部分数据作业调度到公有云，利用公有云作为算力补充。

Q：弹性和灵活的部署是现在很多企业看重的一个特点，大数据工作台在这方面有何优势？

A：大数据工作台是一款即开即用、便捷高效的企业级数据开发云服务，几分钟就可以搭建整体的环境和部署，一键开启您的数据价值洞察之旅。除了支持基于云平台/AppCenter的部署，我们也支持私有化交付，支持基于容器（K8s、KubeSphere）的部署，对于希望基于容器部署大数据组件的用户来说是非常友好的。

Q：对于企业而言，如何根据自身发展阶段和业务规模，把大数据工作台的价值发挥到最大？

A：如果一个企业需要一个人专门负责企业日常的数据计算和输出，甚至数据的开发，那么他一定会需要大数据工作台。当企业数据量达到GB级别，也可以使用大数据工作台。在复杂场景下，大数据工作台每个CU每秒可以处理3000条至15000条数据。在这种数据量的处理下，我们一个CU的计费不到4毛钱/小时，既 经济 又高效。因此，无论从计算成本来看，还是从人力成本来看，只要有数据计算需求的企业，都可以把数据的集成、开发和数据的使用交给大数据工作台，开发人员只需要专注业务即可。

（*CU：大数据工作台的计算资源单位。1 CU 是 1 核CPU 4 GB 内存）

Q：大数据工作台的使用者具体是大数据技术人员还是业务人员？

A：我们的使用者除了技术人员，还有业务人员。技术人员包括数据开发人员、数据运维工程师、数据架构工程师等多种角色。对于技术人员，我们提供Flink SQL的方式，技术人员只要会写SQL，就可以进行数据的处理。业务人员可以通过拖拽的方式构建数据的连线，只需要定义数据的来源和目的，通过字段的映射连线，即可使用。

Q：目前青云大数据工作台最大的亮点是什么？

A：大数据开发工程师是一个庞大的群体，以往大数据引擎 QingMR 给数据开发工程师提供的是一个免运维的大数据存储计算平台，虽然节约了运维成本，但用户要做数据开发，还是需要在本地 IDE 开发好后，通过命令行的方式提交到 QingMR 中，非常不方便。

大数据工作台提供「云端可视化开发 Studio」，可以让数据开发工程师在云端可视化开发，一键提交，全托管调度，大幅度节约开发成本和周期。

Q：大数据工作台的运维中心支持哪些运维工作？

A：我们的运维中心主要包括：一、对资源的调度，可以对集群整体资源进行管理，就是对全托管 Flink 集群进行操作。二、对数据加工作业进行运维管理，可以管理数据加工作业的调度状态、运行状态、作业版本。三、提供原生的 Flink UI，能进行任务运维的查看。

Q：大数据工作台在企业中的应用如何？得到了什么样的使用反馈？

A：目前，青云大数据工作台已经应用在工业互联网客户场景中，为企业构建工业互联网数据中台。通过研发工程师的工单机制，快速响应客户的需求和问题，获得了客户的好评。同时，我们也在快速迭代产品功能，和客户共同快速成长。

Q：大数据工作台还有哪些需要优化的地方？接下来如何进行优化升级？

A：接下来，大数据工作台会利用公有云快速反馈迭代的优势，优化客户体验，增强平台稳定性和高可用性，并逐步迭代扩充客户所需的功能，包括数据资产、数据治理等。通过与客户 商业 化合作和共建来沉淀场景化方案，在工业、交通等细分领域深耕，沉淀产品能力，并推广到其他行业客户中。

青云大数据工作台目前处于公测阶段，可免费试用，并每位用户提供 12 CU 的免费计算资源，一键开启大数据洞察之旅。