青云QingCloud大数据工作台：数据时代的“共振加速器”

从2009年进入国内开始，大数据这个概念可以说经历了一个非常迅速且应用非常广泛的发展历程。2014年大数据被首次写入《政府工作报告》当中，同时随着AI技术的融入，到2016年大数据也正式迎来了万亿大数据产业的元年。

与此同时，伴随着国家 经济 的发展以及越来越多新型智慧城市的实践与落地，使得国内越来越多的城市和地区都在将大数据技术与当地的数字经济发展趋势进行有机整合，这也使得大数据技术在很大程度上拥有了落地实践的广阔土壤。

据赛迪顾问的研究数据表明，到2023年，整个大数据的产业规模将会高达1万亿元的水平，到2027年这一数字将会攀升至1.8万亿元。如此庞大的市场发展前景和高增速的市场表现，使得大数据已经成为几乎所有行业、所有企业都在关注的重点，如何从数据中挖掘价值，从数据中洞察未来，这些都已经同每一个企业息息相关。

直面创新的问题与挑战

要说与大数据技术的整个发展历程紧密贴合，从大数据时代的创新过程来看，青云 科技 可以说一直都扎根于大数据领域的深耕与价值挖掘。

从2014年发布第一款数据产品发展至今，青云已经推出了将近30款数据产品和服务，同时集成了众多优秀合作伙伴应用，从而形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储等在内的众多数据产品生态。

通过这些丰富、全面的产品和服务，青云也已经构建起了一个非常完整、可插拔的、全流程的数据平台，从最初的数据源接入，到数据的处理，再到数据的呈现，具备全流程创新能力，能够为客户在任何环节中提供可插拔式的数据产品和服务。

从创新推进维度上来说，青云正在为百行千业的客户提供着优质服务。

而当今，企业客户对于大数据技术以及大数据产品的关注点正在发生着改变，很多客户正在从过去聚焦于底层资源的维度，进阶到数据层应用与创新的维度，尤其在一些客户经常应用的技术点上变得更加明显：

首先，数据同步。在数据同步的过程当中，客户需要将数据库、数据仓库、消息队列与中间件之间孤立的海量数据进行打通，例如需要通过Elasticsearch进行数据检索，把MySQL当中的数据导入到Elasticsearch，以此来实现不同数据源的实时同步。

其次，实时计算。在实时计算的应用当中，客户在IoT场景中的海量数据通过IoT采集网关，把数据统一采集到平台上之后，需要大数据平台对大量的设备数据、监控数据进行分析和挖掘，最终转化为设备报告和流程优化相关的信息和知识。因此，客户往往就会希望拥有一个更加独立的实时计算平台。

第三，数据开发和作业运维调度。虽然利用诸如大数据引擎等工具可以帮助客户解决一些运维与部署的问题，但是伴随着业务的不断发展，这种方式仍然无法满足数据开发和作业运维调度层面的大量需求。

除此之外，在权限控制、数据仓库、数据服务等很多典型的应用场景当中，企业客户都相继提出了更加全面、严苛的创新诉求。因此我们说，只有打造一个更高效、更强大的大数据平台，才可以有效地帮助更多的客户直面大数据时代的众多问题和困扰。

与大数据时代的“同频共振”

的确，一切产品与服务的迭代和创新，其背后都源于客户的实际业务需要，而透过这些客户的真实诉求，也让我们看到了对于一家科技企业来说，紧跟市场发展的脚步究竟有多么重要，从这个维度来讲，能做到与趋势发展“同频共振”对于企业的业务创新来说大有裨益。

大数据的价值往往并不局限于数据本身，而是数据背后所蕴藏的对企业业务有影响的信息和知识，大数据技术也正是通过对数据不断地进行处理、加工和提炼，从而能够更好地为业务决策提供数据价值，推动业务创新和发展。

在从数据层向智慧层提炼与升华的过程当中，海量数据需要经过一条很长链路的流式处理，如果没有一套完整的系统来保证这条链路高效运转的话，企业就很难保证从数据当中提炼出有价值的信息和知识。

基于这样的应用需求和初衷，青云发布了大数据工作台，通过整合自身在大数据产品和服务领域的优势，为客户提供一个一站式智能大数据开发与治理平台，通过不断降低大数据的使用门槛，将代码开发降到最低，帮助客户实现数据在云平台各产品之间的快速流转，支撑上层业务的同时也有效消除了企业的数据孤岛，实现数据的统一调度和计算，提升企业客户的整体数据洞察能力。

从架构层面来看，青云大数据工作台自下而上拥有五层架构，用来应对大数据全链路的诸多场景化应用需求：

第一层为云原生。青云大数据工作台整体基于云原生架构，可以有效支持容器化的部署。

第二层为全托管式计算引擎。青云大数据工作台通过提供全托管式计算引擎服务，基于Flink流批一体的计算引擎，兼容了多种计算引擎为一体的计算资源服务。

第三层是全生命周期数据开发。在解决完客户的计算资源需求和困扰之后，青云大数据工作台开始为客户提供基于全生命周期的数据开发服务，通过向导式的数据集成，支持可视化的数据加工、调度管理、资源管理、网络管理等多样性的场景化服务。

第四层为高效的数据同步服务。青云大数据工作台通过提供更加高效的数据同步服务，能够兼容结构化、非结构化、半结构化的数据类型，可对海量数据进行实时、增量和全量的同步。

第五层是应对丰富的业务场景。在实现了数据同步之后，青云大数据工作台便可以帮助客户来应对更加丰富的业务场景，这其中包括了BI 商业 智能分析、用户画像、增长分析和数据大屏等一系列应用，能够为客户的业务决策提供更加全面、更加可靠的数据支撑。

基于大数据时代之下企业对于数据技术、数据业务的创新需要，青云大数据工作台层层递进，像“剥洋葱”一样让技术能力与场景化解决方案能力同客户的实际业务进行多维度融合，从而帮助客户实现大数据技术的广泛应用。

从实际的功能模块应用维度来说，青云大数据工作台首先具备了帮助客户实现数据上云的强大能力，其中支持结构化、非结构化、半结构化等多种类型数据的全面上云，可以将数据安全地同步到云端，并且后续的计算过程可全部在云端完成，充分解放了企业的服务器压力。

在云端的大数据开发环境当中，客户可以把数据进行加工。在这一过程当中，青云大数据工作台支持实时处理、离线批量处理，企业客户可根据实际业务需要，选择“可视化算子拖拽、界面化SQL开发、Jar包提交”三种方式来构建数据开发任务。

此外，在作业运维调度的实际应用过程当中，青云大数据工作台自主研发的调度和任务管理模块，可以同步根据任务维护和资源分配维度进行分别监控，实时跟踪计算的饱和度，从而提醒企业客户根据需求调整计算资源。

值得一提的是，在引擎资源管理模块当中，青云大数据工作台提供了云端全托管Flink集群，能够在几分钟时间之内完成计算集群的创建和部署，同时源于对云原生弹性扩容能力的支持，整个大数据工作台可以帮助客户提升资源的利用率，提供细粒度的资源管控。

不同场景下的“深耕细作”

针对不同的客户需要，青云大数据工作台在不同的场景化应用当中也正在扮演着至关重要的角色，尤其是在企业的精细化运营分析场景、实时计算场景、可视化开发运维场景和构建数仓场景等过程当中，则将自身优势发挥得更加淋漓尽致。

在精细化运营分析场景当中，青云大数据工作台主要针对中小型 互联网 或移动互联网领域的客户，能够帮助这些客户将自身积累的大量用户行为数据进行分析，从而为用户推荐和提供更匹配的内容、资讯或商品信息。同时，由于这一类企业客户的大数据分析能力较为发达，因此对数据安全和数据质量等方面的相关需求也变得更加旺盛，因此青云大数据工作台就可以针对重点场景的用户画像、推荐、数据分析、大屏展示以及数据治理提供全面的服务。

实时计算场景的应用过程主要针对智慧工厂和对实时数据有加工处理需求的客户，这些客户可以通过青云大数据工作台当中的全托管Flink计算引擎的管理与可视化开发，轻松创建和运维实时计算作业，通过消息队列进行统一的数据标准，为增量数据和全量数据进行分类处理、分类展示和应用。

在可视化开发与运维的场景当中，青云大数据工作台主要是面向以学习、科研为目的的客户群体，这些客户通过利用大数据计算引擎对数据的成员和权限进行管理，通过多维度计算实现挖掘实时科研数据、实时数据处理、输出科研分析报告等操作。

在构建数仓场景中，青云大数据工作台主要面向的是在青云云平台上已经应用了消息队列、数据库、数据仓库、大数据计算存储的客户，这一部分客户可以将数据按照不同的业务线和数据存储类型，存储在不同的存储介质当中，当数据需要在不同的介质之间进行传输的时候，就可以非常快速进行计算存储和分析。

由此我们不难看出，青云整合了大数据时代不同企业客户最为典型的业务和创新需要，把具备“开箱即用、弹性扩容、存算分离、开放兼容、安全可靠、生态整合”六大创新能力的大数据工作台提供给客户，更加高效地服务于客户的数据集成、加工、存储、呈现，打通大数据全链路，让数据真正服务于客户的实际业务，释放价值，洞察未来。