青云科技发布大数据工作台 为企业提供一站式智能数据开发与治理平台
“如果你拷问数据到一定程度,它会坦白一切。”这是1991年诺贝尔 经济 学奖的获得者、新制度经济学的鼻祖罗纳德·哈里·科斯(Ronald H Coase)的经典名言。
当下,以数字化、网络化、智能化为主要特征的第四次工业革命蓬勃兴起,人工智能、 区块链 、云计算、物联网等信息技术飞速发展,数据作为新的生产要素已成为推动全球经济发展的新动能,而数据所引发的生产要素变革,将进一步重塑我们的生产、需求、供应、消费,乃至社会的组织运行方式等。IDC数据显示,2018至2025年全球数据圈将从33ZB增至175ZB。其中,随着联网人口持续上升,视频监控等基础设施不断普及,中国数据圈增速最为迅猛,预计到2025年将增至48.6ZB,占全球数据圈的27.8%,成为全球最大的数据圈。
数字经济的发展及业态创新本质上是基于数据信息的价值创造。未来,作为企业的核心战略资产,数据将全面参与企业运营,促进企业的资源整合能力,决定企业的数智化进程。在时代浪潮面前,深挖数据价值,释放数据潜能,将是企业乘势而上,推动业务升级和产品创新,积极抢抓发展红利的重要路径。
需求为先深挖数据价值
我们都知道,数据的价值并不是数据本身,而是数据背后所隐藏的、对业务有影响的信息和知识。想要提取数据中蕴含的价值,就需要将数据与生产资料相结合,形成价值产出,融入企业的价值创造,推动产业升级和转型。当下,随着大数据产业的繁荣发展,企业对数据资产管理和运用的需求也进一步升级,最初的整合底层数据以辅助决策的做法已无法满足企业发展需要,已经开始进阶到打造全流程式的大数据平台,以实现数据价值变现的新阶段。
青云 科技 作为一家技术领先的企业级云服务商和数字化解决方案提供商,坚持从客户需求出发,自2014年以来陆续推出近30款数据产品和服务,同时集成优秀合作伙伴的应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储的数据产品生态。近日,为了满足企业逐渐升级的数据价值提取和实时数据处理需求,打通大数据全链路,青云整合已有的数据产品和服务,重磅推出了青云大数据工作台。
大数据工作台是青云近30款数据产品和服务的“集大成者”,不但可以降低企业应用大数据的门槛,让非技术人员也能进行大数据分析,还可以在不同云平台之间实现数据的快速流转、统一调度和计算,消除企业“数据孤岛”,深挖数据价值,提升整体洞察能力。
青云QingCloud大数据产品经理刘雄风表示:“青云大数据工作台具有数据集成、数据加工、统一存储和服务等功能,具有开箱即用、弹性扩容、存算分离、开放兼容、安全可靠、生态整合六大优势,能够应对丰富的大数据业务场景,实现高效的数据同步服务、全生命周期数据开发与治理,并且可以基于云原生的架构,进行容器化部署,为用户提供更加全面和优质的服务。”
技术为用打通大数据全链路
青云大数据工作台可以适应目前企业多样化的数字化转型需求,满足大数据全链路场景需求。一方面,青云大数据工作台可依托青云公有云提供的天然Demo和快速反馈更新能力,便捷地更新迭代产品;另一方面,青云大数据工作台基于云原生架构开发,可以兼容不同容器平台进行独立部署,在保持弹性计费和灵活扩缩容等云优势的同时,还能够保障服务的高可用和数据的高可靠,具备企业级的性能和特性。
从整体架构来看,青云大数据工作台底层为云原生架构,并以Flink流批一体的计算引擎为基础,在支持容器化部署的同时,兼容多种计算引擎为一体的计算资源服务。此外,青云大数据工作台还提供全生命周期的数据开发服务和高效的数据同步服务,能够兼容结构化、非结构化、半结构化数据,并对数据进行实时、增量和全量的同步。通过向导式的数据集成,青云大数据工作台支持可视化数据加工、调度管理、资源管理、网络管理等多种场景,能够帮助客户应对BI 商业 智能分析、用户画像、增长分析和数据大屏等丰富的业务场景。
目前,青云大数据工作台已经上线1.0版本,具备“数据上云、数据开发、数据同步、作业运维调度、引擎资源管理”五大功能。
在数据上云功能中,青云大数据工作台能够提供本地数据源的上云服务,支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8种数据源,可将数据安全地同步到云端,在云端完成计算,充分解放企业的服务器压力。此外,青云大数据工作台还支持连接串模式数据源的创建,能够对接入的数据源进行列表展示和管理。
在数据开发功能中,企业可以通过青云大数据工作台在云上大数据开发环境中执行实时数据处理、离线批量处理等数据加工任务,并根据自身业务需求,选择以可视化算子拖拽、界面化SQL开发、Jar包提交等方式构建数据开发任务。
在数据同步功能中,青云大数据工作台拥有向导式和脚本式两种数据同步方式,让企业可以通过便捷、简单和可视化的智能映射,快速地按步骤完成数据配置和数据集成的读取和写入。处理完的结果数据可根据不同特性存储在不同的存储介质中,以备使用。
在作业运维调度功能中,青云大数据工作台自主研发了调度和任务管理模块,可以根据任务维护和资源分配维度分别进行监控,实时跟踪计算的饱和度,方便企业根据需求调整计算资源。其中,任务管理模块可对任务进行资源管理、函数管理和告警管理,能够对运维相关日志进行记录。通过业务流程、操作方法和操作状态筛选,企业可以简单明了地看到大数据工作台中正在执行的任务状态。
在引擎资源管理功能中,青云大数据工作台提供云端全托管的Flink集群,可以在几分钟内完成计算集群的创建和部署,还支持云原生弹性扩容能力,节省企业资源,提高资源利用率,实现精细化资源管控。除了安全稳定外,青云大数据工作台还支持按量和包年包月计费,可以适配不同的客户需求。
接下来,青云大数据工作台将进一步打通大数据治理环节,形成统一的数据处理和治理的平台;建立明确的数据资产体系,为客户的数仓构建提供引导式的帮助;针对不同开发视角和操作,在客户体验、数据运行、稳定性、容错性等方面进行整体的优化和提升,为客户提供更优质的产品和服务。
数据汇聚为信息,信息提炼为知识,知识转化为智慧决策。未来,青云将初心不改,以服务为先,不断洞察企业需求,完善自身技术和产品服务,加速企业数智化进程,助力数字经济高质量发展。