甲骨文公司副总裁高礼强：大数据创新推动数字化转型(附PPT）

 高礼强

 甲骨文公司副总裁

 中国区技术总经理兼大数据和商务分析业务总经理

 中国区技术总经理兼大数据和商务分析业务总经理高礼强先生在2016年第三届中国国际大数据大会上发表了关于《大数据创新推动数字化转型》的演讲，精彩内容摘录如下：

 谢谢主持人。大数据在中国近几年经历了探索期和市场启动期，对于一个每天工作于其中的人，感觉到最近1-2年的时间差不多是到了一个大数据的高速发展期，尤其是到了2016年和马上到来的2017年，应该是大数据应用的一个成熟期。这其中不单是大数据相关的技术逐步走向成熟，相关主流技术已经经过了一个商业化的沉淀，同时也包括我们很多的企业和政府对于自身大数据需求越来越明显，场景越来越具体化，所以从整个业内来讲呈现出高速发展的一个阶段。

 从技术的提供者来讲，Oracle是一个技术企业，也不是特别的神秘。企业要做大数据或者政府要做的大数据，首先要对数据经过一个管理和处理的过程。在这个过程当中通常有四个层次：

 第一，关于数据的收集和存储，这个不太容易，传统的企业的数据都是高价值的一些交易的数据，但是在互联网的时代，大家都知道数据的形式发生了巨大的变化，海量的不同格式的数据、不同形态的数据扑面而来，所以我们需要用一些新的技术去捕捉这些数据，然后汇集起来。

 第二，所有的数据最后无非是两种形态，一种是比较高价值的关系型数据，这个在我们的一些企业里面尤其明显。他们的ERP、CRM、供应链等等贡献的都是这一类高价值的数据。但是随着我们工业4.0企业的智能化，我们发现来自传感器、物联网的数据越来越多，又形成了一批非关系型的数据，我们做大数据其中有一个环节做一个大数据的服务。怎么把关系型、半机构化的、非结构化的数据整体的管理起来？这是一个课题。

 第三，这个部分也是我们过去一段时间看到的。当你把数据费了九牛二虎之力整理出来以后，我突然发现没有办法利用这个数据，做好数据的探索，这个是需要积累的，在国外数据分析师、数据科学家是一个很专业的一个概念，很专业的一个领域。在这个领域当中，我们处于一个学习的过程，当然我们也需要一些好的手段和技术去帮助把这样一个数据探索的工作做的更加有效率，所以发现这个知识、做数据探索也是非常新的一个领域，过去我们并不太擅长。当然过去一些年，我们讲到BI商业智能，商业智能跟数据探索是两个概念。商业智能知道你想要什么，精准的到你的数据库里面抓信息，效率是相对来说比较高的。数据探索所有的数据都堆在你的面前，你要有一种科学家的精神去探索他们不同数据之间的一个相关关联性，这两个是有一些不同的，从处理的效率来讲差异很大。

 最后一个层次是所有的这些数据变成为一个智慧，可以帮助企业做更好的决策，做业务的创新，所以通常来讲大数据分析分成这四个层次。

 在国内我们看到的一些大数据项目，包括这一两年我们自己做的也不少，通常这些大数据项目也是分成三个阶段。第一个阶段过去是花费时间比较长的，叫做平台的建设。我们很多企业都已经在做，把一些低价值的数据、高价值的数据怎么样形成一个数据库建立起来、管理起来，这个不太容易。第二个阶段我们创造越来越多的大数据应用，并开始关注信息的探索，但并不是在一个底层的平台上面花太多时间。第三、数据深化应用，目前来看市场上做平台的公司比较多；也开始有一部分逐步在做信息探索、分析；也有少部分的应用开始进入到一个应用的深化和增值服务阶段。所以这是我们大数据建设的现状。

 我今天代表Oracle，借这个场合跟各位介绍一下Oracle大数据的一些概念和技术，今天只有20分钟，没有办法讲的很细，我只能概括性的谈一下。

 首先这幅图当中是一个大数据管理平台，也就是建设一个大数据之湖。大家都知道过去四十年Oracle都是做数据库的，高价值数据的管理。Oracle是全球领先的软件企业，所以无论是我们的数据库技术，还是支撑数据库的软硬件一体化技术，其处理高价值数据的能力是毋庸置疑的。当然现在对于一些海量的低价值的数据处理，用分布式计算比较多。在这点上我们也去拥抱一些开源的技术，我们并不做Hadoop的发行版，但是我们在跟业内主流的Hadoop有紧密合作，包括今天也会来的Cloudera等。我们做什么呢？我们做大数据一体机。在一体机里我们内置了Hadoop的发行版，以及相关所有常用组件。我们把它们软硬一体化，进行了网络优化，所有的软硬之间做的优化使大数据一体机变成一个支持企业开箱即用的产品，所以有效的使企业构建数据湖的速度有了一个极大的提升。我们也做过一个测算，差不多能省掉四分之三的时间，这是在平台方面。

 我们讲了Oracle要建立平台当然可以，但数据从哪来？有很多人说我用一些开源的集成、采集技术就可以了。但作为商用产品鼻祖的Oracle也很齐全，如果你需要一种数据库之间实施同步的工具，可以试试ODI，批量数据的采集与集成，将数据采集到数据湖的过程是一个自动化的过程。另外有一部分大数据应用是需要用到快数据、流数据的功能，我们针对这一部分也有专业的流数据处理引擎。这都是基础的部分，构建大数据之湖的平台技术，现在已经非常成熟，而且在这个领域我们在全球排名是靠前的。

 底下的部分，大家看到数据的探索和挖掘，这部分就是我刚才讲的，现在很多大数据项目进入到第二个阶段的时候就开始苦恼了，东西都在Hadoop里面，看不到，管理起来非常有难度，你要去探索这些数据之间关联性非常困难。有没有一些相对简单、可视化的、人机互动非常友好的工具来处理它？Oracle是有的。我们过去有一款产品叫做Endeca，这个产品在若干年前就是一个企业级的、基于搜索的大数据分析工具。今天在它的基础之上，我们开发了一个叫做大数据探索平台，这个平台是业内第一款探索Hadoop里面数据的探索工具。跟传统的BI软件不一样，它直接基于Hadoop，可以用非常快速的、可视化的方法让你看到大数据湖当中的数据分类和结构。这个工具是面向于非专业人士，企业如果有非专业人士做数据分析，它就是一个特别适合平台。同时整个数据处理的过程几乎是统一的，包括数据的浏览、转换、探索、挖掘和最后的信息分享，一个平台就可以解决，这是一个非常高效率的工具。当然我们有一些同事说，一些软件工程师更喜欢编程建模型来做，Oracle在这方面也提供了非常丰富的产品，我们把开源R跟Hadoop结合起来，Oracle有这样的图形化分析和数据可视化等等一系列的工具。这些工具是适用于在做数据探索分析的不同人群，因为不同人群希望有不同级别探索手段。你可以看到从数据湖的建立，到数据探索，到整个数据的利用，到推动业务的创新，Oracle的大数据技术架构是非常完整的。我们不仅仅是一些商业产品，我们也跟一些开源技术相结合。

 这个图大家可以看到也是业内的第三方评估。数据仓库的部分不用讲了，你看若干年的报告，Oracle在数据仓库这个领域都是排名右上角的，这跟我们三十多年的积累是有关系的。在Hadoop优化中，Hadoop优化是一个新的概念，如果你自己用X86的集群建一个Hadoop，这不是一个优化系统，优化系统是一个一体机，软硬之间我们将几百项配置做好，达到开箱即用的程度。这种国际上也蛮多的，在这个领域当中，Oracle也是处于一个非常领先的一个位置，有机会大家可以去看看看。当然可能有一些同事会觉得你这个东西是不是很贵？其实还好，给大家一个简单的比较，如果你用X86的机器搭建一个集群，你采用了Hadoop商用版本，你采用他们原厂服务，我就告诉你，这个一体机的整体拥有成本就比你刚刚的模式便宜挺多的，所以它是一个经济型的Hadoop的一体机。如果你告诉我所有的东西都是开源的，所有的东西都是免费的，我自己去维护，那就是另外一个场景了，你只是把成本从一个投入在产品上的成本投入到人上面，你对你的专业团队就有更多的依赖了。

 在做大数据信息处理的时候，大家就特别的关心，当你的数据在这样一个数据湖当中的时候，有关系型的数据，有非结构化的数据，有一些数据放在传统的关系数据库里面，有一些数据放在Hadoop的架构当中，怎么样做数据的访问和查询？每种数据都有很多访问的工具，你都可以去用。但是业内，懂SQL语句的技术人员是最多的。如果你告诉他这些语句都过时了，你不能访问大数据里的数据了，你必须完全重新学习新的数据访问方式的时候，对我们的技术资源是一个极大的浪费。这个是专为大数据的查询开发的一个产品，它基本上集成了传统SQL优秀的功能，特别是包括我们的智能扫描、存储索引等等，最关键的SQL技术都有体现。不同的是，传统SQL只能访问关系型数据库，而Big Data SQL是可以跨平台。一个语句可以目前跨平台查询你的数据，所以这个工具的产生令到我们对于大数据处理的技术门槛有一个极大的降低。因为只要懂SQL，就可以用你的SQL语句访问你的大数据源，这是一个革命性的，同时也是一个极大的便利。

 下面讲一些我们最近做的一些案例。我们最近接触的是各行各业的用户，包括有传统的像汽车行业的，他们也很困扰，为什么这个车型好卖？为什么另外一个车型不太好卖？为什么我跟竞争对手有这么大的差异？我自己有很多的数据，有研发数据、售后服务数据、销售数据，还有很多外部数据，有很多是专门行业的论坛，讨论我们这些产品。我把所有的这些信息能够建立一个数据湖中相关性分析，Oracle的技术帮他实现。我们帮他搭建数据湖，采用轻建模，实现对所有数据的可视化，对数据关联性的分析。在这点上来讲，是用一个最便利的方法实现客户快速达到的一个综合数据应用效果。我们也帮他们去做基于未来的一些销量预测，经过分析，我们的预测结果非常接近于事实，这在过去是一个非常困难的事情。

 在Oracle大数据相关技术当中，我们也有相当一部分是植入了机器学习机制。机器学习和我们传统数据挖掘是不一样的，传统数据挖掘是通过建立模型，然后输出结果，用人工的方式调整模型，再去运算，再观察结果，这个是非常低效率的一种数据挖掘的方法。

 Oracle这个模型建立过程是一个闭环的，建立之后去执行，执行的结果自动反馈回来做分析，系统自动优化模型，在新的模型经过了几次运转以后，对于很多分析精度越来越准确，我们把这一套机器学习的方法运用到电信等等精准营销方面取得了非常好的一些效果，他对于数据的利用的效率有了极大的提高。这是我们今天在做精准营销时非常需要的一些技术。

 目前各级政府也都在考虑对于大数据的利用，包括信息的整合、分享和开放，整个过程非常复杂，所以这种复杂性对于大数据实验平台的集成性提出了一些很高的要求。甲骨文大数据平台为政府的应用提供一个非常好的基础，当然我就不一一展开了。

 我们最近在农业大数据也有一些成果。今天农业跟传统的农业不太一样，田间地头里面是有很多设备的，都可以捕捉到一些信息，它们对于土壤、天气都有很精准的一些捕捉。同时对一些畜牧业，也有很多物联网技术的使用。牛的身上也可以贴标签、穿计步器，将整个的饲养过程量化、数据化。什么时候喂药？什么时候预防？什么时候奶牛产奶量最大……等等。我们碰到了很多农业方面的企业，他们的数据来自于方方面面，不同系统，怎样快速采集到数据湖中，迅速的分析这些属性之间相关联的关联因素。怎么样给到我们的企业，给到农户，给到养殖户一些有用的信息和精准的提醒，我们都在积极的尝试。

 政府比如说税务方面，甲骨文也是在积极的做尝试，比如说我们有很多的审视，希望了解本地区经济的流向，某个地区东西都卖给谁？这个地方都从哪一些地方买东西？我们需要看到商品的流向，这种流向希望看到一种图形化的，有空间感觉的，未来也可以扩展到物流环节中。这个我们也在做积极的尝试，用到了Oracle的一些技术。

 大数据的探索也使得在过去海量数据当中隐藏的一些我们所需要了解的信息变得清晰化，我们帮助一些税务机关迅速的捕捉一些空壳公司，放到一个监管的重点领域里面去，这是我们要做的事情。我们同时应税务机关的要求，用我们的图技术，分析金融欺诈。比如说两家企业互相开发票，互相冲营业额，这样可以申请到银行贷款，这些都是一些属于金融欺诈的行为，怎么样捕捉这一类操作呢？当然两家公司对开是比较明显的，我们在很多数据分析当中，有两层、三层，甚至四层嵌套有组织的犯罪，在大数据的技术当中，特别在我们图计算的大数据技术支持之下，这种图分析就变得非常简单和清晰了。

 上面所讲的这些，一部分是这两年我们跟一些行业所做的积极的尝试，所利用到的技术大部分是用Oracle商用的大数据技术。

 最后这一页的部分我想跟大家分享一下大数据也进入到云计算的环节，为什么需要？因为大数据分析的特点是在某一个时间段突然需要非常大量的计算资源，但是在用完之后，这些计算资源就需要迅速的释放掉。这跟交易系统不一样，对于计算资源的需求不是一个均衡可预期的状态。所以当业务多的时候，我这笔数据需要处理一下，处理完了拿到结果就走了。面对这样的需求时，如果企业去自建一个大数据平台，并包含所有的大数据处理能力显得不是很经济。对Oracle来说，我们看到了这个趋势，同时我们整个也是向云端转型，所以我刚才谈到的几乎所有的技术都已经把它做了云的包装，把它转换成一个云的服务。所以今天来讲，如果我们所代表的企业应用，对于大数据的处理是具备刚刚所描述的这些特点的时候，最快速的方法是采用我们的云服务，这样你的成本是最低的，实现的过程是最快的。因为所有的技术处理都是由厂商帮你在后台完成；同时也是最经济的，因为你不需要拥有这样的一套大数据的处理能力，你只需要把数据放到里面。除非你一直有这样大数据的应用需求，你需要一套相稳定的、自己拥有的平台，否则其实大家可以考虑这种大数据的云服务，而且它已经非常的完整。在我刚刚所讲的几乎是每个环节，数据采集、数据准备、数据处理、探索、利用等等，每一个环节上都有相对应的大数据的云服务，这是大数据技术的一个发展方向。

 非常感谢各位今天来听我做这个演讲，用20分钟的时间，只能是蜻蜓点水，这是Oracle大数据的公众号，从这里可以拿到一些非常丰富、及时的大数据技术文章，希望关注，谢谢大家。

点击进入 甲骨文公司 在数据观的企业栏目>>>

责任编辑：陈近梅