物联网和数据驱动的企业：如何充分利用数据洪流

在现如今这样一个物联网(IoT)的世界，从供热系统到生产控制系统再到射频识别(RFID)标签，一切都在收集数据信息。

这样的数据收集既有好处也有坏处。好处在于，因为这些数据信息被锁定，使得您企业可以更好的提高工作效率，更智能化地工作，并寻找新的营收和资源来源。坏处则在于，很少有企业是真正为大量数据洪水做好了充分的准备的。

为了帮助您的企业更好的处理数据并设计出最佳的数据管理策略，我们寻求了大量业界专家的意见和建议：其中包括了来自通用电气和英特尔的物联网领域的专家，这些企业已经全面部署了物联网;同时还有一些专门负责帮助企业用户应对物联网大数据相关问题的企业的专家。

在本文中，提供了对于这一问题的深入研究以及相应可能的解决方案。

问题一览

在我们听取相关专业人士的建议之前，让我们先简要地对该问题的状况进行一下一览。主要负责销售大数据分析平台的Datameer公司表示说，到2019年，将会有350亿台设备连接到互联网。共计将有40000艾字节的数据通过各种互联设备的传感器生成。

我们所探讨的是什么样的数据类型呢?其可能是任何类型的数据。例如，制造企业使用传感器来检查他们的设备和仪器，以确保一切生产工序的顺利运行，并完善制造工艺流程。而零售商们则可以使用数据来更好地跟踪销售，并将销售信息与供应链联系起来。而日常设备也将收集数据信息。

因此，一项由埃森哲和通用电气联合进行的调研发现大数据现在已经成为企业最为关注的问题也就不足为奇了。在受访的高管中，有88%的高管均表示说，大数据项目是其所在企业当前三大重点项目之一，而82%的受访者表示，他们将在未来三年内建立或增加其现有的大数据平台或他们的数据分析能力。

来自通用电气的长期观点

从各方面来看，GE都可以说是物联网和大数据应用的先驱之一，无论其在自己企业内部对于该技术的部署采用还是为其企业用户提供充分利用物联网数据优势的服务方面。GE的业务范围涵盖了诸多领域，从航空业到能源管理、医疗保健、石油和天然气、交通运输等等，工厂遍及世界各地。所以该公司不得不在大多数其他公司之前面对物联网数据洪水。根据该公司的经验，其为物联网和数据销售产品和服务，特别是在通用电气的智能平台事业部。

通用电气智能平台软件部门的首席软件架构师Rich Carpenter表示说，对于大多数公司来说，他们在利用物联网的数据方面所面临的第一个挑战是数据的收集，这是一个比您想象的要艰巨得多的任务。

他说：“我们在自己的业务中面临着很多这方面的问题，我们有400家全球性的工厂，以及海量未与网络连接的设备，因为大量的设备是在互联网流行之前就已经被安装的。”

他说，通用电气将其设备分为三类：完全无连接的设备;能够连接，但需要一些工作来完成连接的设备;已连接或可以很容易地连接的设备。然后，GE针对每种类型的设备分别实施了不同的数据收集策略。

但是，仅仅收集来自物联网设备的数据是不够的。物联网数据可以有许多不同的格式，其可能互不兼容或无法与数据分析软件兼容。

在其工业生产中，通用电气安装了数据采集设备，其称之为现场探员(field agent)，具有安全、身份验证的连接到数据存储的公共或私有云。设备不仅能安全地发送数据，而且还可以决定收集什么数据，使用什么协议来收集它们，以及如何存储数据。

一旦数据被收集，企业需要理解这些数据的意义，并挖掘有用的信​​息。这是非常困难的。而更具挑战性的是要充分利用这些数据信息，然后用它来改进企业的工作方式，比如使得一个制造工厂的生产变的更有效。

Carpenter 警告说，许多公司都停留在了这个阶段。他就企业如何解决这个问题提出了相关建议。

“一些公司通过挑选一处制造工厂开始，并尝试将其进一步在全企业范围内推广之前，进行该试点工厂的数据采集和分析。但他们可以永远地解决所有的问题，即使是在一处试点工厂。我们已经了解到，一套更明确的解决方案是奏效的。先在该试点工厂实现70%的部署，然后将其规模化扩展到整个企业。这可以为您企业更快的带来更大的价值。”

Carpenter还表示说，几乎所有类型的企业最终将不得不考虑采用物联网数据，并成为数据驱动型企业。

他说：“这并不仅仅是针对那些制造企业或已经知道需要进入物联网的公司。所有的企业都将需要物联网数据，无论是对其资产的管理维护，企业资源管理，供应链，或是帮助员工更有效地工作。”

来自英特尔建议：首先关注您企业的业务目标

英特尔数据中心集团大数据分析战略总监Vin Sharma同意 Carpenter的几乎任何一家企业总有一天都会需要利用物联网的数据的观点。

“农业，制造业，医疗保健业都有明显的利用物联网数据的愿望和需求。”他说。 “但我们所的期望是，每家企业都希望能够利用所有他们所能够获得的数据，而这意味着物联网的数据。我竭力想象一个不需要这种数据信息的行业，但实在很难想象。例如，零售业的企业可以通过监测库存商品的RFID标签来获得很多价值。最终，许多公司的目标将是获得对于其客户的360度的视角，无论是对医疗行业的患者，农业产业的农民，或是零售行业的消费者。“

Sharma说，也许企业利用物联网数据最大的错误是与技术无关，而是一切都牵扯到对于其业务目标的理解。

“一个常见的问题是，企业在开始之前对于他们要解决的分析问题以及他们的业务目标，并没有一个非常明确的定义。”他说。“这方面存在一定的含糊不清，并转化成了长期部署的拖延。但一旦企业对于他们想要完成的目标有了一个非常清晰的想法，事情往往会很快达成。”

Sharma列举了服装行业着手部署任何物联网项目之前，作为明确定义业务问题的重要性的一个例子。

“比方说，让我们来看看我的商店的库存的准确性是否如我所希望的那样。”他说。 “这迫使我需要积压服装产品，这会造成浪费，降低了我的利润。而这种状况也同样延续到了供应链。所以，我知道提高我的店内库存的准确性，将提高我的收益率。这给了我关于我所想要解决的问题的一个非常明确的定义。“

明确了这个目标，企业可以设计一个系统，以获得关于其库存的存储货物的更多的细粒度和准确的数据，例如通过使用射频识别传感器阵列。

他说，第二个大问题是企业的物联网项目所涵盖的范围——通常，他们的范围会过大而变得笨拙，很难部署和管理。

“我们看到很多企业通过规划一个非常具体的措施范围使得概念验证取得了成功，然后实现了一个小规模的试点。在此之后，他们可以跨整个企业范围在横向和纵向水平规模化缩放他们的业务。“

他回到关于服装需要得到更准确的库存盘点的例子。他建议在一个单一的存储仓库进行库存盘点试点，以解决所有问题。之后，可以扩展到所有的300处商店仓库，然后添加其他类型的数据收集到项目部署。

使用基于云的Hadoop平台

即使企业对于他们想解决的业务问题有了明确的定义。但除非他们拥有分析平台来进行数据处理，否则他们是无法使用物联网数据的。越来越多的开源Apache Hadoop被视为首选的平台。原因在于：其提供了分布式存储，并通过使用由低成本的商品硬件构建的计算机集群来处理非常大的数据集。

但是Hadoop并不容易部署，而且是超出了许多企业技术专家的专长。此外，很多企业可能并不愿意部署大量物联网数据可能需要的平台。因此，许多提供基于云的、端到端的Hadoop平台，专为处理大数据，包括物联网数据的服务企业如雨后春笋般涌现。这样一来，企业可以专注于数据分析，而不是关于建设、部署和管理一个完整的平台的争吵。

Datameer公司便是提供这类平台的供应商之一。Datameer公司于2009年首先建立了自己的平台，该公司技术产品营销和推广高级主管安德鲁·布鲁斯特警告说，企业千万不要陷入了当前物联网过度的炒作。

“目前，物联网正处在其炒作的黄金周期，所以听起来似乎企业所面临的数据问题是全新的。但在其核心，其并不是的。我们现在一般讲的是流媒体的数据和分析。主要的区别是，我们现在可以从更大量的数据源收集数据，并且我们收集这些数据的频率也更快。”

他说，物联网数据的最大问题之一是：其是来自使用许多不同的协议和数据标准的许多不同设备的，而且这些协议和数据标准不一定是彼此相容的。在一些情况下，数据是高度结构化，而在其他情况下，却不是。

“我可以给人们的最大建议是寻找能够让您在所有的物联网数据上创建一个抽象层的技术和工具。这样，当您得到了很多不同类型的数据时，您仍然可以对其进行处理，因为该平台将能够处理新的标准。同时您还需要寻找一款将能够从尽可能多的将不同来源的数据进行集成整合的产品。”

布鲁斯特还表示，企业雇佣具备合适分析技能的合适的员工也是非常重要的。他也承认，现如今的数据科学家都供不应求，但他认为没有必要只是雇用有该职位头衔的人。

“虽然围绕着数据科学家这一概念还有太多的神秘感，但是您不应该仅仅因为市场对于这一职位的炒作很厉害，就认为您企业也需要雇佣一个具备这方面技能的人。”他说。“如果您企业有具备很好技术的员工在数据仓库和IT 部门工作，您可以为他们提供专业知识培训，以便他们能够胜任该工作。您不仅可以获得合适的资源，而且还可以为您的企业的相关员工提供相应的机会。”

Altiscale公司还提供了一款基于云的Hadoop平台。该公司的首席运营官Mike Maciag认为，借助物联网的数据的工作与以往借助大数据工作的方式有着显著的不同。

“在很多情况下，物联网数据是许多小的数据不断累积起来的数据的集合。”他说。 “不断有恒定的数据流汇集成数百TB然后再汇集成艾字节。此外，其通常时非结构化的数据，因此其在变得有用之前可能需要大量的操作处理。而独特的是，许多数据都是在云计算中生成的，并通过云到达您的企业。”

他说，这在某种程度上，改变了企业考虑数据的方式。在过去，他说，企业需要提取数据，转换数据，然后将其加载到数据库中。随着物联网的发展，“这种情况已经改变，企业可以提取数据，加载数据，然后转换数据。​​”

正因为如此，他建议，“企业务必要确保存储所有能够获得的数据，不要将其扔掉，即使您还不知道该如何处置。其可能会在某一天当您的公司想出了新的战略和业务经营模式时成为非常宝贵的资源。”

而鉴于企业不断摸索和形成新的战略和新的经营方式，这也就是为什么企业需要现在就开始制定一套物联网大数据战略，或改进他们已有的物联网大数据战略的原因所在了。正如通用电气的Carpenter所说的那样，“这是关乎到市场竞争的问题。您企业需要运行基于真实业务的数据，而不是您所想象的东西。而您企业的竞争对手正在这样做。如果您企业不这样做的话，您会被市场淘汰。”