干货丨五大步骤帮你实现Hadoop价值最大化

企业在部署Hadoop时总会遇到一些问题。例如， 企业 要在生产环境中使用Hadoop，但是很难找到熟悉Sqoop、Hive、Pig和MapReduce编程语言的开发人员。为了使大数据项目中Hadoop的价值最大化，企业需要重视一些关键步骤。

你可能准备在公司启动一个大数据项目，但是你对Hadoop并不熟悉，并且不确定这样的项目是否可以带来价值。别着急，许多企业都会遇到类似的问题。在SAS公司与国际研究所携手发布的《企业应用Hadoop现状》报告中，提出了可以帮助企业发挥Hadoop大数据项目最大价值的五个步骤：

1.识别和定义可提供竞争优势和战略的用例

首先要选择目标。假设你想研究客户行为，应该关注新的数据类型，而不是研究其它项目，比如企业数据仓库；假设你想获取用户在线行为信息，应该分析点击量数据；假设你想了解客户对公司品牌的看法，你需要分析社交媒体数据。

还要确保你的Hadoop项目拥有高知名度，并提供可度量价值。例如销量提升或者很快拥有回头客户。这将有助于证明你的项目有价值并为未来的新项目铺路。

推荐一个帮助识别和定义用例的好方法：SAS商业分析现代评估（BAMA）服务，该服务旨在帮助扩大企业对分析的应用。BAMA是完成IT和业务单元之间对话的一个工作组，双方可以积极合作，共同面对分析流程方面的巨大挑战。

2.评估Hadoop是否适用于现有数据和分析架构

对于许多企业而言，商业智能和分析项目（如数据仓库）已经持续了几十年。尽管Hadoop数据存储成本可能远远低于数据仓库，但是也不应该废弃数据仓库方面的投资转而让Hadoop承担数据仓库的角色。虽然Hadoop是存储传感器数据的理想选择，但它不擅长实时处理少量数据。分析专家Tom Davenport表示，许多公司都在Hadoop集群中存储大量新的数据类型，然后把这些数据存储到企业数据仓库来满足产品应用的需求。

假设你已经完成评估，并考虑实施分析客户行为的 Hadoop项目 ，那么你需要评估支持行为分析的数据存储在哪里。使用传统数据仓库存储点击量数据可能使成本飞涨。Hadoop可以存储大量数据而只消耗合理的成本，但仍然需要考虑其他的存储方式。企业想要更好地理解客户行为，需要强大的分析以便利用存储在Hadoop集群中的客户点击流数据。

3.利用数据管理、数据发现和分析提供价值

一旦你决定了要在数量最大且移动最快的数据项目中使用Hadoop，你需要工具管理、操作和分析数据，并且保证使用的工具必须跟得上节奏。假设你将传感器数据存储在Hadoop中，你想从数据中得到哪些信息呢？只是拥有数据不会获得太多信息，但是如果你可以把它与第三方数据关联，构建基于分析的数据表，就可以获得一些有价值的信息。如果涉及机械设备，带来的衍生价值会更多。例如，分析师预测飞机可能发生的故障以便做好维修工作保证飞机的飞行，增加收入的同时也节约了成本。这种基本的收益对于项目的成功至关重要。

简化你的整体时间值将帮助你进一步了解Hadoop的价值。不论数据存储在Hadoop还是其它地方，首先要确保你可以根据需求尽快地访问并加载数据。在几秒钟之内查询数十亿行数据，并在Hadoop中进行操作，无需把数据转移到单独的分析平台。要确保分析流程自上向下的高效性，这是Hadoop实施交付价值的关键。

4.重新评估你的数据集成和数据管理需求

数据分析项目的结果可能用于商业战略的决策。数据整合和管理也同样重要，你需要了解数据的来源并保证数据的可靠性。数据管理可以领先技术一步实现人与程序的结合。我们应该寻找像SAS这样的技术合作伙伴，SAS在整合IT和业务部门方面有丰富经验，可以帮助企业制定数据标准以便适用您特定的企业文化。数据管理实践会给你带来更大的信心，数据分析带来的价值也是显而易见的。

5.尽早评估技能人才缺口并制定弥补空白的计划

大数据 仍然是相对较新的领域，有效管理项目所需的技巧少得可怜。生产环境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce等编程语言经验。

你应该结合企业需求和战略，确定是否需要数据科学家以便使你的大数据项目更有意义。当然传统的业务分析师也许就能满足需求。例如，就像包含在SAS数据加载机中的Hadoop工具那样，使用直观的界面，用户就可以获取、发现、转换、清理、集成并交付数据，无需Sqoop、Hive或者Pig方面的专家。但是如果你聘请了数据科学家，应该让他专注于建模等最擅长的领域，而非编写MapReduce，这样才能获得最大的价值。最终，企业得到最好的结果就是牢固掌握了所需技能，并在Hadoop项目实施之前制定计划来弥补技能欠缺。

责任编辑：王培