传统云无法满足大数据的基本需要

作者：LUCAS ROH

导读：

《麻省理工技术评论》写到，迄今为止只有0.5%的数字数据得到了分析。从商业角度来看，这意味着无数企业正在失去提高效率、降低成本和发现新客户的重大机遇，因为他们并没有用到他们收集的数据。

传统的云解决方案就连大数据应用整合和软件编配的最低要求都无法满足。设计、部署、调整和维护大数据架构的枯燥工作仍然要由客户自己完成。

下一代的大数据云将在技术堆栈的每一个层级上都提供自动化和编配，从基础的裸机设施开始，遍及应用配置与调试到依赖与软件升级管理的方方面面。

原文翻译：

除了在手机上捕捉皮卡丘以外，科技界很少有东西像大数据那样被炒得热火朝天。然而，对于被称为“未来潮流”的任何热门话题、新技术和新发明，我们都应该看穿天花乱坠的宣传，摸清真实的情况。除了广泛的媒体关注和对数据收集的日益强调，大数据的实际应用其实极少。

《麻省理工技术评论》写到，迄今为止只有0.5%的数字数据得到了分析。从商业角度来看，这意味着无数企业正在失去提高效率、降低成本和发现新客户的重大机遇，因为他们并没有用到他们收集的数据。

在数据分析率令人大跌眼镜的同时，新的数据正在被飞速创造和收集。到2020年，平均每人每秒将产生大约1.7MB的新信息。

在探究大数据分析为何滞后以及如何解决这个问题的时候，我们应该想想数据都是在哪里得到存储和处理的。多年来，有些机构一直把数据存储在云端，而敏感数据通常存储在本地。这虽然安全，但从成本和工作量的角度来说，却不利于建立基础设施和大型数据处理中心来跟上数据的快速增长。

数据分析需要成本效益高、易于实施的云技术

云技术已经使当今某些繁重的技术活动实现了自动化，而且具有成本效益，但还不是十分适合大数据分析。大量数据在云端迁入迁出会带来安全隐患，造成性能波动，尤其是在处理TB、PB甚至EB量级的数字内容时。另外，传统的云解决方案就连大数据应用整合和软件编配的最低要求都无法满足。设计、部署、调整和维护大数据架构的枯燥工作仍然要由客户自己完成。

举个例子来说，谷歌(Google)拥有1.05亿名活跃用户，收集14种不同数据，包括广告点击、浏览器信息、搜索查询等等。存储和处理这么多的数据需要健全有力、连续连贯的解决方案，但这很难通过虚拟化技术加以实现——这种技术会在同一台服务器上运行不同企业的多项工作任务。虚拟机管理程序也会对大数据分析造成不利影响，因为它会在多台主机之间分配硬件资源，导致处理能力被分散摊薄。这被称为“噪音临近”效应，它限制了云技术全力服务于大数据的潜力，因为同一个硬件架构却要被用于服务多个客户。

到目前为止，两种主要的大数据解决方案要么成本太高、耗时太多(本地数据中心)，要么可靠性低、自动化与安全程度不足(虚拟云)，因此无法充分利用收集到的数据。

技术创新的三个阶段

包括大数据在内的重大技术创新往往会表现为三个阶段。

第一阶段是基础设施，这是“大数据架构的基石”。

第二阶段是创建工具，以便利用技术的力量。

第三阶段便是应用。而今基础设施和工具均已就绪，大数据应用正在通过多项技术来优化它在云端的应用。这些技术包括：

• 编程框架：Hadoop，Apache Spark
• SQL数据库：Oracle，MySQL
• NoSQL数据库：Datastax，Couchbase，MongoDB
• 分析：Datameer，Platfora，Trifacta
• 可视化分析：Tableau，Zoomdata

云技术正在针对大数据而变得更加轻量化。新一代的云技术(也被称为专用基础设施)正在照亮云端大数据项目的未来。虽然传统的云平台存在性能瓶颈和安全隐患，但新一代的云技术/专用基础设施消除了不确定性，提供了稳定的性能和各租户隔离运行。这可消除噪音临近效应，利用专用硬件来开展企业的大数据项目。

随着不确定性的消除、成本的降低和安全性的提高，云技术重新成为切实可行的大数据解决方案。而且，下一代的大数据云将在技术堆栈的每一个层级上都提供自动化和编配，从基础的裸机设施开始，遍及应用配置与调试到依赖与软件升级管理的方方面面。大数据架构师们现在应该重新审视云技术，将其视为大数据的主要促进者，让企业以实惠的价格和更快的速度分析更多的信息。

End.