观点|大数据工具 在数据科学家眼中是怎样的存在？

数据科学家们通常喜欢把后端技术扔给工程师来处理。当你的主要关注点是提高模型的预测精度或发现一个数据集中的未知相关性时，文件系统和资源管理工具通常情况下并不十分友好。

但随着大数据工具数量的增长和计算能力的飞跃，数据科学家越来越多地发现，如果他们想从自己的模型中获得最佳性能，那就必须考虑所使用的数据管道。

“有了更强的计算能力，我们可以进行多次回归操作，这很让人兴奋，”Brendan Herger，银行和金融服务公司Capital One的数据科学家表示。“这的确有助于快速发展，因为你有了更多的可用资源，让一切变得容易。”

Herger说，这种后台计算能力让他能够对完整的数据集进行分析，不再需要进行数据采样。他认为是否取样这个问题“几乎类似于一个宗教问题，”分析完整的数据集有几个很大的好处。首先它保留了完整的数据，包括所有可能存在的信号。当数据被划分成多个样本时，信号可能会丢失或变得并不那么明显。

“不进行采样，这样对数据科学家来说是非常有意义的”Herger 说。“计算能力的提升，让人们得以在整个数据集上运行分析，这样的分析将越来越普遍”。

对于San Francisco Macys.com 公司的高级分析主任Daqing Zhao来说，拥有强大的数据架构，为他的团队带来的主要好处就是速度。“我们希望进行快速原型开发，”本月在Boston举行的TDWI Accelerate 会议上，Daqing Zhao说道。

Zhao 要求Macys.com的数据工程团队在公司数据仓库中为他的团队构建数据沙盒。这允许他团队中的数据科学家以一种实际相关性来转换或连接数据，而不需要在数据记录级别进行任何数据变更。

对于所有这些工具，Zhao表示，H2O在进行预测建模尤其有用。他第一次意识这一点是在最近的一次演示某个软件的会议上。他说，在11秒内，工具在一个有着一亿行数据的数据集上执行一次逻辑回归。重要的是，这些工具能够与公司的后端数据基础设施完美集成，这使得它更具有吸引力。

Zhao说，他现在沉迷于那些数据科学家可用的开源数据工具。除了其对于大数据强大处理能力，这些工具的背后还有着广受欢迎的大型社区支持，这使得它更容易找到相关问题的答案。集成开源工具和数据基础设施通常会存在一定的问题，因为在出现问题时，并没有专业的技术支持来帮你解决。但此类工具的日益普及逐渐削弱了这个问题产生的影响。

当数据科学家在后端系统上运行一些任务时，他将会花费更少的时间在数据管理上。

Colin Borys遇到的情况大致如此，Colin是Riot Games Inc.公司的数据科学家，该公司就是大名鼎鼎的对战游戏LOL的开发商。在6月旧金山举行2016 Spark Summit 峰会的一次演讲中，Borys表示，他的团队会监控网络流量，以试图发现是否有玩家正在遭遇网络拥堵，是否可以通过网络疏导来提高网络连通性。数据科学团队还开发了一个推荐引擎，建议玩家选择不同的服务器来均衡网络负载。

在之前，大部分工作是基于Hive上运行的临时查询，但Borysr认为这种方法并不高效，不具有较好的可伸缩性。Riot Games随后引入了Spark技术，部分原因是它想让数据科学家在Hadoop数据上执行SQL查询，对于SQL，他们已经非常熟悉。这家位于Los Angeles的公司开始使用Databricks提供的云Spark平台，这样不需要有专门的人来花时间管理集群。

在引进的Spark之前，Borys说，数据科学家会花费大量的时间在准备数据上。现在他们可以利用这些时间来完成实际的数据分析。