spark技术

Spark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着 Shuffle 阶段通常需要跨网络以及一些磁盘的读写操作

随着信息技术的迅猛发展，数据量呈现出爆炸式增长趋势，数据的种类与变化速度也远远超出人们的想象，因此人们对大数据处理提出了更高的要求，越来越多的领域迫切需要大数据技术来解决领域内的关键问题。在一些特定的领域中(例如金融、灾害预警等)，时间就是金钱、时间可能就是生命!然而传统的批处理框架却一直难以满足这些领域中的实时性需求

作者|杨冬越 郭景瞻1 背景前段时间京东公开了面向第二个十二年的战略规划，表示京东将全面走向技术化，大力发展人工智能和机器人自动化技术，将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立，该事业部将以服务泛零售为核心，着重智能供应能力的打造，核心使命是利用人工智能技术来驱动零售革新。1.1   京东的供应链京东一直

编者按：本文来自微信公众号 “InfoQ”（ID：infoqchina） ，作者杨冬越、郭景瞻 。 背景介绍前段时间京东公开了面向第二个十二年的战略规划，表示京东将全面走向技术化，大力发展人工智能和机器人自动化技术，将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立，

英国公投出结果第二天，腐国人民一觉醒来发现自己的资产贬值了；而特朗普当选的第二天，财经新闻纷纷报道“黄金强势突破1320美元/盎司大关，全球股市哀嚎遍野，美元指数大跌近2个百分点”，朋友圈里也在刷屏“抢购黄金、坐等上涨”，到了上周意大利公投结果出来，理财达人们已经在迅速操盘的同时，心惊肉跳地关注稍晚一点出结果的奥地利总

大数据，无论是从产业上，还是从技术上来看，都是目前的发展热点。在中国，政府控制着80%的数据，剩下的多由“BAT”这样的大公司拥有，中小企业如何构建自己的大数据系统？其他企业如何建设自己的 大数据系统 ？ 推荐两大应用最广泛、国人认知最多的Apache开源大数据框架