spark streaming

随着信息技术的迅猛发展，数据量呈现出爆炸式增长趋势，数据的种类与变化速度也远远超出人们的想象，因此人们对大数据处理提出了更高的要求，越来越多的领域迫切需要大数据技术来解决领域内的关键问题。在一些特定的领域中(例如金融、灾害预警等)，时间就是金钱、时间可能就是生命!然而传统的批处理框架却一直难以满足这些领域中的实时性需求

作者：Mahesh Chand Kandpal 翻译：雁惊寒 译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。以下是译文。 流式处理的需求每天都在增加，仅

文 | Petr Zapletal ，译者 侠天在上篇文章中，我们过了下基本的理论，也介绍了主流的流处理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱们来点有深度的topic，比如，容错，状态管理或者性能。除此之外，我们也将讨论开发分布式流处理应用的指南，并给出推荐的流

文 | Petr Zapletal ，译者 | 侠天分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理

作者：美团Spark Streaming Elastic Search如果在使用App时遇到闪退，你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼，因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率，进而提升App质量，App开发团队需要实时地监控App异常。一旦发现严重问题，及时

作者：祝威廉本文由 祝威廉 授权发布，版权所有归作者，转载请联系作者！之前我在微信朋友圈发了一段话，说明Spark Streaming 不仅仅是流式计算，也是一类通用的模式，可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题前言前两天我刚在自己的一篇文章中鼓吹数据天生就是流式的,并且指出：批量计算已经在

作者：祝威廉本文由 简书 祝威廉 授权发布，版权所有归作者，转载请联系作者！前言Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据，复用了其对象的Ca

作者：牛肉圆粉不加葱本文由 简书 牛肉圆粉不加葱 授权发布，版权所有归作者，转载请联系作者！Streaming job 的调度与执行 结合文章 揭开 Spark Streaming神秘面纱④ – job 的提交与执行 我们画出了如下 job 调度执行流程图： 为什么很难保证 exactly

作者：牛肉圆粉不加葱本文由 简书 牛肉圆粉不加葱 授权发布，版权所有归作者，转载请联系作者！ 前文揭开 Spark Streaming神秘面纱③ – 动态生成 job 我们分析了 JobScheduler 是如何动态为每个 batch生成 jobs，本文将说明这些生成的 jobs 是如何被提交的