spark storm

文 | Petr Zapletal ，译者 侠天在上篇文章中，我们过了下基本的理论，也介绍了主流的流处理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱们来点有深度的topic，比如，容错，状态管理或者性能。除此之外，我们也将讨论开发分布式流处理应用的指南，并给出推荐的流

文 | Petr Zapletal ，译者 | 侠天分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理

文 | Justin Ellingwood ，译者 大愚若智简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统

实时大数据处理已经逐步迈入主流，而Storm与Spark项目的支持无疑在其中起到了显著的推动作用。那么问题来了：实时大数据处理到底该选谁? 目前在开源市场上已经有了多款实时大数据的处理工具，最值得关注的还属Storm与Spark。这两套方案都归属于Apache基金会，都能为用户提供良好的实时处理能力。两款工具在功

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者

为了满足日益增长变化的业务，量化派在大数据平台建设中全面拥抱开源的基础上，进行了不停迭代设计，采用了Hadoop、Spark、Storm等热门的开源大数据计算引擎。量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服