flink 流

阿里妹导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体

作者：王峰(花名：莫问)阿里巴巴 资深技术专家摘要：Flink Forward China 主要讲了啥，看这一篇文章就够了2018年12月20日，由阿里巴巴集团主办的Flink Forward China在北京国家会议中心举行。Flink Forward是由Apache软件基金会授权的全球范围内的Flink技术大会，2

策划编辑｜Natalie作者｜郭斯杰编辑｜Debra AI 前线导读：消息中间件系统（比如 RabbitMQ、Kafka、Pulsar 等）是现代实时数据或者流数据基础架构的关键环节。它通常作为一个数据管道，链接了各种业务前台和数据后台（比如数仓等）。 但是随着越来越多的企业应用开始采纳流计算作为数据的

公众号/AI前线作者｜Jeff Bean译者｜无明编辑｜DebraAI 前线导读：在大数据领域工作了近 8 年后，今年秋天，作为 data Artisans 的技术布道师，我在 Apache Flink 社区变得越来越活跃。在十月份举行的湾区 Flink 座谈会上，我从技术从业者的角度讨论了我对 Flink 的看法。虽

作者：梦瑶1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考  Storm 的可靠性保证测试 ），有管理平台、常用 API 和相

文 | Petr Zapletal ，译者 侠天在上篇文章中，我们过了下基本的理论，也介绍了主流的流处理框架：Storm，Trident，Spark Streaming，Samza和Flink。今天咱们来点有深度的topic，比如，容错，状态管理或者性能。除此之外，我们也将讨论开发分布式流处理应用的指南，并给出推荐的流

文 | Petr Zapletal ，译者 | 侠天分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理

文 | Kostas Tzoumas   译者 | 薛命灯我们在思考流处理问题上花了很多时间，更酷的是，我们也花了很多时间帮助其他人认识流处理，以及如何在他们的组织里应用流处理来解决数据问题。我们首先要做的是纠正人们对流处理(作为一个快速变化的领域，这里有很多误见值得我们思考)的错误认识。在这篇文章里，我们选出了其中的