kafka

Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用

为数据而生，以20世纪最具影响力的作家命名，一个很酷的开源项目——我们说的是Kafka。进入出生第九个年头的Kafka已经算不上年轻，但依旧活力四射。这篇文章简单梳理一下Kafka的发展脉络，文末给出了本文的参考资料，以及一个快速实用Kafka的课程，参考资料和课程以供感兴趣的读者深入学习。诞生背景每一次科学家们发生分

策划编辑｜Natalie作者｜郭斯杰编辑｜Debra AI 前线导读：消息中间件系统（比如 RabbitMQ、Kafka、Pulsar 等）是现代实时数据或者流数据基础架构的关键环节。它通常作为一个数据管道，链接了各种业务前台和数据后台（比如数仓等）。 但是随着越来越多的企业应用开始采纳流计算作为数据的

作者： 谢健芬Pinterest广告工程团队的宗旨是为我们的广告合作商提供最优质的服务体验，而广告超投，是我们极力要解决的问题之一。在Pinterest，我们使用了 Kafka Streams ，可以实现把广告消耗的预测数据在数秒钟的时间内发送给数千个广告投放服务。本文将会先解释什么是超投，然后分享一

作者：Natalie & VincentKafka 从首次发布之日起，已经走过了七个年头。从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，用于发布和订阅、存储及实时地处理大规模流数据。来自世界各地的数千家公司在使用 Kafka，包括三分之一的 500 强公司。Kafka 以稳健的步伐向前迈进，首

客户端的连接对象（NetworkClient）在轮询时会判断是否需要更新元数据。客户端调用元数据更新器的maybeUpdate()方法，并不一定每次都需要更新元数据。只有当元数据的超时时间（metadataTimeout）等于0时，客户端才会发送元数据请求。1. 客户端轮询与元数据更新器客户端调用选择器的轮询方法，最长

作者： Russell Jurney 在Data Syndrome，我们使用并喜爱Kafka。它使我们能够以最少的努力和复杂性将批处理变为实时处理。然而，在最近的一个项目中，我们学到了有关kafka-python软件包的惨痛教训，该软件包促使我思考该如何选择开源工具。本文将反思我们的开源决策过程，介绍

作者：郭俊Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群

作者Tony Siciliani  本文为36大数据独译，译者：随风我们在建设一个大数据管道时，需要在Hadoop生态系统前仔细考虑，如何获取大体量、多样化以及高速性的数据。在决定采用何种工具以满足我们的需求时，最初对于扩展性、可靠性、容错性以及成本的考虑便发挥了作用。本文，我们将聚焦于三种Apach