大数据kafka

Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用

客户端的连接对象（NetworkClient）在轮询时会判断是否需要更新元数据。客户端调用元数据更新器的maybeUpdate()方法，并不一定每次都需要更新元数据。只有当元数据的超时时间（metadataTimeout）等于0时，客户端才会发送元数据请求。1. 客户端轮询与元数据更新器客户端调用选择器的轮询方法，最长

作者： Russell Jurney 在Data Syndrome，我们使用并喜爱Kafka。它使我们能够以最少的努力和复杂性将批处理变为实时处理。然而，在最近的一个项目中，我们学到了有关kafka-python软件包的惨痛教训，该软件包促使我思考该如何选择开源工具。本文将反思我们的开源决策过程，介绍

作者：郭俊Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群

作者Tony Siciliani  本文为36大数据独译，译者：随风我们在建设一个大数据管道时，需要在Hadoop生态系统前仔细考虑，如何获取大体量、多样化以及高速性的数据。在决定采用何种工具以满足我们的需求时，最初对于扩展性、可靠性、容错性以及成本的考虑便发挥了作用。本文，我们将聚焦于三种Apach

作者｜王国璋在过去几年，对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统：我们可以将每一次用户点击，每一个数据库更改，每一条日志的生成，都转化成实时的结构化数据流，更早的存储和分析它们，并从中获得价值。同时，越来越多的企业应用也开始从批处理数据平台向实时的流数据数据平台转移。本演讲将介绍最近 Ap

作者：张松然Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主

作者：Hendrik Swanepoel翻译：Vincent译者注：本文的目的是让读者快速了解Kafka与消息队列之间的关系，告诉读者为什么会考虑使用它的原因。以下为译文。 Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，

作者：Mahesh Chand Kandpal 翻译：雁惊寒 译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。以下是译文。 流式处理的需求每天都在增加，仅