Kafka技术内幕样章 层级时间轮

本文首发地址：http://zqhxuyuan.github.io/2016/05/13/2016-05-13-Kafka-Book-Sample-TimingWheel/3.4.4 定时器Timer那么Kafka的Timer定时器是如何存储DelayedOperation，又是如何在有任务超时的时候能准确地轮询出来。在Java中有多种方案可以做到任务的延迟执行，比如jav

业界 2016年07月04日

docker运行kafka

dockerfile https://github.com/ches/docker-kafka run docker run -p 2181:2181 -p 2888:2888 -p 3888:3888 -d –name zookeeper jplock/zookeeper docker run -d –name kafka –link zookeeper:zookeep

业界 2016年07月08日

mac本地搭建kafka

zookeeper 安装 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz tar zxvf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 cp -rf conf/zoo_sample.cfg conf/zoo.cfg

业界 2016年07月21日

kafka0.8.2消费者实例

mavenorg.apache.kafkakafka_2.100.8.2.2高级api实例 public class NativeConsumer {private static final String TOPIC = "kafkatopic";public void exec() throws UnsupportedEncodingException {Properti

业界 2016年07月24日

Kafka 设计详解之网络通信

前言Kafka 是 LinkedIn 开发的一个分布式的消息中间件。由于其高吞吐量、可水平扩展等特性，目前被广泛使用，已经是目前大数据生态系统中不可或缺的一环，有关其详细介绍可以查看官方的文档。Kafka 的流行源于他优秀的设计，如依靠磁盘（以及操作系统的 Page Cache）而不是内存来存储队列数据、充分使用零拷贝（zero-copy）以减少数据在不同内存空间间的拷贝、

业界 2016年10月17日

Kafka 设计详解之队列

前言本文打算详细分析 Kafka 的核心 — 队列 的设计和实现，来对 Kafka 进行更深一步的了解。如何设计队列队列是一种先进先出（FIFO）的数据结构，它是 Kafka 中最重要的部分，负责收集生产者生产的消息，并将这些消息传递给消费者。要实现一个队列有多种方式，Kafka 作为一个消息队列中间件，在设计队列时主要要考虑两个问题：1. 队列数据是写到内存还是写到磁盘

业界 2016年10月17日