Kafka入门与实践

ZooKeeper分布式过程协同技术详解

9787115469571  9787111524311

Kafka入门与实践

书 号： 978-7-115-46957-1

页 数： 352

印刷方式： 黑白印刷

开 本： 16开

出版状态： 正在印刷

定价 69元

出版社 人民邮电出版社

出版时间 2017.11

作者： 牟大恩

责编： 杨海玲

分类： 软件开发 > 编程语言

【预计上市时间：11月3日】

本书以Kafka 0.10.1.1版本以基础，对Kafka的基本组件的实现细节及其基本应用进行了详细介绍，同时，通过对Kafka与当前大数据主流框架整合应用案例的讲解，进一步展现了Kafka在实际业务中的作用和地位。本书共10章，按照从抽象到具体、从点到线再到面的学习思维模式，由浅入深，理论与实践相结合，对Kafka进行了分析讲解。 

本书中的大量实例来源于作者在实际工作中的实践，具有现实指导意义。相信读者阅读完本书之后，能够全面掌握Kafka的基本实现原理及其基本操作，能够根据书中的案例举一反三，解决实际工作和学习中的问题。此外，在阅读本书时，读者可以根据本书对Kafka理论的分析，再结合Kafka源码进行定位学习，了解Kafka**的设计和思想以及更多的编码技巧。 

本书适合应用Kafka的专业技术人员阅读，包括但不限于大数据相关应用的开发者、运维者和爱好者，也适合高等院校、培训结构相关专业的师生使用。

版权 

内容提要 

前言 

第1章 Kafka简介 

第2章 Kafka安装配置 

第3章 Kafka核心组件

第4章 Kafka核心流程分析

第5章 Kafka基本操作实战

第6章 Kafka API编程实战

第7章 Kafka Streams

第8章 Kafka数据采集应用

第9章 Kafka与ELK整合应用

第10章 Kafka与Spark整合应用

ZooKeeper：分布式过程协同技术详解

本书分三部分，共10章。，部分（第1～2章）阐述ApacheZooKeeper这类系统的设计目的和动机，并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么，以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块，并通过命令行工具的具体操作介绍了ZooKeeper可以做什么。第二部分（第3～8章）阐述开发人员所需要掌握的ZooKeeper库调用方法和编程技巧。第3章介绍Java语言的API.第4章解释如何跟踪和处理ZooKeeper中的状态变更情况。第5章介绍如何在系统或网络故障时恢复应用。第6章介绍需要注意来避免故障的一些繁杂却很重要的场景。第7章介绍C语言版的API接口，也可以作为非Java语言实现的ZooKeeperAPI的基础，对非Java语言的开发人员非常有帮助。第8章介绍一款更高层级的封装的ZooKeeper接口。第三部分（第9～10章）主要介绍ZooKeeper内部原理及如何运行ZooKeeper.第9章介绍ZooKeeper的作者们在设计时所采用的方案。第10章介绍如何对ZooKeeper进行配置。


，部分 ZooKeeper的概念和基础
第1章 简介7
1.1 ZooKeeper的使命8
1.1.1 ZooKeeper改变了什么10
1.1.2 ZooKeeper不适用的场景10
1.1.3 关于Apache项目11
1.1.4 通过ZooKeeper构建分布式系统11
1.2 示例：主-从应用12
1.2.1 主节点失效13
1.2.2 从节点失效14
1.2.3 通信故障14
1.2.4 任务总结15
1.3 分布式协作的难点16
1.4 ZooKeeper的成功和注意事项18
第2章 了解ZooKeeper19
2.1 ZooKeeper基础19
2.1.1 API概述20
2.1.2 znode的不同类型21
2.1.3 监视与通知22
2.1.4 版本24
2.2 ZooKeeper架构25
2.2.1 ZooKeeper仲裁26
2.2.2 会话27
2.3 开始使用ZooKeeper28
2.3.1 ，个ZooKeeper会话28
2.3.2 会话的状态和声明周期31
2.3.3 ZooKeeper与仲裁模式33
2.3.4 实现一个原语：通过ZooKeeper实现锁36
2.4 一个主-从模式例子的实现37
2.4.1 主节点角色37
2.4.2 从节点、任务和分配40
2.4.3 从节点角色40
2.4.4 客户端角色41
2.5 小结43
第二部分 使用ZooKeeper进行开发
第3章 开始使用ZooKeeper的API47
3.1 设置ZooKeeper的CLASSPATH47
3.2 建立ZooKeeper会话47
3.2.1 实现一个Watcher49
3.2.2 运行Watcher的示例51
3.3 获取管理权53
3.3.1 异步获取管理权57
3.3.2 设置元数据60
3.4 注册从节点62
3.5 任务队列化65
3.6 管理客户端66
3.7 小结68
第4章 处理状态变化70
4.1 单次触发器71
4.2 如何设置监视点72
4.3 普遍模型73
4.4 主-从模式的例子74
4.4.1 管理权变化74
4.4.2 主节点等待从节点列表的变化77
4.4.3 主节点等待新任务进行分配80
4.4.4 从节点等待分配新任务83
4.4.5 客户端等待任务的执行结果86
4.5 另一种调用方式：Multiop88
4.6 通过监视点代替显式缓存管理90
4.7 顺序的保障91
4.7.1 写操作的顺序91
4.7.2 读操作的顺序91
4.7.3 通知的顺序92
4.8 监视点的羊群效应和可扩展性93
4.9 小结94
第5章 故障处理96
5.1 可恢复的故障98
5.2 不可恢复的故障102
5.3 群，举和外部资源103
5.4 小结106
第6章 ZooKeeper注意事项107
6.1 使用ACL107
6.1.1 内置的鉴权模式108
6.1.2 SASL和Kerberos111
6.1.3 增加新鉴权模式111
6.2 恢复会话111
6.3 当znode节点重新创建时，重置版本号112
6.4 sync方法112
6.5 顺序性保障114
6.5.1连接丢失时的顺序性114
6.5.2 同步API和多线程的顺序性115
6.5.3 同步和异步混合调用的顺序性115
6.6 数据字段和子节点的限制116
6.7 嵌入式ZooKeeper服务器116
6.8 小结117
第7章 C语言客户端118
7.1 配置开发环境118
7.2 开始会话119
7.3 引导主节点121
7.4 行使管理权126
7.5 任务分配129
7.6 单线程与多线程客户端132
7.7 小结135
第8章 Curator：ZooKeeper API的高级封装库136
8.1 Curator客户端程序136
8.2 流畅式API137
8.3 监听器138
8.4 Curator中状态的转换140
8.5 两种边界情况141
8.6 菜谱141
8.6.1 群首闩142
8.6.2 群，举器143
8.6.3 子节点缓存器146
8.7 小结148
第三部分 ZooKeeper的管理
第9章 ZooKeeper内部原理151
9.1 请求、事务和标识符152
9.2 群，举153
9.3 Zab：状态更新的广播协议157
9.4 观察者161
9.5 服务器的构成162
9.5.1 独立服务器163
9.5.2 群首服务器164
9.5.3 追随者和观察者服务器165
9.6 本地存储166
9.6.1 日志和磁盘的使用166
9.6.2 快照167
9.7 服务器与会话169
9.8 服务器与监视点170
9.9 客户端170
9.10 序列化171
9.11 小结171
第10章 运行ZooKeeper173
10.1 配置ZooKeeper服务器174
10.1.1 基本配置175
10.1.2 存储配置175
10.1.3 网络配置177
10.1.4 集群配置179
10.1.5 认证和授权选项181
10.1.6 非安全配置182
10.1.7 日志183
10.1.8 专用资源185
10.2 配置ZooKeeper集群185
10.2.1 多数原则186
10.2.2 法定人数的可配置性186
10.2.3 观察者188
10.3 重配置188
10.4 配额管理194
10.5 多租赁配置196
10.6 文件系统布局和格式197
10.6.1 事务日志198
10.6.2 快照199
10.6.3 时间戳文件200
10.6.4 已保存的ZooKeeper数据的应用200
10.7 四字母命令201
10.8 通过JMX进行监控202
10.9 工具209

理解分布式系统构建的基石：ZooKeeper 与 Kafka 的深度探索 在当今高度互联互通的数字时代，海量数据的产生、处理与分发已成为企业运营的生命线。构建可靠、可扩展且高吞吐量的分布式系统，是应对这一挑战的关键。本书并非仅仅介绍两款流行的分布式组件，而是将目光投向分布式系统背后的核心理念与实践，以 Apache ZooKeeper 和 Apache Kafka 为切入点，深入剖析分布式系统设计中的关键技术与常见问题，为读者构建一套完整的、可落地的分布式系统知识体系。 第一部分：ZooKeeper——分布式协调的灵魂伴侣 在复杂的分布式环境中，不同服务节点之间需要一种稳定、可靠的机制来协同工作，共享配置信息，实现服务发现，甚至进行分布式锁的争用。Apache ZooKeeper 正是为解决这些问题而生的强大工具。本书将带领读者从 ZooKeeper 的核心概念出发，逐步深入其底层设计与实现原理。 ZooKeeper 的核心概念剖析： 我们将首先详细介绍 ZooKeeper 的基本构成，包括 znode（数据节点）的层级结构、watches（事件监听）机制、ACLs（访问控制列表）等。理解这些基本概念是掌握 ZooKeeper 功能的基础。我们将以直观的图示和生动的比喻，帮助读者理解 znode 如何组织数据，watches 如何实现事件通知，以及 ACLs 如何保障数据的安全性。 ZooKeeper 的工作原理与一致性模型： ZooKeeper 的强大之处在于其能够保证分布式环境下的数据一致性。我们将深入探讨 ZooKeeper 的 Zab（ZooKeeper Atomic Broadcast）协议，这是 ZooKeeper 实现强一致性的核心。通过对 Zab 协议的详细讲解，读者将理解 Leader/Follower 选举过程、事务日志的复制以及一致性决策的达成。我们将剖析 ZooKeeper 提供的顺序一致性、线性一致性等模型，并解释在不同场景下如何选择合适的一致性级别。 ZooKeeper 的高级特性与实际应用： 除了基础功能，ZooKeeper 还提供了许多高级特性，例如临时节点（Ephemeral Nodes）、顺序节点（Sequential Nodes）以及会话（Sessions）管理。我们将详细阐述这些特性的作用，并结合实际案例展示它们如何在分布式锁、Leader 选举、配置管理、服务发现等场景下发挥关键作用。例如，我们将构建一个基于 ZooKeeper 的分布式锁服务，并分析其可靠性和性能。 ZooKeeper 集群的部署与运维： 实际应用中，ZooKeeper 通常以集群形式部署以保证高可用性。本书将提供详细的 ZooKeeper 集群部署指南，涵盖从环境准备、配置文件的设置到集群的启动与验证。同时，我们还将探讨 ZooKeeper 集群的监控、故障排查、数据备份与恢复等运维方面的内容，帮助读者掌握 ZooKeeper 的全生命周期管理。 ZooKeeper 与其他分布式组件的集成： ZooKeeper 并非孤立存在，它经常与其他分布式组件协同工作。我们将简要介绍 ZooKeeper 如何与 Apache Kafka、Apache Storm、Apache Spark 等流行框架集成，以增强这些框架的分布式协调能力。 第二部分：Kafka——实时数据流处理的革命 在当今以数据为驱动的时代，实时、高吞吐量的数据流处理能力已成为企业的核心竞争力。Apache Kafka 作为一款分布式流处理平台，凭借其高吞吐量、低延迟、持久化存储以及可扩展性等特性，已成为大数据领域不可或缺的基石。本书将从 Kafka 的设计理念出发，带领读者全面掌握其核心概念、架构设计与高级应用。 Kafka 的核心概念与架构概览： 我们将首先介绍 Kafka 的基本构建块，包括 Topic（主题）、Partition（分区）、Broker（代理）、Producer（生产者）和 Consumer（消费者）。通过清晰的图示，我们将展示一个 Kafka 集群的整体架构，以及数据在 Topic 和 Partition 之间如何流动。理解分区的重要性，以及它如何实现高吞吐量和可扩展性，将是掌握 Kafka 的关键。 Kafka 的数据模型与消息传递机制： Kafka 的消息模型是其高性能的关键。我们将深入剖析 Kafka 的消息格式，以及消息如何被顺序写入到 Partition 中。我们将重点讲解 Producer 如何将消息发送到 Kafka，以及 Consumer 如何订阅 Topic 并消费消息。我们将详细解释 Kafka 的 offset（偏移量）概念，以及它如何实现消息的可重复消费和精确一次（Exactly-once）语义。 Kafka 的高吞吐量与容错性解析： Kafka 之所以能实现惊人的吞吐量，与其底层的设计紧密相关。我们将深入探讨 Kafka 的日志存储机制、顺序读写、零拷贝（Zero-copy）技术等，这些都为 Kafka 带来了卓越的性能。同时，我们将详细解析 Kafka 的副本（Replication）机制，以及 Leader/Follower 副本如何协同工作，保障数据的持久性和高可用性。我们将讲解 ISR（In-Sync Replicas）的概念，以及它在保证数据一致性方面的作用。 Kafka 的生产者（Producer）API 与调优： 掌握生产者 API 是将数据流入 Kafka 的第一步。我们将全面介绍 Kafka Producer API 的使用，包括消息发送模式、acks 配置、重试机制、序列化器（Serializer）等。我们将深入探讨如何对 Producer 进行性能调优，以达到最佳的吞吐量和延迟。 Kafka 的消费者（Consumer）API 与消费者群组（Consumer Group）： 消费者是 Kafka 数据消费的执行者。我们将详细讲解 Kafka Consumer API 的使用，包括消费者群组的概念、offset 管理、消息拉取策略等。我们将重点分析消费者群组如何实现消息的负载均衡和故障转移，以及如何避免消息的重复消费。 Kafka 的 Streams API——实时数据处理的利器： Kafka Streams 是 Kafka 生态系统中用于构建实时流处理应用程序的客户端库。本书将带领读者探索 Kafka Streams 的强大功能，包括数据转换、过滤、聚合、窗口操作等。我们将通过实际案例，演示如何使用 Kafka Streams 构建端到端的流处理管道，例如实时数据分析、实时 ETL 等。 Kafka 的 Connect API——数据集成的新范式： Kafka Connect 是一个用于在 Kafka 和其他数据存储系统之间集成数据的框架。我们将介绍 Kafka Connect 的架构，以及如何使用预置的连接器（Connectors）或者自定义连接器，将数据从各种数据源（如数据库、文件系统、消息队列）导入 Kafka，或者将 Kafka 中的数据导出到其他系统。 Kafka 的集群部署、运维与监控： 与 ZooKeeper 类似，Kafka 也需要以集群形式部署以实现高可用性。我们将提供详细的 Kafka 集群部署指南，并深入探讨 Kafka 的集群管理、日志管理、故障排查、性能监控等运维实践。我们将介绍常用的 Kafka 监控工具，并讲解如何通过监控来保障 Kafka 集群的稳定运行。 Kafka 在实际场景中的应用： 我们将结合丰富的实际案例，展示 Kafka 在不同行业和场景下的应用，例如日志收集与分析、实时推荐系统、物联网数据处理、金融交易数据处理等。通过这些案例，读者将更直观地理解 Kafka 的价值与威力。 本书的目标读者： 本书适合所有对分布式系统设计、大数据处理、实时数据流处理感兴趣的开发者、架构师、运维工程师以及技术爱好者。无论您是初次接触 ZooKeeper 和 Kafka，还是已经有一定经验，本书都将为您提供深入的理解和实用的指导。通过本书的学习，您将能够： 深刻理解分布式系统中的协调与一致性问题。 熟练掌握 Apache ZooKeeper 的核心功能与应用场景。 精通 Apache Kafka 的核心概念、架构与消息传递机制。 能够独立设计和构建高吞吐量、高可用性的实时数据处理系统。 掌握 Kafka Streams 和 Kafka Connect 的使用，实现复杂的数据集成与流式处理。 具备 ZooKeeper 和 Kafka 集群的部署、运维与监控能力。 本书的特色： 本书力求在理论讲解与实践操作之间取得平衡。我们将提供清晰的代码示例和操作指南，帮助读者将理论知识转化为实际技能。同时，本书的讲解风格注重逻辑性和条理性，力求让复杂的分布式技术变得易于理解。我们避免使用过于晦涩的术语，而是通过生动的比喻和实例来阐述关键概念。本书内容涵盖了从基础概念到高级特性，再到实际应用，力求为读者构建一个全面、深入的学习路径。