Kafka入門與實踐

ZooKeeper分布式過程協同技術詳解

9787115469571  9787111524311

Kafka入門與實踐

書 號： 978-7-115-46957-1

頁 數： 352

印刷方式： 黑白印刷

開 本： 16開

齣版狀態： 正在印刷

定價 69元

齣版社 人民郵電齣版社

齣版時間 2017.11

作者： 牟大恩

責編： 楊海玲

分類： 軟件開發 > 編程語言

【預計上市時間：11月3日】

本書以Kafka 0.10.1.1版本以基礎，對Kafka的基本組件的實現細節及其基本應用進行瞭詳細介紹，同時，通過對Kafka與當前大數據主流框架整閤應用案例的講解，進一步展現瞭Kafka在實際業務中的作用和地位。本書共10章，按照從抽象到具體、從點到綫再到麵的學習思維模式，由淺入深，理論與實踐相結閤，對Kafka進行瞭分析講解。 

本書中的大量實例來源於作者在實際工作中的實踐，具有現實指導意義。相信讀者閱讀完本書之後，能夠全麵掌握Kafka的基本實現原理及其基本操作，能夠根據書中的案例舉一反三，解決實際工作和學習中的問題。此外，在閱讀本書時，讀者可以根據本書對Kafka理論的分析，再結閤Kafka源碼進行定位學習，瞭解Kafka**的設計和思想以及更多的編碼技巧。 

本書適閤應用Kafka的專業技術人員閱讀，包括但不限於大數據相關應用的開發者、運維者和愛好者，也適閤高等院校、培訓結構相關專業的師生使用。

版權 

內容提要 

前言 

第1章 Kafka簡介 

第2章 Kafka安裝配置 

第3章 Kafka核心組件

第4章 Kafka核心流程分析

第5章 Kafka基本操作實戰

第6章 Kafka API編程實戰

第7章 Kafka Streams

第8章 Kafka數據采集應用

第9章 Kafka與ELK整閤應用

第10章 Kafka與Spark整閤應用

ZooKeeper：分布式過程協同技術詳解

本書分三部分，共10章。，部分（第1～2章）闡述ApacheZooKeeper這類係統的設計目的和動機，並介紹分布式係統的一些必要背景知識。第1章介紹ZooKeeper可以做什麼，以及其設計如何支撐這些任務。第2章介紹基本概念和基本組成模塊，並通過命令行工具的具體操作介紹瞭ZooKeeper可以做什麼。第二部分（第3～8章）闡述開發人員所需要掌握的ZooKeeper庫調用方法和編程技巧。第3章介紹Java語言的API.第4章解釋如何跟蹤和處理ZooKeeper中的狀態變更情況。第5章介紹如何在係統或網絡故障時恢復應用。第6章介紹需要注意來避免故障的一些繁雜卻很重要的場景。第7章介紹C語言版的API接口，也可以作為非Java語言實現的ZooKeeperAPI的基礎，對非Java語言的開發人員非常有幫助。第8章介紹一款更高層級的封裝的ZooKeeper接口。第三部分（第9～10章）主要介紹ZooKeeper內部原理及如何運行ZooKeeper.第9章介紹ZooKeeper的作者們在設計時所采用的方案。第10章介紹如何對ZooKeeper進行配置。


，部分 ZooKeeper的概念和基礎
第1章 簡介7
1.1 ZooKeeper的使命8
1.1.1 ZooKeeper改變瞭什麼10
1.1.2 ZooKeeper不適用的場景10
1.1.3 關於Apache項目11
1.1.4 通過ZooKeeper構建分布式係統11
1.2 示例：主-從應用12
1.2.1 主節點失效13
1.2.2 從節點失效14
1.2.3 通信故障14
1.2.4 任務總結15
1.3 分布式協作的難點16
1.4 ZooKeeper的成功和注意事項18
第2章 瞭解ZooKeeper19
2.1 ZooKeeper基礎19
2.1.1 API概述20
2.1.2 znode的不同類型21
2.1.3 監視與通知22
2.1.4 版本24
2.2 ZooKeeper架構25
2.2.1 ZooKeeper仲裁26
2.2.2 會話27
2.3 開始使用ZooKeeper28
2.3.1 ，個ZooKeeper會話28
2.3.2 會話的狀態和聲明周期31
2.3.3 ZooKeeper與仲裁模式33
2.3.4 實現一個原語：通過ZooKeeper實現鎖36
2.4 一個主-從模式例子的實現37
2.4.1 主節點角色37
2.4.2 從節點、任務和分配40
2.4.3 從節點角色40
2.4.4 客戶端角色41
2.5 小結43
第二部分 使用ZooKeeper進行開發
第3章 開始使用ZooKeeper的API47
3.1 設置ZooKeeper的CLASSPATH47
3.2 建立ZooKeeper會話47
3.2.1 實現一個Watcher49
3.2.2 運行Watcher的示例51
3.3 獲取管理權53
3.3.1 異步獲取管理權57
3.3.2 設置元數據60
3.4 注冊從節點62
3.5 任務隊列化65
3.6 管理客戶端66
3.7 小結68
第4章 處理狀態變化70
4.1 單次觸發器71
4.2 如何設置監視點72
4.3 普遍模型73
4.4 主-從模式的例子74
4.4.1 管理權變化74
4.4.2 主節點等待從節點列錶的變化77
4.4.3 主節點等待新任務進行分配80
4.4.4 從節點等待分配新任務83
4.4.5 客戶端等待任務的執行結果86
4.5 另一種調用方式：Multiop88
4.6 通過監視點代替顯式緩存管理90
4.7 順序的保障91
4.7.1 寫操作的順序91
4.7.2 讀操作的順序91
4.7.3 通知的順序92
4.8 監視點的羊群效應和可擴展性93
4.9 小結94
第5章 故障處理96
5.1 可恢復的故障98
5.2 不可恢復的故障102
5.3 群，舉和外部資源103
5.4 小結106
第6章 ZooKeeper注意事項107
6.1 使用ACL107
6.1.1 內置的鑒權模式108
6.1.2 SASL和Kerberos111
6.1.3 增加新鑒權模式111
6.2 恢復會話111
6.3 當znode節點重新創建時，重置版本號112
6.4 sync方法112
6.5 順序性保障114
6.5.1連接丟失時的順序性114
6.5.2 同步API和多綫程的順序性115
6.5.3 同步和異步混閤調用的順序性115
6.6 數據字段和子節點的限製116
6.7 嵌入式ZooKeeper服務器116
6.8 小結117
第7章 C語言客戶端118
7.1 配置開發環境118
7.2 開始會話119
7.3 引導主節點121
7.4 行使管理權126
7.5 任務分配129
7.6 單綫程與多綫程客戶端132
7.7 小結135
第8章 Curator：ZooKeeper API的高級封裝庫136
8.1 Curator客戶端程序136
8.2 流暢式API137
8.3 監聽器138
8.4 Curator中狀態的轉換140
8.5 兩種邊界情況141
8.6 菜譜141
8.6.1 群首閂142
8.6.2 群，舉器143
8.6.3 子節點緩存器146
8.7 小結148
第三部分 ZooKeeper的管理
第9章 ZooKeeper內部原理151
9.1 請求、事務和標識符152
9.2 群，舉153
9.3 Zab：狀態更新的廣播協議157
9.4 觀察者161
9.5 服務器的構成162
9.5.1 獨立服務器163
9.5.2 群首服務器164
9.5.3 追隨者和觀察者服務器165
9.6 本地存儲166
9.6.1 日誌和磁盤的使用166
9.6.2 快照167
9.7 服務器與會話169
9.8 服務器與監視點170
9.9 客戶端170
9.10 序列化171
9.11 小結171
第10章 運行ZooKeeper173
10.1 配置ZooKeeper服務器174
10.1.1 基本配置175
10.1.2 存儲配置175
10.1.3 網絡配置177
10.1.4 集群配置179
10.1.5 認證和授權選項181
10.1.6 非安全配置182
10.1.7 日誌183
10.1.8 專用資源185
10.2 配置ZooKeeper集群185
10.2.1 多數原則186
10.2.2 法定人數的可配置性186
10.2.3 觀察者188
10.3 重配置188
10.4 配額管理194
10.5 多租賃配置196
10.6 文件係統布局和格式197
10.6.1 事務日誌198
10.6.2 快照199
10.6.3 時間戳文件200
10.6.4 已保存的ZooKeeper數據的應用200
10.7 四字母命令201
10.8 通過JMX進行監控202
10.9 工具209

理解分布式係統構建的基石：ZooKeeper 與 Kafka 的深度探索 在當今高度互聯互通的數字時代，海量數據的産生、處理與分發已成為企業運營的生命綫。構建可靠、可擴展且高吞吐量的分布式係統，是應對這一挑戰的關鍵。本書並非僅僅介紹兩款流行的分布式組件，而是將目光投嚮分布式係統背後的核心理念與實踐，以 Apache ZooKeeper 和 Apache Kafka 為切入點，深入剖析分布式係統設計中的關鍵技術與常見問題，為讀者構建一套完整的、可落地的分布式係統知識體係。 第一部分：ZooKeeper——分布式協調的靈魂伴侶 在復雜的分布式環境中，不同服務節點之間需要一種穩定、可靠的機製來協同工作，共享配置信息，實現服務發現，甚至進行分布式鎖的爭用。Apache ZooKeeper 正是為解決這些問題而生的強大工具。本書將帶領讀者從 ZooKeeper 的核心概念齣發，逐步深入其底層設計與實現原理。 ZooKeeper 的核心概念剖析： 我們將首先詳細介紹 ZooKeeper 的基本構成，包括 znode（數據節點）的層級結構、watches（事件監聽）機製、ACLs（訪問控製列錶）等。理解這些基本概念是掌握 ZooKeeper 功能的基礎。我們將以直觀的圖示和生動的比喻，幫助讀者理解 znode 如何組織數據，watches 如何實現事件通知，以及 ACLs 如何保障數據的安全性。 ZooKeeper 的工作原理與一緻性模型： ZooKeeper 的強大之處在於其能夠保證分布式環境下的數據一緻性。我們將深入探討 ZooKeeper 的 Zab（ZooKeeper Atomic Broadcast）協議，這是 ZooKeeper 實現強一緻性的核心。通過對 Zab 協議的詳細講解，讀者將理解 Leader/Follower 選舉過程、事務日誌的復製以及一緻性決策的達成。我們將剖析 ZooKeeper 提供的順序一緻性、綫性一緻性等模型，並解釋在不同場景下如何選擇閤適的一緻性級彆。 ZooKeeper 的高級特性與實際應用： 除瞭基礎功能，ZooKeeper 還提供瞭許多高級特性，例如臨時節點（Ephemeral Nodes）、順序節點（Sequential Nodes）以及會話（Sessions）管理。我們將詳細闡述這些特性的作用，並結閤實際案例展示它們如何在分布式鎖、Leader 選舉、配置管理、服務發現等場景下發揮關鍵作用。例如，我們將構建一個基於 ZooKeeper 的分布式鎖服務，並分析其可靠性和性能。 ZooKeeper 集群的部署與運維： 實際應用中，ZooKeeper 通常以集群形式部署以保證高可用性。本書將提供詳細的 ZooKeeper 集群部署指南，涵蓋從環境準備、配置文件的設置到集群的啓動與驗證。同時，我們還將探討 ZooKeeper 集群的監控、故障排查、數據備份與恢復等運維方麵的內容，幫助讀者掌握 ZooKeeper 的全生命周期管理。 ZooKeeper 與其他分布式組件的集成： ZooKeeper 並非孤立存在，它經常與其他分布式組件協同工作。我們將簡要介紹 ZooKeeper 如何與 Apache Kafka、Apache Storm、Apache Spark 等流行框架集成，以增強這些框架的分布式協調能力。 第二部分：Kafka——實時數據流處理的革命 在當今以數據為驅動的時代，實時、高吞吐量的數據流處理能力已成為企業的核心競爭力。Apache Kafka 作為一款分布式流處理平颱，憑藉其高吞吐量、低延遲、持久化存儲以及可擴展性等特性，已成為大數據領域不可或缺的基石。本書將從 Kafka 的設計理念齣發，帶領讀者全麵掌握其核心概念、架構設計與高級應用。 Kafka 的核心概念與架構概覽： 我們將首先介紹 Kafka 的基本構建塊，包括 Topic（主題）、Partition（分區）、Broker（代理）、Producer（生産者）和 Consumer（消費者）。通過清晰的圖示，我們將展示一個 Kafka 集群的整體架構，以及數據在 Topic 和 Partition 之間如何流動。理解分區的重要性，以及它如何實現高吞吐量和可擴展性，將是掌握 Kafka 的關鍵。 Kafka 的數據模型與消息傳遞機製： Kafka 的消息模型是其高性能的關鍵。我們將深入剖析 Kafka 的消息格式，以及消息如何被順序寫入到 Partition 中。我們將重點講解 Producer 如何將消息發送到 Kafka，以及 Consumer 如何訂閱 Topic 並消費消息。我們將詳細解釋 Kafka 的 offset（偏移量）概念，以及它如何實現消息的可重復消費和精確一次（Exactly-once）語義。 Kafka 的高吞吐量與容錯性解析： Kafka 之所以能實現驚人的吞吐量，與其底層的設計緊密相關。我們將深入探討 Kafka 的日誌存儲機製、順序讀寫、零拷貝（Zero-copy）技術等，這些都為 Kafka 帶來瞭卓越的性能。同時，我們將詳細解析 Kafka 的副本（Replication）機製，以及 Leader/Follower 副本如何協同工作，保障數據的持久性和高可用性。我們將講解 ISR（In-Sync Replicas）的概念，以及它在保證數據一緻性方麵的作用。 Kafka 的生産者（Producer）API 與調優： 掌握生産者 API 是將數據流入 Kafka 的第一步。我們將全麵介紹 Kafka Producer API 的使用，包括消息發送模式、acks 配置、重試機製、序列化器（Serializer）等。我們將深入探討如何對 Producer 進行性能調優，以達到最佳的吞吐量和延遲。 Kafka 的消費者（Consumer）API 與消費者群組（Consumer Group）： 消費者是 Kafka 數據消費的執行者。我們將詳細講解 Kafka Consumer API 的使用，包括消費者群組的概念、offset 管理、消息拉取策略等。我們將重點分析消費者群組如何實現消息的負載均衡和故障轉移，以及如何避免消息的重復消費。 Kafka 的 Streams API——實時數據處理的利器： Kafka Streams 是 Kafka 生態係統中用於構建實時流處理應用程序的客戶端庫。本書將帶領讀者探索 Kafka Streams 的強大功能，包括數據轉換、過濾、聚閤、窗口操作等。我們將通過實際案例，演示如何使用 Kafka Streams 構建端到端的流處理管道，例如實時數據分析、實時 ETL 等。 Kafka 的 Connect API——數據集成的新範式： Kafka Connect 是一個用於在 Kafka 和其他數據存儲係統之間集成數據的框架。我們將介紹 Kafka Connect 的架構，以及如何使用預置的連接器（Connectors）或者自定義連接器，將數據從各種數據源（如數據庫、文件係統、消息隊列）導入 Kafka，或者將 Kafka 中的數據導齣到其他係統。 Kafka 的集群部署、運維與監控： 與 ZooKeeper 類似，Kafka 也需要以集群形式部署以實現高可用性。我們將提供詳細的 Kafka 集群部署指南，並深入探討 Kafka 的集群管理、日誌管理、故障排查、性能監控等運維實踐。我們將介紹常用的 Kafka 監控工具，並講解如何通過監控來保障 Kafka 集群的穩定運行。 Kafka 在實際場景中的應用： 我們將結閤豐富的實際案例，展示 Kafka 在不同行業和場景下的應用，例如日誌收集與分析、實時推薦係統、物聯網數據處理、金融交易數據處理等。通過這些案例，讀者將更直觀地理解 Kafka 的價值與威力。 本書的目標讀者： 本書適閤所有對分布式係統設計、大數據處理、實時數據流處理感興趣的開發者、架構師、運維工程師以及技術愛好者。無論您是初次接觸 ZooKeeper 和 Kafka，還是已經有一定經驗，本書都將為您提供深入的理解和實用的指導。通過本書的學習，您將能夠： 深刻理解分布式係統中的協調與一緻性問題。 熟練掌握 Apache ZooKeeper 的核心功能與應用場景。 精通 Apache Kafka 的核心概念、架構與消息傳遞機製。 能夠獨立設計和構建高吞吐量、高可用性的實時數據處理係統。 掌握 Kafka Streams 和 Kafka Connect 的使用，實現復雜的數據集成與流式處理。 具備 ZooKeeper 和 Kafka 集群的部署、運維與監控能力。 本書的特色： 本書力求在理論講解與實踐操作之間取得平衡。我們將提供清晰的代碼示例和操作指南，幫助讀者將理論知識轉化為實際技能。同時，本書的講解風格注重邏輯性和條理性，力求讓復雜的分布式技術變得易於理解。我們避免使用過於晦澀的術語，而是通過生動的比喻和實例來闡述關鍵概念。本書內容涵蓋瞭從基礎概念到高級特性，再到實際應用，力求為讀者構建一個全麵、深入的學習路徑。