当前位置:网站首页>图书 > 正文 >>

深入理解Kafka:核心设计与实践原理

图书信息

作者朱忠华
出版社电子工业出版社
ISBN9787121359026
出版时间2019-01-01
字数28.5万
分类科技,计算机,网络,程序设计

读书简介

本书从Kafka的基本概念手,主要从生产端、消费端、服务端等3个方面行全面的陈述,主要内容包括Kafka的基本使用方式、生产者客户端的使用、消费者客户端的使用、主题与分区、日志存储、深原理解析、监控的设计、高级应用的扩展以及与Spark的集成等。虽然Kafka的内核使用Scala语言编写,但是本书基本以Java语言作为主要的示例语言,方便绝大多数读者的理解。

目录

前言

第1章 初识Kafka

1.1 基本概念

1.2 安装与配置

1.3 生产与消费

1.4 服务端参数配置

1.5 总结

第2章 生产者

2.1 客户端开发

2.2 原理分析

2.3 重要的生产者参数

2.4 总结

第3章 消费者

3.1 消费者与消费组

3.2 客户端开发

3.3 总结

第4章 主题与分区

4.1 主题的管理

4.2 初识KafkaAdminClient

4.3 分区的管理

4.4 如何选择合适的分区数

4.5 总结

第5章 日志存储

5.1 文件目录布局

5.2 日志格式的演变

5.3 日志索引

5.4 日志清理

5.5 磁盘存储

5.6 总结

第6章 深入服务端

6.1 协议设计

6.2 时间轮

6.3 延时操作

6.4 控制器

6.5 参数解密

6.6 总结

第7章 深入客户端

7.1 分区分配策略

7.2 消费者协调器和组协调器

7.3__consumer_offsets剖析

7.4 事务

7.5 总结

第8章 可靠性探究

8.1 副本剖析

8.2 日志同步机制

8.3 可靠性分析

8.4 总结

第9章 Kafka应用

9.1 命令行工具

9.2 Kafka Connect

9.3 Kafka Mirror Maker

9.4 Kafka Streams

9.5 总结

第10章 Kafka监控

10.1 监控数据的来源

10.2 消费滞后

10.3 同步失效分区

10.4 监控指标说明

10.5 监控模块

10.6 总结

第11章 高级应用 高级应用

11.1 过期时间(TTL)

11.2 延时队列

11.3 死信队列和重试队列

11.4 消息路由

11.5 消息轨迹

11.6 消息审计

11.7 消息代理

11.8 消息中间件选型

11.9 总结

第12章 Kafka与Spark的集成

12.1 Spark的安装及简单应用

12.2 Spark编程模型

12.3 Spark的运行结构

12.4 Spark Streaming简介

12.5 Kafka与Spark Streaming的整合

12.6 Spark SQL

12.7 Structured Streaming

12.8 Kafka与Structured Streaming的整合

12.9 总结

附录A Kafka源码环境搭建