Spark SQL入门与数据分析实践

图书信息

作者	杨虹 谢显中 周前能 张安文编著
出版社	人民邮电出版社有限公司
ISBN	9787115553249
出版时间	2021-09-01
字数	15.0万
分类	科技,计算机,网络,程序设计

读书简介

Spark?SQL是Spark用于处理结构化数据的一个模块。本书共8章内容，由浅深地讲解Spark?SQL的基础知识、安装部署、编程基础、编程阶、函数、性能调优技巧以及编程实践等知识。通过本书的学习，读者能够掌握Spark?SQL核心技术。本书每章安排了习题和总结，以便使读者能更好地学习和更牢固地掌握Spark?SQL编程方法。

目录

内容提要

前言

第1章 Spark SQL基础知识

1.1 Spark SQL背景

1.2 Spark SQL简介

1.3 为什么要学习Spark SQL

1.4 Spark SQL的原理

1.5 Spark SQL的运行模式

第2章 Spark SQL安装部署

2.1 运行环境说明

2.2 运行环境准备

2.3 部署Spark SQL

第3章 第一个Spark SQL应用程序

3.1 搭建开发环境

3.2 编写Spark SQL应用程序

第4章 Spark SQL编程基础

4.1 RDD概述

4.2 深入剖析RDD

4.3 创建RDD

4.4 RDD操作

4.5 RDD持久化

4.6 RDD容错机制

第5章 Spark SQL编程进阶

5.1 概述

5.2 SparkSession

5.3 DataFrame

5.4 DataSet

5.5 数据抽象的共性与区别

5.6 数据抽象的相互转换

第6章 Spark SQL函数

6.1 用户定义函数

6.2 用户定义聚合函数

6.3 常用内置函数

第7章 Spark SQL性能调优

7.1 概述

7.2 并行度调优

7.3 内存调优

7.4 磁盘I/O调优

7.5 网络I/O调优

第8章 Spark SQL编程实践

8.1 Spark SQL实践一——学生考试信息分析

8.2 Spark SQL实践二——生鲜电商交易数据分析

8.3 Spark SQL实践三——四川省新生婴儿信息分析

附录

附录1 常用内置函数

附录2 常用高阶函数

附录3 术语解释