大模型动力引擎——PyTorch性能与显存优化手册

图书信息

作者	张爱玲、杨占略
出版社	清华大学出版社有限公司
ISBN	9787302673477
出版时间	2024-10-01
字数	12.6万
分类	科技,计算机,网络,程序设计

读书简介

本书致力于探索如何在大规模深度学习模型训练中，最大限度地提高性能和优化显存使 用。本书面向深度学习从业者，尤其是希望深了解并提升模型训练效率的工程师与研究 人员。随着深度学习模型和数据规模的迅速增长，如何高效利用硬件资源，减少训练时间， 成为当前AI系统工程的关键挑战。本书从硬件和软件的基础知识手，逐步引导读者理解 和掌握PyTorch的优化技巧。

目录

作者简介

内容简介

前言

01 欢迎来到这场大模型竞赛

1.1 模型规模带来的挑战

1.2 数据规模带来的挑战

1.3 模型规模与数据增长的应对方法

02 深度学习必备的硬件知识

2.1 CPU与内存

2.2 硬盘

2.3 GPU

2.4 分布式系统

03 深知度识学习必备的PyTorch

3.1 PyTorch的张量数据结构

3.2 PyTorch中的算子

3.3 PyTorch的动态图机制

3.4 PyTorch的自动微分系统

3.5 PyTorch的异步执行机制

04 定位性能瓶颈的工具和方法

4.1 配置性能分析所需的软硬件环境

4.2 精确测量程序运行时间

4.3 PyTorch性能分析器

4.4 GPU专业分析工具

4.5 CPU性能分析工具

4.6 本章小结

05 数据加载和预处理专题

5.1 数据接入的准备阶段

5.2 数据集的获取和预处理

5.3 数据集的加载和使用

5.4 数据加载性能分析

5.5 本章小结

06 单卡性能优化专题

6.1 提高数据任务的并行度

6.2 提高GPU计算任务的效率

6.3 减少CPU和GPU间的同步

6.4 降低程序中的额外开销

6.5 有代价的性能优化

6.6 本章小结

07 单卡显存优化专题

7.1 PyTorch的显存管理机制

7.2 显存的分析方法

7.3 训练过程中的显存占用

7.4 通用显存复用方法

7.5 有代价的显存优化技巧

7.6 优化Python代码以减少显存占用

7.7 本章小结

08 分布式训练专题

8.1 分布式策略概述

8.2 集合通信原语

8.3 应对数据增长的并行策略

8.4 应对模型增长的并行策略

8.5 本章小结

09 高级优化方法专题

9.1 自动混合精度训练

9.2 自定义高性能算子

9.3 基于计算图的性能优化

9.4 本章小结

10 GPT-2优化全流程

10.1 GPT模型结构简介

10.2 实验环境与机器配置

10.3 显存优化

10.4 性能优化

结语