从零构建大模型:算法、训练与微调

图书信息

作者	梁楠
出版社	清华大学出版社
ISBN	9787302685616
出版时间	2025-02-28
字数	11.0万
分类	科技,计算机,网络,程序设计

读书简介

《从零构建大模型:算法、训练与微调》是一本系统且实用的大模型构建指南，旨在引领读者从基础知识起步，逐步深探索大模型的算法原理、训练方法及微调技术。《从零构建大模型:算法、训练与微调》共12章，涵盖了Transformer模型的基础理论，如Seq2Seq模型、分词、嵌层和自注意力机制等关键概念；并深剖析了GPT模型的核心实现与文本生成过程，以及BERT模型的预训练和微调技术。

目录

作者简介

内容简介

前言

引言

一、大模型技术的发展历史

二、开发环境配置基础

第1章 Transformer模型基础

1.1 Seq2Seq模型

1.2 分词与嵌入层

1.3 自注意力与多头注意力机制

1.4 残差连接与层归一化

1.5 位置编码器

1.6 本章小结

1.7 思考题

第2章 GPT模型文本生成核心原理与实现

2.1 GPT-2核心模块

2.2 GPT模型的文本生成过程

2.3 模型效果评估与调优

2.4 本章小结

2.5 思考题

第3章 BERT模型核心实现与预训练

3.1 BERT模型的核心实现

3.2 预训练任务：掩码语言模型（MLM）

3.3 BERT模型的微调与分类任务应用

3.4 本章小结

3.5 思考题

第4章 ViT模型

4.1 图像分块与嵌入

4.2 ViT模型的核心架构实现

4.3 训练与评估ViT模型

4.4 ViT模型与注意力严格量化分析

4.5 本章小结

4.6 思考题

第5章 高阶微调策略：Adapter Tuning与P-Tuning

5.1 Adapter Tuning的实现

5.2 LoRA Tuning实现

5.3 Prompt Tuning与P-Tuning的应用

5.4 本章小结

5.5 思考题

第6章 数据处理与数据增强

6.1 数据预处理与清洗

6.2 文本数据增强

6.3 分词与嵌入层的应用

6.4 本章小结

6.5 思考题

第7章 模型性能优化：混合精度训练与分布式训练

7.1 混合精度训练的实现

7.2 多GPU并行与分布式训练的实现

7.3 梯度累积的实现

7.4 本章小结

7.5 思考题

第8章 对比学习与对抗训练

8.1 对比学习

8.2 基于对比学习的预训练与微调

8.3 生成式对抗网络的实现与优化

8.4 对抗训练在大模型中的应用

8.5 本章小结

8.6 思考题

第9章 自适应优化器与动态学习率调度

9.1 AdamW优化器与LAMB优化器的实现

9.2 基于梯度累积的优化技巧

9.3 动态学习率调度

9.4 Warmup与循环学习率调度

9.5 本章小结

9.6 思考题

第10章 模型蒸馏与剪枝

10.1 知识蒸馏：教师－学生模型

10.2 知识蒸馏在文本模型中的应用

10.3 模型剪枝技术

10.4 本章小结

10.5 思考题

第11章 模型训练实战

11.1 数据预处理与Tokenization细节

11.2 大规模预训练模型的设置与启动

11.3 预训练过程中的监控与中间结果保存

11.4 训练中断与恢复机制

11.5 综合案例：IMDB文本分类训练全流程

11.6 本章小结

11.7 思考题

第12章 模型微调实战

12.1 微调数据集的选择与准备

12.2 层级冻结与部分解冻策略

12.3 模型参数调整与优化技巧

12.4 微调后的模型评估与推理优化

12.5 综合微调应用案例

12.6 本章小结

12.7 思考题