书书籍需注意
从零构建大模型：算法、训练与微调
TransformerGPTBERTViT
介绍
本书系统讲解大模型构建全流程，涵盖Transformer、GPT、BERT、ViT等核心模型原理与实现，深入介绍Adapter Tuning、P-Tuning、LoRA等微调策略，以及数据处理、混合精度训练、分布式训练、对比学习、对抗训练、优化器、学习率调度、模型蒸馏与剪枝等技术，并通过实战案例展示训练与微调完整流程。
章节要点
- 第 1 章Transformer模型基础
- 第 2 章GPT模型文本生成核心原理与实现
- 第 3 章BERT模型核心实现与预训练
- 第 4 章ViT模型
- 第 5 章高阶微调策略：Adapter Tuning与P-Tuning
- 第 6 章数据处理与数据增强
- 第 7 章模型性能优化：混合精度训练与分布式训练
- 第 8 章对比学习与对抗训练
- 第 9 章自适应优化器与动态学习率调度
- 第 10 章模型蒸馏与剪枝
- 第 11 章模型训练实战
- 第 12 章模型微调实战