
大模型理论与实践:打造行业智能助手
紧扣实践需求,实战案例均源自真实场景,聚焦效果验证
¥40.12
作品简介
本书以打造行业智能助手为主线,全面介绍大模型的理论与实践。本书在内容上侧重于实践,兼顾理论的系统性。全书共4部分:第1部分为大模型导论(第1章),介绍大模型的相关概念以及大模型的过去、现在与未来;第2部分为理论知识(第2、3章),介绍大模型基础知识和大语言模型分布式训练;第3部分为实践(第4~7章),介绍大模型的继续预训练、对齐、推理与部署,通过实际案例详细介绍如何打造行业智能助手并将其部署到生产环境中;第4部分为高级主题(第8、9章),介绍多模态大模型、AI智能体的最新进展。
本书可以作为大模型领域技术人员的参考书,同时也可以供有志于从事大模型工作的高校相关专业本科生以及从搜索、自然语言处理等方向转向大模型的专业人员自学。
林明编著。
作品目录
内容简介
作者简介
前言
第1章 大模型导论
1.1 大模型概念
1.2 大模型的过去、现在与未来
1.3 本书的读者对象与内容
参考文献
第2章 大模型基础知识
2.1 分词
2.2 位置编码
2.3 网络结构
2.4 长上下文
参考文献
第3章 大语言模型分布式训练
3.1 大语言模型高效训练技术要点
3.2 并行模式
3.3 集合通信
3.4 DeepSpeed训练加速框架
3.5 DeepSpeed训练方案建议
参考文献
第4章 继续预训练
4.1 继续预训练的必要性
4.2 数据预处理
4.3 实战:行业大模型的继续预训练
参考文献
第5章 对齐(上)——指令微调
5.1 指令微调的必要性
5.2 微调方法
5.3 指令集的自动构造
5.4 实战:打造具有多轮对话能力的行业智能助手
参考文献
第6章 对齐(下)——强化学习微调
6.1 强化学习微调的必要性
6.2 人类偏好对齐的强化学习建模
6.3 RLHF
6.4 RLAIF
6.5 实战:DeepSpeed-Chat代码解析
6.6 DPO算法
参考文献
第7章 推理与部署
7.1 推理加速
7.2 量化
7.3 部署
7.4 实战:使用FastChat部署Qwen 14B
参考文献
第8章 多模态大模型
8.1 多模态技术路线
8.2 桥接多模态大模型
8.3 原生多模态大模型
参考文献
第9章 AI智能体
9.1 AI智能体架构
9.2 开发框架
参考文献