作者简介 王志立自然语言处理工程师，曾在国际与国内的学术会议上发表学术论文多篇，先后在腾讯等多家知名企业从事大数据与人工智能算法工作，运营和分享人工智能相关知识，曾获得多项人工智能比赛国家级奖项。 雷鹏斌华为AI算法工程师，主要从事chatops、知识图谱的研究和实践工作，对自然语言处理各项任务有深入的研究。2019—2021年在国内知名竞赛的文本分类、命名实体识别、机器阅读理解、智能问答，以及文本生成任务中摘获大量荣誉。曾参与多项课题研究，在AAAI、《中文信息学报》等高影响力期刊上发表多篇论文。 吴宇凡腾讯算法应用研究员，长期从事业务安全和金融量化相关算法研究和实践工作，已在国际顶级期刊上发表多篇论文，申请专利数项。 内容简介 本书系统阐述自然语言处理的基础知识，以及自然语言处理高级模型应用等高级知识。 全书共11章：第1～5章为自然语言处理的基础知识，第6～11章将自然语言处理知识应用于实战。书中主要内容包括预训练模型、文本分类、机器阅读理解、命名实体识别、文本生成、模型蒸馏与剪枝及损失函数等知识。 书中包含大量应用示例，读者不仅可以学会理论知识还可以灵活应用。书中示例基于Linux与PyTorch环境开发，读者在学习自然语言处理知识的同时还可学会PyTorch框架技术，内容完整、步骤清晰，提供了工程化的解决方案。 本书可作为有一定深度学习基础的读者的入门书，也可作为从事自然语言处理算法工作的技术人员及培训机构的参考书。 前言 笔者在这短短一年多的时间里经历了人生中很多大事，在编写本书的同时，人工智能自然语言处理领域的发展也经历了很多大事件，有预测蛋白质结构的alpha-fold模型、有1750亿参数量的超大无比GPT3屠榜自然语言处理各个任务的榜单，也有实现增量推理与分布式推理的盘古预训练模型。总体来讲，自2018年底谷歌公司发布BERT预训练模型后，自然…