大模型时代

龙志勇 黄雯
代序 AI大模型:当代历史的标志性事件及其意义 “尝试找到如何让机器使用语言、形成抽象和概念、解决现在人类还不能解决的问题、提升自己,等等。对于当下的人工智能来说,首要问题是让机器像人类一样能够表现出智能。” ——达特茅斯会议对人工智能(AI)的定义 2020—2022年,在新冠疫情肆虐全球的阴霾日子里,人工智能创新的步伐完全没有停止。美国人工智能研究公司OpenAI异军突起:2020年4月发布神经网络Jukebox;2020年5月发布GPT-3,模型参数量为1 750亿;2020年6月开放人工智能应用程序接口;2021年1月发布连接文本和图像神经网络CLIP;2021年1月发布从文本创建图像神经网络DALL-E;2022年11月,正式推出对话交互式的ChatGPT。相比GPT-3,ChatGPT引入了基于人类反馈的强化学习(RLHF)技术以及奖励机制。 ChatGPT是人类科技史上的里程碑事件,在短短几个月席卷全球,速度之快超出人类最狂野的想象。ChatGPT证明了通过一个具有高水平结构复杂性和大量参数的大模型(foundation model,又称为“基础模型”)可以实现深度学习。此后,大模型概念受到前所未有的关注和讨论。但是,关于“大模型”定义,各方对其内涵的理解和诠释却莫衷一是,“横看成岭侧成峰,远近高低各不同”。 尽管如此,这并不妨碍人们形成关于大模型的基本共识:大模型是大语言模型(LLM),也是多模态模型,或者是生成式预训练转换模型。GPT是大模型的一种形态,引发了人工智能生成内容(AIGC)技术的质变。大模型是人工智能赖以生存和发展的基础。现在,与其说人类开始进入人工智能时代,不如说人类进入的是大模型时代。我们不仅目睹,也身在其中,体验生成式大模型如何开始生成一个全新时代。 1.何谓大模型 人工智能的模型,与通常的模型一样,是以数学和统计学为算法基础的,可以…