大模型工程化:AI驱动下的数据体系

腾讯游戏数据团队
内 容 提 要 大模型在众多领域得到了广泛应用,促进了AI技术的整合和创新。然而,在实际应用过程中,直接将大模型应用于特定行业常常难以达到预期效果。本书详细阐述如何在游戏经营分析场景中利用大模型实现数据体系的建设。 本书分为6个部分,共16章。第1部分主要介绍大模型技术的发展与应用,从大模型的发展现状展开,重点介绍大模型与数据体系的相关知识。第2部分主要介绍大模型下的关键基础设施,涵盖湖仓一体引擎、湖仓的关键技术、实时数据写入和高效数据分析等内容。第3部分主要介绍大模型下的数据资产,围绕数据资产重塑、数据资产标准、数据资产建设、数据资产运营展开。第4部分主要介绍自研领域大模型的技术原理,涵盖领域大模型的基础、需求理解算法、需求匹配算法、需求转译算法等内容。第5部分主要介绍大模型的工程化原理,涉及工程化的基础、技术筹备、建设要点、安全策略等内容。第6部分介绍大模型在游戏领域的应用,通过游戏领域的经营分析案例,系统地阐述如何实现业务需求。 本书适合致力于大模型技术应用的数据工程师阅读,也适合寻求AI自动化编程解决方案的软件开发者阅读,还适合希望利用AI提升业务效率的企业决策者阅读。 前  言 笔者团队在大数据领域深耕十多年,见证了从早期处理能力有限的大数据平台,到如今能够实现秒级处理的湖仓一体架构的演进,以及大数据的存储、计算、治理、应用等各类底座、平台的蓬勃发展。随着大模型时代的到来,构建以 AI 为驱动的数据体系已经从可能转变为必然。在这一进程中,笔者团队也积极地融入大模型的浪潮,以大模型、湖仓一体等新技术为基础,实施并落地了基于AI与湖仓一体技术的数据资产方案,从而达成在AI驱动下构建数据体系的目标。 2024年,笔者团队决定撰写本书,旨在通过介绍项目中积累的技术体系与方法论,助力读者构建起体系化的思维模式。笔者团队深刻意识到,在大模型时代,不仅要关注大模型技术本身…