一、本书内容简介

2023年3月份，中共中央、国务院印发了《数字中国建设整体布局规划》（以下简称《规划》）。该《规划》明确指出，建设数字中国是数字时代推进中国式现代化的重要引擎。数字中国的建设和大目标的达成，人工智能是重要的技术、工具和底座平台。

随着ChatGPT和GPT-4这两个知名大模型的发布，让大模型迅速成为行业爆点，重新点燃了全球对通用人工智能的热情。全球主要国家和地区都开始致力于大模型的研发、应用和推广。我们认为：以大数据和人工智能为核心技术驱动的新的科技革命即将到来，数字赋能一切的新的数字经济范式也即将到来。面对数字经济的时代大背景，无论从业者来自哪个行业（互联网行业、通讯行业、金融行业、传统制造行业或服务业等），从事何种职业(研发人员、工程师、设计师、多媒体工作者、编辑等），都难以避免受到数字经济的影响和冲击。

大模型更像是一场遍布全球的科技“军备竞赛”，模型的效果如果“差之毫厘”，面临的结局可能就是“谬以千里”。从技术发展方面的角度看，我们认为：单模态大模型只是过渡型技术，多模态大模型将成为通用人工智能赋能各行各业的重要技术底座。而当前国内详细介绍多模态大模型的发展历史、技术要点和应用实战方面的书籍少之又少，很多从业者想深入学习，也难以找到体系化的教材。基于此，本书详细介绍了自然语言大模型和多模态大模型的发展进化历史、技术原理和亮点、行业主要的开源模型框架、配套工具、模型部署细则和实战案例。期望通过本书的内容，能够帮助读者打开通往大模型尤其是多模态大模型的学习、实战和商业成功之路。

而大模型的核心特征，譬如“大数据、大算力和大参数”这几个“大字”无疑极大增加了人工智能的研发、训练、部署和应用门槛。在小模型时代，大部分公司只需要投入几台小显存的GPU服务器，就可以轻松“玩转”AI在众多垂直领域的商业应用。尽管小模型的推理效果十分有限，但是也基本能满足众多垂直领域的商业需求。而在大模型时代，这一切正在发生巨变，中小公司开始有点玩不起人工智能大模型了，这是中小创业公司面临的难题。众多中小公司如何参与大模型的重构，如何优化大模型，如何通过“善假于外物“快速借助大模型实现商业价值诸如此类，都是他们面临的问题和挑战。基于此，我们在本书中详细介绍了中小创业公司如何使用大模型构建商业应用的三个案例。在第十一章，我们详细介绍了如何以130亿参数的大模型为底座，通过构建垂直领域的指令数据集和诸多优化技巧对大模型进行微调，实现性能优秀的AI智能助理。在第十二章，我们详细介绍了多模态大模型如何赋能情绪识别。精准识别评论、文章、图片、语音和视频等不同模态数据中有生命实体（人物或者动物）的情绪是人工智能的高级应用，可以被广泛应用到医疗健康、营销和客服等场景。在第十三章，我们还介绍了大模型在软件研发领域的赋能实践，通过实际案例详细介绍了其如何帮助码农提高工作效率。通过上述三个案例，我们将手把手教会从业者快速构建大模型的商业应用。

此外，为了更好地让来自于不同领域的读者熟悉多模态大模型的价值，在第十章，我们还详细阐述了多模态大模型在六大领域（分别是金融领域、出行&物流领域、电商领域、工业设计&生产领域、医疗健康服务领域和教育培训领域）的赋能应用点，帮助读者更好的理解多模态大模型的应用场景和可能产生的商业价值。

本书适用于从事人工智能工作的专业技术人员，比如算法工程师、研发工程师等，也适用于对多模态大模型感兴趣的各类从业者，比如产品经理、项目经理和各级管理人员等；我们衷心希望读者们能够通过对本书的学习，能更好、更快地拿起多模态大模型这个“强大武器“，快速落地，高效促进所在产业的数智化转型和变革。同时，我们也由衷希望通过本书的创作促进与多模态大模型赋能相关的专业人士之间的深入、广泛的交流和合作。

希望读者能够通过对本书的学习，更好、更快地拿起多模态大模型这个“强大武器”，高效地促进所在产业的数智化转型和变革。同时，我们也希望通过本书的创作可以与研究和应用多模态大模型的专业人士深入、广泛地交流和合作。

这本大模型《多模态大模型：技术原理与实战》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《多模态大模型：技术原理与实战》免费分享（安全链接，放心点击）]👈

二、大咖推荐节选

随着GPT-4的推出，人工智能技术开始向多模态大模型方向发展。多模态大模型也将成为人工智能技术的基础设施。本书以一种专业和敏锐的时代洞察力，围绕多模态大模型这一主题，从理论到实践，与您“娓娓道来”，让您不仅能读懂多模态大模型的理论，更能熟练掌握如何应用多模态大模型进行实战，我相信此书将让您收获满满。

——国务院政府特殊津贴专家，中国精算师协会会长 王和博士

ChatGPT的出现标志着“AI大模型时代”到来，其通过对人类知识存储、传承和使用方式的重构，及表现出的多模态、多技术、多能力和多应用的发展趋势，为处于数智化转型进程中的金融企业打开更具想象力的发展空间。现阶段，金融企业对大模型研发及应用场景的 探索还处在起步阶段，亟需对相关技术全面、深入地了解，对方向和趋势客观、专业地分析，以及实战经验的分享。本书应运而生，详细介绍了自然语言大模型和多模态大模型的发展历史、技术原理和创新点，深入阐述了多模态大模型的部署、应用场景和实战案例，为读者打开了通往大模型尤其是多模态大模型的学习、实战和商业成功之路。

————金科创新社新媒体总编辑、合伙人 李庆莉

OpenAI陆续发布了ChatGPT和GPT-4，无疑在IT界乃至整个社会激起了千层浪。其发展历程、背后的原理、多模态扩展、给中小公司的机遇、完整的应用案例与实践都是大家关心和迫切需要的。纵观当下，上述信息都非常碎片化地存在于互联网上。本书体系化地介绍了大模型背后的原理、技术和实践，恰逢其时地弥补了大模型书籍的空缺，是大模型研发人员乃至IT从业者不可多得的专业读物。

— 同济大学特聘研究员，OpenKG发起人 王昊奋

2022下半年人工智能在生成式大模型技术领域取得了显著性突破，以ChatGPT为代表的大语言大模型在全球公测中表现出多任务处理、多语言辨识、强语义理解等智慧涌现的特质，许多专家评价其为AGI开启了一扇窗，该类技术的跨越式进步为产业升级提供了无限想象空间。当前系统性地介绍大模型技术，尤其是多模态大模型技术的书籍凤毛麟角。本书的出现可谓及时雨。本书对当前主流的大模型技术进行了系统性阐述，并从培养新型思维认知的角度，深入浅出、实例化讲解了大模型的应用技术。本书对技术人员、业务人员了解生成式大模型技术，培养生成式解决方案思维大有裨益。

——————泰康集团CTO 杜彦斌

多模态大模型是新一代人工智能主要的技术底座模型，更加符合产业的实际需求。国内目前少有能够让读者深入浅出地快速了解该领域的重要知识点的关于多模态大模型的书籍。本书有效地弥补了该项空白，不仅相对系统地阐述了多模态大模型的理论和技术原理，还提供了三个实战案例，有助于各个行业更好、更快地推动多模态大模型的应用和价值实现。

——阳光保险集团副总裁，亚洲金融协会金融科技合作委员会委员 谷伟

造机器就像造人，只会说不行。只有让机器能听、能说、能看，AGI才算完成大半。本书作者都是该领域的专家，对多模态大模型有很多前瞻的观点。力荐本书。

——玄涌智能CEO 古飞

适用于:

算法工程师、研发工程师等，也适用于对多模态大模型感兴趣的各类从业者，比如产品经理、项目经理和各级管理人员等。

本书推荐理由：

《多模态大模型：技术原理与实战》以其前沿实用的内容、深入的技术剖析、丰富的实战案例、权威的专家团队以及广泛的适用性，成为一本多模态大模型的权威著作，助力读者全面掌握多模态大模型技术，开启AI应用与商业创新之旅。
前沿实用：本书紧跟AI前沿，深入剖析多模态大模型技术，并提供丰富实战案例，助力读者全面掌握。

内容深入： 从NLP基础到多模态核心技术、开源框架、部署运维，内容全面且深入，构建系统知识体系。
案例丰富： 通过多模态对话、内容生成、智能客服等实战案例，展示技术潜力，提供详细实现步骤和评估方法。
权威团队： 由AI领域资深专家和学者撰写，保证内容权威性和准确性。
适用广泛： 适合初学者入门、从业者深入学习及专业学生参考，助力技能全面提升。

三、本书目录展示

第1章 OpenAI一鸣惊人带来的启示1

1.1 OpenAI的成长并非一帆风顺2

1.2 OpenAI成功的因素5

1.3 OpenAI特殊的股权设计带来的启示7

1.4 思考11

第2章 自然语言处理的发展历程13

2.1 自然语言处理的里程碑14

2.1.1 背景介绍14

2.1.2 自然语言处理发展的7个阶段15

2.2 从BERT模型到ChatGPT 30

2.3 BERT模型到底解决了哪些问题31

2.4 BERT模型诞生之后行业持续摸索38

2.5 ChatGPT的诞生41

2.5.1 InstructGPT模型的构建流程42

2.5.2 ChatGPT和InstructGPT的差异44

2.5.3 ChatGPT和BERT大模型在公开数据集上的测试45

2.5.4 高质量的数据标注46

2.6 思考48

第3章 读懂ChatGPT的核心技术50

3.1 基于Transformer的预训练语言模型50

3.2 提示学习与指令微调55

3.3 基于人工反馈的强化学习59

3.4 思维链方法61

3.5 集成学习64

3.6 思考67

第4章 看清GPT的进化史和创新点68

4.1 GPT技术的发展历程68

4.1.1 GPT-1技术的发展历程68

4.1.2 GPT-2技术的发展历程72

4.1.3 GPT-3技术的发展历程73

4.2 GPT的创新点总结75

4.3 思考77

第5章 大模型+多模态产生的“化学反应”78

5.1 多模态模型的发展历史78

5.2 单模态学习、多模态学习和跨模态学习的区别82

5.3 多模态大模型发展的重大里程碑85

5.4 大模型+多模态的3种实现方法94

5.5 多模态大模型的效果评估99

5.6 思考102

第6章 多模态大模型的核心技术103

6.1 文本多模态技术104

6.1.1 基于模板的图像描述方法105

6.1.2 基于检索的图像描述方法105

6.1.3 基于深度学习的图像描述方法105

6.2 图像多模态技术106

6.2.1 基于GAN的文本生成图像方法107

6.2.2 基于VAE的文本生成图像方法109

6.2.3 基于扩散模型的文本生成图像方法110

6.3 语音多模态技术111

6.3.1 基于非深度学习的文本生成语音技术111

6.3.2 基于深度学习的文本生成语音技术113

6.4 视频多模态技术116

6.4.1 基于非扩散模型的文本生成视频技术117

6.4.2 基于扩散模型的文本生成视频技术118

6.5 跨模态多重组合技术119

6.6 多模态大模型高效的训练方法120

6.7 GPT-4多模态大模型核心技术介绍122

6.8 多模态技术的发展趋势123

第7章 国内外多模态大模型对比124

7.1 国内多模态大模型介绍125

7.1.1 LLaMA-Adapter V2 125

7.1.2 VisualGLM-6B 128

7.1.3 mPLUG-Owl 129

7.2 国外多模态大模型介绍131

7.2.1 Visual ChatGPT 131

7.2.2 InstructBLIP 132

7.2.3 MiniGPT-4 134

7.3 多模态大模型评测数据集135

7.3.1 国内评测数据集136

7.3.2 国外评测数据集136

7.4 多模态大模型的评测标准137

7.4.1 国内评测标准137

7.4.2 国外评测标准138

7.5 多模态大模型对比139

7.5.1 感知能力评测139

7.5.2 认知能力评测143

7.6 思考144

第8章 中小公司的大模型构建之路146

8.1 微调技术介绍147

8.1.1 LoRA技术148

8.1.2 AdaLoRA技术149

8.1.3 QLoRA技术149

8.1.4 微调加DeepSpeed的ZeRO-3 150

8.2 模型压缩技术介绍151

8.2.1 剪枝151

8.2.2 知识蒸馏153

8.2.3 量化压缩154

8.3 微调实战155

8.3.1 部分参数微调实战156

8.3.2 全参数微调实战157

8.4 模型压缩实战159

8.4.1 8位量化压缩实战159

8.4.2 4位量化压缩实战160

8.5 思考162

第9章 从0到1部署多模态大模型163

9.1 部署环境准备163

9.2 部署流程165

9.3 使用Flask框架进行API开发167

9.4 使用Gradio框架进行Web页面开发171

9.5 其他部署方法介绍176

9.6 部署过程中常见的问题总结179

第10章 多模态大模型的主要应用场景183

10.1 多模态大模型的应用图谱183

10.1.1 多模态大模型的30个基础应用183

10.1.2 多模态大模型在六大领域中的应用189

10.2 多模态大模型在金融领域中的应用193

10.2.1 语音质检194

10.2.2 智能顾问196

10.3 多模态大模型在出行与物流领域中的应用201

10.4 多模态大模型在电商领域中的应用203

10.4.1 智能客服203

10.4.2 智能试穿205

10.5 多模态大模型在工业设计与生产领域中的应用207

10.6 多模态大模型在医疗健康领域中的应用210

10.7 多模态大模型在教育培训领域的应用215

10.8 思考216

第11章 用多模态大模型打造AI助理实战218

11.1 应用背景218

11.2 方法论介绍219

11.2.1 思维链解决复杂的推理问题219

11.2.2 思维树进一步提升推理能力220

11.2.3 采用插值法解决长文本输入问题220

11.3 工具和算法框架介绍222

11.3.1 使用的工具222

11.3.2 使用的算法框架222

11.4 优化逻辑介绍224

11.4.1 如何提高多轮对话能力225

11.4.2 如何提高角色扮演能力225

11.4.3 如何提高长文本阅读能力226

11.5 多模态大模型的部署227

11.6 多模态大模型的性能评估228

11.6.1 综合性能评估228

11.6.2 长文本阅读示例229

11.6.3 多轮对话示例230

11.6.4 角色扮演示例233

11.6.5 LangChain框架赋能Ziya在限定域内问答示例234

11.7 思考235

第12章 多模态大模型在情绪识别领域的应用236

12.1 应用背景和待解决的问题236

12.2 方法论介绍238

12.3 工具和算法框架介绍243

12.3.1 算法的输入和输出243

12.3.2 算法框架的整体构建流程244

12.3.3 文本预训练任务245

12.3.4 图像预训练任务247

12.3.5 多模态预训练任务248

12.3.6 算法的求解249

12.3.7 算法的应用250

12.4 优化逻辑介绍251

12.5 部署流程253

12.6 效果评测254

12.6.1 评测数据集254

12.6.2 评测指标257

12.6.3 评测结果257

12.7 思考259

第13章 大模型在软件研发领域的实战案例与前沿探索261

13.1 LLM在软件研发过程中的单点提效262

13.1.1 基于GitHub Copilot的代码片段智能生成262

13.1.2 基于GitHub Copilot X实现增强的代码片段智能生成266

13.1.3 基于GitHub Copilot X实现对选中的代码的理解与解读268

13.1.4 基于GitHub Copilot X的Pull Requests提效269

13.1.5 基于LLM实现的“代码刷”270

13.1.6 使用Copilot Voice实现语音驱动的代码开发272

13.1.7 使用Copilot CLI实现命令行的自动生成274

13.1.8 使用TestPilot实现单元测试用例的自动生成275

13.1.9 更多的应用277

13.2 代码大语言模型为软件研发带来的机遇与挑战277

13.2.1 对于软件研发来说，什么变了278

13.2.2 对于软件研发来说，什么没有变278

13.3 在LLM时代，对软件研发的更多思考283

13.3.1 思考1：替代的是“码农”，共生的是工程师283

13.3.2 思考2：有利于控制研发团队规模，保持小团队的效率优势284

13.3.3 思考3：不可避免的“暗知识”284

13.3.4 思考4：Prompt即代码，代码不再是代码285

13.3.5 思考5：Prompt to Executable软件研发范式的可能性286

13.4 思考286

这本大模型《多模态大模型：技术原理与实战》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《多模态大模型：技术原理与实战》免费分享（安全链接，放心点击）]👈