新書推薦：
《
汉娜·阿伦特与以赛亚·伯林 ： 自由、政治与人性
》
售價：NT$
500.0
《
女性与疯狂（女性主义里程碑式著作，全球售出300万册）
》
售價：NT$
500.0
《
药食同源中药鉴别图典
》
售價：NT$
305.0
《
设计中的比例密码：建筑与室内设计
》
售價：NT$
398.0
《
冯友兰和青年谈心系列：看似平淡的坚持
》
售價：NT$
254.0
《
汉字理论与汉字阐释概要 《说解汉字一百五十讲》作者李守奎新作
》
售價：NT$
347.0
《
汗青堂丛书144·决战地中海
》
售價：NT$
765.0
《
逝去的武林（十周年纪念版 武学宗师 口述亲历 李仲轩亲历一九三零年代武人言行录）
》
售價：NT$
250.0
|
| 編輯推薦： |
获奖情况：浙江省普通本科高校“十四五”重点立项建设教材。
本书特色：
深入浅出介绍与分析，易于理解和掌握知识与应用场景。
注重AI思维与提高，建构大模型的基本观念与技术。
针对性的“实践与思考”环节，融入大模型发展进程。
|
| 內容簡介： |
随着信息技术的发展，大语言模型已然成为自然语言处理领域的重要基石，并持续推动着人工智能技术的进步和社会应用的拓展。学习大语言模型课程不仅有利于个人专业成长，更能对社会进步和技术创新产生积极影响。人工智能及其大语言模型技术，是每个高校学生甚至社会人所必须关注、学习和重视的知识与现实。
本书介绍的大语言模型知识主要包括：概述、大模型基础、大模型的架构、数据标注、大模型预训练数据、大模型的开发组织、分布式训练、提示工程与微调、强化学习方法、基于大模型的智能体、大模型应用框架、技术伦理与限 制、大模型的评估和大模型的健康未来等。
本书特色鲜明、易读易学，适合高等院校、职业院校的人工智能、信息技术相关专业学生学习，也适合对人工智能以及大语言模型相关领域感兴趣的读者阅读参考。
|
| 關於作者： |
|
周苏，男，1958年出生，苏州人。浙江大学城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。周苏教授的主要教学和研究方向为软件工程、操作系统和多媒体技术等，仅从自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验。
|
| 目錄：
|
前言
课程教学进度表
第1章 概述1
1.1 人工智能基础1
1.1.1 人工智能的定义1
1.1.2 人工智能的实现途径2
1.1.3 机器学习和深度学习3
1.1.4 监督学习与无监督学习4
1.2 大语言模型的定义5
1.3 大语言模型形成基础6
1.3.1 Blockhead思维实验7
1.3.2 大模型的历史基础7
1.3.3 基于Transformer模型8
1.3.4 大模型的学习能力9
1.3.5 大模型的世界模型问题9
1.3.6 文化知识传递和语言支持10
1.4 通用人工智能11
1.4.1 什么是通用人工智能11
1.4.2 大模型与通用人工智能11
1.4.3 人工智能生成内容12
【作业】13
【实践与思考】了解典型的开源大语言模型14
第2章 大模型基础17
2.1 什么是语言模型17
2.1.1 语言模型的定义17
2.1.2 注意力机制18
2.1.3 开源还是闭源19
2.2 大模型发展三阶段21
2.2.1 基础模型阶段21
2.2.2 能力探索阶段21
2.2.3 突破发展阶段22
2.3 Transformer模型22
2.3.1 Transformer过程22
2.3.2 Transformer结构25
2.3.3 Transformer模块26
2.4 生成式预训练语言模型GPT27
2.5 大模型的结构28
2.5.1 LLaMA的模型结构28
2.5.2 LLaMA的注意力机制28
【作业】30
【实践与思考】基于ChatGPT的免费工具：ChatAI小组件31
第3章 大模型的架构35
3.1 大模型生成原理35
3.1.1 上下文学习36
3.1.2 指令微调37
3.1.3 零样本/少样本37
3.1.4 深度学习架构37
3.1.5 训练策略及优化技术38
3.2 多模态语言模型38
3.2.1 多模态指令微调39
3.2.2 多模态上下文学习39
3.2.3 多模态思维链40
3.2.4 大模型辅助视觉推理40
3.3 应用技术架构41
3.3.1 指令工程41
3.3.2 函数调用42
3.3.3 检索增强生成42
3.3.4 微调42
3.4 OpenAI的Sora大模型42
3.4.1 Sora技术报告分析43
3.4.2 Sora主要技术特点43
3.4.3 Sora的模型训练过程43
3.5 谷歌的新款大模型频发44
3.5.1 Gemini 1.0大模型44
3.5.2 Gemini 1.5多模态大模型45
3.5.3 Gemma开源大模型48
3.5.4 Genie基础世界模型48
3.5.5 什么是世界模型48
【作业】49
【实践与思考】熟悉阿里云大模型—通义千问51
第4章 数据标注54
4.1 知识与知识表示54
4.1.1 知识的概念54
4.1.2 知识表示方法56
4.1.3 表示方法的选择57
4.2 什么是数据标注59
4.3 数据标注的分类60
4.3.1 图像标注60
4.3.2 语音标注61
4.3.3 3D点云标注61
4.3.4 文本标注62
4.4 制定标注规则62
4.5 执行数据标注63
4.6 标注团队管理65
【作业】66
【实践与思考】熟悉百度大模型—文心一言68
第5章 大模型预训练数据72
5.1 数据来源72
5.1.1 通用数据72
5.1.2 专业数据73
5.2 数据处理74
5.2.1 质量过滤74
5.2.2 冗余去除75
5.2.3 隐私消除75
5.2.4 词元切分75
5.3 数据影响分析76
5.3.1 数据规模77
5.3.2 数据质量77
5.4 典型的开源数据集78
5.4.1 Pile78
5.4.2 ROOTS79
5.5 数据集面临的挑战81
5.5.1 数据集规模和质量待提升81
5.5.2 大模型与数据集相辅相成81
5.5.3 数据集标准规范需健全82
5.5.4 数据存储性能待提高83
【作业】83
【实践与思考】熟悉Globe Explorer智能搜索引擎86
第6章 大模型的开发组织88
6.1 大模型开发流程88
6.2 大模型的数据组织90
6.2.1 数据采集91
6.2.2 数据清洗和预处理91
6.2.3 数据标注92
6.2.4 数据集划分93
6.2.5 模型设计93
6.2.6 模型初始化94
6.2.7 模型训练94
6.2.8 模型验证95
6.2.9 模型保存95
6.2.10 模型测试96
6.2.11 模型部署96
6.3 训练集、验证集、测试集的不同之处97
6.3.1 目的与功能不同97
6.3.2 数据交互频率不同97
6.3.3 数据划分与比例不同98
6.3.4 使用时机不同98
6.4 训练集、验证集、测试集的相似之处98
6.4.1 数据来源一致99
6.4.2 相似的数据预处理99
6.4.3 目标一致，各具独立性99
6.4.4 保证数据质量和代表性99
【作业】100
【实践与思考】熟悉科大讯飞大模型—讯飞星火认知102
第7章 分布式训练106
7.1 分而治之106
7.1.1 消息传递接口MPI107
7.1.2 MapReduce107
7.1.3 批处理和流处理108
7.2 什么是分布式处理109
7.2.1 分布式处理的特点109
7.2.2 分布式处理的发展过程110
7.2.3 分布式构成方式110
7.2.4 分布式处理系统111
7.3 分布式训练概述111
7.4 分布式并行训练策略112
7.4.1 数据并行性113
7.4.2 模型并行性114
7.4.3 流水线并行性115
7.4.4 混合并行115
7.5 分布式训练的集群架构116
【作业】117
【实践与思考】大模型背后的“芯片行业巨头”—英伟达119
第8章 提示工程与微调121
8.1 什么是提示工程121
8.1.1 提示工程的本质121
8.1.2 提示工程的原理122
8.1.3 提示工程应用技术123
8.1.4 提示的通用技巧124
8.2 大模型为什么要微调125
8.3 提示学习和语境学习126
8.3.1 提示学习126
8.3.2 语境学习127
8.4 上下文窗口扩展128
8.5 指令数据的构建128
8.5.1 手动构建指令128
8.5.2 自动构建指令128
8.5.3 开源指令数据集130
8.6 微调及其PEFT流行方案130
8.6.1 微调技术路线130
8.6.2 提示微调130
8.6.3 前缀微调131
8.6.4 LoRA131
8.6.5 QLoRA131
【作业】131
【实践与思考】熟悉文生图大模型—Midjourney133
第9章 强化学习方法136
9.1 什么是强化学习136
9.1.1 强化学习的定义136
9.1.2 强化学习的发展历史137
9.2 强化学习与监督和无监督学习的 比较138
9.2.1 与监督和无监督学习的不同138
9.2.2 大模型环境下的强化学习139
9.2.3 学习方式不同140
9.2.4 先验知识与标注数据141
9.3 强化学习的基础141
9.3.1 基于模型与免模型环境141
9.3.2 探索与利用142
9.3.3 片段还是连续性任务143
9.3.4 网络模型设计143
9.3.5 数据依赖性145
9.4 强化学习分类146
9.4.1 从奖励中学习146
9.4.2 被动强化学习147
9.4.3 主动强化学习147
9.4.4 强化学习中的泛化147
9.4.5 学徒学习147
【作业】148
【实践与思考】熟悉文生视频大模型—Sora149
第10章 基于大模型的智能体154
10.1 智能体和环境154
10.2 智能体的良好行为155
10.2.1 性能度量155
10.2.2 理性156
10.2.3 全知、学习和自主156
10.3 环境的本质157
10.3.1 指定任务环境157
10.3.2 任务环境的属性158
10.4 智能体的结构160
10.4.1 智能体程序160
10.4.2 学习型智能体161
10.4.3 智能体组件的工作163
10.5 构建大模型智能体164
10.5.1 基于大模型的智能体164
10.5.2 观测与感知164
10.5.3 记忆与检索165
10.5.4 推理和规划166
10.5.5 行动和执行167
【作业】168
【实践与思考】人形机器人创业独角兽Figure AI170
第11章 大模型应用框架172
11.1 大模型哲学问题172
11.1.1 组成性172
11.1.2 天赋论与语言习得173
11.1.3 语言理解与基础173
11.1.4 世界模型174
11.1.5 知识传递和语言支持175
11.2 大模型的构建流程175
11.2.1 确定需求大小176
11.2.2 数据收集176
11.2.3 数据预处理177
11.2.4 大模型预训练177
11.2.5 任务微调178
11.2.6 模型部署178
11.3 大模型的应用场景178
11.3.1 机器翻译、文本理解与分析179
11.3.2 恶意软件分析179
11.3.3 自然语言生成179
11.3.4 搜索与知识提取180
11.3.5 代码开发181
11.3.6 检测和预防网络攻击181
11.3.7 虚拟助理和客户支持181
11.3.8 转录181
11.3.9 市场调研181
11.3.10 SEO关键词优化181
11.4 案例：Magic突破Q算法182
【作业】183
【实践与思考】精通垃圾分类的ZenRobotics机器人185
第12章 技术伦理与限制187
12.1 人工智能面临的伦理挑战187
12.1.1 人工智能与人类的关系187
12.1.2 人与智能机器的沟通188
12.2 大数据伦理问题189
12.2.1 数据主权和数据权问题189
12.2.2 隐私权和自主权问题190
12.2.3 数据利用失衡问题190
12.3 大模型的知识产权保护190
12.3.1 大模型的诉讼案例191
12.3.2 大模型生成内容的知识产权保护194
12.3.3 尊重隐私，保障安全，促进开放194
12.3.4 边缘群体的数字平等195
12.4 算法歧视195
12.4.1 算法透明之争195
12.4.2 算法透明的实践197
12.4.3 算法透明的算法说明198
12.4.4 算法公平的保障措施199
【作业】200
【实践与思考】完全由人工智能生成的视觉艺术品无法获得版权201
第13章 大模型的评估204
13.1 模型评估概述204
13.2 大模型评估体系205
13.2.1 知识与能力205
13.2.2 伦理与安全207
13.2.3 垂直领域评估209
13.3 大模型评估方法210
13.3.1 评估指标210
13.3.2 评估方法211
13.4 大模型评估实践212
13.4.1 基础模型评估212
13.4.2 监督学习和强化学习的模型评估214
【作业】215
【实践与思考】开展典型大模型评估
实践217
第14章 大模型的健康未来220
14.1 人工智能新发展220
14.1.1 “人工智能 ”成为新质生产力重要引擎220
14.1.2 人工智能改变自动驾驶未来221
14.1.3 重视人工智能治理政策222
14.1.4 人工智能音乐的立法实践222
14.1.5 防止人工智能误导民众223
14.1.6 生成式人工智能产出的版权224
14.2 数据隐私保护对策225
14.2.1 构建隐私保护伦理准则225
14.2.2 注重隐私保护伦理教育226
14.2.3 健全道德伦理约束机制226
14.3 人工智能伦理原则226
14.3.1 职业伦理准则的目标227
14.3.2 创新发展道德伦理宣言227
14.3.3 百度四大伦理原则229
14.3.4 欧盟可信赖的伦理准则229
14.4 大模型的大趋势230
14.5 通用人工智能涌现231
【作业】232
【课程学习与实践总结】234
附录 作业参考答案238
参考文献241
|
| 內容試閱：
|
大语言模型（Large Language Model，LLM，简称大模型）是一种基于深度学习技术的先 进人工智能模型，特别适用于理解和生成自然语言文本。大模型的特点在于其庞大的参数规模，通常含有数十亿乃至上千亿级别的参数，这让它们具备更强大的表达能力和泛化性能。大模型通常首先在大规模无标签文本数据上进行预训练，通过自监督学习（如掩码语言模型任务）学会预测文本中的缺失部分，然后，经过微调，可以适应各种下游自然语言处理任务。通过学习大量文本数据，大模型不仅能解析文本的语法结构和语义含义，还能根据上下文生成连贯甚至高度创造性的新文本内容。
相较于传统的单一用途的自然语言处理模型，大模型的多功能性和通用性使其能够在未经专门训练的情况下处理多种类型的自然语言任务。代表性的大语言模型有OpenAI的GPT-3及其后续版本、Google的T5和PaLM、阿里云的通义千问、百度的文心一言等。
学习大模型相关课程，具有以下意义。
（1）理解技术前沿：大模型是人工智能（Artificial Intelligence，AI）领域的一大突破，通过学习本课程，可以深入了解该领域的新技术和研究成果，紧跟人工智能发展的步伐。
（2）提升技能与竞争力：掌握大模型技术可以帮助个人在人工智能、自然语言处理等领域提高技术水平，增强就业竞争力，尤其是涉及聊天机器人开发、问答系统构建、文本生成、语义理解和翻译等方面的工作。
（3）创新应用开发：大模型具有强大的语言生成和理解能力，学习本课程有助于启发和引导开发者设计并实施一系列创新应用，如辅助写作工具、在线客服系统、智能搜索引擎优化等。
（4）体现社会价值：随着大模型被逐渐应用于日常生活和工作中，学习相关知识有助于更好地推动科技服务于社会，解决实际问题，如无障碍沟通、教育资源普及、医疗健康咨询等。
（5）伦理与社会责任：了解大模型的同时，也能促使我们思考其在数据安全、隐私保护、消除偏见、防止滥用等方面带来的挑战和应对策略，从而培养负责任的技术创新能力。
可见，学习大模型课程不仅有利于个人专业能力的提升，更能对社会进步和技术创新产生积极影响。人工智能及其大模型技术，是每个高校学生乃至社会人所必须关注、学习和重视的知识与现实。
本书针对高校学生的培养需求，为高等院校、职业院校相关专业“大语言模型”课程全新设计和编写。本书介绍的大模型知识主要包括：概述、大模型基础、大模型的架构、数据标注、大模型预训练数据、大模型的开发组织、分布式训练、提示工程与微调、强化学习方法、基于大模型的智能体、大模型应用框架、技术伦理与限 制、大模型的评估和大模型的健康未来等。
本书各章在编写时遵循下列要点：
（1）深入浅出地介绍与分析，让学习者能切实理解并掌握人工智能和大模型的相关知识与应用场景。
（2）案例经典、丰富与有趣，注重夯实理论基础，重视培养学习方法。
（3）注重阅读思维与提高，为学习者提供了低认知负荷的自我测评题目，让学习者在自我成就中建构人工智能与大模型的基本观念及技术。
（4）理论实践结合与互补，为每一章知识点都设计了有针对性的“实践与思考”环节，在实践中融入人工智能与大模型发展进程。
虽然已经进入电子时代，但我们仍然竭力倡导读书。为各章设计的作业（四选一标准选择题）并不难，只要认真阅读各章内容，所有题目都能准确作答，并且在附录部分提供了作业参考答案，供读者对比思考。
本课程的教学进度设计见课程教学进度表，该表可作为教师授课和学生学习的参考。实际执行时，应按照教学大纲编排教学进度和校历中关于本学期节假日的安排，确定本课程的教学进度。
本课程的教学评测可以从这样几个方面入手，即：
（1）结合每章课文的课后作业（四选一标准选择题，14组），可查阅资料完成。
（2）结合各章知识内容安排的“实践与思考”环节，理论联系实际，切实掌握和应用课本知识（13组和1个课程学习实践总结）。
（3）随机抽查课文阅读与笔记。
（4）结合平时考勤。
（5）授课教师认为必要的其他考核方法。
本书特色鲜明、易读易学，适合高等院校、职业院校的人工智能、信息技术相关专业学生学习，也适合对人工智能以及大语言模型相关领域感兴趣的读者阅读参考。
本书配有授课电子课件，需要的教师可登录www.cmpedu.com免费注册，审核通过后下载，或联系编辑索取。欢迎教师与作者交流并索取为本书教学配套的相关资料，电子邮箱：zhousu@qq.com，QQ：81505050。
本书是浙江省普通本科高校“十四五”第二批新工科、新医科、新农科、新文科重点教材建设项目（高校通识教育分会专项）“大语言模型通识”的建设成果。本书的编写得到杭州电子科技大学、浙大城市学院、嘉兴技师学院、杭州汇萃智能科技有限公司等多所院校、企业的支持，在此一并表示感谢！
由于作者水平有限，书中难免有疏漏之处，恳请读者批评指正。
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
