新書推薦：
《
另一种疯狂：精神疾病的污名与希望之旅（APS终身成就奖获得者斯蒂芬·欣肖教授倾其一生撰写；2018年美国图书节最佳图书奖）
》
售價：NT$
296.0
《
罗尔斯与马克思
》
售價：NT$
398.0
《
珊瑚：美丽的怪物
》
售價：NT$
587.0
《
基于语体的语篇衔接方式的选择性研究
》
售價：NT$
347.0
《
美国政治传统及其缔造者：一部美国版《史记》
》
售價：NT$
449.0
《
孤独谱系障碍评估与干预：从理论到实践 国际经典医学心理学译著
》
售價：NT$
1061.0
《
大数据导论（第2版）
》
售價：NT$
352.0
《
帝国时代
》
售價：NT$
959.0
|
| 編輯推薦： |
|
本书深度探讨了当今科技领域最引人注目的大语言模型相关技术，内容主要围绕大规模语言模型构建、评估和应用展开
|
| 內容簡介： |
本书深度探讨了当今科技领域最引人注目的大规模语言模型相关技术，内容主要围绕大规模语言模型构建、评估和应用展开，分为以下四部分：第 1～5章主要介绍大规模语言模型的发展历程及其训练相关内容，包括语言模型的基本架构、大规模语言模型的高效微调技术、人类反馈强化学习和模型的分布式训练；第 6和 7章主要介绍大规模语言模型的推理优化技术、推理加速框架和模型的评估；第 8～10章主要介绍大规模语言模型扩展和应用，包括大规模语言模型和知识的融合、多模态大规模语言模型的技术介绍和其智能体扩展应用，以及大规模语言模型的垂直领域应用；第 11章主要介绍大规模语言模型研究的困难、挑战和未来潜在研究方向。
本书面向技术爱好者、从业者、学术研究者和一般读者。它提供大规模语言模型相关的全面介绍，帮助从业人员和专业人士了解大规模语言模型的应用及技术原理，支持学术界研究前沿技术，并以通俗的语言帮助读者理解这一技术及其对生活的影响。
|
| 目錄：
|
第 1章大规模语言模型的背景介绍 1
11语言建模的发展阶段 2
12大规模语言模型带来的机遇 3
第 2章从统计语言模型到预训练语言模型 5
21统计语言模型 6
22神经网络语言模型 7
221前馈神经网络语言模型 7
222循环神经网络语言模型 8
223长短期记忆神经网络语言模型 9
224 Word2Vec词向量表示模型 10
23 预训练语言模型 12
ELMo 12
231 Transformer13
232 BERT 22
233 ELECTRA 23
234 GPT 1-325
235 BART 29
236 T5 31
237
第 3章大规模语言模型的框架结构 34
31编码器结构36
32 编码器-解码器结构 36
GLM36
321 UL2 41
322
33 解码器结构43
PaLM43
331 BLOOM45
332 InstructGPT47
333
34 LLaMA家族 50
341预训练数据 52
342模型架构 53
343中文 LLaMA 62
344中文 Alpaca66
第 4章大规模语言模型的训练方法 69
41模型的训练成本 71
411算力估算 71
412费用和能耗 72
42有监督微调74
421提示学习 75
422上下文学习 76
423指令微调 77
43参数高效微调 78
431部分参数的高效微调79
432参数增加的高效微调80
433重参数化的高效微调91
434混合高效微调系列 97
44人类反馈强化学习100
441强化学习 101
442近端策略优化104
443人类反馈对齐111
45大模型灾难性遗忘123
第 5章大模型分布式并行技术125
51分布式系统125
52数据并行 129
521输入数据切分130
522模型参数同步131
523数据并行优化132
53模型并行 134
531 张量并行 134
532 流水线并行 139
533 优化器相关并行 141
54其他并行 146
541 异构系统并行146
542 专家并行 147
543 多维混合并行148
544 自动并行 149
55并行训练框架 149
551 Megatron-LM152
552 DeepSpeed159
Colossal-AI163
553
第 6章大规模语言模型解码推理优化相关技术 168
61解码方法 168
611 基于搜索的解码方法169
612 基于采样的解码方法171
62推理优化方法 174
621 推理原理 177
622 推理加速 177
63模型压缩技术 179
631 量化 181
632 剪枝 184
633 蒸馏 186
64显存优化技术 187
641 键值缓存 187
642 注意力优化 188
65算子优化技术 195
651 算子融合 195
652 高性能算子 195
66推理加速框架 195
661 HuggingFace TGI196
vLLM197
662
663 LightLLM200
第 7章大规模语言模型的评估203
71评估概述 205
72评估体系 206
721知识与能力 207
722伦理与安全 209
73评估方法 212
731自动评估 213
732人工评估 217
733其他评估 221
74评估领域 223
741通用领域 223
742特定领域 226
743综合评测 227
75评估挑战 232
第 8章大规模语言模型与知识的结合233
81知识和知识表示 233
82知识图谱简介 236
83大规模语言模型和知识图谱的结合 238
84知识图谱增强大规模语言模型 240
841 LLM预训练阶段240
842 LLM评估阶段 245
843 LLM推理阶段 247
85大规模语言模型增强知识图谱 249
851知识图谱嵌入249
852知识图谱补全251
853知识图谱构建257
854知识图谱到文本生成263
855知识图谱问答265
86大规模语言模型和知识图谱协同267
861知识表示 267
862知识推理 268
87知识检索增强大规模语言模型工程应用268
871结构化数据 269
872结构化和非结构化数据 270
873向量数据库 272
874 LangChain知识库问答276
88未来的发展方向 279
第 9章多模态大规模语言模型技术应用 281
91多模态指令调节 285
911模态对齐 286
912数据收集 287
913模态桥接 290
914模型评估 292
92多模态上下文学习296
93多模态思维链 299
931模态连接 299
932学习范式 300
933链的配置和形式 301
94 LLM辅助视觉推理 301
941训练范式 303
942功能角色 305
943模型评估 307
95 LLM扩展智能体 307
951智能体308
952记忆模块 312
953任务规划 314
954动作模块 317
955评估策略 319
96多模态语言模型挑战 323
961技术问题 323
962成本问题 323
963社会问题 324
第 10章大规模语言模型应用 326
101法律领域 328
1011法律提示研究329
1012法律综合评估332
102教育领域 336
1021能力评估 336
1022伦理问题 340
1023问答应用 341
103金融领域 342
1031智能应用场景346
1032困难和挑战 347
104生物医疗 348
1041潜力和价值 348
1042应用的场景 351
1043困难和挑战 355
105代码生成 356
1051代码生成问题356
1052代码大规模语言模型357
1053发展趋势 361
第 11章展望和结论 363
111局限和挑战 363
1111局限 363
1112挑战 364
112方向和建议 365
1121数据方面 365
1122技术方面 365
1123应用方面 366
1124方向建议 366
113值得探索的研究 368
1131基础理论研究369
1132高效计算研究370
1133安全伦理研究371
1134数据和评估研究 372
1135认知学习问题373
1136高效适配研究374
参考文献 376
|
| 內容試閱：
|
当我完成这本书的时候，回首走过的路，不禁感慨万分。本书是在我与算法组成员培训分享和知识交流的过程中孕育而成的。团队中的同事们有着不同的学习背景、思维方式和个体经验，这些不同的声音和力量聚在一起，凝结成了这部思想智慧的结晶。我们毫无保留地分享着彼此的见解，相互启发，共同成长。我相信，如果能够系统地整理出这些共享资源，将会让更多的人受益。
我的灵感不仅来自团队内的经验交流，还受到了大规模语言模型（ LLM）研究的启发，这一研究热潮如同一阵清风，吹散了我对“自然语言处理”这个领域的传统认知，大规模语言模型的研究热潮点燃了我思维的火花，让我重新审视并深刻理解了这一领域所蕴含的无限潜力。大规模语言模型不仅为我们提供了强大的自然语言处理工具，也激发了我对创新和实践的渴望。
2018年，Google的研究团队开创性地提出了预训练语言模型 BERT。该模型在诸多自然语言处理任务中展现出卓越的性能，激发了大量以预训练语言模型为基础的自然语言处理研究，也引领了自然语言处理领域的预训练范式的兴起。尽管这一变革影响深远，但它并没有改变每个模型只能解决特定问题的基本模式。2020年，OpenAI发布了 GPT-3模型，其在文本生成任务上的能力令人印象深刻，并在少样本（ Few-shot）的自然语言处理任务上取得了优异的成绩。但是，其性能并未超越专门针对单一任务训练的有监督模型。直到 2022年底 ChatGPT的横空出世，掀起了新一轮人工智能革命。此后，各国科技公司纷纷加码大规模语言模型研发，“千模大战”越发激烈。这些模型凭借其惊人的语言理解和生成能力，让人们惊叹不已，人们利用这些大规模语言模型创造出更为强大和智能的工具。我也深受启发，开始思考如何将这些前沿的技术与我们整理的资料相结合。
在这本书中，我将分享自己在大规模语言模型研究中的心得体会，整理培训资料过程中的所思所想。这些积累下来的培训资料仿佛是一颗颗散落的珍珠，当我把它们串联起来的时候，才发现其璀璨之处，呈现出我之前未曾意识到的深度和广度。写书的过程就像一场冒险，我不断探索知识的海洋，找寻隐藏在细节中的宝藏。在这里，我将培训组内积累的精华资料与大规模语言模型的研究成果相结合，带着十二分真诚打磨出这样一本既有实用性又有创新性的作品。真心希望通过这些分享，能够激发读者朋友们对于知识整理与应用的兴趣，同时也为大家带来一些关于语言模型及其应用的新思考。希望邂逅这本书的读者朋友们能够在阅读过程中了解前沿技术，并能在实际工作中得到些许启发。
本书共分为 11章，每一章都聚焦一个特定的主题，涵盖从基础知识到前沿技术的多个层面，包括大规模语言模型预训练、微调和评估相关内容，大规模语言模型的推理优化技术和推理框架，以及大规模语言模型扩展应用和未来的一些研究方向。通过深入浅出的讲解和实例分析，希望读者能够更好地理解和应用所学的知识。同时，我还将结合实际案例和个人经历，分享一些在培训组中成长的点滴，希望能够激发读者的思考和启示。
第 1章主要介绍大规模语言模型的背景，包括语言建模的发展阶段和大规模语言模型带来的机遇。
第 2章主要介绍大规模语言模型所需的基础理论知识，包括语言模型的定义和 Transformer结构，回顾了统计语言模型、神经网络语言模型以及预训练语言模型的概念，并且介绍它们中具有代表性的一些语言模型。
第 3章主要介绍大规模语言模型的框架结构，包括编码器结构、解码器结构以及编码器-解码器结构，并着重介绍 LLaMA家族所使用的模型结构。
第 4章主要介绍大规模语言模型的训练方法，并围绕大规模语言模型如何进行指令理解展开，即如何在基础模型基础上利用有监督微调和强化学习方法，使得模型理解指令并给出类人回答。主要介绍 LoRA和 Prefix Tuning等模型高效参数微调方法、强化学习基础、近端策略优化的人类反馈的强化学习，并且引入大模型灾难性遗忘问题。
第 5章主要围绕大规模语言模型的并行训练技术展开介绍，包括模型分布式训练中需要掌握的数据并行、流水线并行、模型并行以及 ZeRO系列优化方法，此外还将介绍一些常用的并行训练框架，并以 DeepSpeed为例介绍如何进行大规模语言模型预训练微调。
第 6章主要介绍大规模语言模型解码推理优化相关技术，包括解码方法、推理优化方法和一些常用的推理加速框架，如 vLLM和 LightLLM等。
第 7章主要围绕大规模语言模型的评估展开介绍，包括传统的语言模型评估方式，以及针对大规模语言模型使用的各类评估方法、评估领域和评估挑战。
第 8～10章主要围绕大规模语言模型的扩展应用进行展开。第 8章介绍大规模语言模型与知识的结合，主要以知识图谱为例介绍大规模语言模型和知识图谱之间的相互增强与协同，最后介绍将大规模语言模型与外部知识源进行连接的 LangChain相关的检索增强的文本生成实践应用；第 9章介绍多模态大规模语言模型技术应用，包括多模态指令调节、多模态上下文学习、多模态思维链和大规模语言模型辅助视觉推理；第 10章介绍大规模语言模型领域应用，包括法律、教育、金融、生物医疗领域以及代码生成的应用。
第 11章主要对大规模语言模型的未来研究进行展望，包括大规模语言模型研究的困难、挑战和未来值得探索的潜在研究方向。
在这里，我要特别感谢我的爱人郑诗君，在我写书的过程中她一直是我最坚实的后盾，给我无尽的支持和理解，为我营造一方自由空间，让我能够有机会专注于写作。每一次忐忑不安、每一次疲惫不堪时，都是她的鼓励和陪伴，让我坚定地继续前行，尽情探索和创作，追逐内心的梦想。
我衷心感谢与我携手合作的合著者们，他们的智慧、奉献和激励是这本书得以完成的关键。特别感谢公司董事长宣晓华博士，其严谨的治学态度和无私的支持极大地丰富了本书的内容，使得著作过程变得更有意义。感谢徐清博士，其贡献和合作精神使得这本书的内容更加全面和深刻。感谢我的同事沈旭立、李帅帅、史可欢、赵爽、刘君玲、刘育杰、孙显文、戴蕴炜，以及邵新平老师，他们在我撰写本书期间提供了很多支持和帮助。我真诚地感谢他们的帮助和热情参与，谢谢他们与我共同完成这本书，共同促成了本书的成功出版。
同时，也感谢科技的进步和大规模语言模型的研究热潮，为我们提供了前所未有的机会和可能性。 2023年，大规模语言模型研究进展非常快，如何既能够兼顾大规模语言模型的基础理论又能够在快速发展的各种研究中选择最具有代表性的工作介绍给大家，是本书写作中面临的最大挑战。受限于我的认知水平和所从事的研究工作，对其中一些任务和工作的细节理解可能存在错误，恳请专家、读者朋友们批评指正！
最后，希望读者在阅读的过程中能够感受到我的热情和对知识深深的热爱。让我们一起踏上这场探索之旅，共同领略知识的无尽魅力。
蔡华
2024年 1月于云立方华院计算
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
