新書推薦：
《
匠艺与生活：海南黎族的工艺文化
》
售價：NT$
500.0
《
我本富足
》
售價：NT$
347.0
《
英国教育史研究丛书——延续与新变：英国斯图亚特时期贵族教育研究
》
售價：NT$
505.0
《
更易上手！钢琴弹唱经典老歌（五线谱版）
》
售價：NT$
254.0
《
哲学叙事：中国与西方
》
售價：NT$
500.0
《
一人商业模式 创富新路径个人经济自由创业变现方法书
》
售價：NT$
254.0
《
经典与想象：中国古代传说新解
》
售價：NT$
398.0
《
祠堂与教堂：中西传统核心价值观比较研究（第3版）
》
售價：NT$
551.0
|
| 編輯推薦： |
|
（1）作者背景权威：作者是湖南国家应用数学中心副主任、湘潭大学的博导、科技部国家重点子课题（大模型相关）的负责人，是资深的大模型技术专家和布道者。（2）作者经验丰富：作者在司法、工业设计等多个领域成功实现了开源大模型向垂直领域的迁移，有丰富的实战经验。（3）涵盖全部技术栈：从迁移方式、低算力微调、推理优化到开源基座模型的选择指标等，本书详细介绍了构建垂直领域大模型需要的全部技术栈。（4）涵盖构建全流程：从垂直大模型的迁移、微调到部署和性能优化，本书详细讲解了构建垂直领域大模型的全流程
|
| 內容簡介： |
|
内容简介本书是一本深度探讨大模型在低算力环境下实现迁移与微调的实践指南，并深入讲解了大模型的部署与优化策略。书中结合多个垂直领域的应用场景，从理论到技术实现，全程详尽讲解了如何应对大模型在行业落地中的技术挑战，帮助读者逐步掌握大模型的迁移与微调核心技术。通过阅读本书，你将能够： （1）全面理解垂直领域迁移方式与技术选型 深入了解开源大模型向垂直领域迁移的核心方式，包括提示工程、检索增强生成、参数高效微调与全参数微调等技术路径，并灵活应对低算力场景下的迁移技术挑战。 （2）快速获取高质量领域数据的低成本方案 学习通过指令自举、无监督标注、自我策展等方法构建高质量数据集，同时掌握数据清洗、去重和质量过滤等关键技术，显著降低数据获取成本。 （3） 掌握低算力环境下的训练与推理优化技术 全面掌握低算力训练与微调方法（如LoRA和QLoRA），并结合推理优化技术（如量化、剪枝和模型编译），高效实现低成本的大模型训练与推理。 （4）精通大模型的生产环境部署与优化 系统学习生产环境中大模型的部署方案，涵盖服务器推理加速、分布式集群架构和多平台适配技术，确保模型在实际应用中的高效、安全运行。无论你是大模型开发者、人工智能研究人员，还是对垂直领域AI应用感兴趣的行业专家，本书都将带你深入大模型的核心领域，提供从构建、优化到部署的全流程指导，助你掌握这一前沿技术的实践精髓。
|
| 關於作者： |
|
程戈，博士生导师，湘潭大学技术转移中心副主任，湘潭市京东智能城市与大数据研究院副院长，湘潭大学计算机学院.网络空间学院教授，CCF计算法学会执委，湖南省知识产权保护专家，湖南省知识产权行政保护技术调查官。2011年获得华中科技大学计算机系统结构专业的工学博士学位。研究方面，主要从事知识表示学习与内容安全问题研究，并逐渐聚焦于采用类似Chatgpt大规模语言模型解决人工智能在司法行业中应用的相关场景。近年来，主持国家重点研发子课题2项，湖南省重点研发1项，国家自科基金1项，博士点基金1项，参与其他国家与省部级项目10余项；在国内外重要SSCI/SCI/EI学术期刊和会议发表论文 30 多篇；申请发明专利20多项，获得发明专利授权 20多项，软件著作权10多项。社会服务方面，产学研合作求真务实，在北京捷通华声科技有限公司等6家企业担任技术顾问，主持参与横向课题10余项，多项成果转化应用创效，其中语音识别的单项成果广泛应用于北京捷通华声科技有限公司的车载导航系统中。担任潇湘大数据研究院研究员，大数据与智慧司法研究中心研究员，省创新创业大赛的评委。
|
| 目錄：
|
CONTENTS
目 录
前言
第1章 垂直领域大模型的行业
变革与机遇1
1.1 大模型下的行业变革1
1.1.1 大模型的iPhone时刻1
1.1.2 大模型的全行业重塑3
1.1.3 劳动力市场的变革7
1.2 垂直领域大模型迁移的动机7
1.2.1 商业价值7
1.2.2 行业技术护城河9
1.2.3 领域数据优势9
1.3 垂直领域大模型迁移的机遇10
第2章 垂直领域迁移技术栈11
2.1 垂直领域迁移的方式11
2.1.1 提示工程12
2.1.2 检索增强生成15
2.1.3 参数高效微调17
2.1.4 全参数微调18
2.1.5 从头预训练19
2.1.6 垂直领域迁移低算
力技术选型20
2.2 低算力微调20
2.3 推理优化22
2.3.1 模型编译23
2.3.2 模型压缩24
2.3.3 模型分区25
第3章 大模型的开源生态27
3.1 大模型的开源社区27
3.1.1 Meta27
3.1.2 Hugging Face28
3.1.3 微软31
3.1.4 英伟达32
3.2 开源生态下基座模型选择的
关键指标33
3.2.1 参数规模33
3.2.2 训练Token34
3.2.3 上下文窗口35
3.2.4 综合评测36
3.2.5 商业许可37
3.3 开源基座模型LLaMA系列38
3.3.1 LLaMA 238
3.3.2 LLaMA 340
3.3.3 商用限制40
第4章 自举领域数据的获取42
4.1 指令自举标注42
4.2 自举无监督标注44
4.2.1 指令生成阶段44
4.2.2 答案生成阶段46
4.2.3 过滤和修剪阶段47
4.3 自我策展47
4.3.1 初始化阶段48
4.3.2 自我增强阶段49
4.3.3 自我策展阶段49
4.4 自我奖励50
4.4.1 种子数据51
4.4.2 自我指令创建51
4.4.3 指令遵循训练52
4.4.4 迭代训练53
第5章 数据处理54
5.1 数据处理的挑战54
5.2 数据质量55
5.2.1 文本提取56
5.2.2 数据去重56
5.2.3 质量过滤58
5.2.4 内容毒性过滤59
5.3 高效数据集访问60
5.3.1 数据集来源60
5.3.2 列式内存格式61
5.3.3 向量化计算63
5.3.4 零复制数据交换64
5.3.5 虚拟内存65
第6章 大模型抽象66
6.1 计算图66
6.2 静态计算图69
6.3 动态计算图70
6.4 算子优化与调度73
6.4.1 计算图与算子优化73
6.4.2 计算图与算子调度74
6.4.3 串行调度与并行调度74
6.5 大模型中的张量与算子76
6.5.1 输入层77
6.5.2 自注意力层78
6.5.3 前馈网络层79
6.5.4 输出层79
6.6 大模型的序列化80
6.6.1 序列化文件的类型80
6.6.2 TensorFlow模型序列化81
6.6.3 PyTorch模型序列化84
6.6.4 Safetensors序列化格式86
第7章 LoRA低算力微调89
7.1 LoRA的原理89
7.2 LoRA的重参数化方法91
7.3 秩的选择92
7.4 LoRA的多任务处理策略93
7.5 LoRA量化版本QLoRA94
7.6 LoRA微调类型95
7.6.1 继续预训练95
7.6.2 RLHF96
7.6.3 DPO97
第8章 大模型的分布式训练99
8.1 分布式训练的挑战99
8.1.1 算力与内存瓶颈99
8.1.2 分布式训练系统的
设计挑战100
8.2 分布式集群架构102
8.2.1 GPU集群架构102
8.2.2 集合通信算子104
8.2.3 通信拓扑108
8.3 分布式训练的通信架构109
8.3.1 基于参数服务器的架构109
8.3.2 基于归约的架构111
8.4 并行模式113
8.4.1 数据并行113
8.4.2 张量并行115
8.4.3 流水线并行116
8.4.4 并行模式的对比117
8.5 大模型的张量并行118
8.5.1 输入层118
8.5.2 输出层120
8.5.3 多层感知机121
8.5.4 自注意力122
8.6 数据并行的内存优化123
8.6.1 设备内存占用124
8.6.2 ZeRO技术125
8.6.3 ZeRO-Offload技术128
第9章 推理优化技术131
9.1 计算加速131
9.1.1 算子融合131
9.1.2 并行推理134
9.2 内存优化135
9.2.1 KV缓存135
9.2.2 页注意力137
9.2.3 快速注意力139
9.3 吞吐量优化143
9.3.1 内存I/O瓶颈143
9.3.2 静态批处理143
9.3.3 连续批处理144
9.3.4 动态分割融合145
9.4 量化147
9.4.1 量化的动机147
9.4.2 量化的原理148
9.4.3 LLM.int8()150
9.4.4 GPTQ152
第10章 大模型的编译优化156
10.1 深度学习编译与大模型编译156
10.1.1 深度学习编译156
10.1.2 多级渐进优化158
10.1.3 硬件优化偏好159
10.1.4 大模型的编译特点161
10.2 深度学习框架
|
| 內容試閱：
|
PREFACE
前 言
2022年，ChatGPT的横空出世，彻底颠覆了我对人工智能能力上限的认知。同时，作为一名创业者，我也敏锐地感觉到大模型除了带来内容生产方式的变革外，还将成为新一代人机交互的核心，并作为智能代理来构建自动化和半自动化的工作流程，甚至能与工业控制、机器人、消费电子领域相结合，引发深刻的社会变革。
当前，在大模型领域，正在重演类似iPhone与Android的局面。OpenAI已经建立了类似iPhone的生态，通过应用市场提供ChatGPT插件和定制版本的GPT模型。这些模型允许ChatGPT接入外部数据或工具，使开发者能够创建针对特定用途或业务场景的定制化模型，从而将ChatGPT扩展到各个领域，以应对不同的使用场景。同时，面对通用大模型的高昂开发成本与OpenAI的先发优势，只有少量头部企业才有资源在这个领域与其竞争。
Meta和Hugging Face等公司不断推进大模型技术的开源发展，重演了Android在移动互联网中的开源竞争策略，吸引了众多中小创新企业加入，共同构建针对特定细分领域的垂直大模型生态系统。大模型在垂直领域的应用不仅遵循特定商业场景的逻辑，还注重挖掘和增强产业价值。基于开源的通用大模型，中小规模的创新企业可以通过定制化垂直领域解决方案来构筑其技术和数据的商业优势，这是它们在当前大模型发展浪潮中建立竞争壁垒的关键途径。
然而，这种大模型在垂直领域的迁移存在很高的技术门槛。例如，如何解决大模型在领域迁移中的数据处理问题，如何在有限的算力下进行高效微调，如何部署这些模型以满足实际应用的需求，以及如何持续优化以降低部署后的推理成本等。整个工业界与学术界都缺乏这样的专业人才，也没有合适的资料介绍垂直领域迁移所涉及的完整知识体系。
我们的团队在2023年初就开始尝试在司法以及工业设计等领域迁移开源的大模型，在不断的“填坑”过程中，逐渐积累了大模型垂直领域迁移的完整技术栈。2023年6月，写完了《ChatGPT原理与架构：大模型的预训练、迁移和中间件编程》一书后，我就一直想把这部分知识和经验整理并分享出来，于是便有了这本书。
本书主要内容
本书旨在为读者提供关于大模型在垂直领域迁移的全面指南，深入探讨了大模型的领域迁移、微调、优化以及部署技术。全书共12章，各章内容简介如下。
第1章从大模型在垂直领域的生态系统出发，详细介绍行业变革的情况，并探讨领域迁移的动机和机遇。
第2章介绍垂直领域迁移所需的技术栈，包括迁移的方式、微调算法的选择、推理优化策略。
第3章讨论开源社区与基座模型的关系，并探讨选择基座模型的标准以及LLaMA系列成为首选基座模型的原因。
第4章介绍如何有效运用自举技术，减少对大量人工标注数据的依赖。
第5章介绍数据处理，先讨论与数据质量有关的技术，然后讨论高效的数据集访问技术，涉及数据集来源管理、列式内存格式的应用、向量化计算的优势以及零复制数据交换技术。
第6章从计算图的角度详细描述大模型表征为张量与算子的架构设计，以及在训练阶段和模型部署到生产环境阶段序列化的不同需求与应用。
第7章深入探讨如何基于LoRA技术进行大模型的继续预训练、人类反馈强化学习（RLHF）以及直接偏好优化（DPO）等多种微调技术。
第8章围绕分布式计算中的大模型训练，详细介绍Transformer架构中的自注意力机制和前馈神经网络如何进行张量拆分，以及优化与内存管理技术。
第9章深入探讨实现推理优化的关键技术，包括计算加速、内存优化、吞吐量优化和量化等，为降低垂直领域应用大模型推理的成本提供了主要的优化方向。
第10章详细讨论编译优化在大模型训练与部署阶段所扮演的角色，包括优化目标和策略。
第11章着重讨论大模型部署中的非性能需求，例如内容安全、水印、监控和评估。
第12章讨论垂直领域大模型在服务器端的架构与优化方法，包括实际部署时需要考虑的多种因素，并以TGI案例研究展示了一个完整的服务器端推理解决方案。
本书读者对象
AI领域的工程师：将从书中关于算法选择、模型训练、微调和推理优化的深入讨论中获益，从而提升他们在实际项目中应用大模型的技术水平。
AI研究人员：对于那些专注于探索人工智能前沿技术的研究者来说，本书中关于自举技术、分布式计算优化和新兴训练方法的内容将为他们提供宝贵的学术和应用见解。
技术架构师和系统设计师：在设计大规模AI系统和解决方案时，可以参考本书提供的关于大模型架构设计、序列化、内存管理以及服务器端优化的详细信息。
计算机科学领域的本科生：通过学习大模型在垂直领域迁移的基础理论和实际应用，他们可以在未来的学习和职业生涯中具备使用和评估AI技术的能力。本书将为他们提供必要的技术背景和案例研究，从而帮助他们更好地理解复杂的概念。
计算机科学领域的研究生：他们通常涉及更深入的研究项目，可以从本书的高级主题（如算法深度微调、优化策略和系统部署）中获得灵感。本书将为他们提供丰富的资源，帮助他们在学术研究或行业应用中开展创新工作。
商业战略规划
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
