新書推薦:
![清史讲义](http://103.6.6.66/upload/mall/productImages/25/7/9787520738965.jpg)
《
清史讲义
》
售價:NT$
449.0
![教育的目的:“可见的学习”对话录](http://103.6.6.66/upload/mall/productImages/25/8/9787519138677.jpg)
《
教育的目的:“可见的学习”对话录
》
售價:NT$
454.0
![财经大V鹤老师代表作品(全3册):财富从哪来+突破+鹤老师说经济:揭开财富自由的底层逻辑](http://103.6.6.66/upload/mall/productImages/25/9/9787115652034.jpg)
《
财经大V鹤老师代表作品(全3册):财富从哪来+突破+鹤老师说经济:揭开财富自由的底层逻辑
》
售價:NT$
1019.0
![《清华大学藏战国竹简》研究与英译6:《郑武夫人规孺子》诸篇](http://103.6.6.66/upload/mall/productImages/25/8/9787302672333.jpg)
《
《清华大学藏战国竹简》研究与英译6:《郑武夫人规孺子》诸篇
》
售價:NT$
959.0
![希腊黄金时代的古代科学(修订版) 象征丛书](http://103.6.6.66/upload/mall/productImages/25/6/9787571119393.jpg)
《
希腊黄金时代的古代科学(修订版) 象征丛书
》
售價:NT$
1428.0
![自助·助人——朋辈辅导论](http://103.6.6.66/upload/mall/productImages/25/8/9787307238466.jpg)
《
自助·助人——朋辈辅导论
》
售價:NT$
453.0
![海洋全书:国家地理新探索](http://103.6.6.66/upload/mall/productImages/25/6/9787571347079.jpg)
《
海洋全书:国家地理新探索
》
售價:NT$
1010.0
![Node.js全栈开发从入门到项目实战+Vue.js 3+TypeScript从入门到项目实践(套装共2册)](http://103.6.6.66/upload/mall/productImages/25/9/9000302002970.jpg)
《
Node.js全栈开发从入门到项目实战+Vue.js 3+TypeScript从入门到项目实践(套装共2册)
》
售價:NT$
1014.0
|
內容簡介: |
《ChatGPT原理与实战:大型语言模型的算法、技术和私有化》
赞誉
前言
第1章 了解ChatGPT1
1.1 ChatGPT的由来1
1.1.1 什么是ChatGPT2
1.1.2 ChatGPT的发展历史2
1.2 ChatGPT的工作流程3
1.3 ChatGPT用例3
1.3.1 日常任务4
1.3.2 编写代码5
1.3.3 文本生成6
1.3.4 办公自动化9
1.4 本章小结10
第2章 ChatGPT原理解构11
2.1 背景知识11
2.1.1 自然语言处理的发展历程12
2.1.2 大型语言模型的发展历程14
2.2 ChatGPT同类产品18
2.2.1 BlenderBot 3.018
2.2.2 LaMDA20
2.2.3 Sparrow23
2.3 ChatGPT的工作原理25
2.3.1 预训练与提示学习阶段26
2.3.2 结果评价与奖励建模阶段28
2.3.3 强化学习与自我进化阶段28
2.4 算法细节29
2.4.1 标注数据29
2.4.2 建模思路30
2.4.3 存在的问题30
2.5 关于ChatGPT的思考31
2.6 本章小结32
第3章 预训练语言模型33
3.1 Transformer结构33
3.2 基于Encoder结构的模型36
3.2.1 BERT36
3.2.2 RoBERTa39
3.2.3 ERNIE40
3.2.4 SpanBERT42
3.2.5 MacBERT43
3.2.6 ALBERT44
3.2.7 NeZha45
3.2.8 UniLM46
3.2.9 GLM47
3.2.10 ELECTRA48
3.3 基于Decoder结构的模型49
3.3.1 GPT49
3.3.2 CPM51
3.3.3 PaLM51
3.3.4 OPT52
3.3.5 Bloom53
3.3.6 LLaMA54
3.4 基于Encoder-Decoder结构的模型55
3.4.1 MASS55
3.4.2 BART56
3.4.3 T557
3.5 基于夸夸闲聊数据的UniLM
模型实战59
3.5.1 项目简介59
3.5.2 数据预处理模块59
3.5.3 UniLM模型模块63
3.5.4 模型训练模块65
3.5.5 模型推理模块72
3.6 本章小结76
第4章 强化学习基础77
4.1 机器学习的分类77
4.1.1 有监督学习78
4.1.2 无监督学习78
4.1.3 强化学习79
4.2 OpenAI Gym82
4.2.1 OpenAI Gym API简介83
4.2.2 环境简介84
4.3 强化学习算法85
4.3.1 Q-learning算法85
4.3.2 SARSA算法87
4.3.3 DQN算法89
4.3.4 Policy Gradient算法93
4.3.5 Actor-Critic算法95
4.4 本章小结98
第5章 提示学习与大型语言
模型的涌现99
5.1 提示学习99
5.1.1 什么是提示学习100
5.1.2 提示模板设计100
5.1.3 答案空间映射设计102
5.1.4 多提示学习方法103
5.2 上下文学习104
5.2.1 什么是上下文学习104
5.2.2 预训练阶段提升上下文
学习能力105
5.2.3 推理阶段优化上下文
学习的效果107
5.3 思维链108
5.4 基于提示的文本情感分析实战113
5.4.1 项目简介113
5.4.2 数据预处理模块114
5.4.3 BERT模型模块115
5.4.4 模型训练模块118
5.4.5 模型推理模块128
5.5 本章小结131
第6章 大型语言模型预训练132
6.1 大型预训练模型简介132
6.2 预训练模型中的分词器133
6.2.1 BPE133
6.2.2 WordPiece135
6.2.3 Unigram136
6.2.4 SentencePiece137
6.3 分布式深度学习框架138
6.3.1 并行范式简介139
6.3.2 Megatron-LM145
6.3.3 DeepSpeed147
6.3.4 Colossal-AI149
6.3.5 FairScale152
6.3.6 ParallelFormers153
6.3.7 OneFlow153
6.4 基于大型语言模型的预训练实战155
6.4.1 项目简介155
6.4.2 数据预处理模块156
6.4.3 执行模型训练159
6.5 基于大型语言模型的信息
抽取实战168
6.5.1 项目简介168
6.5.2 数据预处理模块169
6.5.3 Freeze微调模块172
6.5.4 LoRA微调模块176
6.5.5 P-Tuning v2微调模块181
6.6 本章小结18
|
關於作者: |
程 戈
博士生导师,湘潭大学计算机学院·网络空间安全学院教授,湘潭大学技术转移中心副主任,湘潭市京东智能城市与大数据研究院副院长,智慧司法与数字治理湖南省重点实验室副主任,CCF计算法学会执委。
大模型领域技术专家和布道者,作为两项科技部国家重点研发子课题的负责人,与成都数之联等多家企业合作推动人工智能在司法领域的落地,带领团队开发了JusticeGPT司法大模型,不同于其他的以提升司法领域知识问答能力为核心的司法大模型,该大模型致力于提升司法文献检索增强生成以及司法文档的多跳信息聚合能力,并通过特定的多任务表征与控制指令生成框架重构司法信息化系统的业务中台,实现司法业务编排以及工作流自动化。
连续创业者,先后创立湘潭安道致胜信息科技有限公司等多家企业,曾经作为共同创始人加盟美国WiFi Free llc. ,开发了WiFi Free、WiFi Analyzer?等项目,其中WiFi Free在2014到2015年是Google Play市场相关WiFi分享类应用下载的前三名。作为技术顾问,先后服务于北京捷通华声等多家企业,提供知识表示学习的技术解决方案,为某知名私募开发了基于深度学习的股票趋势预测系统,成为该私募公司的主要量化工具。
刘聪
资深NLP技术专家和AI技术专家,南京云问科技首席算法架构师,MLNLP(机器学习算法与自然语言处理)社区学术委员。主攻文本向量表征、问答系统、AIGC等技术方向,是大模型领域的先驱者和布道者。开源了首个中文Unilm预训练模型、中文GPT2、夸夸闲聊机器人(ChatBot)、大模型微调等项目。作为主要负责人,在多项自然语言处理比赛中获得前三名,在中文核心期刊和SCI发表多篇论文,有多项发明专利。知乎ID为“刘聪NLP”,拥有公众号“NLP工作站”。
杜振东
资深NLP技术专家和AI技术专家,南京云问科技NLP研究院院长,国家人工智能标准委专家、AIIA 人工智能技术专家、CCF智能机器人专业组首批委员。拥有10年机器学习与文本挖掘经验,8年中文自然语言处理实战经验,参与制定6项国家人工智能总体组标准,编著有《会话式AI》《人工智能实践录》等书。
涂铭
资深AI架构师和大数据架构师,现就职于BAT,对NLP、图像识别、大数据等领域有深入研究,实战经验丰富。在NLP方面,担任导购机器人项目的架构师,主导开发机器人的语义理解、短文本相似度匹配、上下文理解等功能。在工业领域曾参与了燃煤优化、设备故障诊断、新能源光伏电池片和组件EL图像检测等项目。著有《Python自然语言处理实战:核心技术与算法》《深度学习与图像识别:原理与实践》等畅销书。
沈盛宇
资深算法工程师,南京云问科技算法组负责人。擅长结合用户业务场景,有针对性地设计知识图谱、问答、检索、多模态、AIGC等的相关算法和落地方案。在结合客户现有产品体系,推动数据中台和算法平台结合,从而提升服务质量方面,有丰富实战经验。曾获得多项国家专利,参与制定和撰写《IDP术语标准》《人工智能-智能助理能力等级评估标准》《人工智能标准化与开源研究报告》等多项国家级人工智能标准和报告。
|
目錄:
|
《ChatGPT原理与实战:大型语言模型的算法、技术和私有化》
《ChatGPT原理与架构:大模型的预训练、迁移和中间件编程 》
|
|