新書推薦:
《
甲骨文丛书·波斯的中古时代(1040-1797年)
》
售價:NT$
403.0
《
以爱为名的支配
》
售價:NT$
286.0
《
台风天(大吴作品,每一种生活都有被看见的意义)
》
售價:NT$
245.0
《
打好你手里的牌(斯多葛主义+现代认知疗法,提升当代人的心理韧性!)
》
售價:NT$
301.0
《
新时代硬道理 广东寻路高质量发展
》
售價:NT$
352.0
《
6S精益管理实战(精装版)
》
售價:NT$
458.0
《
异域回声——晚近海外汉学之文史互动研究
》
售價:NT$
500.0
《
世界文明中的作物迁徙:聚焦亚洲、中东和南美洲被忽视的本土农业文明
》
售價:NT$
454.0
|
編輯推薦: |
本书是一本理想的学习 CUDA 编程的入门书籍,理论与实操结合,难易适中。
|
內容簡介: |
本书是一本理想的学习 CUDA 编程的入门书籍。本书分两部分,*部分(前十章)循序渐进地介绍 CUDA 编程的基础,第二部分(后五章)通过一个具体的计算物理应用实例分子动力学模拟来介绍如何从头开发一个大型的、高效的 CUDA 程序。
|
關於作者: |
樊哲勇,1983 年生,2010 年在南京大学物理系获理学博士学位,2010-2012 年在厦门大学物理系做博士后,2012-2014年在芬兰 Aalto 大学做博士后,2014-2016 在渤海大学任副教授,2016 年至今在芬兰 Aalto 大学做博士后。拥有 8 年 CUDA 编程经验,用 CUDA 开发了高效的分子动力学模拟程序 GPUMD 和量子输运程序 GPUQT,在计算物理的一流期刊《Computer Physics Communications》发表9篇原创论文。
|
目錄:
|
第1章 GPU硬件与CUDA程序开发工具1
1.1 GPU 硬件简介1
1.2 CUDA 程序开发工具4
1.3 CUDA 开发环境搭建示例6
1.4 用nvidia-smi检查与设置设备7
1.5 其他学习资料8
第2章 CUDA中的线程组织10
2.1 C语言中的HelloWorld程序10
2.2 CUDA中的HelloWorld程序11
2.2.1 只有主机函数的CUDA程序11
2.2.2 使用核函数的CUDA程序12
2.3 CUDA 中的线程组织14
2.3.1 使用多个线程的核函数14
2.3.2 使用线程索引15
2.3.3 推广至多维网格17
2.3.4 网格与线程块大小的限制21
2.4 CUDA 中的头文件21
2.5 用nvcc编译CUDA程序22
第3章 简单CUDA程序的基本框架25
3.1 例子:数组相加25
3.2 CUDA 程序的基本框架27
3.2.1 隐形的设备初始化29
3.2.2 设备内存的分配与释放29
3.2.3 主机与设备之间数据的传递31
3.2.4 核函数中数据与线程的对应32
3.2.5 核函数的要求33
3.2.6 核函数中if语句的必要性34
3.3 自定义设备函数35
3.3.1 函数执行空间标识符35
3.3.2 例子:为数组相加的核函数定义一个设备函数36
第4章 CUDA程序的错误检测38
4.1 一个检测CUDA运行时错误的宏函数38
4.1.1 检查运行时API函数40
4.1.2 检查核函数42
4.2 用CUDA-MEMCHECK检查内存错误44
第5章 获得GPU加速的关键46
5.1 用CUDA事件计时46
5.1.1 为C程序计时47
5.1.2 为CUDA程序计时48
5.2 几个影响GPU加速的关键因素50
5.2.1 数据传输的比例50
5.2.2 算术强度51
5.2.3 并行规模54
5.2.4 总结55
5.3 CUDA 中的数学函数库55
第6章 CUDA的内存组织57
6.1 CUDA 的内存组织简介57
6.2 CUDA 中不同类型的内存58
6.2.1 全局内存58
6.2.2 常量内存61
6.2.3 纹理内存和表面内存62
6.2.4 寄存器62
6.2.5 局部内存63
6.2.6 共享内存63
6.2.7 L1和L2缓存64
6.3 SM 及其占有率65
6.3.1 SM 的构成65
6.3.2 SM 的占有率65
6.4 用CUDA运行时API函数查询设备67
第7 章 全局内存的合理使用70
7.1 全局内存的合并与非合并访问70
7.2 例子:矩阵转置73
7.2.1 矩阵复制73
7.2.2 使用全局内存进行矩阵转置75
第8 章 共享内存的合理使用78
8.1 例子:数组归约计算78
8.1.1 仅使用全局内存79
8.1.2 使用共享内存82
8.1.3 使用动态共享内存84
8.2 使用共享内存进行矩阵转置85
8.3 避免共享内存的bank冲突86
第9 章 原子函数的合理使用90
9.1 完全在GPU中进行归约90
9.2 原子函数93
9.3 例子:邻居列表的建立95
9.3.1 C 版本的开发96
9.3.2 利用原子操作的CUDA版本98
9.3.3 不用原子操作的CUDA版本101
第10章 线程束基本函数与协作组104
10.1 单指令-多线程执行模式104
10.2 线程束内的线程同步函数106
10.3 更多线程束内的基本函数109
10.3.1 介绍109
10.3.2 利用线程束洗牌函数进行归约计算114
10.4 协作组116
10.4.1 线程块级别的协作组116
10.4.2 利用协作组进行归约计算118
10.5 数组归约程序的进一步优化119
10.5.1 提高线程利用率119
10.5.2 避免反复分配与释放设备内存122
第11章 CUDA流124
11.1 CUDA 流概述124
11.2 在默认流中重叠主机和设备计算125
11.3 用非默认CUDA流重叠多个核函数的执行128
11.3.1 核函数执行配置中的流参数128
11.3.2 重叠多个核函数的例子129
11.4 用非默认CUDA流重叠核函数的执行与数据传递131
11.4.1 不可分页主机内存与异步的数据传输函数131
11.4.2 重叠核函数执行与数据传输的例子133
第12章 使用统一内存编程136
12.1 统一内存简介136
12.1.1 统一内存的基本概念136
12.1.2 使用统一内存对硬件的要求137
12.1.3 统一内存编程的优势137
12.2 统一内存的基本使用方法137
12.2.1 动态统一内存138
12.2.2 静态统一内存139
12.3 使用统一内存申请超量的内存140
12.3.1 第一个测试140
12.3.2 第二个测试142
12.3.3 第三个测试143
12.4 优化使用统一内存的程序144
第13章 分子动力学模拟的CUDA程序开发147
13.1 分子动力学模拟的基本算法和C实现147
13.1.1 程序的整体结构147
13.1.2 分子动力学模拟的基本流程148
13.1.3 初始条件149
13.1.4 边界条件150
13.1.5 相互作用152
13.1.6 运动方程的数值积分156
13.1.7 程序中使用的单位制157
13.1.8 程序的编译与运行158
13.1.9 能量守恒的测试159
13.1.10 C 版本程序运行速度的测试160
13.2 CUDA 版本的分子动力学模拟程序开发161
13.2.1 仅加速求力和能量的部分161
13.2.2 加速全部计算165
第14章 CUDA标准库的使用167
14.1 CUDA 标准库简介167
14.2 Thrust 库168
14.2.1 简介168
14.2.2 数据结构168
14.2.3 算法168
14.2.4 例子:前缀和169
14.3 cuBLAS 库171
14.3.1 简介171
14.3.2 例子:矩阵乘法172
14.4 cuSolver 库176
14.4.1 简介176
14.4.2 例子:矩阵本征值177
14.5 cuRAND 库181
14.5.1 简介181
14.5.2 例子182
|
內容試閱:
|
基于CPU(central processing unit,中央处理器)和GPU(graphics processing unit,图形处理器)的异构计算(heterogeneous computing)已逐步发展为高性能计算(high performance computing)领域的主流模式。很多超级计算机大量使用了GPU。CUDA(compute unified device architecture)作为GPU高性能计算的主要开发工具之一,已经在计算机、物理、化学、生物、材料等众多领域发挥了重要作用。掌握CUDA编程也就意味着开辟了一条通往高性能计算的新道路。
本书通过大量实例循序渐进地介绍CUDA编程的语法知识、优化策略及程序开发实践。本书所有源代码都可以通过作者为本书创建的GitHub仓库(https: github.combrucefan1983CUDA-Programming)获得。读者也可以针对该仓库提出问题(issues)与作者进行交流。渤海大学由琪同学的GitHub仓库https:github.com YouQixiaowuCUDA-Programming-with-Python还给出了本书部分程序的py-CUDA版本。本书中的所有程序都在Linux平台通过测试,其中大部分程序也能在Windows平台通过测试。我们会在适当的地方指出哪些程序无法在(作者的)Windows平台通过测试。
本书是一本较理想的学习CUDA编程的入门读物。在计算机方面,读者需要掌握初步的Linux或Windows命令行操作技能,并具有一定的C语言编程基础。第13章的内容要求读者具有大学物理或普通物理的知识基础。第14章的部分内容要求读者熟悉大学本科理工科的线性代数知识。本书前12章需顺序阅读,后两章可选读,而且可以按任意次序阅读。最后要强调的是,本书不假定读者有并行编程的经验。
本书不是一本CUDA编程手册,不追求面面俱到,但力求做到由浅入深、循序渐进。截至作者交稿之日,最新版本(10.2)的《CUDA C Programming Guide》和《CUDA C Best Practices Guide》加起来有400多页,再加上CUDA工具箱中各种应用程序库和编程开发工具的文档,总页数可能上万。在本书100多页的篇幅中想要做到面面俱到是不可能的。明确地说:
● 本书只涉及CUDA C编程,不涉及其他异构编程语言,如OpenCL、OpenACC和CUDA Fortran。
● 关于CUDA C编程,本书不涉及动态并行(dynamic parallelism)、CUDA Graph、CUDA与OpenGL和Direct3D的交互、纹理和表面内存的使用。
● 本书不涉及多GPU编程,只讨论单GPU编程,并且不涉及OpenMP和MPI。
● 在众多性能分析器(profiler)中,我们将仅偶尔使用nvprof,不使用其他可视化性能分析器。
本书彩图请扫描右侧二维码观看。
本书的出版受到国家自然科学基金的支持,项目编号为11974059,名称为《基于石墨烯及其他两维材料的柔性热电材料的多尺度模拟》。本书中相关程序的开发和测试使用了由Aalto Science-IT project和Finlands IT Center for Science(CSC)提供的计算资源与技术支持。
复旦大学的周麟祥教授于2011年在厦门大学开设的CUDA编程讲座让作者有幸较早地接触CUDA编程。厦门大学的博士后导师郑金成和王惠琼教授及芬兰Aalto大学的博士后导师Ari Harju博士和Tapio Ala-Nissila教授在作者学习与使用CUDA的过程中给予了很大的支持。在此对以上老师表示由衷的感谢!
特别感谢苏州吉浦讯科技有限公司的技术团队。该团队的工程师们为本书的初稿指出了300多个问题,并为作者解答了很多有关CUDA编程的问题。如果没有该团队的帮助,本书一定有很多错误。厦门大学的徐克同学和渤海大学的由琪同学先后为本书制作了若干插图。中国科学技术大学的黄翔同学、潍坊学院高性能计算中心的李延龙同学及西安理工大学的范亚东同学帮助审阅了全部书稿。在此对以上同学一并表示感谢。
本书从构思到完成大概花了一年半的时间。在这一年半的时间里,此书的写作占用了我很多本应该陪伴家人的时间。所以,我将此书献给我的妻子秦海霞、大女儿樊怀瑾和小女儿樊婉瑜,以及我的父亲樊明营与母亲张珍艳。
|
|