新書推薦:
《
帕纳索传来的消息(文艺复兴译丛)
》
售價:NT$
495.0
《
DK威士忌大百科
》
售價:NT$
1340.0
《
小白学编织
》
售價:NT$
299.0
《
Android游戏开发从入门到精通 第2版 王玉芹
》
售價:NT$
495.0
《
西班牙内战:秩序崩溃与激荡的世界格局:1936-1939
》
售價:NT$
990.0
《
非对称创新:中国企业赶超战略 魏江 刘洋
》
售價:NT$
495.0
《
潜能觉醒
》
售價:NT$
395.0
《
初平:汉末群雄混战(190—195)
》
售價:NT$
245.0
|
內容簡介: |
《MySQL内核:InnoDB存储引擎 卷1》由资深MySQL专家,机工畅销图书作者亲自执笔,在以往出版的两本InnoDB介绍性图书的基础之上,更深入地介绍InnoDB存储引擎的内核,例如latch、B+树索引、事务、锁等,从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制,并给出了大量最佳实践,希望通过《MySQL内核:InnoDB存储引擎 卷1》帮助用户真正了解一个数据库存储引擎的开发。
《MySQL内核:InnoDB存储引擎 卷1》可以成为带领读者进入数据库存储引擎的内核开发,帮助那些从事MySQL数据库的相关行业从业人员。同时,《MySQL内核:InnoDB存储引擎 卷1》也适合对于研究生阶段有志于数据库内核开发的同学。
|
關於作者: |
姜承尧(DavidJiang),MySQL领域的Oracle ACE,资深MySQL数据库专家,擅长于数据库的故障诊断、性能调优、容灾处理、高可用和高扩展研究,同时一直致力于MySQL数据库底层实现原理的研究和探索。此外,对高性能数据库和数据仓库也有深刻而独到的理解。曾为MySQL编写了许多开源工具和性能扩展补丁,如广受好评的InnoDB引擎二级缓存项目。现任网易杭州研究院技术经理一职,负责MySQL数据库的内核开发,参与设计与开发MySQL数据库在网易云环境中的应用。曾担任久游网数据库工程部经理,曾领导并参与了多个大型核心数据库的设计、实施、管理和维护,实战经验非常丰富。活跃于开源数据库以及开源软件领域,是著名开源社区ChinaUnixMySQL版块的版主,热衷于与网友分享自己的心得和体会,深受社区欢迎
|
目錄:
|
第1章概览
1.1InnoDB存储引擎历史
1.2源码版本
1.3源码风格
1.3.1源码结构
1.3.2代码风格
1.4代码编译
1.5阅读源码次序
1.6思考题
1.7继续阅读
第2章基本数据结构与算法
2.1相关文件
2.2内存管理系统
2.2.1内存管理
2.2.2通用内存池
2.3哈希表
2.3.1哈希算法
2.3.2数据结构
2.4双链表
2.4.1内存双链表
2.4.2磁盘双链表
2.5其他数据结构和算法
2.5.1动态数组
2.5.2排序
2.6小结
2.7思考题
2.8继续阅读
第3章同步机制
3.1相关文件
3.2基础知识
3.2.1memorymodel
3.2.2mutualexclution
3.2.3AtomicRead-Modify-WriteOperation
3.2.4spinlock
3.2.5死锁
3.3InnoDB同步机制
3.3.1mutex
3.3.2rw-lock
3.3.3waitarray
3.3.4死锁检测
3.4小结
3.5思考题
3.6继续阅读
第4章重做日志
4.1相关文件
4.2相关概念
4.2.1简介
4.2.2物理逻辑日志
4.2.3LSN
4.2.4检查点
4.2.5归档日志
4.2.6恢复
4.3物理存储结构
4.3.1重做日志物理架构
4.3.2重做日志块
4.3.3重做日志组与文件
4.4相关数据结构
4.4.1log_group_struct
4.4.2log_struct
4.5组提交
4.6恢复
4.6.1数据结构
4.6.2重做日志恢复
4.7总结
4.8思考题
4.9继续阅读
第5章mini-transaction
5.1相关文件
5.2mini-transaction介绍
5.2.1基本概念
5.2.2TheFIXRules
5.2.3Write-AheadLog(WAL)
5.2.4Force-log-at-commit
5.3具体实现
5.3.1数据结构
5.3.2物理逻辑日志的实现
5.3.3mini-transaction的使用
5.4示例
5.5小结
5.6思考题
5.7继续阅读
第6章存储管理
6.1相关文件
6.2物理存储
6.2.1页
6.2.2区
6.2.3段
6.2.4表空间
6.3数据结构
6.3.1概述
6.3.2fil_system_struct
6.3.3fil_space_struct
6.3.4fil_node_struct
6.4异步IO
6.4.1异步IO数据结构
6.4.2异步IO线程
6.5总结
6.6思考题
6.7继续阅读
第7章记录
7.1相关文件
7.2概述
7.3物理记录
7.3.1物理记录格式
7.3.2大记录格式
7.3.3伪记录
7.4逻辑记录
7.5记录之间的比较
7.6行记录版本
7.7小结
7.8思考题
7.9继续阅读
第8章索引页
8.1相关文件
8.2页
8.3存储结构
8.3.1PageHeader
8.3.2PageDirectory
8.3.3示例
8.4PageCursor
8.4.1定位记录
8.4.2插入记录
8.4.3删除记录
8.4.4并发控制
8.5小结
8.6思考题
8.7继续阅读
第9章锁
9.1相关文件
9.2锁与事务
9.2.1隔离性
9.2.2事务的隔离级别
9.2.3幻读
9.3InnoDB存储引擎中锁的类型与算法
9.4锁的内部实现
9.4.1数据结构
9.4.2锁的并发控制
9.4.3锁的类型与模式
9.4.4锁的兼容性
9.5显式锁和隐式锁
9.5.1显式锁与隐式锁的区别
9.5.2聚集索引记录的隐式锁
9.5.3辅助索引记录的隐式锁
9.6加锁操作
9.6.1加锁流程
9.6.2加锁过程
9.7行锁的维护
9.7.1插入
9.7.2更新
9.7.3PURGE
9.7.4一致性的锁定读
9.7.5页的分裂
9.7.6页的合并
9.8自增锁
9.9死锁
9.9.1死锁的概念
9.9.2死锁概率
9.9.3死锁的示例
9.10小结
9.11思考题
9.12继续阅读
第10章B+树索引
10.1B+树
10.1.1概述
10.1.2插入
10.1.3删除
10.2B+树索引
10.2.1索引的特点
10.2.2聚集索引
10.2.3辅助索引
10.2.4填充因子
10.3InnoDB存储引擎B+树索引实现
10.3.2相关latch
10.3.3整理
10.3.4分裂
10.3.5合并
10.4查找
10.4.1mode
10.4.2latch_mode
10.4.3cursor
10.5DML操作
10.5.1插入
10.5.2非主键更新
10.5.3主键更新
10.5.4删除
10.6持久游标
10.7自适应哈希索引
10.7.1实现原理
10.7.2创建哈希索引
10.7.3哈希索引的维护
10.7.4自适应哈希索引的优缺点
10.8小结
10.9思考题
10.10继续阅读
第11章InsertBuffer
11.1相关文件
11.2基本概念
11.3架构实现
11.3.1存储结构
11.3.2逻辑控制
11.3.3示例
11.4相关数据结构
11.5死锁
11.5.1latch顺序
11.5.2并发控制
11.5.3异步IO线程
11.6维护
11.6.1记录合并
11.6.2空间收缩
11.7小结
11.8思考题
11.9继续阅读
第12章缓冲池
12.1相关文件
12.2概述
12.2.1缓冲池
12.2.2LRU、Free和Flush链表
12.2.3基本数据结构
12.3缓冲池的管理
12.3.1LRU算法
12.3.2LRU链表维护
12.3.3页的分配
12.4页的读取
12.4.1物理读取
12.4.2随机预读
12.4.3线性预读
12.4.4逻辑读取
12.5页的刷新
12.5.1检查点
12.5.2部分写的问题
12.5.3刷新的实现
12.6小结
12.7思考题
12.8继续阅读
第13章事务处理
13.1相关文件
13.2事务
13.2.1概述
13.2.2分类
13.2.1隔离级别
13.3事务系统结构
13.3.1事务系统段
13.3.2数据结构
13.4DOUBLEWRITE段
13.5UNDO日志存储
13.5.1简介
13.5.2实现结构
13.5.3回滚段
13.5.4UNDO段
13.6UNDO记录
13.6.1存储结构
13.6.2INSERTUNDOLOGRECORD
13.6.3UPDATEUNDOLOGRECORD
13.7PURGE
13.7.1清理操作
13.7.2实现原理
13.8ROLLBACK
13.8.1回滚指针
13.8.2回滚操作
13.9COMMIT
13.10kernel_mutex与并发控制
13.11小结
13.12思考题
13.13继续阅读
第14章数据字典
14.1相关文件
14.2数据字典概述
14.3主要数据对象
14.3.1数据字典系统
14.3.2表定义
14.3.3索引定义
14.3.4外键约束定义
14.3.5其他数据对象定义
14.4InnoDB系统表对象
14.4.1SYS_TABLES
14.4.2SYS_COLUMNS
14.4.3SYS_INDEXES
14.4.4SYS_FIELDS
14.4.5其他表对象
14.5数据字典创建
14.5.1数据字典段
14.5.2数据字典物理结构
14.5.3数据字典初始化
14.5.4数据字典缓存组织
14.6数据字典对象加载
14.6.1用户表加载
14.6.2用户索引和外键约束加载
14.7小结
14.8思考题
14.9继续阅读
第15章服务管理
15.1相关文件
15.2初始化InnoDB存储引擎
15.2.1相关重要参数
15.2.2服务管理相关数据结构
15.2.3文件创建和加载
15.2.4启动后台线程
15.3关闭InnoDB存储引擎
15.3.1数据持久化
15.3.2资源释放
15.4master线程
15.4.1主要功能
15.4.2数据刷盘策略
15.5锁超时监控线程
15.6思考题
15.7继续阅读
|
內容試閱:
|
前言
为什么要写这本书
过去这些年,我一直在和各种不同的数据库打交道,见证了MySQL从一个小型的关系型数据库发展成为各大互联网企业的核心数据库系统的过程。期间我参与了一些大大小小的项目开发工作,成功地帮助开发人员构建了一些可靠的、健壮的应用程序。在这个过程中积累了一些经验,正是这些不断累积的经验赋予了我灵感,于是有了本书。这本书实际上反映了这些年来我做了哪些事情,汇集了很多同行每天可能都会遇到的一些问题,并给出解决方案。
本书是MySQL内核系列的第一本书,与之前出版的MySQL技术内幕不同的是,该系列的书将更靠近数据库内核层面,揭示MySQL数据库内核是如何运行的。MySQL内核系列的第一本书将从InnoDB存储引擎的内核来展开。
毫无疑问,InnoDB存储引擎已经成为MySQL数据库的“标准配置”。Facebook、Twitter、Yahoo、百度、淘宝、腾讯、网易这些互联网公司都将InnoDB作为后台的存储引擎。在时间的长河以及线上高并发验证下,其已经被证明是高性能、高可扩展性的引擎。身处数据库这个圈子,可以明显地感觉到从2010年开始,各大互联网公司已经不再满足于仅仅使用InnoDB存储引擎,他们开始越来越接触到引擎的内核层面,对引擎进行内核级别的优化以及根据公司的业务需求进行二次开发。即使是DBA本身也开始慢慢地不满足现状开始研究起InnoDB存储引擎的内核,似乎一夜之间不了解点内核实现都不好意思和别人说
你是搞MySQL数据库的。当然,我们需要感谢MySQL数据库,感谢MySQL数据库的创始人和InnoDB存储引擎的创始人。正是他们开源了这些代码,使得我们这些后人可以站在巨人的肩膀上继续学习与进步。在这方面,MySQLInnoDB比其他数据库都要伟大,更值得我们尊敬。不可否认的是,国内对于数据库内核的开发学习资料与课程都非常有限。本科阶段几乎没有相关课程,仅特定数据库研究方向的研究生才会去关注这些技术,并且这些人才在国内非常稀少。很多想要踏进数据库内核领域的人在最初都会感到迷茫和无助。另外,有些人凭着自己的聪明与天赋看似掌握了内核的实现,但是从他们的博客描述来看,其离真正的理解还是有一些距离的,或者说他们仅刚入门。所以我们才会在网上看到不断有人在翻阅过代码后,或者简单设置了几个断点和调试后抱怨InnoDB存储引擎的设计是多么烂。数据库的世界并不如他们想象的那样简单与粗糙,数据库有着自己的理论体系。虽然数据库的实现有很多种,但大多需要遵循一些理论规范,如FixRules、Write-AheadLog、Force-log-at-commit、Lock等。
我从2006年就开始进行数据库的内核开发,现在想来还最多只能称为hack。我在内核开发的路上走了很多弯路,经过高人的指点以及自己不断的学习与探索,终于有了一些经验,现通过本书来完整地展示给读者。希望通过MySQL内核系列,使正在通往或已经在数据库内核开发道路的人员少走弯路。
出于这个目的,我联合了网易MySQL技术组的各位同事,完成了InnoDB存储引擎卷1的书籍撰写工作。其中第1、3、4、5、7、8、9、10、11章由我个人独立完成,第2和第14章由我和温正湖共同完成、第6和第12章由我和饶陇辉共同完成、第13和第15章由我和蒋鸿翔共同完成。在每章的最后,我还给出了思考题以及继续阅读的参考资料,通过这部分的内容,读者可以
加深对于每个知识模块的理解,并继续对某一模块进行深入研究。
本书面向的读者群:
数据库管理员
数据库架构设计师
数据库内核开发人员
其他对数据库内核感兴趣的开发人员
如何阅读本书
本书一共有15章,每章都像一本“迷你书”,可以单独成册。用户可以有选择地阅读,但是更推荐根据本书的组织方式进行阅读,这样会更具有条理性。
第1章概览
本章首先介绍了MySQL数据库以及InnoDB存储引擎的历史,之后介绍了InnoDB存储引擎的源码结构与代码风格,最后推荐了阅读InnoDB存储引擎源码的次序。
第2章基本数据结构与算法
本章对InnoDB中常用的数据结构和算法进行了介绍。首先是InnoDB的内存管理系统,从内存管理机制、内存操作基元和内存池及内存区等概念着手进行了详细讲解;之后是哈希表结构,介绍了简单哈希表和带链哈希表两种;然后介绍了双链表结构;最后还介绍了动态数组、标准排序函数。本章的内容是InnoDB的基础,相信读者在阅读后续章节的代码时一定会遇到本章所提的相关数据结构与算法。
第3章同步机制
本章介绍了InnoDB存储引擎中实现的同步机制mutex和rw-lock。InnoDB存储引擎正是通过这些数据结构才能完成正确并发控制的。
第4章重做日志
本章首先介绍与重做日志模块相关的概念,之后具体分析了InnoDB存储引擎重做日志模块的实现。InnoDB存储引擎原先就支持组提交,因此有着相当不错的性能。最后,根据之前所介绍的内容,分析了如何通过重做日志进行有效恢复,从而实现事务系统持久性的要求。
第5章mini-transaction
本章介绍了数据库中的三个协议:FixRules、Write-AheadLog、Force-Log-at-Commit,同时介绍了InnoDB存储引擎中mini-transaction的实现,并通过一个示例简单展示了mini-transaction产生的重做日志内容。
第6章存储管理
本章介绍了InnoDB存储引擎的物理存储方式,这包括表空间的构成,段、区、页的存储管理。此外,还介绍了InnoDB存储引擎的文件操作方式,包括文件操作的架构设计、同步读写方式和异步读写方式,分别介绍了Windows操作系统、Posix操作系统以及InnoDB模拟的三种异步IO的实现方法。
第7章记录
本章介绍了InnoDB存储引擎的记录(record),使读者了解在源码中记录可以分为物理记录与逻辑记录,以及各种记录所使用的场合。
第8章索引页
本章介绍了InnoDB存储引擎的索引页,知道在源码中页可以分为物理页与逻辑页,并且详细分析了pageheader以及pagedirectory。此外,还对InnoDB存储引擎如何在页中进行记录的定位、插入和删除等操作进行了详细介绍。
第9章锁
本章介绍了InnoDB存储引擎锁的实现技术。在InnoDB存储引擎中,其通过next-keylocking算法在事务隔离级别为REPEATABLEREAD实现了完全的隔离性要求。此外,其对锁的设计是一种极其高效的设计方式。每个内核开发人员都应该细读lock模块,从而更为深入地理解锁的内部实现。
第10章B+树索引
本章对InnoDB存储引擎的B+树索引实现做了十分详细的介绍。该部分所需要涉及的内容非常多,与前面章节的联系也比较紧密,是一个极为重要的章节。希望读者可以反复阅读,从而更好地体会InnoDB存储引擎中B+树索引的实现。
第11章InsertBuffer
本章介绍了InnoDB存储引擎中InsertBuffer的实现,首先介绍了InsertBuffer的基本概念,然后介绍了InsertBuffer的物理与逻辑存储结构,并通过一个示例进行展示。最后,介绍了InsertBuffer的源码实现。我认为这个模块是难度最大的模块之一。
第12章缓冲池
本章介绍了InnoDB存储引擎缓冲池的实现,这包括缓冲池的管理、页的读取和页的刷新。此外,还介绍了InnoDB存储引擎使用midpointinsertionstrategyLRU的LRU管理机制。
第13章事务处理
本章介绍了InnoDB存储引擎的事务处理模块,介绍了InnoDB存储引擎对于undo记录的存储方式,这其中涉及事务系统段、回滚段、undo段、undo页、undo日志、undo记录等多个概念,读者应该好好地理清这些概念。此外,还讲述了事务的purge、rollback、commit等操作的具体实现。相信通过本章的学习读者可以了解如何设计一个高效的事务系统。
第14章数据字典
本章介绍了InnoDB存储引擎对于数据字典的具体实现,以及其与之前各章的联系。
第15章服务管理
本章介绍了InnoDB存储引擎各服务模块的管理,并展示了这些服务模块的具体实现。
勘误和支持
由于水平有限,编写时间仓促,书中难免会出现一些错误或不准确的地方,恳请读者批评指正,我将尽力在线上为你提供最满意的解答。如果你有更多的宝贵意见,也欢迎发送邮件至邮箱,期待能够得到您最真挚的反馈。
致谢
感谢网易研究院的所有同事们,能与一群才华出众的人一起工作让我感到非常荣幸与自豪,同时通过不断地与他人的交流,使我在数据库方面得到了极大的提升和领悟。
感谢电子工业出版社博文视点公司的孙学瑛老师,她在这段时间内始终支持我的写作,正是她的鼓励和帮助引导我顺利完成全部书稿。
谨以此书献给我最亲爱的家人,以及众多热爱MySQL数据库的朋友们!
姜承尧(DavidJiang)
2014年4月于中国杭州
|
|