新書推薦:
《
泉舆日志 幻想世界宝石生物图鉴
》
售價:NT$
611.0
《
养育女孩 : 官方升级版
》
售價:NT$
230.0
《
跨界:蒂利希思想研究
》
售價:NT$
500.0
《
千万别喝南瓜汤(遵守规则绘本)
》
售價:NT$
203.0
《
大模型启示录
》
售價:NT$
510.0
《
东法西渐:19世纪前西方对中国法的记述与评价
》
售價:NT$
918.0
《
养育男孩:官方升级版
》
售價:NT$
230.0
《
小原流花道技法教程
》
售價:NT$
500.0
|
內容簡介: |
Storm作为实时的、分布式以及具备高容错的流式计算系统,对比适于海量数据批处理的hadoop,不仅简化了数据流上相关处理的并行编程复杂度,也提供了数据处理实时性、可靠性和集群节点动态伸缩的特性。本书通过各自章节的详细阐述和应用,全面介绍了Storm的溯源发展、核心概念和集群配置、可靠性保障关键技术、常用的并行流模型编程范式,关键数据结构和源码解析等。本书的一大特色是,书中所有实例,均来自笔者所在团队的实际应用,是一个在智能交通背景下的城市道路车辆实时监控系统。
|
關於作者: |
韩燕波:曾就职于德国国家计算机研究中心、德国弗郎霍夫软件技术研究所和美国大规模分布系统实验室等机构。2000年被聘为中科院计算技术研究所研究员,入选中科院海外杰出人才计划(中科院百人计划,2001期)。曾任中科院研究生院教授、博士生导师、中科院计算技术研究所网格与服务计算研究中心主任、软件集成与服务计算研究分中心主任、中德软件集成技术联合实验室主任。现任北方工业大学2级教授、北方工业大学云计算研究中心主任。
|
目錄:
|
目 录 第一篇 理论篇 流式数据处理概论第1章 大数据环境下的云计算与物联网31.1 云计算与物联网31.1.1 云计算31.1.2 物联网61.2 大数据下的新挑战81.2.1 大数据及其特征81.2.2 大数据处理的技术挑战111.3 本章小结14第2章 流式实时数据处理:理论与技术152.1 流式数据与流式实时计算152.1.1 流式数据152.1.2 流式实时计算182.2 流式数据处理的系统与应用202.2.1 发展与挑战202.2.2 Hadoop 2.0生态圈222.3 Storm272.3.1 起源与发展:Twitter的开源与影响272.3.2 功能292.3.3 特色:可扩展、可靠的分布式流式数据处理302.4 其他开源流式数据处理系统342.4.1 Yahoo S4342.4.2 Spark Streaming372.4.3 Facebook Puma412.5 本章小结42第3章 实际案例:城市道路车辆 数据的实时监控分析系统433.1 背景与需求分析433.1.1 背景433.1.2 数据处理的业务需求453.2 数据处理系统的架构设计与技术选型463.2.1 架构设计463.2.2 技术选型483.3 本章小结49第二篇 应用基础篇 流式数据处理系统Storm的基础原理第4章 Storm的系统模型:架构与组成534.1 系统架构与部署模式534.1.1 系统架构534.1.2 单机/分布式部署564.1.3 本地模式584.2 系统节点594.2.1 Zookeeper:协调节点594.2.2 nimbus:主控节点634.2.3 supervisor:工作节点654.2.4 UI:控制台节点684.3 本章小结70第5章 Storm的通信模型715.1 Thrift: 可扩展且跨语言的通信软件框架715.1.1 Thrift的基础概念715.1.2 基于Thrift的数据通信745.2 Thrift在Storm中的应用:系统节点间的通信755.2.1 接口的定义与实现755.2.2 客户端与Storm系统的通信825.3 ZeroMQ在Storm中的应用:Storm作业任务间的通信835.3.1 ZeroMQ:面向分布式并发应用的高性能异步消息处理库835.3.2 Tuple与declareOutputFields(): 数据项结构及声明865.4 Storm 可配置的通信机制895.5 本章小结90第6章 Storm的作业单元:Topology916.1 Topology结构及构成916.2 Stream:组件间的数据传递936.2.1 概述936.2.2 Stream Grouping: 流组模式946.2.3 自定义流组1016.3 构建Topology1046.3.1 TopologyBuilder与Config1046.3.2 Topology构建示例1066.3.3 Topology常见的编程模式1076.4 本章小结109第7章 Storm的数据源编程单元:Spout1107.1 Spout的接口与实现1107.1.1 Spout与接口层次结构1107.1.2 ISpout和IComponent接口1117.1.3 接口的实现类及实例1137.2 Spout的使用模式1157.2.1 直接连接1157.2.2 队列连接1197.3 Spout与数据的可靠性1217.3.1 可靠的Spout与不可靠的Spout1217.3.2 可靠的Spout的数据项管理1227.4 本章小结125第8章 Storm的数据处理编程单元:Bolt1268.1 Bolt的接口与实现1268.1.1 Bolt与接口层次1268.1.2 IBolt和IComponent接口1278.1.3 接口的实现类及实例1318.2 Bolt与数据的可靠性1338.2.1 可靠的Bolt与不可靠的Bolt1338.2.2 可靠的Bolt的数据项管理1338.2.3 IBasicBolt和BaseBasicBolt1368.3 本章小结137第9章 Storm的保障能力1389.1 Storm的功能性保障:多粒度的并行化1389.1.1 并发模型1389.1.2 并行度配置1399.1.3 可插拔的自定义调度器1449.2 Storm的非功能性保障:多级别的可靠性1499.2.1 不同级别的容错机制1499.2.2 记录级容错:保障数据项不丢失1519.2.3 记录级容错的原理:acker任务与追踪算法1579.3 本章小结164第10章 Storm的特定应用16510.1 分布式远程过程调用16510.1.1 概述16510.1.2 DRPC的构建与使用16610.1.3 Storm的DRPC原理17110.2 事务型作业17310.2.1 概述17310.2.2 Transactional Topology的构建与使用17510.2.3 Transactional Topology的编程接口与事务型的实现17910.2.4 CoordinatedBolt的原理18110.3 非Java语言的开发18210.3.1 支持多语言的协议18210.3.2 Shell组件18710.4 本章小结189第三篇 应用实践篇 基于流式数据处理系统Storm的开发第11章 Storm的系统部署19311.1 系统环境19311.2 依赖程序的安装19411.2.1 libuuid, libuuid-devel, gcc-c++, libtool19411.2.2 ZeroMQ和JZMQ19611.3 Storm的安装与配置19811.3.1 Zookeeper的安装与配置19811.3.2 单机模式和集群模式下Storm的安装、配置和启动20011.3.3 Storm各节点的服务启动20311.4 Storm集群水平扩展工作节点20611.5 本章小结207第12章 Storm应用的开发与调试20812.1 Eclipse环境下的Storm工程20812.1.1 Eclipse开发环境20812.1.2 将Storm-starter组织为Eclipse工程21012.2 Storm应用的开发、调试与部署21212.2.1 本地开发与调试21212.2.2 远程部署21312.3 常见问题与应对技巧21512.3.1 ZeroMQ版本21512.3.2 Zookeeper日志清理21612.3.3 Topology作业的打包与远程部署21612.4 本章小结217第13章 项目案例分析21813.1 业务计算的设计21813.1.1 需求分析21813.1.2 概要设计21913.2 业务计算的实现22013.2.1 Topology的构建22013.2.2 JmsSpout的实现22213.2.3 三个Bolt的实现22413.3 本章小结229附录218参考文献232后记237
|
|