Spark大数据处理技术
作者：夏俊鸾 著
出版时间：2015年版
内容简介
本书以Spark 0.9版本为基础进行编写，是一本全面介绍Spark及Spark生态圈相关技术的书籍，是国内首本深入介绍 Spark 原理和架构的技术书籍。主要内容有 Spark 基础功能介绍及内部重要模块分析，包括部署模式、调度框架、存储管理以及应用监控；同时也详细介绍了 Spark 生态圈中其他的软件和模块，包括 SQL 处理引擎 Shark 和 Spark SQL、流式处理引擎 Spark Streaming、图计算框架 Graphx 以及分布式内存文件系统 Tachyon。本书从概念和原理上对 Spark 核心框架和生态圈做了详细的解读，并对 Spark 的应用现状和未来发展做了一定的介绍，旨在为大数据从业人员和 Spark爱好者提供一个更深入学习的平台。本书适合任何大数据、Spark 领域的从业人员阅读，同时也为架构师、软件开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学习本书，读者能够熟悉和掌握 Spark 这一当前流行的大数据框架，并将其投入到生产实践中去。
目录
第1章 Spark系统概述 15 1.1 大数据处理框架 15 1.2 Spark大数据处理框架 17 1.2.1 RDD表达能力 17 1.2.2 Spark子系统 18 1.3 小结 21 第2章 Spark RDD及编程接口 23 2.1 Spark程序“Hello World” 23 2.2 Spark RDD 26 2.2.1 RDD分区（Partition）27 2.2.2 RDD优先位置（preferredLocations）28 2.2.3 RDD依赖关系（Dependencies）29 2.2.4 RDD分区计算（Compute） 34 2.2.5 RDD分区函数（partitioner）35 2.3 创建操作 39 2.3.1 集合创建操作 39 2.3.2 存储创建操作 40 2.4 转换操作 42 2.4.1 RDD 基本转换操作 42 2.4.2 键值RDD 转换操作 52 2.4.3 再论RDD 依赖关系 59 2.5 控制操作（control operation） 61 2.6 行动操作(action operation) 63 2.6.1 集合标量行动操作 63 2.6.2 存储行动操作 68 2.7 小结 72 第3 章 Spark 运行模式及原理 74 3.1 Spark 运行模式概述 74 3.1.1 Spark 运行模式列表74 3.1.2 Spark 基本工作流程 75 3.1.3 相关基本类 77 3.2 Local 模式 80 3.2.1 部署及程序运行80 3.2.2 内部实现原理 80 3.3 Standalone 模式 81 3.3.1 部署及程序运行 81 3.3.2 内部实现原理 85 3.4 Local-cluster 模式 86 3.4.1 部署及程序运行 86 3.4.2 内部实现原理 86 3.5 Mesos 模式 87 3.5.1 部署及程序运行 87 3.5.2 内部实现原理 88 3.6 Yarn standalone / Yarn cluster 模式 91 3.6.1 部署及程序运行 91 3.6.2 内部实现原理 93 3.7 Yarn Client 模式 94 3.7.1 部署及程序运行 94 3.7.2 内部实现原理 95 3.8 各种模式的实现细节比较 96 3.8.1 环境变量的传递 97 3.8.2 Jar 包和各种依赖文件的分发 99 3.8.3 任务管理和序列化 101 3.8.4 用户参数配置 102 3.8.5 用户及权限控制 103 3.9 Spark 1.0 版本之后的变化 104 3.10 小结 105 第4 章 Spark 调度管理原理 106 4.1 Spark 作业调度管理概述 106 4.2 Spark 调度相关基本概念 107 4.3 作业调度模块顶层逻辑概述 108 4.4 作业调度具体工作流程 112 4.4.1 调度阶段的拆分113 4.4.2 调度阶段的提交 117 4.4.3 任务集的提交 119 4.4.4 完成状态的监控 119 4.4.5 任务结果的获取 121 4.5 任务集管理模块详解 122 4.6 调度池和调度模式分析 124 4.7 其他调度相关内容 126 4.7.1 Spark 应用之间的调度关系 126 4.7.2 调度过程中的数据本地性问题 127 4.8 小结 127 第5章 Spark 的存储管理 128 5.1 存储管理模块整体架构 128 5.1.1 通信层架构 129 5.1.2 通信层消息传递 132 5.1.3 注册存储管理模块 133 5.1.4 存储层架构 134 5.1.5 数据块 (Block) 136 5.2 RDD 持久化 137 5.2.1 RDD 分区和数据块的关系 137 5.2.2 内存缓存 138 5.2.3 磁盘缓存 139 5.2.4 持久化选项 141 5.2.5 如何选择不同的持久化选项 142 5.3 Shuffle 数据持久化 143 5.4 广播（Broadcast）变量持久化 146 5.5 小结 146 第6 章 Spark 监控管理 148 6.1 UI 管理 148 6.1.1 实时UI 管理 149 6.1.2 历史UI 管理 154 6.2 Metrics 管理 155 6.2.1 Metrics 系统架构 156 6.2.2 Metrics 系统配置 157 6.2.3 输入源（Metrics Source）介绍 159 6.2.4 输出方式（Metrics Sink）介绍 160 6.3 小结 162 第7 章 Shark 架构与安装配置 163 7.1 Shark 架构浅析 164 7.2 Hive/Shark 各功能组件对比分析
