Flume日志收集与MapReduce模式
作者：（美）史蒂夫·霍夫曼（SteveHoffman），（美）斯里纳特·佩雷拉（SrinathPerera） 著
出版时间：2015年版
内容简介
本书分为上下两篇，其中上篇介绍了HDFS以及流式数据/日志的问题，同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构，包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件（源、通道、接收器、通道处理器、接收器组等），都提供了详尽的各种实现以及配置选项，你可以借此根据自己的需要来定制Flume。同时，还介绍了如何编写自定义的实现，这将有助于你的学习与实现。下篇简洁明快地介绍了Hadoop以及如何使用MapReduce进行编程，旨在帮助读者快速起步并对使用Hadoop进行编程有个总体的认识，通过本书的学习，你将具备坚实的基础并可以解决遇到的各种MapReduce问题。
目录
目 录 Contents
译者序
前 言
上篇 Flume日志收集
第1章 概览与架构 2
1.1 Flume 0.9 3
1.2 Flume 1.X（FlumeNG） 4
1.3 HDFS与流式数据/日志的问题 5
1.4 源、通道与接收器 6
1.5 Flume事件 7
1.5.1 拦截器、通道选择器与选择处理器 8
1.5.2 分层数据收集（多数据流与代理） 9
1.6 小结 10
第2章 Flume快速起步 11
2.1 下载Flume 11
2.2 Flume配置文件概览 13
2.3 从“Hello World”开始 15
2.4 小结 20
第3章 通道 22
3.1 内存通道 23
3.2 文件通道 25
3.3 小结 29
第4章 接收器与接收处理器 31
4.1 HDFS接收器 31
4.1.1 路径与文件名 34
4.1.2 文件转储 37
4.2 压缩编解码器 38
4.3 事件序列化器 38
4.3.1 文本输出 39
4.3.2 带有头信息的文本 39
4.3.3 Apache Avro 39
4.3.4 文件类型 41
4.3.5 超时设置与线程池 43
4.4 接收器组 44
4.4.1 负载均衡 45
4.4.2 故障恢复 45
4.5 小结 46
第5章 源与通道选择器 48
5.1 使用tail的问题 48
5.2 exec源 50
5.3 假脱机目录源 53
5.4 syslog源 55
5.4.1 syslog UDP源 56
5.4.2 syslog TCP源 58
5.4.3 多端口syslog TCP源 59
5.5 通道选择器 61
5.5.1 复制 62
5.5.2 多路复用 62
5.6 小结 63
第6章 拦截器、ETL与路由 65
6.1 拦截器 65
6.1.1 Timestamp 66
6.1.2 Host 67
6.1.3 Static 68
6.1.4 正则表达式过滤 69
6.1.5 正则表达式抽取 70
6.1.6 自定义拦截器 74
6.2 数据流分层 75
6.2.1 Avro源/接收器 76
6.2.2 命令行Avro 78
6.2.3 Log4J追加器 79
6.2.4 负载均衡Log4J追加器 81
6.3 路由 82
6.4 小结 83
第7章 监控Flume 85
7.1 监控代理进程 86
7.1.1 Monit 86
7.1.2 Nagios 86
7.2 监控性能度量情况 87
7.2.1 Ganglia 87
7.2.2 内部HTTP服务器 89
7.2.3 自定义监控钩子 91
7.3 小结 92
第8章 万法皆空——实时分布式数据收集的现状 93
8.1 传输时间与日志事件 94
8.2 万恶的时区 94
8.3 容量规划 95
8.4 多数据中心的注意事项 96
8.5 合规性与数据失效 97
8.6 小结 98
下篇 MapReduce模式
第9章 使用Java编写一个单词统计应用（初级） 102
9.1 准备工作 102
9.2 操作步骤 103
9.3 示例说明 103
第10章 使用MapReduce编写一个单词统计应用并运行（初级） 105
10.1 准备工作 105
10.2 操作步骤 106
10.3 示例说明 106
10.4 补充说明 109
第11章 在分布式环境中安装Hadoop并运行单词统计应用（初级） 110
11.1 准备工作 111
11.2 操作步骤 112
11.3 示例说明 116
第12章 编写格式化器（中级） 117
12.1 准备工作 118
12.2 操作步骤 118
12.3 示例说明 119
12.4 补充说明 121
第13章 分析——使用MapReduce绘制频度分布（中级） 122
13.1 准备工作 123
13.2 操作步骤 123
13.3 示例说明 125
13.4 补充说明 128
第14章 关系操作——使用MapReduce连接两个数据集（高级） 129
14.1 准备工作 130
14.2 操作步骤 130
14.3 示例说明 131
14.4 补充说明 134
第15章 使用MapReduce实现集合操作（中级） 135
15.1 准备工作 135
15.2 操作步骤 136
15.3 示例说明 137
15.4 补充说明 140
第16章 使用MapReduce实现交叉相关（中级） 141
16.1 准备工作 141
16.2 操作步骤 142
16.3 示例说明 142
16.4 补充说明 145
第17章 使用MapReduce实现简单搜索（中级） 146
17.1 准备工作 147
17.2 操作步骤 147
17.3 示例说明 148
17.4 补充说明 150
第18章 使用MapReduce实现简单的图操作（高级） 151
18.1 准备工作 152
18.2 操作步骤 152
18.3 示例说明 153
18.4 补充说明 157
第19章 使用MapReduce实现Kmeans（高级） 158
19.1 准备工作 159
19.2 操作步骤 159
19.3 示例说明 160
19.4 补充说明 164
