典型Hadoop云计算【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

典型Hadoop云计算PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算背景与Hadoop1

1.1 云计算概述1

1.1.1 云计算的定义1

1.1.2 云计算的特点2

1.1.3 云计算的发展史3

1.1.4 云计算的发展趋势5

1.1.5 云计算的基本特征6

1.2 云计算的优缺点7

1.3 云计算存在的问题7

1.4 Hadoop使用8

1.4.1 国外Hadoop使用8

1.4.2 国内Hadoop使用10

1.5 Hadoop概述11

1.5.1 Hadoop的起源及简介11

1.5.2 Hadoop的历史12

1.5.3 Hadoop的功能与作用13

1.5.4 Hadoop的优势14

1.5.5 Hadoop的现状与趋势14

1.6 Hadoop的总体结构与模块简介15

1.7 Hadoop的数据管理18

1.7.1 HDFS的数据管理18

1.7.2 HBase的数据管理19

1.7.3 Hive的数据管理22

第2章 Hadoop的安装与配置25

2.1 在Linux上安装Hadoop25

2.1.1 安装单节点Hadoop25

2.1.2 在Linux系统上安装多节点Hadoop30

2.2 Windows安装Hadoop37

2.2.1 单机模式下安装Hadoop38

2.2.2 分布模式下安装Hadoop41

2.3 Hadoop的组件43

2.3.1 基本文件命令44

2.3.2 剖析MapReduce47

2.4 Hadoop的InputFormat与OutputFormat70

2.4.1 InputFormat70

2.4.2 OutputFormat74

2.5 Hadoop的常用命令81

2.5.1 常规选项81

2.5.2 HDFS Shell命令81

2.5.3 用户命令87

2.5.4 管理命令93

2.6 Hadoop的I/O操作95

2.6.1 I/O操作数据检查96

2.6.2 压缩数据98

2.6.3 数据I/O中的序列化操作100

2.6.4 MapReduce文件类111

2.7 Hadoop的权限管理119

2.7.1 概述119

2.7.2 用户分组管理120

2.7.3 作业管理122

2.7.4 提交作业124

第3章 Hadoop云计算的MapReduce详解125

3.1 总体结构125

3.2 MapReduce的工作原理127

3.3 MapReduce的基础模板129

3.4 一个气象数据集134

3.4.1 数据格式134

3.4.2 使用UNIX工具进行数据分析135

3.4.3 使用Hadoop进行数据分析137

3.4.4 新的Java MapReduce API143

3.4.5 Combiner145

3.4.6 运行分布式MapReduce作业147

3.5 MapReduce的应用实例150

3.5.1 数据去重150

3.5.2 排序153

3.5.3 二次排序156

3.5.4 单表关联167

3.5.5 多表关联172

3.6 复合键值对的使用176

3.6.1 合并键值177

3.6.2 用复合键排序178

3.7 定制数据类型及格式181

3.7.1 定制数据类型182

3.7.2 定义数据输入格式与RecordReader183

3.7.3 定制数据输出格式与RecordWriter187

3.7.4 定制Partitioner188

3.7.5 定制Combiner188

3.8 shuffle与排序190

3.8.1 map端190

3.8.2 reduce端192

3.8.3 shuffle过程193

3.9 组合式MapReduce作业194

3.9.1 迭代MapReduce计算任务194

3.9.2 顺序组合式MapReduce作业的执行194

3.9.3 前、后处理的链接195

3.9.4 复杂依赖关系的组合式198

3.10 使用DataJoin包实现Join199

3.11 参数／数据文件的传递与使用205

3.11.1 传递全局作业参数205

3.11.2 查询全局MapReduce作业属性207

3.11.3 全局数据文件的传递208

第4章 Hadoop云计算的ZooKeeper详解210

4.1 ZooKeeper的基本概念210

4.1.1 ZooKeeper的角色210

4.1.2 设计目的211

4.1.3 工作原理212

4.1.4 工作流程215

4.1.5 数据模型217

4.2 ZooKeeper的安装218

4.2.1 软件及环境要求218

4.2.2 单机模式218

4.2.3 集群模式219

4.2.4 集群伪分布220

4.2.5 启动并测试ZooKeeper222

4.3 ZooKeeper的配置223

4.3.1 Client和ZK集群的连接及session的建立过程223

4.3.2 关于ACL225

4.3.3 关于Watcher226

4.3.4 关于Log文件和snapshot228

4.4 ZooKeeper的使用229

4.4.1 ZooKeeper的简单操作229

4.4.2 ZooKeeper的四字命令230

4.4.3 ZooKeeper的命令行工具231

4.4.4 常用接口列表231

4.4.5 基本操作233

4.4.6 ZooKeeper API的使用234

4.5 ZooKeeper的特性236

4.5.1 ZooKeeper的会话及状态236

4.5.2 读写性能测试237

4.5.3 可靠性测试238

4.6 ZooKeeper的典型应用239

4.6.1 统一命名服务（Name Service）239

4.6.2 配置管理（Configuration Management）239

4.6.3 集群管理（Group Membership）240

4.6.4 分布式锁242

4.6.5 共享锁（Locks）244

4.6.6 队列管理245

4.7 ZooKeeper实例详解247

4.8 进程调度系统253

4.8.1 设计方案253

4.8.2 设计实现254

第5章 Hadoop云计算的Mahout详解262

5.1 Mahout概述262

5.2 Mahout的安装与配置263

5.3 Mahout API简介264

5.4 Mahout的相关算法266

5.4.1 分类算法266

5.4.2 聚类算法268

5.4.3 Slope one算法271

5.5 应用Mahout建立一个推荐引擎275

5.5.1 推荐引擎概述275

5.5.2 推荐引擎的实现代码276

5.6 运行Naive Bayes分类器279

5.6.1 生成分类结果的前提准备279

5.6.2 实现生成分类结果代码280

5.7 基于Mahout的应用281

5.7.1 应用构架282

5.7.2 应用实例282

第6章 Hadoop云计算的Avro详解286

6.1 Avro概述286

6.2 Avro模式288

6.2.1 Avro模式声明288

6.2.2 组件化Avro模式291

6.3 Avro数据295

6.3.1 数据序列化295

6.3.2 数据排序顺序297

6.4 Avro协议297

6.4.1 Avro协议声明297

6.4.2 协议传输格式299

6.5 使用Avro实现继承301

6.6 使用Avro实现多态性304

6.7 使用Avro的向后兼容性308

6.8 Avro的C/C＋＋实现310

6.9 Avro的Java实现322

6.10 Avro IDL语言327

第7章 Hadoop云计算的Chukwa详解332

7.1 初识Chukwa332

7.1.1 Chukwa不是什么333

7.1.2 Chukwa是什么333

7.1.3 Chukwa流水线数据处理334

7.2 Chukwa架构334

7.2.1 adaptors和agents335

7.2.2 collector与Demux335

7.2.3 HICC337

7.2.4 dbadmin338

7.2.5 数据接口与支持338

7.3 Chukwa的安装与配置338

7.3.1 配置要求339

7.3.2 Chukwa的安装339

7.3.3 基本命令介绍342

7.4 Chukwa源代码分析345

7.4.1 Chukwa的接口、实现类简介345

7.4.2 启动、处理流程346

7.5 Chukwa数据类型351

7.5.1 内部数据处理时序351

7.5.2 如何支持新的数据类型351

7.5.3 如何自定义数据处理模块353

7.6 Chukwa在百度的应用实践354

7.6.1 需求概述354

7.6.2 数据生成355

7.6.3 数据收集356

7.6.4 简单数据处理356

7.6.5 数据的析取357

7.6.6 数据的稀释358

第8章 Hadoop云计算的其他相关项目359

8.1 Hadoop的HBase详解359

8.1.1 数据模型359

8.1.2 概念视图359

8.1.3 物理视图360

8.1.4 系统架构362

8.1.5 HBase存储架构363

8.1.6 HBase的安装与配置363

8.1.7 HBase用户接口367

8.1.8 HBase加载大数据371

8.1.9 HBase的宽表与窄表对split的影响373

8.1.10 HBase Row Lock分析379

8.1.11 HBase的优缺点384

8.2 Hadoop的Hive详解385

8.2.1 Hive结构385

8.2.2 Hive的数据存储386

8.2.3 Hive和数据库的异同387

8.2.4 Hive的安装388

8.2.5 Hive的QL390

8.2.6 Hive优化398

8.2.7 Hive的扩展特性401

8.2.8 Hive的JDBC接口应用406

8.2.9 Hive实战408

8.3 Hadoop的Pig详解411

8.3.1 Pig安装412

8.3.2 数据模型412

8.3.3 用户自定义函数（UDF）413

8.3.4 Pig的使用414

8.3.5 Pig Latin编程语言的数据模型418

8.3.6 各种SQL在Pig中的实现418

8.3.7 Pig Latin的常用操作421

8.3.8 Pig Latin实例425

8.4 Hadoop的Cassandra详解429

8.4.1 Cassandra的特性与特点429

8.4.2 Cassandra的体系结构430

8.4.3 Cassandra的安装与配置431

8.4.4 Cassandra的客户端433

8.4.5 Cassandra常用的编程语言437

8.4.6 Cassandra实例442

第9章 Hadoop云计算的综合实例449

9.1 Hadoop云计算在移动通信信令监控与查询方面的综合实例449

9.1.1 分析与设计449

9.1.2 实现代码453

9.2 Hadoop在Last.fm的应用465

9.2.1 社会音乐史上的概述465

9.2.2 Hadoop在Last.fm中的应用465

9.2.3 Track Statistics程序466

9.2.4 计算不同的听众数467

9.2.5 统计音频使用总数469

9.2.6 合并结果470

参考文献473