Hadoop技术与应用（高职） - 中国高校教材图书网
|
|
|
书名： |
Hadoop技术与应用（高职）
|
| ISBN： | 9787560659831 |
条码： | |
| 作者： |
魏迎
相关图书
|
装订： | 0 |
| 印次： | 1-1 |
开本： | 16开 |
| 定价： |
￥49.00
折扣价：￥46.55
折扣：0.95
节省了2.45元
|
字数： |
468千字
|
| 出版社： |
西安电子科技大学出版社 |
页数： |
316页
|
| 发行编号： | |
每包册数： |
9
|
| 出版日期： |
2021-03-23 |
|
|
| 内容简介： |
本书采用“理论+实战”的形式编写，将企业需求分解为单独的项目，全面系统地讲解了Hadoop大数据的相关知识及应用。全书共12个项目，首先介绍了大数据技术的发展、Hadoop生态圈的组成、Hadoop集群部署、采集数据上传到HDFS；接着具体介绍了为提高集群的可持续服务，在分布式协调组件ZooKeeper的协助下，部署HDFS的HA集群和YARN的HA集群的方法；然后讲解了MapReduce、HBase和Hive的实际应用，并具体讲解了通过Flume监听Hadoop集群日志，以及使用Sqoop实现数据在MySQL和HDFS之间的相互传输；最后介绍如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大数据未来的发展方向。
本书适合作为高职高专院校大数据技术课程的教学用书，也适合作为培训机构和大数据技术爱好者的参考用书。
|
| 作者简介： |
|
|
| 章节目录： |
项目1 大数据平台部署前的环境准备 1
任务1 大数据技术及应用 3
任务描述 3
知识准备 3
一、大数据简介 3
二、大数据的特征 3
三、大数据相关概念 5
四、大数据的典型应用 5
任务实施 通过思维导图展示大数据
技术的应用 6
任务2 获取Hadoop资源 7
任务描述 7
知识准备 7
一、Hadoop的起源 7
二、Hadoop的特点 8
三、Hadoop生态圈 8
四、Hadoop版本演变 9
五、常见Hadoop的发行版本 11
任务实施 通过Hadoop官网下载Hadoop
软件 11
能力拓展 Hadoop部署前的环境配置 12
项目小结 24
课后习题 24
项目2 部署Hadoop集群 26
任务1 部署单机模式Hadoop 28
任务描述 28
知识准备 28
一、Hadoop的安装方式 28
二、安装JDK 28
任务实施 安装单机模式Hadoop 30
任务2 部署伪分布模式Hadoop 33
任务描述 33
知识准备 33
一、Hadoop集群 33
二、Hadoop目录介绍 33
任务实施 部署伪分布模式Hadoop 34
能力拓展 部署Hadoop集群 40
项目小结 49
课后习题 49
项目3 采集数据到HDFS 51
任务1 通过Shell采集数据到HDFS 52
任务描述 52
知识准备 53
一、HDFS简介 53
二、HDFS的优势 53
三、HDFS的局限性 53
四、HDFS的架构 54
五、HDFS的工作机制 57
六、HDFS的容错 59
七、访问HDFS 60
任务实施 通过Shell命令采集数据到
HDFS 62
任务2 通过Java API采集数据到HDFS 68
任务描述 68
知识准备 69
一、文件读取 69
二、文件写入 69
三、安装Java开发环境 70
任务实施 通过Java API 采集数据到
HDFS 75
能力拓展 通过数据流采集数据到HDFS 80
项目小结 82
课后习题 82
项目4 部署HDFS的HA集群 85
任务1 安装ZooKeeper服务 87
任务描述 87
知识准备 87
一、ZooKeeper简介 87
二、ZooKeeper的特性 88
三、ZooKeeper的工作原理 88
四、ZooKeeper的工作模式 89
五、ZooKeeper的角色 89
任务实施 安装ZooKeeper服务 90
任务2 访问ZooKeeper服务 94
任务描述 94
知识准备 94
一、读写机制 94
二、数据模型 94
三、监听通知机制 95
四、典型应用场景 95
任务实施 访问ZooKeeper服务 96
任务3 部署HDFS的高可用集群 99
任务描述 99
知识准备 100
一、HDFS HA机制 100
二、HDFS Federation机制 102
任务实施 部署HDFS的HA集群 103
项目小结 114
课后习题 114
项目5 部署YARN的HA集群 116
任务1 部署YARN集群 118
任务描述 118
知识准备 118
一、YARN产生背景 118
二、YARN的优点 120
三、YARN的组成及架构 120
四、YARN工作流程 122
五、YARN容错性 123
任务实施 部署YARN集群 123
任务2 部署YARN的高可用集群 125
任务描述 125
知识准备 125
一、YARN HA机制 125
二、RM的状态存储 126
任务实施 部署YARN的HA集群 127
项目小结 133
课后习题 133
项目6 MapReduce应用 135
任务 MapReduce Java API编程 136
任务描述 136
知识准备 137
一、MapReduce核心思想 137
二、MapReduce工作流程 138
三、MapReduce API编程 142
任务实施 利用WordCount统计单词数 147
能力拓展 用MapReduce实现平均成绩的
计算 151
项目小结 156
课后习题 157
项目7 部署开源数据库HBase 162
任务1 部署HBase服务 164
任务描述 164
知识准备 164
一、HBase概述 164
二、HBase数据模型 165
三、HBase功能组件 167
四、HBase运行机制 170
任务实施 安装部署HBase 172
任务2 访问HBase服务 175
任务描述 175
知识准备 175
一、HBase常用Shell命令 175
二、HBase Java API的应用 177
三、HBase过滤器 178
任务实施 HBase Java API编程实践 180
能力拓展 创建自定义过滤器 186
项目小结 189
课后习题 190
项目8 部署数据仓库Hive 192
任务1 部署Hive服务 194
任务描述 194
知识准备 194
一、Hive概述 194
二、Hive的系统架构 195
三、Hive HA的基本原理 197
四、Hive的工作原理 197
五、Hive的安装模式 199
任务实施 部署Hive的相关工具 200
任务2 访问Hive服务 203
任务描述 203
知识准备 203
一、Hive的管理 203
二、Hive的数据模型 204
三、Hive的数据类型 205
四、Hive的基本操作 206
任务实施 通过Hive实现WordCount 211
能力拓展 Hive实现分组排序 211
项目小结 216
课后习题 217
项目9 利用Flume监听数据 219
任务1 监听端口数据并输出到Flume
控制台 221
任务描述 221
知识准备 221
一、Flume简介 221
二、Flume Event的概念 221
三、Flume的优势和特征 222
四、Flume的环境搭建 223
五、Flume三大组件 223
任务实施 监听端口数据并输出到
Flume控制台 227
任务2 监听Hive日志文件并输出到Flume
控制台 230
任务描述 230
知识准备 230
一、Exec Source 230
二、HDFS Sink 231
三、Hive Sink 232
任务实施 监听Hive日志文件并输出到
Flume控制台 233
能力拓展 Flume监听Hive日志文件并
输出到HDFS 237
项目小结 242
课后习题 242
项目10 Sqoop实现数据传输 244
任务1 数据从MySQL导入HDFS 246
任务描述 246
知识准备 246
一、Sqoop简介 246
二、Sqoop的环境搭建 247
三、Sqoop的常用命令 249
四、Sqoop import命令的常用参数 249
任务实施 数据从MySQL导入HDFS 250
任务2 数据从HDFS导出到MySQL 257
?任务描述 257
知识准备 257
Sqoop export命令的常用参数 258
任务实施 数据从HDFS导出到MySQL 258
能力拓展 用Sqoop将HDFS数据导出到
MySQL数据表指定的列 264
项目小结 268
课后习题 268
项目11 Ambari部署Hadoop集群 270
任务 Ambari的安装 271
任务描述 271
知识准备 272
一、Ambari简介 272
二、Ambari的作用 272
三、Ambari的架构及工作流程 272
四、软件下载 275
任务实施 利用Ambari部署、管理Hadoop
集群 277
能力拓展 在Ambari中启用HDFS的HA 293
项目小结 297
课后习题 298
项目12 大数据的未来 299
任务 大数据的未来 300
任务描述 300
知识准备 301
一、医疗领域 301
二、智慧城市领域 302
三、教育领域 303
四、人工智能领域 304
五、大数据与5G通信 305
项目小结 306
课后习题 306
参考文献 308
|
| 精彩片段： |
|
|
| 书 评： |
|
|
| 其 它： |
|
|
|
