大数据平台构建 - 高职高专大数据技术专业系列教材 - 中国高校教材图书网
|
|
|
书名： |
大数据平台构建
高职高专大数据技术专业系列教材
|
| ISBN： | 9787560669410 |
条码： | 9787560669410 |
| 作者： |
方明清
相关图书
|
装订： | 0 |
| 印次： | 1-1 |
开本： | 16开 |
| 定价： |
￥56.00
折扣价：￥53.20
折扣：0.95
节省了2.8元
|
字数： |
449千字
|
| 出版社： |
西安电子科技大学出版社 |
页数： |
304页
|
| 发行编号： | |
每包册数： |
|
| 出版日期： |
2023-09-04 |
|
|
| 内容简介： |
本书共4个项目15个任务，项目由易到难、从单一到综合，各个项目间既有机联系又相互独立，授课教师可以根据所教学生的学情分析结果选择某一个项目单独教学并进行任务实施。4个项目分别是：安装环境准备、Hadoop集群完全分布式部署、Hadoop生态系统常用组件部署、Hadoop HA集群部署。每个项目的任务都包含了任务目标、知识准备、任务实施三个部分。
本书对于在实际学习过程中学生需要重点掌握的知识点和技能点都用较多篇幅进行了讲解，以加强学生对基础知识的理解，知其然并知其所以然，从而使学生在任务实施过程中能够得心应手。本书所有项目的任务实施都来自实际操作步骤，一步一图，并且任务实施中每一条命令都有详细注释，只需认真阅读、细心操作就能成功。
本书适合作为各类院校大数据技术课程的教材，也适合作为大数据技术爱好者的参考用书。
|
| 作者简介： |
|
|
| 章节目录： |
项目一 安装环境准备 1
任务1 了解大数据的基本概念 2
任务目标 2
知识准备 2
一、大数据的定义 2
二、全球数字经济的发展现状与趋势 3
三、我国数字经济的国际地位与优势 4
四、大数据时代的挑战与机遇 5
任务实施 7
任务2 下载所需软件安装包 8
任务目标 8
知识准备 8
一、大数据的特征 8
二、大数据生态系统开源技术和框架 9
三、Hadoop生态系统 15
四、Hadoop发展简史与
版本演变 16
任务实施 17
一、软件下载清单及官方网址 17
二、VMware Workstation Pro试用版软件下载 18
三、openEuler软件下载 18
四、JDK 8软件下载 19
五、Hadoop软件下载 19
任务3 虚拟机软件VMWare Workstation Pro的安装与使用 20
任务目标 20
知识准备 20
一、VMware Workstation Pro简介 20
二、VMware Workstation Pro网络连接模式 21
任务实施 23
一、VMware Workstation Pro 的安装 23
二、VMware Workstation Pro 的使用 26
任务4 openEuler Linux操作系统的安装与基础使用 33
任务目标 33
知识准备 34
一、openEuler Linux操作系统简介 34
二、查看系统信息 35
三、配置网络 35
四、管理系统服务 40
五、使用DNF管理软件包 41
六、文本编辑器vi的使用 47
任务实施 49
一、openEuler Linux操作系统安装 49
二、FTP服务器的安装与配置 53
模拟测试试卷 61
项目二 Hadoop集群完全分布式部署 63
任务1 规划大数据平台集群 64
任务目标 64
知识准备 64
一、Hadoop的部署模式 64
二、Hadoop集群硬件架构 65
任务实施 66
一、Hadoop完全分布式部署的服务器角色规划 66
二、Hadoop完全分布式部署的离线安装所需软件包下载 66
三、使用FTP服务器构建openEuler完整版的软件源仓库 67
任务2 基础环境配置 72
任务目标 72
知识准备 73
一、SELinux 简介 73
二、Chrony时间同步服务简介 75
三、SSH免密登录简介 78
任务实施 79
一、安装集群主节点 79
二、配置集群主机映射表 82
三、关闭防火墙与SELinux 83
四、配置主节点软件源为FTP服务器软件源仓库 83
五、安装JDK 85
六、新建hadoop用户 86
七、克隆或复制集群从节点 86
八、安装时间同步服务 89
九、配置SSH免密钥登录(以master为HDFS主节点) 93
任务3 HDFS配置、启动与验证 95
任务目标 95
知识准备 96
一、HDFS简介 96
二、HDFS系统架构与工作原理 98
三、HDFS常用Shell命令 102
任务实施 104
一、Hadoop安装及脚本文件环境变量配置 104
二、HDFS组件参数配置 106
三、在Shell环境中配置Hadoop环境变量 108
四、分发系统配置文件以及Hadoop文件 110
五、NameNode格式化 112
六、HDFS 启动 114
七、HDFS验证 115
任务4 YARN配置、启动与验证 117
任务目标 117
知识准备 118
一、YARN与MapReduce简介 118
二、YARN系统架构与工作原理 119
三、MapReduce系统架构与工作原理 124
任务实施 129
一、配置SSH免密钥登录(以slave1 为YARN主节点) 129
二、配置YARN与MapReduce组件参数 131
三、分发YARN与MapReduce配置文件 133
四、启动集群YARN与JobHistoryServer 136
五、验证集群YARN与JobHistoryServer 138
六、准备MapReduce输入文件 141
七、上传输入文件到HDFS 142
八、运行MapReduce程序测试job 142
模拟测试试卷 145
项目三 Hadoop生态系统常用组件部署 147
任务1 HBase的安装部署与基本使用 148
任务目标 148
知识准备 148
一、HBase简介 148
二、HBase系统架构 151
三、HBase常用Shell命令 154
任务实施 162
一、HBase完全分布式安装、配置与验证 162
二、HBase的基本使用 170
任务2 Hive的安装部署与基本使用 173
任务目标 173
知识准备 173
一、Hive简介 173
二、Hive系统架构 175
三、Hive安装模式与连接方式 177
四、Hive常用命令 179
任务实施 195
一、Hive远程模式安装、配置与验证 195
二、Hive基本使用 203
任务3 Spark的安装部署与基本使用 217
任务目标 217
知识准备 218
一、Spark简介 218
二、Spark集群运行架构 219
三、Spark运行模式 222
四、Spark应用程序提交模式 223
任务实施 225
一、Spark Local模式安装 225
二、Spark Standalone模式安装 228
三、Spark on YARN模式安装 232
四、Spark SQL CLI使用 240
五、Spark编程基础 241
模拟测试试卷 248
项目四 Hadoop HA集群部署 251
任务1 规划Hadoop HA 集群 252
任务目标 252
知识准备 252
一、Hadoop HA简介 252
二、Hadoop HA原理 252
任务实施 253
一、Hadoop HA部署的服务器角色规划 253
二、Hadoop HA部署的离线安装所需软件包的下载 254
任务2 ZooKeeper安装与配置 255
任务目标 255
知识准备 255
一、ZooKeeper简介 255
二、ZooKeeper集群基本架构 256
任务实施 258
一、上传安装包到第1个ZooKeeper节点(如master)并解压 258
二、配置ZooKeeper环境变量 258
三、编辑ZooKeeper配置文件 258
四、创建 zkData和zkDataLog目录 259
五、设置ZooKeeper节点对应的ID(myid) 259
六、分发ZooKeeper到其他ZooKeeper节点 260
七、修改其他ZooKeeper节点对应的ID(myid) 260
八、启动与验证ZooKeeper集群 260
任务3 HDFS HA 配置、启动与验证 262
任务目标 262
知识准备 262
一、HDFS HA系统架构 262
二、HDFS NameNode HA工作原理 264
任务实施 265
一、配置HADOOP环境变量 265
二、修改HDFS HA核心配置文件core-site.xml 266
三、修改HDFS HA配置文件hdfs-site.xml 266
四、分发HDFS HA 配置文件 270
五、HDFS HA 集群的格式化 270
六、部署完成之后常规启动HDFS HA集群 274
七、验证 HDFS HA 集群 276
八、测试HDFS HA 集群主备NameNode切换 278
任务4 YARN HA 配置、启动与验证 280
任务目标 280
知识准备 280
一、YARN HA系统架构 280
二、YARN ResourceManager HA工作原理 282
任务实施 283
一、配置SSH 免密钥登录(slave2为主节点) 283
二、修改yarn-site.xml配置文件(YARN HA) 284
三、修改mapred-site.xml配置文件 285
四、分发YARN HA配置文件 286
五、启动 YARN HA 集群 286
六、启动历史服务 288
七、验证YARN HA集群与历史服务 288
八、准备MapReduce输入文件 289
九、将输入文件上传到HDFS 290
十、运行MapReduce程序测试job 290
十一、测试YARN HA 集群主备
ResourceManager切换 291
模拟测试试卷 292
参考文献 295
|
| 精彩片段： |
|
|
| 书 评： |
|
|
| 其 它： |
|
|
|
