大数据综合应用实践教程 - 应用型高校产教融合教材
高等学校新工科计算机类专业系列教材 - 中国高校教材图书网
| 内容简介： |
本书主要介绍大数据技术的综合应用，全书分为3篇。第1篇为数据采集，通过3个项目分别介绍3种不同的数据采集技术，其任务实战部分给出了完成数据采集的步骤。第2篇为数据分析与可视化，通过4个项目分别介绍4种不同类型数据分析及可视化方法，并通过任务实战给出了项目的操作步骤及相关代码。第3篇为数据运维，通过3个项目分别对3种组件进行运维，处理常见的故障问题。
本书具有较强的系统性和实践指导性，可作为应用型本科院校培养应用型人才的教材，也可作为大数据行业从业者和爱好者的学习参考书。
|
| 作者简介： |
|
|
| 章节目录： |
第1篇 数 据 采 集
项目1 Excel数据采集 2
1.1 Excel 2016数据采集功能与实现 3
1.2 Excel获取MySQL数据库中的数据 4
1.3 Excel爬取网页中的数据 11
1.4 任务实战 14
项目2 Python数据采集 16
2.1 Python数据采集基础 17
2.1.1 Python数据采集的定义与重要性 17
2.1.2 数据采集的主要方式 17
2.1.3 数据采集的工具与框架 18
2.1.4 数据采集的注意事项 18
2.2 网络爬虫基础 19
2.2.1 网络爬虫的定义 19
2.2.2 聚焦网络爬虫基本原理及实现过程 19
2.2.3 Python实现网络爬虫的流程 20
2.2.4 Python网络爬虫函数库与框架 20
2.3 解析提取网页数据 21
2.3.1 网页数据提取 21
2.3.2 数据解析方式 21
2.3.3 Lxml与XPath 22
2.3.4 BeautifulSoup库 23
2.3.5 JSON格式的数据解析 23
2.4 数据存储 25
2.5 Python爬取影片信息 26
2.6 任务实战 28
项目3 日志数据采集 33
3.1 Flume概述 34
3.2 核心组件 34
3.3 运行机制 36
3.4 Flume的可靠性 36
3.5 Flume安装与配置 37
3.6 采集日志文件到HDFS 38
3.6.1 采集本地目录数据并上传到HDFS 38
3.6.2 采集文件数据并上传到HDFS 39
3.7 任务实战 42
第2篇 数据分析与可视化
项目4 时间序列数据分析与可视化 48
4.1 时间序列数据在大数据中的应用 49
4.2 时间数据可视化 49
4.2.1 连续型时间数据可视化 49
4.2.2 离散型时间数据可视化 50
4.3 回归算法 52
4.4 任务实战 52
4.4.1 数据处理 53
4.4.2 数据分析与可视化 53
项目5 文本数据分析与可视化 58
5.1 文本数据在大数据中的应用 59
5.2 文本数据可视化 59
5.2.1 关键词可视化 59
5.2.2 文本分布可视化 61
5.3 文本分类算法 61
5.4 任务实战 61
5.4.1 数据处理 62
5.4.2 数据分析与可视化 63
项目6 分类数据分析与可视化 67
6.1 分类数据在大数据中的应用 68
6.2 分类数据可视化 68
6.3 K-means算法 69
6.4 任务实战 70
6.4.1 数据处理 70
6.4.2 数据分析与可视化 71
项目7 比例数据分析与可视化 76
7.1 比例数据在大数据中的应用 77
7.2 比例数据可视化 77
7.2.1 饼图 77
7.2.2 比例中的堆叠 78
7.2.3 时空比例数据可视化 78
7.3 Haversin 算法 80
7.4 任务实战 80
7.4.1 数据处理 80
7.4.2 数据分析与可视化 81
第3篇 数 据 运 维
项目8 HBase组件运维 88
8.1 HBase组件概述 89
8.1.1 HBase基础知识 89
8.1.2 HBase数据模型中的相关术语 89
8.1.3 概念视图 90
8.1.4 物理视图 91
8.1.5 HBase体系结构 92
8.2 HBase环境配置 95
8.2.1 HBase配置文件 95
8.2.2 HBase独立安装 95
8.2.3 HBase伪分布式安装 96
8.2.4 HBase启动、停止和监控 97
8.3 HBase运维操作 97
8.3.1 HBase Shell启动 98
8.3.2 HBase Shell通用命令 98
8.3.3 HBase Shell表管理命令 99
8.3.4 HBase Shell表操作命令 99
8.3.5 HBase Shell应用示例 100
8.4 任务实战 101
8.4.1 创建表 101
8.4.2 表的增删改查操作 101
8.4.3 删除数据表 103
项目9 Hive组件运维 105
9.1 Hive组件概述 106
9.1.1 Hive架构 106
9.1.2 Hive数据类型 107
9.2 分布式部署Hive 108
9.2.1 部署Hadoop分布式环境 108
9.2.2 MySQL的安装与启动 108
9.2.3 配置Hive参数 110
9.3 Hive库操作 112
9.4 Hive表操作 113
9.4.1 创建表 113
9.4.2 查看与修改表 113
9.4.3 删除表和退出Hive 114
9.5 Hive数据导入 114
9.5.1 数据导入 114
9.5.2 查询 115
9.6 任务实战 118
9.6.1 Hive导入数据 118
9.6.2 删除表中数据 120
9.6.3 查询表中数据 121
项目10 Spark组件运维 124
10.1 Spark运维概述 125
10.1.1 Spark架构 127
10.1.2 Spark工作原理 129
10.2 Spark配置部署 130
10.3 Spark组件维护 137
10.4 Spark Shell编程 139
10.4.1 Spark Shell概述 139
10.4.2 Spark Shell操作 139
10.5 任务实战 142
10.5.1 RDD创建 142
10.5.2 RDD行动操作 146
参考文献 151
|
| 精彩片段： |
|
|
| 书 评： |
|
|
| 其 它： |
|
|
|
中国大学出版社协会 |
首页 |
宏观指导 |
出版社天地 |
图书代办站 |
教材图书信息 |
教材图书评论 |
在线订购 |
教材征订
