数据资源管理方法与技术 - 中国高校教材图书网
|
书名: |
数据资源管理方法与技术
|
ISBN: | 9787560674711 |
条码: | |
作者: |
吴桐
相关图书
|
装订: | |
印次: | 1-1 |
开本: | 16开 |
定价: |
¥39.00
折扣价:¥37.05
折扣:0.95
节省了1.95元
|
字数: |
208千字
|
出版社: |
西安电子科技大学出版社 |
页数: |
265页
|
发行编号: | 5606 |
每包册数: |
12
|
出版日期: |
2025-2-11 |
|
内容简介: |
本书是数据管理领域的专业技术指南,书中从基础概念出发,全面系统地介绍了数据资源管理的原理、方法与技术。首先,本书在介绍数据资源管理的基本概念、发展历程、规划方法和管理模式等的基础上,详细论述了数据建模方法和数据治理方法,从而可对数据模型的组成、类型和建模方法及数据标准管理、数据质量管理等有一个基本认识;然后,深入讲解了数据采集、数据处理、数据存储、数据分析等关键技术;最后,以电信运营服务为典型案例,进行了应用分析。通过本书,读者可以获得对数据管理技术全景的深入理解,并能够应用这些技术来解决实际问题,为数据管理工作作出贡献。 本书可作为计算机科学与技术、数据工程、软件工程、信息系统管理等相关专业的教材,也可供数据管理领域的相关人员参考。
|
作者简介: |
|
章节目录: |
第1章 数据资源管理概述 1
1.1 基本概念 1
1.1.1 数据的定义 1
1.1.2 数据资源的定义 1
1.1.3 数据资源管理的定义 2
1.2 数据资源的特征 2
1.3 数据资源管理的发展历程 4
1.3.1 人工管理阶段 4
1.3.2 文件系统阶段 4
1.3.3 数据库管理系统阶段 5
1.3.4 数据仓库与数据挖掘阶段 5
1.3.5 Hadoop生态系统阶段 6
1.4 数据资源管理的内容 6
1.4.1 数据资源治理规划 6
1.4.2 数据资源过程管理 7
第2章 数据资源规划 8
2.1 数据资源规划概述 8
2.1.1 数据资源规划的定义 8
2.1.2 数据资源规划的发展 8
2.1.3 数据资源规划的原则 9
2.2 数据资源规划过程 10
2.3 数据资源规划方法 11
2.3.1 基于稳定信息过程的数据资源
规划方法 11
2.3.2 基于稳定信息结构的数据资源
规划方法 12
2.3.3 基于指标能力的数据资源
规划方法 14
2.3.4 数据资源规划方法的比较 15
第3章 数据资源管理模式 16
3.1 数据资源管理的难点 16
3.2 数据资源管理的组织机构、组织模式与
工作制度 17
3.2.1 数据资源管理的组织机构 17
3.2.2 数据资源管理的组织模式 17
3.2.3 数据资源管理的工作制度 20
3.3 数据资源管理的管理机制 21
3.4 数据资源管理的队伍建设 22
3.5 数据资源管理的实践步骤 22
3.5.1 统筹规划 22
3.5.2 管理实施 23
3.5.3 运营维护 24
第4章 数据建模方法 26
4.1 数据建模概述 26
4.1.1 数据模型的定义 26
4.1.2 数据建模的定义 26
4.2 数据模型组成 27
4.2.1 数据模型的组成要素 27
4.2.2 数据模型的层次类型 28
4.3 数据建模方法 28
4.3.1 数据建模的基本流程 28
4.3.2 数据建模的一般方法 29
4.4 数据模型描述方法 31
4.4.1 模型的组成 31
4.4.2 概念模型的描述方法 32
4.4.3 逻辑模型的描述方法 33
4.4.4 物理模型的描述方法 35
第5章 数据治理方法 36
5.1 数据治理概述 36
5.1.1 数据治理的基本概念 36
5.1.2 数据治理的作用 36
5.1.3 数据治理的架构 37
5.2 数据标准管理 38
5.2.1 数据标准管理概述 38
5.2.2 数据标准内容体系 39
5.2.3 数据标准管理过程 41
5.3 数据质量管理 42
5.3.1 数据质量管理概述 42
5.3.2 数据质量管理过程 43
5.3.3 数据质量评估 43
5.4 主数据管理 44
5.4.1 主数据管理概述 44
5.4.2 主数据管理过程 45
5.4.3 主数据管理架构 45
5.5 元数据管理 47
5.5.1 元数据管理概述 47
5.5.2 元数据管理过程 48
5.5.3 元数据结构 49
5.6 数据元管理 50
5.6.1 数据元管理概述 50
5.6.2 数据元基本属性 51
5.6.3 数据元定义与表示 52
5.7 数据分类与编码 56
5.7.1 数据分类与编码概述 56
5.7.2 数据分类的基本原则和方法 57
5.7.3 数据编码的基本原则和方法 58
5.8 数据生命周期管理 61
5.8.1 数据生命周期管理概述 61
5.8.2 数据生命周期管理模型 61
5.8.3 数据生命周期管理阶段 63
5.8.4 数据生命周期管理架构 64
第6章 数据采集技术 65
6.1 数据采集概述 65
6.1.1 数据采集基本概念 65
6.1.2 数据采集方法 65
6.2 人工数据采集技术 67
6.2.1 人工数据采集原则 67
6.2.2 人工数据采集方法 67
6.3 直连数据库采集技术 68
6.3.1 统一数据库访问引擎 68
6.3.2 数据库迁移 72
6.4 串口数据采集技术 77
6.4.1 串口相关技术 78
6.4.2 网络相关技术 80
6.4.3 数据采集方法 82
6.5 系统日志采集技术 85
6.5.1 系统日志分类 85
6.5.2 系统日志采集方式 85
6.5.3 主流日志采集工具 86
6.6 消息队列数据采集技术 90
6.6.1 消息中间件技术 90
6.6.2 消息传递系统 91
6.6.3 消息通信模型 92
6.6.4 主流消息中间件产品 94
6.7 网络数据采集技术 95
6.7.1 网络爬虫工作原理 96
6.7.2 Scrapy 97
6.8 感知设备数据采集 98
6.8.1 感知设备传感器分类 98
6.8.2 感知设备数据采集系统 99
第7章 数据处理技术 100
7.1 数据处理概述 100
7.1.1 数据处理的基本概念 100
7.1.2 数据质量问题的产生 100
7.1.3 数据处理的目的 101
7.1.4 数据处理的过程 101
7.2 数据预处理方法 102
7.2.1 数据清理 103
7.2.2 数据集成 107
7.2.3 数据变换 108
7.2.4 数据规约 109
7.2.5 数据标签化 112
7.3 ETL技术 113
7.3.1 数据抽取 114
7.3.2 数据转换 115
7.3.3 数据加载 116
7.3.4 ETL工具 116
第8章 数据存储技术 118
8.1 数据存储概述 118
8.1.1 数据存储系统 118
8.1.2 数据存储介质 118
8.1.3 数据存储容量 119
8.1.4 数据存储系统存储性能 119
8.1.5 数据存储成本 120
8.1.6 数据存储可靠性和可用性 120
8.2 数据存储架构 121
8.2.1 直接连接存储(DAS) 121
8.2.2 网络接入存储(NAS) 122
8.2.3 存储区域网络(SAN) 123
8.3 RAID技术 124
8.3.1 RAID的三项关键技术 125
8.3.2 常用RAID等级 125
8.3.3 常用RAID等级比较 129
8.4 数据库存储技术 130
8.4.1 关系数据库 130
8.4.2 NoSQL数据库 133
8.4.3 关系数据库与NoSQL数据库的
比较 138
8.5 分布式数据库技术 139
8.5.1 数据库集群 139
8.5.2 分布式文件系统 142
8.5.3 分布式数据库 145
8.5.4 云数据库 150
第9章 数据分析技术 153
9.1 数据分析概述 153
9.1.1 数据分析的基本概念 153
9.1.2 数据分析的意义 153
9.1.3 数据分析的流程 154
9.2 数据特征建模 154
9.2.1 特征表示 154
9.2.2 特征提取 155
9.2.3 特征选择 155
9.3 数据分析方法 156
9.3.1 数据统计分析 156
9.3.2 数据挖掘分析 156
9.4 数据计算处理 157
9.4.1 数据计算处理模式 157
9.4.2 流处理技术 158
9.4.3 批处理技术 160
9.4.4 Spark生态系统 163
9.5 数据可视化 166
9.5.1 数据可视化方法 167
9.5.2 数据可视化工具 175
第10章 数据资源管理典型案例 177
10.1 数据资源体系设计 177
10.1.1 数据资源体系顶层设计 177
10.1.2 数据资源体系架构设计 182
10.2 数据采集内容设计 185
10.2.1 批量数据采集 186
10.2.2 实时数据采集 186
10.3 数据处理内容设计 187
10.3.1 数据预处理 188
10.3.2 整合层数据处理 189
10.3.3 应用层数据处理 190
10.3.4 终端数据处理 191
10.4 数据存储内容设计 192
10.4.1 静态大数据存储 193
10.4.2 流式大数据存储 193
10.5 数据分析内容设计 195
10.5.1 实时数据处理的设计 195
10.5.2 周期性数据处理的设计 196
参考文献 199
|
精彩片段: |
|
书 评: |
|
其 它: |
|
|
|