內容簡介
《大數據導論》是編者在多年從事大數據相關領域教學和科研的基礎上編寫而成的。《大數據導論》係統地對大數據采集、存儲、計算、處理、分析、挖掘和可視化等相關內容進行介紹,並結閤大數據在社交、交通、醫療、金融、教育等方麵的應用進行剖析闡述。
內頁插圖
目錄
目錄
前言
第1章 大數據概述 1
1.1 大數據定義 1
1.1.1 初識大數據 1
1.1.2 大數據的特徵 2
1.1.3 大數據技術 3
1.2 大數據的結構類型 6
1.2.1 結構化數據 6
1.2.2 半結構化數據 7
1.2.3 非結構化數據 7
1.2.4 其他分類方式下的數據類型 8
1.3 大數據發展 9
1.3.1 大數據概念發展 9
1.3.2 大數據浪潮下數據存儲的發展 10
1.4 大數據應用及挑戰 11
1.4.1 大數據應用 11
1.4.2 大數據發展麵臨的挑戰 15
本章小結 17
思考題 18
第2章 大數據采集 19
2.1 大數據來源 19
2.2 大數據采集設備 20
2.2.1 科研數據采集設備 20
2.2.2 網絡數據采集設備 21
2.3 大數據采集方法 21
2.3.1 科研大數據采集方法 21
2.3.2 網絡大數據采集方法 22
2.3.3 係統日誌采集方法 24
2.4 大數據預處理技術 25
2.4.1 數據預處理技術基本概述 26
2.4.2 數據清理 27
2.4.3 數據集成 30
2.4.4 數據變換與數據離散化 31
本章小結 34
思考題 34
第3章 大數據存儲 35
3.1 雲存儲 35
3.1.1 雲存儲簡介 35
3.1.2 雲存儲技術 38
3.2 大數據存儲 43
3.2.1 大數據存儲的特點與挑戰 43
3.2.2 存儲係統架構 44
3.2.3 新興數據庫技術 47
3.3 數據中心 50
3.3.1 數據中心概述 50
3.3.2 數據中心的演進 52
3.3.3 數據中心的分級 55
3.3.4 數據中心的體係結構 56
3.4 數據倉庫 59
3.4.1 數據倉庫的基本概念 59
3.4.2 數據倉庫的體係結構 62
本章小結 62
思考題 63
第4章 大數據計算平颱 64
4.1 雲計算 64
4.1.1 雲計算定義 64
4.1.2 雲計算特點 64
4.1.3 雲計算體係架構 65
4.1.4 雲計算與相關計算形式 67
4.1.5 雲計算的機遇與挑戰 68
4.2 雲計算平颱 70
4.2.1 主流分布式計算係統 70
4.2.2 主流分布式計算平颱 70
4.3 MapReduce平颱 74
4.3.1 數據存儲技術 75
4.3.2 數據管理技術 76
4.3.3 編程模型 77
4.4 Hadoop平颱 78
4.4.1 Hadoop概述 78
4.4.2 Hadoop結構 79
4.4.3 Hadoop分布式文件係統HDFS 80
4.4.4 Hadoop中的MapReduce 80
4.4.5 Hadoop中MapReduce的任務調度 82
4.5 Spark平颱 82
4.5.1 Spark簡介 82
4.5.2 核心思想與編程模型 84
4.5.3 工作原理 85
4.5.4 Spark的優勢 87
本章小結 87
思考題 88
第5章 大數據分析 89
5.1 大數據分析方法 89
5.1.1 布隆過濾器 89
5.1.2 散列法 91
5.1.3 索引法 93
5.1.4 字典樹 95
5.1.5 並行計算 96
5.2 大數據分析架構 98
5.2.1 實時分析與離綫分析 98
5.2.2 不同層次的分析 100
5.2.3 不同復雜度的分析 102
5.3 大數據分析應用 103
5.3.1 R語言 103
5.3.2 Excel和SQL 103
5.3.3 RapidMiner 104
5.3.4 KNIME 105
5.3.5 Weka和Pentaho 105
本章小結 106
思考題 107
第6章 大數據挖掘 108
6.1 大數據挖掘算法 109
6.1.1 關聯規則 109
6.1.2 分類分析 114
6.1.3 聚類分析 119
6.2 大數據挖掘工具 123
6.2.1 RapidMiner 123
6.2.2 Weka 123
6.2.3 KNIME 124
6.2.4 Orange 124
6.2.5 R語言 125
6.3 大數據挖掘平颱 125
6.3.1 基於Hadoop的平颱 126
6.3.2 基於雲計算的平颱 128
6.3.3 基於Spark的平颱 129
6.4 大數據挖掘應用 131
6.4.1 社交媒體 131
6.4.2 醫學 132
6.4.3 教育 132
6.4.4 金融 133
本章小結 134
思考題 134
第7章 大數據下的機器學習算法 135
7.1 大數據特徵選擇 135
7.1.1 大數據特徵選擇的必要性 135
7.1.2 大數據特徵選擇方法 136
7.2 大數據分類 140
7.2.1 決策樹分類 140
7.2.2 樸素貝葉斯分類 142
7.2.3 貝葉斯網絡分類 143
7.2.4 支持嚮量機分類 144
7.3 大數據聚類 145
7.3.1 K-means算法 146
7.3.2 DBSCAN算法 150
7.3.3 層次聚類算法 151
7.4 大數據關聯分析 153
7.4.1 有趣關係 154
7.4.2 Apriori算法 154
7.4.3 FP-growth算法 156
7.5 大數據並行算法 158
7.5.1 基於MapReduce的並行算法設計 158
7.5.2 超越MapReduce的並行算法設計 160
本章小結 162
思考題 162
第8章 大數據可視化 163
8.1 大數據可視化之美 163
8.1.1 數據可視化的基本概念 163
8.1.2 大數據可視化的錶現形式 164
8.2 大數據可視化技術 165
8.2.1 基於圖形的可視化方法 166
8.2.2 基於平行坐標法的可視化技術 168
8.2.3 其他數據可視化技術 169
8.3 大數據可視化工具 169
8.3.1 R語言在可視化中的應用 170
8.3.2 D3在可視化中的應用 171
8.3.3 Python在可視化中的應用 172
8.4 大數據可視化案例 173
8.4.1 波士頓地鐵數據可視化 173
8.4.2 實時風場可視化 175
8.4.3 GapMinder 176
8.4.4 死亡率與稅收 177
8.4.5 社交關係圖 177
8.5 大數據可視化的未來 178
8.5.1 數據可視化麵臨的挑戰 178
8.5.2 數據可視化技術的發展方嚮 178
8.5.3 數據可視化未來的主要應用 178
本章小結 179
思考題 179
第9章 社交大數據 180
9.1 社交大數據 180
9.1.1 社交數據分析讓社交網站更懂用戶 180
9.1.2 大數據和社交網絡 181
9.2 社交大數據在國內社交網絡中的應用 182
9.2.1 在騰訊大數據中的應用 182
9.2.2 在微博大數據中的應用 185
9.2.3 在淘寶大數據中的應用 188
9.2.4 在滴滴大數據中的應用 189
9.2.5 在百度大數據中的應用 190
9.3 大數據與Facebook:人們情緒的分析 192
9.3.1 用大數據分析人們對品牌的情緒 192
9.3.2 關於人們在Facebook上懷舊情緒的分析 194
9.4 大數據和Twitter:實例分析 196
9.4.1 分析用戶消費習慣 196
9.4.2 預測熱門股票走勢 199
思考題 202
第10章 交通大數據 203
10.1 交通數據分類及其相關分析 203
10.1.1 社會信號數據 203
10.1.2 移動手機數據 205
10.1.3 刷卡數據 205
10.1.4 社交網絡數據 205
10.1.5 交通數據處理 206
10.2 交通情況監測 207
10.2.1 交通事故數據集應用 208
10.2.2 監測交通情況 210
10.3 預測人類移動行為 214
10.3.1 人類移動性分析與概述 215
10.3.2 人類移動性研究的數據基礎與方法 215
10.3.3 人類活動模式與移動行為預測 217
10.3.4 人類移動性研究及預測的挑戰及展望 218
10.4 其他應用 220
本章小結 225
思考題 225
第11章 醫療大數據 226
11.1 醫療大數據簡介 226
11.1.1 醫療大數據的來源 226
11.1.2 醫療大數據特點 226
11.1.3 大數據對醫療的影響 226
11.2 基於大數據的臨床決策分析 228
11.2.1 基於大數據的臨床決策支持係統的架構 228
11.2.2 基於大數據的臨床決策支持係統的功能應用 228
11.2.3 大數據在臨床決策中的價值 229
11.2.4 促進數據解鎖的示例 230
11.3 基於大數據的醫療數據係統分析 231
11.3.1 大數據在醫療信息化行業的應用研究 231
11.3.2 醫療健康數據來源 232
11.3.3 醫療大數據體係結構 232
11.4 基於大數據的遠程患者監控 235
11.4.1 遠程醫療的應用領域 235
11.4.2 大數據在遠程醫療産業中的應用 236
11.4.3 大數據推動遠程醫療發展存在的問題 237
11.4.4 運用大數據推動遠程醫療發展的前景展望 237
本章小結 238
思考題 238
第12章 金融大數據 239
12.1 摩根大通信貸市場分析 241
12.1.1 摩根大通信貸市場介紹 241
12.1.2 金融科技助力摩根大通 243
12.1.3 金融大數據麵臨的挑戰 244
12.2 瑞士銀行集閤風險分析 244
12.2.1 集閤風險分析 245
12.2.2 大數據分析信用風險 245
12.2.3 大數據對金融數據的處理 246
12.3 民生銀行新核心業務平颱分析 247
12.3.1 技術支持 248
12.3.2 新一代數據分析體係 248
12.3.3 大數據應用場景 250
12.3.4 麵臨的挑戰 251
12.4 阿裏信貸金融模式分析 251
12.4.1 阿裏巴巴大數據平颱支持 252
12.4.2 阿裏信貸金融模式的優勢 253
12.4.3 阿裏信貸金融模式所麵臨的風險 254
本章小結 256
思考題 256
第13
大數據導論 下載 mobi epub pdf txt 電子書 格式