大数据技术丛书 大数据挖掘 系统方法与实例分析【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

大数据技术丛书 大数据挖掘 系统方法与实例分析PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 基础篇3

第1章 认识大数据挖掘3

1.1 大数据与数据挖掘3

1.1.1 何为大数据3

1.1.2 大数据的价值5

1.1.3 大数据与数据挖掘的关系5

1.2 数据挖掘的概念和原理6

1.2.1 什么是数据挖掘6

1.2.2 数据挖掘的原理8

1.3 数据挖掘的内容8

1.3.1 关联8

1.3.2 回归10

1.3.3 分类10

1.3.4 聚类11

1.3.5 预测12

1.3.6 诊断13

1.4 数据挖掘的应用领域13

1.4.1 零售业13

1.4.2 银行业14

1.4.3 证券业15

1.4.4 能源业16

1.4.5 医疗行业17

1.4.6 通信行业18

1.4.7 汽车行业19

1.4.8 公共事业19

1.5 大数据挖掘的要点20

1.6 小结22

参考文献22

第2章 数据挖掘的过程及工具23

2.1 数据挖掘过程概述23

2.2 挖掘目标的定义24

2.3 数据的准备24

2.4 数据的探索26

2.5 模型的建立27

2.6 模型的评估30

2.7 模型的部署32

2.8 工具的比较与选择32

2.9 小结33

参考文献33

第3章 MATLAB数据挖掘快速入门35

3.1 MATLAB快速入门35

3.1.1 MATLAB概要35

3.1.2 MATLAB的功能36

3.1.3 快速入门实例37

3.1.4 入门后的提高43

3.2 MATLAB常用技巧44

3.3 MATLAB开发模式45

3.4 MATLAB数据挖掘实例46

3.5 MATLAB集成数据挖掘工具48

3.5.1 分类学习机简介48

3.5.2 交互探索算法的方式48

3.5.3 MATLAB分类学习机应用实例49

3.6 小结54

第二篇 技术篇57

第4章 数据的准备57

4.1 数据的收集57

4.1.1 认识数据57

4.1.2 数据挖掘的数据源58

4.1.3 数据抽样59

4.1.4 金融 行业的数据源60

4.1.5 从雅虎获取交易数据62

4.1.6 从大智慧获取财务数据64

4.1.7 从Wind获取高质量数据66

4.2 数据质量分析68

4.2.1 数据质量分析的必要性68

4.2.2 数据质量分析的目的68

4.2.3 数据质量分析的内容68

4.2.4 数据质量分析方法69

4.2.5 数据质量分析的结果及应用73

4.3 数据预处理74

4.3.1 为什么需要数据预处理74

4.3.2 数据预处理的方法74

4.3.3 数据清洗76

4.3.4 数据集成79

4.3.5 数据归约79

4.3.6 数据变换80

4.4 小结81

参考文献82

第5章 数据的探索83

5.1 衍生变量84

5.1.1 衍生变量的定义84

5.1.2 变量衍生的原则和方法84

5.1.3 常用的股票衍生变量85

5.1.4 评价型衍生变量89

5.1.5 衍生变量的数据收集与集成91

5.2 数据的统计92

5.2.1 基本描述性统计92

5.2.2 分布描述性统计93

5.3 数据可视化94

5.3.1 基本可视化方法94

5.3.2 数据分布形状可视化95

5.3.3 数据关联情况可视化97

5.3.4 数据分组可视化97

5.4 样本选择98

5.4.1 样本选择的方法98

5.4.2 样本选择应用实例99

5.5 数据降维101

5.5.1 主成分分析基本原理101

5.5.2 PCA应用案例：企业综合实力排序103

5.5.3 相关系数降维106

5.6 小结107

参考文献108

第6章 关联规则方法109

6.1 关联规则概要109

6.1.1 关联规则的背景109

6.1.2 关联规则的基本概念110

6.1.3 关联规则的分类111

6.1.4 关联规则挖掘常用算法112

6.2 Apriori算法112

6.2.1 Apriori算法基本思想112

6.2.2 Apriori算法步骤113

6.2.3 Apriori算法实例113

6.2.4 Apriori算法程序实现115

6.2.5 Apriori算法优缺点118

6.3 FP-Growth算法118

6.3.1 FP-Growth算法步骤118

6.3.2 FP-Growth算法实例119

6.3.3 FP-Growth算法优缺点121

6.4 应用实例：行业关联选股法122

6.5 小结123

参考文献124

第7章 数据回归方法125

7.1 一元回归126

7.1.1 一元线性回归126

7.1.2 一元非线性回归130

7.1.3 一元多项式回归135

7.2 多元回归136

7.2.1 多元线性回归136

7.2.2 多元多项式回归139

7.3 逐步回归141

7.3.1 逐步回归基本思想141

7.3.2 逐步回归步骤142

7.3.3 逐步回归的MATLAB方法143

7.4 Logistic回归144

7.4.1 Logistic 模型144

7.4.2 Logistic回归实例145

7.5 应用实例：多因子选股模型的实现148

7.5.1 多因子模型基本思想148

7.5.2 多因子模型的实现148

7.6 小结151

参考文献151

第8章 分类方法153

8.1 分类方法概要153

8.1.1 分类的概念153

8.1.2 分类的原理154

8.1.3 常用的分类方法155

8.2 K-近邻155

8.2.1 K-近邻原理155

8.2.2 K-近邻实例156

8.2.3 K-近邻特点159

8.3 贝叶斯分类160

8.3.1 贝叶斯分类原理160

8.3.2 朴素贝叶斯分类原理160

8.3.3 朴素贝叶斯分类实例162

8.3.4 朴素贝叶斯特点163

8.4 神经网络163

8.4.1 神经网络原理163

8.4.2 神经网络实例165

8.4.3 神经网络特点165

8.5 逻辑斯蒂166

8.5.1 逻辑斯蒂原理166

8.5.2 逻辑斯蒂实例166

8.5.3 逻辑斯蒂特点166

8.6 判别分析167

8.6.1 判别分析原理167

8.6.2 判别分析实例168

8.6.3 判别分析特点168

8.7 支持向量机168

8.7.1 支持向量机基本思想169

8.7.2 支持向量机理论基础169

8.7.3 支持向量机实例172

8.7.4 支持向量机特点172

8.8 决策树173

8.8.1 决策树的基本概念173

8.8.2 决策树的构建步骤173

8.8.3 决策树实例177

8.8.4 决策树特点177

8.9 分类的评判177

8.9.1 正确率177

8.9.2 ROC曲线180

8.10 应用实例：分类选股法181

8.10.1 案例背景181

8.10.2 实现方…法182

8.11 延伸阅读：其他分类方法185

8.12 小结185

参考文献186

第9章 聚类方法187

9.1 聚类方法概要187

9.1.1 聚类的概念187

9.1.2 类的度量方法189

9.1.3 聚类方法的应用场景190

9.1.4 聚类方法分类191

9.2 K-means方法192

9.2.1 K-means原理和步骤192

9.2.2 K-means实例1：自主编程193

9.2.3 K-means实例2：集成函数194

9.2.4 K-means特点198

9.3 层次聚类198

9.3.1 层次聚类原理和步骤198

9.3.2 层次聚类实例199

9.3.3 层次聚类特点201

9.4 神经网络聚类202

9.4.1 神经网络聚类原理和步骤202

9.4.2 神经网络聚类实例202

9.4.3 神经网络聚类特点203

9.5 模糊C-均值方法203

9.5.1 FCM原理和步骤203

9.5.2 FCM应用实例205

9.5.3 FCM算法特点205

9.6 高斯混合聚类方法206

9.6.1 高斯混合聚类原理和步骤206

9.6.2 高斯混合聚类实例208

9.6.3 高斯混合聚类特点209

9.7 类别数的确定方法209

9.7.1 原理209

9.7.2 实例210

9.8 应用实例：股票聚类分池212

9.8.1 聚类目标和数据描述212

9.8.2 实现过程212

9.8.3 结果及分析214

9.9 延伸阅读215

9.9.1 目前聚类分析研究的主要内容215

9.9.2 SOM智能聚类算法216

9.10 小结217

参考文献218

第10章 预测方法219

10.1 预测方法概要219

10.1.1 预测的概念219

10.1.2 预测的基本原理220

10.1.3 预测的准确度评价及影响因素221

10.1.4 常用的预测方法222

10.2 灰色预测223

10.2.1 灰色预测原理223

10.2.2 灰色预测的实例225

10.3 马尔科夫预测226

10.3.1 马尔科夫预测原理226

10.3.2 马尔科夫过程的特性227

10.3.3 马尔科夫预测实例228

10.4 应用实例：大盘走势预测232

10.4.1 数据的选取及模型的建立232

10.4.2 预测过程233

10.4.3 预测结果与分析234

10.5 小结234

参考文献235

第11章 诊断方法237

11.1 离群点诊断概要237

11.1.1 离群点诊断的定义237

11.1.2 离群点诊断的作用238

11.1.3 离群点诊断方法分类239

11.2 基于统计的离群点诊断240

11.2.1 理论基础240

11.2.2 应用实例241

11.2.3 优点与缺点242

11.3 基于距离的离群点诊断243

11.3.1 理论基础243

11.3.2 应用实例244

11.3.3 优点与缺点244

11.4 基于密度的离群点挖掘245

11.4.1 理论基础245

11.4.2 应用实例246

11.4.3 优点与缺点247

11.5 基于聚类的离群点挖掘247

11.5.1 理论基础247

11.5.2 应用实例248

11.5.3 优点与缺点249

11.6 应用实例：离群点诊断股票买卖择时249

11.7 延伸阅读：新兴的离群点挖掘方法251

11.7.1 基于关联的离群点挖掘251

11.7.2 基于粗糙集的离群点挖掘251

11.7.3 基于人工神经网络的离群点挖掘251

11.8 小结252

参考文献252

第12章 时间序列方法253

12.1 时间序列基本概念253

12.1.1 时间序列的定义253

12.1.2 时间序列的组成因素254

12.1.3 时间序列的分类255

12.1.4 时间序列分析方法255

12.2 平稳时间序列分析方法256

12.2.1 移动平均法256

12.2.2 指数平滑法257

12.3 季节指数预测法258

12.3.1 季节性水平模型258

12.3.2 季节性趋势模型259

12.4 时间序列模型259

12.4.1 ARMA模型259

12.4.2 ARIMA模型259

12.4.3 ARCH模型260

12.4.4 GARCH模型261

12.5 应用实例：基于时间序列的股票预测261

12.6 小结264

参考文献264

第13章 智能优化方法265

13.1 智能优化方法概要266

13.1.1 智能优化方法的概念266

13.1.2 常用的智能优化方法266

13.2 遗传算法268

13.2.1 遗传算法的原理268

13.2.2 遗传算法的步骤268

13.2.3 遗传算法实例274

13.2.4 遗传算法的特点275

13.3 模拟退火算法276

13.3.1 模拟退火算法的原理276

13.3.2 模拟退火算法的步骤278

13.3.3 模拟退火算法实例280

13.3.4 模拟退火算法的特点285

13.4 延伸阅读：其他智能方法286

13.4.1 粒子群算法286

13.4.2 蚁群算法287

13.5 小结288

参考文献288

第三篇 项目篇291

第14章 数据挖掘在银行信用评分中的应用291

14.1 什么是信用评分291

14.1.1 信用评分的概念291

14.1.2 信用评分的意义293

14.1.3 个人信用评分的影响因素293

14.1.4 信用评分的方法294

14.2 DM法信用评分实施过程295

14.2.1 数据的准备295

14.2.2 数据预处理295

14.2.3 Logis和tic模型296

14.2.4 神经网络模型297

14.3 AHP信用评分方法298

14.3.1 AHP法简介298

14.3.2 AHP法信用评分实例298

14.4 延伸阅读：企业信用评级299

14.5 小结300

第15章 数据挖掘在量化选股中的应用301

15.1 什么是量化选股301

15.1.1 量化选股定义301

15.1.2 量化选股实现过程302

15.1.3 量化选股的分类304

15.2 数据的处理及探索304

15.2.1 获取股票日交易数据304

15.2.2 计算指标307

15.2.3 数据标准化312

15.2.4 变量筛选313

15.3 模型的建立及评估315

15.3.1 股票预测的基本思想315

15.3.2 模型的训练及评价315

15.4 组合投资的优化317

15.4.1 组合投资的理论基础317

15.4.2 组合投资的实现320

15.5 量化选股的实施323

15.6 小结323

参考文献324

第16章 数据挖掘在工业故障诊断中的应用325

16.1 什么是故障诊断325

16.1.1 故障诊断的概念325

16.1.2 故障诊断的方法326

16.1.3 数据挖掘技术的故障诊断原理326

16.2 DM设备故障诊断实例327

16.2.1 加载数据327

16.2.2 探索数据327

16.2.3 设置训练样本的测试样本332

16.2.4 决策树方法训练模型332

16.2.5 集成决策树方法训练模型332

16.3 小结333

第17章 数据挖掘技术在矿业工程中的应用335

17.1 什么是矿业工程335

17.1.1 矿业工程的内容335

17.1.2 矿业工程的数据及特征336

17.1.3 数据挖掘技术在矿业工程中的作用337

17.2 矿业工程数据挖掘实例：提纯预测337

17.2.1 数据的集成337

17.2.2 采用插值方式处理缺失值338

17.2.3 设置建模数据及验证方式338

17.2.4 多元线性回归模型338

17.3 小结343

参考文献343

第18章 数据挖掘技术在生命科学中的应用345

18.1 什么是生命科学345

18.1.1 生命科学的研究内容345

18.1.2 生命科学中大数据的特征346

18.1.3 数据挖掘技术在生命科学中的作用347

18.2 生命科学数据挖掘实例：基因表达模式挖掘349

18.2.1 加载数据349

18.2.2 数据初探349

18.2.3 数据清洗350

18.2.4 层次聚类350

18.2.5 K-means聚类352

18.3 小结353

参考文献353

第19章 数据挖掘在社会科学研究中的应用355

19.1 什么是社会利学研究355

19.1.1 社会学研究的内容355

19.1.2 社会学研究的方法356

19.1.3 数据挖掘在社会科学研究中的应用情况356

19.2 社会科学挖掘实例：人类行为研究358

19.2.1 加载数据358

19.2.2 数据可视化358

19.2.3 神经网络359

19.2.4 混淆矩阵评价分类器359

19.2.5 ROC法评价分类器361

19.2.6 变量优选361

19.2.7 用优选的变量训练网络362

19.3 小结362

第四篇 理念篇365

第20章 数据挖掘的艺术365

20.1 确定数据挖掘目标的艺术365

20.1.1 数据挖掘中的商业意识365

20.1.2 商业意识到数据挖掘目标366

20.1.3 商业意识的培养366

20.2 应用技术的艺术367

20.2.1 技术服务于业务的艺术367

20.2.2 算法选择的艺术368

20.2.3 与机器配合的艺术369

20.3 数据挖掘中平衡的艺术370

20.3.1 客观与主观的平衡370

20.3.2 数据量的平衡370

20.4 理性对待大数据时代371

20.4.1 发展大数据应避免的误区371

20.4.2 正确认识大数据的价值372

20.4.3 直面大数据应用面临的挑战374

20.5 小结375

参考文献375

第21章 数据挖掘的项目管理和团队管理377

21.1 数据挖掘项目实施之道377

21.1.1 确定可行的目标377

21.1.2 遵守数据挖掘流程377

21.1.3 项目的质量控制378

21.1.4 项目效率378

21.1.5 成本控制379

21.1.6 数据挖掘过程改进379

21.2 数据挖掘团队的组建380

21.2.1 数据挖掘项目团队的构成380

21.2.2 团队负责人380

21.3 数据挖掘团队的管理381

21.3.1 团队管理的目标与策略381

21.3.2 规范化的管理381

21.4 优秀数据挖掘人才的修炼382

21.4.1 专业知识与技术382

21.4.2 快速获取知识的技能383

21.4.3 提高表达能力383

21.4.4 提高管理能力383

21.4.5 培养对数据挖掘的热情384

21.5 小结384