什么是数据挖掘（python）

大家好，欢迎来到IT知识分享网。

我将借助5W1H 的思想来带你从整体上了解下数据挖掘，比如什么是数据挖掘、为什么要做数据挖掘、在哪些场景下用数据挖掘，以及怎么做数据挖掘。我会从这条主线上逐渐细化，为这个“骨架” 填充肌肉和血液，让它逐渐丰满起来。

1.什么是数据挖掘

2.为什么要做数据挖掘？

• 海量数据。随着互联网技术的发展，数据的生产、收集和存储也越来越方便，海量数据因此产生。比如，我们常用的微信，每天要产生超过380 亿条数据；今日头条每天要发布上百万的新文章；淘宝每天有上千万的包裹要发出。
• 维度众多。在一个多维度的数据中，每增加一个维度都会增加数据分析的复杂程度。比如点外卖事件涉及的维度就有：浏览饭店的菜品（形式有文字、图片或语言、视频等）、浏览时间、下单价格、交易处理、分配配送员及GPS 信息、完成订单后的评价等。
• 问题复杂。通常用数据挖掘解决的问题都比较复杂，很难用一些规则或者简单的统计给出结果。如果让开发者写一个微波炉的智能控制逻辑，我想难度不是很大，即便是有十几个，甚至几十个按钮的控制中心也不过是多花费一点时间而已。但如果编写一段代码来区分某图片中是否有一只猫咪，那要考虑的问题就太多了，使用传统的方法很难解决，而这恰恰是数据挖掘所擅长的。
  以上是我们进行数据挖掘的初衷，在后续的课程中你也会看到，随着这些问题的出现，它们在数据挖掘中是如何被解决的。
  

3数据挖掘有什么用处？

既然数据挖掘是一种方法，那就要用它去解决一些问题。下面我就来具体讲一下你最关心的，也是最实际的问题，数据挖掘到底有什么用处。

3.1分类问题

分类问题是最常见的问题。比如新闻网站，判断一条新闻是社会新闻还是时政新闻，是体育新闻还是娱乐新闻？这就是一个分类问题，也就是对已知类别的数据进行学习，为新的内容标注一个类别。

3.2聚类问题

3.3回归问题

3.4关联问题

关联问题最常见的一个场景就是推荐，比如，你在京东或者淘宝购物的时候，在选中一个商品之后，往往会给你推荐几种其他商品组合，这种功能就可以使用关联挖掘来实现。

4.数据挖掘怎么做?

4.1业务理解（Business Understanding）

4.2数据理解（Data Understanding）

明白了问题，还要明白解决问题需要什么数据。比如这个时候，你的老板又跟你说了：“小明啊，我想改改需求，能不能多做几个模型，把竞品公司明年的利润也都算算，我想对比一下。” 然而“巧妇难为无米之炊”，你根本就没有这个数据，这个需求也就无从完成了。数据理解阶段始于数据的收集工作，但我认为重点是在业务理解的基础上，对我们所掌握的数据要有一个清晰、明确的认识，了解有哪些数据、哪些数据可能对目标有影响、哪些可能是冗余数据、哪些数据存在不足或缺失，等等。需要注意的是，数据理解和业务理解是相辅相成的，因此你在制定数据挖掘计划的时候，不能只是单纯地谈需求，这也是大多数初入门的数据挖掘工程师容易忽略的。数据理解得不好，很可能会导致你对业务需求的错误评估，从而影响后续进度甚至是结果。

4.3数据准备（Data Preparation）

4.4 构建模型（Modeling）

4.5 评估模型（Evaluation）

在模型评估阶段，我们已经建立了一个或多个高质量的模型。但是模型的效果如何，能否满足我们的业务需求，就需要使用各种评估手段、评估指标甚至是让业务人员一起参与进来，彻底地评估模型，回顾在构建模型过程中所执行的每一个步骤，以确保这些模型达到了目标。在评估之后会有两种情况，一种是评估通过，进入到上线部署阶段；另一种是评估不通过，那么就要反过来再进行迭代更新了。

4.6模型部署（Deployment）

整理了数据，研究了算法模型，并通过了多方评估，终于到了部署阶段。此时可能还要解决一些实际的问题，比如长期运行的模型是否有足够的机器来支撑，数据量以及并发程度会不会造成我们部署的服务出现问题，等等。但是，关于数据挖掘的生命周期可能还远未结束，关于一些特殊情况的出现可能仍然无法处理，以及在后续的进程中，随着新数据的生产以及变化，我们的模型仍然会发生一些变化。所以部署是一个挖掘项目的结束，也是一个数据挖掘项目的开始。