首页 资讯频道 互联频道 智能频道 网络 数据频道 安全频道 服务器频道 存储频道

大数据时代 数据挖掘+数据分析已成“绝技”

2020-01-20 09:57:07 来源 : 今日头条

随着时代的发展,人类产生的数据成倍增长,数据的开放性应用和数据可挖掘价值越来越高。在大数据精准营销、大数据洞察等一系列热词背后,正是数据挖掘、分析技术发挥着重要的作用。数据挖掘技术不仅成为当今政务部门提升治理能力的重要手段,也成为各行各业提升核心竞争力的关键。

什么是数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但有潜在的有用信息和知识的过程。

秒懂数据挖掘,玩转数据分析的高级应用不在话下

可以看出,数据挖掘是一个过程结果的称谓,即主要目标是从数据中挖取隐藏的信息。它是一个交叉科学领域,受多个学科影响,包括数据库系统、统计、机器学习、可视化和信息科学。

数据挖掘与商业智能的关系

举个简单点的例子:

通过统计购买某产品的人大多数来自北京,则北京是该产品的主要消费者居住的城市,这就是用的商业智能技术。

要从100000人中找出100个购买某产品概率比较大的客户,则可以通过利用统计方法建立数学模型找到这群人,而这就要用数据挖掘技术。

秒懂数据挖掘,玩转数据分析的高级应用不在话下

也就是说:

商业智能就是目标明确的创建统计分析报表,根据统计结果,提供商业决策支持,输入的是数据,输出的是信息。

数据挖掘则是透过数据的表象发现隐藏在背后的蛛丝马迹,从而找到潜伏的规律以及看似无关事物之间背后的联系,用此来洞察或预测未知事项,输入的是数据,输出的是知识。

利用数据挖掘技术,对大量的业务数进行探索和分析揭示隐藏的、未知的规律,是商业智能的高级应用。

数据挖掘能解决哪些问题

根据数据挖掘的应用方向,常见的数据挖掘能解决的问题体现在下面几个方面。

1. 分类与回归

分类根据样本数据中标记的类别对原数据进行分类总结,进而也可以预测未来数据的归类。

回归是确定一种或多种变量间相互依赖关系的一种统计分析方法。

分类与回归本质上解决的都是预测问题,不同的是分类适用于离散型目标变量的预测,而回归适用于连续型目标变量的预测。下面这些问题可以用分类和回归技术来解决:

如何将信用卡申请人分为低、中、高风险群?

如何预测银行可以安全地贷给贷款人的贷款量?

如何有效预测房地产开发中存在的风险?

如何预测哪些顾客在未来半年内会取消该公司服务,哪些电话用户会申请增值服务?

如何预测具有某些特征的顾客是否会购买一台新的计算机?

使用3G通信网络的手机用户哪些有可能转换到 4G通信网络?

如何预测一位顾客在一次销售期间将花多少钱?

如何预测病人应当接受三种具体治疗方案的哪一种?

下图是一个基于决策树预测银行客户是否存在贷款风险的示例:

秒懂数据挖掘,玩转数据分析的高级应用不在话下

2. 聚类

聚类是在预先不知道欲划分类的情况下,根据数据相似度原则进行数据归类的方法。

中国有句古话是“物以类聚,人以群分”,其实已经蕴含了聚类算法的基本思想。聚类能解决如下方面的问题:

谁是银行信用卡的黄金客户?

谁喜欢打国际长途,在什么时间,打到那里?

如何对用户 WAP 上网行为进行分析,通过客户分群,进行精确营销?

对住宅区进行聚类,确定自动提款机 ATM 的安放位置。

如何通过一些特定的症状归纳某类特定的疾病?

例如下图,找到共性的数据,然后聚类显示:

秒懂数据挖掘,玩转数据分析的高级应用不在话下

3. 关联规则

关联规则在一个数据集中找出各个物品或者商品之间的关系,也被称为购物篮分析。

关联规则描述的是在一个事物中物品间同时出现的规律的知识模式,可以应用到很多实际业务中:

哪些商品是已经购买商品 A 的人最有可能购买的?

商业销售上,如何通过交叉销售,以得到更大的收入?

保险方面,如何分析索赔要求,发现潜在的欺诈行为?

银行方面,如何分析顾客消费行业,以便有针对性的向其推荐感兴趣的服务?

哪些制造零件和设备设置与故障事件关联?

哪些病人和药物属性与结果关联?

下图是某商场购物蓝推荐结果示例:

秒懂数据挖掘,玩转数据分析的高级应用不在话下

4. 时间序列预测

通过已有的时间序列数据进行类推,以预测下一段时间的趋势。

时间序列预测是在与时间相关的历史数据中,找到数据随时间变动的规律。你可以用来解决如下问题:

下个月的商品销量、销售额或库存量是多少?

明天广州市的最高用电负荷是多少?

下图是某公司红酒销量的预测图:

秒懂数据挖掘,玩转数据分析的高级应用不在话下

5. 关系网络分析

关系网络分析用来探索社会行动者及其间的关系,例如:社会关系、亲属关系、角色关系、行为关系、流动关系、地理空间关系等等。

关系网络分析也叫社会网络分析。通过社会网络分析,可以探索和发现行动者之间隐藏的关系。常见的关系有:

亲属关系:父母、子女、夫妻关系等。

正式关系(权威关系):正式角色也是关系性的,如老板/职员、教师/学生、医生/病人关系等。

个人之间的评价关系:喜欢、信任、尊重等。

行为上的互动关系:行动者之间的自然交往,如谈话、参加会议、拜访、提建议等。

隶属关系:如参加一项协会、属于某些俱乐部等。

物质资本的传递:商业往来、物资交流。

非物质资源的转换关系:行动者之间的交往、信息的交换等。

空间关联:城市之间的关系,迁入和迁出。

职位的升迁,地位的流动

相关文章

最近更新