CN116756229B

CN116756229B - 一种数据挖掘与可视化的方法

Info

Publication number: CN116756229B
Application number: CN202310639440.0A
Authority: CN
Inventors: 杨钢
Original assignee: Guangzhou Shengcheng Mother Network Technology Co ltd
Current assignee: Guangzhou Shengcheng Mother Network Technology Co ltd
Priority date: 2023-06-01
Filing date: 2023-06-01
Publication date: 2023-11-28
Anticipated expiration: 2043-06-01
Also published as: CN116756229A

Abstract

本发明涉及数据挖掘领域，尤其为一种数据挖掘与可视化的方法，包括如下步骤：S1：根据供应链环节获取初始物流数据集；S2：根据初始物流数据集建立数据可视化模型；S3：对初始物流数据集进行数据预处理获得预处理数据集；S4：将预处理数据集作为输入进行模型训练获得数据挖掘模型。使用该方法挖掘数据，通过相应维度建立相应数据集进行以此挖掘，提高了效率，减少了负载，并且提高相关数据的关联性。

Description

一种数据挖掘与可视化的方法

技术领域

本发明涉及数据挖掘领域，尤其是一种数据挖掘与可视化的方法。

背景技术

智能物流作为物流行业的新兴领域，致力于利用先进技术提高物流效率、降低成本并提供更好的服务。然而，智能物流面临着复杂的挑战，如供应链管理、货物追踪、路线规划等。为了解决这些挑战，数据挖掘和可视化技术被引入并广泛应用，数据挖掘是从大规模数据集中发现隐藏模式、关系和趋势的过程。在智能物流中，故本发明提出了一种数据挖掘与可视化方法，可视化技术是将数据转化为可视化图形或图表，以便用户更直观地理解和分析数据，通过可视化供应链中各个环节的数据，物流企业可以实时监控供应链的运作。现有技术中的数据挖掘技术一般都是利用一定的数据规则对数据表或者数据库中的数据进行识别、引用和聚合计算，不仅处理量大，处理负荷高，并且缺乏对挖掘出数据的关联性排布，不利于后续的数据归类。

发明内容

本发明的目的是通过提出一种数据挖掘与可视化的方法，以解决上述背景技术中提出的缺陷。

本发明采用的技术方案如下：

提供一种数据挖掘与可视化的方法，

包括如下步骤：

S1：根据供应链环节获取初始物流数据集；

S2：根据初始物流数据集建立数据可视化模型；

S3：对初始物流数据集进行数据预处理获得预处理数据集；

S4：将预处理数据集作为输入进行模型训练获得数据挖掘模型。

作为本发明的一种优选技术方案：所述S1中的获取初始物流数据集方法包括：根据物流供应链参数将数据库划分为多个数据库维度，根据模型训练速度确定抽调时间间隔，根据抽调时间间隔从各个数据库维度中依次抽调初始物流数据集。

作为本发明的一种优选技术方案：所述S2中对初始数据集建立数据可视化模型是使用Python自带的库函数包括matplotlib、seaborn、ggplot、bokeh、pygal、pyecharts进行数据可视化。

作为本发明的一种优选技术方案：所述数据预处理包括数据清洗、数据集成、数据变化、数据规约。

作为本发明的一种优选技术方案：

所述数据清洗包括缺失值处理和异常值处理，其中缺失值处理通过构建插补函数对缺失值进行数据插补，插补函数方程如下：

y＝a₁x^n-1+a₂x^n-2+…+a_n-1x¹+a_n

其中y为预测值，x为正常数据的值，a为系数，通过整理可得：

其中L(x)为缺失值对应的预测值，(x_i,y_i)为正常数值，x为插补的值，x_j为自变量取值，异常处理方法为平均值修订，方法如下：

其中y为预测值，x为正常数据的值，a₁，a₂…a_n-1，a_n为系数，n为定义的n-1次拟合。

作为本发明的一种优选技术方案：所述数据集成的步骤如下：

特征提取：从x_i和x_j中提取属性A的取值，构建两个集合。这些集合可以表示为和/>

相似度计算：计算x_i和x_j之间的相似度：

其中，表示/>和/>的交集的元素数量，/>表示/>和的并集的元素数量；

如果和/>为空集，相似度定义为0。

匹配阈值：根据Jaccard相似度的计算结果，设置匹配阈值；如果x_i和x_j之间的Jaccard相似度大于或等于该阈值，则认为它们是匹配的；

匹配结果：根据匹配阈值，确定x_i和x_j之间的匹配结果，若是匹配则x_i和x_j加入数据集合Y。

作为本发明的一种优选技术方案：所述数据变化为规范化数据变化，变化方法如下：

其中y^*为集成后的数据，为原始数据的平均值，y_i为通过平均值修订的修订值。

作为本发明的一种优选技术方案：通过属性融合将旧的属性融合为新的属性最终获得预处理数据集进行数据规约。

作为本发明的一种优选技术方案：所述模型训练采用决策树算法，算法步骤如下：

S4.1：对进行数据规约后的样本进行分类将样本分为n类，计算等级分类期望值：

其中I(s_i)为等级分类期望，s_i是训练等级样本，p_i是任意等级样本中出现的概率；

S4.2：计算每个样本的信息熵，计算公式如下：

其中E为信息熵，A为属性及等级数量中的一个等级的属性，v为S的子集数量，s_1j,s_2j,s_3j,…,s_nj分别表示训练样本的等级；

S4.3：计算属性A的信息增益，计算公式如下：

G(A)＝I(s_i)-E(A)

其中G(A)为信息增益及对结果进行判断的依据；

S4.4：保存训练模型。

作为本发明的一种优选技术方案：所述信息增益是判断数据关联进行数据挖掘的依据。

本发明提供的数据挖掘与可视化的方法，与现有技术相比，其有益效果有：

本发明通过数据拥有的数据和自己构造的数据集进行数据可视化方便用户整体观察数据趋势，通过数据清洗、数据集成、数据变化、数据规约对初始数据进行预处理确保数据可用性高，同时通过前端可视化界面进行展示方便观察数据，最后通过决策树算法找到数据之间的相互关联信息实现物流数据的数据挖掘过程，使用该方法挖掘数据，通过相应维度建立相应数据集进行以此挖掘，提高了效率，减少了负载，并且提高相关数据的关联性。

附图说明

图1为本发明优选实施例的方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明优选实施例提供了一种数据挖掘与可视化的方法，

包括如下步骤：

S1：根据供应链环节获取初始物流数据集；

S2：根据初始物流数据集建立数据可视化模型，具体根据初始数据集使用Python自带的库函数包括matplotlib、seaborn、ggplot、bokeh、pygal、pyecharts建立数据可视化模型；本实施例中采用seaborn进行构建，具体方法如下：

1.使用以下命令安装Seaborn：

Copy code

pip install seaborn

2.导入Seaborn库：在Python脚本或Jupyter Notebook中，导入Seaborn库以便使用其功能：

pythonCopy code

import seaborn as sns

3.导入数据：从物流数据库导入要可视化的数据。使用Pandas库来加载和处理数据：

pythonCopy code

import pandas as pd data＝pd.read_csv('data.csv')#根据实际情况修改数据路径和格式

4.绘制可视化图表：使用Seaborn提供的各种图表类型来绘制数据可视化模型：

a.散点图(Scatter Plot)：

pythonCopy code

sns.scatterplot(x＝'x_column',y＝'y_column',data＝data)

b.折线图(Line Plot)：

pythonCopy code

sns.lineplot(x＝'x_column',y＝'y_column',data＝data)

c.条形图(Bar Plot)：

pythonCopy code

sns.barplot(x＝'x_column',y＝'y_column',data＝data)

d.箱线图(Box Plot)：

pythonCopy code

sns.boxplot(x＝'x_column',y＝'y_column',data＝data)

5.定制可视化图表：使用Seaborn提供的参数和函数来调整和定制图表。例如，可以设置颜色、样式、坐标轴标签、图例等。

pythonCopy code

sns.scatterplot(x＝'x_column',y＝'y_column',hue＝'category_column',style＝'category_column',data＝data)plt.xlabel('X Label')plt.ylabel('YLabel')plt.title('Title')plt.legend()

6.显示可视化图表：最后，使用Matplotlib的plt.show()或Seaborn的sns.show()函数来显示可视化图表：

pythonCopy code

import matplotlib.pyplot as plt plt.show()

S3：对初始物流数据集进行数据预处理获得预处理数据集；

S1中的获取初始物流数据集方法包括：根据物流供应链参数将数据库划分为多个数据库维度，根据模型训练速度确定抽调时间间隔，根据抽调时间间隔从各个数据库维度中依次抽调初始物流数据集。具体为：

1.划分数据库维度：将数据库划分为多个维度，每个维度对应一个数据库。使用哈希函数进行划分。令每个维度的数据库表示为D[i]，其中i表示维度的索引(1≤i≤n)。

2.确定抽调时间间隔：根据模型训练速度，确定从各个数据库维度中抽调初始物流数据集的时间间隔。可以根据模型训练的时间需求和每个数据库维度的数据量来确定抽调时间间隔。抽调时间间隔为t。

3.抽调初始物流数据集：按照抽调时间间隔t，从各个数据库维度中依次抽调初始物流数据集。使用循环或迭代的方式，依次从每个维度的数据库D[i]中抽调数据。令抽调的初始物流数据集表示为L，初始为空集。

L＝{}

for i in range(n):

L+＝D[i].sample()#从数据库D[i]中抽调一个样本，加入到初始物流数据集L中。

Input:n,params

#划分数据库维度

D＝divide_database(n,params)

#确定抽调时间间隔

t＝determine_interval()

#抽调初始物流数据集

L＝{}

for i in range(n):

L+＝D[i].sample()

Output:L

因为获取的数据相对来说比较杂乱无章而且存在缺失重复错误现象，因此需要多获取的数据进行数据预处理，数据预处理包括数据清洗、数据集成、数据变化、数据规约。其中数据清洗包括缺失值处理和异常值处理，对缺失值处理通过构建插补函数对缺失值进行数据插补，由于正常的均值插补固定值填充方法会出现错误情况，因此设计插补函数进行缺失值预测，通过大量数据进行拟合确定参数值进行预测，插补函数方程如下：

y＝a₁x^n-1+a₂x^n-2+…+a_n-1x¹+a_n

其中y为预测值，x为正常数据的值，a₁，a₂…a_n-1，a_n为系数，n为定义的n-1次拟合函数方程通过整理可得：

其中y_i为通过平均值修订的修订值，y_i-2,y_i-1,y_i+1,y_i+2为修订值前后各两个数据。

数据集成的步骤如下：

相似度计算：计算x_i和x_j之间的相似度：

如果和/>为空集，相似度定义为0。

由于进行数据清洗后的数据任然是杂乱无章的数据，因此需要对杂乱无章的数据进行规范化的数据变化，变化方法如下：

数据规约是进行数据冗余处理，通过属性融合将旧的属性融合为新的属性最终获得预处理数据集，所述属性融合是通过将修订后的样本通过字典编码转化为对应的矩阵，在由矩阵进行特征向量选取特征值较大的特征向量进行属性融合。

采用决策树进行模型训练的好处是可以处理各种数据方便且训练速度快，模型训练采用决策树算法，通过计算每个***点的期望值选取期望值最大的作为***节点，在通过计算信息增益作为判断的标准，算法步骤如下：

S4.2：计算每个样本的信息熵，计算公式如下：

S4.3：计算属性A的信息增益，计算公式如下：

G(A)＝I(s_i)-E(A)

其中G(A)为信息增益及对结果进行判断的依据；

S4.4：保存训练模型。

最终得到数据挖掘模型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种数据挖掘与可视化的方法，其特征在于：包括如下步骤：

S1：根据供应链环节获取初始物流数据集；

S2：根据初始物流数据集建立数据可视化模型；

S3：对初始物流数据集进行数据预处理获得预处理数据集；

S4：将预处理数据集作为输入进行模型训练获得数据挖掘模型；

所述数据预处理包括数据清洗、数据集成、数据变化、数据规约；

；

其中y为预测值，x为正常数据的值，为是插补函数的参数，n表示多项式的次数减一，可得：

；

其中为缺失值对应的预测值，/>为正常数值，x为插补的值，/>为自变量取值，异常处理方法为平均值修订，方法如下：

；

其中为通过平均值修订的修订值，/>为修订值前后各两个数据；

所述数据集成的步骤如下：

特征提取：从和/>中提取属性A的取值，构建两个集合；这些集合可以表示为/>和；

相似度计算：计算和/>之间的相似度：

；

其中，表示/>和/>的交集的元素数量，/>表示/>和/>的并集的元素数量；

如果和/>为空集，相似度定义为0；

匹配阈值：根据Jaccard相似度的计算结果，设置匹配阈值；如果和/>之间的Jaccard相似度大于或等于该阈值，则认为它们是匹配的；

匹配结果：根据匹配阈值，确定和/>之间的匹配结果，若是匹配则/>和/>加入数据集合/>；

所述数据变化为规范化数据变化，变化方法如下：

；

其中，为集成后的数据，/>为数据集合/>中的平均值，/>为通过平均值修订的修订值；

通过属性融合将旧的属性融合为新的属性最终获得预处理数据集进行数据规约；

所述模型训练采用决策树算法，算法步骤如下：

；

其中为等级分类期望，/>是训练等级样本，/>是任意等级样本中出现的概率；

S4.2：计算每个样本的信息熵，计算公式如下：

；

其中E为信息熵，A为属性及等级数量中的一个等级的属性，v为S的子集数量，分别表示训练样本的等级；

S4.3：计算属性A的信息增益，计算公式如下：

；

其中G（A）为信息增益及对结果进行判断的依据；

S4.4：保存训练模型。

2.根据权利要求1所述的数据挖掘与可视化的方法，其特征在于：所述S1中的获取初始物流数据集方法包括：根据物流供应链参数将数据库划分为多个数据库维度，根据模型训练速度确定抽调时间间隔，根据抽调时间间隔从各个数据库维度中依次抽调初始物流数据集。

3.根据权利要求1所述的数据挖掘与可视化的方法，其特征在于：所述S2中对初始数据集建立数据可视化模型是使用Python自带的库函数包括matplotlib、seaborn、ggplot、bokeh、pygal、pyecharts进行数据可视化。

4.根据权利要求1所述的数据挖掘与可视化的方法，其特征在于：判断数据关联进行数据挖掘的依据为信息增益值。