CN109885677A - 一种多方位大数据采集整理***及方法 - Google Patents

Abstract

本发明属于大数据领域，公开了一种多方位大数据采集整理***及方法，包括主控模块、数据采集模块、数据收集存储模块、数据分析模块和曲线绘制模块。本发明通过利用数据采集模块采集数据，并对数据进行分类分级，记录所标记矩形框区域的信息，而且本发明采用速度更快，泛化能力更强的深度学习YOLO模型，在数据采集整理方面做能够更加快速，更加***化。数据收集存储模块在主控模块的控制下利用分布式以太网保存参数。并且利用数据分析模块通过带权重的神经网络对数据进行分析处理，利用曲线绘制模块绘制变化曲线图。本发明结构合理，可以有效提高数据采集整理的效率。

Description

一种多方位大数据采集整理***及方法

技术领域

本发明属于大数据领域，特别涉及一种多方位大数据采集整理***及方法。

背景技术

随着云时代的来临，大数据也吸引了越来越多的关注。实时的大型数据集分析需要大量的工作，需要分析更大的数据量，对算法和计算平台的挑战加大，计算开销大增。而且因为数据噪音的存在，会产生很多无用的数据，导致数据价值大大降低。所以从各种各样类型的数据中，快速获得有价值的信息就显得尤为重要。

综上所述，现有技术存在的问题是

训练网络效率低且泛化能力不高，一般数据存储器可靠性低，传输具有极大的延时性；对数据进行分类整理时，分类混乱，精度不高，且学习时间长。

发明内容

本发明的主要目的在于提供一种多方位大数据采集整理***及方法，利用数据采集模块采集数据，并对数据进行分类分级，记录所标记矩形框区域的信息，而且本发明采用速度更快，泛化能力更强的深度学习YOLO模型，在数据采集整理方面做能够更加快速，更加***化。数据收集存储模块在主控模块的控制下利用分布式以太网保存参数。并且利用数据分析模块通过带权重的神经网络对数据进行分析处理，利用曲线绘制模块绘制变化曲线图。可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：一种多方位大数据采集整理方法，所述多方位大数据采集整理方法包括：

收集一定数量的数据，对数据进行分类分级，记录所标记矩形框区域的信息，作为训练数据集；

对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

利用带权重的神经网络对数据进行分析处理；并利用分布式以太网保存参数；

利用数据处理程序绘制变化曲线图。

进一步，带权重的神经网络包括：

(1)确定n个样本的聚类中心C_i(i＝1,2，…，m,m≤n)，m为隐节点的个数，n为样本总数；

(2)确定径向基函数的半径σ_i(i＝1,2，…，m)，方法如下：

其中，i＝1,2，…，m，m为隐节点的个数，Γ_i为属于核函数中心的C_i样本集合，N_i为集合Γ_i的元素个数；

(3)用随机数初始化连接权值w_i(i＝1,2，…，m)；

(4)用下式模型求出n个输入样本所对应的n个输出，F¹(x)、 F²(x)…Fⁿ(x)：

(5)采用梯度下降算法来修正权值：

设d^j(j＝1,2，…，n)为第j个样本的目标输出，F^j(j＝1,2，…，n) 为实际输出，求出网络误差e^j；

网络总误差描述为：

ξ(k)关于w_j(k)的偏导数为：

用以下公式修正权值：

其中，i＝1,2，…，m，m为隐节点的个数，η为权值向量的学习率；给定一个最小误差e，当网络输出误差小于e时，结束训练，否则转到第(4)步利用修正的权值再次计算网络误差。

进一步，利用带权重的神经网络对数据进行分析处理中，设目标与决策层中有决策指标p₁,p₂,…,p_m，目标与决策层下的网络架构层有 C₁,C₂,…,C_N个指标集，其中C_i中有元素

以目标与决策层决策指标p_s(s＝1,2,…,m)为准则，以C_j中元素 e_jk(k＝1,2,…,n_j)为次准则，将指标集C_i中指标按其对e_jk的影响力大小进行间接优势度比较，即在准则p_s下构造判断矩阵：

并由特征根法得权重向量

进一步，k＝1,2..,n_i时，得到下式所示矩阵W_ij；

其中，W_ij的列向量为C_i中的元素对C_j中元素的影响程度排序向量；若C_j中元素不受C_i中元素影响，则 W_ij＝0。

进一步，i＝1,2,...,N；j＝1,2,...,N时，获得决策准则p_s下的超矩阵W:

在所述超矩阵W中，元素W_ij反映元素i对元素j的一步优势度；还可以计算W²，其元素表示元素i对元素j的二步优势度，W²仍然列为归一化矩阵，以此类推，计算W³，W⁴，…，当W^∞存在时，W^∞的第j列就是准则p_s下网络架构层中各元素对于j的极限相对权重向量，则

其中每一行的数值，即为相应元素的局部权重向量；当某一行全部为0时，则相应的局部权重为1；将局部权重按元素顺序排列即得到局部权重向量

本发明另一目的在于提供一种实现所述多方位大数据采集整理方法的计算机程序。

本发明另一目的在于提供一种实现所述多方位大数据采集整理方法的信息数据处理终端。

本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的多方位大数据采集整理方法

本发明另一目的在于提供一种多方位大数据采集整理***，所述多方位大数据采集整理***包括主控模块、数据采集模块、数据收集存储模块、数据分析模块和曲线绘制模块；

所述数据采集模块收集一定数量数据后，对数据进行分类分级，记录所标记矩形框区域的信息，完成训练数据的制作；

所述数据收集存储模块与主控模块连接，包括数据收集存储服务器和交换机；

所述数据分析模块与主控模块连接，通过带权重的神经网络对能效数据进行分析处理；

所述曲线绘制模块，与主控模块连接，用于通过数据处理程序绘制能效变化曲线图。

进一步，所述数据采集模块对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

所述数据收集存储模块采用分布式以太网，保存接收到的用能设备的各种运行参数，对运行参数进行人工智能在线分析。

与现有技术相比，本发明具有如下有益效果：

利用数据采集模块采集数据，并对数据进行分类分级，记录所标记矩形框区域的信息，而且本发明采用速度更快，泛化能力更强的深度学习YOLO模型，在数据采集整理方面做能够更加快速，更加***化。数据收集存储模块在主控模块的控制下利用分布式以太网保存参数，可靠性高，网内节点共享资源容易，可改善线路的信息流量分配、选择最佳路径，传输延时小；利用数据分析模块通过带权重的神经网络对数据进行分析处理，可提高分类的精度，同时缩短学习的时间，利用曲线绘制模块绘制变化曲线图。让大数据采集整理更加***化，更加有效率。

本发明带权重的神经网络包括：

(1)确定n个样本的聚类中心C_i(i＝1,2，…，m,m≤n)，m为隐节点的个数，n为样本总数；

(2)确定径向基函数的半径σ_i(i＝1,2，…，m)，方法如下：

其中，i＝1,2，…，m，m为隐节点的个数，Γ_i为属于核函数中心的C_i样本集合，N_i为集合Γ_i的元素个数；

(3)用随机数初始化连接权值w_i(i＝1,2，…，m)；

(4)用下式模型求出n个输入样本所对应的n个输出，F¹(x)、 F²(x)…Fⁿ(x)：

(5)采用梯度下降算法来修正权值：

设d^j(j＝1,2，…，n)为第j个样本的目标输出，F^j(j＝1,2，…，n) 为实际输出，求出网络误差e^j；

网络总误差描述为：

ξ(k)关于w_j(k)的偏导数为：

用以下公式修正权值：

其中，i＝1,2，…，m，m为隐节点的个数，η为权值向量的学习率；给定一个最小误差e，当网络输出误差小于e时，结束训练，否则转到第(4)步利用修正的权值再次计算网络误差。

利用带权重的神经网络对数据进行分析处理中，设目标与决策层中有决策指标p₁,p₂,…,p_m，目标与决策层下的网络架构层有 C₁,C₂,…,C_N个指标集，其中C_i中有元素

以目标与决策层决策指标p_s(s＝1,2,…,m)为准则，以C_j中元素e_jk(k＝1,2,…,n_j)为次准则，将指标集C_i中指标按其对e_jk的影响力大小进行间接优势度比较，即在准则p_s下构造判断矩阵：

并由特征根法得权重向量实现了神经网络对数据进行分析准确性；为后序的程序运行提供基础。

附图说明

图1是本发明实施例提供的多方位大数据采集整理***整体结构示意图；

图中：1、主控模块；2、数据采集模块；3、数据收集存储模块； 4、数据分析模块；5、曲线绘制模块。

图2是本发明实施例提供的多方位大数据采集整理方法流程图；

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进行进一步阐述本发明。

如图1所示，本发明实施例提供的多方位大数据采集整理***包括：

主控模块1、数据采集模块2、数据收集存储模块3、数据分析模块4和曲线绘制模块5；

主控模块1：利用单片机控制各模块工作；

数据采集模块2：收集数据，制作训练数据，并将数据传送至数据分析模块4余数据收集存储模块3；

数据收集存储模块3：与主控模块1连接，包括数据收集存储服务器和交换机；

数据分析模块4：与主控模块1连接，对能效数据进行分析处理；

曲线绘制模块5：与主控模块1连接，用于绘制能效变化曲线图。

本发明实施例提供的数据收集存储模块3包括：

采用分布式以太网，保存接收到的用能设备的各种运行参数，对运行参数进行人工智能在线分析。

本发明实施例提供数据采集模块2包括：

对训练数据利用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

如图2所示，本发明实施例提供的多方位大数据采集整理方法包括：

S101：收集一定数量的数据，对数据进行分类分级，记录所标记矩形框区域的信息，作为训练数据集；

S102：对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

S103：利用带权重的神经网络对数据进行分析处理；并利用分布式以太网保存参数；

S104：利用数据处理程序绘制变化曲线图。

步骤S102中，本发明实施例提供的深度学习YOLO模型训练方法包括：

1、用labelimg进行对搜集、分类分级后的数据进行数据集标注，并保存；保存后会生成与所标注文件名相同的xml文件；

2、下载YOLO项目工程；

3、修改存放在darknet文件夹内的Makefile文件并保存；

4、准备数据集；在scripts文件夹下创建文件夹VOCdevkit，并存入相关的数据；

5、按照VOCdevkit与步骤1中的标注名修改voc_label.py文件并运行；

6、下载Imagenet上预先训练的权重；

7、按照实际应用修改cfg/voc.data；data/voc.name；cfg/yolov3- voc.cfg；

8、开始训练。

步骤S103中，本发明实施例提供的带权重的神经网络包括：

(1)确定n个样本的聚类中心C_i(i＝1,2，…，m,m≤n)，m为隐节点的个数，n为样本总数；

(2)确定径向基函数的半径σ_i(i＝1,2，…，m)，方法如下：

其中，i＝1,2，…，m，m为隐节点的个数，Γ_i为属于核函数中心的C_i样本集合，N_i为集合Γ_i的元素个数；

(3)用随机数初始化连接权值w_i(i＝1,2，…，m)；

(4)用下式模型求出n个输入样本所对应的n个输出，F¹(x)、 F²(x)…Fⁿ(x)：

(5)采用梯度下降算法来修正权值：

设d^j(j＝1,2，…，n)为第j个样本的目标输出，F^j(j＝1,2，…，n) 为实际输出，求出网络误差e^j；

网络总误差可描述为：

ξ(k)关于w_j(k)的偏导数为：

用以下公式修正权值：

其中，i＝1,2，…，m，m为隐节点的个数，η为权值向量的学习率；

给定一个最小误差e，当网络输出误差小于e时，结束训练，否则转到第(4)步利用修正的权值再次计算网络误差。

在本发明实施例中，利用带权重的神经网络对数据进行分析处理中，设目标与决策层中有决策指标p₁,p₂,…,p_m，目标与决策层下的网络架构层有C₁,C₂,…,C_N个指标集，其中C_i中有元素

以目标与决策层决策指标p_s(s＝1,2,…,m)为准则，以C_j中元素 e_jk(k＝1,2,…,n_j)为次准则，将指标集C_i中指标按其对e_jk的影响力大小进行间接优势度比较，即在准则p_s下构造判断矩阵：

并由特征根法得权重向量

在本发明实施例中，k＝1,2..,n_i时，得到下式所示矩阵W_ij；

其中，W_ij的列向量为C_i中的元素对C_j中元素的影响程度排序向量；若C_j中元素不受C_i中元素影响，则 W_ij＝0。

在本发明实施例中，i＝1,2,...,N；j＝1,2,...,N时，获得决策准则p_s下的超矩阵W:

在所述超矩阵W中，元素W_ij反映元素i对元素j的一步优势度；还可以计算W²，其元素表示元素i对元素j的二步优势度，W²仍然列为归一化矩阵，以此类推，计算W³，W⁴，…，当W^∞存在时，W^∞的第j列就是准则p_s下网络架构层中各元素对于j的极限相对权重向量，则

其中每一行的数值，即为相应元素的局部权重向量；当某一行全部为0时，则相应的局部权重为1；将局部权重按元素顺序排列即得到局部权重向量

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线 (DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多方位大数据采集整理方法，其特征在于，所述多方位大数据采集整理方法包括：

收集一定数量的数据，对数据进行分类分级，记录所标记矩形框区域的信息，作为训练数据集；

对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

利用带权重的神经网络对数据进行分析处理；并利用分布式以太网保存参数；

利用数据处理程序绘制变化曲线图。

2.如权利要求1所述的多方位大数据采集整理方法，其特征在于，带权重的神经网络包括：

(1)确定n个样本的聚类中心C_i(i＝1,2，…，m,m≤n)，m为隐节点的个数，n为样本总数；

(2)确定径向基函数的半径σ_i(i＝1,2，…，m)，方法如下：

其中，i＝1,2，…，m，m为隐节点的个数，Γ_i为属于核函数中心的C_i样本集合，N_i为集合Γ_i的元素个数；

(3)用随机数初始化连接权值w_i(i＝1,2，…，m)；

(4)用下式模型求出n个输入样本所对应的n个输出，F¹(x)、F²(x)…Fⁿ(x)：

(5)采用梯度下降算法来修正权值：

设d^j(j＝1,2，…，n)为第j个样本的目标输出，F^j(j＝1,2，…，n)为实际输出，求出网络误差e^j；

网络总误差描述为：

ξ(k)关于w_j(k)的偏导数为：

用以下公式修正权值：

其中，i＝1,2，…，m，m为隐节点的个数，η为权值向量的学习率；给定一个最小误差e，当网络输出误差小于e时，结束训练，否则转到第(4)步利用修正的权值再次计算网络误差。

3.如权利要求1所述的多方位大数据采集整理方法，其特征在于，利用带权重的神经网络对数据进行分析处理中，设目标与决策层中有决策指标p₁,p₂,…,p_m，目标与决策层下的网络架构层有C₁,C₂,…,C_N个指标集，其中C_i中有元素

以目标与决策层决策指标p_s(s＝1,2,…,m)为准则，以C_j中元素e_jk(k＝1,2,…,n_j)为次准则，将指标集C_i中指标按其对e_jk的影响力大小进行间接优势度比较，即在准则p_s下构造判断矩阵：

并由特征根法得权重向量

4.如权利要求3所述的多方位大数据采集整理方法，其特征在于，k＝1,2..,n_i时，得到下式所示矩阵W_ij；

其中，W_ij的列向量为C_i中的元素对C_j中元素的影响程度排序向量；若C_j中元素不受C_i中元素影响，则W_ij＝0。

5.如权利要求3所述的多方位大数据采集整理方法，其特征在于，i＝1,2,...,N；j＝1,2,...,N时，获得决策准则p_s下的超矩阵W:

在所述超矩阵W中，元素W_ij反映元素i对元素j的一步优势度；还可以计算W²，其元素w_ij ²表示元素i对元素j的二步优势度，W²仍然列为归一化矩阵，以此类推，计算W³，W⁴，…，当W^∞存在时，W^∞的第j列就是准则p_s下网络架构层中各元素对于j的极限相对权重向量，则

其中每一行的数值，即为相应元素的局部权重向量；当某一行全部为0时，则相应的局部权重为1；将局部权重按元素顺序排列即得到局部权重向量

6.一种实现权利要求1～5任意一项所述多方位大数据采集整理方法的计算机程序。

7.一种实现权利要求1～5任意一项所述多方位大数据采集整理方法的信息数据处理终端。

8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的多方位大数据采集整理方法。

9.一种多方位大数据采集整理***，其特征在于,所述多方位大数据采集整理***包括主控模块、数据采集模块、数据收集存储模块、数据分析模块和曲线绘制模块；

所述数据采集模块收集一定数量数据后，对数据进行分类分级，记录所标记矩形框区域的信息，完成训练数据的制作；

所述数据收集存储模块与主控模块连接，包括数据收集存储服务器和交换机；

所述数据分析模块与主控模块连接，通过带权重的神经网络对能效数据进行分析处理；

所述曲线绘制模块，与主控模块连接，用于通过数据处理程序绘制能效变化曲线图。

10.如权利要求9所述的多方位大数据采集整理***，其特征在于：所述数据采集模块对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

所述数据收集存储模块采用分布式以太网，保存接收到的用能设备的各种运行参数，对运行参数进行人工智能在线分析。