CN114372181B

CN114372181B - 一种基于多模态数据的设备生产智能规划方法

Info

Publication number: CN114372181B
Application number: CN202111609391.3A
Authority: CN
Inventors: 梁泽锋; 余志文; 杨楷翔; 孟献兵; 陈俊龙
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2024-06-07
Anticipated expiration: 2041-12-27
Also published as: CN114372181A

Abstract

本发明公开一种基于多模态数据的设备生产智能规划方法，包括：1)对制造过程进行数据采集，得到多模态数据；2)对多模态数据进行标准化；3)对单个制造步骤构建训练集；4)对每个制造步骤的状态构建类别‑动作映射关系；5)构建并训练深度神经网络；6)用训练好的深度神经网络对每个制造过程中采集到的数据进行分类；7)根据分类结果选择相应动作；8)对每个制造步骤重复进行分类和动作选择，完成动作规划。本发明充分利用制造过程中收集到的多模态数据和深度神经网络，不仅可以识别每个步骤的当前状态，并根据当前状态进行动作规划，实现制造过程的动作智能规划，减少人工干预。此外，还可以增加动作规划的可解释性和准确性。

Description

一种基于多模态数据的设备生产智能规划方法

技术领域

本发明涉及计算机人工智能的技术领域，尤其是指一种基于多模态数据的设备生产智能规划方法。

背景技术

目前，随着工业4.0时代的发展，人工智能开始渗透到传统制造行业，制造行业开始向智能化、信息化方向转变。在智能化制造的过程中，会产生大量类型不同、来源多样的多模态数据。如何利用这些制造过程中产生的多模态数据进行制造过程的规划，减少人工干预，提升生产规划的可解释性和准确性，成为制造过程迈向智能化的一个技术难点，也是现阶段智能制造研究领域的重点发展方向。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多模态数据的设备生产智能规划方法，可有效利用多模态数据进行设备生产规划，充分利用制造过程中收集到的多模态数据和深度神经网络，不仅可以识别每个步骤的当前状态，并根据当前状态进行动作规划，实现制造过程的动作智能规划，减少人工干预，此外，还可以增加动作规划的可解释性和准确性。

为实现上述目的，本发明所提供的技术方案为：一种基于多模态数据的设备生产智能规划方法，包括以下步骤：

1)利用不同种类的传感器对制造过程进行数据采集，得到多模态数据，并存储在服务器中；

2)从服务器中提取出多模态数据，并将数据划分为图像数据、数值型数据两种类型进行预处理，得到预处理后的多模态数据；其中，针对图像数据，获取其像素值矩阵并将其进行标准化处理；针对数值型数据，直接进行数据标准化处理；

3)对于预处理后的多模态数据，提取关于制造过程t的多模态数据；然后根据专家知识，对数据进行人工标注，得到每条数据的标签，被提取的多模态数据与相应标签构成训练集；

4)构建类别-制造动作的映射关系，使步骤3)得到的训练集中，每个类别分别对应一个制造动作；

5)将步骤3)的训练集输入深度神经网络进行训练；其中，深度神经网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行类别概率输出；通过优化损失函数，得到训练好的深度神经网络；

6)在实际设备生产时，利用不同种类的传感器进行数据采集，形成多模态数据流，用训练好的深度神经网络对多模态数据流进行预测，得到分类结果；

7)根据步骤4)构建的类别-制造动作映射关系，选择步骤6)分类结果对应的制造动作，完成对实际制造过程t的动作规划；

8)对实际运行的制造过程中的每个过程，重复进行步骤3)至步骤7)，形成多模态数据下的设备生产制造过程的动作策略智能规划。

进一步，在步骤2)中，所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据按照类别对数据分别进行标准化，数值型数据的标准化公式为：

式中，X_a是原始的数值型数据，为数值型数据的均值，/>为数值型数据的标准差，/>是X_a标准化后的数值型数据；

针对图像数据，首先将传感器得到的像素值矩阵展成一维向量，得到图像向量X_b，然后根据以下公式进行标准化：

式中，为图像向量的均值，/>为图像向量的标准差，/>是X_b经过标准化处理后的图像数据；

标准化后的图像和数值型数据是两个一维向量，对两者进行拼接，得到标准化后的数据X^*：

进一步，在步骤3)中，收集制造过程t的数据M次，收集到的多模态数据表示为数据集X_t：

式中，是第M次收集的标准化后的数据；给上述收集到的多模态数据进行标注，得到数据集X_t的标签：

Y_t＝{Y_1t,Y_2t,...,Y_Mt}

式中，Y_Mt是数据对应的标签，由专家确定；数据集X_t与相应标签Y_t构成训练集。

进一步，在步骤4)中，针对制造过程t构建类别-制造动作的映射关系，具体如下：

假设制造过程t的类别有S个，则类别集合C_t表示为：

C_t＝{c_1t,c_2t,...,c_St}

式中，c_St是制造过程t的第S个类别；最后构建制造动作集合A_t：

A_t＝{a_1t,a_2t,...,a_St}

式中，a_St是类别c_St对应的制造动作，从而构建出类别-制造动作的映射关系。

进一步，在步骤5)中，将步骤3)的训练集输入深度神经网络H_t进行训练，网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行概率计算；假设深度神经网络有L层，h_k和h_k+1分别为对应第k层和第k+1层的隐藏层网络，则对于第k+1层的隐藏层网络，能够用以下公式将第k+1层的隐藏层网络h_k+1进行表示：

h_k+1＝δ(W_kh_k)

式中，W_k为对应第k层隐藏层网络的权重参数；δ(·)是激活函数，在这里采用ReLU函数，为深度神经网络引入非线性，该ReLU函数δ(x)公式为：

然后，计算最后一层神经网络的输出Z：

Z＝W_Lh_L-1

式中，W_L是最后一层隐藏层网络的权重参数，h_L-1是倒数第二层隐藏层网络；使用softmax函数，计算输入数据属于类别i的概率p_i，i＝1,2,...,S，计算公式为：

式中，z_i是输出Z的第i个元素，z_j是输出Z的第j个元素，j＝1,2,...,S；得到概率p_i后，使用交叉熵损失函数Loss作为深度神经网络H_t的损失函数，其具体公式表达为：

式中，p_r是类别r的概率输出，y_r是类别r的标签，S是类别数量；最后，通过RMSprop优化方法，对深度神经网络进行优化，得到训练好的深度神经网络。

进一步，在步骤6)中，将步骤5)训练好的深度神经网络，对实际运行时的制造过程的多模态数据流R_t进行预测；将训练好的深度神经网络记为则分类结果/>表示为

进一步，在步骤7)中，将步骤6)得到的分类结果与步骤4)构建的类别-制造动作映射关系进行对应，选择对应的制造动作。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明方法可有效降低了人工设计复杂制造过程的难度，实现制造过程的动作策略智能规划。

2、本发明方法中通过收集每个制造步骤的多模态数据，并针对所收集的数据，对每个步骤分别训练一个深度神经网络。根据分类结果，对实际运行的多模态数据进行分类。针对不同的分类结果来规划不同的制造动作策略。

3、本发明方法为每个制造过程设计一个深度神经网络，可有效针对不同步骤的数据特性进行动作调整；同时可以自动识别制造过程中每个步骤的状态。

4、本发明方法根据每个制造过程的当前状态设计不同的动作，使制造过程中的动作调整具有更高的可解释性。这种动作策略规划方法在深度神经网络构建完成后，可根据制造过程中的多模态数据自动调整各步骤的动作，可有效减少人工干预，提高自动化水平。

附图说明

图1为本发明方法的逻辑流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例所提供的基于多模态数据的设备生产智能规划方法，其具体情况如下：

1)利用不同种类的传感器对制造过程进行数据采集，得到多模态数据，并存储在服务器中。

2)从服务器中提取出多模态数据，并将数据划分为图像数据、数值型数据两种类型进行预处理，得到预处理后的多模态数据；其中，针对图像数据，获取其像素值矩阵并将其进行标准化处理；针对数值型数据，直接进行数据标准化处理。

所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据按照类别对数据分别进行标准化，数值型数据的标准化公式为：

3)对于预处理后的多模态数据，提取关于制造过程t的多模态数据；然后根据专家知识，对数据进行人工标注，得到每条数据的标签，被提取的多模态数据与相应标签构成训练集，具体如下：

收集制造过程t的数据M次，收集到的多模态数据表示为数据集X_t：

Y_t＝{Y_1t,Y_2t,...,Y_Mt}

4)构建类别-制造动作的映射关系，使步骤3)得到的训练集中，每个类别分别对应一个制造动作；其中，针对制造过程t构建类别-制造动作的映射关系，具体如下：

假设制造过程t的类别有S个，则类别集合C_t可以表示为：

C_t＝{c_1t,c_2t,...,c_St}

A_t＝{a_1t,a_2t,...,a_St}

式中，a_St是类别c_St对应的制造动作，从而构建出类别-制造动作的映射关系。类别与制造动作的对应关系由专家进行确定。

5)将步骤3)的训练集输入深度神经网络H_t进行训练，其中，网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行概率计算。假设深度神经网络有L层，h_k和h_k+1分别为对应第k层和第k+1层的隐藏层网络，则对于第k+1层的隐藏层网络，可以用以下公式将第k+1层的隐藏层网络h_k+1进行表示：

h_k+1＝δ(W_kh_k)

然后，计算最后一层神经网络的输出Z：

Z＝W_Lh_L-1

式中，W_L是最后一层隐藏层网络的权重参数，h_L-1是倒数第二层隐藏层网络。使用softmax函数，计算输入数据属于类别i的概率p_i，i＝1,2,...,S，计算公式为：

6)利用步骤5)训练好的深度神经网络，对实际运行时的制造过程的多模态数据流R_t进行预测。将训练好的深度神经网络记为则分类结果/>可表示为：

7)将步骤6)得到的分类结果与步骤4)构建的类别-制造动作映射关系进行对应，选择对应的制造动作。假设/>在类别-制造动作中，对应制造动作/>则制造过程t的动作被规划为/>

8)对制造过程中的每个步骤，重复步骤3)至步骤7)的动作，形成多模态数据下的制造过程动作的智能规划方案其中/>是制造过程d(d＝1,2,...,T)的制造动作，T是制造过程中的步骤数目。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于多模态数据的设备生产智能规划方法，其特征在于，包括以下步骤：

1)利用不同种类的传感器对制造过程t进行数据采集，得到多模态数据，并存储在服务器中；

所述数据标准化处理是：存储于服务器的数值型数据经过读取后，将数据进行分类，按照类别对数据分别进行标准化，数值型数据的标准化公式为：

式中，X_a是原始的数值型数据，为数值型数据的均值，/>为数值型数据的标准差，是X_a标准化后的数值型数据；

式中，Y_Mt是数据对应的标签，由专家确定；数据集X_t与相应标签Y_t构成训练集；

针对制造过程t构建类别-制造动作的映射关系，具体如下：

假设制造过程t的类别有S个，则类别集合C_t表示为：

C_t＝{c_1t,c_2t,...,c_St}

A_t＝{a_1t,a_2t,...,a_St}

式中，a_St是类别c_St对应的制造动作，从而构建出类别-制造动作的映射关系；

将步骤3)的训练集输入深度神经网络H_t进行训练，网络的激活函数选择ReLU函数，损失函数是交叉熵损失函数，采用softmax函数进行概率计算；假设深度神经网络有L层，h_k和h_k+1分别为对应第k层和第k+1层的隐藏层网络，则对于第k+1层的隐藏层网络，能够用以下公式将第k+1层的隐藏层网络h_k+1进行表示：

h_k+1＝δ(W_kh_k)

然后，计算最后一层神经网络的输出Z

Z＝W_Lh_L-1

式中，p_r是类别r的概率输出，y_r是类别r的标签，S是类别数量；最后，通过RMSprop优化方法，对深度神经网络进行优化，得到训练好的深度神经网络；

8)对实际运行的制造过程t中的每个过程，重复进行步骤3)至步骤7)，形成多模态数据下的设备生产制造过程的动作策略智能规划。

2.根据权利要求1所述的一种基于多模态数据的设备生产智能规划方法，其特征在于：在步骤6)中，将步骤5)训练好的深度神经网络，对实际运行时的制造过程t的多模态数据流R_t进行预测；将训练好的深度神经网络记为则分类结果/>表示为

3.根据权利要求1所述的一种基于多模态数据的设备生产智能规划方法，其特征在于：在步骤7)中，将步骤6)得到的分类结果与步骤4)构建的类别-制造动作映射关系进行对应，选择对应的制造动作。