CN118134219A - 生产预警方法、***、装置及非易失性存储介质 - Google Patents

Abstract

本申请公开了一种生产预警方法、***、装置及非易失性存储介质，涉及工业生产控制领域。其中，该方法包括：通过第一监控设备采集目标生产线的第一图像；通过第二监控设备采集目标生产线生产的目标产品的第二图像，通过第二监控设备中的图像传感器确定第二图像对应的明亮度；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下对生产计划进行调整。本申请解决了由于相关技术中未考虑到产品图像的明亮度对校验产品是否合格时带来的影响导致的不能准确判断产品是否合格的技术问题。

Description

生产预警方法、***、装置及非易失性存储介质

技术领域

本申请涉及工业生产控制领域，具体而言，涉及一种生产预警方法、***、装置及非易失性存储介质。

背景技术

在航空航天等行业中，通常需要多个厂家分别采用多条生产线来生产不同的产品，并将不同厂家生产的产品组装为最终产品。由于涉及的厂家和产品类型较多，并且其中任意一种产品不能按照设定计划足量交付的话都有可能对最终产品的交付周期产生负面影响。为了尽可能的避免生产环节中产品无法按时交付的问题，需要在生产过程中及时发现产品是否合格以及是否可以按时交付。

相关技术中在检验产品是否合格时，通常采用人工抽检或者通过比较拍摄产品图像和预先拍摄的合格产品图像来确定产品是否合格。但是相关技术中没有考虑到拍摄产品图像和合格产品图像在拍摄时的环境存在差异，导致不同图像的图像明亮度存在差异，影响了判断结果的准确性。特别是在航空航天行业中，往往会涉及很多结构精密的产品，这种情况下图像明亮度不同对判断结果的影响可能会进一步增加。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种生产预警方法、***、装置及非易失性存储介质，以至少解决由于相关技术中未考虑到产品图像的明亮度对校验产品是否合格时带来的影响导致的不能准确判断产品是否合格的技术问题。

根据本申请实施例的一个方面，提供了一种生产预警方法，包括：接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

可选地，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：获取目标产品的参考图像和参考图像的图像明亮度；分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像，其中，第一分割图像中包括参考图像中的产品图像区域，第二分割图像中包括第二图像中的产品图像区域；依据参考图像的图像明亮度确定第一分割图像的图像明亮度，以及依据第二图像的图像明亮度确定第二分割图像的图像明亮度；调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致；依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品。

可选地，调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致包括：依据第一分割图像的明亮度，将第一分割图像转换为第一HSV图像，以及依据第二分割图像的明亮度，将第二分割图像转换为第二HSV图像；确定第一HSV图像的第一图像明亮度矩阵，第一特征值和第一特征向量，以及第二HSV图像的第二图像明亮度矩阵，第二特征值和第二特征向量，其中，第一图像明亮度矩阵和第一特征向量相乘等于第一特征值和第一特征向量相乘，第二图像明亮度矩阵和第二特征向量相乘等于第二特征值和第二特征向量相乘；依据第一特征向量确定第一HSV图像的第一明亮度质量分级统计结果，以及依据第二特征向量确定第二HSV图像的第二明亮度质量分级统计结果，其中，第一明亮度质量分级统计结果种包括第一HSV图像中各个明亮度质量等级的占比，以及第二HSV图像中各个明亮度质量等级的占比；依据第一明亮度质量分级统计结果和第二明亮度质量分级统计结果确定目标明亮度质量等级，以及确定目标明亮度质量等级对应的特征值为目标特征值；依据目标特征值，第一特征值和第一图像明亮度矩阵确定第一亮度调节矩阵，以及依据目标特征值，第二特征值和第二图像明亮度矩阵确定第二亮度调节矩阵；依据第一亮度调节矩阵调整第一分割图像的明亮度，以及依据第二亮度调节矩阵调整第二分割图像的明亮度，使得第一分割图像和第二分割图像的明亮度一致。

可选地，依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品包括：通过残差模块提取调整后的第一分割图像的第一图像特征，以及通过带有膨胀系数的倒残差模块提取调整后的第一分割图像的第二图像特征；通过残差模块提取调整后的第二分割图像的第三图像特征，以及通过倒残差模块提取第二分割图像的第四图像特征；分别将第一图像特征，第二图像特征，第三图像特征和第四图像特征平铺到一维，得到第一图像特征对应的第一一维特征，第二图像特征对应的第二一维特征，第三图像特征对应的第三一维特征，以及第四图像特征对应的第四一维特征；对第一一维特征，第二一维特征，第三一维特征和第四一维特征进行最大池化处理和平均池化处理，得到第一分割图像和第二分割图像之间的相似度评价分数；在相似度评价分数大于预设分数的情况下，确定目标产品合格，以及在相似度评价分数不大于预设分数的情况下，确定目标产品不合格。

可选地，第二图像的数量为多幅，并且每幅第二图像的拍摄角度不同；确定目标产品合格后，方法还包括：在依据生产制造数据或第一图像确定目标生产线的生产过程异常的情况下，依据每幅第二图像对应的第二分割图像拼接得到目标产品的待判定产品模型；确定待判定产品模型和目标产品的预设产品模型之间的相似度；在相似度大于预设相似度阈值的情况下，确定目标产品合格，以及在相似度不大于预设相似度阈值的情况下，确定目标产品不合格。

可选地，获取目标产品的参考图像包括：确定第二监控设备在拍摄第二图像时与目标产品之间的相对位置关系；依据相对位置关系设置虚拟摄像机，并通过虚拟摄像机拍摄预设产品模型，得到参考图像。

可选地，分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像包括：确定待处理图像中的目标像素和背景像素，其中，待处理图像为参考图像或第二图像，目标像素为待处理图像中位于产品图像区域的像素，背景像素为待处理图像中位于背景图像区域的像素；分别对目标像素和背景像素进行聚类，并根据聚类结果确定高斯模型参数，其中，高斯模型参数包括以下至少之一：混合系数，均值向量，协方差矩阵，高斯分布的个数；依据高斯模型参数确定待处理图像对应的高斯模型，并依据高斯模型的能量项确定待处理图像的分割图像，其中，在待处理图像为参考图像的情况下，待处理图像的分割图像为第一分割图像，在待处理图像为第二图像的情况下，待处理图像的分割图像为第二分割图像。

可选地，对多条生产线的生产计划进行调整包括：基于层次分析法，确定产品优先级为目标层，加工约束条件、时间约束条件和各个产品的重要程度为准则层，加工约束条件下各个产品的加工难度和工序数量，时间约束条件下的目标产品承诺交货期和加工时间，以及产品重要程度的约束下的产品数量、产品复杂度和产品价值作为子准则层，其中，各个产品中包括目标产品，各个产品为由多条生产线生产的产品；依据目标层、准则层和子准则层构建目标产品的评价指标体系方案层；构建判断矩阵，并依据判断矩阵，目标层、准则层、子准则层和评价指标体系方案层确定各个产品的生产优先级；依据各个产品的生产优先级，对多条生产线的生产计划进行调整。

可选地，生产预警方法还包括：确定不合格产品对应的多组第一图像、第二图像和生产制造数据；从多组第一图像、第二图像和生产制造数据中提取故障特征，其中，故障特征为影响生产线生产的产品质量的特征；依据故障特征对预设故障判别模型进行训练，得到目标故障判别模型；依据目标故障判别模型确定目标产品是否合格。

根据本申请实施例的另一方面，还提供了一种生产预警***，包括：数据管理后台，第一监控设备，第二监控设备，其中，数据管理后台，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

根据本申请实施例的另一方面，还提供了一种生产预警装置，包括：第一处理模块，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；第二处理模块，用于通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；第三处理模块，用于依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；第四处理模块，用于在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行生产预警方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行生产预警方法。

根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现生产预警方法。

在本申请实施例中，采用接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整的方式，通过调整第二图像的明亮度让第二图像中的各个像素点对应的明亮度均被调整为预设明亮度，达到了消除图像的明亮度对校验过程带来的影响的目的，从而实现了避免在拍摄产品图像时因为环境不同导致不同产品图像的光亮度不一致进而影响产品是否合格的判断结果准确性的技术效果，进而解决了由于相关技术中未考虑到产品图像的明亮度对校验产品是否合格时带来的影响导致的不能准确判断产品是否合格的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种计算机终端（移动终端）的结构示意图；

图2是根据本申请实施例提供的一种生产预警方法的流程示意图；

图3是根据本申请实施例提供的一种生产预警***的结构示意图；

图4是根据本申请实施例提供的一种监控设备固定装置的结构示意图；

图5是根据本申请实施例提供的另一种生产预警***的结构示意图；

图6是根据本申请实施例提供的一种生产预警***中的数据传输示意图；

图7是根据本申请实施例提供的一种生产预警装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如下：

明亮度：明亮度指的是图像的明亮程度或者说是图像的灰度级别，具体包括以下几部分：

① 亮度：指图像中每个像素点的光强度信息。

② 阴影：由于物体遮挡光源而产生的暗区域信息，高光：由于光源直接照射在物体上而产生的亮区域信息。

目前航空装备产品复杂多样，配套层级多，制造过程复杂且涉及的物资种类繁多，数量庞大，对生产过程进行有效的监控和保障是影响和决定航空装备产品制造产业基础能力的重要体现。其中，在生产过程中涉及的各项中间产品的高准时供应对提高最终产品的准时交付率，提升市场竞争力和提高物资安全性具有重要保障。中间产品能否满足成套要求进而满足产品的生产制造加工是满足最终产品按时交付的基础保证。因此对航空装备产品的生产制造过程进行有效监控，满足产品的生产制造成套要求，保证产品的生产质量，是重中之重。

目前相关技术中在检验产品是否合格时，通常采用人工抽检或者通过比较拍摄产品图像和预先拍摄的合格产品图像来确定产品是否合格。但是相关技术中没有考虑到拍摄产品图像和合格产品图像在拍摄时的环境存在差异，导致不同图像的图像明亮度存在差异，影响了判断结果的准确性。特别是在航空航天行业中，往往会涉及很多结构精密的产品，这种情况下图像明亮度不同对判断结果的影响可能会进一步增加。

为了解决上述问题，本申请实施例中提供了相关的解决方案，以下详细说明。

根据本申请实施例，提供了一种生产预警方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现生产预警方法的计算机终端（或移动设备）的硬件结构框图。如图1所示，计算机终端10（或移动设备10）可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为BUS总线的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的生产预警方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的生产预警方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。

在上述运行环境下，本申请实施例提供了一种生产预警方法，如图2所示，该方法包括如下步骤：

步骤S202， 接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；

在步骤S202所提供的方案中，可以采用有线通信或者无线通信的方式来对设备数据或者图像数据进行传输，本申请在此不做限制。

步骤S204，通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；

在步骤S204所提供的技术方案中，可以通过固定装置控制第二监控设备的位置和朝向，以及让第二摄像头拍摄到达指定区域的目标产品的方式来实现让第二监控设备和目标产品之间相对位置固定。

作为一种可选的实施方式，还可以基于张氏标定法对第二监控设备进行相机标定从而完成相机内参数的标定。可以基于SIFT算法和ORB算法相结合的融合算法提取目标物体特征点，再用相似性度量对图像间的特征点进行匹配，利用随机抽样一致性算法（RANSAC），进行相机外的参数标定，并取支撑集最大的模型最为最佳结果/RANSAC算法的优点是鲁棒性强，精度高，对图像噪声和提取错误的特征点有很强的抗干扰能力，并且能较好的筛掉错误匹配点。

步骤S206，依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；

作为一种可选的实施方式，可以通过以下方式实现根据生产制造数据或者第一图像数据来判断生产制造过程是否异常：

第一步，通过数据管理后台获取预先存储的参考制造数据，判断生产制造数据是否在参考制造数据规定的范围内，若是，则判定生产过程正常，否则，判定生产制造过程出现异常；

第二步，数据管理后台根据第一图像数据判断在生产过程中，生产设备中是否存在停止运行的设备，若是，则判定生产过程出现异常，否则，判定生产过程正常。

本申请实施例中采集的第一图像是面向生产制造的过程进行监控，依据第一图像可以判断生产制造设备是否发生停运、设备是否发生故障（外观是否变形和破损、功能是否正常）、在岗识别（工序人员是否在岗、在岗人数）、料盘缺料（料盘摆放位置是否正确、物料是否充足）以及节拍异常（不同工序加工时间是否异常）等问题，进而判断是否发生了故障，从而确定生产制造过程是否异常。

在步骤S206所提供的技术方案中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：获取目标产品的参考图像和参考图像的图像明亮度；分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像，其中，第一分割图像中包括参考图像中的产品图像区域，第二分割图像中包括第二图像中的产品图像区域；依据参考图像的图像明亮度确定第一分割图像的图像明亮度，以及依据第二图像的图像明亮度确定第二分割图像的图像明亮度；调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致；依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品。

作为一种可选的实施方式，调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致包括：依据第一分割图像的明亮度，将第一分割图像转换为第一HSV图像，以及依据第二分割图像的明亮度，将第二分割图像转换为第二HSV图像；确定第一HSV图像的第一图像明亮度矩阵，第一特征值和第一特征向量，以及第二HSV图像的第二图像明亮度矩阵，第二特征值和第二特征向量其中，第一图像明亮度矩阵和第一特征向量相乘等于第一特征值和第一特征向量相乘，第二图像明亮度矩阵和第二特征向量相乘等于第二特征值和第二特征向量相乘；依据第一特征向量确定第一HSV图像的第一明亮度质量分级统计结果，以及依据第二特征向量确定第二HSV图像的第二明亮度质量分级统计结果，其中，第一明亮度质量分级统计结果种包括第一HSV图像中各个明亮度质量等级的占比，以及第二HSV图像中各个明亮度质量等级的占比；依据第一明亮度质量分级统计结果和第二明亮度质量分级统计结果确定目标明亮度质量等级，以及确定目标明亮度质量等级对应的特征值为目标特征值；依据目标特征值，第一特征值和第一图像明亮度矩阵确定第一亮度调节矩阵，以及依据目标特征值，第二特征值和第二图像明亮度矩阵确定第二亮度调节矩阵；依据第一亮度调节矩阵调整第一分割图像的明亮度，以及依据第二亮度调节矩阵调整第二分割图像的明亮度，使得第一分割图像和第二分割图像的明亮度一致。

上述明亮度质量等级的占比指的是图像中对应的明亮度为某一明亮度等级的像素点的数量与图像中像素点的总数量的比值。在依据第一明亮度质量分级统计结果和第二明亮度质量分级统计结果确定目标明亮度质量等级时，可以根据第一明亮度质量分级统计结果和第二明亮度质量分级统计结果确定了第一分割图像和第二分割图像中的亮度分布情况后，按照总调整量最小为原则确定目标明亮度质量等级。或者确定第一分割图像和第二分割图像中对应的比例之和最大的明亮度质量等级为目标明亮度质量等级。

通过将第一分割图像和第二分割图像的明亮度调整为一致的明亮度，也就是将第一分割图像和第二分割图像的明亮度归一化后，可以在对比第一分割图像和第二分割图像的相似度时消除光照的影响，并且增强稳定性，更能凸显图像中的结构和纹理信息。具体地，不同的拍摄环境可能导致图像的亮度存在显著差异，如果不对亮度进行调整，可能会因为光照而非产品本身的差异导致图像相似度计算不准确。通过亮度归一化，可以减少由于光线强弱不均造成的误判，让比较聚焦在产品本身的结构和纹理一致性上。

另外当亮度差异消除后，图像的灰度分布会更多地反映出产品表面的细节特征，如纹理、形状和轮廓等，这对于基于这些特征进行相似度评估至关重要。也就是说通过消除两幅图像之间的明亮度的差异，可以让图像中产品的纹理、形状和轮廓等特征对相似度的影响加大，从而使得图像相似度的大小更能体现产品是否合格的概率。

在本申请的一些实施例中，依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品包括：通过残差模块提取调整后的第一分割图像的第一图像特征，以及通过带有膨胀系数的倒残差模块提取调整后的第一分割图像的第二图像特征；通过残差模块提取调整后的第二分割图像的第三图像特征，以及通过倒残差模块提取第二分割图像的第四图像特征；分别将第一图像特征，第二图像特征，第三图像特征和第四图像特征平铺到一维，得到第一图像特征对应的第一一维特征，第二图像特征对应的第二一维特征，第三图像特征对应的第三一维特征，以及第四图像特征对应的第四一维特征；对第一一维特征，第二一维特征，第三一维特征和第四一维特征进行最大池化处理和平均池化处理，得到第一分割图像和第二分割图像之间的相似度评价分数；在相似度评价分数大于预设分数的情况下，确定目标产品合格，以及在相似度评价分数不大于预设分数的情况下，确定目标产品不合格。

作为一种可选的实施方式，对第一分割图像和第二分割图像的明亮度进行调整以及确定调整后的图像相似度的步骤包括：

第一步，将第一分割图像和第二分割图像作为预设神经网络的两个输入；

第二步，对第一分割图像和第二分割图像的明亮度进行调整，包括如下步骤：

（1）将第一分割图像和第二分割图像均转换为HSV图像，并计算图像明亮度矩阵和特征值；

（2）计算第一分割图像和第二分割图像各自的特征向量，并基于特征向量明确第一分割图像和第二分割图像的明亮度质量分级分布结果；

具体地，上述明亮度质量分级分布结果中包括在第一分割图像和第二分割图像中各个明亮度质量分级对应的像素与总像素之间的比例。图像的明亮度矩阵、特征值和特征向量之间满足如下关系式：

A*v=λ*v

上述公式中A表示明亮度矩阵，v表示特征向量，λ表示特征值。明亮度矩阵中的各个元素为HSV图像中各个像素点的明亮度，并且各个像素点在图像中的位置与对应的元素在矩阵中的位置相同。也就是说像素在图像中的行号和列号与该像素对应的元素在矩阵中的行号和列号一致。图像的特征值和特征向量也就是明亮度矩阵的特征值和特征向量。

上述特征值表示矩阵变换的缩放因子。在图像处理中，特征值可以反应图像亮度变化的显著性。特征值的大小表明了对应的特征向量在变换中的重要性。较大的特征值意味着沿特征向量的方向，图像的亮度变化更加显著。上述特征向量表示矩阵变换的方向。在图像处理中，特征向量可以揭示图像亮度变化的主要方向或模式。特征向量定义了图像亮度变化的不变方向，即在这些方向上，图像的亮度变化情况保持不变。

（3）依据目标特征值，将目标特征值分别与第一分割图像和第二分割图像的特征值做差，并将差值对应的明亮度矩阵叠加得到调节后矩阵，实现第一分割图像和第二分割图像的图像明亮度的一致。

在确定目标特征值时，可以按照总调整幅度最小为原则，根据第一分割图像和第二分割图像的明亮度质量分级分布结果确定将第一分割图像和第二分割图像统一调整为哪个明亮度质量分级，并根据最终确定的明亮度质量分级确定对应的目标特征值。

第三步，对明亮度一致的第一分割图像和第二分割图像进行卷积和批量归一化；

第四步，利用残差块分别提取第一分割图像和第二分割图像的一般特征信息，以及利用带膨胀系数的倒残差块分别提取第一分割图像和第二分割图像提取重要特征；

第五步，将第四步中得到的高维特征信息平铺到一维上，并对平铺后的特征进行最大池化和平均池化；

第六步，输出0~1的相似度分数，将该相似度分数与设定的阈值作比较，大于值判断为相似，小于阈值判断为不相似。

具体的，在本申请实施例中还提供了一种基于孪生神经网络来度量图像的相似度的方法。在确定图像之间的相似度时，可以构建基于共享轻量级膨胀注意力主干特征提取网络权重的端到端孪生神经网络模型，对轻量级膨胀注意力膨胀网络中的中一部分残差块采用空洞膨胀卷积代替原有的卷积，采用相似度计算规则估算相邻两个顶点的相似性，在减少计算量的前提下去获得更大特征对比，利用IAM（Improved Attention Module，改进的注意力机制）方法对输入的特征图进行平均池化和最大池化，进而突出图像中的重要区域，进而得到图像的相似度，通过设定阈值来判断图像的判定结果为相同或不同，从而确定目标产品是否故障，进而实现预警。

在本申请的一些实施例中，在将第一分割图像和第二分割图像的明亮度归一化后，还可以基于感知哈希算法来度量图像的相似度。具体的，可以通过获取图片的hash值，再比较两张图片hash值的汉明距离来度量两张图片是否相似，两张图片的hash数的汉明距离越小两张图片越相似。包括如下步骤：

首先，缩放图片，统一将图片尺寸缩放为标准尺寸，如32*32。这样一共得到了1024个像素点；其次，转灰度图，统一下一步输入标准，将非单通道图片都转为单通道灰度图；然后，计算DCT，计算32*32数据矩阵的离散余弦变换后对应的32*32数据矩阵；接着，缩小DCT，取上一步得到32*32数据矩阵左上角8*8子区域；之后，算平均值，通过上一步可得一个8*8的整数矩阵G，计算这个矩阵中所有元素的平均值，假设其值为a；最后，计算指纹，初始化输入图片的phash =“”。从左到右一行一行地遍历矩阵G每一个像素，如果第i行j列元素G(i,j) >= a，则phash + =“1”；如果第i行j列元素G(i,j) <a， 则phash + =“0”，得到图片的phash值后，比较两张图片phash值的汉明距离，通常可以认为汉明距离小于10的一组图片为相似图片。

作为一种可选的实施方式，第二图像的数量为多幅，并且每幅第二图像的拍摄角度不同；确定目标产品合格后，方法还包括：在依据生产制造数据或第一图像确定目标生产线的生产过程异常的情况下，依据每幅第二图像对应的第二分割图像拼接得到目标产品的待判定产品模型；确定待判定产品模型和目标产品的预设产品模型之间的相似度；在相似度大于预设相似度阈值的情况下，确定目标产品合格，以及在相似度不大于预设相似度阈值的情况下，确定目标产品不合格。

具体地，在根据拍摄得到的多幅第二图像构建产品模型时，作为一种可选的实施方式，可以采用Grab Cuts算法来对有限视角采集的监控图像进行分割操作，该算法利用图像的纹理信息和边界信息，结合少量的用户交互就能得到很好的分割效果，其次，利用OpenCV中的findContours函数对轮廓线进行提取，最后利用Delaunay三角剖分方法构建出产品的全维度实体模型，通过对比构建出的实体模型和***中预先设置好的设计模型，从而发现是否出现异常，是否报警。

在本申请的一些实施例中，获取目标产品的参考图像包括：确定第二监控设备在拍摄第二图像时与目标产品之间的相对位置关系；依据相对位置关系设置虚拟摄像机，并通过虚拟摄像机拍摄预设产品模型，得到参考图像。

作为一种可选的实施方式，分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像包括：确定待处理图像中的目标像素和背景像素，其中，待处理图像为参考图像或第二图像，目标像素为待处理图像中位于产品图像区域的像素，背景像素为待处理图像中位于背景图像区域的像素；分别对目标像素和背景像素进行聚类，并根据聚类结果确定高斯模型参数，其中，高斯模型参数包括以下至少之一：混合系数，均值向量，协方差矩阵，高斯分布的个数；依据高斯模型参数确定待处理图像对应的高斯模型，并依据高斯模型的能量项确定待处理图像的分割图像，其中，在待处理图像为参考图像的情况下，待处理图像的分割图像为第一分割图像，在待处理图像为第二图像的情况下，待处理图像的分割图像为第二分割图像。

作为一种可选的实施方式，对待处理图像进行图像分割的具体流程包括如下步骤：

第一步，确定待处理图像中属于背景区域的背景像素和处于产品图像区域的目标像素，并为背景像素设置标签0，为目标像素设置标签1；

第二步，基于K-means聚类算法分别对背景像素和目标像素进行聚类，并根据聚类结果中的各个像素的RGB三个通道上的值来计算待处理图像对应的高斯模型的模型参数，其中，模型参数包括高斯模型的混合系数、均值向量、协方差矩阵和高斯分布的个数；

第三步，根据模型参数确定高斯模型，并将高斯模型的高斯分量分配给各个像素，然后根据图像信息优化高斯模型参数；

具体的，每个高斯分量都是由三个主要参数定义的：均值、协方差和混合系数。这些参数决定了每个高斯分量的形状、位置和权重。高斯分量与像素的对应关系是在模型训练过程中确定的。在图像处理中，每个像素的值可以被视为一个观察值，而GMM用于建模这些观察值的分布。在训练过程中，使用期望最大化（EM）算法来优化模型参数，以便更好地拟合数据。EM算法通过迭代过程来更新每个高斯分量的参数，同时为每个像素分配一个高斯分量，即确定每个像素最可能由哪个高斯分布生成。为每个像素分配一个高斯分量的分配过程是通过计算每个像素属于每个高斯分量的后验概率来实现的。

第四步，通过高斯模型的Gibbs能量项建立ST图像（Segmentation Map，分割图），并采用最大流最小割算法处理ST图像；

第五步，确定目标函数是否收敛，并在确定目标函数未收敛的情况下跳转到第三步，以及在收敛的情况下输出分割结果。目标函数可以用于衡量分割结果的优劣，当目标函数收敛时可以认为此时已经获得了最佳的分割结果，无需继续迭代。

步骤S208，在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

在步骤S208所提供的技术方案中，对多条生产线的生产计划进行调整包括：基于层次分析法，确定产品优先级为目标层，加工约束条件、时间约束条件和各个产品的重要程度为准则层，加工约束条件下各个产品的加工难度和工序数量，时间约束条件下的目标产品承诺交货期和加工时间，以及产品重要程度的约束下的产品数量、产品复杂度和产品价值作为子准则层，其中，各个产品中包括目标产品，各个产品为由多条生产线生产的产品；依据目标层、准则层和子准则层构建目标产品的评价指标体系方案层；构建判断矩阵，并依据判断矩阵，目标层、准则层、子准则层和评价指标体系方案层确定各个产品的生产优先级；依据各个产品的生产优先级，对多条生产线的生产计划进行调整。

作为一种可选的实施方式，上述多条生产线为柔性生产线，也就是说每条生产线均可用于生产上述各个产品中的任意一种产品。

具体地，当确定产品存在故障或者生产过程出现异常后，可以先预估故障原因以及修复时间。如果预估修复时间超过了预设阈值，可以采用如下方式进行生产纠偏，实现对多条生产线的生产计划进行调整：

第一步，基于AHP法，根据成套规则，构建目标层为产品优先级，准则层为加工约束、时间约束和产品重要度，子准则层为加工约束下的加工难度和工序数，时间约束下的产品承诺交货期和加工时间以及产品重要度约束下的产品数量、产品复杂度和产品价值，进而构建出评价指标体系方案层即为产品按照优先级进行排序的结果；

第二步，构建判断矩阵并进行一致性检验，从而确定子准则层指标的权重并利用模糊评判法对产品进行打分，从而确定产品的生产优先级；

第三步，基于零部件的优先级顺序，利用NSGA-II算法对零部件的加工次序进行重新调度，进而在最大程度上满足成套交付需求。其中在最大程度上满足成套交付需求指的是最终生产出来的各类产品可以组装的最终产品的数量尽可能多。

而当预估修复时间没超过预设阈值时，可以采用如下方式对生产计划进行调整：

第一步，构建目标函数，即车间在机器故障下的最大完工时间最小，据此构建机器故障下的动态调度问题模型；

第二步，构建基于工序排序和机器选择的两段式的编码和解码方法；

第三步，基于ICA算法针对航空装备产品的生产线的故障问题，提出完全重调度方案，进而在最大程度上满足生产要求。

作为一种可选的实施方式，生产预警方法还包括：确定不合格产品对应的多组第一图像、第二图像和生产制造数据；从多组第一图像、第二图像和生产制造数据中提取故障特征，其中，故障特征为影响生产线生产的产品质量的特征；依据故障特征对预设故障判别模型进行训练，得到目标故障判别模型；依据目标故障判别模型确定目标产品是否合格。

具体的，在本申请实施例中还可以通过对第一图像数据、第二图像数据和生产制造数据进行联合分析，进而更正生产设备的故障判定标准，从而可以及时发现产品故障。包括如下步骤：

第一步，数据预处理：将生产制造数据进行清洗，处理缺失值、异常值，并将数据格式统一为适合机器学习算法的格式；

第二步，特征提取：以第一图像数据、第二图像数据和生产制造数据为基础，从时间序列、质量、生产等方面提取出影响产品生产质量的特征；

第三步，模型构建：构建卷积神经网络（CNN）模型，确定网络的层数、每层的神经元数目、激活函数、损失函数和优化器，使用训练集数据训练神经网络并不断调整网络参数来达到目标结果；

第四步，两阶段自纠偏方法：Stage-E阶段：采用经典有监督训练模式，开展从完整输入序列到完整输出序列的正向传播、Loss计算、反向传播和参数更新，其每一步的预测都是基于无偏差的真实输入、输出开展的。Stage-S阶段：逐步训练，纠正误差。完成Stage-E训练后，从某一初始时间步M开始，开展模型训练K步；其中，第X步训练（M<X≤M+K）时，第1至第M-1时间步的输出是真实值，而第M至第X-1时间步的输出均为存在误差的预测值，输入序列始终为真实值；

第五步，故障判断标准更新：根据模型方法结果，能够发现故障原因并不断更新故障标准，持续纠偏。

通过采用接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整的方式，通过调整第二图像的明亮度让第二图像中的各个像素点对应的明亮度均被调整为预设明亮度，达到了消除图像的明亮度对校验过程带来的影响的目的，从而实现了避免在拍摄产品图像时因为环境不同导致不同产品图像的光亮度不一致进而影响产品是否合格的判断结果准确性的技术效果，进而解决了由于相关技术中未考虑到产品图像的明亮度对校验产品是否合格时带来的影响导致的不能准确判断产品是否合格的技术问题。

另外在生产制造中，涉及的中间产品众多，数量巨大，中间产品不能及时成套将直接影响产品装配生产各环节的开工时间和整个产品的装配周期。在本申请实施例所提供的生产监控工方法中的面向中间产品成套状态预警可以保证中间产品成套加工生产为目标，对生产过进行实时监控，能够及时了解生产进度并进行质量控制，在出现停产等待的情况下，能够根据成套规则进行生产纠偏，对零部件的生产加工顺序进行重新调度进而满足成套需求，从而保证产品的生产和交付。面向生产设备和产品的状态预警是以保证设备的正常运转和产品的生产质量为目标，通过监测设备状态，实时了解设备工作情况，为企业的设备维护计划和生产调度提供数据支撑，通过监测产品的生产质量，确保产品生产和交付过程中达到预定的质量标准和要求，满足客户需求从而提高客户的满意度，增强市场竞争力。

根据本申请实施例，还提供了一种如图3所示的生产预警***。从图3中可以看出，该***包括：数据管理后台30，第一监控设备32，第二监控设备34，其中，所述数据管理后台30，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备32采集所述目标生产线的第一图像，其中，所述目标生产线为多条生产线中的任意一条生产线；通过第二监控设备34采集所述目标生产线生产的目标产品的第二图像，以及通过所述第二监控设备34中的图像传感器确定所述第二图像对应的明亮度，其中，所述第二监控设备34与被拍摄的所述目标产品之间的相对位置固定；依据所述生产制造数据或所述第一图像确定所述目标生产线的生产过程是否异常，以及依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定所述生产过程中存在异常生产行为，或者所述目标产品中存在不合格产品的情况下，对所述多条生产线的生产计划进行调整。

作为一种可选的实施方式，第一监控设备32对预设生产线的生产过程进行监控，得到第一图像数据，第二监控设备34对目标产品进行拍照，得到第二图像数据，并将第一图像数据和第二图像数据发送至数据管理后台30；数据管理后台30接收第一图像数据和第二图像数据，以及预设生产线上的生产设备发送的生产制造数据；数据管理后台30根据生产制造数据或者第一图像数据判断生产制造过程是否出现异常，并根据第二图像数据判断目标产品是否合格；若数据管理后台30判定生产制造过程出现异常，或者数据管理后台30判定目标产品不合格，则向报警设备发送提示信息，报警设备接收到提示信息后，发出对应于提示信息的报警信息。其中，数据管理后台30可以是终端设备，或者是服务器等具备一定计算能力和通信能力的电子设备，只要能够接收第一监控设备32发送的第一图像数据、预设生产线上的生产设备发送的生产制造数据和第二监控设备34发送第二图像数据，并对预设生产线是否出现异常进行判断即可。

在本申请的一些实施例中，生产线可以是可对多种产品进行加工的柔性生产线。第一监控设备32和第二监控设备34均可以是摄像机或者照相机，只要能够进行摄像或者拍照即可；第二监控设备34通常设置在生产线的产品输出口或者半成品输出口，对从生产线的产品输出口或者半成品输出口输出的产品或者半成品进行拍照，以对产品或者半成品是否合格做出判断；目标产品为产品或者半成品；报警设备可以是集成在数据管理后台30的功能模块，通过在数据管理后台30上弹出小屏幕的方式发出警报信息，也可以是能够和数据管理后台30进行信息交互的单独的设备，例如，报警灯或者能够发出报警声音的报警器等，报警设备根据接收的提示信息，发出不同的报警信息，以提示工作人员尽快处理相应的报警信息。

通过在***中增加报警设备，实现了对生产制造过程的监控的多样化和全面化，通过报警设备的配合，当生产制造过程出现异常时，能够及时发现并解决问题，实现了对生产全过程和中间产品成套状态的管控。该***以网络为基础，将视频监控、异常报警、生产进度跟踪及质量信息采集技术进行集成，实现对制造信息的全面、实时的监控管理，有利于实时监控中间产品的成套状态。

作为一种可选的实施方式，本申请实施例所提供的监控设备固定装置的结构如图4所示。从图4中可以看出，监控设备固定装置包括产品固定盘40、支架42和拍照角度采集设备。固定装置设置在生产线的产品输出口或者半成品输出口，产品固定盘40用于固定从产品输出端或者半成品输出端输出的目标产品，支架42用于固定第二监控设备34，拍照角度采集设备用于采集产品固定盘40上的标记位置和支架42上的固定位置所在的直线L与第二监控设备34的镜头所在平面之间的角度，即拍照角度，并且通过转动产品固定盘40改变拍照角度。通过设置监控设备固定装置可以保证第二监控设备34在采集产品图像时可以按照预设的拍照角度进行拍摄采集。

需要说明的是，相关技术中通常采用MES***（Manufacturing ExecutionSystem，工厂制造执行*** 简称MES）来进行生产监控和预警。但是目前采用MES***的制造企业多以普通的个人计算机或工业控制计算机为主体做现场终端，其功耗大、体积大、功能单一、工业防护等级低、可靠性差，不能很好的适应环境的动态变化，无法为航空装备制造供应链的企业提供稳定服务。

可以看出，和相关技术中的MES***相比，本申请实施例所提供的生产预警***充分利用了通信网络，实现了各类数据的实时处理和传输，并且解决了本地设备算力较低的问题，可以借助云服务器等实现对数据的高效分析和处理。

本申请实施例中还提供了一种如图5所示的生产预警***。从图5中可以看出，该***中可以包括多个作为第一监控设备或者第二监控设备的摄像机。其中摄像机包括网络摄像机和常规摄像机。网络摄像机可以将拍摄的图片直接根据TCP/IP协议发送给监控中心或者其他带有浏览器的电子设备中进行浏览查看。常规摄像机则需要通过硬盘录像机或者视频服务器将拍摄的图片视频数据发送给监控中心或者其他电子设备。另外生产预警***中还包括设置在生产设备中的数据采控模块，用于采集生产线中各个设备的生产数据。

在本申请的一些实施例中，生产预警***中的数据传输方式可以如图6所示。生产线上的视频采集镜头（第一监控设备和第二监控设备），以及操作人员输入的相关的参数，通过互联网由生产线上的PC端MES***发送到数据管理后台，通过数据管理后台实现对生产制造过程的监控。

本申请实施例提供了一种生产预警装置，图7是该装置的结构示意图。从图7中可以看出，该装置包括：第一处理模块70，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；第二处理模块72，用于通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；第三处理模块74，用于依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；第四处理模块76，用于在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

在本申请的一些实施例中，第二处理模块72依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：获取目标产品的参考图像和参考图像的图像明亮度；分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像，其中，第一分割图像中包括参考图像中的产品图像区域，第二分割图像中包括第二图像中的产品图像区域；依据参考图像的图像明亮度确定第一分割图像的图像明亮度，以及依据第二图像的图像明亮度确定第二分割图像的图像明亮度；调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致；依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品。

在本申请的一些实施例中，第二处理模块72调整第一分割图像和第二分割图像的图像明亮度，使得第一分割图像和第二分割图像的图像明亮度一致包括：依据第一分割图像的明亮度，将第一分割图像转换为第一HSV图像，以及依据第二分割图像的明亮度，将第二分割图像转换为第二HSV图像；确定第一HSV图像的第一图像明亮度矩阵，第一特征值和第一特征向量，以及第二HSV图像的第二图像明亮度矩阵，第二特征值和第二特征向量，其中，第一图像明亮度矩阵和第一特征向量相乘等于第一特征值和第一特征向量相乘，第二图像明亮度矩阵和第二特征向量相乘等于第二特征值和第二特征向量相乘；依据第一特征向量确定第一HSV图像的第一明亮度质量分级统计结果，以及依据第二特征向量确定第二HSV图像的第二明亮度质量分级统计结果，其中，第一明亮度质量分级统计结果种包括第一HSV图像中各个明亮度质量等级的占比，以及第二HSV图像中各个明亮度质量等级的占比；依据第一明亮度质量分级统计结果和第二明亮度质量分级统计结果确定目标明亮度质量等级，以及确定目标明亮度质量等级对应的特征值为目标特征值；依据目标特征值，第一特征值和第一图像明亮度矩阵确定第一亮度调节矩阵，以及依据目标特征值，第二特征值和第二图像明亮度矩阵确定第二亮度调节矩阵；依据第一亮度调节矩阵调整第一分割图像的明亮度，以及依据第二亮度调节矩阵调整第二分割图像的明亮度，使得第一分割图像和第二分割图像的明亮度一致。

在本申请的一些实施例中，第二处理模块72依据调整后的第一分割图像和第二分割图像，确定目标产品是否为不合格产品包括：通过残差模块提取调整后的第一分割图像的第一图像特征，以及通过带有膨胀系数的倒残差模块提取调整后的第一分割图像的第二图像特征；通过残差模块提取调整后的第二分割图像的第三图像特征，以及通过倒残差模块提取第二分割图像的第四图像特征；分别将第一图像特征，第二图像特征，第三图像特征和第四图像特征平铺到一维，得到第一图像特征对应的第一一维特征，第二图像特征对应的第二一维特征，第三图像特征对应的第三一维特征，以及第四图像特征对应的第四一维特征；对第一一维特征，第二一维特征，第三一维特征和第四一维特征进行最大池化处理和平均池化处理，得到第一分割图像和第二分割图像之间的相似度评价分数；在相似度评价分数大于预设分数的情况下，确定目标产品合格，以及在相似度评价分数不大于预设分数的情况下，确定目标产品不合格。

在本申请的一些实施例中，第二图像的数量为多幅，并且每幅第二图像的拍摄角度不同；第二处理模块72确定目标产品合格后，生产预警装置还用于：在依据生产制造数据或第一图像确定目标生产线的生产过程异常的情况下，依据每幅第二图像对应的第二分割图像拼接得到目标产品的待判定产品模型；确定待判定产品模型和目标产品的预设产品模型之间的相似度；在相似度大于预设相似度阈值的情况下，确定目标产品合格，以及在相似度不大于预设相似度阈值的情况下，确定目标产品不合格。

在本申请的一些实施例中，第二处理模块72获取目标产品的参考图像包括：确定第二监控设备在拍摄第二图像时与目标产品之间的相对位置关系；依据相对位置关系设置虚拟摄像机，并通过虚拟摄像机拍摄预设产品模型，得到参考图像。

在本申请的一些实施例中，第二处理模块72分别对参考图像和第二图像进行图像分割处理，得到参考图像对应的第一分割图像和第二图像对应的第二分割图像包括：确定待处理图像中的目标像素和背景像素，其中，待处理图像为参考图像或第二图像，目标像素为待处理图像中位于产品图像区域的像素，背景像素为待处理图像中位于背景图像区域的像素；分别对目标像素和背景像素进行聚类，并根据聚类结果确定高斯模型参数，其中，高斯模型参数包括以下至少之一：混合系数，均值向量，协方差矩阵，高斯分布的个数；依据高斯模型参数确定待处理图像对应的高斯模型，并依据高斯模型的能量项确定待处理图像的分割图像，其中，在待处理图像为参考图像的情况下，待处理图像的分割图像为第一分割图像，在待处理图像为第二图像的情况下，待处理图像的分割图像为第二分割图像。

在本申请的一些实施例中，第四处理模块76对多条生产线的生产计划进行调整包括：基于层次分析法，确定产品优先级为目标层，加工约束条件、时间约束条件和各个产品的重要程度为准则层，加工约束条件下各个产品的加工难度和工序数量，时间约束条件下的目标产品承诺交货期和加工时间，以及产品重要程度的约束下的产品数量、产品复杂度和产品价值作为子准则层，其中，各个产品中包括目标产品，各个产品为由多条生产线生产的产品；依据目标层、准则层和子准则层构建目标产品的评价指标体系方案层；构建判断矩阵，并依据判断矩阵，目标层、准则层、子准则层和评价指标体系方案层确定各个产品的生产优先级；依据各个产品的生产优先级，对多条生产线的生产计划进行调整。

在本申请的一些实施例中，生产预警装置还用于：确定不合格产品对应的多组第一图像、第二图像和生产制造数据；从多组第一图像、第二图像和生产制造数据中提取故障特征，其中，故障特征为影响生产线生产的产品质量的特征；依据故障特征对预设故障判别模型进行训练，得到目标故障判别模型；依据目标故障判别模型确定目标产品是否合格。

需要说明的是，上述生产预警装置中的各个模块可以是程序模块（例如是实现某种特定功能的程序指令集合），也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。

根据本申请实施例，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质执行如下生产预警方法：接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

根据本申请实施例，还提供了一种电子设备，包括存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行如下生产预警方法：接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

根据本申请实施例，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如下生产预警方法：接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集目标生产线的第一图像，其中，目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集目标生产线生产的目标产品的第二图像，以及通过第二监控设备中的图像传感器确定第二图像对应的明亮度，其中，第二监控设备与被拍摄的目标产品之间的相对位置固定；依据生产制造数据或第一图像确定目标生产线的生产过程是否异常，以及依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品，其中，依据第二图像和第二图像对应的图像明亮度确定目标产品是否为不合格产品包括：依据第二图像对应的图像明亮度，对第二图像进行调整，使得第二图像的图像明亮度被调整为预设图像明亮度，并且第二图像中的各个像素点对应的明亮度相同；依据调整后的第二图像确定目标产品是否为不合格产品；在确定生产过程中存在异常生产行为，或者目标产品中存在不合格产品的情况下，对多条生产线的生产计划进行调整。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种生产预警方法，其特征在于，包括：

接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集所述目标生产线的第一图像，其中，所述目标生产线为多条生产线中的任意一条生产线；

通过第二监控设备采集所述目标生产线生产的目标产品的第二图像，以及通过所述第二监控设备中的图像传感器确定所述第二图像对应的明亮度，其中，所述第二监控设备与被拍摄的所述目标产品之间的相对位置固定；

依据所述生产制造数据或所述第一图像确定所述目标生产线的生产过程是否异常，以及依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品，其中，依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品包括：依据所述第二图像对应的图像明亮度，对所述第二图像进行调整，使得所述第二图像的图像明亮度被调整为预设图像明亮度，并且所述第二图像中的各个像素点对应的明亮度相同；依据调整后的所述第二图像确定所述目标产品是否为不合格产品；

在确定所述生产过程中存在异常生产行为，或者所述目标产品中存在不合格产品的情况下，对所述多条生产线的生产计划进行调整。

2.根据权利要求1所述的生产预警方法，其特征在于，依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品包括：

获取所述目标产品的参考图像和所述参考图像的图像明亮度；

分别对所述参考图像和所述第二图像进行图像分割处理，得到所述参考图像对应的第一分割图像和所述第二图像对应的第二分割图像，其中，所述第一分割图像中包括所述参考图像中的产品图像区域，所述第二分割图像中包括所述第二图像中的产品图像区域；

依据所述参考图像的图像明亮度确定所述第一分割图像的图像明亮度，以及依据所述第二图像的图像明亮度确定所述第二分割图像的图像明亮度；

调整所述第一分割图像和所述第二分割图像的图像明亮度，使得所述第一分割图像和所述第二分割图像的图像明亮度一致；

依据调整后的所述第一分割图像和所述第二分割图像，确定所述目标产品是否为不合格产品。

3.根据权利要求2所述的生产预警方法，其特征在于，调整所述第一分割图像和所述第二分割图像的图像明亮度，使得所述第一分割图像和所述第二分割图像的图像明亮度一致包括：

依据所述第一分割图像的明亮度，将所述第一分割图像转换为第一HSV图像，以及依据所述第二分割图像的明亮度，将所述第二分割图像转换为第二HSV图像；

确定所述第一HSV图像的第一图像明亮度矩阵，第一特征值和第一特征向量，以及所述第二HSV图像的第二图像明亮度矩阵，第二特征值和第二特征向量，其中，所述第一图像明亮度矩阵和所述第一特征向量相乘等于所述第一特征值和所述第一特征向量相乘，所述第二图像明亮度矩阵和所述第二特征向量相乘等于所述第二特征值和所述第二特征向量相乘；

依据所述第一特征向量确定所述第一HSV图像的第一明亮度质量分级统计结果，以及依据所述第二特征向量确定所述第二HSV图像的第二明亮度质量分级统计结果，其中，所述第一明亮度质量分级统计结果种包括所述第一HSV图像中各个明亮度质量等级的占比，以及所述第二HSV图像中各个明亮度质量等级的占比；

依据所述第一明亮度质量分级统计结果和所述第二明亮度质量分级统计结果确定目标明亮度质量等级，以及确定所述目标明亮度质量等级对应的特征值为目标特征值；

依据所述目标特征值，所述第一特征值和所述第一图像明亮度矩阵确定第一亮度调节矩阵，以及依据所述目标特征值，所述第二特征值和所述第二图像明亮度矩阵确定第二亮度调节矩阵；

依据所述第一亮度调节矩阵调整所述第一分割图像的明亮度，以及依据所述第二亮度调节矩阵调整所述第二分割图像的明亮度，使得所述第一分割图像和所述第二分割图像的明亮度一致。

4.根据权利要求2所述的生产预警方法，其特征在于，依据调整后的所述第一分割图像和所述第二分割图像，确定所述目标产品是否为不合格产品包括：

通过残差模块提取调整后的所述第一分割图像的第一图像特征，以及通过带有膨胀系数的倒残差模块提取调整后的所述第一分割图像的第二图像特征；

通过所述残差模块提取调整后的所述第二分割图像的第三图像特征，以及通过所述倒残差模块提取所述第二分割图像的第四图像特征；

分别将所述第一图像特征，所述第二图像特征，所述第三图像特征和所述第四图像特征平铺到一维，得到所述第一图像特征对应的第一一维特征，所述第二图像特征对应的第二一维特征，所述第三图像特征对应的第三一维特征，以及所述第四图像特征对应的第四一维特征；

对所述第一一维特征，所述第二一维特征，所述第三一维特征和所述第四一维特征进行最大池化处理和平均池化处理，得到所述第一分割图像和所述第二分割图像之间的相似度评价分数；

在所述相似度评价分数大于预设分数的情况下，确定所述目标产品合格，以及在所述相似度评价分数不大于预设分数的情况下，确定所述目标产品不合格。

5.根据权利要求2所述的生产预警方法，其特征在于，所述第二图像的数量为多幅，并且每幅所述第二图像的拍摄角度不同；确定所述目标产品合格后，所述方法还包括：

在依据所述生产制造数据或所述第一图像确定所述目标生产线的生产过程异常的情况下，依据每幅所述第二图像对应的第二分割图像拼接得到所述目标产品的待判定产品模型；

确定所述待判定产品模型和所述目标产品的预设产品模型之间的相似度；

在所述相似度大于预设相似度阈值的情况下，确定所述目标产品合格，以及在所述相似度不大于所述预设相似度阈值的情况下，确定所述目标产品不合格。

6.根据权利要求5所述的生产预警方法，其特征在于，获取所述目标产品的参考图像包括：

确定所述第二监控设备在拍摄所述第二图像时与所述目标产品之间的相对位置关系；

依据所述相对位置关系设置虚拟摄像机，并通过所述虚拟摄像机拍摄所述预设产品模型，得到所述参考图像。

7.根据权利要求2所述的生产预警方法，其特征在于，分别对所述参考图像和所述第二图像进行图像分割处理，得到所述参考图像对应的第一分割图像和所述第二图像对应的第二分割图像包括：

确定待处理图像中的目标像素和背景像素，其中，所述待处理图像为所述参考图像或所述第二图像，所述目标像素为所述待处理图像中位于产品图像区域的像素，所述背景像素为所述待处理图像中位于背景图像区域的像素；

分别对所述目标像素和所述背景像素进行聚类，并根据聚类结果确定高斯模型参数，其中，所述高斯模型参数包括以下至少之一：混合系数，均值向量，协方差矩阵，高斯分布的个数；

依据所述高斯模型参数确定所述待处理图像对应的高斯模型，并依据所述高斯模型的能量项确定所述待处理图像的分割图像，其中，在所述待处理图像为所述参考图像的情况下，所述待处理图像的分割图像为第一分割图像，在所述待处理图像为所述第二图像的情况下，所述待处理图像的分割图像为第二分割图像。

8.根据权利要求1所述的生产预警方法，其特征在于，对所述多条生产线的生产计划进行调整包括：

基于层次分析法，确定产品优先级为目标层，加工约束条件、时间约束条件和各个产品的重要程度为准则层，所述加工约束条件下各个产品的加工难度和工序数量，所述时间约束条件下的所述目标产品承诺交货期和加工时间，以及所述重要程度的约束下的产品数量、产品复杂度和产品价值作为子准则层，其中，所述各个产品中包括所述目标产品，所述各个产品为由所述多条生产线生产的产品；

依据所述目标层、所述准则层和所述子准则层构建所述目标产品的评价指标体系方案层；

构建判断矩阵，并依据所述判断矩阵，所述目标层、所述准则层、所述子准则层和所述评价指标体系方案层确定各个产品的生产优先级；

依据所述各个产品的生产优先级，对所述多条生产线的生产计划进行调整。

9.根据权利要求1所述的生产预警方法，其特征在于，所述生产预警方法还包括：

确定不合格产品对应的多组第一图像、第二图像和生产制造数据；

从所述多组第一图像、第二图像和生产制造数据中提取故障特征，其中，所述故障特征为影响生产线生产的产品质量的特征；

依据所述故障特征对预设故障判别模型进行训练，得到目标故障判别模型；

依据所述目标故障判别模型确定所述目标产品是否合格。

10.一种生产预警***，其特征在于，包括数据管理后台，第一监控设备，第二监控设备，其中，

所述数据管理后台，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集所述目标生产线的第一图像，其中，所述目标生产线为多条生产线中的任意一条生产线；通过第二监控设备采集所述目标生产线生产的目标产品的第二图像，以及通过所述第二监控设备中的图像传感器确定所述第二图像对应的明亮度，其中，所述第二监控设备与被拍摄的所述目标产品之间的相对位置固定；依据所述生产制造数据或所述第一图像确定所述目标生产线的生产过程是否异常，以及依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品，其中，依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品包括：依据所述第二图像对应的图像明亮度，对所述第二图像进行调整，使得所述第二图像的图像明亮度被调整为预设图像明亮度，并且所述第二图像中的各个像素点对应的明亮度相同；依据调整后的所述第二图像确定所述目标产品是否为不合格产品；在确定所述生产过程中存在异常生产行为，或者所述目标产品中存在不合格产品的情况下，对所述多条生产线的生产计划进行调整。

11.一种生产预警装置，其特征在于，包括：

第一处理模块，用于接收目标生产线的生产设备发送的生产制造数据，以及通过第一监控设备采集所述目标生产线的第一图像，其中，所述目标生产线为多条生产线中的任意一条生产线；

第二处理模块，用于通过第二监控设备采集所述目标生产线生产的目标产品的第二图像，以及通过所述第二监控设备中的图像传感器确定所述第二图像对应的明亮度，其中，所述第二监控设备与被拍摄的所述目标产品之间的相对位置固定；

第三处理模块，用于依据所述生产制造数据或所述第一图像确定所述目标生产线的生产过程是否异常，以及依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品，其中，依据所述第二图像和所述第二图像对应的图像明亮度确定所述目标产品是否为不合格产品包括：依据所述第二图像对应的图像明亮度，对所述第二图像进行调整，使得所述第二图像的图像明亮度被调整为预设图像明亮度，并且所述第二图像中的各个像素点对应的明亮度相同；依据调整后的所述第二图像确定所述目标产品是否为不合格产品；

第四处理模块，用于在确定所述生产过程中存在异常生产行为，或者所述目标产品中存在不合格产品的情况下，对所述多条生产线的生产计划进行调整。

12.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至9中任意一项所述的生产预警方法。

13.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至9中任意一项所述的生产预警方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任意一项所述的生产预警方法。