CN117710366B - 用于保温杯的质检方法、装置和存储介质 - Google Patents
用于保温杯的质检方法、装置和存储介质 Download PDFInfo
- Publication number
- CN117710366B CN117710366B CN202410147392.8A CN202410147392A CN117710366B CN 117710366 B CN117710366 B CN 117710366B CN 202410147392 A CN202410147392 A CN 202410147392A CN 117710366 B CN117710366 B CN 117710366B
- Authority
- CN
- China
- Prior art keywords
- image
- cup
- defect
- cup bottom
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000007547 defect Effects 0.000 claims abstract description 261
- 238000001514 detection method Methods 0.000 claims abstract description 188
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 76
- 238000007789 sealing Methods 0.000 claims description 58
- 238000001931 thermography Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000012634 optical imaging Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 29
- 238000004590 computer program Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 238000009413 insulation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种用于保温杯的质检方法、装置和存储介质。其中，方法包括：接收与保温杯相对应的红外图像与外观图像，其中，红外图像与外观图像均包括保温杯的杯底；将红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，缺陷检测结果包括缺陷相对应的缺陷类型和缺陷位置信息；在确定缺陷检测结果满足预设条件的情况下，依据杯底图像对杯底红外图像中的像素点进行位置矫正，并确定性能检测结果；基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果。解决了保温杯质检准确度低的问题，提高保温杯质检准确度，保障保温杯品质。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及用于保温杯的质检方法、装置和存储介质。
背景技术
在保温杯的生产过程中，由于产品工艺不稳定，难以保证生产的保温杯的质量。因此需要对保温杯进行质检。
相关的保温杯质检的技术方案中，基于摄像头对保温杯拍摄图像，然后通过图像处理技术对拍摄的图像进行分析，从而实现对保温杯的质检。但是，仅能检测保温杯的外观缺陷，导致保温杯质检准确度较低。
发明内容
本发明提供了一种用于保温杯的质检方法、装置和存储介质，以提高保温杯质检准确度。
根据本发明的一方面，提供了一种用于保温杯的质检方法，该方法包括：
接收与保温杯相对应的待处理红外图像与外观图像，其中，所述红外图像与外观图像均包括所述保温杯的杯底；
将所述待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，
将所述外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，所述缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；
在确定所述缺陷检测结果满足预设条件的情况下，依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；
基于所述缺陷检测结果和/或所述性能检测结果，确定所述保温杯的质检结果，所述质检结果包括质检等级。
根据本发明的另一方面，提供了一种用于保温杯的质检装置，该装置包括：
图像接收模块，用于接收与保温杯相对应的待处理红外图像与外观图像，其中，所述红外图像与外观图像均包括所述保温杯的杯底；
图像分割模块，用于将所述待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，
缺陷检测模块，用于将所述外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，所述缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；
性能检测模块，用于在确定所述缺陷检测结果满足预设条件的情况下，依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；
质检结果确定模块，用于基于所述缺陷检测结果和/或所述性能检测结果，确定所述保温杯的质检结果，所述质检结果包括质检等级。
根据本发明的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的用于保温杯的质检方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的用于保温杯的质检方法。
本发明实施例的技术方案，接收与保温杯相对应的待处理红外图像与外观图像，其中，红外图像与外观图像均包括保温杯的杯底；将待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；在确定所述缺陷检测结果满足预设条件的情况下，依据杯底图像对杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果，质检结果包括质检等级。解决了保温杯质检准确度低的问题，提高保温杯质检准确度，保障保温杯品质。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种用于保温杯的质检方法的流程图；
图2是根据本发明实施例提供的另一种用于保温杯的质检方法的流程图；
图3是根据本发明实施例提供的一种具体的用于保温杯的质检方法的流程图；
图4是根据本发明实施例提供的一种具体的热成像设备与光学成像设备的安装位置示意图；
图5是根据本发明实施例提供的一种具体的坐标系转换方法的流程图；
图6是根据本发明实施例提供的一种具体的用于保温杯的质检方法的流程图；
图7是根据本发明实施例提供的一种具体的缺陷检测效果的示意图；
图8是根据本发明实施例提供的一种用于保温杯的质检装置的结构框图；
图9是根据本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例提供的一种用于保温杯的质检方法的流程图，本实施例可适用于对保温杯进行质检的场景，可以由用于保温杯的质检装置来执行，该用于保温杯的质检装置可以采用硬件和/或软件的形式实现，并配置于电子设备的处理器中。
如图1所示，用于保温杯的质检方法包括以下步骤：
S110、接收与保温杯相对应的待处理红外图像与外观图像，其中，红外图像与外观图像均包括保温杯的杯底。
红外热成像技术是一种利用红外辐射的热量分布图像来进行温度检测的技术，可以在无接触的情况下对物体进行温度测量，因此在许多领域都有广泛的应用，例如，医疗、军事和环保等领域。机器视觉质检技术则是一种利用计算机代替人眼进行测量和判断的技术，它可以通过对外观图像进行分析，实现目标对象的识别、定位和检测，因此，可以基于机器视觉对保温杯外观图像进行处理，可以确定保温杯外观是否包括划痕、异物、磕碰凹凸点等缺陷，评估保温杯的外观质量。但是，考虑到机器视觉质检技术主要依赖于光学成像，对于保温杯的保温性能检测能力有限，因此，本发明结合机器视觉质检技术和红外热成像技术，通过对多模态视觉信息进行融合，实现保温杯质检。
可选的，通过热成像设备得到保温杯相对应的待处理红外图像，通过光学成像设备得到与保温杯相对应的外观图像。具体的，在保温杯附近设置了红外相机和光学相机；基于光学相机拍摄保温杯的杯底，得到与保温杯相对应的外观图像；以及，基于红外热像仪拍摄保温杯的杯底，得到与保温杯相对应的待处理红外图像。
可以理解的是，为了检测保温杯的保温性能，还可以设置加热装置，以对保温杯进行加热。相对应的，通过热成像设备得到保温杯相对应的待处理红外图像，通过光学成像设备得到与保温杯相对应的外观图像，包括：在保温杯底部设置了加热装置，用于加热保温杯；在加热过程中，基于红外热像仪拍摄保温杯的杯底，得到与保温杯相对应的待处理红外图像；以及，基于光学相机拍摄保温杯的杯底，得到与保温杯相对应的外观图像。
可选的，接收与保温杯相对应的待处理红外图像与外观图像包括在满足预设质检条件时，将存储的保温杯红外图像和保温杯外观图像进行反馈，以得到待处理红外图像和外观图像。其中，预设质检条件是评估是否需要进行保温杯质检的条件，其具体的内容可以是确定了保温杯质检的设定时间周期。
可以理解的是，为了得到待处理红外图像与外观图像，可以将热成像设备与光学成像设备设置在固定位置，当检测到保温杯到达该位置时，对保温杯进行拍摄，因此，设置了位置传感器，用于检测保温杯的位置信息，接收保温杯的实时位置信息；在基于实时位置信息确定保温杯到达预设位置的情况下，控制热成像设备与光学成像设备对保温杯进行检测，以得到待处理红外图像与外观图像。
其中，位置传感器用于检测保温杯是否运输到预设位置。预设位置可以是热成像设备与光学成像设备附近的位置，例如，预设位置可以是既处于热成像设备相对应的检测范围，又处于光学成像设备相对应的检测范围内的任一位置。
具体的，接收位置传感器所检测到的保温杯位置信号，基于该位置信号，确定保温杯的实时位置；在确定该实时位置与预设位置一致的条件下，分别生成与热成像设备相对应的控制信号以及与光学成像设备相对应的控制信号，以基于该控制信号控制热成像设备与光学成像设备对保温杯进行拍摄，以得到待处理红外图像与外观图像。
可选的，位置传感器可以是距离传感器，还可以是基于二维码扫描、RFID等技术的传感器，本实施例对此不做具体限定。
S120、将待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像。
其中，图像处理模型用于对待处理红外图像进行图像分割，是预先训练的图像分割模型，相对应的，将待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像包括：将待处理红外图像输入至预先训练的图像处理模型中进行图像分割，图像处理模型输出与杯底相对应的红外图像，将其作为杯底红外图像。可选的，图像处理模型可以是语义分割（semantic segmentation）模型、实例分割（instance segmentation）模型或目标检测模型，本实施例对此不做具体限定。示例性的，图像处理模型可以是卷积神经网络（Convolutional Neural Networks，CNN）、YOLO（you only look once）或 SSD（singleshot detection）模型等。
可以理解的是，在使用数据检测模型进行之前，为了模型训练，需要先构建训练样本集，以基于训练样本集中的每个训练样本来训练图像处理模型。
本实施例中，构建训练样本集，包括：对于多个测试保温杯，确定与每个测试保温杯相对应的样本红外图像；基于每个测试保温杯相对应的样本红外图像，确定训练样本中的输入样本；确定与每个样本红外图像相对应的标准圆形区域，并确定与标准圆形区域相对应的圆形掩膜；其中，标准圆形区域包括标准杯底区域和/或标准杯底封口区域；基于各输入样本和相应的标准圆形区域和圆形掩膜，确定训练样本集中的训练样本。
其中，杯底封口区域是保温杯生产时，由于杯底冲压产生的凹点圆形，可以理解为保温杯的吸热区或排气孔。本实施例中，将该排气孔作为保温杯的热量检测区域，即，通过对保温杯的排气孔进行热量检测，以确定保温杯的保温性能。
其中，样本红外图像包括测试保温杯的杯底。本实施例中，确定与每个测试保温杯相对应的样本红外图像包括：对于每个测试保温杯，使用红外成像设备对其杯底进行拍摄，得到包括测试保温杯的杯底的红外图像，将其作为样本红外图像。
输入样本包括样本红外图像，相对应的，基于每个测试保温杯相对应的样本红外图像，确定训练样本中的输入样本包括：对于每个测试保温杯，将该保温杯的样本红外图像作为一个训练样本中的一个输入样本，以得到各训练样本所对应的输入样本。
可选的，确定标准杯底区域和标准杯底封口区域可以包括：对于每个样本红外图像，对该样本红外图像中的杯底区域所对应的圆形区域以及杯底封口区域所对应的圆形区域进行人工标注，以得到该样本红外图像相对应的标准杯底区域和标准杯底封口区域。
其中，掩膜（mask）可以用于提取感兴趣区域。由于杯底和杯底封口区域都是圆形，因此为了得到样本红外图像对应的标准杯底区域和标准杯底封口区域，可以制作与标准杯底区域相对应的圆形掩膜，以及与标准杯底封口区域相对应的圆形掩膜，以得到样本红外图像对应的标准圆形区域。
具体的，将预先制作的圆形掩膜与样本红外图像相乘，使得圆形掩膜区域内的红外图像像素值保持不变，而掩膜区域外的红外图像像素值都为0，得到与标准圆形区域相对应的红外图像，进一步的，将与标准圆形区域相对应的红外图像作为该训练样本中的标签数据。
可选的，基于各输入样本和相应的标准圆形区域和圆形掩膜，确定所述训练样本集中的训练样本，包括：对于各输入样本，基于圆形掩膜确定与当前输入样本相对应的标准圆形区域；将当前输入样本以及与当前样本相对应的标准圆形区域，作为当前训练样本。
本实施例中，基于训练样本集中的每个训练样本来训练图像处理模型，包括：对于各训练样本，将当前训练样本中的输入样本输入至图像处理模型中，基于圆形掩膜得到待处理预测圆形区域，待处理预测圆形区域包括预测杯底区域和/或预测杯底封口区域；基于待处理预测圆形区域以及当前训练样本中标准圆形区域，确定损失值，以基于损失值对图像处理模型中的模型参数进行修正；将图像处理模型中的损失函数收敛作为训练目标，得到图像处理模型。
其中，待处理预测圆形区域是图像处理模型输出的圆形区域，预测杯底区域是基于图像处理模型预测得到的杯底区域，预测杯底封口区域是基于图像处理模型预测得到的杯底封口区域。
其中，损失值是基于待处理预测圆形区域、当前训练样本中标准圆形区域以及损失函数确定的，其中，损失函数可以包括均方误差（mean-square error，MSE）、交叉熵损失函数（cross-entropy loss function）或平均绝对误差（Mean Absolute Error，MAE）。
本实施例中，对于各训练样本，将当前训练样本中的输入样本输入至图像处理模型中，输出与当前输入样本对应的预测杯底区域和预测杯底封口区域；基于预测杯底区域、预测杯底封口区域、当前训练样本中标准杯底区域、标准杯底封口区域和损失函数，确定与当前输入样本相对应的损失值；对图像处理模型中的模型参数进行修正，以使损失值减小；当损失函数收敛时，停止训练，得到图像处理模型。这样做的好处是，可以防止过拟合。
考虑到一些损失函数对于圆形区域的检测误差较大，因此，引入了圆形度损失函数，可以使得图像处理模型在检测圆形区域时，可以更准确地进行分割和定位。
示例性的，损失函数包括交叉熵损失函数和圆形度损失函数。相对应的，基于所述训练样本集中的每个训练样本来训练图像处理模型，包括：对于各训练样本，将当前训练样本中的输入样本输入至图像处理模型中，输出与当前输入样本对应的预测杯底区域和预测杯底封口区域；基于预测杯底区域、预测杯底封口区域、当前训练样本中标准杯底区域、标准杯底封口区域、交叉熵损失函数和圆形度损失函数，确定与当前输入样本相对应的损失值；对图像处理模型中的模型参数进行修正，以使损失值减小；当损失函数收敛时，停止训练，得到图像处理模型。
可以理解的是，对于交叉熵损失函数和圆形度损失函数，可以设置对应的权重，将权重作为模型参数，在模型训练过程中可以对权重进行调整，以使损失值减小。
进一步的，将待处理红外图像输入至经过训练的图像处理模型中进行图像分割，得到杯底红外图像和/或与杯底封口区域对应的红外图像。
S130、将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果。
缺陷检测模型用于对外观图像进行缺陷检测，是预先训练的缺陷检测模型，以得到与外观图像相对应的缺陷检测结果。其中，缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息。
相对应的，将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果包括：将外观图像输入至预先训练的缺陷检测模型中进行特征提取，缺陷检测模型输出与外观图像相对应的各种缺陷，以及与每种缺陷相对应的缺陷类型和该缺陷处于外观图像中的位置信息。
可选的，缺陷检测模型可以是目标检测模型，本实施例对此不做具体限定。示例性的，缺陷检测模型可以包括卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Network，RNN）、YOLO（you only look once）或 SSD（singleshot detection）模型等。
在一个具体的实施例中，首先，以各种缺陷类型保温杯的外观图像作为样本，以缺陷类型和缺陷在外观图像中的位置作为标签，对缺陷检测模型进行训练，得到经过训练的缺陷检测模型；将外观图像输入经过训练的缺陷检测模型，通过特征提取网络对外观图像进行特征提取，并通过预测网络对外观图像中的缺陷进行预测，得到关于缺陷的预测结果，该预测结果可以包括外观图像中的缺陷类型、数量和位置，实现外观图像的缺陷检测。
示例性的，缺陷检测模型包括YOLO v5模型，首先，基于光学相机得到的杯底外观图像，使用矩形框对杯底最大圆区域和杯底封口区域进行标注，将杯底最大圆区域设置为circle1标签，将杯底封口区域设置为circle2标签；同时，使用矩形框对杯底外观图像进行标注，得到油渍、划伤、异物、凹凸点等缺陷类型对应的图像区域；将上述标注数据按照预设比例（例如8；2）划分成训练集和测试集，以基于该训练集对缺陷检测模型进行训练，并基于该测试集对缺陷检测模型进行验证，以得到满足预设正确率的缺陷检测模型。
进一步的，将外观图像输入至缺陷检测模型中进行特征提取，得到与外观图像相对应的杯底图像，以及该外观图像所对应的各种缺陷类型，以及每种缺陷类型对应的缺陷位置信息。
可以理解的是，S120与S130可以同时进行。
S140、在确定缺陷检测结果满足预设条件的情况下，依据杯底图像对杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果。
可以理解的是，在一些应用场景中，缺陷检测结果与缺陷程度相关，即不同缺陷类型对应了不同的缺陷程度，可以理解的是，若缺陷程度较高，表明该保温杯已经有了严重缺陷，可以不对该保温杯进行进一步的性能检测，这样做的好处是，可以节省计算资源，提高质检效率。
其中，预设条件是用于评估是否需要进行性能检测的条件。
可选的，为了对缺陷程度进行量化，设置了缺陷等级，相对应的，预设条件包括缺陷等级未超过预设缺陷等级。相对应的，确定缺陷检测结果是否满足预设条件包括：对于每个缺陷，基于预先创建的缺陷类型与缺陷等级的对应关系，确定与当前缺陷类型相对应的目标缺陷等级；确定目标缺陷相对应的缺陷等级是否超过预设缺陷等级；若未超过，确定缺陷检测结果满足预设条件；若超过，确定缺陷检测结果不满足预设条件。
考虑到红外图像是一种热量分布图像，也就是说，红外图像中的像素值是基于热量分布确定的，进一步的，在对待处理红外图像进行图像分割时，得到杯底红外图像时，由于杯底附近温度差距较小，可能导致得到的杯底图像精度不高，因此，基于光学成像设备得到的杯底图像对杯底红外图像中的像素点进行位置矫正，以得到精确的红外图像中的杯底区域。
可选的，杯底红外图像是基于热成像设备得到的，杯底图像是基于光学成像设备得到的。相对应的，依据杯底图像对杯底红外图像中的像素点进行位置矫正通常涉及到四个坐标系之间的转换关系，其中，四个坐标系包括世界坐标系、相机坐标系、图像坐标系和像素坐标系。
可选的，性能检测结果包括杯底区域温度值，相对应的，基于矫正后的杯底红外图像，确定性能检测结果包括：基于校正后的杯底红外图像，确定杯底区域所对应的像素值；对于杯底区域所对应的每个像素值，确定该像素值所对应的像素温度值；基于所有像素温度值，确定杯底区域所对应的区域温度值，将区域温度值作为性能检测结果。
可选的，性能检测结果包括杯底封口区域温度值，相对应的，基于矫正后的杯底红外图像，确定性能检测结果包括：基于校正后的杯底红外图像，确定杯底封口区域所对应的像素值；对于杯底封口区域所对应的每个像素值，确定该像素值所对应的像素温度值；基于所有像素温度值，确定杯底封口区域所对应的封口区域温度值，基于该封口区域温度值确定性能检测结果。
考虑到在一些场景中，区域温度值与保温杯性能成反比，因此，至少一个预设温度值范围，以基于所述至少一个预设温度值范围确定保温杯性能。进一步的，每一个预设温度值范围与一个保温杯性能等级相对应的。相对应的，基于矫正后的杯底红外图像，确定性能检测结果包括：确定与区域温度值相对应的预设温度值范围，将该预设温度值范围所对应的性能等级作为与该区域温度值相对应的目标性能等级，将目标性能等级作为性能检测结果。
S150、基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果。
其中，在缺陷检测结果不满足预设条件的情况下，确定保温杯的缺陷程度较高，相对应的，基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果，包括：在缺陷检测结果不满足预设条件的情况下，基于缺陷检测结果确定保温杯的质检结果为质检不合格。
相对应的，在缺陷检测结果满足预设条件的情况下，基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果。
考虑到一些保温杯的缺陷等级和性能等级可能都较高，也就是说，一些保温杯虽然外观有瑕疵，但是保温性能较好，因此，可以设置质检等级，对于这类保温杯，将这类保温杯作为合格品，但不作为优等品。
可选的，质检结果包括质检等级，例如，质检等级包括性能等级和/或缺陷等级。相对应的，基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果，包括：基于缺陷检测结果确定缺陷等级，以及，基于性能检测结果确定缺陷等级；基于预先创建的待选择缺陷等级、待选择性能等级与待选择质检等级之间的对应关系，确定与该缺陷等级和性能等级相对应的质检等级，将其作为该保温杯的质检结果。
本实施例的技术方案，基于红外图像进行性能检测，并基于光学图像进行缺陷检测，通过多模态视觉信息融合，可以对保温杯的外观和内部质量进行检测，实现对保温杯的全方位质检，提高保温杯质检准确度，保障保温杯品质。
图2是根据本发明实施例提供的另一种用于保温杯的质检方法的流程图，本实施例可适用于对保温杯进行批量质检的场景，本实施例与上述实施例中的用于保温杯的质检方法属于同一个发明构思，在上述实施例的基础上，进一步描述了依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果的过程。
如图2所示，该用于保温杯的质检方法包括：
S210、接收与保温杯相对应的待处理红外图像与外观图像，其中，红外图像与外观图像均包括保温杯的杯底和杯底封口区域。
S220、将待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像。
S230、将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果。
本实施例中，缺陷检测模型用于对外观图像进行缺陷检测，是预先训练的缺陷检测模型，以得到与外观图像相对应的缺陷检测结果。其中，缺陷检测结果中包括至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型以及相应的缺陷等级，相对应的，将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，包括：基于缺陷检测模型对外观图像进行特征提取，得到与杯底相对应的杯底图像、至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型；对于每个缺陷区域，基于预先创建的缺陷类型与缺陷等级的对应关系，确定与缺陷区域相对应的目标缺陷等级；基于缺陷区域、缺陷区域相对应的缺陷类型以及目标缺陷等级，确定与保温杯相对应的缺陷检测结果。
其中，基于缺陷检测模型对外观图像进行特征提取，得到与杯底相对应的杯底图像、至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型包括：将外观图像输入至缺陷检测模型中进行特征提取，得到与外观图像相对应的杯底图像，以及该外观图像所对应的各缺陷区域，以及与每个缺陷区域相对应的缺陷类型。
进一步的，对于每个缺陷区域，基于预先创建的缺陷类型与缺陷等级的对应关系，确定与该缺陷区域的缺陷类型相对应的目标缺陷等级；将缺陷区域、缺陷区域相对应的缺陷类型以及目标缺陷等级。
可选的，基于缺陷区域、缺陷区域相对应的缺陷类型以及目标缺陷等级，确定与保温杯相对应的缺陷检测结果包括：对于每个缺陷，将该缺陷相对应的缺陷区域、该缺陷区域相对应的缺陷类型以及目标缺陷等级，作为与该缺陷相对应的缺陷检测结果，以得到该保温杯所对应的缺陷检测结果。
可以理解的是，S220与S230可以同时进行。
S240、在确定缺陷检测结果满足预设条件的情况下，确定与杯底图像相对应的光学设备坐标系，并确定与杯底红外图像相对应的热成像设备坐标系。
可以理解的是，为了减少坐标转换过程中的计算量，参考图3，可以对热成像设备301和光学成像设备302的位置进行设置，同时设置了反光片303，可以使得热成像设备301所对应的图像坐标系与光学成像设备302所对应的图像坐标系保持一致，其中，反光片303的材质需要可以透光且不过多吸收热量，以透热对保温杯304成像。因此这种方式，需要对反光片的材料要求较高，增加了硬件成本，因此，可以增加算法复杂度，节约硬件成本。
参考图4，对热成像设备301和光学成像设备302的设置位置无需特意设定，仅通过设置标定算法确定热成像设备301和光学成像设备302之间的坐标转换关系，没有增加硬件成本。需要说明的是，图4中的两个光学成像设备302仅为示例，实际使用中，光学成像设备302的数量可以是一个，也可以是多个，使用多个光学成像设备302的好处在于，可以得到多角度的外观图像，增加缺陷检测准确度。
S250、基于光学设备坐标系与热成像设备坐标系之间的坐标转换关系，将杯底红外图像中各像素点位置转换至杯底图像所对应的光学设备坐标系中。
确定光学设备坐标系与热成像设备坐标系之间的坐标转换关系包括以下步骤：
首先，确定杯底图像所对应的像素坐标系与杯底红外图像所对应的像素坐标系之间的坐标转换关系如公式（1）：
（1）；
其中，Dx是相对于X轴方向的平移距离，Dx是相对于Y轴方向的平移距离，θ是光学设备坐标系与热成像设备坐标系之间的夹角，m是两个光学设备坐标系与热成像设备坐标系之间的单位量度缩放尺度因子。（x,y）是光学设备所对应的像素坐标系，（X,Y）是热成像设备所对应的像素坐标系。
进一步的，基于最小二乘优化算法计算上述四个参数：
确定与上述矩阵相对应的线性公式：
（2）；
每一个（x,y）可通过公式（2）计算得到观测值（X’,Y’）以得到公式（3）：
（3）；
将dx、dy、m、θ作为未知数，将公式（2）和公式（3）线性化展开，并保留一次项，得到：
（4）；
将公式（4）写成得到公式（5）的矩阵形式：
（5）；
进一步的，对公式（5）求解，得到公式（6）：
P=(BTB)-1BTL（6）。
参考图5，与上述步骤相对应的编程实现过程：
1）未知数近似值的求解，可选取任意两点，采用上述直接法求得；
2）B矩阵元素的计算，采用1）求得的近似值，代入线性化后的误差方程式计算系数项，每对公共点可列两个误差方程式，可计算得B矩阵，即：
（7）；
3）L矩阵元素的计算，采用1）求得的近似值，基于（x,y）得出（X’,Y’），基于公共点坐标得到L矩阵，对于每对公共点坐标，求得L矩阵中的两个元素，即（X-X’）和（Y-Y’），得到：
（8）；
4）如果未知数的初值不够准确，则需要迭代计算，也就是说，将解出的参数加到对应的初值上，形成新的初值，重复上述过程进行迭代，直到参数接近于0，或处于对应的阈值，结束迭代。
S260、基于矫正后的杯底红外图像，确定与杯底封口区域相对应的封口区域红外图像，以得到与封口区域红外图像相对应的区域温度。
其中，将杯底封口区域作为保温杯的热量检测区域，封口区域红外图像是杯底红外图像中，与热量检测区域相对应的区域图像。
相对应的，基于矫正后的杯底红外图像，确定与杯底封口区域相对应的封口区域红外图像，以得到与封口区域红外图像相对应的区域温度包括：基于校正后的杯底红外图像，确定杯底封口区域所对应的杯底封口区域红外图像；对于杯底封口区域红外图像，确定杯底封口区域所对应的每个像素的像素值，并确定该像素值所对应的像素温度值；基于所有像素温度值，确定杯底分封口区域所对应的封口区域温度值，将其作为区域温度。
可选的，基于所有像素温度值，确定杯底分封口区域所对应的封口区域温度值，可以包括：确定杯底封口区域所对应的所有像素温度值的至少一个统计指标，基于该至少一个统计指标确定杯底封口区域所对应的封口区域温度值。其中，统计指标可以包括：平均值、中位数、众数、方差、偏度、峰度以及最值中的至少一种。
S270、基于区域温度与预设温度，确定性能检测结果。
其中，性能检测结果包括性能合格和性能不合格。
具体的，若区域温度小于或等于预设温度，确定性能检测结果为性能合格；若区域温度大于预设温度，确定性能检测结果为性能不合格。
S280、基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果。
本实施例的技术方案，确定封口区域温度值，并基于封口区域温度值与预设温度，确定性能检测结果，可以提高性能检测准确度，进一步提高保温杯之间准确度。
图6是根据本发明实施例提供的一种具体的用于保温杯的质检方法的流程图，如图6所示，该方法包括：
第一步，基于位置传感器检测到保温杯实时位置。
第二步，在确定保温杯到达预设位置时，触发普通光学相机和热成像相机对保温杯拍照，以得到包括保温杯外部杯底的红外图像与外观图像，将大量红外图像与外观图像作为训练样本，以得到圆分割模型和目标检测模型的训练数据集，或者，基于红外图像进行圆分割，基于外观图像进行目标检测，得到性能检测结果和缺陷检测结果。
第三步，对热成像相机和普通光学相机两者之间的坐标系进行标定，即得到平移矩阵与旋转矩阵。
第四步，训练圆分割模型PaddleSeg。
具体的，圆分割模型是语义分割模型PaddleSeg，该模型包括MobileSeg网络，该网络的主干网络（backbone）包括Mobilenetv2结构，本实施例中，参考公式（9），将PaddleSeg原有的损失函数修改为交叉熵损失（Ohem Cross Entropy Loss）函数和圆形度损失（Roundness Loss）函数：
（9）；
其中，圆形度损失函数（RoundnessLoss）为：
（10）；
其中，RoundnessLoss表示训练预测的mask的圆度，sum(mask_pixel)表示训练预测的mask的像素总数；l表示训练预测的mask边界像素周长个数；α是一个超参，本实施例中，α=0.2。
基于该损失函数对训练圆分割模型，得到杯底区域相对应的杯底红外图像、杯底冲压产生的凹点圆形区域所对应的红外图像，将凹点圆形区域所对应的红外图像作为杯底封口区域红外图像。
第四步，训练YOLOv5目标检测模型，检测目标类为杯底圆形、杯底冲压产生的凹点圆形、划伤、异物、磕碰凹凸点等外观缺陷。
具体的，将光学相机拍照的图片进行数据标注，得到训练集数据，标注标准包括：使用矩形框标出杯底最大圆区域，设置为circle1标签，并使用矩形框标出杯底凹形圆形区域，设置为circle2标签；使用矩形框标出划伤、异物、磕碰凹凸点等表面缺陷，设置为对应的类型标签。将上述标注数据按照8：2比例划分成训练集和测试集，对目标检测进行训练，得到缺陷检测效果（参考图7），该模型可以正确检出circle1杯底801、circle2杯底冲压凹点802，而且还检测出来油渍803、凹凸点804、划伤805等保温杯杯底外表面缺陷。
进一步的，将目标检测模型检出的一系列油渍、划伤、凹凸点等外观缺陷，根据数量、面积、严重程度进行等级划分，判断其是否为合格品还是瑕疵品。
第五步，基于目标检测模型得到的圆形目标（杯底圆形和杯底冲压产生的凹点圆形）对圆分割模型输出的杯底红外图像和杯底封口区域红外图像进行辅助定位。
具体的，根据第三步标定得到的坐标系转换矩阵，对杯底红外图像和杯底封口区域红外图像进行坐标转换，得到矫正后的杯底红外图像和杯底封口区域红外图像。
示例性的，将目标检测模型的circle1区域与圆分割模型获取的杯底mask圆形区域，进行坐标系转换矩阵进行对齐转换，并进行区域或操作，尽量将其区域检出减少其区域漏检概率。同理，circle2区域与圆分割模型获取的杯底凹点mask圆形区域进行对其转换，并其两者区域进行或操作，尽量将其区域检出减少其区域漏检概率。因为，环境温度或者一些其他干扰导致热成像相机温度区分度不是那么明显无法很好将杯底、杯底凹点与周围背景环境进行区分，借助光学相机进行区域辅助定位防止温度区域漏检导致错误发生。
第六步，对于矫正后的杯底封口区域红外图像，计算杯底封口区域所对应的温度均值，若该温度均值超出预设质检温度值，确定该保温杯为不合格品；以及，基于目标检测模型得到的外观缺陷类型，确定与该缺陷类型相对应的缺陷等级，并基于该缺陷等级确定是否为严重缺陷，若是严重缺陷，确定该保温杯为不合格品。
本实施例的技术方案，不仅能正确测出保温杯的保温性能，而且能够精准的对其外部缺陷进行检测，通过多模态视觉信息融合，可以更全面、更准确地对保温杯进行质检。
图8是根据本发明实施例提供的一种用于保温杯的质检装置的结构框图，本实施例可适用于对批量烟丝进行分装的场景，该装置可以采用硬件和/或软件的形式实现，集成于具有应用开发功能的电子设备的处理器中。
如图8所示，该用于保温杯的质检装置包括：图像接收模块901，用于接收与保温杯相对应的待处理红外图像与外观图像，其中，红外图像与外观图像均包括保温杯的杯底；图像分割模块902，用于将待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，缺陷检测模块903，用于将外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；性能检测模块904，用于在确定缺陷检测结果满足预设条件的情况下，依据杯底图像对杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；质检结果确定模块905，用于基于缺陷检测结果和/或性能检测结果，确定保温杯的质检结果，质检结果包括质检等级。解决了保温杯质检准确度低的问题，提高保温杯质检准确度，保障保温杯品质。
可选的，该装置还包括位置检测模块，该位置检测模块用于：
接收保温杯的实时位置信息；
在基于实时位置信息确定保温杯到达预设位置的情况下，控制热成像设备与光学成像设备对保温杯进行检测，以得到待处理红外图像与外观图像。
可选的，缺陷检测模块903具体用于：
基于缺陷检测模型对外观图像进行特征提取，得到与杯底相对应的杯底图像、至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型；
对于每个缺陷区域，基于预先创建的缺陷类型与缺陷等级的对应关系，确定与缺陷区域相对应的目标缺陷等级；
基于缺陷区域、缺陷区域相对应的缺陷类型以及目标缺陷等级，确定与保温杯相对应的缺陷检测结果。
可选的，预设条件包括所述缺陷等级未超过预设缺陷等级。
可选的，性能检测模块904包括图像矫正单元，该图像矫正单元用于：
确定与杯底图像相对应的光学设备坐标系，并确定与杯底红外图像相对应的热成像设备坐标系；
基于光学设备坐标系与热成像设备坐标系之间的坐标转换关系，将杯底红外图像中各像素点位置转换至杯底图像所对应的光学设备坐标系中。
可选的，性能检测模块904还包括性能检测单元，该性能检测单元具体用于：
基于矫正后的杯底红外图像，确定与杯底封口区域相对应的封口区域红外图像，以得到与封口区域红外图像相对应的区域温度；
基于区域温度与预设温度，确定性能检测结果，性能检测结果包括性能合格和性能不合格。
可选的，该装置还包括模型训练模块，该模型训练模块用于：
构建训练样本集，以基于训练样本集中的每个训练样本来训练图像处理模型；
可选的，该模型训练模块包括样本构建单元，该样本构建单元具体用于：
对于多个测试保温杯，确定与每个测试保温杯相对应的样本红外图像；
基于所述每个测试保温杯相对应的样本红外图像，确定训练样本中的输入样本；
确定与每个样本红外图像相对应的标准圆形区域，并确定与标准圆形区域相对应的圆形掩膜；其中，标准圆形区域包括标准杯底区域和/或标准杯底封口区域；
基于各输入样本和相应的标准圆形区域和圆形掩膜，确定训练样本集中的训练样本。
可选的，该模型训练模块包括模型训练单元，该模型训练单元具体用于：
对于各训练样本，将当前训练样本中的输入样本输入至所述图像处理模型中，基于圆形掩膜得到待处理预测圆形区域，所述待处理预测圆形区域包括预测杯底区域和/或预测杯底封口区域；
基于待处理预测圆形区域以及当前训练样本中标准圆形区域，确定损失值，以基于损失值对图像处理模型中的模型参数进行修正；
将图像处理模型中的损失函数收敛作为训练目标，得到图像处理模型，损失函数包括交叉熵损失函数和圆形度损失函数。
本发明实施例所提供的用于保温杯的质检装置可执行本发明任一实施例所提供的用于保温杯的质检方法，具备执行方法相应的功能模块和有益效果。
图9是根据本发明实施例提供的一种电子设备的结构框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如用于保温杯的质检方法。
在一些实施例中，用于保温杯的质检方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的用于保温杯的质检方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行用于保温杯的质检方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程用于保温杯的质检装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种用于保温杯的质检方法，其特征在于，包括：
接收与保温杯相对应的待处理红外图像与外观图像，其中，所述红外图像与外观图像均包括所述保温杯的杯底；
将所述待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，
将所述外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，所述缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；
在确定所述缺陷检测结果满足预设条件的情况下，依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；
基于所述缺陷检测结果和/或所述性能检测结果，确定所述保温杯的质检结果，所述质检结果包括质检等级；
其中，所述杯底红外图像是基于热成像设备得到的，所述杯底图像是基于光学成像设备得到的，
所述依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，包括：
确定与所述杯底图像相对应的光学设备坐标系，并确定与所述杯底红外图像相对应的热成像设备坐标系；
基于所述光学设备坐标系与所述热成像设备坐标系之间的坐标转换关系，将所述杯底红外图像中各像素点位置转换至所述杯底图像所对应的光学设备坐标系中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述保温杯的实时位置信息；
在基于所述实时位置信息确定所述保温杯到达预设位置的情况下，控制热成像设备与光学成像设备对所述保温杯进行检测，以得到所述待处理红外图像与所述外观图像。
3.根据权利要求1所述的方法，其特征在于，缺陷检测结果中包括至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型以及相应的缺陷等级，
所述将所述外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，包括：
基于所述缺陷检测模型对所述外观图像进行特征提取，得到与所述杯底相对应的杯底图像、至少一个缺陷区域、所述至少一个缺陷区域所对应的缺陷类型；
对于每个缺陷区域，基于预先创建的缺陷类型与缺陷等级的对应关系，确定与所述缺陷区域相对应的目标缺陷等级；
基于所述缺陷区域、所述缺陷区域相对应的缺陷类型以及目标缺陷等级，确定与所述保温杯相对应的缺陷检测结果。
4.根据权利要求1所述的方法，其特征在于，所述预设条件包括所述缺陷类型所对应的缺陷等级未超过预设缺陷等级。
5.根据权利要求1所述的方法，其特征在于，所述杯底包括杯底封口区域，
所述基于矫正后的杯底红外图像，确定性能检测结果，包括：
基于所述矫正后的杯底红外图像，确定与所述杯底封口区域相对应的封口区域红外图像，以得到与所述封口区域红外图像相对应的区域温度；
基于所述区域温度与预设温度，确定所述性能检测结果，所述性能检测结果包括性能合格和性能不合格。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建训练样本集，以基于所述训练样本集中的每个训练样本来训练所述图像处理模型；
所述构建训练样本集，包括：
对于多个测试保温杯，确定与每个测试保温杯相对应的样本红外图像；
基于所述每个测试保温杯相对应的样本红外图像，确定训练样本中的输入样本；
确定与每个样本红外图像相对应的标准圆形区域，并确定与所述标准圆形区域相对应的圆形掩膜；其中，所述标准圆形区域包括标准杯底区域和/或标准杯底封口区域；
基于各输入样本和相应的标准圆形区域和圆形掩膜，确定所述训练样本集中的训练样本。
7.根据权利要求6所述的方法，其特征在于，所述基于所述训练样本集中的每个训练样本来训练图像处理模型，包括：
对于各训练样本，将当前训练样本中的输入样本输入至所述图像处理模型中，基于所述圆形掩膜得到待处理预测圆形区域，所述待处理预测圆形区域包括预测杯底区域和/或预测杯底封口区域；
基于所述待处理预测圆形区域以及所述当前训练样本中标准圆形区域，确定损失值，以基于所述损失值对所述图像处理模型中的模型参数进行修正；
将所述图像处理模型中的损失函数收敛作为训练目标，得到所述图像处理模型，所述损失函数包括交叉熵损失函数和圆形度损失函数。
8.一种用于保温杯的质检装置，其特征在于，所述装置包括：
图像接收模块，用于接收与保温杯相对应的待处理红外图像与外观图像，其中，所述红外图像与外观图像均包括所述保温杯的杯底；
图像分割模块，用于将所述待处理红外图像输入至图像处理模型中进行图像分割，得到杯底红外图像；以及，
缺陷检测模块，用于将所述外观图像输入至缺陷检测模型中进行特征提取，得到杯底图像和缺陷检测结果，其中，所述缺陷检测结果包括至少一个缺陷相对应的缺陷类型和缺陷位置信息；
性能检测模块，用于在确定所述缺陷检测结果满足预设条件的情况下，依据所述杯底图像对所述杯底红外图像中的像素点进行位置矫正，以基于矫正后的杯底红外图像，确定性能检测结果；
质检结果确定模块，用于基于所述缺陷检测结果和/或所述性能检测结果，确定所述保温杯的质检结果，所述质检结果包括质检等级；
其中，所述杯底红外图像是基于热成像设备得到的，所述杯底图像是基于光学成像设备得到的，所述性能检测模块包括图像矫正单元，所述图像矫正单元用于：
确定与杯底图像相对应的光学设备坐标系，并确定与杯底红外图像相对应的热成像设备坐标系；
基于光学设备坐标系与热成像设备坐标系之间的坐标转换关系，将杯底红外图像中各像素点位置转换至杯底图像所对应的光学设备坐标系中。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的用于保温杯的质检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410147392.8A CN117710366B (zh) | 2024-02-02 | 2024-02-02 | 用于保温杯的质检方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410147392.8A CN117710366B (zh) | 2024-02-02 | 2024-02-02 | 用于保温杯的质检方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710366A CN117710366A (zh) | 2024-03-15 |
| CN117710366B true CN117710366B (zh) | 2024-05-14 |
Family
ID=90162718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410147392.8A Active CN117710366B (zh) | 2024-02-02 | 2024-02-02 | 用于保温杯的质检方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710366B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6610953B1 (en) * | 1998-03-23 | 2003-08-26 | University Of Arkansas | Item defect detection apparatus and method |
| WO2019097265A1 (en) * | 2017-11-20 | 2019-05-23 | Gkn Aerospace Services Limited | Defect detection and correction in additive manufacturing |
| CN111462092A (zh) * | 2020-04-02 | 2020-07-28 | 浙江工业大学 | 一种基于深度学习的保温杯表面的缺陷检测方法 |
| CN112233133A (zh) * | 2020-10-29 | 2021-01-15 | 上海电力大学 | 基于otsu和区域生长法的电厂高温管道缺陷检测与分割方法 |
| CN112732032A (zh) * | 2020-12-28 | 2021-04-30 | 西安易朴通讯技术有限公司 | Pcie卡的固定结构及电子设备 |
| WO2022029675A1 (en) * | 2020-08-06 | 2022-02-10 | Smartex Unipessoal Lda. | Systems and methods for defect detection and quality control |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN114972397A (zh) * | 2022-06-21 | 2022-08-30 | 湘潭大学 | 一种用于风电叶片复合材料的红外图像缺陷轮廓检测方法 |
| CN115018784A (zh) * | 2022-05-31 | 2022-09-06 | 广东电网有限责任公司 | 一种导线散股缺陷的检测方法、装置、设备及介质 |
| CN115342996A (zh) * | 2022-07-21 | 2022-11-15 | 杭州电子科技大学 | 一种保温杯质量检测装置及其检测方法 |
| CN115760854A (zh) * | 2023-01-09 | 2023-03-07 | 佰聆数据股份有限公司 | 基于深度学习的电力设备缺陷检测方法、装置及电子设备 |
| CN116309303A (zh) * | 2023-01-09 | 2023-06-23 | 广州智飞科技有限公司 | 基于红外图像的电气设备缺陷检测方法、装置及相关设备 |
| CN116416513A (zh) * | 2021-12-28 | 2023-07-11 | Tcl科技集团股份有限公司 | 信息获取方法、装置、电子设备及计算机可读存储介质 |
| CN116468714A (zh) * | 2023-04-19 | 2023-07-21 | 深圳供电局有限公司 | 绝缘子缺陷检测方法、***和计算机可读存储介质 |
| JP2023137057A (ja) * | 2022-03-17 | 2023-09-29 | 日本山村硝子株式会社 | 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置 |
| CN116952958A (zh) * | 2023-09-18 | 2023-10-27 | 杭州百子尖科技股份有限公司 | 缺陷检测方法、装置、电子设备及存储介质 |
| CN116977271A (zh) * | 2023-04-19 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 缺陷检测方法、模型训练方法、装置及电子设备 |
| CN117030129A (zh) * | 2023-06-25 | 2023-11-10 | 嘉兴环强机械有限公司 | 纸杯在线检漏方法及其*** |
| CN117333443A (zh) * | 2023-09-27 | 2024-01-02 | 内蒙古霍煤鸿骏铝电有限责任公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018208791A1 (en) * | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
-
2024
- 2024-02-02 CN CN202410147392.8A patent/CN117710366B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6610953B1 (en) * | 1998-03-23 | 2003-08-26 | University Of Arkansas | Item defect detection apparatus and method |
| WO2019097265A1 (en) * | 2017-11-20 | 2019-05-23 | Gkn Aerospace Services Limited | Defect detection and correction in additive manufacturing |
| CN111462092A (zh) * | 2020-04-02 | 2020-07-28 | 浙江工业大学 | 一种基于深度学习的保温杯表面的缺陷检测方法 |
| WO2022029675A1 (en) * | 2020-08-06 | 2022-02-10 | Smartex Unipessoal Lda. | Systems and methods for defect detection and quality control |
| CN112233133A (zh) * | 2020-10-29 | 2021-01-15 | 上海电力大学 | 基于otsu和区域生长法的电厂高温管道缺陷检测与分割方法 |
| WO2022121531A1 (zh) * | 2020-12-09 | 2022-06-16 | 歌尔股份有限公司 | 一种产品缺陷检测方法和装置 |
| CN112732032A (zh) * | 2020-12-28 | 2021-04-30 | 西安易朴通讯技术有限公司 | Pcie卡的固定结构及电子设备 |
| CN116416513A (zh) * | 2021-12-28 | 2023-07-11 | Tcl科技集团股份有限公司 | 信息获取方法、装置、电子设备及计算机可读存储介质 |
| JP2023137057A (ja) * | 2022-03-17 | 2023-09-29 | 日本山村硝子株式会社 | 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置 |
| CN115018784A (zh) * | 2022-05-31 | 2022-09-06 | 广东电网有限责任公司 | 一种导线散股缺陷的检测方法、装置、设备及介质 |
| CN114972397A (zh) * | 2022-06-21 | 2022-08-30 | 湘潭大学 | 一种用于风电叶片复合材料的红外图像缺陷轮廓检测方法 |
| CN115342996A (zh) * | 2022-07-21 | 2022-11-15 | 杭州电子科技大学 | 一种保温杯质量检测装置及其检测方法 |
| CN115760854A (zh) * | 2023-01-09 | 2023-03-07 | 佰聆数据股份有限公司 | 基于深度学习的电力设备缺陷检测方法、装置及电子设备 |
| CN116309303A (zh) * | 2023-01-09 | 2023-06-23 | 广州智飞科技有限公司 | 基于红外图像的电气设备缺陷检测方法、装置及相关设备 |
| CN116468714A (zh) * | 2023-04-19 | 2023-07-21 | 深圳供电局有限公司 | 绝缘子缺陷检测方法、***和计算机可读存储介质 |
| CN116977271A (zh) * | 2023-04-19 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 缺陷检测方法、模型训练方法、装置及电子设备 |
| CN117030129A (zh) * | 2023-06-25 | 2023-11-10 | 嘉兴环强机械有限公司 | 纸杯在线检漏方法及其*** |
| CN116952958A (zh) * | 2023-09-18 | 2023-10-27 | 杭州百子尖科技股份有限公司 | 缺陷检测方法、装置、电子设备及存储介质 |
| CN117333443A (zh) * | 2023-09-27 | 2024-01-02 | 内蒙古霍煤鸿骏铝电有限责任公司 | 一种缺陷检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 基于Faster RCNN的配网设备红外图像缺陷识别方法;薛艺为;孙奇珍;党卫军;;信息技术;20200722(07);正文全文 * |
| 基于Firefly-RK3288的纸杯污渍检测***设计研究;王宇轩;杨宁;高雅;代作晓;;现代计算机(专业版);20171015(29);正文全文 * |
| 基于深度学习语义分割的导光板缺陷检测方法;柳锋;李俊峰;戴文战;;计算机***应用;20200615(06);正文全文 * |
| 基于脉冲涡流热成像的铁磁性构件缺陷检测;高阳;范玉刚;杨明莉;李宝芸;吴涛;;陕西理工大学学报(自然科学版);20200220(01);正文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710366A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111337142A (zh) | 体温修正方法、装置及电子设备 | |
| CN112489140B (zh) | 姿态测量方法 | |
| CN111462225A (zh) | 一种红外光斑图像的质心识别定位方法 | |
| CN116952958B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
| TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
| CN113781415B (zh) | 一种x射线图像的缺陷检测方法、装置、设备及介质 | |
| CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN117710366B (zh) | 用于保温杯的质检方法、装置和存储介质 | |
| CN116124081B (zh) | 一种非接触式的工件检测方法、装置、电子设备及介质 | |
| CN117437238A (zh) | 一种封装ic表面缺陷视觉检测方法 | |
| CN113446932A (zh) | 非接触式裂纹测量方法及其*** | |
| CN117173154A (zh) | 玻璃瓶的在线图像检测***及其方法 | |
| Liu et al. | Extreme learning machine and moving least square regression based solar panel vision inspection | |
| CN113379772B (zh) | 基于背景消除及跟踪算法的复杂环境下的移动测温方法 | |
| CN115909151A (zh) | 一种复杂工作条件下运动容器编号识别方法 | |
| CN114821035A (zh) | 一种电力设备红外测温设备距离参数识别方法 | |
| CN110874837B (zh) | 一种基于局部特征分布的缺陷自动检测方法 | |
| CN117689660A (zh) | 基于机器视觉的保温杯温度质检方法 | |
| CN117173156B (zh) | 基于机器视觉的极片毛刺检测方法、装置、设备及介质 | |
| CN116952166B (zh) | 汽车门把手总成的零件检测方法、装置、设备及介质 | |
| CN113920096B (zh) | 一种集成电路金属封装缺陷检测方法 | |
| CN117974667B (zh) | 一种全自动视觉分拣控制方法及*** | |
| CN116182807B (zh) | 一种姿态信息确定方法、装置、电子设备、***和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |