CN112785587B - 堆叠生产过程中的异物检测方法、***、设备及介质 - Google Patents
堆叠生产过程中的异物检测方法、***、设备及介质 Download PDFInfo
- Publication number
- CN112785587B CN112785587B CN202110157686.5A CN202110157686A CN112785587B CN 112785587 B CN112785587 B CN 112785587B CN 202110157686 A CN202110157686 A CN 202110157686A CN 112785587 B CN112785587 B CN 112785587B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- stacking
- detection
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 314
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 79
- 239000011159 matrix material Substances 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 32
- 230000017105 transposition Effects 0.000 claims description 29
- 238000012546 transfer Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 8
- 229910000976 Electrical steel Inorganic materials 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 101100491335 Caenorhabditis elegans mat-2 gene Proteins 0.000 description 3
- 101100495256 Caenorhabditis elegans mat-3 gene Proteins 0.000 description 3
- 102100040428 Chitobiosyldiphosphodolichol beta-mannosyltransferase Human genes 0.000 description 3
- 101000891557 Homo sapiens Chitobiosyldiphosphodolichol beta-mannosyltransferase Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种堆叠生产过程中的异物检测方法、***、设备及介质，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；异物检测方法包括：针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。本发明通过直接利用上一层的堆叠目标对应的图像作为参考图像，与该层堆叠目标的检测图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种堆叠生产过程中的异物检测方法、***、设备及介质。
背景技术
在工业生产过程中，经常涉及堆叠生产过程。堆叠生产过程是指将预备的固定样式或尺寸的原材料或者半成品按照设计规则逐层完成堆放或拼接，以实现设计方案或者生产工艺的应用。在堆叠生产过程中通常要求零异物参与生产过程，即不属于堆叠过程的材料或者硬件不允许参与堆叠，尤其是拒绝外来物件出现在关键接触面。
目前针对堆叠过程的异物检测方法主要包括传感器设备方法和智能图像处理方法。传感器设备方法是指在堆叠生产过程的产线周边布置诸如激光传感、接近传感等各类传感器并配合逻辑控制器以实现对堆叠过程的异物检测。智能图像处理方法则通过采图相机和机器学习算法结合对堆叠过程的每一个关键接触面进行拍照和检测。
传感器设备方法检测用时较低，可以实现实时检测，但是该方法针对性比较局限，在复杂工艺、复杂环境、大尺寸堆叠生产过程的异物检测上应用困难，且一次性投入成本较高。智能图像处理方法需要根据检测需求配置相应尺寸和精度的采图相机并开发满足目标的异物检测算法，以适应各种复杂异物检测需求，虽然硬件投入相对较小，但是需结合机器学习等高级算法，导致软件开发成本较高，开发周期较长，效率偏低。
发明内容
本发明要解决的技术问题是为了克服现有技术中智能图像处理方法需要结合机器学习等高级算法导致软件开发成本较高，开发周期较长，效率偏低的缺陷，提供一种堆叠生产过程中的异物检测方法、***、设备及介质。
本发明是通过下述技术方案来解决上述技术问题：
一种堆叠生产过程中的异物检测方法，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
所述异物检测方法包括：
针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像。
较佳地，所述将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
使用包围盒算法获取所述检测图像的包围盒数据；
判断所述包围盒数据是否满足第一预设条件；
若是，则将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
若否，则将所述检测图像与所述参考图像进行位置配准；
将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述判断所述包围盒数据是否满足第一预设条件的步骤具体包括：
预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；
所述将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
将所述检测图像与所述参考图像进行位置配准；
将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述将所述检测图像与所述参考图像进行位置配准的步骤具体包括：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准。
较佳地，所述将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
一种堆叠生产过程中的异物检测***，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
所述异物检测***包括：
检测图像获取模块，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
特征对比模块，用于将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像。
较佳地，所述特征对比模块具体包括：数据获取单元、判断单元、第一特征对比单元、第二特征对比单元和第一配准单元；
所述数据获取单元，用于使用包围盒算法获取所述检测图像的包围盒数据；
所述判断单元，用于判断所述包围盒数据是否满足第一预设条件；
若是，则调用所述第一特征对比单元；若否，则调用所述第一配准单元；
所述第一特征对比单元，用于将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述第一配准单元，用于将所述检测图像与所述参考图像进行位置配准；
所述第二特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述判断单元具体还用于：
预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；
所述第一特征对比单元具体还用于：
将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述特征对比模块具体还包括：第二配准单元和第三特征对比单元；
所述第二配准单元，用于将所述检测图像与所述参考图像进行位置配准；
所述第三特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述第一配准单元具体用于：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；
和/或，
所述第二特征对比单元具体用于：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
较佳地，所述第二配准单元具体用于：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；
和/或，
所述第三特征对比单元具体用于：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述中任意一项所述的堆叠生产过程中的异物检测方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述中任意一项所述的堆叠生产过程中的异物检测方法的步骤。
本发明的积极进步效果在于：本发明针对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。
附图说明
图1为本发明实施例1的堆叠生产过程中的异物检测方法的流程示意图。
图2为本发明实施例2的堆叠生产过程中的异物检测方法的流程示意图。
图3为本发明实施例2的另一实施方式的堆叠生产过程中的异物检测方法的部分流程示意图。
图4为本发明实施例3的堆叠生产过程中的异物检测***的结构示意图。
图5为本发明实施例4的堆叠生产过程中的异物检测***的结构示意图。
图6为本发明实施例5的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种堆叠生产过程中的异物检测方法，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；理论上，在堆叠生产过程中每一层的堆叠目标堆叠好之后的布局都是相同的。
如图1所示，异物检测方法包括以下步骤：
101、针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像。需要说明的是，堆叠生产过程中，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物。如果第一层的堆叠目标的表面实际出现了异物，该异物会在下一层的异物检测中被检测出来。
102、将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。
本实施例的堆叠生产过程中的异物检测方法，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物，针对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。
实施例2
本实施例提供一种堆叠生产过程中的异物检测方法是对实施例1的进一步改进，具体的，如图2所示，步骤102具体包括：
1021、使用包围盒算法获取检测图像的包围盒数据。需要说明的是，包围盒(BoundBox)是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体来近似地代替复杂的几何对象，通过包围盒可快速获取检测图像的边框和顶点信息，比如，堆叠目标是一个长方形板子，包围盒数据包括该长方形板子的顶点信息。
1022、判断包围盒数据是否满足第一预设条件，若是，则执行步骤1023，若否，则执行步骤1024；
1023、将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
在可选的一种实施方式中，第一预设条件包括第一阈值，通过将包围盒数据与第一阈值进行比较，当包围盒数据小于第一阈值时，说明检测图像与参考图像的位置差异较小，可直接将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，以节省检测用时。
在可选的另一种实施方式中，第一预设条件包括预存的每层标准的堆叠平台上平台与工件的包围盒数据，通过比较相同堆叠方案中经相同堆叠步骤后获取的堆叠平台上平台与工件的包围盒数据和预存的对应的包围盒数据，可以判断相机镜头与堆叠产线是否具有严格刚性关系，如果相机镜头与堆叠产线存在严格或者基本严格的刚性关系，则堆叠生产过程中的位置配准信息可以在后续批量生产环节复用，需要说明的是，包围盒数据判断比位置配准用时少很多，通过包围盒数据判断，在包围盒数据满足预设条件时可以省略位置配准步骤，从而实现省略位置配准步骤的长时间消耗，实现了既能匹配各种自动化堆叠产线又能实现实时异物检测的功能。
在可选的另一种实施方式中，步骤102具体还包括：
1024、将检测图像与参考图像进行位置配准。
1025、将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
需要说明的是，若包围盒数据不符合第一预设条件，说明检测用相机镜头与堆叠产线不再具有严格的刚性关系，或堆叠的层数较多、厚度较大导致相机镜头与堆叠产线不再具有严格的刚性关系。此时，需要将检测图像与参考图像进行位置配准，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。
在可选的另一种实施方式中，步骤1022具体包括：
预存包围盒-第一转置矩阵的关系表，关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断包围盒数据与关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用关系表中的第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像。
如下表1所示为本实施例的BT(包围盒-第一转置矩阵)关系表的示意图。
表1
| 索引编号 | 堆叠层参数 | 包围盒标准数据 | 第一转置矩阵 |
| 0x01 | 1 | Mat1 | T1 |
| 0x02 | 2 | Mat2 | T2 |
| 0x03 | 3 | Mat3 | T3 |
表1中，包括每一层对应的堆叠层参数1、2、或3、检测图像对应的包围盒标准数据Mat1、Mat2、Mat3和检测图像与参考图像对应的第一转置矩阵T1、T2和T3。
步骤1023具体包括：
将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，当包围盒数据偏差较小或者在误差范围内时，若检测图像位置角度发生倾斜，通过使用关系表中的第一转置矩阵对检测图像进行空间转置进行位置正以得到第一校准检测图像，并将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。
在可选的另一种实施方式中，堆叠生产过程中的异物检测方法还包括以下步骤：
103、若该层堆叠目标存在异物，则发送报警信息。通过在检测出堆叠目标存在异物时发送报警信息，可以方便定位异物出现的位置，及时进行异常处理，保证堆叠产线的安全操作。
在可选的另一种实施方式中，如图3所示，步骤102具体包括：
1026、将检测图像与参考图像进行位置配准；
1027、将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，通过将从第二层开始的每一层的检测图像与参考图像进行位置配准，省去了包围盒判断步骤，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。虽然每一层都进行位置配准，但是与现有的机器学习算法比较，软件开发成本依然很低，适用范围也更广。位置配准的转置矩阵结果较小或者是在堆叠产线可接受误差范围内时还可以忽略异物检测的空间转置步骤进一步减少检测用时。
在可选的另一种实施方式中，步骤1024或步骤1026具体包括：
获取检测图像的第一图像特征和参考图像的第二图像特征；
将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；
根据特征点对得到图像空间坐标变换参数；
根据图像空间坐标变换参数生成第二转置矩阵；
根据第二转置矩阵完成检测图像与参考图像的位置配准。
本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。
在可选的另一种实施方式中，步骤1027具体包括：
若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。
将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，位置配准得到的第二转置矩阵结果较大，不符合在堆叠产线可接受误差范围内时，通过使用位置配准得到的第二转置矩阵对检测图像进行空间转置进行位置正以得到第二校准检测图像，并将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。
本实施例的堆叠生产过程中的异物检测方法的实施步骤包括：准备部分步骤和实施部分步骤。
其中，准备部分步骤如下：
1)默认第一层异物检测的结果为无异物。
2)为第二层及以后各层异物检测准备配准参考信息。具体的，建立BT(包围盒-第一转置矩阵)关系表，填充用于引用的索引编号后，并补充堆叠层参数，需要进行异物检测的堆叠层需要在BT关系表中存储包围盒数据和转置矩阵。在堆叠产线调试过程中，在每一个堆叠层进行图像采集并计算堆叠平台的包围盒数据。使用上一层的堆叠目标对应的图像作为参考图像进行当前堆叠层位置配准计算，并完成BT关系表。
实施部分步骤如下：
1)进行第一堆叠层(0x01)的异物检测。默认该层无异物。
2)进行下一堆叠层(0x02)的异物检测。获取该堆叠层图像采集结果作为检测图像，使用检测无异物的第一堆叠层数采图像作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。
3)进行第N堆叠层(0xN)的异物检测。获取第N堆叠层图像采集结果作为检测图像，使用检测无异物的第(N-1)堆叠层结果作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对堆叠结果的检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。根据BT关系表的实际使用情况更新或不更新表中数据。
下面通过举例说明本实施的堆叠生产过程中的异物检测方法的具体应用：某发电机厂的硅钢片堆叠产线使用机器人进行自动化硅钢片堆叠，总堆叠面积8平方米左右，硅钢片平均厚度2毫米，单次堆叠高度约50厘米。堆叠过程严格要求无异物介入。
该堆叠产线异物检测过程中，使用高清相机在机器人每一次堆叠操作后进行异物入侵检测。堆叠工作台紧固于地面，高清相机紧固于墙面，即相机与堆叠作业区域具有严格的刚性关系，不会在正常工作期间发生变化。
(1)产线调试期间，捕捉并存储了无异物的第一层堆叠效果，计算并存储了完整堆叠过程中每一堆叠步骤执行后的包围盒、配准信息以及它们的对应关系，即包围盒-第一转置矩阵的关系表。
(2)产线生产期间，异物检测流程配合机器人堆叠作业，工艺机器人完后第一层堆叠后，异物检测流程使用预存的检测参考进行异物检测，之后每一层使用前一次检测无异物的堆叠目标对应的图像作为参考图像。异物检测时，首先进行包围盒关系判断，在包围盒数据变化较小时，使用预存的包围盒-第一转置矩阵的关系表选择对应的转置矩阵对检测图像进行空间转置后进行特征对比以判断该层堆叠目标是否存在异物。
(3)检测用相机和堆叠作业台的刚性关系基本保证了包围盒-第一转置矩阵的关系表的可用性，包围盒的使用极大的缩减了异物判断流程的用时。
本实施例的堆叠生产过程中的异物检测方法，较传统传感器方法具有更好的适配性，满足更多场景的异物检测需求；较智能图像处理方法具有更低的开发成本，可以实现实时检测。
实施例3
本实施例提供一种堆叠生产过程中的异物检测***，堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；理论上，在堆叠生产过程中每一层的堆叠目标堆叠好之后的布局都是相同的。
如图4所示，异物检测***包括以下模块：
检测图像获取模块1，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像。需要说明的是，堆叠生产过程中，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物。如果第一层的堆叠目标的表面实际出现了异物，该异物会在下一层的异物检测中被检测出来。
特征对比模块2，用于将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，参考图像为上一层的堆叠目标对应的图像。
本实施例的堆叠生产过程中的异物检测系针，第一层的堆叠目标不进行异物检测，默认第一层异物检测的检测结果为无异物，对从第二层开始的每一层，通过直接利用上一层的堆叠目标对应的图像作为参考图像，将该层堆叠目标堆放完成时的检测图像与参考图像进行特征对比，以判断该层堆叠目标是否存在异物，基于上一层历史数据进行特征比较，相比于现有的机器学习算法，检测过程更简单，软件开发成本更低，开发周期更短，更加高效；基于图像处理方法，具有更好的场景适配性。
实施例4
本实施例提供一种堆叠生产过程中的异物检测***是对实施例3的进一步改进，具体的，如图5所示，特征对比模块2具体包括：数据获取单元21、判断单元22、第一特征对比单元23、第一配准单元24和第二特征对比单元25；
数据获取单元21，用于使用包围盒算法获取检测图像的包围盒数据。需要说明的是，包围盒(Bound Box)是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体来近似地代替复杂的几何对象，通过包围盒可快速获取检测图像的边框和顶点信息，比如，堆叠目标是一个长方形板子，包围盒数据包括该长方形板子的顶点信息。
判断单元22，用于判断包围盒数据是否满足第一预设条件，若是，则调用第一特征对比单元23；若否，则调用第一配准单元24；
第一特征对比单元23，用于将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
在可选的一种实施方式中，第一预设条件包括第一阈值，通过将包围盒数据与第一阈值进行比较，当包围盒数据小于第一阈值时，说明检测图像与参考图像的位置差异较小，可直接将检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，以节省检测用时。
在可选的另一种实施方式中，第一预设条件包括预存的每层标准的堆叠平台上平台与工件的包围盒数据，通过比较相同堆叠方案中经相同堆叠步骤后获取的堆叠平台上平台与工件的包围盒数据和预存的对应的包围盒数据，可以判断相机镜头与堆叠产线是否具有严格刚性关系，如果相机镜头与堆叠产线存在严格或者基本严格的刚性关系，则堆叠生产过程中的位置配准信息可以在后续批量生产环节复用，需要说明的是，包围盒数据判断比位置配准用时少很多，通过包围盒数据判断，在包围盒数据满足预设条件时可以省略位置配准步骤，从而实现省略位置配准步骤的长时间消耗，实现了既能匹配各种自动化堆叠产线又能实现实时异物检测的功能。
在可选的另一种实施方式中，特征对比模块2具体还包括：
若包围盒数据不符合第一预设条件，则调用第一配准单元24；
第一配准单元24，用于将检测图像与参考图像进行位置配准。
第二特征对比单元25，用于将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
需要说明的是，若包围盒数据不符合第一预设条件，说明检测用相机镜头与堆叠产线不再具有严格的刚性关系，或堆叠的层数较多、厚度较大导致相机镜头与堆叠产线不再具有严格的刚性关系。此时，需要将检测图像与参考图像进行位置配准，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。
在可选的另一种实施方式中，判断单元22具体还用于：
预存包围盒-第一转置矩阵的关系表，关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断包围盒数据与关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用关系表中的第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像。
如下表1所示为本实施例的BT(包围盒-第一转置矩阵)关系表的示意图。
表1
表1中，包括每一层对应的堆叠层参数1、2、或3、检测图像对应的包围盒标准数据Mat1、Mat2、Mat3和检测图像与参考图像对应的第一转置矩阵T1、T2和T3。
第一特征对比单元23具体还用于：
将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，当包围盒数据偏差较小或者在误差范围内时，若检测图像位置角度发生倾斜，通过使用关系表中的第一转置矩阵对检测图像进行空间转置进行位置正以得到第一校准检测图像，并将第一校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。
在可选的另一种实施方式中，堆叠生产过程中的异物检测***还包括以下模块：
报警模块3，用于若该层堆叠目标存在异物，则发送报警信息。通过在检测出堆叠目标存在异物时发送报警信息，可以方便定位异物出现的位置，及时进行异常处理，保证堆叠产线的安全操作。
在可选的另一种实施方式中，特征对比模块2具体还包括：
第二配准单元，用于将检测图像与参考图像进行位置配准；
第三特征对比单元，用于将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，通过将从第二层开始的每一层的检测图像与参考图像进行位置配准，省去了包围盒判断步骤，并将配准后的检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。虽然每一层都进行位置配准，但是与现有的机器学习算法比较，软件开发成本依然很低，适用范围也更广。位置配准的转置矩阵结果较小或者是在堆叠产线可接受误差范围内时还可以忽略异物检测的空间转置步骤进一步减少检测用时。
在可选的另一种实施方式中，第一配准单元24具体用于：
获取检测图像的第一图像特征和参考图像的第二图像特征；
将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；
根据特征点对得到图像空间坐标变换参数；
根据图像空间坐标变换参数生成第二转置矩阵；
根据第二转置矩阵完成检测图像与参考图像的位置配准。
本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。
在可选的另一种实施方式中，第二配准单元具体用于：
获取检测图像的第一图像特征和参考图像的第二图像特征；
将第一图像特征和第二图像特征进行相似性计算以找到匹配的特征点对；
根据特征点对得到图像空间坐标变换参数；
根据图像空间坐标变换参数生成第二转置矩阵；
根据第二转置矩阵完成检测图像与参考图像的位置配准。
本方案中图像的位置配准方法在图像特征提取的基础上，通过进行相似性度量找到匹配的特征点对后依据特征点对得到图像空间坐标变换参数，该图像空间坐标变换参数在算法中表现为第一转置矩阵，利用该第一转置矩阵可完成检测图像与参考图像的位置配准，通过位置配准，使得后续的特征提取更加准确，为后续通过特征对比进行异物检测提供准确的数据基础，提高了异物检测的准确性。
在可选的另一种实施方式中，第二特征对比单元25具体用于：
若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。
在可选的另一种实施方式中，第三特征对比单元具体用于：
若第二转置矩阵不满足第二预设条件，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像。具体的，第二预设条件包括堆叠产线可接受的误差阈值，该误差阈值为角度值。比如，随着堆叠操作的进行，检测图像会产生倾斜，若检测图像与参考图像对比，其倾斜角度较大，比如倾斜5度，此时倾斜角度大于堆叠产线可接受的误差阈值1度，则使用第二转置矩阵对配准后的堆叠目标的检测图像进行空间转置得到第二校准检测图像，该第二校准检测图像与参考图像比较不存在角度倾斜。
将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物。
本方案中，位置配准得到的第二转置矩阵结果较大，不符合在堆叠产线可接受误差范围内时，通过使用位置配准得到的第二转置矩阵对检测图像进行空间转置进行位置正以得到第二校准检测图像，并将第二校准检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，提高了异物检测的准确性。
本实施例的堆叠生产过程中的异物检测***的实施过程包括：准备部分和实施部分。
其中，准备部分如下：
1)默认第一层异物检测的结果为无异物。
2)为第二层及以后各层异物检测准备配准参考信息。具体的，建立BT(包围盒-第一转置矩阵)关系表，填充用于引用的索引编号后，并补充堆叠层参数，需要进行异物检测的堆叠层需要在BT关系表中存储包围盒数据和转置矩阵。在堆叠产线调试过程中，在每一个堆叠层进行图像采集并计算堆叠平台的包围盒数据。使用上一层的堆叠目标对应的图像作为参考图像进行当前堆叠层位置配准计算，并完成BT关系表。
实施部分如下：
4)进行第一堆叠层(0x01)的异物检测。默认该层无异物。
5)进行下一堆叠层(0x02)的异物检测。获取该堆叠层图像采集结果作为检测图像，使用检测无异物的第一堆叠层数采图像作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。
6)进行第N堆叠层(0xN)的异物检测。获取第N堆叠层图像采集结果作为检测图像，使用检测无异物的第(N-1)堆叠层结果作为参考图像，执行包围盒判断，如果包围盒数据差异较小，选择对应的转置矩阵对堆叠结果的检测图像进行转置，并进行特征比较和结果判断。如果包围盒数据差异明显，执行位置配准和特征比较的常规异物检测流程。根据BT关系表的实际使用情况更新或不更新表中数据。
下面通过举例说明本实施的堆叠生产过程中的异物检测***的具体应用：某发电机厂的硅钢片堆叠产线使用机器人进行自动化硅钢片堆叠，总堆叠面积8平方米左右，硅钢片平均厚度2毫米，单次堆叠高度约50厘米。堆叠过程严格要求无异物介入。
该堆叠产线异物检测过程中，使用高清相机在机器人每一次堆叠操作后进行异物入侵检测。堆叠工作台紧固于地面，高清相机紧固于墙面，即相机与堆叠作业区域具有严格的刚性关系，不会在正常工作期间发生变化。
(1)产线调试期间，捕捉并存储了无异物的第一层堆叠效果，计算并存储了完整堆叠过程中每一堆叠步骤执行后的包围盒、配准信息以及它们的对应关系，即包围盒-第一转置矩阵的关系表。
(2)产线生产期间，异物检测流程配合机器人堆叠作业，工艺机器人完后第一层堆叠后，异物检测流程使用预存的检测参考进行异物检测，之后每一层使用前一次检测无异物的堆叠目标对应的图像作为参考图像。异物检测时，首先进行包围盒关系判断，在包围盒数据变化较小时，使用预存的包围盒-第一转置矩阵的关系表选择对应的转置矩阵对检测图像进行空间转置后进行特征对比以判断该层堆叠目标是否存在异物。
(3)检测用相机和堆叠作业台的刚性关系基本保证了包围盒-第一转置矩阵的关系表的可用性，包围盒的使用极大的缩减了异物判断流程的用时。
本实施例的堆叠生产过程中的异物检测***，较传统传感器***具有更好的适配性，满足更多场景的异物检测需求；较智能图像处理***具有更低的开发成本，可以实现实时检测。
实施例5
图6为本发明实施例5提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1或2的堆叠生产过程中的异物检测方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同***组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2的堆叠生产过程中的异物检测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或2的堆叠生产过程中的异物检测方法步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或2的堆叠生产过程中的异物检测方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种堆叠生产过程中的异物检测方法，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测方法包括：
针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
使用包围盒算法获取所述检测图像的包围盒数据；
判断所述包围盒数据是否满足第一预设条件；
若是，则将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像；
若否，则将所述检测图像与所述参考图像进行位置配准；
将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述判断所述包围盒数据是否满足第一预设条件的步骤具体包括：
预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；
所述将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
2.一种堆叠生产过程中的异物检测方法，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测方法包括：
针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
使用包围盒算法获取所述检测图像的包围盒数据；
判断所述包围盒数据是否满足第一预设条件；
若是，则将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像；
若否，则将所述检测图像与所述参考图像进行位置配准；
将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述将所述检测图像与所述参考图像进行位置配准的步骤具体包括：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准。
3.一种堆叠生产过程中的异物检测方法，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测方法包括：
针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
将所述检测图像与参考图像进行位置配准，所述参考图像为上一层的堆叠目标对应的图像；
将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述将所述检测图像与所述参考图像进行位置配准的步骤具体包括：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准。
4.如权利要求2或3所述的堆叠生产过程中的异物检测方法，其特征在于，所述将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物的步骤具体包括：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
5.一种堆叠生产过程中的异物检测***，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测***包括：
检测图像获取模块，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
特征对比模块，用于将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像；
所述特征对比模块具体包括：数据获取单元、判断单元、第一特征对比单元、第二特征对比单元和第一配准单元；
所述数据获取单元，用于使用包围盒算法获取所述检测图像的包围盒数据；
所述判断单元，用于判断所述包围盒数据是否满足第一预设条件；
若是，则调用所述第一特征对比单元；若否，则调用所述第一配准单元；
所述第一特征对比单元，用于将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述第一配准单元，用于将所述检测图像与所述参考图像进行位置配准；
所述第二特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述判断单元具体还用于：
预存包围盒-第一转置矩阵的关系表，所述关系表包括每一层对应的堆叠层参数、检测图像对应的包围盒数据和检测图像与参考图像对应的第一转置矩阵；
判断所述包围盒数据与所述关系表中对应的包围盒标准数据的差值是否小于阈值；
若是，则使用所述关系表中的所述第一转置矩阵对该层的检测图像进行空间转置以得到第一校准检测图像；
所述第一特征对比单元具体还用于：
将所述第一校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
6.一种堆叠生产过程中的异物检测***，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测***包括：
检测图像获取模块，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
特征对比模块，用于将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像；
所述特征对比模块具体包括：数据获取单元、判断单元、第一特征对比单元、第二特征对比单元和第一配准单元；
所述数据获取单元，用于使用包围盒算法获取所述检测图像的包围盒数据；
所述判断单元，用于判断所述包围盒数据是否满足第一预设条件；
若是，则调用所述第一特征对比单元；若否，则调用所述第一配准单元；
所述第一特征对比单元，用于将所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述第一配准单元，用于将所述检测图像与所述参考图像进行位置配准；
所述第二特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述第一配准单元具体用于：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；
所述第二特征对比单元具体用于：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像；
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
7.一种堆叠生产过程中的异物检测***，所述堆叠生产过程用于将固定样式或尺寸的堆叠目标按照预设规则逐层堆放；
其特征在于，所述异物检测***包括：
检测图像获取模块，用于针对从第二层开始的每一层，获取该层堆叠目标堆放完成时的检测图像；
特征对比模块，用于将所述检测图像与参考图像进行特征对比以判断该层堆叠目标是否存在异物，所述参考图像为上一层的堆叠目标对应的图像；
所述特征对比模块具体还包括：第二配准单元和第三特征对比单元；
所述第二配准单元，用于将所述检测图像与所述参考图像进行位置配准；
所述第三特征对比单元，用于将配准后的所述检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物；
所述第二配准单元具体用于：
获取所述检测图像的第一图像特征和所述参考图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行相似性计算以找到匹配的特征点对；
根据所述特征点对得到图像空间坐标变换参数；
根据所述图像空间坐标变换参数生成第二转置矩阵；
根据所述第二转置矩阵完成所述检测图像与所述参考图像的位置配准；
所述第三特征对比单元具体用于：
若所述第二转置矩阵不满足第二预设条件，则使用所述第二转置矩阵对配准后的所述检测图像进行空间转置以得到第二校准检测图像。
8.如权利要求7所述的堆叠生产过程中的异物检测***，其特征在于：
将所述第二校准检测图像与所述参考图像进行特征对比以判断该层堆叠目标是否存在异物。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4中任意一项所述的堆叠生产过程中的异物检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4中任意一项所述的堆叠生产过程中的异物检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157686.5A CN112785587B (zh) | 2021-02-04 | 2021-02-04 | 堆叠生产过程中的异物检测方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157686.5A CN112785587B (zh) | 2021-02-04 | 2021-02-04 | 堆叠生产过程中的异物检测方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785587A CN112785587A (zh) | 2021-05-11 |
| CN112785587B true CN112785587B (zh) | 2024-05-31 |
Family
ID=75760881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110157686.5A Active CN112785587B (zh) | 2021-02-04 | 2021-02-04 | 堆叠生产过程中的异物检测方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785587B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262781A (zh) * | 2011-05-11 | 2011-11-30 | 浙江工业大学 | 一种基于单元分解光流场的喷墨印花纹理图像配准方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106485697A (zh) * | 2016-09-22 | 2017-03-08 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉的路面沉降和异物检测方法 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测*** |
| CN108257167A (zh) * | 2018-01-26 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于推扫式高光谱成像的图像配准方法 |
| CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
| CN109118702A (zh) * | 2018-09-29 | 2019-01-01 | 歌尔股份有限公司 | 火灾检测方法、装置和设备 |
| CN109993055A (zh) * | 2019-02-21 | 2019-07-09 | 北京以萨技术股份有限公司 | 一种基于神经网络的连续异常图像检测方法 |
| CN110032971A (zh) * | 2019-04-12 | 2019-07-19 | 南京理工大学 | 基于单目摄像头的移动平台异物检测检测方法及检测*** |
| CN110490872A (zh) * | 2019-08-27 | 2019-11-22 | 北京理工大学 | 加工设备的异物检测方法和*** |
| CN111051991A (zh) * | 2017-09-04 | 2020-04-21 | Asml荷兰有限公司 | 用于监测制造过程的方法 |
| CN111601105A (zh) * | 2020-06-01 | 2020-08-28 | 上海申际轨道交通设备发展有限公司 | 一种视频显示状态异常检测方法、装置及电子设备 |
| CN111652541A (zh) * | 2020-05-07 | 2020-09-11 | 美的集团股份有限公司 | 工业生产监测方法、***以及计算机可读存储介质 |
| CN111842217A (zh) * | 2020-09-21 | 2020-10-30 | 甬矽电子(宁波)股份有限公司 | 叠料检测方法、装置、电子设备和可读存储介质 |
| CN112258452A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹（北京）科技有限公司 | 堆叠物体的物体数量检测方法、装置及*** |
-
2021
- 2021-02-04 CN CN202110157686.5A patent/CN112785587B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262781A (zh) * | 2011-05-11 | 2011-11-30 | 浙江工业大学 | 一种基于单元分解光流场的喷墨印花纹理图像配准方法 |
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN106485697A (zh) * | 2016-09-22 | 2017-03-08 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉的路面沉降和异物检测方法 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| CN111051991A (zh) * | 2017-09-04 | 2020-04-21 | Asml荷兰有限公司 | 用于监测制造过程的方法 |
| CN108257167A (zh) * | 2018-01-26 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于推扫式高光谱成像的图像配准方法 |
| CN108197610A (zh) * | 2018-02-02 | 2018-06-22 | 北京华纵科技有限公司 | 一种基于深度学习的轨道异物检测*** |
| CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
| CN109118702A (zh) * | 2018-09-29 | 2019-01-01 | 歌尔股份有限公司 | 火灾检测方法、装置和设备 |
| CN109993055A (zh) * | 2019-02-21 | 2019-07-09 | 北京以萨技术股份有限公司 | 一种基于神经网络的连续异常图像检测方法 |
| CN110032971A (zh) * | 2019-04-12 | 2019-07-19 | 南京理工大学 | 基于单目摄像头的移动平台异物检测检测方法及检测*** |
| CN110490872A (zh) * | 2019-08-27 | 2019-11-22 | 北京理工大学 | 加工设备的异物检测方法和*** |
| CN111652541A (zh) * | 2020-05-07 | 2020-09-11 | 美的集团股份有限公司 | 工业生产监测方法、***以及计算机可读存储介质 |
| CN111601105A (zh) * | 2020-06-01 | 2020-08-28 | 上海申际轨道交通设备发展有限公司 | 一种视频显示状态异常检测方法、装置及电子设备 |
| CN111842217A (zh) * | 2020-09-21 | 2020-10-30 | 甬矽电子(宁波)股份有限公司 | 叠料检测方法、装置、电子设备和可读存储介质 |
| CN112258452A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹（北京）科技有限公司 | 堆叠物体的物体数量检测方法、装置及*** |
Non-Patent Citations (5)
| Title |
|---|
| Kaito Ishizaki ; Kasuki Saruta ; Hiroshi Uehara."Detecting Keypoints for Automated Annotation of Bounding Boxes using Keypoint Extraction".《2020 International Conference on Computational Science and Computational Intelligence (CSCI)》.2020,全文. * |
| 基于堆叠降噪自动编码器的胶囊缺陷检测方法;王宪保;何文秀;王辛刚;姚明海;钱沄涛;;计算机科学(第02期);全文 * |
| 基于深度学习的低成本堆叠物料定位***;田立勋;刘雄飞;张彩芹;王文佳;傅建中;;北京理工大学学报(第09期);全文 * |
| 复杂条件下的运动目标检测方法研究综述;张森悦;李一波;;沈阳航空工业学院学报(第03期);全文 * |
| 高分辨率遥感图像感兴趣目标的提取算法;周伟;关键;张国华;;光电工程(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785587A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6898486B2 (en) | Position detecting device and takeout apparatus with position detecting device | |
| CN111127422A (zh) | 图像标注方法、装置、***及主机 | |
| US6549683B1 (en) | Method and apparatus for evaluating a scale factor and a rotation angle in image processing | |
| CN111539943B (zh) | 基于多相机的锂电池极片堆叠位置测量方法、装置及*** | |
| CN113256729B (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
| JP4766269B2 (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
| CN110852233A (zh) | 手部脱离方向盘的检测和训练方法、终端、装置、介质、*** | |
| CN113524187B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
| CN111950370B (zh) | 动态环境下线拓展视觉里程计方法 | |
| CN111553914A (zh) | 基于视觉的货物检测方法、装置、终端及可读存储介质 | |
| CN112396021A (zh) | 高空危险物检测方法、装置及存储介质 | |
| CN115246547B (zh) | 垛型续码方法、装置、计算设备及计算机存储介质 | |
| CN112950528A (zh) | 证件姿态确定方法、模型训练方法、装置、服务器及介质 | |
| CN112785587B (zh) | 堆叠生产过程中的异物检测方法、***、设备及介质 | |
| CN113379845A (zh) | 一种相机标定方法及装置、电子设备及存储介质 | |
| CN111696152A (zh) | 检测包裹堆垛的方法、装置、计算设备、***及存储介质 | |
| CN115457202B (zh) | 一种三维模型更新的方法、装置及存储介质 | |
| CN108957384B (zh) | 一种周转箱及电能计量设备方向判别方法与装置 | |
| GB2621906A (en) | A system and method for processing image data | |
| WO2023213070A1 (zh) | 基于2d相机获取货物位姿方法、装置、设备及存储介质 | |
| CN111914857B (zh) | 板材余料的排样方法、装置、***、电子设备及存储介质 | |
| CN111062937B (zh) | 一种基于rgb-d相机的数控nc代码虚实验证方法 | |
| CN104570934A (zh) | 产品加工部位检测方法及*** | |
| CN111951334A (zh) | 基于双目视觉技术叠放钢坯的识别与定位方法和吊运方法 | |
| CN112534469B (zh) | 图像检测方法、图像检测装置、图像检测设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |