CN115018846B - 基于ai智能相机的多目标裂纹缺陷检测方法和装置 - Google Patents
基于ai智能相机的多目标裂纹缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN115018846B CN115018846B CN202210946913.7A CN202210946913A CN115018846B CN 115018846 B CN115018846 B CN 115018846B CN 202210946913 A CN202210946913 A CN 202210946913A CN 115018846 B CN115018846 B CN 115018846B
- Authority
- CN
- China
- Prior art keywords
- image
- workpiece
- detection
- target
- target workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 202
- 230000007547 defect Effects 0.000 title claims abstract description 128
- 230000011218 segmentation Effects 0.000 claims abstract description 59
- 238000013135 deep learning Methods 0.000 claims abstract description 52
- 238000013145 classification model Methods 0.000 claims abstract description 37
- 239000011148 porous material Substances 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract 3
- 238000007689 inspection Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于AI智能相机的多目标裂纹缺陷检测方法和装置，通过单个AI智能相机拍摄覆盖同一检测工位上的多个检测区域的第一图像，利用深度学习分割模型从第一图像得到多个目标工件的分割图像和工件类型，根据工件类型并行地从每个目标工件的分割图像获得开孔轮廓区域图像，随后以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出一组检测图像中是否存在裂纹缺陷。本申请可以显著降低对多类型目标工件的开孔裂纹缺陷检测的成本，提高对多类型目标工件的开孔裂纹缺陷检测的效率，提高对目标工件中开孔轮廓微小裂纹缺陷的检测准确率。
Description
技术领域
本申请涉及AI智能相机及机器视觉的技术领域，具体而言，涉及一种基于AI智能相机的多目标裂纹缺陷检测方法和装置。
背景技术
随着图像处理和机器视觉技术的发展，业内逐渐采用AI智能相机进行生产线上产品工件的外观缺陷检测。AI智能相机可以预先部署AI图像处理算法模型实现对生产线检测工位上的产品工件的外观图像拍摄、图像处理、缺陷检测的一体化处理。
对于智能手机外壳、镜头支架等带有开孔部分的工件而言，通常由于模具原因，开孔部分的边缘位置处可能出现极细小裂纹缺陷，这些极细小裂纹缺陷通常只有几个像素大小，无法通过肉眼直接识别，而需要借助于机器视觉技术和图像处理算法进行自动化的检测识别。
实际生产线中，同一功能工件经常会存在多种不同类型，这些不同类型的工件的开孔部分形状、尺寸可能不同，并且工件的尺寸、形状、纹理、颜色等也可能存在差异，为了实现对这些多种类型工件的裂纹缺陷检测，实践中通常需要针对每种特定类型的工件单独训练深度学习的缺陷分割和分类算法，部署在不同的AI智能相机中，并且需要针对每种特定类型的工件单独设立检测工位，在每个检测工位上对应安装部署有对应训练的深度学习的缺陷分割和分类算法的AI智能相机，针对该特定类型的工件进行缺陷识别检测，这种方式极大地增加了生产线上工件缺陷检测的成本，降低了对多类型工件的缺陷检测效率。此外，这种利用AI智能相机对上述极细小裂纹缺陷进行检测的方案通过训练深度学习的缺陷分割算法从工件图像中分割出裂纹缺陷，并对其进行分类检测，这种方案对于上述极细小裂纹缺陷不能精准定位，极易受到工件表面纹理等噪音干扰，影响了对上述极细小裂纹缺陷的检测准确率。
发明内容
为了解决上述问题，本申请提出一种基于AI智能相机的多目标裂纹缺陷检测方法和装置，以便降低对多类型目标工件的开孔裂纹缺陷检测的成本，提高对多类型目标工件的开孔裂纹缺陷检测的效率，并且提高对目标工件中开孔轮廓微小裂纹缺陷的检测准确率。
第一方面，本申请提出一种基于AI智能相机的多目标裂纹缺陷检测方法，包括：
通过单个AI智能相机拍摄覆盖同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件，所述多个检测区域在所述同一检测工位上通过矩阵式分布排列，使得所述多个检测区域均在所述AI智能相机的视场范围；
利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，并得到每个目标工件的分割图像；其中，基于所述AI智能相机的标定数据获得所述第一图像的图像坐标与所述多个检测区域之间的映射关系，根据所述映射关系以及所述深度学习分割模型对所述第一图像进行分割检测得到的每个目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之间的位置关系，确定所述每个目标工件所对应的检测区域标识；
根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像；
从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
在可选的实施方式中，所述根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据包括：
根据每个目标工件的工件类型获得每个目标工件的开孔轮廓的形状类型，并从所述每个目标工件的分割图像获取开孔轮廓的最小外接矩形框；
根据所述每个目标工件的开孔轮廓的形状类型和开孔轮廓的最小外接矩形框，生成每个目标工件的开孔轮廓的坐标尺寸数据。
在可选的实施方式中，如果所述开孔轮廓的形状类型是第一形状类型，则所述目标工件的开孔轮廓的坐标尺寸数据包括根据开孔轮廓的最小外接矩形框的旋转角度对目标工件的分割图像进行旋转角度矫正后的水平最小外接矩形框的坐标尺寸数据以及至少一个圆角的拟合尺寸数据；如果所述开孔轮廓的形状类型是第二形状类型，则所述目标工件的开孔轮廓的坐标尺寸数据包括开孔轮廓的最小外接矩形框的中心点坐标和圆形半径。
在可选的实施方式中，如果所述开孔轮廓的形状类型是第一形状类型，则所述至少一个开孔轮廓区域图像包括第一开孔轮廓区域图像和至少一个第二开孔轮廓区域图像，其中所述至少一个第二开孔轮廓区域图像是对所述至少一个圆角的圆角区域图像进行圆角轮廓拉直变换而获得。
在可选的实施方式中，如果所述开孔轮廓的形状类型是第二形状类型，则所述至少一个开孔轮廓区域图像包括第二开孔轮廓区域图像，所述第二开孔轮廓区域图像是对原始开孔轮廓区域图像进行圆形轮廓拉直变换而获得。
在可选的实施方式中，所述方法还包括：
基于图像中纹路是否与开孔边缘底部接触为依据，将每个工件类型裁切后的开孔边缘样本图像数据集标注为有裂纹图像和无裂纹图像；
针对任一工件类型的开孔边缘样本图像数据集训练第一深度学习缺陷分类模型，基于其他工件类型的少量开孔边缘样本图像数据集对所述第一深度学习缺陷分类模型进行迁移学习，依次得到针对其他工件类型的深度学习缺陷分类模型，将每个工件类型对应的深度学习缺陷分类模型部署至所述AI智能相机。
在可选的实施方式中，所述方法还包括：
根据每个目标工件的工件类型判断放置于所述多个检测区域上的多个目标工件中是否存在相同的工件类型；
如是，则将所述多个目标工件的开孔轮廓区域图像按照相同的工件类型各自聚合为各工件类型的开孔轮廓区域图像数据集；
分别对所述各工件类型的开孔轮廓区域图像数据集中的每个以预定图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入与其工件类型对应的深度学习缺陷分类模型。
在可选的实施方式中，所述方法还包括：基于所述AI智能相机内置的AI加速处理单元并行加载多个工件类型分别对应的深度学习缺陷分类模型来执行所述检测图像的裂纹缺陷的分类检测。
第二方面，本申请还提出一种基于AI智能相机的多目标裂纹缺陷检测装置，包括：
图像采集单元，用于通过单个AI智能相机拍摄包含同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件，所述多个检测区域在所述同一检测工位上通过矩阵式分布排列，使得所述多个检测区域均在所述AI智能相机的视场范围；
工件分割单元，用于利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，并得到每个目标工件的分割图像；其中，基于所述AI智能相机的标定数据获得所述第一图像的图像坐标与所述多个检测区域之间的映射关系，根据所述映射关系以及所述深度学习分割模型对所述第一图像进行分割检测得到的每个目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之间的位置关系，确定所述每个目标工件所对应的检测区域标识；
图像处理单元，用于根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像；
缺陷检测单元，用于从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
本申请实施例至少具有以下有益效果：可以实现一次性对同一检测工位上的多个不同类型目标工件的开孔裂纹缺陷的实时性检测，显著降低了对多类型目标工件的开孔裂纹缺陷检测的成本，提高了对多类型目标工件的开孔裂纹缺陷检测的效率，并且提高了对目标工件中开孔轮廓微小裂纹缺陷的检测准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，而不应被看作是对本申请范围的限制。
图1是本申请适用的在生产线检测工位上部署单个AI智能相机的工件表面缺陷检测***的示意图；
图2是根据本申请一实施例的基于AI智能相机的多目标裂纹缺陷检测方法的流程示意图；
图3是本申请实施例中YOLO V5网络模型的网络结构示意图；
图4是根据本申请一实施例的基于AI智能相机的多目标裂纹缺陷检测方法的部分流程示意图；
图5是目标工件的圆角区域图像的圆角轮廓拉直变换的示例图；
图6是本申请一实施例中深度残差网络Resnet50网络模型的网络结构示意图；
图7是根据本申请一实施例的基于AI智能相机的多目标裂纹缺陷检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例中的技术方案进行清楚、完整地描述。然而应当理解，所描述的实施例仅仅是本申请的部分示例性实施例，而不是全部实施例，因此以下对本申请实施例的详细描述并非旨在限制要求保护的本申请的范围。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等仅是用于区别描述类似的对象，而不是用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。
如前所述，现有的基于AI智能相机的产品工件裂纹缺陷的检测方案，对于多类型产品工件表面的极细小裂纹缺陷检测的成本过高，降低了对多类型产品工件的缺陷检测效率，对工件中开孔轮廓微小裂纹缺陷的检测准确率也相对较低。为此，本申请提出一种基于AI智能相机的多目标裂纹缺陷检测方法和装置，可以一次检测多个不同类型目标工件的开孔裂纹缺陷，显著降低对多类型目标工件的开孔裂纹缺陷检测的成本，提高对多类型目标工件的开孔裂纹缺陷检测的效率，并且提高对工件中开孔轮廓微小裂纹缺陷的检测准确率。
图1是本申请适用的在生产线检测工位上部署单个AI智能相机的工件表面缺陷检测***的示意图。如图1所示，该***包括位于生产线检测工位上的AI智能相机120，该AI智能相机120的视场范围可以确保对生产线检测工位上的多个检测区域110-1~110-4上分别放置的多个目标工件150-1~150-4进行完整的图像拍摄和缺陷检测处理，其中目标工件150-1对应放置于检测区域110-1，目标工件150-2对应放置于检测区域110-2，目标工件150-3对应放置于检测区域110-3，目标工件150-4对应放置于检测区域110-4。作为示例，图1仅示出了生产线检测工位上的四个检测区域110-1~110-4的情形，实际上生产线检测工位上的检测区域的排列数量可以根据AI智能相机120的视场范围大小按需设置。该***还包括接入网络130的客户端140，该客户端140可以为接入网络130的PC主机，该PC主机上运行与AI智能相机配套的部署平台软件。部署平台软件可以以图形用户界面（GUI）程序或WEB网页的方式为用户提供AI智能相机的图像处理程序的可视化组态编程、调试和运行控制。客户端140还可以接收AI智能相机120输出的工件缺陷检测结果，并进行工件缺陷检测结果的展示。
图2是根据本申请一实施例的基于AI智能相机的多目标裂纹缺陷检测方法的流程示意图。如图2所示，本申请所述的基于AI智能相机的多目标裂纹缺陷检测方法包括以下步骤：
步骤210，通过单个AI智能相机120拍摄覆盖同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件。
本步骤中，每个检测区域放置的目标工件可以是相同的工件类型或者不同的工件类型，或者仅部分检测区域放置的工件类型是相同的，而其他检测区域放置的工件类型是不同的。本步骤中，多个检测区域在同一检测工位上可以通过矩阵式分布排列，使得多个检测区域均在该单个AI智能相机120的视场范围，以便通过单个AI智能相机120拍摄覆盖同一检测工位上的多个检测区域的完整图像。在一个实施方式中，多个检测区域均在该单个AI智能相机120的视场范围，可以通过对该AI智能相机120的标定来实现。
步骤220，利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，得到每个目标工件的分割图像。
本步骤中，深度学习分割模型选自可以实现多目标图像分割检测的神经网络模型，考虑到AI智能相机120对多个目标工件的图像分割检测的实时性能，该神经网络模型可以从YOLO V3、YOLO V4和YOLO V5中选择任一网络模型进行学习训练。YOLO V3、YOLO V4和YOLO V5均是单阶段（One-Stage）的多目标检测模型，适于部署至AI智能相机120的算力环境，并且可以满足对多个目标工件的实时性图像分割检测的需求。
以YOLO V5网络模型为例，图3所示是YOLO V5网络模型的示意性网络结构。如图3所示，YOLO V5网络模型可以从输入端开始依次分为三个部分：主干层（Backbone）310、颈部层（Neck）320、预测层（Prediction）330。主干层310负责提取输入的第一图像的主干特征，通常采用CSPDarknet网络结构来提取特征，输入的第一图像经过主干层310中的CSPDarknet网络结构进行特征提取，提取到的特征可以被称作特征层，是输入的第一图像的特征集合，一共可以提取到三个特征层。颈部层320负责对主干层310提取的特征层进行多尺度特征融合，通常采用FPN（特征金字塔网络）+PAN（路径聚合网络）的网络结构，颈部层320融合后的图像特征经过预测层330进行预测，然后可以生成第一图像中各目标工件的预测边界框、工件类型及其置信度，并基于各目标工件的预测边界框裁切得到各目标工件的分割图像。
本实施例中，需要对YOLO V5网络模型进行预训练，首先为YOLO V5网络模型建立损失函数，基于人工分割标注的各类型目标工件的样本图像对该网络模型进行迭代训练，根据损失函数值选择最佳的模型参数，然后部署至AI智能相机120，用于对检测工位上的多个检测区域的多个目标工件进行分割检测，从而可以得到多个目标工件的分割图像。
在一个实施方式中，本步骤中还可以基于AI智能相机120的标定数据获得所拍摄的第一图像的图像坐标与检测工位上的多个检测区域之间的映射关系，并根据所述映射关系和所述深度学习分割模型对所述第一图像进行分割检测得到的各目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之间的位置关系，确定各目标工件所对应放置的检测区域，并以检测区域标识对其所放置的检测区域进行表征。以图1所示的AI智能相机120拍摄多个检测区域110-1~110-4上分别放置的四个目标工件150-1~150-4为例，通过对AI智能相机120的标定可以计算得到第一图像的图像坐标与检测工位上的多个检测区域110-1~110-4之间的映射关系，从而可以确定每个检测区域分别定位到第一图像上的像素坐标范围。随后，根据对第一图像分割检测得到的各目标工件的预测边界框的位置坐标，即可确定各目标工件的位置坐标分别属于哪个检测区域，这可以通过各目标工件的预测边界框的位置坐标与第一图像上的各检测区域对应的像素坐标范围之间的位置关系比较而获得。从而，本实施例中AI智能相机120在识别到每个目标工件是否存在裂纹缺陷的同时，可以快速、准确地给出存在裂纹缺陷的目标工件所在的检测区域的指示。因而，作为示例，从第一图像中分割检测得到的每个目标工件可以用数据结构
表示。
表示第i个目标工件的检测区域标识，该检测区域标识用于表征该目标工件所放置其上的检测区域，
表示第i个目标工件的工件类型。
表示第i个目标工件的分割图像。其中，
，N为检测工位上的检测区域的数量。
步骤230，根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像。
本步骤中，相同工件类型的目标工件的开孔轮廓具有相同的形状和尺寸，不同工件类型的目标工件的开孔轮廓的形状和/或尺寸存在不同。在一个实施方式中，目标工件的开孔轮廓的形状类型根据几何形状的不同，包括第一形状类型和第二形状类型。第一形状类型可以是方形开孔，第二形状类型可以是圆形开孔。第一形状类型和第二形状类型各自可以具有不同的尺寸大小。本实施例中，方形开孔可以是由四条边和至少一个圆角构成的类方形形状。应当理解，本申请实施例可以同时兼容多种形状类型开孔的目标工件的裂纹缺陷的检测，并不限于上述所述的方形开孔和圆形开孔。
在一个实施方式中，如图4所示，步骤230中并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据可以包括以下子步骤：
步骤410，根据每个目标工件的工件类型获得每个目标工件的开孔轮廓的形状类型，并从所述每个目标工件的分割图像获取开孔轮廓的最小外接矩形框。本步骤中，由于每个工件类型对应的开孔轮廓的形状类型不同，根据步骤220中识别的每个目标工件的工件类型可以获得每个目标工件的开孔轮廓的形状类型，从而后续步骤可以根据与所述开孔轮廓的形状类型从所述目标工件的分割图像生成每个目标工件的开孔轮廓的坐标尺寸数据。
在一个实施方式中，开孔轮廓的最小外接矩形框是定位开孔轮廓的形状尺寸的最小外接矩形框。本申请实施例可以使用自适应阈值化图像处理得到目标工件的开孔轮廓的最小外接矩形框。对目标工件的分割图像的自适应阈值化图像处理包括：
首先，将每个目标工件的分割图像进行分块，将每个分割图像分成预定尺寸的邻域块，为了保证开孔轮廓的边界清晰，邻域块的尺寸大小可以根据测试结果选择合适的值，例如可以设置为邻域块的尺寸大小为7或11。随后，为了确定邻域块内的二值化阈值，可以采用高斯加权平均的方法，针对每个像素点，将该像素点周围邻域块内的像素值按照距离中心点的距离进行高斯加权平均，距离邻域块中心点越远的权重越小，距离邻域块中心点越近的权重越大，从而可以为每个像素点计算出自适应的动态阈值，若像素值大于该动态阈值，则置1，反之则置0，最终可以得到每个目标工件的开孔轮廓，并根据开孔轮廓的形状尺寸的定位生成开孔轮廓的最小外接矩形框。其中，生成开孔轮廓的最小外接矩形框可以为该最小外接矩形框生成一组坐标尺寸数据，包括该最小外接矩形框的四个顶点坐标、宽高、中心点坐标和旋转角度等。
步骤420，根据所述每个目标工件的开孔轮廓的形状类型和开孔轮廓的最小外接矩形框，生成每个目标工件的开孔轮廓的坐标尺寸数据。本步骤中，目标工件的开孔轮廓的不同形状类型可以采用不同的坐标尺寸数据进行表征。具体描述如下：
对于第一形状类型，即方形开孔，开孔轮廓的坐标尺寸数据包括两个部分：第一部分是根据开孔轮廓的最小外接矩形框的旋转角度对目标工件的分割图像进行旋转角度矫正后的水平最小外接矩形框的坐标尺寸数据，用水平最小外接矩形框的左上角顶点坐标和宽高
表示。其中，
和
是该水平最小外接矩形框的左上角顶点坐标，w和h分别表示该水平最小外接矩形框的宽和高的像素大小；第二部分是至少一个圆角的拟合尺寸数据，用
的四元组集合来表示，其中M为该方形开孔的圆角数量，
和
表示第m个圆角的拟合中心点，
表示第m个圆角的拟合半径，
表示该圆角在最小外接矩形框的位置标识，例如对应于左上角、右上角、左下角、右下角的位置。由于实际目标工件中类方形开孔的圆角通常并不是规则的1/4圆弧，为了便于后续的圆角部分的图像坐标变换和有助于提高圆角轮廓边缘的裂纹缺陷分类识别的准确率，所以本申请实施例采用圆角的拟合尺寸数据即圆角的拟合中心点和拟合半径来表示圆角的坐标尺寸数据，圆角的拟合中心点和拟合半径是对圆角进行1/4圆弧拟合后的中心点和半径，对圆角的1/4圆弧拟合可以采用最小二乘法实现。
对于第二形状类型，即圆形开孔，由于圆形的开孔轮廓的最小外接矩形框的旋转角度为零，即最小外接矩形框就是水平最小外接矩形框，因此，圆形开孔轮廓的最小外接矩形框不需要对目标工件的分割图像进行旋转角度矫正，开孔轮廓的坐标尺寸数据可以包括开孔轮廓的最小外接矩形框的中心点坐标和圆形半径，最小外接矩形框的中心点坐标即为其圆形轮廓的中心点坐标，圆形半径即为最小外接矩形框的边长的1/2。圆形开孔的开孔轮廓的坐标尺寸数据可以用
来表示，
和
是开孔轮廓的最小外接矩形框的中心点坐标，r为开孔轮廓的圆形半径。
进一步地，步骤230中，在获得根据每个目标工件的开孔轮廓的坐标尺寸数据之后，本申请还需要从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像，这需要根据所述每个目标工件的开孔轮廓的形状类型是否为第一形状类型还是第二形状类型，对每个目标工件的分割图像进行不同的处理，开孔轮廓的不同形状类型需要执行不同的开孔轮廓区域图像的处理逻辑，具体详细描述如下：
（1）第一形状类型-方形开孔
具有方形开孔的目标工件的开孔轮廓区域图像包括第一开孔轮廓区域图像和至少一个第二开孔轮廓区域图像。首先，以方形开孔的水平最小外接矩形框为基线，向外延伸一定宽度尺寸的***矩形框，从目标工件的分割图像获得由该***矩形框限定的原始开孔轮廓区域图像。该向外延伸的宽度尺寸至少要保证后续步骤能对开孔轮廓区域图像按照预定尺寸裁切得到一组检测图像。
其次，基于该***矩形框限定的原始开孔轮廓区域图像，根据开孔轮廓的坐标尺寸数据中两个部分的尺寸数据，即水平最小外接矩形框的左上角顶点坐标和宽高、至少一个圆角的拟合尺寸数据提取至少一个圆角区域图像。该圆角区域图像为包含圆角轮廓的正方形局部分割图像，如图5中左侧的（A）所示，图5中仅示例性地示出了从目标工件的分割图像中获得的原始开孔轮廓区域图像中左上角位置的圆角区域图像的示例。从目标工件的分割图像中获得的原始开孔轮廓区域图像中除了所述至少一个圆角区域图像之外的剩余部分构成第一开孔轮廓区域图像
。
随后，对提取的至少一个圆角区域图像进行极坐标与笛卡尔坐标的变换，将至少一个圆角区域图像中每个圆角区域图像中的圆角轮廓进行拉直变换，使得每个圆角区域图像分别变换为包含直线轮廓的第二开孔轮廓区域图像，从而可以得到第二开孔轮廓区域图像的集合
，其中M为该方形开孔的圆角数量。如图5中右侧的（B）所示，图5中仅示例性地示出了将原始开孔轮廓区域图像中左上角位置的圆角区域图像变换后的第二开孔轮廓区域图像的示例。对至少一个圆角区域图像进行极坐标与笛卡尔坐标的变换的目的是由于开孔轮廓的圆角轮廓处没有平直的边缘底部，会影响对边缘裂纹缺陷的准确判别，所以本申请实施例采用将开孔轮廓的圆角区域图像进行极坐标与笛卡尔坐标的变换，将之变换为包含直线轮廓的矩形图像，这样后续步骤中裁切得到的检测图像会提高裂纹缺陷分类检测的准确性。
在一个实施方式中，所述对提取的至少一个圆角区域图像进行极坐标与笛卡尔坐标的变换具体可以通过以下步骤实现：
首先，针对至少一个圆角区域图像中每个圆角区域图像，在以圆角中心点
为极点的极坐标系中，针对每一坐标点
，计算该坐标点对应于所述圆角区域图像中的像素点
。具体计算公式如下：
其中，
表示所述圆角区域图像中的像素点
所在圆弧的半径，
，L为圆角中心点
到圆角区域图像的相对边的距离；
表示所述圆角区域图像中的像素点
在所在圆弧上对应的弧长，
；
为所述圆角区域图像中的像素点
相对于圆角中心点
的弧度，
，
，弧度
的最大取值为
是因为圆角拟合为1/4圆弧。
根据上述公式，在极坐标系中的每一坐标点的
和
的取值下，都可以计算出该坐标点对应所述圆角区域图像中的像素点
的坐标。该计算出来的坐标是浮点数，所以本实施例通过采用双线性插值法来寻找每一坐标点
对应的所述圆角区域图像中最接近的像素值。这种方式可以确保对提取的至少一个圆角区域图像进行极坐标与笛卡尔坐标的变换得到的第二开孔轮廓区域图像过渡自然，避免图像失真。具体而言，对于计算出的所述圆角区域图像中的像素点
，获得距离该像素点最近的像素点
和
，先用x方向的单线性插值去分别计算
和
的像素值，再使用y方向的单线性插值计算像素点
的像素值，将经过双线性插值处理后的像素点
的像素值作为坐标点
的像素值。
从而，通过对半径
和弧长
从小到大的取值，根据上述变换公式可以将每个圆角区域图像中的圆角轮廓拉直，使得每个圆角区域图像分别变换为包含直线轮廓的第二开孔轮廓区域图像。
（2）第二形状类型-圆形开孔
具有圆形开孔的目标工件的开孔轮廓区域图像仅包括第二开孔轮廓区域图像。首先，以圆形开孔的最小外接矩形框为基线，向外延伸一定宽度尺寸的***矩形框，从目标工件的分割图像获得由该***矩形框限定的原始开孔轮廓区域图像。该向外延伸的宽度尺寸至少要保证后续步骤能对开孔轮廓区域图像按照预定尺寸裁切得到一组检测图像。
其次，基于该***矩形框限定的原始开孔轮廓区域图像，根据开孔轮廓的坐标尺寸数据中圆形轮廓的中心点坐标和圆形半径，对该原始开孔轮廓区域图像进行极坐标与笛卡尔坐标的变换，将该原始开孔轮廓区域图像中的圆形轮廓进行拉直变换，使该原始开孔轮廓区域图像变换为包含直线轮廓的第二开孔轮廓区域图像
。对包含圆形轮廓的该原始开孔轮廓区域图像进行极坐标与笛卡尔坐标的变换的目的是由于圆形轮廓没有平直的边缘底部，会影响对边缘裂纹缺陷的准确判别，所以本申请实施例采用将包含圆形轮廓的该原始开孔轮廓区域图像进行极坐标与笛卡尔坐标的变换，将之变换为包含直线轮廓的矩形图像，这样后续步骤中裁切得到的检测图像会提高裂纹缺陷分类检测的准确性。
在一个实施方式中，所述对该原始开孔轮廓区域图像进行极坐标与笛卡尔坐标的变换具体可以通过以下步骤实现：
首先，针对该原始开孔轮廓区域图像，在以圆形轮廓中心点
为极点的极坐标系中，针对每一坐标点
，计算该坐标点对应于所述原始开孔轮廓区域图像中的像素点
。具体计算公式如下：
其中，
表示包含圆形轮廓的该原始开孔轮廓区域图像中的像素点
所在圆弧的半径，
，R为圆形轮廓中心点
到***矩形框的相对边的距离；
表示该原始开孔轮廓区域图像中的像素点
在所在圆弧上对应的弧长，
；
为所述原始开孔轮廓区域图像中的像素点
相对于圆形轮廓中心点
的弧度，
，
，圆形轮廓的弧度
的最大取值为
。
根据上述公式，在极坐标系中的每一坐标点的
和
的取值下，都可以计算出该坐标点对应所述原始开孔轮廓区域图像中的像素点
的坐标。该计算出来的是浮点数，所以本实施例通过采用双线性插值法来寻找每一坐标点
对应的所述原始开孔轮廓区域图像中最接近的像素值。这种方式可以确保对原始开孔轮廓区域图像进行极坐标与笛卡尔坐标的变换得到的包含直线轮廓的第二开孔轮廓区域图像过渡自然，避免图像失真。具体双线性插值的处理如前所述，在此不再赘述。
从而，通过对半径
和弧长
从小到大的取值，根据上述变换公式可以将包含圆形轮廓的该原始开孔轮廓区域图像中的圆形轮廓拉直，使得原始开孔轮廓区域图像变换为包含直线轮廓的第二开孔轮廓区域图像。
需要说明的是，本步骤针对多个目标工件的不同形状类型的开孔轮廓的处理可以基于AI智能相机120中部署的开孔轮廓图像处理算法进行并行线程处理，可以显著提高AI智能相机120对多检测区域上的多个目标工件的图像处理的实时性，从而整体上提升多目标缺陷检测的效率。AI智能相机120中部署的开孔轮廓图像处理算法对于不同的开孔类型执行上述不同的处理逻辑。
步骤240，从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机120预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
本步骤中，滑动窗口的预定图像尺寸是深度学习缺陷分类模型的输入图像尺寸。在一个实施方式中，深度学习缺陷分类模型的输入图像尺寸为64*64像素，因而，本步骤中，滑动窗口的预定图像尺寸也相应设置为64*64像素。此外，选择滑动窗口的步长使得从每个开孔边缘区域图像裁切得到的一组待检测图像相互重叠，避免裂纹缺陷在裁切时被分割，影响分类检测的准确性，同时由于所述一组检测图像中的每个均包含开孔轮廓的一部分，使得对每个目标工件的开孔轮廓区域图像所裁切的一组检测图像可以覆盖开孔边缘裂纹缺陷图像，提高对开孔边缘裂纹缺陷的检出率和准确性。在一个实施方式中，滑动窗口的步长可以是滑动窗口的预定图像尺寸的1/2。例如，当滑动窗口的预定图像尺寸为64*64时，滑动窗口的步长设置为32，也就是滑动窗口每次移动32像素。
本步骤中，AI智能相机120中预先部署了每个工件类型对应的深度学***均池化、全连接、softmax层660进行处理，输出图像的预测分类结果。
本实施例中，每个工件类型对应的深度学习缺陷分类模型需要预先训练得到。首先，将每个工件类型裁切后的开孔边缘样本图像数据集标注为两类：有裂纹图像和无裂纹图像，有裂纹图像和无裂纹图像的主要判别依据是以图像中纹路是否与开孔边缘底部接触为依据，如果图像中纹路是从开孔边缘底部延伸出去，即与开孔边缘底部接触，则标注为有裂纹图像。如果图像中纹路并不与开孔边缘底部接触或者不存在纹路，则标注为无裂纹图像。其次，将样本图像的预测值和真实值的交叉熵作为模型的损失函数，将开孔边缘样本图像数据集划分为训练数据集和测试数据集，将训练集输入Resnet50网络模型进行训练，可以设置迭代次数和学习率直至损失函数达到收敛条件。然后，利用测试数据集对训练得到的网络模型进行评估。
在一个实施方式中，多个工件类型的深度学习缺陷分类模型的训练可以采用迁移学习的训练方式，以提高对多个工件类型对应的深度学习缺陷分类模型的训练学习效率，提高模型部署至检测工位上AI智能相机120的效率。具体而言，首先针对任一工件类型的开孔边缘样本图像数据集训练第一深度学习缺陷分类模型，第一深度学习缺陷分类模型可以作为预训练模型直接用于其他工件类型的目标工件的深度学习缺陷分类模型训练，对于其他工件类型的目标工件而言，仅需标注少量的开孔边缘样本图像数据集作为训练集，通过对第一深度学习缺陷分类模型的参数微调，可以快速得到针对其他工件类型的深度学习缺陷分类模型。如此，可以提高对多种工件类型的深度学习缺陷分类模型的训练和部署至AI智能相机120的效率。
在一个实施方式中，对于前述步骤分割得到的多个目标工件中，如果部分目标工件的工件类型是相同的，那么本步骤中还可以根据每个目标工件的工件类型判断所述多个目标工件中是否存在相同的工件类型；如是，则将所述多个目标工件的开孔轮廓区域图像按照相同的工件类型各自聚合为各工件类型的开孔轮廓区域图像数据集。然后，分别对所述各工件类型的开孔轮廓区域图像数据集中的每个以预定图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入与其工件类型对应的深度学习缺陷分类模型进行缺陷分类检测。本实施例将属于相同工件类型的目标工件的开孔轮廓区域图像各自按照同一工件类型聚合为开孔轮廓区域图像数据集，对同一工件类型的开孔轮廓区域图像数据集加载同一个深度学习缺陷分类模型进行检测，通过这种方式，AI智能相机120不需要针对同一工件类型的多个目标工件同时加载多个相同的深度学习缺陷分类模型的运行实例，可以节省AI智能相机120的***资源，提高多个目标工件的裂纹缺陷检测的运行性能和效率。
在一个实施方式中，本步骤中还可以基于AI智能相机120内置的AI加速处理单元并行加载多个工件类型分别对应的深度学习缺陷分类模型来执行检测图像的裂纹缺陷的分类检测，提高对检测工位上多个目标工件的裂纹缺陷检测的效率。
图7是根据本申请一实施例的基于AI智能相机的多目标裂纹缺陷检测装置的结构示意图。如图7所示，本申请所述的基于AI智能相机的多目标裂纹缺陷检测装置包括以下单元：
图像采集单元710，用于通过单个AI智能相机120拍摄包含同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件；
工件分割单元720，用于利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，并得到每个目标工件的分割图像；
图像处理单元730，用于根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像；
缺陷检测单元740，用于从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机120预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
本申请实施例的基于AI智能相机的多目标裂纹缺陷检测方法和装置，通过单个AI智能相机120拍摄覆盖同一检测工位上的多个检测区域的第一图像，利用深度学习分割模型从第一图像中得到每个检测区域的目标工件的分割图像和工件类型，然后根据每个目标工件的工件类型并行地从每个目标工件的分割图像提取开孔轮廓，从每个目标工件的分割图像获得每个目标工件的开孔轮廓区域图像，随后从每个目标工件的开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机120预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷。该方法利用AI智能相机120的图像并行处理和AI模型处理能力，实现一次性对同一检测工位上的多个不同类型目标工件的开孔裂纹缺陷的实时性检测，显著降低了对多类型目标工件的开孔裂纹缺陷检测的成本，提高了对多类型目标工件的开孔裂纹缺陷检测的效率，并且提高了对目标工件中开孔轮廓微小裂纹缺陷的检测准确率。
需要说明的是，本领域技术人员可以理解，本申请的多目标裂纹缺陷检测方法的实施例所描述的不同实施方式及其说明解释和所达到的技术效果，同样适用于本申请的多目标裂纹缺陷检测装置的实施例中，在此不再赘述。
本申请可以通过软件、硬件或软硬件结合的方式实施。当实现为计算机软件程序时，该计算机软件程序可以安装于AI智能相机的存储器中被一个或多个处理器执行以实现相应功能。
进一步地，本申请实施例还可以包括一种计算机可读介质，该计算机可读介质存储有程序指令，在这样的实施例中，当该计算机可读存储介质被装载在AI智能相机中时，该程序指令可以被一个或多个处理器执行以执行本申请任一实施例中描述的方法步骤。
进一步地，本申请的实施例还可以包括一种计算机程序产品，包括承载程序指令的计算机可读介质，在这样的实施例中，该程序指令可以被一个或多个处理器执行以执行本申请任一实施例中描述的方法步骤。
以上描述了本申请示例性的实施例，应当理解，上述示例性的实施例不是限制性的，而是说明性的，本申请的保护范围不限于此。应理解，本领域技术人员在不脱离本申请的精神和范围的情况下，可以对本申请实施例进行修改和变型，这些修改和变型理应在本申请的保护范围之内。
Claims (9)
1.一种基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，包括：
通过单个AI智能相机拍摄覆盖同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件，所述多个检测区域在所述同一检测工位上通过矩阵式分布排列，使得所述多个检测区域均在所述AI智能相机的视场范围；
利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，并得到每个目标工件的分割图像；其中，基于所述AI智能相机的标定数据获得所述第一图像的图像坐标与所述多个检测区域之间的映射关系，根据所述映射关系以及所述深度学习分割模型对所述第一图像进行分割检测得到的每个目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之间的位置关系，确定所述每个目标工件所对应的检测区域标识；
根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像；
从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
2.根据权利要求1所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，所述根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据包括：
根据每个目标工件的工件类型获得每个目标工件的开孔轮廓的形状类型，并从所述每个目标工件的分割图像获取开孔轮廓的最小外接矩形框；
根据所述每个目标工件的开孔轮廓的形状类型和开孔轮廓的最小外接矩形框，生成每个目标工件的开孔轮廓的坐标尺寸数据。
3.根据权利要求2所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，如果所述开孔轮廓的形状类型是第一形状类型，则所述目标工件的开孔轮廓的坐标尺寸数据包括根据开孔轮廓的最小外接矩形框的旋转角度对目标工件的分割图像进行旋转角度矫正后的水平最小外接矩形框的坐标尺寸数据以及至少一个圆角的拟合尺寸数据；如果所述开孔轮廓的形状类型是第二形状类型，则所述目标工件的开孔轮廓的坐标尺寸数据包括开孔轮廓的最小外接矩形框的中心点坐标和圆形半径。
4.根据权利要求3所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，
如果所述开孔轮廓的形状类型是第一形状类型，则所述至少一个开孔轮廓区域图像包括第一开孔轮廓区域图像和至少一个第二开孔轮廓区域图像，其中所述至少一个第二开孔轮廓区域图像是对所述至少一个圆角的圆角区域图像进行圆角轮廓拉直变换而获得。
5.根据权利要求3所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，如果所述开孔轮廓的形状类型是第二形状类型，则所述至少一个开孔轮廓区域图像包括第二开孔轮廓区域图像，所述第二开孔轮廓区域图像是对原始开孔轮廓区域图像进行圆形轮廓拉直变换而获得。
6.根据权利要求1-5任一项所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，所述方法还包括：
基于图像中纹路是否与开孔边缘底部接触为依据，将每个工件类型的裁切后的开孔边缘样本图像数据集标注为有裂纹图像和无裂纹图像；
针对任一工件类型的开孔边缘样本图像数据集训练第一深度学习缺陷分类模型，基于其他工件类型的少量开孔边缘样本图像数据集对所述第一深度学习缺陷分类模型进行迁移学习，依次得到针对其他工件类型的深度学习缺陷分类模型，将每个工件类型对应的深度学习缺陷分类模型部署至所述AI智能相机。
7.根据权利要求1所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，所述方法还包括：
根据每个目标工件的工件类型判断放置于所述多个检测区域上的多个目标工件中是否存在相同的工件类型；
如是，则将所述多个目标工件的开孔轮廓区域图像按照相同的工件类型各自聚合为各工件类型的开孔轮廓区域图像数据集；
分别对所述各工件类型的开孔轮廓区域图像数据集中的每个以预定图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入与其工件类型对应的深度学习缺陷分类模型。
8.根据权利要求7所述的基于AI智能相机的多目标裂纹缺陷检测方法，其特征在于，所述方法还包括：基于所述AI智能相机内置的AI加速处理单元并行加载多个工件类型分别对应的深度学习缺陷分类模型来执行所述检测图像的裂纹缺陷的分类检测。
9.一种基于AI智能相机的多目标裂纹缺陷检测装置，其特征在于，包括：
图像采集单元，用于通过单个AI智能相机拍摄包含同一检测工位上的多个检测区域的第一图像，每个检测区域分别放置一目标工件，所述多个检测区域在所述同一检测工位上通过矩阵式分布排列，使得所述多个检测区域均在所述AI智能相机的视场范围；
工件分割单元，用于利用深度学习分割模型对所述第一图像进行分割检测，识别出每个检测区域中的目标工件的工件类型，并得到每个目标工件的分割图像；其中，基于所述AI智能相机的标定数据获得所述第一图像的图像坐标与所述多个检测区域之间的映射关系，根据所述映射关系以及所述深度学习分割模型对所述第一图像进行分割检测得到的每个目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之间的位置关系，确定所述每个目标工件所对应的检测区域标识；
图像处理单元，用于根据每个目标工件的工件类型，并行地从每个目标工件的分割图像提取开孔轮廓，获得每个目标工件的开孔轮廓的坐标尺寸数据，并根据每个目标工件的开孔轮廓的坐标尺寸数据，从每个目标工件的分割图像获得每个目标工件的至少一个开孔轮廓区域图像；
缺陷检测单元，用于从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口沿着开孔轮廓裁切一组检测图像，依次输入所述AI智能相机预先部署的与每个目标工件的工件类型对应的深度学习缺陷分类模型，识别出所述一组检测图像中是否存在裂纹缺陷，其中所述一组检测图像中的每个均包含开孔轮廓的一部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210946913.7A CN115018846B (zh) | 2022-08-09 | 2022-08-09 | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210946913.7A CN115018846B (zh) | 2022-08-09 | 2022-08-09 | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018846A CN115018846A (zh) | 2022-09-06 |
| CN115018846B true CN115018846B (zh) | 2022-12-27 |
Family
ID=83066213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210946913.7A Active CN115018846B (zh) | 2022-08-09 | 2022-08-09 | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018846B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115423783A (zh) * | 2022-09-13 | 2022-12-02 | 优层智能科技(上海)有限公司 | 一种用于光伏组件边框及接线盒灌胶的质检方法和装置 |
| CN115619767B (zh) * | 2022-11-09 | 2023-04-18 | 南京云创大数据科技股份有限公司 | 基于多光照条件的类镜面工件表面缺陷检测方法及装置 |
| CN116452791B (zh) * | 2023-03-27 | 2024-03-22 | 广州市斯睿特智能科技有限公司 | 多相机点位的缺陷区域定位方法、***、装置及存储介质 |
| CN116612116A (zh) * | 2023-07-19 | 2023-08-18 | 天津伍嘉联创科技发展股份有限公司 | 一种基于深度学习图像分割的晶体外观缺陷检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447851A (zh) * | 2015-11-12 | 2016-03-30 | 刘新辉 | 一种玻璃面板的音孔缺陷检测方法及*** |
| CN109596625A (zh) * | 2019-02-01 | 2019-04-09 | 东莞中科蓝海智能视觉科技有限公司 | 料盘中的工件缺陷检测识别方法 |
| CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶***及方法 |
| CN112862770A (zh) * | 2021-01-29 | 2021-05-28 | 珠海迪沃航空工程有限公司 | 一种基于人工智能的缺陷分析诊断***、方法、装置 |
| CN113554582A (zh) * | 2020-04-22 | 2021-10-26 | 中国科学院长春光学精密机械与物理研究所 | 电子设备盖板上功能孔的缺陷检测方法、装置以及*** |
| CN113822890A (zh) * | 2021-11-24 | 2021-12-21 | 中科慧远视觉技术(北京)有限公司 | 一种微裂纹检测方法、装置、***及存储介质 |
-
2022
- 2022-08-09 CN CN202210946913.7A patent/CN115018846B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447851A (zh) * | 2015-11-12 | 2016-03-30 | 刘新辉 | 一种玻璃面板的音孔缺陷检测方法及*** |
| CN109596625A (zh) * | 2019-02-01 | 2019-04-09 | 东莞中科蓝海智能视觉科技有限公司 | 料盘中的工件缺陷检测识别方法 |
| CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶***及方法 |
| CN113554582A (zh) * | 2020-04-22 | 2021-10-26 | 中国科学院长春光学精密机械与物理研究所 | 电子设备盖板上功能孔的缺陷检测方法、装置以及*** |
| CN112862770A (zh) * | 2021-01-29 | 2021-05-28 | 珠海迪沃航空工程有限公司 | 一种基于人工智能的缺陷分析诊断***、方法、装置 |
| CN113822890A (zh) * | 2021-11-24 | 2021-12-21 | 中科慧远视觉技术(北京)有限公司 | 一种微裂纹检测方法、装置、***及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018846A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018846B (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
| CN108369650B (zh) | 标识校准图案的可能特征点的方法 | |
| CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN106934803B (zh) | 电子器件表面缺陷的检测方法及装置 | |
| CN113963042B (zh) | 基于图像处理的金属零件缺陷程度评估方法 | |
| CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
| CN112734761B (zh) | 工业品图像边界轮廓提取方法 | |
| CN115330767A (zh) | 一种腐蚀箔生产异常识别方法 | |
| CN110766016B (zh) | 一种基于概率神经网络的喷码字符识别方法 | |
| CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
| CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109255792B (zh) | 一种视频图像的分割方法、装置、终端设备及存储介质 | |
| CN112232222B (zh) | 基于图像处理的动车轴箱端盖螺栓丢失故障检测方法 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、***、设备及存储介质 | |
| CN117635615B (zh) | 基于深度学习实现冲孔模具的缺陷检测方法及*** | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN116523916B (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN112184723A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113591923A (zh) | 基于图像特征提取与模板匹配的发动机摇臂零件分类方法 | |
| WO2018057082A1 (en) | Curvature-based face detector | |
| CN113793292A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN117078665B (zh) | 产品表面缺陷检测方法、装置、存储介质和电子设备 | |
| Lan et al. | Weld Recognition of Pressure Vessel Based on Texture Feature | |
| CN117197215B (zh) | 基于五目相机***的多目视觉圆孔特征的鲁棒提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |