CN112132773A - 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质 - Google Patents

飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112132773A
CN112132773A CN201910551090.6A CN201910551090A CN112132773A CN 112132773 A CN112132773 A CN 112132773A CN 201910551090 A CN201910551090 A CN 201910551090A CN 112132773 A CN112132773 A CN 112132773A
Authority
CN
China
Prior art keywords
riveting
image
point
riveting point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910551090.6A
Other languages
English (en)
Other versions
CN112132773B (zh
Inventor
胡强
黄义镛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201910551090.6A priority Critical patent/CN112132773B/zh
Publication of CN112132773A publication Critical patent/CN112132773A/zh
Application granted granted Critical
Publication of CN112132773B publication Critical patent/CN112132773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质，通过获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。本申请通过计算机视觉对飞机的铆点进行检测可以极大地降低工人的工作量，排除了人的视觉疲劳对检测结果的影响，同时具有极高的检测速度，能够满足飞机在短时间停靠时完成铆点检测，满足安全需求。

Description

飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质
技术领域
本申请涉及的图像处理与飞机铆点检测领域，特别是涉及一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质。
背景技术
建造飞机的时候会在飞机表面打上大量铆钉，铆钉是飞机上重要的连接构件，对飞机的安全起着至关重要的作用，在建造飞机时需要反复检查以防止漏打铆钉。铆钉的工作环境十分恶劣，负载较大，经常处于高温、高压的环境下工作，铆钉容易产生层间裂纹、周边裂纹以及腐蚀等缺陷，甚至导致断裂脱落等，因此在飞机在服役过程中经常需要检查铆钉的状态。
飞机表面的铆钉数量众多，仅机头的一个机盖，在建造时就要打1000个以上的铆钉，如果飞机每次进行铆钉复检都需要人工检查每一个铆钉的话，将会带来巨大的工作量，同时，铆钉的分布也十分密集，光用人眼看容易造成视觉疲劳从而导致漏检，这会给飞机的飞行带来巨大的安全隐患，因此，亟需一种高效准确的铆钉检测方法，排除大量正常满足要求的铆点，只留下少量需要人工进行复检的铆点，来降低工人的工作量，排除由视觉疲劳引起的漏检隐患。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种飞机头部机盖铆点缺陷检测方法，所述方法包括：获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
于本申请的一实施例中，所述2D图像处理方法包括：对所述图像数据进行中值滤波、及拉普拉斯变换得到含有所述铆点边缘轮廓的处理图像；对所述处理图像再次进行所述中值滤波，并进行二值化处理以得到所述处理图像中各所述铆点的轮廓；依据各所述轮廓计算零阶矩和一阶矩以求得各所述铆点的轮廓中心坐标。
于本申请的一实施例中，所述拉普拉斯变换用于对所述图像数据中所述铆点的边缘进行检测，所述拉普拉斯变换计算公式为：
Figure BDA0002105439280000021
其中f为像素值关于坐标的变换函数，x为横坐标，y为纵坐标。
于本申请的一实施例中，所述方法还包括：若两个所述铆点的所述轮廓中心坐标的距离小于预设距离阈值；则以两个所述轮廓中心坐标的中心点替代这两个所述铆点的所述轮廓中心坐标。
于本申请的一实施例中，所述杂质点的过滤方法包括：对应各所述铆点的轮廓面积预设一面积阈值范围；过滤所述轮廓面积大于或小于所述阈值范围所对应的所述铆点。
于本申请的一实施例中，将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果，包括：将各所述关键铆点与所述3D模型上对应的所述铆点进行匹配，以计算所述3D模型投影到所述2D图像上的参数；依据所述参数得到所述3D模型投影到所述2D图像上各所述铆点对应的投影坐标；对同一所述铆点的投影坐标与其对应的所述轮廓中心坐标进行比较；若坐标距离小于预设像素阈值，则判定该所述铆点正常；若坐标距离大于或等于预设像素阈值，则判定该所述铆点需要复检。
于本申请的一实施例中，所述方法包括：基于所述2D图像上的所述检测结果还能转换至所述飞机头部的机盖对应的3D模型中，以供直观展示。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；处理模块，用于依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器用于与外部设备通信。
为实现上述目的及其他相关目的，本申请提供一种非暂时的计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质，通过获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
具有以下有益效果：
通过计算机视觉对飞机的铆点进行检测可以极大地降低工人的工作量，排除了人的视觉疲劳对检测结果的影响，同时具有极高的检测速度，能够满足飞机在短时间停靠时完成铆点检测，满足安全需求。
附图说明
图1显示为本申请于一实施例中的飞机头部机盖铆点缺陷检测方法的流程示意图。
图2显示为本申请于一实施例中的飞机头部的场景示意图。
图3显示为本申请于一实施例中的3D模型投影至2D图像的模型示意图。
图4显示为本申请于一实施例中的电子装置的模块示意图。
图5显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时，这可以是直接在另一部件之上，但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时，其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
承前所述，目前对飞机铆钉是否正确在铆点上的检测的方法基本靠人工检测，而飞机上铆钉数量巨大人工难以完成快速检测，且容易产生视觉疲劳导致漏检，缺少一种能够自动检测铆钉的方法。针对这个问题，本发明提供了一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质，所述缺陷检测方法主要基于计算机视觉，以自动地完成大量的铆点检测工作，找出少数需要人工复检的铆点，极大地减轻工人的工作负担。
目前计算机视觉技术被广泛应用于工业中的检测，在传统的图像处理中有包含许多边缘检测技术、滤波技术、轮廓查找技术和轮廓中心坐标计算方法，飞机铆点的检测需要这些技术来获取铆钉位置信息。同时，由于角度和飞机的位置不同，采集到的铆钉位置也不同，因此需要建造飞机的3D模型通过关键点匹配投影到2D图像上，来对检测到的铆点进行匹配。
如图1所示，展示为本申请一实施例中的飞机头部机盖铆点缺陷检测方法的流程示意图。如图所示，所述方法包括：
步骤S101：获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标。
于本实施例中，所述图像数据的采集设备需具有较高的精度或分辨率。
由于铆点数量众多，仅本申请中所述的飞机头部机盖上的铆点大概就有1400个，因此需要使用超高精度的摄相机来采集图像数据，才能找到每个铆点的准确位置。于本实例中，采集图像的设备优选采用分辨率为7680x4320的8k摄像机，如，可以使用8k分辨率的相机在采光良好的场景下以正视图角度采集飞机头部的图像数据(2D图像)采集的飞机头部图像如图2所示。
具体来说，本申请所述的采集视角并非仅限于正视图视角，具有一定俯视角度的俯视图视角或仰视图视角，以及垂直向下的俯视图视角或垂直向上的仰视图视角据图。当然，在一般情况下正视图视角更方便计算，但是在一些特定情况下其他视角会可能会更合适。
通常原始图像会存在较多噪声，若直接进行边缘检测会检测到很多噪声的边缘，因此需要先进行滤波操作。
于本申请一实施例中，所述2D图像处理方法包括：
A、对所述图像数据进行中值滤波、及拉普拉斯变换得到含有所述铆点边缘轮廓的处理图像。
B、对所述处理图像再次进行所述中值滤波，并进行二值化处理以得到所述处理图像中各所述铆点的轮廓。
C、依据各所述轮廓计算零阶矩和一阶矩以求得各所述铆点的轮廓中心坐标。
于本实施例中，常用的滤波操作有中值滤波、高斯滤波、小波滤波等，在本实例中，为了防止检测到更多噪声的边缘，需要让图像更平滑，因此使用中值滤波的效果最好，中值滤波的原理是将数字图像中一个点的像素值用该点周围的一个区域的各个点的中值，于本申请中将一个点的一个邻域称为窗口，对于2D图像的中值滤波，通常使用3x3、5x5或7x7的窗口进行滤波。
若以窗口大小为3x3的中值滤波为例，对于输入单通道图像的矩阵input，从input[1][1]开始，计算该像素点领域的共9个像素点的中值映射到输出矩阵output的output[1][1]上，下一步将窗口向右移动一个像素点到input[1][2]，计算该像素点的中值映射到输出矩阵的output[1][2]，以此类推直到滑动窗口扫描完整张图像，若图像为3通道的RGB图像，则分别对每个通道计算中值滤波的输出。
在本实例中，对原始图像进行了2次中值滤波，第一次滤波的窗口大小为5x5，第二层滤波的窗口大小为3x3，得到了噪声较少的平滑图像。
图像平滑后只剩下含铆点在内的边缘特征比较明显，需要选择合适的边缘检测方法对图像中铆点的边缘进行检测。常见的传统边缘检测方法有canny边缘检测、Sobel边缘检测、拉普拉斯算子边缘检测，本申请所述方法经实验测得使用拉普拉斯算子进行边缘检测具有较好效果。具体来说，拉普拉斯算子是通过计算像素间的梯度变化来检测边缘的，根据图像像素的一阶导数可以得到像素值的增减变化，图像中的边缘是像素值增减最剧烈的地方，可通过计算二阶导数来得到像素值变化的剧烈程度并得到具体的数值表示，二阶导数值为0的地方即为像素值变化最剧烈的地方。在2D图像中的拉普拉斯算子的计算公式为：
Figure BDA0002105439280000061
其中f为像素值关于坐标的变换函数，x为横坐标，y为纵坐标。
在实际应用中为满足编程需要，拉普拉斯算子通常表示成模板的形式，例如下表1所示：
表1拉普拉斯算子模板形式
0 1 0
1 -4 1
0 1 0
图像中的拉普拉斯操作即使用类似以上卷积核以步长为1的方式进行卷积操作。本实例中通过采用大小为5x5的拉普拉斯算子对滤波后的原始图像进行边缘检测，输出为3通道边缘特征图像。
由于拉普拉斯算子对边缘信息十分敏感，噪声对其的影响十分巨大，即使在检测前对原始图像进行了滤波，但还是会检测到少量的噪声边缘特征，因此本实例在图像二值化之前还对其进行了滤波操作，使用窗口大小为3x3的中值滤波操作对边缘特征图像重复进行3次滤波，可得到较为理想的结果。对滤波后的边缘特征图像在二值化之前需先转化为单通道的灰度图，RGB图像转化为灰度图的计算公式为：
Gray＝0.299*R+0.587*G+0.114*B
其中R、G、B分别对应一个像素点3个通道的值，Gray为灰度图矩阵上的对应像素值。得到灰度图后通过阈值分割即可得到二值图像，即大于阈值的像素点值设为1，小于阈值的像素点值设为0。在本实例中将阈值设定为50可取得最佳分割效果。
对二值图像查找轮廓的方法原理可参考文献Topological structural analysisof digitized binary images by border following，开源的opencv库包含其的完整实现。通过开源库对二值图查找轮廓后，可得到一组轮廓，每个轮廓由一个包含一个或多个坐标的集合组成，一组轮廓中主要由大量我们所需的铆点轮廓和少量的其他轮廓组成。
对每个轮廓求零阶矩和一阶矩可计算得每个轮廓的中心坐标，在本申请所述方法中可以使用轮廓的质心作为其中心坐标，可准确地表示铆点的位置。其中，
零阶矩的计算公式为：
Figure BDA0002105439280000071
其中V(x,y)是轮廓内点(x,y)的像素值，对于二值图来说都为1，因此M00即为轮廓内的区域面积。
一阶矩的计算公式为：
Figure BDA0002105439280000072
Figure BDA0002105439280000073
由公式可知，图像为二值图时，M10即为轮廓内所有像素点的x坐标累和，M01为轮廓内所有像素点的y坐标累和。则轮廓质心坐标的计算公式为：
Figure BDA0002105439280000074
遍历所有轮廓计算其质心，初步得到检测铆点的中心坐标。
步骤S1022：依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点。
于本申请一实施例中，所述杂质点的过滤方法包括：
A、对应各所述铆点的轮廓面积预设一面积阈值范围；
B、过滤所述轮廓面积大于或小于所述阈值范围所对应的所述铆点。
于本实施例中，在调用opencv库查找轮廓时，函数查找的是图像中所有的轮廓，除了铆点还有机盖边缘等其他轮廓，这些轮廓很容易影响铆点匹配的精度，但这些轮廓的面积往往和铆点的面积不在一个层级，因此可以先通过面积判断过滤大部分非铆点轮廓的坐标。在本实例中，设置铆点的面积阈值为100pixel2，面积大于阈值的轮廓对应的中心坐标直接过滤，剩下的基本都为铆点的中心坐标。
在边缘检测的步骤中由于有些铆点的颜色与机盖表面十分接近，检测到的边缘特征并不完整，使得一个铆点检测到的轮廓没有闭合，上半部分和下半部分断开，导致产生两个轮廓和两个中心坐标，这种情况不但会导致多检，而且中心坐标的位置也不准确，为避免这种情况，需要对中心坐标再次清洗过滤。
于本申请一实施例中，所述杂质点的过滤方法还包括：若两个所述铆点的所述轮廓中心坐标的距离小于预设距离阈值；则以两个所述轮廓中心坐标的中心点替代这两个所述铆点的所述轮廓中心坐标。
于本实施例中，通过遍历所有坐标，找寻与每个坐标距离最近的坐标，当该距离小于给定的阈值时，则计算这两个坐标点的中点来替代它们，本实例中将该阈值设定为5pixel即可达到较好效果。该步骤对铆点检测的精确度和召回率有不小的提升。
举例来说，所述关键点可以从飞机头部机盖轮廓线上找，或以机盖中心的十字延长线上找到等。
步骤S103：将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
举例来说，使用检测到的铆点坐标中的机盖上的6个关键点与建造飞机头部机盖的3D模型上的对应铆点进行人工匹配，匹配后将3D模型投影到2D图像上得到模型上对应的铆点。
于本实施例中，在实际环境中，飞机每次停靠的位置都不是完全一模一样的，会有少许偏移，因此要得到飞机机盖上铆点的基准坐标需要借助人工和3D模型。
于本实施例中，本申请所述方法中选择的3D模型为飞机机盖建造时的模型，因此可以确定与真实的机盖完全吻合。
举例来说，将检测到的铆点用标注软件打开显示在2D图像上，人工选取6个关键点的坐标与3D模型上的铆点进行匹配，本实例中选择了飞机机盖边缘顶点上的6个点作为关键点，可以防止误差放大。
于本申请一实施例中，步骤S103的具体方法包括：
A、将各所述关键铆点与所述3D模型上对应的所述铆点进行匹配，以计算所述3D模型投影到所述2D图像上的参数，
B、依据所述参数得到所述3D模型投影到所述2D图像上各所述铆点对应的投影坐标；
C、对同一所述铆点的投影坐标与其对应的所述轮廓中心坐标进行比较；
D、若坐标距离小于预设像素阈值，则判定该所述铆点正常；若坐标距离大于或等于预设像素阈值，则判定该所述铆点需要复检。
于本实施例中，根据2D图像上多个关键点的坐标与3D模型上对应的空间坐标，可以计算3D模型投影到2D图像上的旋转矩阵和平移矩阵，则3D模型上的其他所有铆点都可以根据以下公式求得：
P2D＝R*P3D+T
其中P2D为2D图像上的坐标点，P3D为3D空间上的坐标点，R为形状为3x2的旋转矩阵，T为形状为1x2的平移矩阵，“*”表示矩阵乘法。
其中，3D模型上的铆点投影到2D图像上的示意图如图3所示。
于本实施例中，模型对应的铆点与检测到的铆点进行匹配得到铆钉在正确位置的数量与位置和不在正确位置上需要人工复检的数量与位置。
对于投影到2D图像上的基准铆点，在检测到的铆点上搜索距离最近的点，若距离小于设定的阈值，则判断为正确匹配，最后剩下的未匹配到检测铆点的基准铆点，则判定为需要人工复检的铆点。
于本申请一实施例中，所述方法包括：基于所述2D图像上的所述检测结果还能转换至所述飞机头部的机盖对应的3D模型中，以供直观展示。
举例来说，将这些需要人工复检的铆点映射回3D模型上，在用户界面上显示正确匹配的铆点和未正确匹配的铆点，提醒工人进行复检。铆点匹配的距离阈值可以根据检查的严格程度进行合理调整，距离阈值越大则能匹配上的铆点数越多，同时精确度和召回率越高，反之亦然，但在实际中该阈值应在5pixel内才能满足要求。在本实例中，为更好地展示对所需铆点的检测结果，截取了飞机头部机盖的图像进行铆点检测，而实际检测中使用采集的原始图像进行检测即可，检测的铆点用不同阈值得到的结果如下表2所示：
表2不同阈值的铆点检测结果
距离阈值 基准铆点数 检测铆点数 匹配铆点数 精确度 召回率
1pixel 1400 1450 125 0.0862 0.0892
2pixel 1400 1450 926 0.6386 0.6614
3pixel 1400 1450 1319 0.9096 0.9421
4pixel 1400 1450 1374 0.9475 0.9814
5pixel 1400 1450 1386 0.9558 0.99
6pixel 1400 1450 1388 0.9572 0.9914
综上，本申请通过计算机视觉对飞机的铆点进行检测可以极大地降低工人的工作量，排除了人的视觉疲劳对检测结果的影响，同时具有极高的检测速度，能够满足飞机在短时间停靠时完成铆点检测，满足安全需求。
如图4所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述装置400包括：
获取模块401，用于获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；
处理模块402，用于依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块402可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块402的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
如图5所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备500包括：存储器501、处理器502、及通信器503；所述存储器501用于存储计算机指令；所述处理器502运行计算机指令实现如图1所述的方法。所述通信器503与外部设备通信。
举例来说，所述外部设备可以为需具有较高的精度或分辨率的采集设备，例如，分辨率为7680x4320的8k摄像机。
在一些实施例中，所述计算机设备500中的所述存储器501的数量均可以是一或多个，所述处理器502的数量均可以是一或多个，所述通信器503的数量均可以是一或多个，而图5中均以一个为例。
于本申请一实施例中，所述计算机设备500中的处理器502会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器501中，并由处理器502来运行存储在存储器501中的应用程序，从而实现如图1所述的方法。
所述存储器501可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器501存储有操作***和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作***可包括各种***程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器503用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器503可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中，所述计算机设备500的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图5中将各种总线都成为总线***。
于本申请的一实施例中，本申请提供一种非暂时的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述***及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述***及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质，通过获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种飞机头部机盖铆点缺陷检测方法，其特征在于，所述方法包括：
获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；
依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；
将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述2D图像处理方法包括：
对所述图像数据进行中值滤波、及拉普拉斯变换得到含有所述铆点边缘轮廓的处理图像；
对所述处理图像再次进行所述中值滤波，并进行二值化处理以得到所述处理图像中各所述铆点的轮廓；
依据各所述轮廓计算零阶矩和一阶矩以求得各所述铆点的轮廓中心坐标。
3.根据权利要求2所述的方法，其特征在于，所述拉普拉斯变换用于对所述图像数据中所述铆点的边缘进行检测，所述拉普拉斯变换计算公式为：
Figure FDA0002105439270000011
其中f为像素值关于坐标的变换函数，x为横坐标，y为纵坐标。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：若两个所述铆点的所述轮廓中心坐标的距离小于预设距离阈值；则以两个所述轮廓中心坐标的中心点替代这两个所述铆点的所述轮廓中心坐标。
5.根据权利要求1所述的方法，其特征在于，所述杂质点的过滤方法包括：
对应各所述铆点的轮廓面积预设一面积阈值范围；
过滤所述轮廓面积大于或小于所述阈值范围所对应的所述铆点。
6.根据权利要求1所述的方法，其特征在于，将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果，包括：
将各所述关键铆点与所述3D模型上对应的所述铆点进行匹配，以计算所述3D模型投影到所述2D图像上的参数；
依据所述参数得到所述3D模型投影到所述2D图像上各所述铆点对应的投影坐标；
对同一所述铆点的投影坐标与其对应的所述轮廓中心坐标进行比较；
若坐标距离小于预设像素阈值，则判定该所述铆点正常；若坐标距离大于或等于预设像素阈值，则判定该所述铆点需要复检。
7.根据权利要求1所述的方法，其特征在于，所述方法包括：基于所述2D图像上的所述缺陷检测结果还能转换至所述飞机头部的机盖对应的3D模型中，以供直观展示。
8.一种电子装置，其特征在于，所述装置包括：
获取模块，用于获取飞机头部机盖一视角的图像数据，并通过2D图像处理获得对应所述飞机头部机盖上铆点的轮廓中心坐标；
处理模块，用于依据所述轮廓中心坐标过滤杂质点，并选取出多个关键铆点；将各所述关键铆点与所述飞机头部的机盖的3D模型上对应的所述铆点进行匹配，并将所述3D模型投影至所述2D图像上，以得各所述铆点的缺陷检测结果。
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法；所述通信器用于与外部通信。
10.一种非暂时的计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
CN201910551090.6A 2019-06-24 2019-06-24 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质 Active CN112132773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910551090.6A CN112132773B (zh) 2019-06-24 2019-06-24 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910551090.6A CN112132773B (zh) 2019-06-24 2019-06-24 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112132773A true CN112132773A (zh) 2020-12-25
CN112132773B CN112132773B (zh) 2024-04-12

Family

ID=73849963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910551090.6A Active CN112132773B (zh) 2019-06-24 2019-06-24 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112132773B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700423A (zh) * 2021-01-06 2021-04-23 中国民航科学技术研究院 基于深度学习的机身表面损伤缺陷自动检测方法及***
CN114399507A (zh) * 2022-03-25 2022-04-26 季华实验室 一种手机外观质量检测方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109285A1 (en) * 2009-03-24 2010-09-30 Toyota Jidosha Kabushiki Kaisha Method of measuring defect density of single crystal
CN102636110A (zh) * 2012-03-26 2012-08-15 南京航空航天大学 飞机部件自动钻铆***的基准检测装置及其检测方法
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其***
JP2015175761A (ja) * 2014-03-17 2015-10-05 株式会社神戸製鋼所 表面疵検出方法、及び表面疵検出装置
CN106680287A (zh) * 2016-12-28 2017-05-17 无锡浩远视觉科技有限公司 一种轴承铆钉台阶缺陷的视觉检测方法
KR101740909B1 (ko) * 2016-02-29 2017-05-29 조선대학교산학협력단 항공기 리벳의 중심위치와 리벳의 결함을 자동으로 검출하기 위한 비파괴검사장치
CN106872476A (zh) * 2017-03-31 2017-06-20 武汉理工大学 一种基于线结构光的铸造类工件表面质量检测方法与***
CN107175329A (zh) * 2017-04-14 2017-09-19 华南理工大学 一种3d打印逐层检测反求零件模型及定位缺陷装置与方法
CN107389705A (zh) * 2017-07-20 2017-11-24 云南电网有限责任公司电力科学研究院 一种电力设备x射线无损检测三维成像方法
CN109003258A (zh) * 2018-06-15 2018-12-14 广东工业大学 一种高精度亚像素圆形零件测量方法
CN109142366A (zh) * 2018-06-13 2019-01-04 广东拓斯达科技股份有限公司 球形外壳缺陷检测方法、装置及计算机可读存储介质
CN109191441A (zh) * 2018-08-28 2019-01-11 曜科智能科技（上海）有限公司 图像处理方法、设备、***及存储介质
CN109767442A (zh) * 2019-01-15 2019-05-17 上海海事大学 一种基于旋转不变特征的遥感图像飞机目标检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109285A1 (en) * 2009-03-24 2010-09-30 Toyota Jidosha Kabushiki Kaisha Method of measuring defect density of single crystal
CN102636110A (zh) * 2012-03-26 2012-08-15 南京航空航天大学 飞机部件自动钻铆***的基准检测装置及其检测方法
JP2015175761A (ja) * 2014-03-17 2015-10-05 株式会社神戸製鋼所 表面疵検出方法、及び表面疵検出装置
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其***
KR101740909B1 (ko) * 2016-02-29 2017-05-29 조선대학교산학협력단 항공기 리벳의 중심위치와 리벳의 결함을 자동으로 검출하기 위한 비파괴검사장치
CN106680287A (zh) * 2016-12-28 2017-05-17 无锡浩远视觉科技有限公司 一种轴承铆钉台阶缺陷的视觉检测方法
CN106872476A (zh) * 2017-03-31 2017-06-20 武汉理工大学 一种基于线结构光的铸造类工件表面质量检测方法与***
CN107175329A (zh) * 2017-04-14 2017-09-19 华南理工大学 一种3d打印逐层检测反求零件模型及定位缺陷装置与方法
CN107389705A (zh) * 2017-07-20 2017-11-24 云南电网有限责任公司电力科学研究院 一种电力设备x射线无损检测三维成像方法
CN109142366A (zh) * 2018-06-13 2019-01-04 广东拓斯达科技股份有限公司 球形外壳缺陷检测方法、装置及计算机可读存储介质
CN109003258A (zh) * 2018-06-15 2018-12-14 广东工业大学 一种高精度亚像素圆形零件测量方法
CN109191441A (zh) * 2018-08-28 2019-01-11 曜科智能科技（上海）有限公司 图像处理方法、设备、***及存储介质
CN109767442A (zh) * 2019-01-15 2019-05-17 上海海事大学 一种基于旋转不变特征的遥感图像飞机目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAIYONG CHEN 等: "Image-Alignment Based Matching for Irregular Contour Defects Detection", 《IEEE ACCESS》, vol. 6, 14 November 2018 (2018-11-14), pages 68749 *
胡江涛: "基于机器视觉的飞机铆钉尺寸测量和缺陷检测***的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 2018, 15 January 2018 (2018-01-15), pages 031 - 219 *
胡鑫杰: "基于机器视觉的多工件分拣***设计", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 2018, 15 June 2018 (2018-06-15), pages 138 - 1392 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700423A (zh) * 2021-01-06 2021-04-23 中国民航科学技术研究院 基于深度学习的机身表面损伤缺陷自动检测方法及***
CN112700423B (zh) * 2021-01-06 2023-05-05 中国民航科学技术研究院 基于深度学习的机身表面损伤缺陷自动检测方法及***
CN114399507A (zh) * 2022-03-25 2022-04-26 季华实验室 一种手机外观质量检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112132773B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
Khumaidi et al. Welding defect classification based on convolution neural network (CNN) and Gaussian kernel
CN110826416B (zh) 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN106934813A (zh) 一种基于视觉定位的工业机器人工件抓取实现方法
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN109584215A (zh) 一种电路板在线视觉检测***
CN107004266A (zh) 检测轮胎表面上缺陷的方法
CN112132773B (zh) 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
Rani et al. Detection of edges using mathematical morphological operators
Kiruthika et al. Matching of different rice grains using digital image processing
CN115937203A (zh) 一种基于模板匹配的视觉检测方法、装置、设备及介质
Sulaiman et al. DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS.
CN108021914B (zh) 基于卷积神经网络的印刷品字符区域提取方法
Gong et al. Point cloud segmentation of 3D scattered parts sampled by RealSense
CN115761257A (zh) 基于计算机视觉技术的零部件角度检测方法及装置
CN111210419A (zh) 基于人类视觉特性的微型磁瓦表面缺陷检测方法
KR20240044495A (ko) 점검 지원 시스템, 점검 지원 방법, 및, 점검 지원 프로그램
US11978197B2 (en) Inspection method for inspecting an object and machine vision system
CN112560743A (zh) 公共区域异物检测方法、装置、设备及存储介质
CN116433761B (zh) 垛式工件坐标定位方法、装置及介质
Stryczek Finite point sets in recognizing location and orientation of machine parts of complex shapes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant