CN112700483A - 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质 - Google Patents

用于提高表面缺陷检测精度的三锥视角融合方法、***及介质 Download PDF

Info

Publication number
CN112700483A
CN112700483A CN202110044942.XA CN202110044942A CN112700483A CN 112700483 A CN112700483 A CN 112700483A CN 202110044942 A CN202110044942 A CN 202110044942A CN 112700483 A CN112700483 A CN 112700483A
Authority
CN
China
Prior art keywords
cone
image
sending
fusion
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110044942.XA
Other languages
English (en)
Other versions
CN112700483B (zh
Inventor
杭天欣
马元巍
陈红星
王克贤
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202110044942.XA priority Critical patent/CN112700483B/zh
Publication of CN112700483A publication Critical patent/CN112700483A/zh
Application granted granted Critical
Publication of CN112700483B publication Critical patent/CN112700483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种用于提高表面缺陷检测精度的三锥视角融合方法、***及介质,包括:步骤1:拍摄样本的三锥视角图;步骤2:准备该样本对应的无缺陷图并送入特征匹配模型,提取第一特征图;步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;步骤5:对第二特征图进行降采样;步骤6:将降采样图片送入转换矩阵,得到变换图形;步骤7:将变换图形进行通道层次的融合,形成三通道融合图;步骤8:将三通道融合图送入检测模型,学习获得深度信息。本发明采用三通道融合和特征匹配等方法,解决了背景干扰和凹凸缺陷的问题,可以有效的表面缺陷检测的精度。

Description

用于提高表面缺陷检测精度的三锥视角融合方法、***及 介质
技术领域
本发明涉及计算机视觉技术领域,具体地,涉及一种用于提高表面缺陷检测精度的三锥视角融合方法、***及介质。
背景技术
在工业表面缺陷质量检测中,缺料、多料、裂纹等凹凸的缺陷经常容易混肴,在金属平整的表面,多料是凸出的部分,缺料和裂纹是凹进的部分,所以在二维平面中,凸出的多料和凹进的缺料看起来极其相似。大部分普通相机拍出的待检测图片都是二维图像,所以这导致了算法只能获得缺陷的二维信息(长度和宽度信息),并不能获得图像的深度信息,所以深度信息的缺乏这是导致检测结果不准、混肴的主要原因。
然而,深度相机的速度、精度和成本都无法满足工厂的实际需求,在以往技术中,多光源图像重建技术可以利用普通相机在一定程度上获得深度信息,但实际上由于背景纹理的复杂性,重建结果经常失败,从而带来更低的检测精度,多光源图像重建其本身更依赖一个细致的调参过程,所以并不适合批量的工程化。
在工业质检领域,精度是一个很严格的指标,但是由于图像缺乏深度信息,所以很多时候会导致严重的精度下降。现有技术中,多光源图像重建是一种解决图像缺乏深度信息的方法,然而由于金属表面的反光性质、背景纹理的不同、以及相机角度的选择问题,导致现有阶段的多光源图像重建技术并不是一个成熟的方案。
专利文献CN111624206A(申请号:CN202010632056.4)公开一种基于线阵相机立体视觉的金属表面缺陷检测方法,包括以下步骤:采用共享光源或者共面光源照射的方式,通过设置多个线阵相机获取不同视角的待测金属表面图像;通过立体匹配计算所述待测金属表面深度以及运动速度,同时确定所述待测金属表面任一点在所述线阵相机采集图像中的灰度对应关系;根据灰度对应关系计算所述待测金属表面的法向角度,通过所述待测金属表面法向角度和深度立体信息与二维灰度图像的融合,对金属表面的缺陷进行检测。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种用于提高表面缺陷检测精度的三锥视角融合方法、***及介质。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法,包括:
步骤1:将相机置于检测样本上方,拍摄三锥视角图;
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
步骤5:对第二特征图进行降采样,获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
步骤7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
步骤8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复执行步骤1-6三次,获得矫正后的三张不同光源的正面灰度图像。
优选的,对图片进行降采样,包括缩小图片、低通滤波。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合***,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M1-M6三次,获得矫正后的三张不同光源的正面灰度图像。
优选的,对图片进行降采样,包括缩小图片、低通滤波。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
本发明在多光源图像重建技术的基础上,采用三通道融合和特征匹配等方法,并利用深度学习领域中的卷积神经网络,建立了一个高精度的缺陷检测模型。该三通道图像融合的模型解决背景干扰和凹凸缺陷的问题。这个模型在缺乏深度信息的情况下,可以有效的表面缺陷检测的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为特征匹配模型流程图;
图2为检测模型流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
如图1、图2,根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法,包括如下步骤:
步骤1:将相机置于检测样本的正上方,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像(即三锥视角图);
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取特征图甲;
步骤3:将三锥视角图排队送入特征匹配模型,提取特征图乙;三锥视角图共含三张照片,每一次特征匹配,只输入一张。
步骤4:将特征图甲和乙送入单应矩阵网络,并获得转换矩阵;
步骤5:将特征图乙进行降采样(如缩小操作),获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入。重复执行步骤1-6三次,即可以获得矫正后的三张不同光源的正面灰度图像(即三锥视角图)。
步骤7:将三锥视角图经过特征匹配转换,获得三张统一视角的灰度图,即45度左上灰度图,垂直正上方灰度图和45度右上角灰度图;
步骤8:在以往的图像检测中,常规的三通道RGB分别指红绿蓝,而本模型采用三锥视角的灰度图作为三通道,将45度左上灰度图,垂直正上方灰度图和45度右上角灰度图进行通道层次的融合,形成三通道融合图;
步骤9:将三通道融合图作为输入,送入检测模型学习,原本的RGB三通道只能获取一个光源方向的图像特征,缺乏对深度信息的学习,而三锥视角的灰度图,可以有效的通过阴影的分布,一定程度上对凸起和凹进的表面有一个区分,从而在图像上获得深度信息;经检验,得到的检出结果在一定程度上解决了背景干扰和凹凸缺陷的问题。
根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合***,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
优选的,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。优选的,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M1-M6三次,获得矫正后的三张不同光源的正面灰度图像。优选的,对图片进行降采样,包括缩小图片、低通滤波。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的***、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,包括:
步骤1:将相机置于检测样本上方,拍摄三锥视角图;
步骤2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
步骤3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
步骤4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
步骤5:对第二特征图进行降采样,获得降采样图片;
步骤6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
步骤7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
步骤8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
2.根据权利要求1所述的用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
3.根据权利要求1所述的用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复执行步骤1-6三次,获得矫正后的三张不同光源的正面灰度图像。
4.根据权利要求1所述的用于提高表面缺陷检测精度的三锥视角融合方法,其特征在于,对图片进行降采样,包括缩小图片、低通滤波。
5.一种用于提高表面缺陷检测精度的三锥视角融合***,其特征在于,包括:
模块M1:将相机置于检测样本上方,拍摄三锥视角图;
模块M2:准备该样本对应的无缺陷图,并将对应的无缺陷图送入特征匹配模型,提取第一特征图;
模块M3:将三锥视角图排队送入特征匹配模型,提取第二特征图;
模块M4:将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵;
模块M5:对第二特征图进行降采样,获得降采样图片;
模块M6:将降采样图片送入转换矩阵,得到统一的变换图形,该变换图形将作为检测模型的输入;
模块M7:采用三锥视角的灰度图作为三通道,将变换后的三锥视角图进行通道层次的融合,形成三通道融合图;
模块M8:将三通道融合图作为输入,送入检测模型学习,通过阴影分布对凸起和凹进的表面进行区分,在图像上获得深度信息。
6.根据权利要求5所述的用于提高表面缺陷检测精度的三锥视角融合***,其特征在于,在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄,获得三张不同光源的正面灰度图像,即三锥视角图。
7.根据权利要求5所述的用于提高表面缺陷检测精度的三锥视角融合***,其特征在于,三锥视角图共含三张照片,每一次特征匹配,只输入一张,重复调用模块M1-M6三次,获得矫正后的三张不同光源的正面灰度图像。
8.根据权利要求5所述的用于提高表面缺陷检测精度的三锥视角融合***,其特征在于,对图片进行降采样,包括缩小图片、低通滤波。
9.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202110044942.XA 2021-01-13 2021-01-13 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质 Active CN112700483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110044942.XA CN112700483B (zh) 2021-01-13 2021-01-13 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110044942.XA CN112700483B (zh) 2021-01-13 2021-01-13 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质

Publications (2)

Publication Number Publication Date
CN112700483A true CN112700483A (zh) 2021-04-23
CN112700483B CN112700483B (zh) 2023-02-17

Family

ID=75514527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110044942.XA Active CN112700483B (zh) 2021-01-13 2021-01-13 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质

Country Status (1)

Country Link
CN (1) CN112700483B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108535265A (zh) * 2018-04-10 2018-09-14 深圳市纳研科技有限公司 一种多角度打光装置及采集***
CN110473178A (zh) * 2019-07-30 2019-11-19 上海深视信息科技有限公司 一种基于多光源融合的外观缺陷检测方法及***
CN111340866A (zh) * 2020-02-26 2020-06-26 腾讯科技(深圳)有限公司 深度图像生成方法、装置及存储介质
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111445459A (zh) * 2020-03-27 2020-07-24 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及***
CN111652098A (zh) * 2020-05-25 2020-09-11 四川长虹电器股份有限公司 产品表面缺陷检测方法及装置
CN111833237A (zh) * 2020-01-19 2020-10-27 宁波大学 基于卷积神经网络和局部单应性变换的图像配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108535265A (zh) * 2018-04-10 2018-09-14 深圳市纳研科技有限公司 一种多角度打光装置及采集***
CN110473178A (zh) * 2019-07-30 2019-11-19 上海深视信息科技有限公司 一种基于多光源融合的外观缺陷检测方法及***
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111833237A (zh) * 2020-01-19 2020-10-27 宁波大学 基于卷积神经网络和局部单应性变换的图像配准方法
CN111340866A (zh) * 2020-02-26 2020-06-26 腾讯科技(深圳)有限公司 深度图像生成方法、装置及存储介质
CN111445459A (zh) * 2020-03-27 2020-07-24 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及***
CN111652098A (zh) * 2020-05-25 2020-09-11 四川长虹电器股份有限公司 产品表面缺陷检测方法及装置

Also Published As

Publication number Publication date
CN112700483B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
US11748618B2 (en) Methods for obtaining normal vector, geometry and material of three-dimensional objects based on neural network
Zheng et al. Soil particle size and shape distributions by stereophotography and image analysis
CN106683068B (zh) 一种三维数字化图像采集方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN110599445A (zh) 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN111768452B (zh) 一种基于深度学习的非接触式自动贴图方法
CN112033965B (zh) 基于差分图像分析的3d弧形表面缺陷检测方法
CN110458964B (zh) 一种现实环境动态光照的实时计算方法
CN110120091B (zh) 电力巡检图像样本制作方法、装置和计算机设备
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2022507678A (ja) 自動目視検査プロセスにおけるセットアップ段階の最適化
CN112595496A (zh) 近眼显示设备的不良检测方法、装置、设备及存储介质
CN114998308A (zh) 一种基于光度立体的缺陷检测方法及***
CN107067441B (zh) 摄像机标定方法及装置
WO2023028939A1 (zh) 信息采集***及其标定方法、装置及计算机可读存储介质
CN112595262B (zh) 一种基于双目结构光的高反光表面工件深度图像获取方法
CN105572133B (zh) 瑕疵检测方法及其装置
CN112700483B (zh) 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及***
CN117169247A (zh) 一种基于机器视觉的金属表面缺陷多维度检测方法及***
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CN113739718B (zh) 一种基于多圆拟合的物体三维建模方法
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN112730449A (zh) 自动对焦液晶模组围观三维立体检测光学方法
CN112763506A (zh) 兼具aoi及ai的瑕疵检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210423

Assignee: Jiangsu Zhiyun Tiangong Technology Co.,Ltd.

Assignor: Shanghai Weiyi Intelligent Manufacturing Technology Co.,Ltd.

Contract record no.: X2023980037729

Denomination of invention: Triple cone perspective fusion method, system, and medium for improving surface defect detection accuracy

Granted publication date: 20230217

License type: Common License

Record date: 20230707