CN110537203A - 飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法 - Google Patents

飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法 Download PDF

Info

Publication number
CN110537203A
CN110537203A CN201780089852.4A CN201780089852A CN110537203A CN 110537203 A CN110537203 A CN 110537203A CN 201780089852 A CN201780089852 A CN 201780089852A CN 110537203 A CN110537203 A CN 110537203A
Authority
CN
China
Prior art keywords
defect
characteristic quantity
region
candidate region
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780089852.4A
Other languages
English (en)
Inventor
小西高三郎
冈本素子
长谷川修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soinn Corp
Mitsubishi Heavy Industries Ltd
Original Assignee
Soinn Corp
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soinn Corp, Mitsubishi Heavy Industries Ltd filed Critical Soinn Corp
Publication of CN110537203A publication Critical patent/CN110537203A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00Details of, or arrangements associated with, antennas
    • H01Q1/27Adaptation for use in or on movable bodies
    • H01Q1/28Adaptation for use in or on aircraft, missiles, satellites, or balloons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明的目的在于适当地检测飞机用部件的缺陷。缺陷检测***具有:获取原图像的原图像获取单元(20);基于原图像内的图像的亮度,从原图像内提取缺陷候选区域,基于缺陷候选区域和其周围区域的亮度的差分,计算缺陷候选区域的特征量图像处理单元(22);将图像处理单元(22)对于被预先检测出缺陷的部位的学习用原图像算出的特征量和缺陷的部位的信息相关联,设定缺陷特征量范围和非缺陷特征量范围的特征量范围设定单元(24);以及基于图像处理单元(22)对于未检测出缺陷的部位的判定用原图像算出的特征量、缺陷特征量范围和非缺陷特征量范围,进行判定用原图像内的缺陷候选区域是否为缺陷的部位的判定的缺陷检测单元(26)。

Description

飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法
技术领域
本发明涉及飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法。
背景技术
以往,检测飞机用的部件的表面的缺陷(划痕)的表面检查,由作业员通过目视或触诊实际的部件来进行。在检测飞机用的部件的内部的缺陷时,例如由作业员进行利用超声波探伤等非破坏的检查。此外,例如在专利文献1中,记载了对产品的表面的图像给予图像处理,基于给予了该图像处理所得的图像,进行产品的质量评价的技术。
现有技术文献
专利文献
专利文献1:专利第5520908号公报
发明内容
发明要解决的课题
但是,在基于人工的检查中,在缺陷的检测精度和检测花费的时间上有偏差。此外,即使在利用给予了图像处理的图像的检测的情况下,在提高检测精度上有改善的余地。于是,在飞机用的部件的缺陷检测中,在寻求更适当地检测缺陷,缩短缺陷的检测时间的技术。
本发明是解决上述课题的发明,目的在于提供可以适当地检测缺陷,可以缩短缺陷的检测时间的飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法。
用于解决课题的方案
为了解决上述课题,并达到目的,本发明的飞机用部件的缺陷检测***是检测对象物即飞机用部件的缺陷飞机用部件的缺陷检测***,具有:原图像获取单元,获取含有缺陷的部位的图像的所述对象物的图像即原图像;图像处理单元,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;特征量范围设定单元,将所述图像处理单元对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及缺陷检测单元,基于所述图像处理单元对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定所述判定用原图像内的所述缺陷候选区域是否为所述缺陷的部位。
该缺陷检测***预先学习作为缺陷的基准的特征量的范围,基于该学习结果,使用原图像检测缺陷,所以可以抑制检测精度的偏差。此外,该缺陷检测***将计算特征量的对象仅限制为缺陷候选区域,所以可以抑制缺陷检测的负担并缩短检测时间。因此,该检测***可适当地检测飞机用部件的缺陷。
在所述缺陷检测***中,优选所述图像处理单元具有:候选区域提取单元,将在所述原图像内的区域之中、该区域和周围区域的亮度的方差为规定的方差值以上的区域作为所述缺陷的候选区域提取;缺陷候选区域提取单元,将所述候选区域之中、为预定的规定的形状的所述候选区域除去,将未除去的所述候选区域作为所述缺陷候选区域提取;以及特征量计算单元,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量。该检测***通过更适合地抑制缺陷检测的计算过多,缩短检测时间,可更适当地检测飞机用部件的缺陷。
在所述缺陷检测***中,优选所述缺陷候选区域提取单元使用霍夫变换,判定通过多个所述候选区域连续是否构成圆形,将构成所述圆形的候选区域除去。该检测***通过更适合地抑制缺陷检测的计算过多,缩短检测时间,可更适当地检测飞机用部件的缺陷。
在所述缺陷检测***中,优选所述特征量计算单元计算所述特征量,作为缺陷候选区域和其周围区域中的亮度的变化量。该检测***通过基于该特征量进行缺陷的判定,可以适当地提高缺陷检测的精度。
在所述缺陷检测***中,优选所述特征量计算单元将所述缺陷候选区域的定向梯度直方图特征量作为所述特征量计算。该检测***通过基于定向梯度直方图特征量进行缺陷的判定,可以适当地提高缺陷检测的精度。
在所述缺陷检测***中,优选所述缺陷检测单元具有:特征量获取单元,获取所述判定用原图像的所述特征量即判定用特征量;特征量范围获取单元,从所述特征量范围设定单元获取所述缺陷特征量范围及所述非缺陷特征量范围;以及缺陷判定单元,基于所述判定用特征量和所述缺陷特征量范围之间的差分值即缺陷差分值、以及所述判定用特征量和所述非缺陷特征量范围之间的差分值即非缺陷差分值,判定所述缺陷候选区域是否为所述缺陷的部位。该缺陷检测***基于相对预先算出的缺陷特征量范围的判定用特征量的差分值判定是否为缺陷,所以可以更适当地提高缺陷检测的精度。
在所述缺陷检测***中,优选所述缺陷判定单元在所述缺陷差分值与所述非缺陷差分值的比率为规定的阈值以下的情况下,判定为所述缺陷候选区域是所述缺陷的部位。该缺陷检测***基于缺陷差分值与非缺陷差分值的比率进行缺陷的判定,所以可以更适当地提高缺陷检测的精度。
在所述缺陷检测***中,优选所述规定的阈值为大于1的值。该缺陷检测***通过使阈值大于1,将在缺陷的检测时判定为缺陷的可能性提高,可以更适当地提高缺陷检测的精度。
优选所述缺陷检测***还具有:图像显示控制单元,对所述原图像,将在所述缺陷检测单元判定为所述缺陷的部位的部位上添加了标记的判定图像显示在显示单元上。该缺陷检测***通过显示在被判定为缺陷的部位上加上了标记的图像,作业员可容易地查看缺陷的部位。
在所述缺陷检测***中,优选所述图像显示控制单元显示所述判定图像,以使所述标记的显示根据所述缺陷差分值与所述非缺陷差分值的比率而不同。该缺陷检测***通过根据比率使标记的显示变化,可使作业员容易地查看为缺陷的可能性高的部位。
优选所述缺陷检测***还具有:原图像创建单元,拍摄所述对象物的表面并创建所述原图像。缺陷检测***通过使用该原图像进行缺陷检测,可适当地检测对象物的表面的缺陷。
优选所述缺陷检测***还具有:原图像创建单元,检测所述对象物的内部状态,基于该检测数据创建所述原图像。由此,缺陷检测***可适当地检测对象物的内部的缺陷。
为了解决上述课题,并达到目的,本发明的飞机用部件的缺陷检测方法是检测对象物即飞机用部件的缺陷飞机用部件的缺陷检测方法,该方法包括以下步骤:原图像获取步骤,获取含有缺陷的部位的图像的所述对象物的图像即原图像;图像处理步骤,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;特征量范围设定步骤,将在所述图像处理步骤中对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及缺陷检测步骤,基于在所述图像处理步骤中对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定与所述特征量对应的所述缺陷候选区域是否为所述缺陷的部位。该缺陷检测方法可适当地检测飞机用部件的缺陷。
发明效果
根据本发明,可以适当地检测飞机用部件的缺陷。
附图说明
图1是第1实施方式的缺陷检测***的示意图。
图2是第1实施方式的控制单元的示意性的框图。
图3是表示原图像的一例子的图。
图4是说明候选区域的图。
图5是表示候选提取图像的一例子的图。
图6是用于说明缺陷候选提取区域的图。
图7是用于说明缺陷候选提取区域的图。
图8是表示缺陷候选提取图像的一例子的图。
图9是说明图像处理单元进行的特征量的计算处理的流程图。
图10是说明缺陷特征量范围和非缺陷特征量范围的图。
图11是说明缺陷特征量范围和非缺陷特征量范围的设定处理的流程图。
图12是说明缺陷判定的图。
图13是说明缺陷检测的处理的流程图。
图14是表示判定图像的一例子的图。
图15是表示判定图像的另一例子的图。
图16是第2实施方式的控制单元的示意性的框图。
具体实施方式
以下参照附图,详细地说明本发明的优选实施方式。再者,本发明不由该实施方式限定,此外,在实施方式有多个的情况下,包含将各实施方式组合而构成的实施方式。
(第1实施方式)
(整体结构)
图1是第1实施方式的缺陷检测***的示意图。如图1所示,第1实施方式的缺陷检测***1是检测对象物T的缺陷的***。对象物T是飞机用的部件。缺陷是指在对象物T的瑕疵(不连续部分)之中、脱离预先设定的基准的不合格的瑕疵。也就是说,缺陷是指对象物T的划痕。
如图1所示,缺陷检测***1是安装了人工智能的计算机,具有原图像创建单元10、控制单元12、显示单元14、以及输入单元16。缺陷检测***1是,由原图像创建单元10创建对象物T的原图像A1,由控制单元12对该原图像A1进行图像处理,检测对象物T的缺陷***。
原图像创建单元10创建对象物T的原图像A1。原图像A1是含有缺陷的部位的图像的对象物T的图像。在第1实施方式中,原图像创建单元10具有照相机,通过拍摄对象物T的表面T1,创建对象物T的原图像A1。也就是说,第1实施方式中的原图像A1是对象物T的表面T1的拍摄图像。在本实施方式中,原图像创建单元10通过控制单元12的控制,一边在对象物T的表面T1上移动,一边拍摄表面T1的各部位,并创建多个原图像A1。但是,原图像创建单元10也可以创建拍摄了对象物T整体的1个原图像A1。此外,本实施方式中的对象物T,例如是飞机的外壁等的、平坦的板状构件。因此,在对象物T的表面T1中有缺陷的情况下,原图像A1中,缺陷的部位的亮度与缺陷以外的部位的亮度不同。但是,对象物T不限于这样的平坦的板状构件,例如也可以是弯曲的板状构件等任意的形状。即使在该情况下,原图像A1的缺陷的部位的亮度也与缺陷以外的部位的亮度不同。
控制单元12例如是CPU(Central Processing Unit;中央处理单元),控制缺陷检测***1的动作。控制单元12的结构将后述。显示单元14例如是监视器,通过控制单元12的控制,显示原图像A1等的各种图像。输入单元16例如是鼠标和键盘,是操作者用于对控制单元12发出指令或输入信息的装置。
图2是第1实施方式的控制单元的示意性的框图。如图2所示,控制单元12具有:原图像获取单元20、图像处理单元22、特征量范围设定单元24、缺陷检测单元26、以及使显示单元14显示各种图像的图像显示控制单元28。控制单元12通过图像处理单元22对学习用原图像进行图像处理,使用该图像处理后的内容,通过特征量范围设定单元24预先学习判定对象物T的缺陷上的基准。学习用原图像是被预先检测出缺陷的部位的对象物T的原图像A1。此外,控制单元12通过图像处理单元22对判定用原图像进行图像处理,通过缺陷检测单元26,将图像处理后的内容适用于预先学习的基准,检测对象物T的缺陷。判定用原图像是未检测出缺陷的部位的对象物T、也就是说今后检测缺陷的对象物T的原图像A1。以下,具体地说明各单元的处理。
(关于原图像获取单元)
图3是表示原图像的一例子的图。原图像获取单元20从原图像创建单元10获取原图像A1。原图像获取单元20例如通过操作者的指令,通过图像显示控制单元28使显示单元14显示图3所示的原图像A1。原图像A1是,在二维矩阵状排列的多个像素P中,显示设定的颜色的图像。在图3的例子中,在原图像A1中,描绘部位B1至B5。原图像A1中,部位B1至B5和除其以外的部位的亮度不同。部位B1至B5是作为原图像A1内的缺陷的部位的候选的区域。如图3所示,部位B1是圆形的区域。部位B2及B5是1条线状的区域。部位B3及B4是多条线状的区域彼此分开并且排列为直线状的区域。此外,部位B1至部位B5是通过多个像素P显示的相当多个像素的区域。再者,这里的亮度是像素的灰度值,例如,为0至255的整数值的任何一个。
(关于图像处理单元)
如图2所示,图像处理单元22具有候选区域提取单元30、缺陷候选区域提取单元32、以及特征量计算单元34。图像处理单元22基于原图像A1内的图像的亮度,从原图像内提取缺陷候选区域。缺陷候选区域是作为缺陷的部位的候选的区域,细节将后述。而且,图像处理单元22基于缺陷候选区域和其周围区域的亮度的差分,计算缺陷候选区域的特征量。图像处理单元22进行的图像处理在学习用原图像和判定用原图像上是共同的。因此,在以下的图像处理单元22的说明中,不区分学习用原图像和判定用原图像而作为对原图像A1进行的图像处理来说明。
图4是说明候选区域的图。候选区域提取单元30提取作为缺陷的候选的区域即候选区域P1。具体而言,候选区域提取单元30将显示原图像A1的多个像素P内的1个像素P0选择作为1个区域。然后,如图4所示,候选区域提取单元30提取像素P0周围的像素P即周围像素P0a。在图4的例子中,周围像素P0a是,从像素P0在4方向上分别被4像素分离的区域包围的所有的像素P。候选区域提取单元30计算该像素P0及周围像素P0a(合计81个)的亮度的方差值。在计算亮度的方差值时,候选区域提取单元30计算提取出的像素P(像素P0和周围像素P0a)的亮度的平均值。然后,候选区域提取单元30对每个像素P计算将像素P的亮度和亮度的平均值的差分平方的平方值,对所有的像素P合计该平方值。候选区域提取单元30通过将该合计值除以像素P的数,计算亮度的方差值。候选区域提取单元30在该亮度的方差值为预定的规定的方差值以上的情况下,将该像素P0作为候选区域P1提取。候选区域提取单元30将原图像A1中的所有像素P选择作为像素P0并进行同样的处理,提取候选区域P1。缺陷的部位相对周围的亮度不同的情况居多,有亮度的方差值变高的趋势。候选区域提取单元30通过将亮度的方差值高的像素P设为候选区域P1,可以适当地提取作为缺陷的候选的区域。再者,作为候选区域P1的阈值的规定的方差值,例如为13.3,但不限于此而是任意的。此外,在图3的例子中,周围像素P0a是,从像素P0在4方向上分别被4像素分离的区域包围的像素P,但只要周围像素P0a是像素P0的周围的像素P,则其位置及数是任意的。此外,在本实施方式中,基于亮度进行候选区域P1的提取,但也可以基于亮度以外的颜色信息进行候选区域P1的提取。作为这里的颜色信息,例如可列举色调等亮度、也就是说像素P的亮度以外的信息。例如,在原图像A1对每个区域具有颜色直方图的(对每个区域颜色不同)情况下,也可以基于该颜色直方图提取候选区域P1。例如对象物T有粘贴与表面T1不同的颜色(蓝色)的保护带的情况等、有与表面T1不同的颜色的区域的情况。这样的情况下,可预先掌握不同的颜色的区域的颜色的模式(pattern),可明确的是在该区域以外几乎不出现该颜色。因此,这样的情况下,候选区域提取单元30预先存储该不同的区域的颜色。然后,候选区域提取单元30将像素P的颜色和存储的颜色进行比较,在像素P的颜色和存储的颜色之差为预定的阈值以下的情况下(例如像素P的色调的值和存储的色调之差为阈值以下的情况),判断为该像素P占有的区域是保护带而不是缺陷,将该像素P从候选区域P1中排除。但是,该处理是一例子。
这样,候选区域提取单元30将原图像A1内的区域(像素P0)之中、该区域(像素P0)和周围的区域(周围像素P0a)的亮度的方差为规定的方差值以上的区域(像素P0)作为缺陷的候选区域P1提取。候选区域提取单元30在亮度的方差为规定的方差值以上的情况下,判断为该区域由于亮度变化变大而为缺陷的部位的候选,将该区域设为候选区域P1。再者,这里,候选区域P1相当1个像素的区域。但是,这里的区域可以是不相当1个像素的区域,也可以是相当多个像素的区域、即为集合了多个像素P的区域。换句话说,这里的区域,只要是将原图像A1划分为多个区域的情况下的、1个区域就可以。此外,只要候选区域提取单元30基于区域(像素P0)和周围的区域(周围像素P0a)的亮度提取候选区域P1,则也可以不基于亮度的方差提取候选区域P1。例如,候选区域提取单元30计算区域(像素P0)和周围的区域(周围像素P0a)的亮度之差,在该亮度之差为规定值以上的情况下,将该区域作为候选区域P1提取即可。此外,候选区域提取单元30通过使用例如索贝尔(Sobel)滤波器等,检测区域的边缘(轮廓),也可以提取缺陷的候选区域P1。
图5是表示候选提取图像的一例子的图。候选区域提取单元30将提取并显示候选区域P1的图像即候选提取图像A2,通过图像显示控制单元28显示在显示单元14上。如图5所示,在候选提取图像A2中,在低亮度的背景上,描绘高亮度的部位C1至C5。部位C1是作为候选区域P1提取出的多个像素P圆形状地连续的区域,相当于原图像A1的部位B1的外周。部位C2及C5是作为候选区域P1提取出的多个像素P线状地连续的区域,相当于原图像A1的部位B2及B5。部位C3及C4是作为候选区域P1提取出的多个像素P连续的区域,但彼此分开并排列成线状的区域。部位C3及部位C4相当于原图像A1的部位B3及B4。但是,候选区域提取单元30也可以未必显示候选提取图像A2。
接着,说明缺陷候选区域提取单元32。缺陷候选区域提取单元32将候选区域P1之中、为预定的规定的形状的候选区域P1除去,将未除去的候选区域P1作为缺陷候选区域P2提取。也就是说,缺陷候选区域P2是从多个候选区域P1之中选择出的一部分候选区域P1,缺陷候选区域P2分别是1个像素P(相当1个像素的区域)。具体而言,缺陷候选区域提取单元32从候选区域P1中检测连续的候选区域。连续的是指与被设为候选区域P1的像素P邻接。在判断为连续的候选区域P1作为整体成为规定的形状的情况下,缺陷候选区域提取单元32将该连续的候选区域P1作为不是缺陷候选区域P2而除去。该规定的形状例如是圆形、矩形、三角形、多边形等,并且大于规定的长度。缺陷候选区域提取单元32通过这样除去作为规定的形状的候选区域P1,将被设置了铆钉、窗框和封条等的构件的部位从缺陷的部位的候选(缺陷候选区域P2)中除去。但是,该规定的形状不限定这些,可以任意地设定。在本实施方式中,缺陷候选区域提取单元32使用霍夫变换(Hough变换),判定多个候选区域P1是否连续并构成圆形,将构成圆形的候选区域P1除去。例如用于飞机部件的铆钉是圆形,所以缺陷候选区域提取单元32通过以霍夫变换提取圆形,可将铆钉从作为缺陷的候选的部位中除去。
图6是用于说明缺陷候选提取区域的图。如图6所示,缺陷候选区域提取单元32在提取了缺陷候选区域P2后,从原图像A1中,将缺陷候选区域P2和其周围区域的像素P作为缺陷候选提取区域P3提取。也就是说,缺陷候选区域提取单元32将与缺陷候选区域P2对应的像素P和其周围的像素P即周围像素P2a作为缺陷候选提取区域P3提取。因此,缺陷候选提取区域P3变为包含多个像素P的区域。在图6的例子中,周围像素P2a是,被从与缺陷候选区域P2对应的像素P在4方向上分别6像素分离的区域包围的像素P,缺陷候选提取区域P3是含有合计169个像素P的区域。但是,只要周围像素P2a是像素P的周围的像素P,则其位置及数是任意的,只要缺陷候选提取区域P3是包含与缺陷候选区域P2对应的像素P和其周围像素P2a的区域,则包含的像素P的数是任意的。再者,例如在提取缺陷候选区域P2由多个像素构成的情况等中,只要缺陷候选区域提取单元32提取缺陷候选区域P2,也可以未必提取缺陷候选提取区域P3。
图7是用于说明缺陷候选提取区域的图。如图7所示,在缺陷候选区域P2连续(邻接)的情况下,缺陷候选区域提取单元32提取包含全部连续的缺陷候选区域P2的矩形的区域P2X。然后,缺陷候选区域提取单元32将区域P2X内的全部像素P和其周围像素P2a作为缺陷候选提取区域P3提取。再者,这里缺陷候选区域P2连续是指,如图7所示,边相互间、或顶点相互间的至少一个连接的像素P连续并存在的情况。
这样,在提取了缺陷候选区域P2后,缺陷候选区域提取单元32提取缺陷候选提取区域P3。由此,缺陷候选区域提取单元32可以增大作为缺陷的候选的区域,所以可使缺陷检测的精度更高。
图8是表示缺陷候选提取图像的一例子的图。缺陷候选区域提取单元32将提取了缺陷候选区域P2的图像即缺陷候选提取图像A3,通过图像显示控制单元28在显示单元14上显示。如图8所示,在缺陷候选提取图像A3中,在低亮度的背景上,描绘高亮度的部位C2至C5。候选提取图像A2中描绘的部位C1由于以圆形的候选区域P1构成而被排除,没有在缺陷候选提取图像A3中描绘。此外,对每个连续的缺陷候选区域P2提取缺陷候选提取区域P3。因此,缺陷候选区域P2(像素)连续的部位C2及C5中,缺陷候选提取区域P3分别被每次提取一个。另一方面,在缺陷候选区域P2(像素)不连续部分即部位C3及C4中,每次被提取相当于连续的缺陷候选区域P2的数的多个缺陷候选提取区域P3。但是,缺陷候选区域提取单元32也可以未必显示缺陷候选提取图像A3。
再者,如果基于原图像A1内的图像的亮度、也就是说像素P的亮度提取缺陷候选区域P2,则图像处理单元22也可以不限于上述内容而进行缺陷候选区域P2的提取。例如,图像处理单元22也可以从提取的候选区域P1中排除规定的形状的候选区域P1,将提取出的候选区域P1直接设为缺陷候选区域P2。此外,例如,图像处理单元22也可以不具有候选区域提取单元30,而除去在原图像A1中的区域(像素P)之中、为规定的形状的区域,将剩余的区域设为缺陷候选区域P2。
接着,说明特征量计算单元34。特征量计算单元34基于缺陷候选提取区域P3内的像素P间的亮度的差分,计算缺陷候选提取区域P3的特征量。换句话说,特征量计算单元34基于缺陷候选区域P2和其周围区域(周围像素P2a)的亮度的差分,计算缺陷候选区域P2的特征量。特征量计算单元34对于所有的缺陷候选提取区域P3,计算特征量。也就是说,在图8的例子中,特征量计算单元34对从部位C2至部位C5的各自的缺陷候选提取区域P3,计算特征量。特征量是,在缺陷候选提取区域P3中表示每个像素P的亮度的差分值的亮度的强度参数。进一步说,特征量是,表示缺陷候选提取区域P3内、也就是说缺陷候选区域P2及其周围区域中的亮度的变化量的参数。在特征量大的情况下,缺陷候选提取区域P3的每个象素P的亮度之差变大,在特征量小的情况下,缺陷候选提取区域P3的像素P的亮度之差变小(亮度之差均匀接近)。具体而言,特征量计算单元34将缺陷候选提取区域P3的定向梯度直方图特征量(HOG(Histograms of Oriented Gradient;定向梯度直方图)特征量)作为缺陷候选提取区域P3的特征量计算。特征量计算单元34对亮度的强度梯度的每个方向计算缺陷候选提取区域P3内的像素P的亮度的梯度强度,基于每个梯度方向的亮度的梯度强度,计算缺陷候选提取区域P3的特征量(定向梯度直方图特征量)。对1个缺陷候选提取区域P3算出的定向梯度直方图特征量包含对每个维度算出的多种值(参数)。但是,特征量计算单元34不限于将定向梯度直方图特征量作为特征量计算。例如,特征量计算单元34也可以计算缺陷候选提取区域P3内的像素P相互间的亮度的差分,将该差分值作为缺陷候选提取区域P3的特征量计算。再者,在没有使用定向梯度直方图特征量的情况下,特征量计算单元34也可以将对1个缺陷候选提取区域P3算出的特征量设为一种值(参数)。
图像处理单元22如以上那样对原图像A1进行图像处理,计算缺陷候选提取区域P3的特征量。基于流程图说明以上说明的特征量的计算处理(图像处理步骤)的流程。图9是说明图像处理单元的特征量的计算处理的流程图。在进行图像处理的情况下,如图9所示,原图像获取单元20首先获取原图像A1(步骤S10)。然后,图像处理单元22通过候选区域提取单元30,提取候选区域P1(步骤S12)。具体而言,候选区域提取单元30将原图像A1内的区域(像素P)之中、该区域(像素P)和周围的区域(周围像素P0a)的亮度的方差为规定的方差值以上的区域(像素P)作为候选区域P1提取。
在提取了候选区域P1后,图像处理单元22通过缺陷候选区域提取单元32,提取缺陷候选区域P2(步骤S14)。具体而言,缺陷候选区域提取单元32除去作为预定的规定的形状的候选区域P1,将没有除去的候选区域P1作为缺陷候选区域P2提取。在提取了缺陷候选区域P2后,图像处理单元22通过缺陷候选区域提取单元32,提取缺陷候选提取区域P3(步骤S16)。具体而言,缺陷候选区域提取单元32将缺陷候选区域P2和其周围区域的像素P作为缺陷候选提取区域P3提取。
在提取了缺陷候选提取区域P3后,图像处理单元22通过特征量计算单元34,计算缺陷候选提取区域P3的特征量(步骤S18)。特征量计算单元34基于缺陷候选提取区域P3内的像素P相互间的亮度的差分,计算缺陷候选提取区域P3的特征量。特征量计算单元34对提取的所有缺陷候选提取区域P3,计算特征量。通过计算特征量,图像处理单元22的本处理结束。如上述,该特征量的计算处理在学习用原图像和判定用原图像中是相同的内容的处理。
(关于特征量范围设定单元)
接着,说明图2所示的特征量范围设定单元24。特征量范围设定单元24通过使用了人工智能的算法,将图像处理单元22对于学习用原图像算出的特征量和缺陷的部位的信息相关联,设定缺陷特征量范围和非缺陷特征量范围。缺陷特征量范围是判定为是缺陷的特征量的数值范围,非缺陷特征量范围是判定为不是缺陷的特征量的数值范围。也就是说,特征量范围设定单元24使用预先已知缺陷的部位的对象物T的学习用原图像,设定作为对象物T的缺陷判定用的基准的缺陷特征量范围和非缺陷特征量范围。具体而言,如图2所示,特征量范围设定单元24具有特征量获取单元40、缺陷信息获取单元42、以及特征量范围计算单元44。
在设定缺陷特征量范围和非缺陷特征量范围时,对于作为用于该设定的样本的对象物T,例如通过作业员的检查,预先检测缺陷的部位。该情况的检查,例如通过像以往那样的目视和触诊进行。然后,缺陷检测***1通过原图像创建单元10,创建该对象物T的原图像A1、也就是说创建学习用原图像。图像处理单元22将该学习用原图像设为原图像A1而进行上述的图像处理,提取学习用原图像的候选区域P1、缺陷候选区域P2及缺陷候选提取区域P3。然后,图像处理单元22对于学习用原图像的缺陷候选提取区域P3,计算特征量。再者,作为样本的对象物T,优选是与实际地进行缺陷的检测的对象物T相同部位的飞机用部件,但也可以是不同部位的飞机用部件。
特征量获取单元40获取图像处理单元22算出的学习用原图像的特征量、以及具有该特征量的缺陷候选提取区域P3的信息(位置信息)。此外,缺陷信息获取单元42获取被拍摄了学习用原图像的对象物T的缺陷部位的信息。缺陷部位的信息是,表示对于作为样本的对象物T的实物预先检测出的缺陷的部位的信息,表示在对象物T的哪个位置有缺陷。进一步说,缺陷部位的信息相应于表示该部位实际上为缺陷还是非缺陷的标签信息。
特征量范围计算单元44将特征量获取单元40获取的缺陷候选提取区域P3的位置信息和缺陷信息获取单元42获取的缺陷部位的信息进行核对,判定提取的缺陷候选提取区域P3实际上是否为缺陷。图像处理单元22提取的缺陷候选提取区域P3是作为缺陷的部位的候选的区域,但实际上有可能不是缺陷的部位。特征量范围计算单元44根据缺陷部位的信息,判定缺陷候选提取区域P3实际上是否为缺陷。特征量范围计算单元44对所有的缺陷候选提取区域P3判定是否为缺陷。特征量范围计算单元44基于判定为是缺陷的缺陷候选提取区域P3的特征量,计算缺陷特征量范围。特征量范围计算单元44基于判定为不是缺陷的缺陷候选提取区域P3的特征量,计算非缺陷特征量范围。也就是说,特征量范围计算单元44根据缺陷部位的信息,预先学习特征量只要在哪样的数值范围内就为缺陷(也就是说进行在特征量中是缺陷还是非缺陷的标签区分)。再者,用于学习的对象物T优选例如为30个以上等的多个。特征量范围计算单元44对于用于学习的所有对象物T,判定缺陷候选提取区域P3是否为缺陷的部位,使用所有的判定结果,计算缺陷特征量范围及非缺陷特征量范围。
以下,详细地说明缺陷特征量范围及非缺陷特征量范围。以下,将判定为是缺陷的缺陷候选提取区域P3的特征量设为特征量D1,将判定为不是缺陷的缺陷候选提取区域P3的特征量设为特征量D2。特征量范围计算单元44基于多个缺陷候选提取区域P3的特征量D1,计算缺陷特征量范围E1。特征量范围计算单元44计算缺陷特征量范围E1,以使所有的特征量D1收纳在缺陷特征量范围E1内。同样,特征量范围计算单元44基于多个缺陷候选提取区域P3的特征量D2,计算非缺陷特征量范围E2。特征量范围计算单元44计算非缺陷特征量范围E2,以使所有的特征量D2收纳在非缺陷特征量范围E2内。更详细地说,特征量范围计算单元44基于多个特征量D1之中的最小值和最大值之间的数值范围,计算缺陷特征量范围E1,基于多个特征量D2之中的最小值和最大值之间的数值范围,计算非缺陷特征量范围E2。例如,特征量范围计算单元44可以将多个特征量D1之中的最小的值(最小值)和最大的值(最大值)之间的数值范围设为缺陷特征量范围E1,将在该最小值和最大值之间的数值范围中添加规定的余量而增大了范围的数值范围设为缺陷特征量范围E1。换句话说,特征量范围计算单元44可以将特征量D1相互间连接并确定所有的特征量D1收纳的区域,将该区域设为缺陷特征量范围E1,也可以将所有的特征量D1收纳的区域作为基准,将从该区域增大一定的距离、并且线平滑地连接的区域设为缺陷特征量范围E1。此外,特征量范围计算单元44也可以将1个特征量D1作为基准,对每一个设定范围,将完全包含该范围的范围设为缺陷特征量范围E1。除了使用特征量D2取代特征量D1以外,非缺陷特征量范围E2也可按同样的方法计算。
图10是说明缺陷特征量范围和非缺陷特征量范围的图。图10是表示定向梯度直方图特征量空间的曲线图。更详细地说,作为特征量的定向梯度直方图特征量,对每个维度具有多个参数(值)。这种情况下,特征量范围计算单元44从多个缺陷候选提取区域P3比较相同维度的特征量相互间,基于在其中的最大值和最小值之间的数值范围,计算1个维度中的缺陷特征量范围E1及非缺陷特征量范围E2。然后,特征量范围计算单元44对于所有的维度计算缺陷特征量范围E1及非缺陷特征量范围E2。特征量范围计算单元44通过将各维度的缺陷特征量范围E1的区域的外周相互间以近似线连接而形成多维度的闭合的区域,将该闭合的区域作为实际的缺陷特征量范围E1计算。同样,特征量范围计算单元44通过将各维度的非缺陷特征量范围E2的外周相互间以近似线连接而形成多维度的闭合的区域,将该闭合的区域作为实际的非缺陷特征量范围E2计算。再者,如图10所示,在特征量可取的数值范围之中,存在未收纳在缺陷特征量范围E1及非缺陷特征量范围E2的任何一个内的数值。此外,缺陷特征量范围和非缺陷特征量范围的计算方法,不限于以上说明的内容,图10的缺陷特征量范围E1及非缺陷特征量范围E2的形状是作为一例子的形状,不限于该形状。
这样,特征量范围设定单元24使用学习用原图像设定缺陷特征量范围和非缺陷特征量范围。基于流程图说明以上说明的缺陷特征量范围和非缺陷特征量范围的设定处理(特征量范围设定步骤)的流程。图11是说明缺陷特征量范围和非缺陷特征量范围的设定处理的流程图。在设定缺陷特征量范围和非缺陷特征量范围时,对于作为用于设定的样本的对象物T,预先检测缺陷的部位,创建该对象物T的原图像A1,也就是说创建学习用原图像。然后,图像处理单元22将该学习用原图像作为原图像A1进行图像处理,提取缺陷候选提取区域P3,计算其特征量。然后,如图11所示,特征量范围设定单元24通过特征量获取单元40,从图像处理单元22获取学习用原图像的缺陷候选提取区域P3和其特征量(步骤S20)。然后,特征量范围设定单元24通过缺陷信息获取单元42,获取被预先检测出缺陷的部位的信息(步骤S22)。再者,步骤S20和步骤S22的处理顺序是任意的。
然后,特征量范围设定单元24通过特征量范围计算单元44,将缺陷候选提取区域P3和缺陷的部位的信息进行核对,判定缺陷候选提取区域P3是否为缺陷的部位(步骤S24)。在判定了缺陷的部位后,特征量范围设定单元24通过特征量范围计算单元44,设定缺陷特征量范围和非缺陷特征量范围(步骤S26)。由此,本处理结束。再者,在本实施方式中,特征量范围计算单元44也可以判定缺陷候选提取区域P3是否为缺陷的部位。但是,特征量范围设定单元24只要获取缺陷候选提取区域P3是否为缺陷的部位的信息就可以,不限于由自身判定。例如,作业员也可以使显示单元14显示缺陷候选提取图像A3(参照图8),一边参照缺陷的部位的信息,一边判定缺陷候选提取区域P3是否为缺陷的部位。然后,作业员输入该判定结果,特征量范围设定单元24获取该判定结果即可。
(关于缺陷检测单元)
接着,说明图2所示的缺陷检测单元26。缺陷检测单元26基于图像处理单元22对于判定用原图像算出的特征量、缺陷特征量范围E1、以及非缺陷特征量范围E2,根据使用了人工智能的算法,进行判定用原图像内的缺陷候选提取区域P3是否为缺陷的部位的判定。也就是说,缺陷检测单元26使用通过特征量范围设定单元24的学习算出的缺陷特征量范围E1和非缺陷特征量范围E2,检测对象物T的缺陷的部位。具体而言,图2所示,缺陷检测单元26具有特征量获取单元50、特征量范围获取单元52、以及缺陷判定单元54。
在检测缺陷的部位时,缺陷检测***1通过原图像创建单元10,创建作为检测对象的对象物T的原图像A1,也就是说创建判定用原图像。然后,缺陷检测***1通过图像处理单元22,将该判定用原图像设为原图像A1并进行上述的图像处理,提取判定图像的候选区域P1、缺陷候选区域P2及缺陷候选提取区域P3。然后,图像处理单元22对于判定图像的缺陷候选提取区域P3,计算特征量。
特征量获取单元50获取图像处理单元22算出的判定图像中的缺陷候选提取区域P3的特征量、以及具有该特征量的缺陷候选提取区域P3的信息(位置信息)。位置信息是指,该缺陷候选提取区域P3占据图像内的哪个位置的信息。以下,将图像处理单元22算出的判定图像的特征量记载为判定用特征量。此外,特征量范围获取单元52从特征量范围设定单元24获取缺陷特征量范围E1和非缺陷特征量范围E2的信息。
缺陷判定单元54基于判定用特征量、缺陷特征量范围E1、以及非缺陷特征量范围E2,进行判定用原图像内的缺陷候选提取区域P3是否为缺陷的部位的判定。缺陷判定单元54基于缺陷差分值X1和非缺陷差分值X2,判定缺陷候选区域P2是否为缺陷的部位。缺陷差分值X1是判定用特征量和缺陷特征量范围E1之间的差分值,非缺陷差分值X2是判定用特征量和非缺陷特征量范围E2之间的差分值。更具体地说,缺陷判定单元54在缺陷差分值X1与非缺陷差分值X2的比率为规定的阈值K以下的情况下,判定为缺陷候选提取区域P3是缺陷的部位。阈值K是预先设定的系数,可设定任意的值,但优选是大于1的值。由此,缺陷判定单元54可以提高判定为缺陷的可能性,降低未检测出缺陷的风险。缺陷判定单元54对判定图像内的所有缺陷候选提取区域P3判定是否为缺陷的部位。缺陷判定单元54将阈值K对于所有缺陷候选提取区域P3设为共同的值。再者,缺陷判定单元54设定用于判定缺陷的阈值,基于判定用特征量、缺陷特征量范围E1、非缺陷特征量范围E2、以及其阈值,进行缺陷判定即可,不限于设定相对缺陷差分值X1与非缺陷差分值X2的比率的阈值K。即使是这种情况下,也期望缺陷判定单元54设定阈值,以使设定的阈值可判定为是缺陷的可能性高于判定为不是缺陷的可能性。
图12是说明缺陷判定的图。图12是表示定向梯度直方图特征量空间的曲线图。图12的判定用特征量F1、F2、F3、F4是彼此不同的缺陷候选提取区域P3的判定用特征量的一例子。由于判定用特征量F1为收纳在缺陷特征量范围E1内的值,所以缺陷判定单元54将与判定用特征量F1对应的缺陷候选提取区域P3判定为是缺陷的部位。由于判定用特征量F2为收纳在非缺陷特征量范围E2内的值,所以缺陷判定单元54将与判定用特征量F2对应的缺陷候选提取区域P3判定为不是缺陷的部位。此外,判定用特征量F3在缺陷特征量范围E1及非缺陷特征量范围E2的范围外。但是,在判定用特征量F3中,缺陷差分值X1与非缺陷差分值X2的比率为阈值K以下的值。因此,缺陷判定单元54将与判定用特征量F3对应的缺陷候选提取区域P3判定为是缺陷的部位。此外,判定用特征量F4也在缺陷特征量范围E1及非缺陷特征量范围E2的范围外。但是,在判定用特征量F4中,缺陷差分值X1与非缺陷差分值X2的比率为大于阈值K的值。因此,缺陷判定单元54将与判定用特征量F4对应的缺陷候选提取区域P3判定为不是缺陷的部位。再者,在图12的例子中,将缺陷差分值X1设为判定用特征量和缺陷特征量范围E1的差分的最小值(最小的距离)、也就是说最接近判定用特征量的缺陷特征量范围E1和判定用特征量的差分值。但是,缺陷差分值X1不限于此,只要是缺陷特征量范围E1的范围内的任意的值和判定用特征量的差分值就可以。例如,缺陷差分值X1也可以是判定用特征量和缺陷特征量范围E1的中心值的差分。非缺陷差分值X2也是同样。
这样,缺陷检测单元26将判定用特征量与缺陷特征量范围和非缺陷特征量范围进行核对,进行判定用原图像的缺陷候选提取区域P3是否是缺陷的部位的判定。基于流程图说明以上说明的缺陷的判定处理(缺陷检测步骤)的流程。图13是说明缺陷检测的处理的流程图。在检测缺陷时,缺陷检测***1通过原图像创建单元10创建检测缺陷的对象物T的原图像A1,也就是说创建判定用原图像。然后,缺陷检测***1通过图像处理单元22进行判定用原图像的图像处理,提取缺陷候选提取区域P3,计算该特征量。然后,如图13所示,缺陷检测单元26通过特征量获取单元50,从图像处理单元22获取判定用原图像的特征量(判定用特征量)(步骤S30),通过特征量范围获取单元52,从特征量范围设定单元24获取缺陷特征量范围E1和非缺陷特征量范围E2的信息(步骤S32)。
然后,缺陷检测单元26通过缺陷判定单元54,计算判定用原图像的缺陷候选提取区域P3的缺陷差分值X1和非缺陷差分值X2(步骤S34)。在算出了缺陷差分值X1和非缺陷差分值X2后,缺陷检测单元26通过缺陷判定单元54,判定缺陷差分值X1与非缺陷差分值X2的比率是否为阈值K以下(步骤S36)。在比率为阈值K以下的情况下(步骤S36;“是”),缺陷判定单元54将该缺陷候选提取区域P3判定为是缺陷的部位(步骤S38)。此外,在比率不是阈值K以下(步骤S36;“否”)、也就是说比率大于阈值K的情况下,缺陷判定单元54将该缺陷候选提取区域P3判定为不是缺陷的部位(步骤S40)。缺陷判定单元54对所有的缺陷候选提取区域P3进行这些处理,判定各个区域是否是缺陷的部位。由此,本处理结束。
(关于判定结果显示)
在进行了缺陷候选提取区域P3是否是缺陷的部位的判定后,图2所示的图像显示控制单元28使显示单元14显示表示该判定结果的图像即判定图像A4。图14是表示判定图像的一例子的图。如图14所示,判定图像A4是对原图像A1添加了标记M的图像。标记M是在原图像A1内,被显示在缺陷检测单元26判定为是缺陷的部位的部位上的记号(mark)。具体而言,判定图像A4显示在原图像A1上显示的部位B1至B5。此外,判定图像A4在部位B3至B5的周围显示标记M。部位B1为圆形,所以是从缺陷候选区域P2中排除的区域。此外,部位B2是,缺陷差分值X1和非缺陷差分值X2的差分不是阈值K以下、被判定为不是缺陷的部位的区域。因此,在部位B1及部位B2中,没有显示标记M。
更详细地说,对被判定为是缺陷的部位的每个缺陷候选提取区域P3显示标记M。由于部位B2及部位B5仅有1个缺陷候选提取区域P3,所以标记M被分别显示一个。另一方面,由于部位B3及部位B4具有多个缺陷候选提取区域P3,所以标记M被显示相当于缺陷候选提取区域P3个数的多个。标记M是由形成圆的框线组成的圆形的记号。标记M显示被判定为缺陷的部位的缺陷候选提取区域P3,使其用该圆形的框线包围。优选用该框线包围的区域是例如对1个缺陷候选区域P3为规定的面积。由于在作为该外周的框线的内部的区域中不显示标记M,所以可查看框线的内侧的缺陷的部位。但是,标记M不限于此,也可以是矩形等任意的形状。此外,图像显示控制单元28显示判定图像A4,以使标记M的显示根据缺陷差分值X1与非缺陷差分值X2的比率而不同。也就是说,图像显示控制单元28对于比率不同的缺陷候选提取区域P3,使标记M的显示变化。在图14的例子中,图像显示控制单元28根据缺陷差分值X1与非缺陷差分值X2的比率,使标记M外周的框线的颜色变化。由此,作业员可更适合地查看比率高、缺陷的可能性更高的部位。
图15是表示判定图像的另一例子的图。如图15所示,在多个标记M重叠的情况下,图像显示控制单元28也可以使该重叠的标记M的显示与不重叠的标记M的显示不同。在图15的例子中,对于部位B3的缺陷候选提取区域P3显示的标记M1彼此重叠。同样,对于部位B4的缺陷候选提取区域P3显示的标记M1也彼此重叠。图像显示控制单元28在该重叠的标记M1的内侧的区域中显示规定的颜色。该颜色是任意的,但优选是半透明的颜色(以处理的比率可透过可见光的颜色),使得可以查看在该区域中显示的缺陷的部位。此外,在图15的例子中,对于部位B2及B5显示的标记M2与其他标记不重叠。因此,在标记M2的内侧的区域,不显示规定的颜色。但是,只要重叠的标记M的显示与不重叠的标记M的显示不同即可,不限于此而是任意的。
如以上说明,本实施方式的缺陷检测***1是检测对象物T即飞机用部件的缺陷的***,具有原图像获取单元20、图像处理单元22、特征量范围设定单元24、以及缺陷检测单元26。原图像获取单元20获取原图像A1。原图像A1是含有缺陷的部位的图像的对象物T的图像。图像处理单元22基于原图像A1内的图像的亮度,从原图像A1内提取作为缺陷的部位的候选的区域即缺陷候选区域P2。图像处理单元22基于缺陷候选提取区域P3内的(缺陷候选区域P2和其周围区域的)亮度的差分,计算缺陷候选区域P2的特征量。特征量范围设定单元24将图像处理单元22对于学习用原图像算出的特征量和缺陷的部位的信息相关联,设定缺陷特征量范围E1和非缺陷特征量范围E2。学习用原图像是被预先检测出缺陷的部位的原图像A1。缺陷特征量范围E1是判定为是缺陷的特征量的范围,非缺陷特征量范围E2是判定为不是缺陷的特征量的范围。缺陷检测单元26基于图像处理单元22对于判定用原图像算出的特征量、缺陷特征量范围E1、以及非缺陷特征量范围E2,进行判定用原图像内的缺陷候选区域是否为缺陷的部位的判定。判定用原图像是未检测出缺陷的部位的原图像A1。
该缺陷检测***1中,图像处理单元22对原图像A1给予图像处理,提取作为缺陷的候选的缺陷候选区域P2。然后,图像处理单元22计算缺陷候选区域P2的亮度强度的参数即特征量。也就是说,图像处理单元22将计算特征量的对象仅限制为缺陷候选区域P2。特征量范围设定单元24基于从学习用原图像提取的缺陷候选区域P2的特征量,设定缺陷特征量范围和非缺陷特征量范围。也就是说,特征量范围设定单元24预先设定在为哪样的特征量的情况下作为缺陷的基准。然后,缺陷检测单元26通过将从判定用原图像提取的缺陷候选区域P2的特征量与该基准(缺陷特征量范围及非缺陷特征量范围)比较,检测从判定用原图像提取的缺陷候选区域P2是否为缺陷的部位。由于该缺陷检测***1基于原图像A1的特征量检测缺陷,所以可以抑制检测精度的偏差。此外,该缺陷检测***1使用学习用原图像,预先学习作为缺陷的基准的特征量的范围(缺陷特征量范围及非缺陷特征量范围)。缺陷检测***1基于该特征量的范围,检测缺陷,所以可提高检测精度。此外,该缺陷检测***1将用于判定是否为缺陷的参数设为特征量,所以将计算该特征量的对象限制为仅缺陷候选区域P2。因此,该缺陷检测***1通过抑制缺陷检测的计算过多,并抑制缺陷检测的负担,可以缩短检测时间。这样,该缺陷检测***1可适当地检测飞机用部件的缺陷。
此外,图像处理单元22具有候选区域提取单元30、缺陷候选区域提取单元32、以及特征量计算单元34。候选区域提取单元30将在原图像A1内的区域之中、该区域和周围区域的亮度的方差为规定的方差值以上的区域作为缺陷的候选区域P1提取。缺陷候选区域提取单元32除去候选区域P1之中、为预定的规定的形状的候选区域P1,将没有除去的候选区域P1作为缺陷候选区域P2提取。特征量计算单元34基于缺陷候选区域P2和其周围区域的亮度的差分,计算缺陷候选区域P2的特征量。该图像处理单元22将与周围的亮度的方差较大的区域作为候选区域P1提取。可以说方差较大的区域是与周围的亮度之差较大的区域,所以图像处理单元22仅将亮度之差较大、缺陷可能性较高的区域作为用于计算特征量的候选区域P1提取。然后,图像处理单元22将对象物T中设置了例如铆钉等构件的区域设为不是缺陷,从用于计算特征量的缺陷候选区域P2排除。由此,缺陷检测***1更合适地抑制缺陷检测的计算过多,可更适当地检测飞机用部件的缺陷。
此外,缺陷候选区域提取单元32使用霍夫变换,判定通过多个候选区域P1连续是否构成圆形,将构成圆形的候选区域P1除去。在飞机用的部件中,被安装铆钉等圆形的构件的情况居多。缺陷检测***1通过将构成圆形的区域作为没有缺陷并排除,可更合适地抑制缺陷检测的计算变得过多,更适当地检测飞机用部件的缺陷。
此外,特征量计算单元34计算特征量,作为缺陷候选提取区域P3(缺陷候选区域P2及其周围区域)中的亮度的变化量。该缺陷检测***1将周围的亮度的变化量作为特征量,基于该特征量进行是否为缺陷的判定。缺陷的部位的周围的亮度的变化量变大。因此,该缺陷检测***1通过基于该特征量进行缺陷的判定,可以适当地提高缺陷检测的精度。
此外,特征量计算单元34将从缺陷候选区域P2及其周围区域算出的定向梯度直方图特征量作为特征量计算。由于该缺陷检测***1将定向梯度直方图特征量作为特征量,所以可以对每个亮度梯度(变化量)的方向确定周围的亮度的变化量,进行是否为缺陷的判定。因此,该缺陷检测***1可以更适当地提高缺陷检测的精度。
此外,缺陷检测单元26具有特征量获取单元50和缺陷判定单元54。特征量获取单元50获取判定用原图像的特征量即判定用特征量。缺陷判定单元54基于缺陷差分值X1及非缺陷差分值X2,判定缺陷候选区域P2是否为缺陷的部位。缺陷差分值X1是判定用特征量和缺陷特征量范围之间的差分值。非缺陷差分值X2是判定用特征量和非缺陷特征量范围之间的差分值。由于该缺陷检测***1基于判定用特征量相对是否为预先算出的缺陷的基准值(缺陷特征量范围)的差分值判定是否为缺陷,所以可以更适当地提高缺陷检测的精度。
此外,缺陷判定单元54在缺陷差分值X1与非缺陷差分值X2的比率为规定的阈值K以下的情况下,判定缺陷候选区域P2为缺陷的部位。由于该缺陷检测***1基于缺陷差分值X1与非缺陷差分值X2的比率进行缺陷的判定,所以可以更适当地提高缺陷检测的精度。例如,即使判定用特征量在缺陷特征量范围及非缺陷特征量范围两者的范围外,缺陷检测***1也可以通过基于比率判定为缺陷,适当地判定具有该判定用特征量的缺陷候选区域P2是否为缺陷的部位。
此外,规定的阈值K为大于1的值。通常,缺陷的部位的数少于没有缺陷的部位的数。因此,在用于学习的学习用原图像中,被判定为缺陷的缺陷候选区域P2的数少于被认为没有缺陷的缺陷候选区域P2的数。因此,具有缺陷特征量范围的数值范围比非缺陷特征量范围的数值范围窄的趋势。与此相对,缺陷检测***1通过使阈值K大于1,提高在缺陷的检测时、被判定为缺陷的可能性,进一步适当地提高缺陷检测的精度。
此外,缺陷检测***1还具有图像显示控制单元28。图像显示控制单元28使显示单元14显示判定图像A4。判定图像A4相对原图像A1是添加了标记M的图像。标记M被显示在原图像A1内的、缺陷检测单元26判定为缺陷的部位的部位上。该缺陷检测***1通过显示在被判定为缺陷的部位添加了标记M的图像,作业员可容易地查看缺陷的部位。
此外,图像显示控制单元28显示判定图像A4,以使标记M的显示根据缺陷差分值X1与非缺陷差分值X2的比率而不同。缺陷差分值X1与非缺陷差分值X2的比率高的部位有缺陷的可能性高。图像显示控制单元28通过根据比率使标记M的显示变化,使作业员可容易地查看有缺陷的可能性高的部位。
此外,缺陷检测***1具有创建原图像A1的原图像创建单元10。在本实施方式中,原图像创建单元10拍摄对象物T的表面T1并创建原图像A1。缺陷检测***1通过使用该原图像A1进行缺陷检测,可适当地检测对象物T的表面T1的缺陷。
但是,缺陷检测***1不仅可检测对象物T的表面T1的缺陷,还可检测对象物T的内部的缺陷。这种情况下,原图像创建单元10检测对象物T的内部状态(内部的不连续性),创建基于该检测数据的原图像A1。由此,缺陷检测***1可适当地检测对象物T的内部的缺陷。例如,原图像创建单元10具有超声波探伤器,一边变更射出位置,一边对对象物T射出超声波。原图像创建单元10测量各位置的反射波。原图像创建单元10将对每个该反射波的强度分布变化亮度并对每个位置二维矩阵状地绘制的图像作为原图像A1创建。该原图像A1为含有对象物T的内部的缺陷的部位的二维图像。再者,这种情况下,原图像创建单元10可以是获取反射波的单元,控制单元12可以是基于该反射波创建原图像的单元。
即使在使用了含有对象物T的内部的缺陷的部位的原图像的情况下,图像处理等的控制单元12进行的控制也与拍摄表面T1的原图像相同。在使用了该原图像的情况下,缺陷检测***1可适当地探测内部缺陷。再者,在检测对象物T的内部状态时,不限于超声波探伤,例如也可应用渗透性探伤检查等任意的非破坏检查的方法。这样,缺陷检测***1通过用使用了表面的缺陷的原图像,检测表面的缺陷,通过用使用了内部的缺陷的原图像,可检测内部的缺陷。
(第2实施方式)
接着,说明第2实施方式。第2实施方式的缺陷检测***1,在具有对错教导单元60的方面,与第1实施方式不同。在第2实施方式中与第1实施方式共同的部位,省略说明。
图16是第2实施方式的控制单元的示意性的框图。如图16所示,第2实施方式的控制单元12A具有对错教导单元60。对错教导单元60将对未检测出缺陷的对象物T的缺陷检测单元26的检测结果与对该对象物T在其他检查中被检测出的缺陷的检测结果核对。对错教导单元60将该核对的结果、也就是说缺陷检测单元26的检测结果的对错传达(教导)给特征量范围设定单元24。特征量范围设定单元24基于该对错的信息,重新设定缺陷特征量范围和非缺陷特征量范围。
具体而言,对错教导单元60从缺陷检测单元26获取未被检测出缺陷的对象物T的缺陷的部位的检测结果(缺陷的部位的位置信息)。然后在那时,通过其他检查,对该对象物T进行缺陷的部位的检测。该其他检查例如是由作业员进行的检查,例如通过以往那样的目视和触诊进行。作业员将该缺陷的部位的检测结果(缺陷的部位的位置信息)通过输入单元16输入到控制单元12A。对错教导单元60获取该缺陷的部位的检测结果。
这里,将从缺陷检测单元26获取的缺陷的部位的检测结果、也就是说将缺陷检测单元26检测出的缺陷的部位的位置信息设为缺陷检测位置。然后,将从其他检查获取的缺陷的部位的检测结果、也就是说将其他检查中检测出的缺陷的部位的位置信息设为缺陷确认位置。对错教导单元60将缺陷检测位置与缺陷确认位置核对,判定缺陷检测位置是否实际上是缺陷的部位。在缺陷检测位置与缺陷确认位置一致的情况下,对错教导单元60判定为该缺陷检测位置是实际的缺陷的部位。此外,在缺陷检测位置与缺陷确认位置不一致的情况下,对错教导单元60判定为该缺陷检测位置不是实际的缺陷的部位。以下,将不是实际的缺陷的部位的缺陷检测位置设为非缺陷位置。此外,在对应缺陷确认位置的位置上没有缺陷检测位置的情况下,也就是说,在缺陷检测单元26将其他检查中是缺陷的部位的位置没有判定为缺陷的部位的情况下,对错教导单元60存储该缺陷确认位置的信息。以下,将缺陷检测单元26没有判定为缺陷的部位的缺陷确认位置设为追加缺陷位置。
对错教导单元60将非缺陷位置和追加缺陷位置的信息输出到图像处理单元22。图像处理单元22通过特征量计算单元34,计算与该非缺陷位置及追加缺陷位置对应的区域的特征量。以下,将非缺陷位置的特征量设为非缺陷特征量,将追加缺陷位置的特征量设为追加缺陷特征量。特征量范围设定单元24通过特征量获取单元40,获取该非缺陷特征量和追加缺陷特征量。然后,特征量范围设定单元24通过特征量范围计算单元44,基于非缺陷特征量和追加缺陷特征量,再次设定缺陷特征量范围及非缺陷特征量范围。具体而言,特征量范围计算单元44除了基于判定为学习用原图像中有缺陷的特征量D1以外,还基于追加缺陷特征量,计算缺陷特征量范围E1。也就是说,特征量范围计算单元44再次计算缺陷特征量范围E1,以使特征量D1及追加缺陷特征量收纳在缺陷特征量范围E1内。同样,特征量范围计算单元44除了基于学习用原图像中判定为无缺陷的特征量D2以外,还基于非缺陷特征量,计算非缺陷特征量范围E2。也就是说,特征量范围计算单元44再次计算非缺陷特征量范围E2,以使特征量D2及非缺陷特征量收纳在非缺陷特征量范围E2内。
缺陷检测单元26使用该新算出的缺陷特征量范围E1及非缺陷特征量范围E2,进行之后的缺陷检测。此时,无论对错教导单元60的结果如何,缺陷检测单元26都不变更阈值K的值而一直为相同的值。
这样,在第2实施方式中,对错教导单元60将来自缺陷检测单元26的缺陷的部位的检测结果与对相同对象物T进行了利用其他检查的缺陷的部位的检测结果核对。对错教导单元60检测来自缺陷检测单元26的缺陷的部位的检测结果和利用其他检查的缺陷的部位的检测结果不一致的位置(非缺陷位置和追加缺陷位置)。图像处理单元22计算该位置的特征量。缺陷检测单元26基于该算出的特征量,再次设定缺陷特征量范围E1及非缺陷特征量范围E2。缺陷检测单元26使用该新算出的缺陷特征量范围E1及非缺陷特征量范围E2,进行之后的缺陷检测。于是,第2实施方式的缺陷检测***1根据对错教导单元60的教导结果(非缺陷位置和追加缺陷位置的信息),更新缺陷特征量范围E1及非缺陷特征量范围E2。由此,缺陷检测***1可进一步提高缺陷检测的精度。
以上,说明了本发明的实施方式,但实施方式并不由该实施方式的内容限定。此外,在前述的结构要素中,包含本领域技术人员可以容易地假定的结构要素、实质上相同的结构要素、所谓均等的范围的结构要素。而且,前述的结构要素可适当组合。而且,可以在不脱离前述实施方式的宗旨的范围内进行结构要素的各种省略、置换或变更。
标号说明
1缺陷检测***
10原图像创建单元
12控制单元
14显示单元
16输入单元
20原图像获取单元
22图像处理单元
24特征量范围设定单元
26缺陷检测单元
28图像显示控制单元
30候选区域提取单元
32缺陷候选区域提取单元
34特征量计算单元
40特征量获取单元
44特征量范围计算单元
50特征量获取单元
52特征量范围获取单元
54缺陷判定单元
A1原图像
T对象物
P像素
P1候选区域
P2缺陷候选区域
P3缺陷候选提取区域
权利要求书(按照条约第19条的修改)
1.一种飞机用部件的缺陷检测***,检测对象物即飞机用部件的缺陷,具有:
原图像获取单元,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理单元,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定单元,将所述图像处理单元对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测单元,基于所述图像处理单元对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定所述判定用原图像内的所述缺陷候选区域是否为所述缺陷的部位,
所述缺陷检测单元具有:
特征量获取单元,获取所述判定用原图像的所述特征量即判定用特征量;
特征量范围获取单元,从所述特征量范围设定单元获取所述缺陷特征量范围及所述非缺陷特征量范围;以及
缺陷判定单元,基于所述判定用特征量和所述缺陷特征量范围之间的差分值即缺陷差分值、以及所述判定用特征量和所述非缺陷特征量范围之间的差分值即非缺陷差分值,判定所述缺陷候选区域是否为所述缺陷的部位。
2.一种飞机用部件的缺陷检测***,检测对象物即飞机用部件的缺陷,具有:
原图像获取单元,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理单元,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定单元,将所述图像处理单元对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测单元,基于所述图像处理单元对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定所述判定用原图像内的所述缺陷候选区域是否为所述缺陷的部位,
所述图像处理单元具有:
候选区域提取单元,将在所述原图像内的区域之中、该区域和周围区域的亮度的方差为规定的方差值以上的区域作为所述缺陷的候选区域提取;
缺陷候选区域提取单元,将所述候选区域之中、为预定的规定的形状的所述候选区域除去,将未除去的所述候选区域作为所述缺陷候选区域提取;以及
特征量计算单元,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量。
3.如权利要求2所述的飞机用部件的缺陷检测***,
所述缺陷候选区域提取单元使用霍夫变换,判定通过多个所述候选区域连续是否构成圆形,将构成所述圆形的候选区域除去。
4.如权利要求2或权利要求3所述的飞机用部件的缺陷检测***,
所述特征量计算单元计算所述特征量,作为缺陷候选区域和其周围区域中的亮度的变化量。
5.如权利要求4所述的飞机用部件的缺陷检测***,
所述特征量计算单元将所述缺陷候选区域的定向梯度直方图特征量作为所述特征量计算。
6.如权利要求2至权利要求5的任意一项所述的飞机用部件的缺陷检测***,
所述缺陷检测单元具有:
特征量获取单元,获取所述判定用原图像的所述特征量即判定用特征量;
特征量范围获取单元,从所述特征量范围设定单元获取所述缺陷特征量范围及所述非缺陷特征量范围;以及
缺陷判定单元,基于所述判定用特征量和所述缺陷特征量范围之间的差分值即缺陷差分值、以及所述判定用特征量和所述非缺陷特征量范围之间的差分值即非缺陷差分值,判定所述缺陷候选区域是否为所述缺陷的部位。
7.如权利要求1或权利要求6所述的飞机用部件的缺陷检测***,
在所述缺陷差分值与所述非缺陷差分值的比率为规定的阈值以下的情况下,所述缺陷判定单元判定为所述缺陷候选区域是所述缺陷的部位。
8.如权利要求7所述的飞机用部件的缺陷检测***,
所述规定的阈值为大于1的值。
9.如权利要求1或权利要求5至权利要求8的任意一项所述的飞机用部件的缺陷检测***,还具有:
图像显示控制单元,对所述原图像,将在所述缺陷检测单元判定为所述缺陷的部位的部位上添加了标记的判定图像显示在显示单元上。
10.如权利要求9所述的飞机用部件的缺陷检测***,
所述图像显示控制单元使所述判定图像被显示,使得所述标记的显示根据所述缺陷差分值与所述非缺陷差分值的比率而不同。
11.如权利要求1至权利要求10的任意一项所述的飞机用部件的缺陷检测***,还具有:
原图像创建单元,拍摄所述对象物的表面并创建所述原图像。
12.如权利要求1至权利要求10的任意一项所述的飞机用部件的缺陷检测***,还具有:
原图像创建单元,检测所述对象物的内部状态,基于该检测数据创建所述原图像。
13.一种飞机用部件的缺陷检测方法,用于检测对象物即飞机用部件的缺陷,该方法包括以下步骤:
原图像获取步骤,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理步骤,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定步骤,将在所述图像处理步骤中对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测步骤,基于在所述图像处理步骤中对未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定与所述特征量对应的所述缺陷候选区域是否为所述缺陷的部位,
在所述缺陷检测步骤中,
获取所述判定用原图像的所述特征量即判定用特征量,
从所述特征量范围设定单元获取所述缺陷特征量范围及所述非缺陷特征量范围,
基于所述判定用特征量和所述缺陷特征量范围之间的差分值即缺陷差分值、以及所述判定用特征量和所述非缺陷特征量范围之间的差分值即非缺陷差分值,判定所述缺陷候选区域是否为所述缺陷的部位。
14.一种飞机用部件的缺陷检测方法,用于检测对象物即飞机用部件的缺陷,该方法包括以下步骤:
原图像获取步骤,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理步骤,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定步骤,将在所述图像处理步骤中对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测步骤,基于在所述图像处理步骤中对未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定与所述特征量对应的所述缺陷候选区域是否为所述缺陷的部位,
在所述图像处理步骤中,
将在所述原图像内的区域之中、该区域和周围区域的亮度的方差为规定的方差值以上的区域作为所述缺陷的候选区域提取,
将所述候选区域之中、为预定的规定的形状的所述候选区域除去,将未除去的所述候选区域作为所述缺陷候选区域提取,
基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量。
说明或声明(按照条约第19条的修改)
19条修改说明
原权利要求1被原权利要求6限定。
原权利要求2修改为独立权利要求。
原权利要求6、7、9根据原权利要求1、2的修改而修改了从属基础。
原权利要求13被原权利要求6限定。
以原权利要求13和原权利要求2的内容,新追加了权利要求14。

Claims (13)

1.一种飞机用部件的缺陷检测***,检测对象物即飞机用部件的缺陷,具有:
原图像获取单元,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理单元,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定单元,将所述图像处理单元对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测单元,基于所述图像处理单元对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定所述判定用原图像内的所述缺陷候选区域是否为所述缺陷的部位。
2.如权利要求1所述的飞机用部件的缺陷检测***,
所述图像处理单元具有:
候选区域提取单元,将在所述原图像内的区域之中、该区域和周围区域的亮度的方差为规定的方差值以上的区域作为所述缺陷的候选区域提取;
缺陷候选区域提取单元,将所述候选区域之中、为预定的规定的形状的所述候选区域除去,将未除去的所述候选区域作为所述缺陷候选区域提取;以及
特征量计算单元,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量。
3.如权利要求2所述的飞机用部件的缺陷检测***,
所述缺陷候选区域提取单元使用霍夫变换,判定通过多个所述候选区域连续是否构成圆形,将构成所述圆形的候选区域除去。
4.如权利要求2或权利要求3所述的飞机用部件的缺陷检测***,
所述特征量计算单元计算所述特征量,作为缺陷候选区域和其周围区域中的亮度的变化量。
5.如权利要求4所述的飞机用部件的缺陷检测***,
所述特征量计算单元将所述缺陷候选区域的定向梯度直方图特征量作为所述特征量计算。
6.如权利要求1至权利要求5的任意一项所述的飞机用部件的缺陷检测***,
所述缺陷检测单元具有:
特征量获取单元,获取所述判定用原图像的所述特征量即判定用特征量;
特征量范围获取单元,从所述特征量范围设定单元获取所述缺陷特征量范围及所述非缺陷特征量范围;以及
缺陷判定单元,基于所述判定用特征量和所述缺陷特征量范围之间的差分值即缺陷差分值、以及所述判定用特征量和所述非缺陷特征量范围之间的差分值即非缺陷差分值,判定所述缺陷候选区域是否为所述缺陷的部位。
7.如权利要求6所述的飞机用部件的缺陷检测***,
在所述缺陷差分值与所述非缺陷差分值的比率为规定的阈值以下的情况下,所述缺陷判定单元判定为所述缺陷候选区域是所述缺陷的部位。
8.如权利要求7所述的飞机用部件的缺陷检测***,
所述规定的阈值为大于1的值。
9.如权利要求5至权利要求8的任意一项所述的飞机用部件的缺陷检测***,还具有:
图像显示控制单元,对所述原图像,将在所述缺陷检测单元判定为所述缺陷的部位的部位上添加了标记的判定图像显示在显示单元上。
10.如权利要求9所述的飞机用部件的缺陷检测***,
所述图像显示控制单元使所述判定图像被显示,使得所述标记的显示根据所述缺陷差分值与所述非缺陷差分值的比率而不同。
11.如权利要求1至权利要求10的任意一项所述的飞机用部件的缺陷检测***,还具有:
原图像创建单元,拍摄所述对象物的表面并创建所述原图像。
12.如权利要求1至权利要求10的任意一项所述的飞机用部件的缺陷检测***,还具有:
原图像创建单元,检测所述对象物的内部状态,基于该检测数据创建所述原图像。
13.一种飞机用部件的缺陷检测方法,用于检测对象物即飞机用部件的缺陷,该方法包括以下步骤:
原图像获取步骤,获取含有缺陷的部位的图像的所述对象物的图像即原图像;
图像处理步骤,基于所述原图像内的图像的亮度,从所述原图像内提取作为所述缺陷的部位的候选的区域即缺陷候选区域,基于所述缺陷候选区域和其周围区域的亮度的差分,计算所述缺陷候选区域的特征量;
特征量范围设定步骤,将在所述图像处理步骤中对于被预先检测出所述缺陷的部位的学习用原图像算出的所述特征量和所述缺陷的部位的信息相关联,设定判定为是缺陷的所述特征量的范围即缺陷特征量范围和判定为不是缺陷的所述特征量的范围即非缺陷特征量范围;以及
缺陷检测步骤,基于在所述图像处理步骤中对于未检测出所述缺陷的部位的判定用原图像算出的所述特征量、所述缺陷特征量范围、以及所述非缺陷特征量范围,判定与所述特征量对应的所述缺陷候选区域是否为所述缺陷的部位。
CN201780089852.4A 2017-03-27 2017-11-01 飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法 Pending CN110537203A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-061591 2017-03-27
JP2017061591 2017-03-27
PCT/JP2017/039558 WO2018179559A1 (ja) 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法

Publications (1)

Publication Number Publication Date
CN110537203A true CN110537203A (zh) 2019-12-03

Family

ID=63677803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089852.4A Pending CN110537203A (zh) 2017-03-27 2017-11-01 飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法

Country Status (5)

Country Link
US (1) US20200096454A1 (zh)
EP (1) EP3591612A4 (zh)
JP (1) JP6786035B2 (zh)
CN (1) CN110537203A (zh)
WO (1) WO2018179559A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045235A (ja) * 2017-08-31 2019-03-22 株式会社Ihiエアロスペース 画像検査システム、画像検査方法及び画像検査用プログラム
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
FR3084768B1 (fr) * 2018-07-31 2020-10-16 Commissariat Energie Atomique Procede d'analyse d'au moins un type de defauts parmi une pluralite de types de defauts entre au moins deux echantillons et dispositif associe
JP2021096652A (ja) * 2019-12-17 2021-06-24 富士通株式会社 画像識別装置、方法、及びプログラム
JP7315089B2 (ja) * 2020-02-26 2023-07-26 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN111882537B (zh) * 2020-07-28 2023-12-15 研祥智能科技股份有限公司 视觉检测方法及***
KR20230174066A (ko) * 2022-06-20 2023-12-27 두산에너빌리티 주식회사 초음파 탐상 검사 시스템 및 초음파 탐상 검사 방법
CN116152237B (zh) * 2023-04-18 2023-07-04 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449149A (zh) * 2006-05-23 2009-06-03 麒麟工程技术***公司 表面检查装置
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法
CN104272094A (zh) * 2012-06-08 2015-01-07 三菱重工业株式会社 缺陷判定装置、放射线摄像***及缺陷判定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2093242A5 (zh) 1970-06-08 1972-01-28 Juy Lucien
JPS6072085A (ja) * 1983-09-28 1985-04-24 Toshiba Corp 画像輪郭強調装置
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
JP3756507B1 (ja) * 2004-09-17 2006-03-15 シャープ株式会社 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP6643856B2 (ja) * 2014-11-28 2020-02-12 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
CN105447512B (zh) * 2015-11-13 2018-09-25 中国科学院自动化研究所 一种精粗结合的光学表面缺陷的检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449149A (zh) * 2006-05-23 2009-06-03 麒麟工程技术***公司 表面检查装置
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
CN104272094A (zh) * 2012-06-08 2015-01-07 三菱重工业株式会社 缺陷判定装置、放射线摄像***及缺陷判定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法

Also Published As

Publication number Publication date
WO2018179559A1 (ja) 2018-10-04
EP3591612A4 (en) 2020-03-25
US20200096454A1 (en) 2020-03-26
JP6786035B2 (ja) 2020-11-18
JPWO2018179559A1 (ja) 2020-03-05
EP3591612A1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
CN110537203A (zh) 飞机用部件的缺陷检测***及飞机用部件的缺陷检测方法
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
JP6845221B2 (ja) プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム
JP4997252B2 (ja) 画像内の照明域を識別する方法
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
JP2023065352A (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN109946303A (zh) 检查装置和方法
JP2012026982A (ja) 検査装置
CN103198467B (zh) 图像处理装置以及图像处理方法
Iwabuchi et al. Evaluation of the effectiveness of Gaussian filtering in distinguishing punctate synaptic signals from background noise during image analysis
JPH08504522A (ja) 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置
CN111738976A (zh) 信息处理装置、用于控制信息处理装置的方法和存储介质
CN103218805B (zh) 处理用于对象检验的图像的方法和***
CN115546536A (zh) 一种象牙制品识别方法及***
EP2927684B1 (en) Image measuring device and image measuring method
JP6161146B2 (ja) 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム
JP2020037356A (ja) 架線摩耗検査装置
CN102737388B (zh) 图像处理装置以及图像处理方法
JP4018092B2 (ja) 検査対象物の所定の表面状態の原因を自動的に求める装置
Yee et al. Impurities detection in edible bird’s nest using optical segmentation and image fusion
Marcal et al. Evaluation of the Menzies method potential for automatic dermoscopic image analysis.
TW201722132A (zh) 內視鏡影像鏡面反射去除之自適應修補方法
Sreelatha et al. Automatic detection of comets in silver stained comet assay images for DNA damage analysis
Cao et al. Leaf vein extraction and angle measurement using hue information and line detection
KR101782366B1 (ko) 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203

WD01 Invention patent application deemed withdrawn after publication