CN111220581A - 荧光渗透检查***和方法 - Google Patents

荧光渗透检查***和方法 Download PDF

Info

Publication number
CN111220581A
CN111220581A CN201911172646.7A CN201911172646A CN111220581A CN 111220581 A CN111220581 A CN 111220581A CN 201911172646 A CN201911172646 A CN 201911172646A CN 111220581 A CN111220581 A CN 111220581A
Authority
CN
China
Prior art keywords
workpiece
image
imaging device
images
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911172646.7A
Other languages
English (en)
Inventor
边霄
约翰·卡里吉亚尼斯
斯蒂芬尼·哈雷尔
史蒂文斯·布沙尔
马克西姆·博杜安·波略特
韦恩·格雷迪
大卫·斯科特·迪温斯基
伯纳德·帕特里克·布莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111220581A publication Critical patent/CN111220581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/91Investigating the presence of flaws or contamination using penetration of dyes, e.g. fluorescent ink
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N21/643Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" non-biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种检查***,包括成像装置、可见光源、紫外线光源和至少一个处理器。成像装置在紫外线光源用紫外线光照射工件以使其上的荧光染料发射光的同时产生工件的第一图像组,并且在可见光源用可见光照射工件的同时产生工件的第二图像组。第一图像组和第二图像组在成像装置相对于工件的相同位置处产生。处理器基于第二图像组中所描绘的特征和成像装置的位置,将第二图像组映射到工件的计算机设计模型。处理器基于第一图像组的分析和计算机设计模型来确定工件上的缺陷位置。

Description

荧光渗透检查***和方法
技术领域
本文所述的主题涉及使用荧光来检测缺陷的工件检查。
背景技术
荧光渗透指示(FPI)检查利用施加到工件的无孔表面上的荧光染料。在从表面上去除大量染料之后,在暗室中用紫外线辐射照射表面会导致工件的间断内的残留染料量发射出与暗背景形成对比的荧光辉光,表明存在间断。每个间断可能是工件的表面中的缺陷,例如裂缝、缺口、显微收缩或散裂(例如剥落)。当前的FPI检查方案是纯手动的。例如,检查员坐在暗室或帐篷中,并且操纵紫外线光源和/或工件,以用紫外线光来照射工件。在最初检测到工件上的潜在缺陷时,检查员可以刷过或擦拭工件,以去除可能表示误报的任何灰尘和/或碎屑或其他表面污染。然后,检查员第二次在紫外线光下观察工件,以确定工件表面上是否存在任何缺陷。如果检查员确定工件具有一个或多个缺陷,则检查员可以指定工件用于修理或可以丢弃(例如,报废)工件。
当前的FPI检查的手动处理是主观并且不一致的。例如,该处理受到进行检查的特定检查员的固有人为偏见和/或错误的影响。尽管在确定是否因为满意而通过工件、将工件送交修理、或丢弃工件时会采用检查员要遵循的指南或规则,但是两名不同的检查员可能会根据偏见和/或错误而不同地应用指南。可能的是,一个检查员会决定报废工件,而另一个检查员在相同情况下会决定通过或修理该工件。
除了对特定工件进行分类用于立即使用、修理或丢弃以外,还可以在当前的手动处理期间为FPI检查收集有限的信息(例如,数据)。例如,如果有的话,可以收集和记录关于缺陷的有限信息,这些信息可以用于改进质量控制和一致性。此类信息可以包括缺陷的类型(例如,裂缝、散裂、缺口等)、缺陷的大小和/或形状、缺陷的数量、缺陷的地点等。
此外,当前的用于FPI检查的手动处理效率低下,并且对于检查员来说也不舒服。例如,对于检查员而言,可能不舒服和/或不期望的是,在暗室或帐篷中花费较长的时间操纵紫外线光源和/或覆盖有荧光染料的工件来检查工件。
发明内容
在一个或多个实施例中,提供了一种检查***,该检查***包括成像装置、可见光源、紫外线光源和一个或多个处理器。一个或多个处理器可操作地连接到成像装置以及可见光源和紫外线光源。一个或多个处理器被构造成控制成像装置使用紫外线光设定来产生工件的第一组图像,在工件上具有荧光染料,在紫外线光设定中,紫外线光源被激活,以便用紫外线光照射工件,从而使得荧光染料发射光。成像装置在相对于工件的一个或多个预定位置处产生第一组图像,以监测由荧光染料发射出的光。一个或多个处理器被构造成控制成像装置使用可见光设定来产生工件的第二组图像,在可见光设定中,可见光源被激活,以便用可见光照射工件。成像装置通过监测从工件反射出的可见光,在相对于工件的相同的一个或多个预定位置处产生第二组图像。一个或多个处理器被构造成基于第二组图像中所描绘的特征以及成像装置的一个或多个预定位置,将第二组图像映射到工件的计算机设计模型。一个或多个处理器基于第一组图像的分析和计算机设计模型,确定工件上的缺陷的地点。
在一个或多个实施例中,提供了一种用于检查工件的方法。该方法包括使用紫外线光设定来获得工件的第一组图像,在工件上具有荧光染料,在紫外线光设定中,用紫外线光照射工件,以使得荧光染料发射光。第一组由成像装置在相对于工件的一个或多个预定位置处产生,以监测由荧光染料发射出的光。该方法还包括使用可见光设定来获得工件的第二组图像,在可见光设定中,通过可见光照射工件。第二组由成像装置通过监测从工件反射出的可见光在相对于工件的相同的一个或多个预定位置处产生。该方法包括基于第二组图像中所描绘的特征以及成像装置的一个或多个预定位置,将第二组图像映射到工件的计算机设计模型。该方法进一步包括基于第一组图像的分析和计算机设计模型,确定工件上的缺陷的地点。
在一个或多个实施例中,提供了一种用于检查工件的方法。该方法包括获得工件的第一图像,在工件上具有荧光染料。使用紫外线光设定通过相对于工件设置在第一位置处的成像装置产生第一图像,在紫外线光设定中,用紫外线光照射工件,以使得荧光染料发射光。该方法包括获得工件的第二图像,使用可见光设定通过设置在第一位置处的成像装置产生工件的第二图像,在可见光设定中,工件被可见光照射。该方法还包括将第二图像映射到工件的计算机设计模型,以及响应于接收第一图像中的一个或多个间断地点的识别,基于计算机设计模型,控制机械臂沿着与第一图像中的一个或多个间断地点对应的工件的一个或多个区,擦拭工件。该方法包括获得工件的第三图像,以及基于第一图像中的一个或多个间断地点与第三图像中的对应位置之间的比较,识别工件上的缺陷,在机械臂擦拭工件之后,使用紫外线光设定通过设置在第一位置处的成像装置产生工件的第三图像。
附图说明
通过参考附图阅读以下非限制性实施例的描述,将更好地理解本发明主题,其中:
图1是根据实施例的检查***的框图;
图2示出了相对于工件在两个不同位置处的工件和检查***的成像装置;
图3示出了使用可见光设定产生的工件的第一图像和使用UV光设定产生的工件的第二图像;和
图4是根据实施例的用于进行工件的FPI检查的方法的流程图。
具体实施方式
本文描述的实施例提供了一种检查***和方法,该检查***和方法用于对工件进行荧光渗透指示(FPI)检查,与主要是手动的已知FPI检查技术相比效率和一致性提高。例如,本文公开的检查***和方法的实施例可以是全自动的或至少是半自动的。实施例可以自动地测量和记录关于检查设定和在工件上的已发现缺陷的各种信息,这些信息生成客观跟踪记录并且可以用于改进质量、一致性、制造和设计。
检查***和方法可以包括用于检查工件的一个或多个图像采集装置、一个或多个光源、一个或多个机械臂、以及一个或多个处理器。该***可以产生描绘工件的图像数据,工件可以是转子组件的转子叶片。该***使用深度学习算法对工件进行FPI检查,包括自动回流操作。本文所述的检查***和方法相比主要手动的FPI检查技术,可以提供改进的效率和一致性。
根据一个或多个实施例,检查***和方法在不同光照条件下获得工件的图像数据。例如,光照条件之一是紫外线光设定。该工件在其上具有荧光染料,该荧光染料响应于吸收紫外线辐射而发射出荧光辉光。图像数据被映射到工件的计算机设计模型,以将二维图像数据中采集到的特征与三维工件的相应物理特征进行定向和对准。分析在不同光照条件下的图像数据,以沿着工件的表面检测例如裂缝、散裂、缺口等缺陷的存在。通过将图像数据映射到计算机设计模型,检查***和方法可以基于图像数据确定工件上的任何检测到的缺陷的地点和大小。检查***和方法可以在计算机可读存储装置中自动记录各种信息,例如光设定的性质,检测到的缺陷的特性(例如,地点、大小和尺寸、形状、类型等),工件的特性,检查结果(例如,通过、修理或丢弃)等。
图1是根据实施例的检查***100的框图。检查***100被构造为自动获取工件120的多个图像以支持FPI检查。例如,检查***100控制成像装置108在不同的光照形态或条件下采集工件120的图像。检查***100控制成像装置108从相对于工件120的至少一个选定位置获取图像,以及可选地,从相对于工件120的多个不同位置获取图像。检查***100可以被构造为自动组合从不同位置获取到的图像,以确定在图像中采集的工件120的覆盖区域。本文所指的图像是图像数据,并且可以被获取为静止图像或视频帧。
检查***100包括可操作地连接到存储器存储装置106的控制电路102。控制电路102包括一个或多个处理器104和关联的电路***。例如,控制电路102包括和/或表示一个或多个硬件电路或电路***,这些硬件电路或电路***包括一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置,与一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置连接,或既包括一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置又与其连接。控制电路102可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)、或能够根据特定逻辑指令处理输入数据的任何其他电子部件。例如,控制电路102可以执行存储在存储器存储装置106上或存储在另一有形且非暂时性计算机可读介质上的编程指令。
存储器存储装置106(在本文中也称为存储器106)是有形且非暂时性的计算机可读介质。存储器106可以包括或表示闪存、RAM、ROM、EEPROM等。控制电路102经由有线或无线通信链路可操作地连接到成像装置108。控制电路102和存储器106从成像装置108获得工件120的图像。图像可以存储在存储器106中或存储在控制电路102可访问的另一存储装置中。
成像装置108可以是或包括至少一个照相机、传感器、扫描仪等。成像装置108(在本文中也称为成像装置108)被构造成以紫外线(UV)光设定采集图像。例如,成像装置108从工件120采集UV诱导可见荧光和/或UV诱导非可见荧光。成像装置108还被构造成以可见光设定采集图像,使得成像装置108采集工件120反射出的可见光。成像装置108可以具有一个或多个滤光器和/或透镜,该滤光器和/或透镜被设计成限制允许通过滤光器和/或透镜的波长。例如,成像装置108可以具有屏障滤光器,该屏障滤光器仅允许可见光谱中的一定波长带内的光穿过滤光器,不包括环境光和/或白光中存在的其他波长。另外地或替代地,成像装置108可以具有屏障滤光器,该屏障滤光器仅允许UV光谱中的一定波长带内的光穿透滤光器。在采集特定图像的时候,成像装置108在成像装置108的视场中采集表示主题的图像。尽管成像装置108在本文中以单数形式被提及,但是成像装置108可以具有用于采集UV诱导荧光和可见光反射的分开部件。
在所示的实施例中,除了控制电路102、存储器106和成像装置108之外,检查***100包括可见光源110、紫外线光源111、第一机械臂114、第二机械臂116、通信装置112和输入/输出装置122。检查***100可以包括图1中未示出的附加部件。在替代实施例中,检查***100可以相比图1所示的部件具有至少一些不同的部件。例如,在替代实施例中,检查***100可以仅具有两个机械臂114、116中的一个或至少三个机械臂。
成像装置108被安装在第一机械臂114上。第一机械臂114能够相对于工件120沿多个轴线(例如,横向、纵向和垂直的)移动成像装置108。第一机械臂114还可以调节成像装置108相对于工件120的角度。第一机械臂114经由有线或无线通信链路可操作地连接至控制电路102。例如,控制电路102控制第一机械臂114,以将成像装置108移动到空间中的特定的选定位置。每个选定位置具有在坐标系中的特定的地点坐标(例如,x、y、z)和特定的角度坐标(例如,rx、ry、rz)。例如,成像装置108的位置指的是成像装置108的地点和角度两者。该地点和角度可以相对于工件120或另一参考点。替代地,地点或角度中的至少一个可以是绝对值。控制电路102可以通过(i)仅改变成像装置108的地点,(ii)仅改变成像装置108的角度,或(iii)改变成像装置108的地点和角度两者,来控制第一机械臂114将成像装置108从第一位置移动到第二位置。第一机械臂114可以具有各种致动器和/或旋转轴线,以如控制电路102所指示的那样操纵成像电路108。在替代实施例中,至少一个光源110、111与成像装置108一起安装在第一机械臂114上,而不是远离机械臂114安装。
检查***100被构造成检查具有各种形状和大小的工件120。在所示的实施例中,工件120是例如来自压缩机或涡轮的转子叶片。可以在***100中被检查的其他类型的工件120的非限制性实例包括喷嘴、轴、轮、活塞、燃烧室等。例如,工件120可以是发动机、运载器或其他机械的金属部件。工件120可以具有无孔表面,荧光染料被施加到该无孔表面上用于进行FPI检查。
工件120设置在基座130或平台上。在所示的实施例中,在整个检查过程中,工件120在基座130上的固定位置中保持固定,并且成像装置108经由第一机械臂114相对于工件120移动以采集图像。在替代实施例中,基座130可以是旋转台或包括旋转台,旋转台旋转以调节工件120相对于成像装置108的位置。尽管在图1中仅示出了一个工件120,但是基座130可以是托盘,该托盘并排保持多个工件120以同时检查工件120。在替代实施例中,在整个检查过程中,成像装置108在固定位置保持固定,并且第一机械臂114相对于成像装置108保持并移动工件120,以在一个或多个位置采集图像。
第二机械臂116保持拭子118。拭子118可以是垫、块、布、海绵等形状的吸收性材料,或刷子。第二机械臂116能够相对于工件120移动,以用拭子118擦拭或刷过工件120,以从工件120的表面去除或转移灰尘、碎屑和其他污染物。第二机械臂116经由有线或无线通信链路可操作地连接到控制电路102,并且可以由控制电路102控制。例如,如本文所述,控制电路102可以经由通信链路向将第二机械臂116传送控制信号,以控制机械臂116用拭子118擦拭或刷过工件120的一个或多个特定区域。
可见光源110发射电磁光谱中的可见波长带内的光。例如,可见波长带可以从大约400nm延伸到大约750nm。如本文所使用的,“大约”是特定值的波长可以包括在该特定值的指定范围内的波长,例如在特定值的30nm内的波长。可见光源110可以提供具有宽波长带的可见光(例如,白光),或者可以提供具有窄波长带的光。可见光源110可以具有用于控制从光源110发射出的可见光的波段的滤光器。
紫外线光源111发射在电磁光谱中的UV波长带内的光,其具有比可见带短的波长。例如,UV带可以从大约1nm延伸到大约400nm。UV光源111可以提供具有在UV带内的窄波长带或在UV带内的宽波长带的UV光。例如,UV光源111可以具有滤光器(例如,激发滤光器),该滤光器使照明波段变窄,以便仅允许UV辐射通过该滤光器,诱导特定荧光。例如,可以基于施加到工件120上的荧光染料的性质来选择滤光器的类型或滤光器的设定,使得允许通过滤光器的UV辐射通过染料诱导期望的荧光响应。
可见光源110和紫外线光源111均经由有线和/或无线通信链路可操作地连接至控制电路102。控制电路102被构造成通过控制每个光源110、111何时被激活(例如,发射光)和去激活(例如,不发射光)来独立地操作光源110、111。例如,控制电路102可以通过激活可见光源110并且去激活UV光源111来实施可见光设定。控制电路102可以通过激活UV光源111并且去激活可见光源110来实施UV光设置。尽管在所示实施例中,光源110、111是分立的并且彼此分离,但是在另一个实施例中,两个光源110、111可以共享一个或多个部件,例如共同的外壳。
可选地,检查***100包括围绕工件120和机械臂114、116的罩结构132。光源110、111安装在罩结构132上和/或内,并且发射光到由罩结构132限定的腔室133中。罩结构132可以使检查处理免受例如环境光或白光的外部光的影响,这可以使得在检查处理期间能够更好地控制光照条件。罩结构132可以是帐篷、窗帘、刚性壁等。
检查***100的输入/输出(I/O)装置122包括允许操作者与检查***100进行交互的至少一个显示装置和至少一个用户输入装置。I/O装置122可操作地连接到控制电路102。显示器可以是液晶显示器(例如,发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子显示器、CRT显示器等。用户输入装置可以是被构造成接收来自操作者的输入的触摸板、触摸屏、鼠标、键盘、物理按钮等。例如,操作者可以使用显示器查看FPI检查的结果,并且用于选择附加动作,例如安排工件120的修理、承认工件120通过检查或丢弃工件120。在一个实施例中,操作者可以通过在显示器上查看由成像装置108采集到的图像,并且通过使用用户输入装置,在与图像中选定区域相对应的区中,选择具有潜在缺陷的图像区域,以用于工件120的附加检查,来参与分析。可选地,I/O装置122包括用于警告操作者的附加输出,例如音频扬声器、振动装置等。
控制电路102可以可操作地连接到检查***100的通信装置112,通信装置112包括诸如收发器、接收器、发送器等的硬件以及关联的电路***(例如,天线)。通信装置112可以由控制电路102控制,以与检查***100的例如成像装置108、光源110、111和/或机械臂114、116的一个或多个部件无线通信。另外地或替代地,通信装置112可以将控制电路102无线地连接到另一个装置,诸如远程服务器、移动装置(例如,由操作者持有)等。
可选地,控制电路102、存储器106、通信装置112和I/O装置122可以是例如计算机(例如,台式电脑、笔记本电脑、平板电脑、智能电话、移动工作站等)的通用装置内的部件。例如,控制电路102、存储器106、通信装置112和I/O装置122可以被外壳或壳体共同包围。通信装置112和I/O装置122可以是检查***100的可选部件,使得替代实施例可以缺少装置112、122中的一个或两个。
根据一个或多个实施例的检查***100自动进行全部或至少一部分FPI检查处理,以检测和评估工件120上的缺陷。例如,基座130上的工件120具有施加到正在被检查的工件120的表面134(例如,检查表面134)上的荧光染料。可以在施加染料之前,清洁工件120。在染料施加之后,清洁并干燥工件120的检查表面134,以从工件120上去除大部分染料。可以将显影剂施加到工件120的表面134。清洁处理没有去除渗透到表面134中的例如裂缝、角落、缝隙、不规则的表面状况等的间断(discontinuity)内的染料。间断可以表示工件120上的缺陷。在清洁和干燥表面134之后,这种间断内的至少一部分染料可以从间断中渗出(例如,排出)到表面134的周围区域上。FPI检查处理使用穿透工件120中的间断的染料的UV诱导荧光,以检测工件120中的潜在缺陷。可选地,图1所示的检查***100被构造成在初始染料施加和清洁阶段之后进行FPI检查处理。
根据一个或多个实施例,控制电路102通过控制成像装置108以UV光设定采集工件120的第一组图像,并且以可见光设定采集工件120的第二组图像,来进行FPI检查。第一组图像和第二组图像在成像装置108相对于工件120的一个或多个相同位置处通过成像装置108被采集。例如,对于在成像装置108的指定位置处取得的第一组中的每个图像,存在有在相同的指定位置处取得的第二组中的对应图像,使得第一组中的图像与第二组中的图像之间的唯一区别是光照条件。控制电路102可以分析在不同光照条件下从成像装置108获得的图像,以检测指示工件120中的缺陷的图像数据。控制电路102将图像映射到工件120的计算机设计模型,以用实际工件120中的缺陷的物理地点来校准图像中的缺陷的图形地点。除了确定缺陷的物理地点之外,将图像映射到计算机设计模型使得能够基于图像数据中的缺陷的图形表示来测量缺陷的物理尺寸(例如,大小)。
以下段落描述由根据实施例的检查***100进行的FPI检查操作。控制电路102获得工件120的计算机设计模型。计算机设计模型可以是三维(3D)模型,其具有表示3D计算机坐标系中的工件120的点(例如,体素)。计算机设计模型可以是工件120的比例表示。例如,实际工件120与I/O装置122的显示器上的模型的显示大小之间的大小差异可以是已知的,这使得检查***100能够通过沿着模型测量对应长度来计算实际工件120的长度。计算机设计模型可以是计算机辅助设计(CAD)模型等。控制电路102可以经由通信装置112或有线端口或驱动器从外部来源获得工件120的计算机设计模型。计算机设计模型可以至少临时地被存储在存储器106内。
使用计算机设计模型,控制电路102选择成像装置108的一个或多个位置,在该位置处采集工件120的检查表面134的图像。例如,选择一个或多个位置,以确保工件120的整个检查表面134被描绘在选定位置处获取到的图像内。
现在另外参考图2,其示出了相对于工件120处于两个不同位置处的工件120和成像装置108。图2中的工件120可以是计算机设计模型中的工件120的3D表示。在相对于工件120的第一位置202和第二位置204处示出了成像装置108。例如,第一位置202具有地点坐标(x1,y1,z1)和角度坐标(rx1,ry1,rz1)。两个角度坐标指的是两个垂直平面中的角度。例如,机械臂114可以被构造成在两个垂直平面中使成像装置108倾斜和旋转以实现各种角度。第二位置204具有地点坐标(x2,y2,z2)和角度坐标(rx2,ry2,rz2)。第二位置204的地点和角度均不同于第一位置202的地点和角度。
控制电路102可以选择第一位置202和第二位置204作为指定位置,在FPI检查处理期间,成像装置108在该指定位置处将获取工件120的图像。位置202、204的总数及其地点和角度可以由控制电路102基于例如成像装置108的视场、工件120的检查表面134的大小、检查表面134的复杂性(例如,表面拓扑)等的因素来被计算。控制电路102可以利用工件120的计算机设计模型来确定被计入计算的工件120的测量和特征。
位置选择计算还可以取决于约束条件,例如与从工件120的表面134到成像装置108的法向轴线的最大允许相对角度。例如,与法向轴线的角度的可以接受范围可以是与法向轴线的45度内、30度内、20度内或10度内。可以实施该角度约束条件,使得成像装置108与检查表面134相对正交,以确保成像装置108接收从检查表面134反射或辐射的足够光量。另一个约束条件可以指示工件120的整个检查表面134在一个或多个选定位置处获取到的图像数据中被采集,这确保了检查整个表面134的缺陷。
控制电路102可以基于工件120和成像装置108的已知特性以及指定的约束条件来解决优化问题,以从大组潜在位置中选择一个或多个位置作为优化问题的输出或结果。例如,控制电路102可以利用已知信息来模拟工件120的将在每个潜在位置处由成像装置108采集在图像数据中的区或区域。例如,图2示出了将由成像装置108在第一位置202处以成像装置108的设定视场212采集的覆盖区域206(由图2中的点阴影表示)。图2还示出了将由成像装置108在第二位置204处以相同视场212采集的不同覆盖区域208(由图2中的虚线阴影表示)。覆盖区域206大致沿着图2中的工件120的右半部分,并且覆盖区域208大致沿着工件120的左半部分。存在其中覆盖区域206、208重叠的重叠区域210,表明工件120的这些部分将被采集在两个位置202、204中的每个位置处获取到的图像中。如图2所示,两个覆盖区域206、208的组合覆盖工件120的整个检查表面134。
尽管在所示实施例中选择两个位置用于FPI检查,但是在其他实施例中,控制电路102可以仅选择一个位置或两个以上的位置。例如,如果成像装置108能够从单个位置采集工件120的整个检查表面134并且满足所有的指定约束条件,则控制电路102可以选择单个位置而不是多个位置。
在选择一个或多个位置之后,控制电路102开始图像获取阶段。控制电路102控制机械臂114,以将成像装置108移动到两个选定位置202、204中的第一个选定位置。例如,机械臂114可以将成像装置108移动到第一位置202,第一位置202也被称为标准位置202。在标准位置202处,控制成像装置108以可见光设定获取工件120的图像。例如,控制电路102可以通过激活可见光源110并且去激活UV光源111(或者,如果适用的话,将UV光源111维持在去激活状态)来建立可见光设定。结果,在罩结构132的腔室133内的工件120被具有可见波长带的光照射。
在不从标准位置202移动成像装置108的情况下,控制成像装置108获取工件120的另一个图像,但是这次是以UV光设定。控制电路102可以通过去激活可见光源110并且激活UV光源111来建立UV光设定。结果,腔室133内的工件120被UV光(具有在UV带内的一个或多个波长)照射。在UV光设定中,腔室133可能因为腔室133内缺少可见光而从操作者的角度来看是暗的。尽管以上将可见光图像描述为在采集UV图像之前被采集,但是认识到的是,可以颠倒顺序,使得在可见光图像之前获取UV图像。
现在参考图3,其示出了以可见光设定获取到的工件120的第一图像302和以UV光设定获取到的工件120的第二图像304。尽管在不同的光照条件或模态下获取了两个图像302、304,但是成像装置108从相对于工件120的相同位置(例如,图2所示的标准位置202)采集两个图像302、304。结果,两个图像302、304都描绘相同主题(例如,图2所示的工件120的覆盖区域206)。
可选地,控制电路102可以对在标准位置202处获取到的两个图像302、304进行初始分析,以确保在进行FPI检查处理之前满足各种前提条件。例如,一个前提条件可以包括测量UV图像304中的光的平均强度。UV图像304中的光表示来自工件120上的染料的UV诱导辐射。平均强度可以是UV图像304中的每个像素的平均强度。如果UV图像304中的光的平均强度超出指定阈值,则在工件120上存在过量残留物(例如,荧光染料、灰尘、碎屑、污染物等)。例如,如果大量的检查表面134辐射或反射由成像装置108在UV图像304中采集到的光,则难以将实际缺陷与例如残留染料(与来自缺陷的回流(bleedback)无关)、灰尘、污垢和其他污染物的误报区分开。作为响应,在重新开始图像采集阶段之前,将工件120放到一边用于进行附加清洁以去除多余残留物。如果UV图像304中的平均光强度处于或低于指定阈值,则认为满足该前提条件。
另一个前提条件检查工件120相对于***100的对准。更具体地,控制电路102可以分析可见光图像302,以使可见光图像302中的工件120的对准与参考姿势比较。参考姿势可以存储在存储器106中或存储在控制电路102可访问的另一个存储装置中。控制电路102可以进行简单的图像分析,例如边缘检测,以确定可见光图像302中所示的工件120的周界轮廓。如果图像302中的周界轮廓在指定的误差幅度内与参考姿势对准,则认为满足了该前提条件。另一方面,如果周界轮廓没有与参考姿势对准,则工件120可能需要在基座130上重新对准。工件120与参考姿势的未对准也可以指示工件120是否是与控制电路102预期的大小或类型不同的工件120。例如,控制电路102可能期望在叶片上进行FPI检查,但是基座130上的实际工件120是喷嘴。在继续FPI检查之前,可以使用该对准检查来更正错误。
在根据实施例的FPI检查处理中,控制电路102被构造成将可见光图像302映射到工件120的计算机设计模型。控制电路102可以利用图像分析技术,例如特征匹配、边缘检测、边界分析、边缘配准、边缘拟合等,以确定在图像302的主题中描绘了工件120的计算机设计模型的哪些部分。在非限制性实例中,控制电路102可以进行特征匹配,以将可见光图像302映射到计算机设计模型。在特征匹配分析中,控制电路102可以识别图像302中所示的一组指定特征,例如叶片的角部、叶片的端部、凸缘的角部等,并且确定图像302的帧内的每个指定特征的坐标和/或尺寸。例如,图像302中的指定特征的坐标和尺寸可以基于表示指定特征的像素的数量和地点。控制电路102在计算机设计模型中定位表示来自图像302的一组指定特征的对应特征,并且确定计算机设计模型的3D坐标系内的每个对应特征的坐标和/或尺寸。然后,控制电路102将关于图像302中的每个指定特征的信息与来自计算机设计模型中的特征的关联信息进行分组,以生成数据对。例如,工件120的叶片的特定角部可以在图像302中由十个像素描绘,每个像素在图像302中具有已知的2D坐标。叶片的相同角部可以由在计算机设计模型中具有已知的3D坐标的六个体素表示,因此利用图像数据和模型数据产生叶片的角部的数据对。
控制电路102可以产生传递函数,该传递函数将图像302中的特征的坐标和大小转换为计算机设计模型中的对应特征的坐标和大小。例如,传递函数可以减小表示工件120的指定特征的每个数据对中的图像数据和模型数据之间的偏移。控制电路102可以将传递函数应用于可见光图像302的点或区,以确定计算机设计模型中的对应点或区。传递函数还可以用于通过将图像302中所示的缺陷的尺寸转换成计算机设计模型,来确定图像数据中识别出的缺陷的尺寸(例如长度,大小等),计算机设计模型是实际工件120的比例表示。
认识到的是,将可见光图像302映射到计算机设计模型也推定性地将UV图像304映射到计算机设计模型,因为图像302、304都在相同视角和参考帧中描绘相同的主题。例如,控制电路102可以利用基于可见光图像302产生的传递函数来确定UV图像304中示出的荧光间断地点306位于工件120的计算机设计模型中的什么地方。因为计算机设计模型是实际工件120的比例表示,所以控制电路102可以确定UV图像304中所示的间断地点306位于实际工件120上的什么地方。
将UV图像304映射到计算机设计模型还可以使得UV图像304的像素强度能够被归一化。例如,知道深度和3D模型几何形状,控制电路102可以使UV光强度归一化,以在UV图像304的整个区域上产生一致的强度。可见光图像302中的像素的强度也可以基于计算机设计模型而在可见光图像302的总区域上被归一化。
在标准位置202处在两个不同光照条件下获取两个图像302、304之后,控制电路102控制机械臂114将成像装置108移动到相对于工件120的第二选定位置204(如图2所示)。控制电路102在成像装置108在第二位置204的情况下重复图像分析阶段。例如,控制电路102控制光源110、111,以提供其中成像装置108从第二位置204采集图像的可见光设定,并且分开地控制光源110、111,以提供其中成像装置108从相同位置204采集另一个图像的UV光设定。在一个实施例中,对于由控制电路102选择的每个位置,成像装置108在那个位置采集可见光图像(例如,以可见光设定获取到的图像)和UV图像(例如,以UV光设定获取到的图像)两者。
控制电路102将成像装置108在第二位置204获取到的可见光图像(例如,第二可见光图像)映射到计算机设计模型。在实施例中,控制电路102可以映射第二可见光图像,而不对第二可见光图像进行例如特征匹配的附加图像分析。例如,控制电路102知道成像装置108的标准位置202和第二位置204之间的位置偏移。基于机械臂114从标准位置202到第二位置204的已知移动,控制电路102可以计算相对于第一可见光图像302的图像帧的第二可见光图像的图像帧或视场。先前产生的传递函数使来自第一可见光图像302的图像数据与计算机设计模型对准。通过利用传递函数以及成像装置108的两个位置202、204之间的已知位置偏移,控制电路102可以被构造成将第二可见光图像映射到计算机设计模型(而不进行附加图像分析)。在替代实施例中,控制电路102对在第二位置204处采集到的第二可见光图像进行图像分析,以产生第二传递函数,用于独立于第一可见光图像302的映射,将第二可见光图像映射到计算机设计模型。
在映射第二可见光图像时,第二可见光图像中所示的工件120的某些部分可以与(第一)可见光图像302中所示的工件120的部分重叠。例如,图像的重叠部分可以对应于图2中所示的工件120的重叠区域210。识别图像的重叠部分有助于检测正确的缺陷量。例如,如果在工件120的重叠区域210内沿着工件120的检查表面134存在缺陷,则可以在来自成像装置108的两个位置202、204的每个位置的图像中描绘一个缺陷。识别图像的重叠部分并将图像映射到计算机设计模型确保不会将此类缺陷解释为两个不同的缺陷。
在从成像装置108相对于工件120的一个或多个选定位置的每个选定位置以UV光设定和可见光设定两者获取工件120的图像之后,分析图像以检测可能表示缺陷的间断。在一个或多个实施例中,经由控制电路102或一个或多个其他处理器自动进行该分析。UV光图像,例如图3所示的UV图像304,可以被处理以识别图像数据中的间断地点306。
可以基于相对于指定阈值或相对于图像中其他像素的光特性来识别间断地点306。所测量的光特性可以包括强度、波长等。如UV图像304中所示,存在具有明亮强度的两个小区域,而UV图像304的其余部分是暗的。因为两个区域内的光的荧光强度超出指定阈值强度水平,所以这两个区域被识别为间断地点306。指定阈值强度水平可以是绝对值,或者可以相对于周围像素的强度或图像304中的所有像素的平均强度。UV图像304中的间断地点306表示工件120上的物质或材料响应于来自UV光源111的UV光而正在发射辐射的区域。例如,间断地点306可归于工件120上的荧光染料,荧光染料在UV光下发出荧光。在清洁阶段之后,染料可以从工件120中的例如裂缝,散裂或剥落区域,缺口等的缺陷中排出或渗出,使得染料的存在可以指示工件120的检查表面134上的缺陷。
UV图像304中的间断地点306的识别不能确保在工件120中存在缺陷,因为间断地点306可以归于不指示缺陷的其他材料和/或物质。例如,间断地点306可以由除荧光染料之外的工件120的检查表面134上的灰尘、污垢、粉末或其他异物和污染物的反射或荧光所引起。在另一个实例中,间断地点306可能是由沿着检查表面134的粗糙(但无缺陷)区域的荧光染料所引起,该粗糙区域在图像获取阶段之前没有被充分清洁。因此,间断地点306可以指示缺陷或误报(例如,异物、沿着表面134的无缺陷区域的残留染料等)。
除了分析从成像装置108的一个或多个位置以UV光设定获取到的UV图像之外,还可以分析以可见光设定获取到的可见光图像。例如,尽管通过分析UV图像可以更容易地看到例如裂缝的小缺陷,但是可见光图像可以显示例如大裂缝、大散裂或剥落区域等的大缺陷。可见光图像实际上可以比UV光图像更好地显示出这种大缺陷,因为清洁阶段可以从大缺陷内去除所有或大部分荧光染料。可见光图像的分析也可以与UV图像结合使用,以取消误报资格。例如,在识别UV图像中的间断地点306时,控制电路102可以分析可见光图像中的相同区,以确定间断地点306是否可以被取消资格,作为背景的一部分、没有缺陷的工件120的复杂拓扑区等。
在图3中,确定UV图像304具有两个间断地点306。可见光图像302(从成像装置108的相同位置获取)的分析指示第一间断地点306A位于沿着工件120的叶片310的面的区314,并且第二间断地点306B位于沿着工件120的凸缘312的边缘的区316中。基于间断地点306A、306B相对于工件120的地点,控制电路102此时在FPI检查处理中可能不能将任一个间断地点306A、306B排除为误报。在所示的实施例中,两个间断地点306A、306B被识别为图像分析的输出或结果。
可以通过控制电路102或其他自动处理电路***来进行识别一个或多个间断地点306的图像分析。尽管上述间断地点306可以根据编程指令基于光特性(例如强度或波长)来被识别,但是在替代实施例中,可以在被训练成识别间断地点306的例如人工神经网络的深度学习模块中分析图像。人工神经网络可以存储在存储器106内,或者可以远离存储器106和控制电路102存储。例如,通信装置112可以将图像传送到远程装置上的人工神经网络,并且通信装置112可以从远程装置接收结果消息,该结果消息识别由神经网络检测到的任何间断地点。
在替代实施例中,FPI检查处理可以是半自动化的,使得检查***100在上述图像分析阶段期间利用操作者的输入。例如,控制电路100可以在I/O装置122的显示器上向操作者显示UV图像和可见光图像。操作者可以查看显示的图像,并且利用I/O装置122的输入装置,例如触摸屏、触摸板、鼠标、键盘等,手动选择间断地点306。例如,如果操作者查看图3中所示的UV图像304,则操作者可以看到两个亮斑,并且突显这些斑点作为间断地点306。操作者还能够查看可见光图像302,并且突显可见光图像302上的区域作为间断地点306。例如,可见光图像302可以显示出在没有荧光渗透染料的帮助下能够查看到的工件120上的相对较大的缺陷。用户选择作为用户输入消息被传送到控制电路102,控制电路102在存储器106中记载用户选择。
在至少一个间断地点306的自动或半自动识别之后,控制电路102控制第二机械臂116(如图1所示)在工件120的与图像数据中的间断地点306相对应的特定区域中用拭子118物理擦拭工件120。例如,在图3所示的示出实施例中,控制电路102控制机械臂116在可见光图像302中所示的区314中擦拭叶片310,并且在区316中擦拭凸缘312的边缘。该擦拭从工件120中去除了残留染料和外部碎屑和污染物,如灰尘、污垢、碎屑等。如本文所使用的,术语“擦拭”及其变体广义上指的是在另一个物体(例如,工件)的表面上物理抵接并滑动一个物体(例如,毛巾或刷子),并且包括例如刷过、海绵擦洗、摩擦、擦洗、抛光等动作。在一个实施例中,机械臂116被控制成仅擦拭工件120的与所识别的间断地点306相对应的区域,并且不擦拭整个检查表面134,这与清洁阶段不同,在清洁阶段期间,工件120被准备用于图像获取。控制电路102能够将机械臂116移动到工件120的与图像数据中的间断地点306相对应的特定区域,因为图像数据被映射到计算机设计模型,该计算机设计模型被有效地映射到实际工件120。
在擦拭工件120之后,控制电路102被构造成等待指定时间段,以允许工件120的缺陷内的任何残留荧光染料沿着检查表面134从缺陷排出到缺陷的周围边缘上。指定时间段可以是秒或分钟的量级。随后,控制电路102控制第一机械臂114、成像装置108以及光源110、111(图1所示)以重复图像获取阶段。例如,机械臂114将成像装置108移动到标准位置202(在图2中示出),在标准位置202处,成像装置108以可见光设定获取另一个图像,并且以UV光设定获取另一个图像。机械臂114还将成像装置108移动到第二位置204和任何附加选定位置,以在每个位置处获取可见光图像和UV光图像两者。例如,第一图像获取阶段和第二图像获取阶段之间的唯一差异或变化可以是工件120的状态,因为工件120在第一图像获取阶段和第二图像获取阶段之间通过第二机械臂116擦拭。在第一图像获取阶段期间获取到的图像可以被称为擦拭前图像,并且在第二图像获取阶段期间获取到的图像可以被称为擦拭后图像。可以控制成像装置108以获取与擦拭前图像的数量相同数量的擦拭后图像。
擦拭前图像和擦拭后图像可以存储在存储器106中。控制电路102可以将擦拭前图像与对应擦拭后图像成对地分组或分类。例如,在擦拭阶段之前以可见光设定从标准位置202采集到的图像可以与在擦拭阶段之后以可见光设定从标准位置202采集到的图像一起被分组。
分析每对图像以检查该对中的两个图像之间的差别。如果擦拭后图像中的图像数据与擦拭前图像中的间断地点匹配,则将该间断地点分类为缺陷。如果图像数据的地点、大小和/或光特性(例如强度、波长等)在间断地点的指定误差幅度内,则擦拭后图像中的图像数据可以与擦拭前图像中的间断地点匹配。间断被分类为缺陷,因为在第二机械臂116擦拭该区中的工件120之后,间断仍然存在。例如,可以排除间断作为归于工件120的表面134上的过量染料或碎屑的误报,因为这些材料会通过机械臂116的拭子118而被去除。例如,将图3所示的擦拭前UV图像304与以UV光设定从标准位置202获取到的对应擦拭后图像进行比较。如果擦拭后图像含有足够匹配第一间断地点306A的亮斑(在误差的阈值幅度内),则将第一间断地点306A分类为缺陷。
如果图像对的比较指示擦拭后图像没有包括与在擦拭前图像中的识别出的间断地点匹配的图像数据,则将该间断地点分类为误报。例如,如果与擦拭前UV图像304比较的擦拭后图像在对应于第二间断地点306B的区域中没有显示亮斑,则将第二间断地点306B分类为误报,而不是缺陷。间断地点306B可以归于异物(例如,污垢、灰尘、粉末或其他物质)或沿着表面134的无缺陷区域的多余染料,其在第二机械臂116用拭子118擦拭工件120时被去除。在上述假设情况下,擦拭前图像和擦拭后图像之间的分析可以导致确定工件120的检查表面134包括单个缺陷。缺陷位于UV图像304中所示的第一间断地点306A。缺陷可以表示沿着表面134的裂缝、散裂或剥落、缺口、或其他磨损。
对于在图像数据中的被分类为缺陷的每个间断地点306,控制电路102被构造成计算实际工件120内的缺陷的物理地点。例如,控制电路102可以利用在将图像映射到计算机设计模型时产生的传递函数,以将图像帧中的分类缺陷转换为计算机设计模型上的地点,计算机设计模型是实际工件120的比例表示。控制电路102可以输出表示计算机设计模型坐标系内的缺陷的地点的坐标。除了确定一个或多个缺陷在工件120上的地点之外,控制电路102还可以通过将传递函数应用于图像数据中的缺陷的测量尺寸来计算缺陷的尺寸(例如,大小)。例如,控制电路102可以能够基于图像数据和图像到计算机设计模型的映射来测量工件120中检测到的裂缝的实际长度。
在确定工件120中的缺陷在计算机设计模型的坐标系内的地点和大小之后,控制电路102可以可选地在显示缺陷的计算机设计模型上构建3D特征图。例如,特征图在显示装置上可以是能够查看的,同时缺陷被叠加到计算机设计模型上。操作者可以在不查看实际工件120的情况下利用特征图来确定是否通过工件120、修理工件120、丢弃工件120等。
将擦拭前图像与擦拭后图像进行比较以用于确定存在缺陷的图像分析可以是自动的,并且可以通过控制电路102或其他处理电路***来进行。例如,控制电路102可以根据编程指令将擦拭前图像与对应的擦拭后图像进行比较。替代地,可以在例如人工神经网络的深度学习模块内分析擦拭前图像和擦拭后图像,深度学习模块被训练成基于图像在缺陷与误报之间进行区分。
在替代实施例中,将图像数据中的缺陷与误报区分开的比较阶段可以是半自动的,使得操作者提供输入。例如,控制电路100可以在I/O装置122的显示器上向操作者显示每对擦拭前图像和擦拭后图像。操作者可以寻找擦拭前图像中的识别出的间断地点306与擦除后图像中的对应地点之间的差别,并且可以利用I/O装置122的输入装置,将每个识别出的间断地点306标记为缺陷(例如,如果间断在两个图像之间是一致的)或误报(例如,如果间断在两个图像之间是不一致的)。用户选择作为用户输入消息被传送到控制电路102,控制电路102在存储器106中记载用户选择。
在本文描述的至少一个实施例中,检查***100可以进行全自动的FPI检查处理,使得计算机处理器分析图像,以便在不依赖于操作者输入的情况下,既识别擦拭前图像中的间断地点,又随后将间断地点分类为缺陷或误报。完全自动化的处理相比于常规的完全手动FPI处理具有若干优势,例如增加了客观性、一致性、可靠性、可重复性、效率、准确性等。例如,基于程序指令和/或训练后的人工神经网络进行分析,程序指令和/或训练后的人工神经网络不易受到人类主观性的影响并且不易出错。
在一个或多个其他实施例中,检查***100可以进行半自动FPI检查处理,该半自动FPI检查处理利用操作者的输入,以用于(i)仅识别擦拭前图像中的间断地点;(ii)仅将间断地点分类为缺陷或误报;或(iii)既识别间断地点又随后将间断地点分类为缺陷或误报。即使某些分析是通过人类操作者来进行的,与常规的完全手动FPI处理相比,由检查***100进行的半自动FPI处理仍具有一些优势。例如,因为操作者不需要手动操纵工件120,所以操作者可能更喜欢使用本文公开的检查***100来进行FPI检查。例如,操作者可以完全远离罩结构132,并且可以使用计算机从舒适的办公室中进行分析以识别间断地点和/或分类缺陷。操作者可以避免直接暴露于荧光染料并且长时间在黑暗的UV照射帐篷或房间内。
通过检查***100进行的FPI检查处理的全自动和半自动实施例两者的另一个优点是在整个处理中数据的自动记录和记载。例如,控制电路102可以被构造成记录关于每个工件120的检查的各种信息。该信息可以被存储在存储器106中和/或被传送到例如云计算服务器的远程存储。控制电路102可以产生报告,该报告包括可复写格式的信息。记录的信息可以包括(i)工件120的标识,(ii)光照设定(例如,可见光和UV光两者的强度、波长等),(iii)成像装置108的设定,(iv)成像装置108的选定位置;(v)由成像装置108采集到的所有图像,(vi)被识别为间断地点306的图像数据,(vi)被分类为缺陷的图像数据的子集,(vii)缺陷的特性(例如地点和大小),(viii)使用的荧光染料的类型,(ix)机械臂116沿着其擦拭的工件120的区,(x)在获取擦拭后图像之前允许染料在擦拭后回流的时间量等。通过记录此信息,可以汇总和研究来自许多FPI检查的数据,以通过使FPI检查处理比常规手动处理更加客观、一致和准确来改进FPI检查处理。
根据检测到的缺陷的数量、大小和类型,可以将工件120分类为通过检查、安排修理或丢弃(例如报废)。在一个实施例中,如果工件120没有检测到的缺陷,则控制电路102将工件120识别为通过检查。如果工件120具有一个或多个检测到的缺陷,则控制电路102可以采取若干响应动作。例如,控制电路102可以产生命令信号或消息,以自动安排工件120的修理或由操作者进行附加检查。类似地,控制电路102可以产生信号,以便例如经由基于文本的消息、音频消息等将检测到的工件120中的缺陷的存在通知给操作者。检查的结果(例如通过、修理、丢弃等)可以与其他信息一起存储在报告中。本文公开的检查***100可以有益地降低在FPI检查处理中丢弃工件的总比率。例如,记录关于检查处理的细节用于后续分析使操作者的决策能够被审查,这确保了对于操作者而言的责任。
图4是根据实施例的用于进行工件的FPI检查的方法400的流程图。方法400可以表示由图1所示的检查***100的包括一个或多个处理器104的控制电路102所进行的至少一些操作。方法400可以表示用于生成(例如,写入)一个或多个软件应用的算法,一个或多个软件应用指引控制电路102的一个或多个处理器104的操作。
参照图1至图3,方法400从402开始,在402处,以紫外线光设定获得工件120的第一组图像。工件120在其上具有荧光染料,尽管在采集图像之前可以从工件120中清除大部分的染料。经由成像装置108在相对于工件120的一个或多个选定位置处获取第一组图像。可以通过激活UV光源111并且去激活可见光源110(或将可见光源110维持在去激活状态)来提供紫外线光设定。第一组图像包括在相对于工件120的第一位置或标准位置202处通过成像装置108获取到的第一UV图像,以及在第二位置204处通过成像装置108获取到的第二UV图像,第二位置204与标准位置202具有不同的地点和/或角度。
在404处,以可见光设定获得工件120的第二组图像。可以通过去激活UV光源111并且激活可见光源110来提供可见光设定。通过成像装置108在与第一组相同的相对于工件的一个或多个的位置处获取第二组图像。例如,第二组包括在标准位置202处获取到的第一可见光图像和在第二位置204处获取到的第二可见光图像。因此,第一UV图像可以仅在光照条件下与第一可见光图像不同。
在406处,将以可见光设定获取到的第二组图像映射到工件120的计算机设计模型。计算机设计模型可以是实际工件120的比例表示(例如,1:8比例、1:16比例等)。可选地,通过经由一个或多个处理器进行图像分析来将图像映射到计算机设计模型,以将图像中描绘的特征与计算机设计模型中的对应特征进行匹配。映射可以包括产生传递函数等。
在408处,基于以可见光设定获取到的第一组图像的分析和计算机设计模型来确定工件120中的缺陷的地点和/或大小。例如,可以经由一个或多个处理器来分析UV图像,以测量UV图像的区域(例如,像素)内的光的荧光强度。如果给定区域内的光的荧光强度超出指定阈值强度水平,则可以将图像的该区域识别为间断地点306,间断地点306表示工件120中的潜在缺陷。因为图像数据被映射到计算机设计模型(其是实际工件120的比例表示),所以计算机设计模型可以用于在3D坐标系中测量缺陷的地点和缺陷的大小(例如,尺寸)。
在410处,关于缺陷的信息,例如缺陷的地点和/或大小,被记录在存储器存储装置106中。关于检查处理的各种信息可以作为报告被记录在数据库中,以记载检查处理。可以研究随时间而进行的大批FPI检查的报告,以相对于常规手动处理增加FPI检查处理的客观性、一致性和准确性。
在步骤408和/或步骤410之后,方法400可以包括通过擦拭或刷过在图像数据的间断地点306中描绘的工件120的区域来进行回流操作。在回流操作之后,可以通过在工件120上重新施加显影剂来使工件120重新显影。显影剂可以被施加到表面134的没有回流的区域。之后,流程可以返回到402,并且可以以UV和可见光设定获得附加图像组(例如,擦拭后图像组)。可以将擦拭后图像组与擦拭前图像组进行比较,以基于擦拭后图像组与擦拭前图像组之间的变化来确定潜在缺陷是否确实是缺陷或仅仅是误报,擦拭前图像组归于在回流操作期间的擦拭或刷过。
在一个实施例中,一种检查***包括成像装置、可见光源、紫外线光源和一个或多个处理器。一个或多个处理器可操作地连接到成像装置以及可见光源和紫外线光源。一个或多个处理器被构造成控制成像装置使用紫外线光设定来产生工件的第一组图像,在工件上具有荧光染料,在紫外线光设定中,紫外线光源被激活,以便用紫外线光照射工件,从而使得荧光染料发射光。成像装置在相对于工件的一个或多个预定位置处产生第一组图像,以监测由荧光染料发射出的光。一个或多个处理器被构造成控制成像装置使用可见光设定来产生工件的第二组图像,在可见光设定中,可见光源被激活,以便用可见光照射工件。成像装置通过监测从工件反射出的可见光,在相对于工件的相同的一个或多个预定位置处产生第二组图像。一个或多个处理器被构造成基于第二组图像中所描绘的特征以及成像装置的一个或多个预定位置,将第二组图像映射到工件的计算机设计模型。一个或多个处理器基于第一组图像的分析和计算机设计模型,确定工件上的缺陷的地点。
可选地,检查***还包括存储器存储装置,并且一个或多个处理器被构造成在存储器存储装置中记录工件上的缺陷的地点。
可选地,一个或多个处理器被构造成基于第一组图像的分析和计算机设计模型来确定工件上的缺陷的大小。
可选地,一个或多个处理器被构造成控制可见光源和紫外线光源中的每一个的激活和去激活,以提供紫外线光设定和可见光设定。
可选地,一个或多个处理器被构造成通过测量超出指定阈值强度水平的第一组中的一个或多个图像内的光的荧光强度,来分析第一组图像,以识别第一组图像中的缺陷。
可选地,检查***还包括机械臂,并且响应于接收第一组中的至少一个图像内的一个或多个间断地点的识别,一个或多个处理器被构造成控制机械臂沿着与一个或多个间断地点对应的工件的一个或多个区,用拭子擦拭工件。可选地,使用紫外线光设定产生的第一组图像包括擦拭前图像和擦拭后图像。一个或多个处理器控制成像装置在机械臂擦拭工件之前在成像装置的第一位置处产生擦拭前图像,并且控制成像装置在机械臂擦拭工件之后在第一位置处产生擦拭后图像。一个或多个处理器通过将擦拭后图像与擦拭前图像进行比较,来确定工件上的缺陷的地点。
可选地,检查***还包括在其上安装成像装置的机械臂。一个或多个处理器控制机械臂在第一位置和第二位置之间相对于工件移动成像装置,第二位置具有与第一位置不同的地点或不同的角度中的至少一个。在第一位置和第二位置中的每个位置处,一个或多个处理器控制成像装置使用紫外线光设定产生工件的至少一个图像,并且使用可见光设定产生工件的至少一个图像。
在一个实施例中,一种方法包括使用紫外线光设定来获得工件的第一组图像,在工件上具有荧光染料,在紫外线光设定中,用紫外线光照射工件,以使得荧光染料发射光。第一组由成像装置在相对于工件的一个或多个预定位置处产生,以监测由荧光染料发射出的光。该方法还包括使用可见光设定来获得工件的第二组图像,在可见光设定中,通过可见光照射工件。第二组由成像装置通过监测从工件反射出的可见光在相对于工件的相同的一个或多个预定位置处产生。该方法包括基于第二组图像中所描绘的特征以及成像装置的一个或多个预定位置,将第二组图像映射到工件的计算机设计模型。该方法进一步包括基于第一组图像的分析和计算机设计模型,确定工件上的缺陷的地点。
可选地,该方法还包括将工件上的缺陷的地点的记录保存在存储器存储装置中。
可选地,该方法还包括在显示缺陷的计算机设计模型上构建工件的三维特征图。
可选地,成像装置相对于工件的一个或多个预定位置包括成像装置的第一位置和成像装置的第二位置。在第二位置的成像装置相比第一位置具有相对于成像装置的不同地点或不同角度中的至少一个。第一组图像和第二组图像中的每一个包括由成像装置在第一位置处产生的至少一个图像以及由成像装置在第二位置处产生的至少一个图像。可选地,获得第一组图像和获得第二组图像包括控制机械臂在第一位置和第二位置之间相对于工件移动成像装置。
可选地,该方法还包括响应于接收第一组中的至少一个图像内的一个或多个间断地点的识别,控制机械臂沿着与一个或多个间断地点对应的工件的一个或多个区,擦拭工件。可选地,使用紫外线光设定产生的第一组图像包括擦拭前图像和擦拭后图像。成像装置在机械臂被控制以擦拭工件之前在一个或多个预定位置中的第一位置处产生擦拭前图像,并且成像装置在机械臂擦拭工件之后在第一位置处产生擦拭后图像。分析第一组图像以确定工件上的缺陷的地点包括将擦拭后图像与擦拭前图像进行比较。
可选地,通过经由一个或多个处理器进行图像分析,来将第二组图像映射到工件的计算机设计模型,以使第二组图像内的特征与计算机设计模型中的对应特征匹配。
可选地,该方法还包括经由一个或多个处理器分析第一组图像,以通过测量超出指定阈值强度水平的第一组中的一个或多个图像内的光的荧光强度,来识别第一组图像中的缺陷。
可选地,该方法还包括激活紫外线光源并且去激活可见光源以经由成像装置产生第一组图像,以及去激活紫外线光源并且激活可见光源以经由成像装置产生第二组图像。
在一个实施例中,一种方法包括获得工件的第一图像,在工件上具有荧光染料。使用紫外线光设定通过相对于工件设置在第一位置处的成像装置产生第一图像,在紫外线光设定中,用紫外线光照射工件,以使得荧光染料发射光。该方法包括获得工件的第二图像,使用可见光设定通过设置在第一位置处的成像装置产生工件的第二图像,在可见光设定中,工件被可见光照射。该方法还包括将第二图像映射到工件的计算机设计模型,以及响应于接收第一图像中的一个或多个间断地点的识别,基于计算机设计模型,控制机械臂沿着与第一图像中的一个或多个间断地点对应的工件的一个或多个区,擦拭工件。该方法包括获得工件的第三图像,在机械臂擦拭工件之后,使用紫外线光设定通过设置在第一位置处的成像装置产生工件的第三图像,以及基于第一图像中的一个或多个间断地点与第三图像中的对应位置之间的比较,识别工件上的缺陷。
可选地,该方法还包括获得工件的第四图像,在机械臂擦拭工件之后,使用可见光设定通过设置在第一位置处的成像装置产生工件的第四图像。响应于识别工件上的缺陷,该方法包括基于第三图像的分析和计算机设计模型,确定相对于工件的缺陷的大小和缺陷的地点。
如本文使用的,以单数叙述并且以单词“一”或“一种”开始的元件或步骤应被理解为不排除多个所述元件或步骤,除非明确地指出了这种排除。此外,对当前描述的主题的“一个实施例”的引用不旨在被解释为排除同样结合所述特征的另外的实施例的存在。此外,除非有相反的明确说明,否则“包含”或“具有”具有特定性质的元件或多个元件的实施例可以包括不具有该性质的另外的此类元件。
应当理解的是,以上描述旨在说明而非限制。例如,上述实施例(和/或其方面)可以彼此组合使用。另外,在不脱离本发明的范围的情况下,可以做出许多修改以使特定的情况或材料适应本文阐述的主题的教导。尽管本文描述的材料的尺寸和类型旨在限定公开主题的参数,但是它们决不是限制性的,而是示例性实施例。在回顾以上描述之后,许多其他实施例对于本领域普通技术人员将是显而易见的。因此,应当参考所附权利要求书以及这些权利要求书所赋予的等效物的全部范围,来确定本文所述主题的范围。在所附权利要求书中,术语“包括”和“在其中”用作相应术语“包含”和“其中”的简明英语等效。此外,在以下权利要求书中,术语“第一”、“第二””和“第三”等仅用作标记,并不旨在对其对象施加数字要求。此外,以下权利要求书的限制不是以装置加功能的形式编写的,也不旨在基于35USC§112(f)进行解释,除非直到这种权利要求限制明确地使用短语“用于……的装置”,之后是没有进一步结构的功能声明。
本书面描述使用实例来公开本发明,包括最佳模式,并且还使任何本领域技术人员能够实践公开主题的实施例,包括制造和使用装置或***,以及执行方法。本主题的可以专利范围由权利要求书限定,并且可以包括本领域技术人员想到的其他实例。如果这些其他实例包括与权利要求的字面语言没有不同的结构元件,或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件,则这些其他实例旨在权利要求的范围内。
本发明的进一步方面通过以下条项的主题提供:
1.一种检查***,包括:成像装置;可见光源;紫外线光源;和一个或多个处理器,所述一个或多个处理器可操作地连接到所述成像装置以及所述可见光源和所述紫外线光源,所述一个或多个处理器被构造成控制所述成像装置使用紫外线光设定来产生工件的第一组图像,在所述工件上具有荧光染料,在所述紫外线光设定中,所述紫外线光源被激活,以便用紫外线光照射所述工件,从而使得所述荧光染料发射光,所述成像装置在相对于所述工件的一个或多个预定位置处产生所述第一组图像,以监测由所述荧光染料发射出的所述光,
其中所述一个或多个处理器被构造成控制所述成像装置使用可见光设定来产生所述工件的第二组图像,在所述可见光设定中,所述可见光源被激活,以便用可见光照射所述工件,所述成像装置通过监测从所述工件反射出的所述可见光,在相对于所述工件的相同的所述一个或多个预定位置处产生所述第二组图像,并且其中所述一个或多个处理器被构造成基于所述第二组图像中所描绘的特征以及所述成像装置的所述一个或多个预定位置,将所述第二组图像映射到所述工件的计算机设计模型,并且所述一个或多个处理器基于所述第一组图像的分析和所述计算机设计模型,确定所述工件上的缺陷的地点。
2.根据任何在前条项的检查***,进一步包括存储器存储装置,其中所述一个或多个处理器被构造成在所述存储器存储装置中记录所述工件上的所述缺陷的所述地点。
3.根据任何在前条项的检查***,其中所述一个或多个处理器被构造成基于所述第一组图像的分析和所述计算机设计模型来确定所述工件上的所述缺陷的大小。
4.根据任何在前条项的检查***,其中所述一个或多个处理器被构造成控制所述可见光源和所述紫外线光源中的每一个的激活和去激活,以提供所述紫外线光设定和所述可见光设定。
5.根据任何在前条项的检查***,其中所述一个或多个处理器进一步被构造成通过测量超出指定阈值强度水平的所述第一组中的一个或多个图像内的光的荧光强度,来分析所述第一组图像,以识别所述第一组图像中的缺陷。
6.根据任何在前条项的检查***,进一步包括机械臂,并且其中响应于接收所述第一组中的至少一个图像内的一个或多个间断地点的识别,所述一个或多个处理器被构造成控制所述机械臂沿着与所述一个或多个间断地点对应的所述工件的一个或多个区,用拭子擦拭所述工件。
7.根据任何在前条项的检查***,其中使用所述紫外线光设定产生的所述第一组图像包括擦拭前图像和擦拭后图像,所述一个或多个处理器控制所述成像装置在所述机械臂擦拭所述工件之前在所述成像装置的第一位置处产生所述擦拭前图像,并且控制所述成像装置在所述机械臂擦拭所述工件之后在所述第一位置处产生所述擦拭后图像,并且其中所述一个或多个处理器通过将所述擦拭后图像与所述擦拭前图像进行比较,来确定所述工件上的所述缺陷的所述地点。
8.根据任何在前条项的检查***,进一步包括在其上安装所述成像装置的机械臂,其中所述一个或多个处理器控制所述机械臂在第一位置和第二位置之间相对于所述工件移动所述成像装置,所述第二位置具有与所述第一位置不同的地点或不同的角度中的至少一个,其中在所述第一位置和所述第二位置中的每个位置处,所述一个或多个处理器控制所述成像装置使用所述紫外线光设定产生所述工件的至少一个图像,并且使用所述可见光设定产生所述工件的至少一个图像。
9.一种方法,包括:使用紫外线光设定来获得工件的第一组图像,在所述工件上具有荧光染料,在所述紫外线光设定中,用紫外线光照射所述工件,以使得所述荧光染料发射光,所述第一组由成像装置在相对于所述工件的一个或多个预定位置处产生,以监测由所述荧光染料发射出的所述光;使用可见光设定来获得所述工件的第二组图像,在所述可见光设定中,通过可见光照射所述工件,所述第二组由所述成像装置通过监测从所述工件反射出的所述可见光在相对于所述工件的相同的所述一个或多个预定位置处产生;基于所述第二组图像中所描绘的特征以及所述成像装置的所述一个或多个预定位置,将所述第二组图像映射到所述工件的计算机设计模型;和基于所述第一组图像的分析和所述计算机设计模型,确定所述工件上的缺陷的地点。
10.根据任何在前条项的方法,进一步包括将所述工件上的所述缺陷的所述地点的记录保存在存储器存储装置中。
11.根据任何在前条项的方法,进一步包括在显示所述缺陷的所述计算机设计模型上构建所述工件的三维特征图。
12.根据任何在前条项的方法,其中所述成像装置相对于所述工件的所述一个或多个预定位置包括所述成像装置的第一位置和所述成像装置的第二位置,在所述第二位置的所述成像装置相比所述第一位置具有相对于所述成像装置的不同地点或不同角度中的至少一个,其中所述第一组图像和所述第二组图像中的每一个包括由所述成像装置在所述第一位置处产生的至少一个图像以及由所述成像装置在所述第二位置处产生的至少一个图像。
13.根据任何在前条项的方法,其中获得所述第一组图像和获得所述第二组图像包括控制机械臂在所述第一位置和所述第二位置之间相对于所述工件移动所述成像装置。
14.根据任何在前条项的方法,进一步包括响应于接收所述第一组中的至少一个图像内的一个或多个间断地点的识别,控制机械臂沿着与所述一个或多个间断地点对应的所述工件的一个或多个区,擦拭所述工件。
15.根据任何在前条项的方法,其中使用所述紫外线光设定产生的所述第一组图像包括擦拭前图像和擦拭后图像,所述成像装置在所述机械臂被控制以擦拭所述工件之前在所述一个或多个预定位置中的第一位置处产生所述擦拭前图像,所述成像装置在所述机械臂擦拭所述工件之后在所述第一位置处产生所述擦拭后图像,并且其中分析所述第一组图像以确定所述工件上的所述缺陷的所述地点包括将所述擦拭后图像与所述擦拭前图像进行比较。
16.根据任何在前条项的方法,其中通过经由一个或多个处理器进行图像分析,将所述第二组图像映射到所述工件的所述计算机设计模型,以使所述第二组图像内的特征与所述计算机设计模型中的对应特征匹配。
17.根据任何在前条项的方法,进一步包括经由一个或多个处理器分析所述第一组图像,以通过测量超出指定阈值强度水平的所述第一组中的一个或多个图像内的光的荧光强度,来识别第一组图像中的所述缺陷。
18.根据任何在前条项的方法,进一步包括激活紫外线光源并且去激活可见光源以经由所述成像装置产生所述第一组图像,以及去激活所述紫外线光源并且激活所述可见光源以经由所述成像装置产生所述第二组图像。
19.一种方法,包括:获得工件的第一图像,在所述工件上具有荧光染料,使用紫外线光设定通过相对于所述工件设置在第一位置处的成像装置产生所述第一图像,在所述紫外线光设定中,用紫外线光照射所述工件,以使得所述荧光染料发射光;获得所述工件的第二图像,使用可见光设定通过设置在所述第一位置处的所述成像装置产生所述工件的所述第二图像,在所述可见光设定中,所述工件被可见光照射;将所述第二图像映射到所述工件的计算机设计模型;响应于接收所述第一图像中的一个或多个间断地点的识别,基于所述计算机设计模型,控制机械臂沿着与所述第一图像中的所述一个或多个间断地点对应的所述工件的一个或多个区,擦拭所述工件;获得所述工件的第三图像,在所述机械臂擦拭所述工件之后,使用所述紫外线光设定通过设置在所述第一位置处的所述成像装置产生所述工件的所述第三图像;和基于所述第一图像中的所述一个或多个间断地点与所述第三图像中的对应位置之间的比较,识别所述工件上的缺陷。
20.根据任何在前条项的方法,进一步包括获得所述工件的第四图像,以及响应于识别所述工件上的所述缺陷,基于所述第三图像的分析和所述计算机设计模型,确定相对于所述工件的所述缺陷的大小和所述缺陷的地点,其中在所述机械臂擦拭所述工件之后,使用所述可见光设定通过设置在所述第一位置处的所述成像装置产生所述工件的所述第四图像。

Claims (10)

1.一种检查***,其特征在于,包括:
成像装置;
可见光源;
紫外线光源;和
一个或多个处理器,所述一个或多个处理器可操作地连接到所述成像装置以及所述可见光源和所述紫外线光源,所述一个或多个处理器被构造成控制所述成像装置使用紫外线光设定来产生工件的第一组图像,在所述工件上具有荧光染料,在所述紫外线光设定中,所述紫外线光源被激活,以便用紫外线光照射所述工件,从而使得所述荧光染料发射光,所述成像装置在相对于所述工件的一个或多个预定位置处产生所述第一组图像,以监测由所述荧光染料发射出的所述光,
其中所述一个或多个处理器被构造成控制所述成像装置使用可见光设定来产生所述工件的第二组图像,在所述可见光设定中,所述可见光源被激活,以便用可见光照射所述工件,所述成像装置通过监测从所述工件反射出的所述可见光,在相对于所述工件的相同的所述一个或多个预定位置处产生所述第二组图像,并且
其中所述一个或多个处理器被构造成基于所述第二组图像中所描绘的特征以及所述成像装置的所述一个或多个预定位置,将所述第二组图像映射到所述工件的计算机设计模型,并且所述一个或多个处理器基于所述第一组图像的分析和所述计算机设计模型,确定所述工件上的缺陷的地点。
2.根据权利要求1所述的检查***,其特征在于,进一步包括存储器存储装置,其中所述一个或多个处理器被构造成在所述存储器存储装置中记录所述工件上的所述缺陷的所述地点。
3.根据权利要求1所述的检查***,其特征在于,其中所述一个或多个处理器被构造成基于所述第一组图像的分析和所述计算机设计模型来确定所述工件上的所述缺陷的大小。
4.根据权利要求1所述的检查***,其特征在于,其中所述一个或多个处理器被构造成控制所述可见光源和所述紫外线光源中的每一个的激活和去激活,以提供所述紫外线光设定和所述可见光设定。
5.根据权利要求1所述的检查***,其特征在于,其中所述一个或多个处理器进一步被构造成通过测量超出指定阈值强度水平的所述第一组中的一个或多个图像内的光的荧光强度,来分析所述第一组图像,以识别所述第一组图像中的缺陷。
6.根据权利要求1所述的检查***,其特征在于,进一步包括机械臂,并且其中响应于接收所述第一组中的至少一个图像内的一个或多个间断地点的识别,所述一个或多个处理器被构造成控制所述机械臂沿着与所述一个或多个间断地点对应的所述工件的一个或多个区,用拭子擦拭所述工件。
7.根据权利要求6所述的检查***,其特征在于,其中使用所述紫外线光设定产生的所述第一组图像包括擦拭前图像和擦拭后图像,所述一个或多个处理器控制所述成像装置在所述机械臂擦拭所述工件之前在所述成像装置的第一位置处产生所述擦拭前图像,并且控制所述成像装置在所述机械臂擦拭所述工件之后在所述第一位置处产生所述擦拭后图像,并且
其中所述一个或多个处理器通过将所述擦拭后图像与所述擦拭前图像进行比较,来确定所述工件上的所述缺陷的所述地点。
8.根据权利要求1所述的检查***,其特征在于,进一步包括在其上安装所述成像装置的机械臂,其中所述一个或多个处理器控制所述机械臂在第一位置和第二位置之间相对于所述工件移动所述成像装置,所述第二位置具有与所述第一位置不同的地点或不同的角度中的至少一个,其中在所述第一位置和所述第二位置中的每个位置处,所述一个或多个处理器控制所述成像装置使用所述紫外线光设定产生所述工件的至少一个图像,并且使用所述可见光设定产生所述工件的至少一个图像。
9.一种方法,其特征在于,包括:
使用紫外线光设定来获得工件的第一组图像,在所述工件上具有荧光染料,在所述紫外线光设定中,用紫外线光照射所述工件,以使得所述荧光染料发射光,所述第一组由成像装置在相对于所述工件的一个或多个预定位置处产生,以监测由所述荧光染料发射出的所述光;
使用可见光设定来获得所述工件的第二组图像,在所述可见光设定中,通过可见光照射所述工件,所述第二组由所述成像装置通过监测从所述工件反射出的所述可见光在相对于所述工件的相同的所述一个或多个预定位置处产生;
基于所述第二组图像中所描绘的特征以及所述成像装置的所述一个或多个预定位置,将所述第二组图像映射到所述工件的计算机设计模型;和
基于所述第一组图像的分析和所述计算机设计模型,确定所述工件上的缺陷的地点。
10.根据权利要求9所述的方法,其特征在于,进一步包括将所述工件上的所述缺陷的所述地点的记录保存在存储器存储装置中。
CN201911172646.7A 2018-11-27 2019-11-26 荧光渗透检查***和方法 Pending CN111220581A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/201,322 US10746667B2 (en) 2018-11-27 2018-11-27 Fluorescent penetrant inspection system and method
US16/201,322 2018-11-27

Publications (1)

Publication Number Publication Date
CN111220581A true CN111220581A (zh) 2020-06-02

Family

ID=68426176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911172646.7A Pending CN111220581A (zh) 2018-11-27 2019-11-26 荧光渗透检查***和方法

Country Status (4)

Country Link
US (1) US10746667B2 (zh)
EP (1) EP3660493A3 (zh)
CN (1) CN111220581A (zh)
CA (1) CA3061262C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812110A (zh) * 2020-08-06 2020-10-23 东方蓝天钛金科技有限公司 一种荧光渗透探伤视觉识别***
CN112378925A (zh) * 2020-09-24 2021-02-19 宁波市鄞州世纪耀达市政建设有限公司 一种基于cctv的管道检测方法
CN114324131A (zh) * 2021-12-21 2022-04-12 安徽神剑新材料股份有限公司 粉末涂料涂层耐化学腐蚀性能检测擦拭装置及其擦拭方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3095069B1 (fr) * 2019-04-15 2022-01-07 Jtekt Europe Sas Procédé de contrôle de conformité d’une pièce mécanique d’un véhicule
US20210407070A1 (en) * 2020-06-26 2021-12-30 Illinois Tool Works Inc. Methods and systems for non-destructive testing (ndt) with trained artificial intelligence based processing
TWI801805B (zh) * 2021-02-02 2023-05-11 伍隆國際有限公司 塗裝系統及其運用方法
US11635346B1 (en) 2022-02-01 2023-04-25 General Electric Company Bearing element inspection system and method
DE102022207687A1 (de) * 2022-07-27 2024-02-01 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zur Inspektion eines Bauteils, computerimplementiertes Verfahren und Lithografiesystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017377A (ja) * 2005-07-11 2007-01-25 Ishikawajima Harima Heavy Ind Co Ltd 蛍光探傷装置および蛍光探傷方法
JP2012083285A (ja) * 2010-10-14 2012-04-26 Daido Steel Co Ltd 外観検査方法および外観検査装置
WO2014184337A1 (en) * 2013-05-17 2014-11-20 Nanomex Limited An optical inspection system
US10054552B1 (en) * 2017-09-27 2018-08-21 United Technologies Corporation System and method for automated fluorescent penetrant inspection
US10060857B1 (en) * 2017-11-16 2018-08-28 General Electric Company Robotic feature mapping and motion control

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US54552A (en) * 1866-05-08 Improved cupola-furnace
US2259400A (en) * 1938-08-17 1941-10-14 Robert C Switzer Flaw detection
US3114039A (en) * 1960-08-31 1963-12-10 Switzer Brothers Inc Self-developing penetrant method of flaw detection and penetrant therefor
US3547827A (en) * 1961-10-12 1970-12-15 Day Glo Color Corp Compositions for non-visible penetrant methods of flaw detection
US3341010A (en) * 1961-10-12 1967-09-12 Switzer Brothers Inc Non-visible penetrant methods of flaw detection and apparatus therefor
US3708665A (en) * 1971-05-03 1973-01-02 Magnaflux Corp Method and composition for non-destructive analysis using red laser beams
FR2711426B1 (fr) * 1993-10-20 1995-12-01 Snecma Procédé et dispositif pour caractériser, optimiser et contrôler automatiquement une méthode d'analyse par ressuage.
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6195891B1 (en) * 1999-04-26 2001-03-06 Ge Aviation Service Operation Method for identification and repair of indications in hardware
US6633378B2 (en) * 1999-08-31 2003-10-14 Lotis Tech, Llc Scanning system
EP1096249B1 (en) * 1999-10-26 2013-05-01 Hitachi-GE Nuclear Energy, Ltd. Nondestructive flaw inspection method and apparatus
JP2002236100A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 非破壊検査方法およびその装置
US6701615B2 (en) 2002-03-08 2004-03-09 General Electric Company Inspection and sorting system and method for part repair
US6996790B2 (en) * 2003-01-30 2006-02-07 Synopsys, Inc. System and method for generating a two-dimensional yield map for a full layout
US7593565B2 (en) * 2004-12-08 2009-09-22 Rudolph Technologies, Inc. All surface data for use in substrate inspection
US20060186260A1 (en) 2005-02-18 2006-08-24 American Airlines, Inc. Method of inspecting aircraft
US8233200B2 (en) * 2005-03-14 2012-07-31 Gtech Corporation Curvature correction and image processing
JP4618501B2 (ja) 2005-07-11 2011-01-26 株式会社Ihi 蛍光探傷装置および蛍光探傷方法
US7689003B2 (en) * 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
FR2940449A1 (fr) 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
US9020878B2 (en) 2011-03-09 2015-04-28 Rolls-Royce Corporation Intelligent airfoil component surface inspection
KR101856533B1 (ko) 2011-03-28 2018-05-14 삼성전자주식회사 발광소자 검사 장치 및 그 검사 방법
CN202471613U (zh) 2012-03-16 2012-10-03 苏州春兴精工股份有限公司 一种航空荧光渗透检测***
US9792836B2 (en) * 2012-10-30 2017-10-17 Truinject Corp. Injection training apparatus using 3D position sensor
US8983172B2 (en) * 2012-12-28 2015-03-17 Modern Technology Solutions, Inc. Visual inspection apparatus, secure one-way data transfer device and methods therefor
FR3015744B1 (fr) * 2013-12-24 2017-05-05 Commissariat Energie Atomique Procede de traitement d'un modele volumique, produit programme d'ordinateur et systeme de traitement associes
US9921132B2 (en) 2014-01-03 2018-03-20 Bell Helicopter Textron Inc. Automated magnetic particle and fluorescent penetrant defect detection system
KR20220103199A (ko) * 2014-12-05 2022-07-21 케이엘에이 코포레이션 워크 피스들에서의 결함 검출을 위한 장치, 방법 및 컴퓨터 프로그램 제품
CN106328228B (zh) 2015-07-10 2018-02-13 中核武汉核电运行技术股份有限公司 一种传热管密封焊遥控自动渗透检查装置
US10082387B2 (en) 2016-03-09 2018-09-25 UbiQD, Inc. Fluorescent liquid penetrants and methods of nondestructive testing
US10753884B2 (en) 2016-06-14 2020-08-25 Rolls-Royce Corporation Nondestructive inspection of composite materials
CN206696197U (zh) 2017-04-06 2017-12-01 天津飞悦航空零部件表面处理有限公司 一种智能化的航空荧光渗透检测***
CN109387518B (zh) * 2017-08-02 2022-06-17 上海微电子装备(集团)股份有限公司 自动光学检测方法
EP3525457B1 (en) * 2018-02-07 2023-12-13 Nintendo Co., Ltd. Method and apparatus for compensating the colorimetry of a projected image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017377A (ja) * 2005-07-11 2007-01-25 Ishikawajima Harima Heavy Ind Co Ltd 蛍光探傷装置および蛍光探傷方法
JP2012083285A (ja) * 2010-10-14 2012-04-26 Daido Steel Co Ltd 外観検査方法および外観検査装置
WO2014184337A1 (en) * 2013-05-17 2014-11-20 Nanomex Limited An optical inspection system
US10054552B1 (en) * 2017-09-27 2018-08-21 United Technologies Corporation System and method for automated fluorescent penetrant inspection
US10060857B1 (en) * 2017-11-16 2018-08-28 General Electric Company Robotic feature mapping and motion control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂杰 等: "《机械设备维修技术》", 中国铁道出版社, pages: 20 - 22 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812110A (zh) * 2020-08-06 2020-10-23 东方蓝天钛金科技有限公司 一种荧光渗透探伤视觉识别***
CN112378925A (zh) * 2020-09-24 2021-02-19 宁波市鄞州世纪耀达市政建设有限公司 一种基于cctv的管道检测方法
CN114324131A (zh) * 2021-12-21 2022-04-12 安徽神剑新材料股份有限公司 粉末涂料涂层耐化学腐蚀性能检测擦拭装置及其擦拭方法

Also Published As

Publication number Publication date
US10746667B2 (en) 2020-08-18
EP3660493A3 (en) 2020-06-10
EP3660493A2 (en) 2020-06-03
US20200166467A1 (en) 2020-05-28
CA3061262A1 (en) 2020-05-27
CA3061262C (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CA3062051C (en) Fluorescent penetrant inspection system and method
CA3061262C (en) Fluorescent penetrant inspection system and method
CN111272763B (zh) 用于工件检查的***和方法
JP5676387B2 (ja) 外観検査方法及びその装置
JP5218723B2 (ja) 蛍光探傷方法および蛍光探傷装置
EP1995553B1 (en) System and method for identifying a feature of a workpiece
JP7302599B2 (ja) 欠陥判別方法、欠陥判別装置、欠陥判別プログラム及び記録媒体
JPWO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
CN110231352B (zh) 图像检查装置、图像检查方法以及图像检查记录介质
US20140064599A1 (en) Method of Automatic Optical Inspection for Detection of Macro Defects of Sub-Pixel Defect Size in Pattern Wafers and Non-Pattern Wafers
JP7514259B2 (ja) カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JP6040215B2 (ja) 検査方法
TWI558999B (zh) 瑕疵檢測方法及其裝置
JP2019215240A (ja) 外観検査装置の教師画像生成方法
JP2023137057A (ja) 欠陥予測モデルの生成方法、びん外観検査方法、およびびん外観検査装置
Shreya et al. Design of machine vision system for high speed manufacturing environments
JP2019070545A (ja) 表面検査装置および表面検査方法
JP6263519B2 (ja) 内面検査装置
WO2024034210A1 (ja) 計測システム及び方法並びに部品再生システム及び方法
JP2018059883A (ja) 表面検査装置及び表面検査方法
JPH0829143A (ja) 表面状態検査方法及びその装置
CN118348029A (zh) 一种发光芯片的表面缺陷检测方法及装置
CN115668292A (zh) 基于有效区域覆盖的缺陷检测的优化路径规划

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination