CN110231346A - 图像检查装置、图像检查方法以及图像检查程序 - Google Patents

图像检查装置、图像检查方法以及图像检查程序 Download PDF

Info

Publication number
CN110231346A
CN110231346A CN201811503408.5A CN201811503408A CN110231346A CN 110231346 A CN110231346 A CN 110231346A CN 201811503408 A CN201811503408 A CN 201811503408A CN 110231346 A CN110231346 A CN 110231346A
Authority
CN
China
Prior art keywords
image
inspection object
defect
shooting condition
defect candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811503408.5A
Other languages
English (en)
Inventor
稲积伸悟
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110231346A publication Critical patent/CN110231346A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37208—Vision, visual inspection of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种图像检查装置、图像检查方法以及图像检查程序。图像检查装置包括：一个以上的拍摄部，拍摄检查对象物；照明部，对检查对象物照射光；拍摄条件的控制部，包含移动部，所述移动部用于使拍摄部、检查对象物、照明部中的至少两个的相对位置关系发生变化；搜索部，对拍摄部在第1拍摄条件下拍摄的图像进行分析，并从检查对象物中搜索缺陷候补；以及判定部，对拍摄部所拍摄的图像进行分析，并判定检查对象物的缺陷有无。在从检查对象物找出缺陷候补时，控制部对拍摄条件进行控制，以在比第1拍摄条件清晰的第2拍摄条件下拍出搜索部找出缺陷候补的部位，判定部对拍摄部在第2拍摄条件下拍摄的图像进行分析，以判定检查对象物的缺陷有无。

Description

图像检查装置、图像检查方法以及图像检查程序
技术领域
本发明涉及一种图像检查装置、图像检查方法以及图像检查程序(program)。
背景技术
近年来，为了生产线上检查的自动化和节省人力，广泛采用了利用图像来进行产品的外观检查的图像检查装置(例如参照专利文献1)。外观检查的种类或方法有各种各样，但基本结构是：利用内置有图像传感器(sensor)的拍摄装置来拍摄检查对象物，从所获得的图像中提取作为检查区域的部分，对此检查区域的部分的图像的特征进行分析/评价，由此来进行目标检查(例如良/不良的判定、区分、信息获取等)。
此种图像检查装置中，在对检查对象物的外观进行检查时，必须从各种方向拍摄检查对象物。而且，近年来，由于强烈需要在多种类少量生产中提高生产效率，因此对于在生产线上流动的检查对象物中进行拍摄的部位，也要求根据检查对象物的形状等来适当变更。因此，最近，为了使此种外观检查成为可能，在检查对象物的拍摄中，正尝试根据检查对象物的形状等而利用机械臂(robot arm)来调整拍摄装置的位置或方向。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2013-191064号公报
发明内容
[发明所要解决的问题]
在用于图像检查的拍摄装置被固定的情况下，在生产线上流动的检查对象物上能够拍摄的部位自然已确定。因而，在图像检查中检查对象物的拍摄所需的时间基本上不变。另一方面，在利用安装于机械臂的拍摄装置，来进行在生产线上流动的检查对象物的拍摄的情况下，拍摄所需的时间会根据机械臂的动作速度或拍摄装置的移动次数而变动。因此，若使安装于机械臂的拍摄装置高效地移动而进行拍摄，则与使用固定的拍摄装置来拍摄检查对象物的情况相比，有可能既能应对多种类少量生产且也能缩短检查对象物的拍摄所需的时间。然而，在检查对象物上，除了无法修复的划痕等缺陷以外，例如还存在简单的异物附着等可容易去除者，因此在生产线上的图像检查中，需要通过图像分析来判别映照在图像上的缺陷的种类。要进行此种图像分析，必须使用高分辨率的图像，因此若想要利用安装于机械臂的拍摄装置来到处进行检查对象物的外观图像分析，则可预计到拍摄装置的移动次数的增大或图像分析所需的运算处理的增大。
因此，本申请揭示一种技术，既能应对多种类少量生产，又能进一步缩短图像检查所需的时间。
[解决问题的技术手段]
为了解决所述问题，本发明中，当对在第1拍摄条件下拍摄的图像进行分析而找出缺陷候补时，对在比第1拍摄条件清晰的第2拍摄条件下拍摄找出缺陷候补的部位所得的图像进行分析，以判定缺陷的有无。
详细而言，本发明提供一种图像检查装置，利用图像来对检查对象物进行检查。所述图像检查装置包括：一个以上的拍摄部，拍摄所述检查对象物；照明部，对所述检查对象物照射光；拍摄条件的控制部，包含移动部，所述移动部用于针对所述拍摄部、所述检查对象物、所述照明部中的至少两个，使彼此的相对位置关系发生变化；搜索部，对所述拍摄部在第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物中搜索缺陷候补；以及判定部，对所述拍摄部所拍摄的图像进行分析，并判定所述检查对象物的缺陷有无，在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以在比所述第1拍摄条件清晰的第2拍摄条件下拍摄所述搜索部找出缺陷候补的部位，所述判定部对所述拍摄部在所述第2拍摄条件下拍摄的图像进行分析，并判定所述检查对象物的缺陷有无。
此处，所谓检查对象物，是指成为图像检查装置的图像检查对象的物体。所述检查对象物的示例可包括在生产线上生产的工业产品、从市场回收的工业产品、工业产品的零件、收获的农产品或捕获的渔业产品、及其他的各种物体。
而且，所谓拍摄条件，是指在由拍摄部所拍摄的检查对象物的图像的分析中，可能对所述检查对象物的缺陷有无判定造成影响的条件。可能影响被检查对象物的拍摄条件的示例包括检查对象物与拍摄部的相对距离或方向、拍摄部所具备的拍摄元件的设定状态、拍摄部所具备的透镜的状态、及其他有可能对检查对象物的拍摄条件造成影响的各种条件。例如，在检查对象物存在缺陷的情况下，随着所述缺陷所处的部位与拍摄部的相对距离靠近，所述缺陷会在图像上显得较大，因此所述缺陷将清晰地显现在图像上，在图像检查中误判定所述缺陷有无的可能性下降。
而且，所谓缺陷候补，是指在第1拍摄条件下拍摄的检查对象物的图像中，存在缺陷可能性者，例如，并非是指因图像检查后的经时性变化而将来可能成为缺陷者的概念。
在所述图像检查装置中，首先，进行怀疑有缺陷存在的缺陷候补的搜索。当找出缺陷候补时，进行找出缺陷候补的部位的缺陷有无的判定。缺陷候补的搜索是比缺陷的有无判定更简便的处理，因此分析图像不要求高度的计算能力。并且，在所述图像检查装置中，对于未找出缺陷候补的部位，省略了要求比缺陷候补搜索高度的计算能力的缺陷有无判定。因此与遍及整个检查对象物来进行缺陷有无判定的情况相比，能够缩短检查对象物的图像检查所需的时间。
另外，所述搜索部也可对所述拍摄部以第1分辨率拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补，在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部变更所述拍摄部相对于所述检查对象物的相对位置、或所述拍摄部的视野，以利用分辨率比所述第1分辨率高的第2分辨率来拍出所述搜索部找出缺陷候补的部位。
此处，所谓分辨率，是指定量地表示拍摄部所拍摄的图像中的检查对象物的图像的精细度的参数，例如所述分辨率会根据拍摄部所具有的拍摄元件自身的像素数、检查对象物与拍摄部的相对距离或方向、拍摄部所具备的透镜的状态、及其他各种条件而变化。
若找出缺陷候补的部位是以分辨率比第1分辨率高的第2分辨率而拍出，则在缺陷的判定中，便能够根据所述第2分辨率的图像来确定缺陷的形状等，因此能够准确地判定缺陷。
而且，所述搜索部也可对通过所述控制部将所述拍摄部移动到第1位置而以所述第1分辨率拍出的所述检查对象物的图像进行分析，并从所述检查对象物搜索缺陷候补，当在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部使所述拍摄部的位置移动到比所述第1位置更靠近所述检查对象物的第2位置，以利用所述第2分辨率来拍出所述搜索部找出缺陷候补的部位。
此处，所谓第1位置，是指拍摄部相对于检查对象物的相对位置关系，是所述第1拍摄条件的一例。而且，所谓第2位置，是指拍摄部相对于检查对象物的相对位置关系、且比拍摄部在第1位置拍摄检查对象物时更清晰地拍出缺陷候补部位的位置关系，是所述第2拍摄条件的一例。
若拍摄部在第2位置(第2位置是获得用于让判定部确定缺陷是否存在的图像时的位置关系)比第1位置(第1位置是获得用于搜索部搜索缺陷候补的图像时的位置关系)更为接近检查对象物，因为在第2位置捕获的图像比在第1位置捕获的图像更清楚地拍摄缺陷候补的部位，所以能够更准确地判定缺陷。
而且，所述搜索部也可在从所述检查对象物找出缺陷候补时，算出包含所述缺陷候补的位置的所述缺陷候补的特征量。在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部基于所述搜索部所算出的所述特征量，来变更所述拍摄部的光轴与所述检查对象物的相对角度、所述照明部与所述检查对象物的相对位置、所述照明部的光轴与所述检查对象物的相对角度中的至少一个，以在所述第2拍摄条件下拍出所述搜索部找出缺陷候补的部位。
此处，所谓缺陷候补的特征量，是指在第1拍摄条件下拍摄的图像中，定量地表示与所述缺陷候补相关的特征的值，例如包含缺陷候补的位置。此种特征量例如可根据相对于拍出无缺陷的良品检查对象物的基准图像的差异而获得。只要从在第1拍摄条件下拍摄的图像中获取此种特征量，便可适当地判定第2拍摄条件下的拍摄部、照明部与检查对象物的相对位置关系。
而且，所述搜索部也可对第1拍摄部在所述第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补。在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以使所述搜索部找出缺陷候补的部位在所述第2拍摄条件下在与所述第1拍摄部不同的第2拍摄部的图像中拍出。如果在第2拍摄条件下对检查对象物拍摄图像的拍摄部与在第1拍摄条件下对检查对象物拍摄图像的拍摄部是分开准备的，检查能够进一步加快。
而且，在所述搜索部从所述检查对象物找出多个缺陷候补时，所述控制部对拍摄条件进行控制，以从所述搜索部找出的多个缺陷候补中的表示缺陷程度的值大的候补部位开始优先地以所述第2拍摄条件而拍出。
此处，所谓表示缺陷程度的值，是指在以第1拍摄条件而拍摄的图像中，定量地表示所述缺陷候补为缺陷的可能性大小的值，例如可根据相对于拍出无缺陷的良品检查对象物的基准图像的差异而获得。若从表示缺陷程度的值大的候补部位开始优先地以第2拍摄条件进行拍摄，并进行使用此图像的缺陷判定，因为从为缺陷的可能性高的部位开始优先地进行缺陷判定，所以可高效地进行缺陷有无判定。
而且，在拍出所述搜索部找出的多个缺陷候补中的至少任一个的图像中存在缺陷时，所述判定部省略拍出其他缺陷候补的图像的分析。若在认定检查对象物中存在至少一个缺陷时，可省略其他缺陷候补部位的分析，则能够迅速地完成所述检查对象物的检查。
而且，本发明也能够从方法以及程序方面来理解。例如，本发明提供一种图像检查方法，利用图像来对检查对象物进行检查。所述图像检查方法包括：搜索工序，对拍摄所述检查对象物的拍摄部在第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物中搜索缺陷候补；控制工序，当在所述搜索工序中从所述检查对象物中找出缺陷候补时，包含移动部的、拍摄条件的控制部对拍摄条件进行控制，以在比所述第1拍摄条件清晰的第2拍摄条件下拍出在所述搜索工序中找出缺陷候补的部位，所述移动部用于针对所述拍摄部、所述检查对象物、对所述检查对象物照射光的照明部中的至少两个，使彼此的相对位置关系发生变化；以及判定工序，对所述拍摄部在所述第2拍摄条件下拍摄的图像进行分析，并判定所述检查对象物的缺陷有无。
[发明的效果]
利用所述图像检查装置、图像检查方法以及图像检查程序，既能应对多种类少量生产，也能进一步缩短图像检查所需的时间。
附图说明
图1是示出由根据实施例的图像检查装置实现的操作的一例的示意图。
图2是表示图像检查装置的整体结构的一例的图。
图3是表示在图像检查装置中实现的处理流程的一例的图。
图4是表示摄像机、照明与缺陷的位置关系的一例的图。
图5是表示缺陷的一例的图。
具体实施方式
＜适用例＞
图1是示出由根据实施例的图像检查装置1实现的操作的一例的示意图。如图1所示，图像检查装置1包括摄像机2(为本申请中所述的“拍摄部”的一例)与机械臂3(为本申请中所述的“移动部”的一例)，以作为主要结构。摄像机2获取用于检查对象物4的检查的图像。机械臂(robot arm)3是在臂的前端安装有摄像机2的工业用机械臂，且机械臂3根据从控制装置(未示出)发送的控制信号而运行。因此，通过操作机械臂3，摄像机2能够相对于检查对象物4相对移动到适当的位置。另外，照亮检查对象物4的照明可与摄像机2一体化，或者，照亮检查对象物4的照明可与摄像机2分开地安装于机械臂3的前端。
通过摄像机2拍摄检查对象物4的图像而获得的图像数据被送往设置在图像检查装置1中的图像处理单元(未示出)。在图像处理单元中，使用从摄像机2发送的图像数据来进行检查对象物4的图像分析。通过图像处理单元进行了缺陷6的有无确认的检查对象物4被送往下个工序。通过图像处理单元来进行有无确认的缺陷6的示例包括因物品与检查对象物4的碰撞而产生的凹痕等凹凸状的缺陷、因涂装等表面处理中的缺陷而产生的色彩缺陷、异物的附着、及其他各种缺陷。缺陷6的这些示例中的一些易于处理而其他缺陷是不可修复的。例如，若在使用图像对检查对象物4的外观检查中检测出的缺陷6是单纯的异物附着，能够通过去除所述异物而消除缺陷6。因而，由图像检查装置1进行了检查的检查对象物4的送达目的地可根据缺陷6的有无或缺陷6的种类来切换。
在以此方式构成的图像检查装置1中，举例来说，检查对象物4的图像是在利用机械臂3将摄像机2配置在检查对象物4整体进入摄像机2的视野5的位置的状态下被拍摄。并且，当在检查对象物4整体进入摄像机2的视野5的位置所拍摄的图像中找出怀疑有缺陷6存在的缺陷候补7时，通过机械臂3来移动摄像机2，并再次拍摄缺陷候补7的部位，以更清晰地拍出缺陷候补7的部位。然后，图像检查装置1利用拍出缺陷候补7的部位的图像来进行检查，以及进行缺陷6的有无判定。
缺陷6包括如上所述的各种形态。因而，在判定缺陷6的有无的处理中，必须使用图像中拍出的缺陷6的形状或颜色、纹理(texture)、凹凸等三维形状之类的各种特征来进行图像分析。因此，在判定缺陷6的有无的处理中，拍出缺陷6的图像需要有足够的分辨率，以提取缺陷6的形状等特征。而且，为了在此分辨率分析图像，需要高度的计算能力。因此，若要遍及整个检查对象物4来进行缺陷6的有无判定，为了获得能够提取缺陷6的形状等特征的足够分辨率的图像，需要在各种视点拍摄检查对象物4的多个图像。而且，为了对所有这些图像进行分析，需要巨大的计算能力。
在这方面，在本实施方式的图像检查装置1中，如上所述，首先，进行怀疑有缺陷6存在的缺陷候补7的搜索。当找出缺陷候补7时，进行找出缺陷候补7的部位的、缺陷6的有无判定。由于对于缺陷候补7的搜索不需要提取缺陷6的形状等特征，因此分辨率比用于缺陷6的有无判定的图像低，且不需要分析图像的高度计算能力。并且，在图像检查装置1中，对于未找出缺陷候补7的部位，省略分辨率比缺陷候补7的搜索高而要求高度计算能力的缺陷6的有无判定。因此，与遍及整个检查对象物4来进行缺陷6的有无判定的情况相比，能够缩短检查对象物4的图像检查所需的时间。
另外，图像检查装置1可利用例如拍出检查对象物4的一部分的图像来进行缺陷候补7的搜索，而不利用摄像机2处于检查对象物4整体进入视野的位置而拍摄的图像进行缺陷候补7的搜索。而且，图像检查装置1对于利用拍出缺陷候补7的部位的图像来进行的缺陷6的有无判定，可利用例如通过摄像机2的视野变更而更清晰地拍出的图像来进行，而非利用通过机械臂3移动摄像机2而更清晰地拍出的图像来进行的缺陷6的有无判定。
在图像检查装置1中，举例来说，能够使用相移法或其他各种三维测量法。图像检查装置1例如能够用作生产汽车或其他各种工业产品的生产线上所用的工厂自动化(Factory Automation，FA)机器之一。
＜实施方式＞
以下，详细说明图像检查装置1。图2是表示图像检查装置1的整体结构的一例的图。图像检查装置1除了所述摄像机2与机械臂3以外，还包括负责处理从摄像机2发送的图像数据的图像处理单元8、负责控制摄像机2及机械臂3的PLC(可编程逻辑控制器(Programmable Logic Controller)；为本申请中所述的“控制部”的一例)9、以及按照PLC9的命令来操作机械臂3的机器人控制器(robot controller)10。图像处理单元8例如可以是具有中央处理器(Central Processing Unit，CPU)、存储器(memory)、辅助存储装置(如硬盘驱动器(hard disk drive)或固态硬盘(solid state drive)等)、输入装置(如键盘(keyboard)、鼠标(mouse)、触控面板(touch panel)等)的通用计算机(computer)或是图像处理专用的装置。PLC 9与机器人控制器10也同样适用。
摄像机2具有将m×n个受光元件排列成矩阵(matrix)状的拍摄元件，且摄像机2是将彩色(color)或单色(monochrome)，静态图像或动态图像导入图像处理单元8中的设备(device)。但是，在将可见光图像以外的特殊图像(如X射线图像、热(thermal)图像等)用于检查时，可使用适用此图像的传感器。
摄像机2设置有照明2L。照明2L是照亮检查对象物4的照明部件。照明2L例如可为具有单个光源的照明部件，或者可为具有多个光源的照明部件，所述多个光源能够分别以任意的强度来发出不同波长的照明光(红色光、绿色光、蓝色光)。所述单个光源或多个光源的每一个可发出各种波长的光，如可见光、紫外光、红外光等，或者也可发出特定波长的光。而且，照明2L可为照射不具有形状图形(pattern)的光的照明部件，或者也可为照射具有规定形状的图形的光的照明部件。
机械臂3是所谓的多关节机器人，且机械臂3包括经由第1关节3K1而连结于底座(base)3B的第1臂3A1、及经由第2关节3K2而连结于第1臂3A1的前端部的第2臂3A2。摄像机2与照明2L经由第3关节3K3而设于第2臂3A2的前端。在机械臂3中内置有用于使各臂以各关节的轴为中心而转动的马达(motor)等驱动机构，且驱动机构根据从机器人控制器10发送的命令来动作。
在图像处理单元8中，通过CPU执行在存储器中开发的计算机程序(为本申请中所述的“图像检查程序”的一例)，从而实现搜索部8A(为本申请中所述的“搜索部”的一例)及判定部8B(为本申请中所述的“判定部”的一例)。搜索部8A主要负责对摄像机2所拍摄的检查对象物4的图像进行分析的图像分析，以及从检查对象物4中搜索缺陷候补7的图像分析。判定部8B主要负责对摄像机2所拍摄的检查对象物4的图像进行分析的处理，以及判定检查对象物4的缺陷6的有无的处理。
在图像检查装置1中设有操作单元11、显示单元12及搬送单元13。操作单元11是配置在操作图像检查装置1的作业员(operator)便于操作的适当的地方的输入装置，且操作单元11受理作业员对图像检查装置1进行的各种操作。操作单元11可为与显示单元12一体的触控面板，也可为一般用于通用计算机的键盘，或者还可为专用设计的输入装置。显示单元12配置在操作图像检查装置1的作业员便于观察的适当的地方的显示装置，且显示单元12显示图像检查装置1的各部的状态、由摄像机2所获取的图像、由图像处理单元8所找出的缺陷候补7、及缺陷6的有无判定结果。搬送单元13包括设置检查对象物4的平台(table)或搬送机构，且搬送单元13按照从PLC 9发送的命令来搬送检查对象物4。
以下，对在图像检查装置1中实现的处理流程进行说明。
图3是表示在图像检查装置1中实现的处理流程的一例的图。当在图像检查装置1中开始图像检查时，PLC 9操作机械臂3，以将摄像机2设置在将整个检查对象物4纳入视野的位置(步骤S101)。在步骤S101中，PLC 9通过使用机械臂3移动的摄像机2的位置可为针对检查对象物4的每个种类而预先规定的位置，或者可为在分析摄像机2的图像中的检查对象物4的拍摄状况时确定的位置。而且，PLC 9可将摄像机2移动到能够通过多个图像的组合来确认整个检查对象物4的若干个位置，而不是将摄像机2移动到将整个检查对象物4纳入一幅图像中的位置。
当通过PLC 9的控制而将摄像机2移动到整个检查对象物4纳入视野的位置时，PLC9使摄像机2拍摄检查对象物4(步骤S102)。当摄像机2拍摄检查对象物4时，照明2L照亮检查对象物4。照明2L点亮的时机或照度依据PLC 9的指示。在步骤S102中，拍摄时的摄像机2与检查对象物4的相对位置关系为本申请中所述的“第1拍摄条件”的一例。
当通过PLC 9的控制而使摄像机2拍摄整个检查对象物4时，搜索部8A对在步骤S102中由摄像机2所获取的图像数据进行分析(步骤S103)。并且，搜索部8A从拍出检查对象物4的图像中搜索缺陷候补7。搜索部8A例如利用如下所述的方法来执行缺陷候补7的搜索。
例如，若由摄像机2所获取的图像中拍出的检查对象物4无缺陷6，则即使将拍出无缺陷6的良品检查对象物4的基准图像与摄像机2的图像进行比较，也不会产生差异。另一方面，若由摄像机2所获取的图像中拍出的检查对象物4存在缺陷6，则将拍出无缺陷6的良品检查对象物4的基准图像与摄像机2的图像进行比较时，会产生差异。因此，在步骤S103的分析中，举例来说，将空间滤波器(spatial filter)应用于拍出检查对象物4的图像，以提取出图像上的有变化的部分。举例来说，在提取图像上的有变化的部分时，可使用高斯拉普拉斯(Laplacian Of Gaussian，LOG)函数作为空间滤波器。并且，例如，求出预先保存在搜索部8A的存储装置等中的模型(model)图像、与在步骤S102中获取的检查对象物4的图像的差异。然后，将所述差异比预定值大的位置作为缺陷候补7。
当通过此种处理而从检查对象物4的图像中找出缺陷候补7时，PLC 9利用机械臂3来使摄像机2移动而使摄像机2靠近缺陷候补7(步骤S104)，以更清晰地拍出在步骤S103中找出的缺陷候补7。在步骤S104中，PLC 9通过使用机械臂3移动的摄像机2的位置可为针对检查对象物4中的缺陷候补7的每个位置而预先规定的位置，或者可为根据摄像机2的图像分析结果而将位置确定为缺陷候补7以适当的尺寸进入摄像机2的视野中的位置。移动摄像机2时的机械臂3的动作是通过下述方式来实现，即，从PLC 9收到命令的机器人控制器10使摄像机2从移动起始部位移动至移动目标位置后，决定最适当的各关节的动作，并将依据所决定的动作的控制量的信号发送至机械臂3的各马达。
当通过PLC 9的控制而摄像机2移动到靠近缺陷候补7的位置时，PLC 9使摄像机2拍摄检查对象物4(步骤S105)。当摄像机2拍摄检查对象物4时，与步骤S102时同样，照明2L照亮检查对象物4。在步骤S105中，由于摄像机2移动到更靠近缺陷候补7的位置，因此在摄像机2拍摄检查对象物4的图像中，将比在步骤S102中摄像机2所获取的检查对象物4的图像更清晰地拍出缺陷候补7。在步骤S105中，拍摄时的摄像机2与检查对象物4的相对位置关系为本申请中所述的“第2拍摄条件”的一例。
当通过PLC 9的控制而使摄像机2拍摄缺陷候补7的部位时，判定部8B对在步骤S105中由摄像机2所获取的图像数据进行分析(步骤S106)。并且，判定部8B对由摄像机2所拍摄的检查对象物4的图像进行分析，并判定检查对象物4的图像中拍出的缺陷候补7的部位的缺陷6的有无。判定部8B通过如下所述的方法来执行缺陷6的有无判定。
即，判定部8B算出缺陷候补7的部位的图像的特征量，并判定缺陷候补7是否为缺陷6。特征量的示例包括，例如，圆形度、周长或费雷特(Feret)径(投影宽度)等可进行二值区块分析(Blob Analysis)的特征量。判定部8B基于此种特征量，来进行缺陷候补7是否为缺陷6的判定。
对于由摄像机2的拍摄元件的各像素所接收的来自检查对象物4的反射光的光量而言，与色彩缺陷或凹凸缺陷、附着有异物的部位对应的像素与其周围的像素相比会产生差异。因此，在步骤S106的分析中，举例来说，可通过由照明2L照明检查对象物4并针对每个像素比较由摄像机2的拍摄元件的各像素所接收的来自检查对象物4的反射光的光量，来检测检查对象物4是否产生了缺陷6。而且，在缺陷6的种类的判别中，举例来说，可基于切换照明2L的照明光的色彩时所拍摄的多幅图像，判别缺陷6是否为色彩缺陷、或缺陷6是否为凹凸缺陷等。用于判定缺陷6的指标的示例，除了可包括比较每个像素中的光量比较及切换照明光的色彩，例如还可包括检查对象物4的图像内的特定色的位置及尺寸等。
若在步骤S105中拍摄的图像中拍出缺陷6，判定部8B在步骤S106中做出肯定的判定。当在步骤S106中判定部8B做出肯定的判定时，PLC 9结束检查对象物4的检查。当通过PLC 9结束检查对象物4的检查时，检查对象物4根据检查结果被移送至规定地方。而且，若在步骤S105中拍摄的图像中未拍出缺陷6，判定部8B在步骤S106中做出否定的判定。
而且，若在步骤S106中判定部8B做出否定的判定，PLC 9进行其他缺陷候补7的有无判定(步骤S107)。在无其他缺陷候补7的情况下，PLC 9在图像检查装置1中的检查对象物4的检查中，作出检查对象物4无异常的判定结果(步骤S108)。而且，在还有其他缺陷候补7的情况下，PLC 9执行步骤S104的处理，以清晰地拍出所述其他缺陷候补7。由此，对于在步骤S103中找出的所有缺陷候补7的部位，进行缺陷6的有无判定。
在所述实施方式的图像检查装置1中，使用步骤S102的图像先进行怀疑具有缺陷6的缺陷候补7的搜索，且若找出了缺陷候补7，使用步骤S105的图像来进行找出了缺陷候补7的部位的缺陷6的有无判定。并且，在步骤S105中，由于摄像机2移动到比步骤S102更靠近缺陷候补7的位置，因此在步骤S105中摄像机2所拍摄的图像中拍出的检查对象物4的分辨率(为本申请中所述的“第2分辨率”的一例)，是比在步骤S102中摄像机2所拍摄的图像中拍出的检查对象物4的分辨率(为本申请中所述的“第1分辨率”的一例)高的分辨率，且更清晰地拍出缺陷候补7。并且，在对步骤S102的图像进行分析而进行的缺陷候补7的搜索中，不需要使用步骤S105的图像来进行缺陷6的判定所需的高度的计算能力。因而，在所述实施方式的图像检查装置1的架构下，要求比在步骤S103中进行的缺陷候补7的搜索更高的计算能力的、步骤S106的缺陷6的有无判定处理对于未找出缺陷候补7的部位予以省略，因此，与遍及整个检查对象物40来进行缺陷6的有无判定的情况相比，检查对象物4的图像检查所需的时间将缩短。
在所述实施方式的图像检查装置1中，由于利用设于机械臂3前端的摄像机2来对检查对象物4的外观进行检查，因此能够配合检查对象物4的形态来使摄像机2移动到对于检查对象物4适当的位置。因而，在所述实施方式的图像检查装置1的架构下，举例来说，可应对各种多种类少量生产，同时缩短图像检查所需的时间。
另外，在步骤S103中，也可算出缺陷候补7的特征量、或者表示缺陷6的程度的值。
缺陷候补7的特征量的示例包括缺陷候补7的位置。若在步骤S103中算出缺陷候补7的位置，则在步骤S104中移动机械臂3以使摄像机2靠近缺陷候补7时，缺陷候补7的位置能够用于决定作为摄像机2的目的地的目标位置。对于缺陷候补7的位置，举例来说，若缺陷候补7是根据相对于拍出无缺陷的良品检查对象物的基准图像的差异而找出，则能够基于图像上的产生所述差异的位置来确定缺陷候补7的位置。若在步骤S103中算出缺陷候补7的位置，则在步骤S104中决定移动摄像机2时的机械臂3的动作时，使摄像机2移动到清晰地拍出缺陷候补7的位置后，能够快速决定最适当的各关节的动作，并将依据所决定的动作的控制量发送至机械臂3的马达。
而且，若算出缺陷候补7的位置来作为缺陷候补7的特征量，则不仅能够用于决定摄像机2的移动目的地，例如也能够用于决定摄像机2的光轴与检查对象物4的相对角度、照明2L与检查对象物4的相对位置、照明2L的光轴与检查对象物4的相对角度。在由摄像机2倾斜拍摄缺陷候补7的情况下，即使摄像机2靠近缺陷候补7，缺陷候补7的部位在摄像机2的图像中仍无法清晰地被拍出。此处，若在步骤S103中算出缺陷候补7的位置，为了清晰地拍出缺陷候补7，例如使缺陷候补7的位置处的法线方向与摄像机2的光轴一致。
而且，若在步骤S103中算出缺陷候补7的位置，为了清晰地拍出缺陷候补7，举例来说，可决定摄像机2的位置及照明2L的位置，以使得缺陷候补7位于假想直线上，所述假想直线正交于连接摄像机2与照明2L的另一假想直线，并通过将所述另一假想直线平分的位置。图4是表示摄像机2、照明2L与缺陷6的位置关系的一例的图。根据检查对象物4的材质或缺陷6的形状，当摄像机2的光轴相对于缺陷6的部位的法线倾斜地布置时，存在清楚地拍摄缺陷6的情况。因而，当在步骤S104中决定摄像机2的移动目的地时，以图4举例说明，为了使摄像机2清晰地拍出由照明2L所照明的缺陷6，可移动摄像机2与照明2L，以使得缺陷候补7位于假想直线上，所述假想直线正交于连接摄像机2与照明2L的另一假想直线，并通过将所述另一假想直线平分的位置。
而且，表示缺陷6的程度的值的示例包括在步骤S102中所拍摄的图像中拍出的缺陷候补7中的模型图像与检查对象物4的图像的差值。差值例如正比于图像中产生了差异的区域的像素数等。若在步骤S103中算出表示缺陷6的程度的值，在步骤S103中从多个地方找出缺陷候补7的情况下，可从表示缺陷6的程度的值大的缺陷候补7开始优先地执行步骤S104以后的处理。若从表示缺陷6的程度的值大的缺陷候补7开始优先地执行步骤S104以后的处理，由于将从实际存在缺陷6的可能性高的缺陷候补7开始优先地进行缺陷6的有无判定，因此可高效地进行检查对象物4的图像检查。此时，例如在检查对象物4中认定至少一个缺陷6的存在时，可省略其他缺陷候补7的部位的缺陷6的有无判定，从而快速地完成检查对象物4的检查。
而且，所述实施方式中，虽然通过以步骤S105中的拍摄时比步骤S102中的拍摄时更靠近的方式来移动摄像机2的位置，从而清晰地拍出缺陷候补7的部位，但例如也可通过摄像机2所具备的拍摄元件的设定状态的变更、或者摄像机2所具备的聚焦透镜的位置等透镜的状态、及其他部件，来清晰地拍出缺陷候补7的部位。
在所述实施方式中，虽然利用一个摄像机2进行了步骤S102的拍摄与步骤S105的拍摄，但例如也可在各步骤中使用不同的摄像机2。此时，也能够利用不同的摄像机2来同时进行步骤S102的拍摄与步骤S105的拍摄，因此能够加速检查对象物4的检查。
图5是表示缺陷6的一例的图。举例来说，有时会为了装饰而对检查对象物4实施褶皱加工等微细的凹凸加工。另一方面，如上所述，缺陷6中存在被称作划痕或撞痕。划痕或撞痕可以说是形成在缺陷6表面的微细凹陷。即，褶皱加工的凹凸与缺陷6的凹陷本质上具备相似的物理性质。差异(如果有的话)是凸凹的尺寸、形状、均匀性、周期性。因此，举例来说，若将阈值设定为能够通过低级的图像处理(例如LOG)来探测划痕或撞痕，则有时会将褶皱加工的一部分误检测为缺陷。为了判别褶皱加工和划痕或撞痕，必须使用形状等特征来进行分析。然而，为此需要获取足够分辨率的图像，而且需要高度的计算能力。因而，若使用拍出检查对象物4的图像来对检查对象物4的整个区域进行此种处理，则需要巨大的计算能力和时间。而且，若将阈值设定为避免产生此种误检测，则检测不出缺陷的可能性提高。
此处，在所述实施方式的图像检查装置1中，对于使用形状等特征来进行分析的步骤S106，并非针对检查对象物4的所有区域，而是针对缺陷候补7的部位来进行。因此，举例来说，在使用步骤S102的图像而进行的缺陷候补7的搜索中，将阈值设定为不会漏检缺陷6，从而即使在不存在缺陷6的部位成为缺陷候补7的情况下，与针对检查对象物4的所有区域进行使用形状等特征的分析的情况相比，也不需要巨大的计算能力和时间。因此，与遍及整个检查对象物4来进行缺陷6的有无判定的情况相比，检查对象物4的图像检查所需的时间将缩短。
＜计算机可读取的记录介质＞
能够使计算机或其他机械、装置(以下称作计算机等)实现所述的任一处理的程序可记录在计算机等可读取的记录介质中。并且，通过使计算机等读取并执行所述记录介质的程序，从而能够提供所述功能。
此处，所谓计算机等可读取的记录介质，是指能够通过电、磁、光学、机械或化学作用来积累数据或程序等信息，并能够从计算机等读取的记录介质。在这些记录介质中的可从计算机等拆卸者，例如包括存储卡(memory card)，如软盘(flexible disk)、磁光盘、只读光盘(Compact Disc Read Only Memory，CD-ROM)、可重写光盘(Compact DiscRewritable，CD-R/W)、数字多功能光盘(Digital Versatile Disc，DVD)、蓝光光盘(blueray disc)、数字录音带(Digtal Audio Tape，DAT)、8mm磁带、快闪存储器(flash memory)等。而且，被固定于计算机等的记录介质包括硬盘、SSD或只读存储器(Read Only Memory，ROM)等。
另外，所述实施方式及变形例是本发明的实施方式的一例，并非将本申请中揭示的发明的技术范围限定于所述实施方式及变形例者。

Claims (11)

1.一种图像检查装置，利用图像来对检查对象物进行检查，其特征在于，所述图像检查装置包括：
一个以上的拍摄部，拍摄所述检查对象物；
照明部，对所述检查对象物照射光；
拍摄条件的控制部，包含移动部，所述移动部用于针对所述拍摄部、所述检查对象物、所述照明部中的至少两个，使彼此的相对位置关系发生变化；
搜索部，对所述拍摄部在第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物中搜索缺陷候补；以及
判定部，对所述拍摄部所拍摄的图像进行分析，并判定所述检查对象物的缺陷有无，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以在比所述第1拍摄条件清晰的第2拍摄条件下拍出所述搜索部找出缺陷候补的部位，
所述判定部对所述拍摄部在所述第2拍摄条件下拍摄的图像进行分析，并判定所述检查对象物的缺陷有无。
2.根据权利要求1所述的图像检查装置，其特征在于，
所述搜索部对所述拍摄部以第1分辨率拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部变更所述拍摄部相对于所述检查对象物的相对位置、或所述拍摄部的视野，以利用分辨率比所述第1分辨率高的第2分辨率来拍出所述搜索部找出缺陷候补的部位。
3.根据权利要求2所述的图像检查装置，其特征在于，
所述搜索部通过所述控制部将所述拍摄部移动到第1位置而对以所述第1分辨率拍出的所述检查对象物的图像进行分析，并从所述检查对象物搜索缺陷候补，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部将所述拍摄部的位置移动到比所述第1位置更靠近所述检查对象物的第2位置，以利用所述第2分辨率来拍出所述搜索部找出缺陷候补的部位。
4.根据权利要求1所述的图像检查装置，其特征在于，
所述搜索部在从所述检查对象物找出缺陷候补时，算出包含所述缺陷候补的位置的所述缺陷候补的特征量，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部基于所述搜索部所算出的所述特征量，来变更所述拍摄部的光轴与所述检查对象物的相对角度、所述照明部与所述检查对象物的相对位置、所述照明部的光轴与所述检查对象物的相对角度中的至少一个，以在所述第2拍摄条件下拍出所述搜索部找出缺陷候补的部位。
5.根据权利要求1所述的图像检查装置，其特征在于，
所述搜索部对第1拍摄部在所述第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以使所述搜索部找出缺陷候补的部位在所述第2拍摄条件下在与所述第1拍摄部不同的第2拍摄部的图像中拍出。
6.根据权利要求2所述的图像检查装置，其特征在于，
所述搜索部对第1拍摄部在所述第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以使所述搜索部找出缺陷候补的部位在所述第2拍摄条件下在与所述第1拍摄部不同的第2拍摄部的图像中拍出。
7.根据权利要求4所述的图像检查装置，其特征在于，
所述搜索部对第1拍摄部在所述第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物搜索缺陷候补，
在所述搜索部从所述检查对象物找出缺陷候补时，所述控制部对拍摄条件进行控制，以使所述搜索部找出缺陷候补的部位在所述第2拍摄条件下在与所述第1拍摄部不同的第2拍摄部的图像中拍出。
8.根据权利要求1至7中任一项所述的图像检查装置，其特征在于，
在所述搜索部从所述检查对象物找出多个缺陷候补时，所述控制部对拍摄条件进行控制，以从所述搜索部找出的多个缺陷候补中的表示缺陷程度的值大的候补部位开始优先地以所述第2拍摄条件而拍出。
9.根据权利要求8所述的图像检查装置，其特征在于，
在拍出由所述搜索部找出的多个缺陷候补中的至少一个的图像中存在缺陷时，所述判定部省略拍出其他缺陷候补的图像的分析。
10.一种图像检查方法，利用图像来对检查对象物进行检查，其特征在于，所述图像检查方法包括：
搜索工序，对拍摄所述检查对象物的拍摄部在第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物中搜索缺陷候补；
控制工序，通过拍摄条件的控制部对拍摄条件进行控制，所述控制部包含移动部，所述移动部用于使所述拍摄部、所述检查对象物、对所述检查对象物照射光的照明部中的至少两个的彼此的相对位置关系发生变化，使得在所述搜索工序中从所述检查对象物中找出缺陷候补时，在比所述第1拍摄条件清晰的第2拍摄条件下拍出在所述搜索工序中找出缺陷候补的部位；以及判定工序，对所述拍摄部在所述第2拍摄条件下拍摄的图像进行分析，并判定所述检查对象物的缺陷有无。
11.一种图像检查程序，利用图像来对检查对象物进行检查，其特征在于，所述图像检查程序使计算机执行下述工序：
搜索工序，对拍摄所述检查对象物的拍摄部在第1拍摄条件下拍摄的图像进行分析，并从所述检查对象物中搜索缺陷候补；
控制工序，通过拍摄条件的控制部对拍摄条件进行控制，所述控制部包含移动部，所述移动部用于使所述拍摄部、所述检查对象物、对所述检查对象物照射光的照明部中的至少两个的彼此的相对位置关系发生变化，使得在所述搜索工序中从所述检查对象物中找出缺陷候补时，在比所述第1拍摄条件清晰的第2拍摄条件下拍出在所述搜索工序中找出缺陷候补的部位；以及
判定工序，对所述拍摄部在所述第2拍摄条件下拍摄的图像进行分析，以判定所述检查对象物的缺陷有无。
CN201811503408.5A 2018-03-05 2018-12-10 图像检查装置、图像检查方法以及图像检查程序 Pending CN110231346A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018038540A JP7073785B2 (ja) 2018-03-05 2018-03-05 画像検査装置、画像検査方法及び画像検査プログラム
JP2018-038540 2018-03-05

Publications (1)

Publication Number Publication Date
CN110231346A true CN110231346A (zh) 2019-09-13

Family

ID=64665440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503408.5A Pending CN110231346A (zh) 2018-03-05 2018-12-10 图像检查装置、图像检查方法以及图像检查程序

Country Status (4)

Country Link
US (1) US11080843B2 (zh)
EP (1) EP3537136A1 (zh)
JP (1) JP7073785B2 (zh)
CN (1) CN110231346A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630233A (zh) * 2019-10-07 2021-04-09 株式会社神户制钢所 基板表面缺陷检查方法
CN113252706A (zh) * 2020-02-10 2021-08-13 欧姆龙株式会社 图像检查装置、存储介质以及照明设定装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN108550080A (zh) * 2018-03-16 2018-09-18 阿里巴巴集团控股有限公司 物品定损方法及装置
CN112384344A (zh) * 2018-07-13 2021-02-19 索尼公司 控制设备、控制方法和程序
EP4038374A4 (en) * 2019-09-30 2023-10-25 Musashi AI North America Inc. SYSTEM AND METHOD FOR AI VISUAL INSPECTION
JP7437188B2 (ja) * 2020-02-27 2024-02-22 株式会社サキコーポレーション 検査装置
IT202000004783A1 (it) * 2020-03-06 2021-09-06 Geico Spa Metodo e sistemi per la rilevazione e classificazione di difetti su superfici
DE102020204508A1 (de) * 2020-04-07 2021-10-07 Carl Zeiss Smt Gmbh System und Verfahren zur Inspektion einer Maske für die EUV-Lithographie
US11494892B2 (en) 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1582863A1 (en) * 2004-03-30 2005-10-05 General Electric Company Multi-resolution inspection system and method of operating same
CN1922473A (zh) * 2004-02-18 2007-02-28 伊斯拉视像***股份公司 用于设计检测路径及用于确定待检测区域的方法
JP2007155412A (ja) * 2005-12-01 2007-06-21 Nippon Mini Computer System Kk 外観検査装置及び外観検査方法
CN104903712A (zh) * 2013-01-30 2015-09-09 株式会社日立高新技术 缺陷观察方法以及缺陷观察装置
CN106796179A (zh) * 2014-09-05 2017-05-31 株式会社斯库林集团 检查装置以及检查方法
WO2017171651A1 (en) * 2016-03-30 2017-10-05 Agency For Science, Technology And Research System and method for imaging a surface defect on an object

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166811A (en) * 1999-08-12 2000-12-26 Perceptron, Inc. Robot-based gauging system for determining three-dimensional measurement data
JP2008055569A (ja) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd 点検ロボット
JP4065893B1 (ja) * 2006-12-04 2008-03-26 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP4862765B2 (ja) * 2007-06-29 2012-01-25 関東自動車工業株式会社 表面検査装置及び表面検査方法
CA2701603A1 (en) * 2007-10-03 2009-04-09 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
JP4958114B2 (ja) * 2007-12-28 2012-06-20 キヤノンＩｔソリューションズ株式会社 情報処理装置、情報処理方法、コンピュータプログラム
JP4933601B2 (ja) * 2009-08-18 2012-05-16 株式会社ニューフレアテクノロジー 検査装置および検査方法
JP5953842B2 (ja) 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
JP5997039B2 (ja) * 2012-12-26 2016-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
US9683944B2 (en) * 2013-05-23 2017-06-20 Centro Sviluppo Materiali S.P.A. Method for the surface inspection of long products and apparatus suitable for carrying out such a method
JP6578118B2 (ja) * 2014-04-04 2019-09-18 株式会社ニューフレアテクノロジー 撮像装置、検査装置および検査方法
JP6493163B2 (ja) * 2015-11-06 2019-04-03 オムロン株式会社 粗密探索方法および画像処理装置
JP2017135437A (ja) * 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
US10269108B2 (en) * 2017-09-01 2019-04-23 Midea Group Co., Ltd. Methods and systems for improved quality inspection of products using a robot
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
JP6958444B2 (ja) * 2018-03-13 2021-11-02 オムロン株式会社 コントローラおよび画像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922473A (zh) * 2004-02-18 2007-02-28 伊斯拉视像***股份公司 用于设计检测路径及用于确定待检测区域的方法
EP1582863A1 (en) * 2004-03-30 2005-10-05 General Electric Company Multi-resolution inspection system and method of operating same
JP2007155412A (ja) * 2005-12-01 2007-06-21 Nippon Mini Computer System Kk 外観検査装置及び外観検査方法
CN104903712A (zh) * 2013-01-30 2015-09-09 株式会社日立高新技术 缺陷观察方法以及缺陷观察装置
CN106796179A (zh) * 2014-09-05 2017-05-31 株式会社斯库林集团 检查装置以及检查方法
WO2017171651A1 (en) * 2016-03-30 2017-10-05 Agency For Science, Technology And Research System and method for imaging a surface defect on an object

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112630233A (zh) * 2019-10-07 2021-04-09 株式会社神户制钢所 基板表面缺陷检查方法
CN112630233B (zh) * 2019-10-07 2024-05-03 株式会社神户制钢所 基板表面缺陷检查方法
CN113252706A (zh) * 2020-02-10 2021-08-13 欧姆龙株式会社 图像检查装置、存储介质以及照明设定装置

Also Published As

Publication number Publication date
JP7073785B2 (ja) 2022-05-24
EP3537136A1 (en) 2019-09-11
US20190272630A1 (en) 2019-09-05
US11080843B2 (en) 2021-08-03
JP2019152557A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110231346A (zh) 图像检查装置、图像检查方法以及图像检查程序
US8050486B2 (en) System and method for identifying a feature of a workpiece
JP3560694B2 (ja) レンズ検査のシステムと方法
US20200011808A1 (en) Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
JP2021522487A (ja) 空気サンプルの自動分析をするためのシステムおよび方法
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
US20130077092A1 (en) Substrate surface defect inspection method and inspection device
JP6635712B2 (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
CN110231352A (zh) 图像检查装置、图像检查方法以及图像检查程序
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JP6756417B1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP4109799B2 (ja) 半導体装置の製造方法
CZ146195A3 (en) Method of checking eye lenses and apparatus for making the same
JP6812118B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2021056183A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
JP2021056182A (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
KR20220134019A (ko) 반사하는 객체를 이미징하는 시스템 및 방법
CN116148277B (zh) 一种透明体缺陷三维检测方法、装置、设备及存储介质
JP4523310B2 (ja) 異物識別方法及び異物識別装置
JP2023151945A (ja) 検査システムおよび検査方法
JP6811540B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
Safizadeh et al. Automated detection of inner surface defects in pipes using image processing algorithms
JP7053889B2 (ja) プレス成形品のネッキング判定方法、プレス成形品のネッキング判定装置、及びプログラム
WO2024026932A1 (en) Optimized Path Planning for Defect Inspection based on Effective Region Coverage
Li et al. A 3D curved optical surface defect detection method with micro structured-light based on Multi-Parameter calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination