CN110596115A - 图像检查***以及其控制方法 - Google Patents

图像检查***以及其控制方法 Download PDF

Info

Publication number
CN110596115A
CN110596115A CN201910405641.8A CN201910405641A CN110596115A CN 110596115 A CN110596115 A CN 110596115A CN 201910405641 A CN201910405641 A CN 201910405641A CN 110596115 A CN110596115 A CN 110596115A
Authority
CN
China
Prior art keywords
image
inspection
recording
imaging
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910405641.8A
Other languages
English (en)
Other versions
CN110596115B (zh
Inventor
加藤豊
高山正广
山内佑二
稻积伸悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110596115A publication Critical patent/CN110596115A/zh
Application granted granted Critical
Publication of CN110596115B publication Critical patent/CN110596115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G01N2021/0175—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing for selecting operating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种用于在改变视点相对于检查对象物的位置并且获取多个检查用图像的***中，辅助确定故障发生时的原因的技术。图像检查***具有：摄像单元，改变摄像单元相对于检查对象物的视点的位置；控制单元，通过控制移动单元和摄像单元，从而获取在多个拍摄时刻中的每个时刻的视点的多个检查用图像；以及检查单元，使用多个检查用图像并执行对检查对象物的检查。控制单元，进行控制，以使在与多个拍摄时刻中的任意一个均不同的时刻、即多个记录时刻，由摄像单元执行拍摄，从而获取在多个记录时刻中的每个时刻的视点的多个记录用图像。

Description

图像检查***以及其控制方法
技术领域
本发明涉及一种图像检查***，尤其涉及使摄像装置与检查对象物相对移动并进行摄像的图像检查***。
背景技术
在FA(Factory Automation，工厂自动化)中，正在广泛使用对检查对象物进行摄像，并使用获得的图像来进行各种测量、检查的***。在本说明书中，将这种***统称为“图像检查***”。
在专利文献1中，公开了一种将照相机和照明装置安装在机器人(robot)的手臂(arm)的顶端，通过机械人使照相机移动，从而能够从多个视点拍摄工件(work)的***。另外，在专利文献1中，还公开了一种将照相机和照明装置固定到墙壁上，并通过机器人来移动工件，从而能够从多个视点拍摄工件的***的例子。
现有技术文献
专利文献
专利文献1：日本特开2007-248241号公报
发明内容
当在生产线的检查中发生了无法预料的故障时(例如，NG(不合格)判定频发等)，生产线的负责人首先区分故障的原因是在生产侧还是在检查侧，在前者的情况下查找生产工序中的问题，在后者的情况下围绕检查装置究明其原因。此时，如专利文献1那样，使照相机和工件相对移动并且对多个部位进行检查的***与将照相机与工件的位置关系固定的类型的检查装置相比，其***的自由度高较高，因此预想会难以究明故障的原因。例如，当通过机器人使照相机或者工件移动时，在可能因为某些原因导致照相机的视点(视野)偏离所期望的位置的情况下，照明环境可能会因为照明被遮挡或相反地进入外光而发生变化，也可能光在工件表面上被正反射并产生光晕。或者，也可能因为程序中存在错误而导致机器人没有进行所希望的动作。然而，在现有的***中，由于之后无法确认照相机或者工件是如何进行动作的，因此难以确定故障的原因。
本发明是鉴于上述的问题而提出，其目的在于，提供一种用于在改变视点相对于检查对象物的位置并且获取多个检查用图像的***中，辅助确定发生故障时的原因的技术。
本发明的第一方面提供一种图像检查***，其特征在于，该图像检查***包括：摄像单元，用于拍摄检查对象物；移动单元，通过使所述检查对象物和所述摄像单元中的至少一方移动，来改变所述摄像单元相对于所述检查对象物的视点的位置；存储单元，存储用于规定所述视点相对于所述检查对象物的移动路径以及在所述移动路径上执行对所述检查对象物的拍摄的多个拍摄时刻的控制信息；控制单元，通过根据所述控制信息来控制所述移动单元和所述摄像单元，从而获取在所述多个拍摄时刻中的每个时刻的视点的多个检查用图像；以及检查单元，使用所述多个检查用图像来执行对所述检查对象物的检查，所述控制单元进行控制，以使在所述移动路径上，在与所述多个拍摄时刻中的任意一个均不同的时刻、即多个记录时刻，由所述摄像单元执行拍摄，从而获取所述多个记录时刻中的每个时刻的视点的多个记录用图像。
根据该结构，在与检查用图像的拍摄时刻不同的时刻也执行拍摄，获取与检查用图像不同的多个记录用图像。假定在n个地点拍摄检查用图像，在m个地点拍摄记录用图像，则最终能获取(n+m)个地点的视点的图像。因此，通过验证这些图像，从而能够确认检查过程中的视野的变化，能够确认照明等的环境是否适合，也能够有望易于确定故障的原因。
本发明可以采用固定检查对象物而移动摄像单元的结构、固定摄像单元而移动检查对象物的结构、移动检查对象物和摄像单元两者的结构中的任意一种结构。“检查用图像”是为了用于由检查单元来检查检查对象物而获取的图像。另一方面，“记录用图像”是专门为了记录视点或视野、验证动作而获取的图像，并不用于检查单元进行的检查。
图像检查***具有记录时刻确定单元，该记录时刻确定单元基于所述控制信息，来确定所述多个记录时刻，以使一个或多个所述记录时刻配置于所述检查用图像的所述拍摄时刻之间，所述控制单元可以根据由所述记录时刻确定单元确定的所述多个记录时刻来获取所述多个记录用图像。这样，通过将记录时刻配置于检查用图像的拍摄时刻之间，从而能够兼顾检查用图像的拍摄和记录用图像的拍摄。
所述记录时刻确定单元可以将一个或多个所述记录时刻配置于在时间上将时间轴上相邻的两个所述拍摄时刻之间的期间进行等分的点。由此，对于两个拍摄时刻之间的期间，能够进行无偏差的数据记录(视野的记录)。
当在某个拍摄时刻获取检查用图像时，所述记录时刻确定单元可以将一个或多个所述记录时刻配置于将从该拍摄时刻到下次预定的拍摄时刻为止的时间差中减去规定的余量后的时间进行等分的点。由于以实际进行拍摄的时刻为基准来确定记录时刻，因此能够获取更准确的位置(视野)的图像。
所述记录时刻确定单元可以配置所述记录时刻，以使所述拍摄时刻与所述记录时刻之间的时间间隔长于所述摄像单元获取所述检查用图像所需的时间。通过满足这样的限制条件，能够获取记录用图像而不妨碍检查用图像的获取。
所述记录用图像可以是比所述检查用图像的数据尺寸更小的图像。通过使数据尺寸变小，能够减少用于保管记录用图像的数据容量。
所述记录用图像与所述检查用图像相比，可以是所述摄像单元获取图像所需的时间更短的图像。这是因为，通过缩短捕获记录用图像的时间，从而易于满足不妨碍获取检查用图像的限制条件，提高记录用图像的记录时刻的确定方式的自由度。
图像检查***也可以具有输出单元，该输出单元按照时间顺序显示所述多个检查用图像和所述多个记录用图像。由此，与分别观察多个图像的情况相比，能够有望易于发现视野的异常、照明环境的变化等。
所述输出单元以时间方式关联显示控制时序图、所述多个检查用图像以及所述多个记录用图像，该控制时序图在时间轴上示出所述视点的控制、所述拍摄时刻以及所述记录时刻。由此，能够有望易于发现视野的异常、照明环境的变化等。
所述输出单元可以以能够比较的方式显示作为所述检查对象物的图像的第一图像和作为在所述第一图像的拍摄时刻所期望的视野的图像的第二图像。由此，能够有望易于发现视野的异常、照明环境的变化等。
所述输出单元可以在所述第一图像与所述第二图像之间的差异满足规定的条件的情况下进行通知。由此，能够有望易于发现视野的异常、照明环境的变化等。
根据本发明，提供一种能够在改变视点相对于检查对象物的位置并且获取多个检查用图像的***中，辅助确定故障发生时的原因的技术。
附图说明
图1是示出本发明的适用例的图。
图2是示出本发明的实施方式的图像检查***的结构例的图。
图3是示出控制装置的结构的一例的框图。
图4是示出图像检查***检查工件的检查处理的流程的一例的流程图。
图5是示出记录时刻的确定方法的一例的图。
图6是示出拍摄图像的一例的图。
图7是示出拍摄图像的一例的图。
图8是示出拍摄图像的一例的图。
图9是示出图像检查***检查工件的检查处理的流程的一例的流程图。
图10是拍摄时刻的设定值的例子。
图11是示出记录时刻的确定方法的一例的图。
图12A～图12C是示出图像检查***的其他的结构例的图。
附图标记说明
1：图像检查***
10：照相机
11：机器人
12：图像处理装置
13：控制装置
130：照相机控制部
131：机器人控制部
132：控制信息存储部
133：图像获取部
134：图像存储部
135：记录时刻确定部
136：输出部
W：工件
具体实施方式
＜适用例＞
图1示意性地示出本发明的一个适用例。图1所示的图像检查***1是使用通过由照相机(摄像单元)10拍摄工件(检查对象物)W的***位而获得的图像来进行对工件W检查的***。“检查”是调查或者识别工件W的物理状态的处理，例如，异常(划痕、污点等)的检测、良/不良(合格/不合格)的判断、品质(优/良/合格/差)的判断等典型的处理，但除这些以外，也可以包括二维形状或三维形状的测量、形状的识别、边缘的检测、数量的测量、长度的测量、面积的测量、颜色特征的获取、标记、分割、物体识别、条形码或二维码的读取、OCR(Optical Character Recognition，光学字符识别)、个体识别等。这样的图像检查***1例如用于在生产线中制造物的检查或品质管理等。
图像检查***1通过机器人(移动单元)11使照相机10和工件W中的任意一者或者两者移动，从而能够改变照相机10相对于工件W的视点的位置。当进行检查时，沿着预先设定的移动路径R使照相机10的视点移动，并且在多个拍摄时刻捕获图像，将这些图像作为用于检查的检查用图像保存在存储器或者存储设备中(图1示出在三个拍摄时刻T1～T3获取三张检查用图像的例子)。并且，图像检查***1还在与检查用图像的拍摄时刻中的任意一个均不同的时刻(即，拍摄时刻的间隙)通过照相机10进行图像的捕获，并将这些图像作为记录用图像保存在存储器或者存储设备中。
记录用图像的记录时刻设定在不妨碍检查用图像的摄像(曝光、数据的读取等的处理)的时刻。其中，例如，记录时刻可以被配置于以时间方式将时间上相邻的两个拍摄时刻之间进行等分的点。优选地，在将所有的拍摄时刻和所有的记录时刻按照时间的顺序排列的情况下，以它们的时间间隔尽可能地恒定(即，等间隔)的方式配置各记录时刻。
根据上述这样的结构，在与检查用图像的拍摄时刻不同的时刻，即，如图1所示，在照相机10的视点从拍摄时刻T1向下一个拍摄时刻T2移动的中途的时刻T10、T11、T12、照相机10的视点从拍摄时刻T2向下一个拍摄时刻T3移动的中途的时刻T20、T21，也能记录照相机10的视野。在图1的例子中，由于在三个地点拍摄检查用图像，并在五个地点拍摄记录用图像，因此最终能获取3+5＝8个地点的视点的图像。因此，在检查后发现任何问题等的情况下，由于能够验证移动路径R上的8个地点的图像，因此能够确认检查的过程中的视野的变化，确认照明等的环境是否合适，也能够有望易于确定故障的原因。
＜***结构＞
图2示出本发明的实施方式的图像检查***1的结构例。图像检查***1包括照相机10、机器人11、图像处理装置12、以及控制装置13。
照相机10是拍摄作为检查对象物的工件W并获取图像数据的设备，构成为包括透镜等光学***、CCD(Coupled Charged Device，电荷耦合器件)、CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)等的摄像元件。根据需要，可以在照相机10中设置自动对焦机构、平移/倾斜/缩放机构、照明装置等。照相机10捕获的图像可以是黑白图像(灰度图像)也可以是彩色图像。另外，作为照明装置，通过使用红外光等可见光以外的照明，可以拍摄红外线图像等特殊的图像。
机器人11例如是6轴或7轴的垂直多关节机器人。照相机10被固定到手臂的前端。在手臂的关节部分中内置有电机、编码器、减速器(均未图示)。通过由控制装置13驱动各关节的电机，使手臂上下左右移动、伸缩、以及转动，从而能够使照相机10相对于工件W的视点移动到任意的位置。
图像处理装置12是使用由照相机10拍摄的工件W的图像(检查用图像)执行基于图像处理的检查的设备。图像处理装置12例如具有处理器(CPU(Central Processing Unit，中央处理器))、存储器、存储装置、通信模块、具有I/O的计算机、液晶显示器等显示装置、鼠标、触摸面板等输入装置。各种程序存储在存储设备中，当图像检查***1运行时，需要的程序被下载到存储器中，通过由处理器执行，能提供图像处理装置12的处理以及功能。此外，图像处理装置12的处理以及功能中的至少一部分可以由ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等电路构成，或者也可以由分布式计算、云计算构成。
控制装置13是对照相机10、机器人11、以及图像处理装置12进行控制的设备。控制装置13例如具有处理器(CPU，控制单元)、存储器、存储设备、通信模块、具有I/O的计算机、液晶显示器等显示装置、鼠标、触摸面板等输入装置。各种程序存储在存储设备中，当图像检查***1运行时，需要的程序被下载到存储器中，通过由处理器执行，能提供控制装置13的处理以及功能。控制装置13可以由PLC(Programmable Logic Controller，可编程逻辑控制器)构成，或者可以由通用计算机构成。此外，控制装置13的处理以及功能中的至少一部分可以由ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等电路构成，或者也可以由分布式计算、云计算构成。另外，图像处理装置12和控制装置13可以由一台计算机构成。
图3是示出控制装置13的结构的一例的框图。控制装置13具有照相机控制部130、机器人控制部131、控制信息存储部132、图像获取部133、图像存储部134、记录时刻确定部135、以及输出部136。在本实施方式的控制装置13中，照相机控制部130、机器人控制部131、图像获取部133、记录时刻确定部135、以及输出部136是通过处理器(控制单元)执行程序而提供的功能，控制信息存储部132以及图像存储部134由非易失性存储器或存储设备而提供。
控制信息存储部132是存储用于规定照相机10和机器人11动作的控制信息的存储单元。控制信息例如包括检查用图像的拍摄时刻的设定、机器人11的动作程序等。这些信息例如是利用试测装置而创建的，并且预先注册于(在检查处理开始之前)控制装置13。照相机控制部130基于控制信息进行对由照相机10摄像进行控制的处理。另外，机器人控制部131基于控制信息控制机器人11的手臂，进行沿着规定的移动路径使照相机10的视点移动的处理。
图像获取部133进行经由图像处理装置12获取用照相机10捕获的图像的数据的处理。获取的图像的数据存储在图像存储部134中。记录时刻确定部135进行确定记录用图像的记录时刻的处理。对于记录用图像的记录时刻，可以在检查处理开始前确定所有的记录时刻，也可以在执行检查处理中(例如，与实际进行检查用图像的捕获的时刻相对应)动态地确定记录时刻。输出部136进行将控制时序图、检查用图像和记录用图像以时间方式相关联地显示的处理。
＜检查处理＞
图4是示出由图像检查***检查工件的检查处理的流程的一例的流程图。
首先在步骤S40中，记录时刻确定部135基于控制信息来确定记录用图像的记录时刻。在本实施方式中，确定记录图像的记录时刻，以使在以时间方式将检查用图像的拍摄时刻之间进行等分的点拍摄一个或多个记录图像。
例如，如图5所示，在检查开始时刻T0与检查结束时刻Tn之间设定有检查用图像的拍摄时刻Ti(i＝1，…，n－1)的情况下，记录时刻确定部135利用
Tij＝Ti+(Ti+1-Ti)/mi×j(j＝1，…，mi-2)
来求出记录时刻Tij。
mi是Ti与Ti+1之间的区间的分割数，为2以上的整数。在每个区间可以任意地设定分割数mi。但是，记录时刻确定部135将拍摄时刻及其在时间上相邻的记录时刻之间的时间间隔设定为比照相机10获取检查用图像所需的时间(例如曝光和图像数据读取所需的时间)更长。通过满足这样的限制条件，能够获取记录用图像而不妨碍检查用图像的获取。
其中，可以确定各区间的分割数mi，使得作为拍摄时间间隔的(Ti(j+1)-Tij)在整个检查的期间变得尽可能恒定。使拍摄时间间隔恒定，能够在整个检查的期间以相同的频率记录图像，因此能够实现遗漏较少的数据记录，有利于检索发生故障的地点等。另外，如果拍摄时间间隔恒定，则能够以幻灯片的方式以恒定时间间隔切换地显示这些图像组，从而以与检查时相同的速度(或成比例速度)重现视点的移动，因此，具有易于掌握显示中的图像与工件W上的位置的对应的优点。
如上所述，确定的记录用图像的记录时刻Tij的信息与作为控制信息提供的检查用图像的拍摄时刻Ti的信息一起被传送到照相机控制部130。
接下来，在步骤S41中，机器人控制部131从控制信息存储部132读取控制信息(动作程序)。然后，在步骤S42中，如果检查开始，则机器人控制部131执行动作程序并开始对机器人11的控制，并且，照相机控制部130通过计时器开始监视从检查开始时刻T0的经过时间t。
如果经过时间t达到拍摄时刻Ti(步骤S43的YES)，则照相机控制部130控制照相机10进行检查用图像的拍摄(步骤S44)。在图像处理装置12中进行了需要的处理之后(例如白平衡调整、颜色调整、噪音消除、压缩等)，由图像获取部133捕获检查用图像，并将确定拍摄时刻(时间戳)、工件W的信息等一起存储到图像存储部134中。另外，图像处理装置12执行使用该检查用图像的检查处理(步骤S45)。此外，在图4中，为了便于说明图示，步骤S44～S47的处理被描述为串行处理，但是，控制装置13的处理和图像处理装置12的处理也可以并行执行。
如果经过时间t达到记录时刻Tij(步骤S46的YES)，则照相机控制部130控制照相机10进行记录用图像的拍摄(步骤S47)。在图像处理装置12中进行了需要的处理之后(例如白平衡调整、颜色调整、噪音消除、压缩等)，由图像获取部133捕获记录用图像，并将确定拍摄时刻(时间戳)、工件W的信息等一起存储到图像存储部134中。
记录用图像可以是与检查用图像相同的规格的图像，也可以是与检查用图像不同的规格的图像。由于记录用图像不用于测量、检查，因此不需要具有与检查用图像相同程度的品质。因此，记录用图像也可以是比检查用图像的数据尺寸更小的图像(例如，比检查用图像的分辨率更低的图像、比检查用图像的压缩率更高的图像、比检查用图像的视野更小的图像、比检查用图像的通道数或颜色数更少的图像等)。通过使数据尺寸变小，具有能够减少用于保管记录用图像的数据容量的优点。或者，记录用图像与检查用图像相比，可以是照相机10获取图像所需的时间更短的图像(例如，比检查用图像的分辨率更低的图像、比检查用图像的曝光时间更短的图像等)。这是因为，通过使捕获记录用图像的时间缩短，从而易于满足不妨碍获取检查用图像这样的限制条件，提高记录用图像的记录时刻的确定方式的自由度。另外，虽然捕获记录用图像的时间短，但能够拍摄更多张记录用图像，具有能够进行遗漏较少的数据记录的优点。
通过机器人11使照相机10的视点移动，并且重复进行步骤S43～S47，获取多张检查用图像和多张记录用图像。然后，如果达到检查结束时刻Tn(步骤S48的YES)，则机器人11返回到起始位置，结束检查处理。
<动作的验证>
参照图6～图8，对在检查处理中存储的检查用图像和记录用图像的显示例和使用其的动作的验证方法进行说明。此外，在本实施方式中，由于在显示图像以及验证动作时，无区分地使用检查用图像和记录用图像两者，因此在以后的说明中，在不需要区分检查用图像和记录用图像的上下文中，使用“拍摄图像”作为两者的统称。
图6示出了以动画图像方式播放所存储的拍摄图像组的方法。具体来说，输出部136从图像存储部134读取拍摄图像的数据，以幻灯片方式切换图像并且连续地显示多个拍摄图像。由此，由于能够像动画图像那样观察照相机10的视野的时间的变化，因此与分别观察多个拍摄图像的情况相比，能够有望易于发现视野的异常、照明环境的变化等。此时，输出部136可以以(与实际拍摄拍摄图像时的时间间隔是否恒定、均一没有关系)恒定的时间间隔切换显示拍摄图像。或者，输出部136可以参考与拍摄图像关联的时间戳，进行播放控制，使得图像以与检查时(实际拍摄时)相同的速度(或者成比例的速度)切换。
图7示出将控制时序图与拍摄图像在时间上相关联地显示的例子。控制时序图在时间轴上示出了视点的控制、检查用图像的拍摄时刻、以及记录用图像的记录时刻，在图7的例子中，在横轴上取得经过时间t、纵轴上取得机器人11的各关节的编码器数值的二维坐标上，描绘了示出编码器数值的时间变化的图形70、71(相当于视点的时间变化)、拍摄时刻Ti以及记录时刻Tij。另外，显示能够通过用户操作移动的时刻光标72，并且，显示与时刻光标72的时刻相对应的拍摄图像73。进一步地，此时，可以将期望值图像(第二图像)74显示在拍摄图像(第一图像)73的旁边，以便能够比较地观察拍摄图像73与期望值图像74。期望值图像74是在拍摄图像73的拍摄时刻所期望的视野(也就是说，正确的视野)的图像，例如，在对图像检查***1进行调整、试测(teaching)时等，可以拍摄样件等来预先准备。或者，可以通过使用工件W的三维形状的数据进行模拟，从而生成基于计算机图形的期望值图像74。这样，通过同时显示控制时序图和拍摄图像，能够有望易于发现视野的异常、照明环境的变化等。
图8是使拍摄图像组80与期望值图像组81在时间上相对应并且以时间序列排列显示的例子。横轴示出经过时间t。根据该显示，由于能够概观视野的时间的变化，并且检查每个时刻的视野是否正确，因此能够易于发现发生视点偏移的地点。另外，输出部136可以将对应时刻的拍摄图像与期望值图像进行比较，在两个图像的差异满足规定的条件的情况下进行通知。例如，在两个图像的每个像素的差的总和比规定的阈值大的情况下，输出部136判断为“可能存在视点偏移”，如图8那样，输出强调显示82，或者输出警告83，从而可以引起用户注意。通过这样的通知功能，能够辅助发现时刻的偏移。
根据如上所述的结构，由于能够将检查处理之间的视野的时间变迁记录为图像，因此有望易于发现视野的异常、照明环境的变化等，并且也能够易于确定故障的原因。
<变形例>
在上述的实施方式中，基于从检查处理开始的经过时间来确定拍摄时刻和记录时刻(图4的步骤S40)。如果机器人11能够按照程序获取位置，则该方法没有问题，但是在由于惯性、干扰的影响等而无法忽略机器人11的位置误差的情况下，可以与机器人11的移动相对应地动态调整拍摄时刻和记录时刻。
在图9以及图10中，示出读取机器人11的编码器数值，并基于该值确定拍摄时刻、记录时刻的方法。图9是示出检查处理的流程的流程图，图10是注册于控制信息存储部132的拍摄时刻的设定值。与上述实施方式不同的是，拍摄时刻并不是从检查处理开始的经过时间，而是根据照相机10的视点的位置(具体来说，机器人11的各关节的编码器数值)规定的点。此外，由于需要计算记录时刻，作为参考値，也能设定为各拍摄时刻的预定时刻(相当于与机器人11理想地动作的情况下的拍摄时刻的时刻)。
在步骤S90中，机器人控制部131从控制信息存储部132读取控制信息(动作程序)。另外，在步骤S91中，照相机控制部130从控制信息存储部132读取控制信息(拍摄时刻的设定值)。然后，在步骤S92中，如果检查开始，则机器人控制部131执行动作程序并开始对机器人11进行控制，并且，照相机控制部130开始监视机器人11的各轴的编码器数值。
如果编码器数值与拍摄时刻Ti的设定值相等(步骤S93的YES)，则照相机控制部130控制照相机10进行检查用图像的拍摄(步骤S94)。另外，图像处理装置12执行使用该检查用图像的检查处理(步骤S95)。
在步骤S96中，记录时刻确定部135根据步骤S93的进行拍摄的时刻和控制信息(下次的拍摄时刻的预定时刻)，来计算这次的拍摄时刻与下次的拍摄时刻之间拍摄的记录用图像的记录时刻。其中，如图11所示，配置一个或多个记录时刻，使得将从这次的拍摄时刻T1的实际的时刻到下次的拍摄时刻T2的预定时刻为止的时间差中减去规定的余量后的时间进行等分。此外，设定余量是考虑到下次的拍摄时刻可能由于某些原因从预定时刻偏离。余量的幅度例如只要设定为此次拍摄时刻与下次的拍摄时刻之间的时间间隔的百分之几左右即可。
如果从步骤S93的拍摄时刻的经过时间达到在步骤S96确定的记录时刻(步骤S97的YES)，则照相机控制部130控制照相机10进行记录用图像的拍摄(步骤S98)。此后的处理与上述的实施方式的处理相同。
根据如上所述的方法，通过基于编码器数值来确定检查用图像的拍摄时刻和记录用图像的记录时刻，可以比上述实施方式的方法更精确地匹配图像的视野。
＜其他＞
以上实施方式仅仅是为了说明本公开的结构而采用的示例性实施方式。本发明不限于上述的具体的实施方式，能够在不脱离其技术思想的情况下进行各种变更。例如在上述实施方式中，以拍摄图像的时间间隔尽可能恒定的方式确定记录时刻，但是拍摄图像的时间间隔也可以不均一。另外，在上述实施方式中，虽然将图像数据保存在控制装置13内，但图像数据可以保存在图像处理装置12内，也可以存储在外部装置或云服务器等中。另外，在上述实施方式中，固定工件W而使照相机10移动，但也可以使工件W移动，还可以使工件W和照相机10两者都移动。在图12A～图12C中，示出了关于工件W与照相机10相对移动的其他的结构例。图12A是固定工件W而使照相机10移动的结构，代替垂直多关节机器人而使用4轴(x，y，θ1，θ2)的正交机器人的例子。图12B是固定照相机10，通过6轴(x，y，z，θ1，θ2，θ3)的垂直多关节机器人11使工件W移动的结构。另外，图12C是使工件W和照相机10两者都移动的例子。即，通过将工件W设置在1轴(θ3)的旋转台120上，能够改变工件W的朝向，同时通过5轴(x，y，z，θ1，θ2)的机器人11能够改变照相机10的姿势。此外，图2和图12A～图12C所示的结构仅是一个例子，如果是能够使工件W和照相机10中的一方或者两者移动，则可以采用任何的结构。另外，图6～图8仅是显示的一个例子，显示项目、显示方法等只要是合适的设计即可。
＜附录＞
(1)一种图像检查***(1)，其特征在于，具有：
摄像单元(10)，用于拍摄检查对象物(W)；
移动单元(11)，通过使所述检查对象物(W)和所述摄像单元(10)中的至少一方移动，从而改变所述摄像单元(10)相对于所述检查对象物(W)的视点的位置；
存储单元(132)，存储用于规定所述视点相对于所述检查对象物(W)的移动路径以及在所述移动路径上执行所述检查对象物(W)的拍摄的多个拍摄时刻的控制信息；
控制单元(130、131)，通过根据所述控制信息来控制所述移动单元(11)和所述摄像单元(10)，获取在所述多个拍摄时刻中的每个时刻的视点的多个检查用图像；以及
检查单元(12)，使用所述多个检查用图像来执行所述检查对象物(W)的检查。
所述控制单元(130、131)进行控制，以使在所述移动路径上，在与所述多个拍摄时刻中的任意一个均不同的时刻、即多个记录时刻，由所述摄像单元(10)执行拍摄，从而获取在所述多个记录时刻中的每个时刻的视点的多个记录用图像。

Claims (14)

1.一种图像检查***，其特征在于，
包括：
摄像单元，用于拍摄检查对象物；
移动单元，通过使所述检查对象物和所述摄像单元中的至少一方移动，来改变所述摄像单元相对于所述检查对象物的视点的位置；
存储单元，存储用于规定所述视点相对于所述检查对象物的移动路径以及在所述移动路径上执行对所述检查对象物的拍摄的多个拍摄时刻的控制信息；
控制单元，通过根据所述控制信息来控制所述移动单元和所述摄像单元，从而获取在所述多个拍摄时刻中的每个时刻的视点的多个检查用图像；以及
检查单元，使用所述多个检查用图像来执行对所述检查对象物的检查，
所述控制单元进行控制，以使在所述移动路径上，在与所述多个拍摄时刻中的任意一个均不同的时刻、即多个记录时刻，由所述摄像单元执行拍摄，从而获取所述多个记录时刻中的每个时刻的视点的多个记录用图像。
2.根据权利要求1所述的图像检查***，其特征在于，
具有记录时刻确定单元，该记录时刻确定单元基于所述控制信息，来确定所述多个记录时刻，以使一个或多个所述记录时刻配置于所述检查用图像的所述拍摄时刻之间，
所述控制单元根据由所述记录时刻确定单元确定的所述多个记录时刻来获取所述多个记录用图像。
3.根据权利要求2所述的图像检查***，其特征在于，
所述记录时刻确定单元将一个或多个所述记录时刻配置于在时间上将时间轴上相邻的两个所述拍摄时刻之间进行等分的点。
4.根据权利要求2所述的图像检查***，其特征在于，
当在某个拍摄时刻获取检查用图像时，所述记录时刻确定单元将一个或多个所述记录时刻配置于将从该拍摄时刻到下次预定的拍摄时刻为止的时间差中减去规定的余量后的时间进行等分的点。
5.根据权利要求2至4中任一项所述的图像检查***，其特征在于，
所述记录时刻确定单元配置所述记录时刻，以使所述拍摄时刻与所述记录时刻之间的时间间隔长于所述摄像单元获取所述检查用图像所需的时间。
6.根据权利要求1至5中任一项所述的图像检查***，其特征在于，
所述记录用图像是比所述检查用图像的数据尺寸小的图像。
7.根据权利要求1至6中任一项所述的图像检查***，其特征在于，
所述记录用图像与所述检查用图像相比，是所述摄像单元获取图像所需的时间更短的图像。
8.根据权利要求1至7中任一项所述的图像检查***，其特征在于，
具有输出单元，该输出单元按照时间顺序显示所述多个检查用图像和所述多个记录用图像。
9.根据权利要求8所述的图像检查***，其特征在于，
所述输出单元在时间上关联显示控制时序图、所述多个检查用图像以及所述多个记录用图像，
该控制时序图在时间轴上示出所述视点的控制、所述拍摄时刻以及所述记录时刻。
10.根据权利要求8或9所述的图像检查***，其特征在于，
所述输出单元以能够比较的方式显示作为所述检查对象物的图像的第一图像和作为在所述第一图像的拍摄时刻所期望的视野的图像的第二图像。
11.根据权利要求10所述的图像检查***，其特征在于，
所述输出单元在所述第一图像与所述第二图像之间的差异满足规定的条件的情况下进行通知。
12.一种图像检查***的控制方法，
所述图像检查***具有：
摄像单元，用于拍摄检查对象物；
移动单元，通过使所述检查对象物和所述摄像单元中的至少一方移动，来改变所述摄像单元相对于所述检查对象物的视点的位置；以及
存储单元，存储用于规定所述视点相对于所述检查对象物的移动路径以及在所述移动路径上执行对所述检查对象物的拍摄的多个拍摄时刻的控制信息，
所述图像检查***的控制方法的特征在于，包括如下步骤：
通过根据所述控制信息来控制所述移动单元和所述摄像单元，从而获取在所述多个拍摄时刻中的每个时刻的视点的多个检查用图像，并且，通过进行控制，以使在所述移动路径上，在与所述多个拍摄时刻中的任意一个均不同的时刻、即多个记录时刻，由所述摄像单元执行拍摄，从而获取所述多个记录时刻中的每个时刻的视点的多个记录用图像的步骤；以及
使用所述多个检查用图像来执行对所述检查对象物的检查的步骤。
13.一种程序，其中，
用于在所述图像检查***所具有的处理器上执行权利要求12所述的图像检查***的控制方法的各步骤。
14.一种存储介质，其中，
存储有权利要求13所述的程序。
CN201910405641.8A 2018-06-12 2019-05-16 图像检查***以及其控制方法 Active CN110596115B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018112066A JP7077807B2 (ja) 2018-06-12 2018-06-12 画像検査システム及びその制御方法
JP2018-112066 2018-06-12

Publications (2)

Publication Number Publication Date
CN110596115A true CN110596115A (zh) 2019-12-20
CN110596115B CN110596115B (zh) 2022-03-18

Family

ID=68852575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405641.8A Active CN110596115B (zh) 2018-06-12 2019-05-16 图像检查***以及其控制方法

Country Status (2)

Country Link
JP (1) JP7077807B2 (zh)
CN (1) CN110596115B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684724A (zh) * 2023-05-19 2023-09-01 中科慧远视觉技术（洛阳）有限公司 工件图像采集控制方法、装置、工件检测设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7126285B1 (ja) * 2021-09-17 2022-08-26 上野精機株式会社 電子部品の処理装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2952712A1 (de) * 1979-12-29 1981-07-02 Estel Hoesch Werke Ag, 4600 Dortmund Vorrichtung zur erkennung von fehlern
DE102005010552A1 (de) * 2005-03-04 2006-09-07 Isra Glass Vision Gmbh Vorrichtung und Verfahren zur Detektion von Fehlern auf bewegten Gegenständen
JP2007192597A (ja) * 2006-01-17 2007-08-02 Saki Corp:Kk 被検査体の検査装置
CN101023447A (zh) * 2004-06-09 2007-08-22 科格内克斯科技及投资公司 用于对象的检查和视觉检测的方法和装置
JP2007266703A (ja) * 2006-03-27 2007-10-11 Matsushita Electric Ind Co Ltd 表示制御装置
CN101487934A (zh) * 2009-02-10 2009-07-22 友达光电股份有限公司 光学检测装置及光学检测方法
CN101803364A (zh) * 2007-06-29 2010-08-11 佳能株式会社 摄像设备和方法
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
WO2014045508A1 (ja) * 2012-09-18 2014-03-27 日本電気株式会社 検査装置、検査方法、および検査プログラム
CN103994728A (zh) * 2013-02-19 2014-08-20 株式会社安川电机 物体检测装置及机器人***
CN105793695A (zh) * 2013-10-03 2016-07-20 瑞尼斯豪公司 用相机探头探查物体的方法
CN105872357A (zh) * 2015-02-09 2016-08-17 佳能株式会社 图像处理方法和装置***
CN105973909A (zh) * 2015-03-10 2016-09-28 欧姆龙株式会社 片材检查装置
CN106546594A (zh) * 2016-11-14 2017-03-29 大连海事大学 一种二冲程内燃机气缸内部可视化检查及缸径测量设备
CN106556603A (zh) * 2015-09-30 2017-04-05 佳能株式会社 检查装置和物品制造方法
CN107533024A (zh) * 2015-04-06 2018-01-02 三菱电机株式会社 非破坏检查***及临界点检测***
CN107561082A (zh) * 2016-06-30 2018-01-09 欧姆龙株式会社 检查***
WO2018066576A1 (ja) * 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3617159B2 (ja) * 1995-12-22 2005-02-02 神鋼電機株式会社 検査装置
JP6750841B2 (ja) * 2015-06-26 2020-09-02 キヤノン株式会社 検査方法、検査装置、処理装置、プログラム及び記録媒体

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2952712A1 (de) * 1979-12-29 1981-07-02 Estel Hoesch Werke Ag, 4600 Dortmund Vorrichtung zur erkennung von fehlern
CN101023447A (zh) * 2004-06-09 2007-08-22 科格内克斯科技及投资公司 用于对象的检查和视觉检测的方法和装置
DE102005010552A1 (de) * 2005-03-04 2006-09-07 Isra Glass Vision Gmbh Vorrichtung und Verfahren zur Detektion von Fehlern auf bewegten Gegenständen
JP2007192597A (ja) * 2006-01-17 2007-08-02 Saki Corp:Kk 被検査体の検査装置
JP2007266703A (ja) * 2006-03-27 2007-10-11 Matsushita Electric Ind Co Ltd 表示制御装置
CN101803364A (zh) * 2007-06-29 2010-08-11 佳能株式会社 摄像设备和方法
CN101487934A (zh) * 2009-02-10 2009-07-22 友达光电股份有限公司 光学检测装置及光学检测方法
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
WO2014045508A1 (ja) * 2012-09-18 2014-03-27 日本電気株式会社 検査装置、検査方法、および検査プログラム
CN103994728A (zh) * 2013-02-19 2014-08-20 株式会社安川电机 物体检测装置及机器人***
CN105793695A (zh) * 2013-10-03 2016-07-20 瑞尼斯豪公司 用相机探头探查物体的方法
CN105872357A (zh) * 2015-02-09 2016-08-17 佳能株式会社 图像处理方法和装置***
CN105973909A (zh) * 2015-03-10 2016-09-28 欧姆龙株式会社 片材检查装置
CN107533024A (zh) * 2015-04-06 2018-01-02 三菱电机株式会社 非破坏检查***及临界点检测***
CN106556603A (zh) * 2015-09-30 2017-04-05 佳能株式会社 检查装置和物品制造方法
CN107561082A (zh) * 2016-06-30 2018-01-09 欧姆龙株式会社 检查***
WO2018066576A1 (ja) * 2016-10-06 2018-04-12 川崎重工業株式会社 外観検査方法
CN106546594A (zh) * 2016-11-14 2017-03-29 大连海事大学 一种二冲程内燃机气缸内部可视化检查及缸径测量设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIKMAT ULLAH: "基于轮廓变换和模糊逻辑的多模式医学图像融合", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
卢荣胜 等: "自动光学(视觉)检测技术及其在缺陷检测中的应用综述", 《光学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684724A (zh) * 2023-05-19 2023-09-01 中科慧远视觉技术（洛阳）有限公司 工件图像采集控制方法、装置、工件检测设备和存储介质
CN116684724B (zh) * 2023-05-19 2024-04-09 中科慧远视觉技术（洛阳）有限公司 工件图像采集控制方法、装置、工件检测设备和存储介质

Also Published As

Publication number Publication date
JP2019215225A (ja) 2019-12-19
CN110596115B (zh) 2022-03-18
JP7077807B2 (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
US5627586A (en) Moving body detection device of camera
KR102086884B1 (ko) 로봇 제어 장치 및 로봇 제어 방법
JP6703279B2 (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
JP2011163766A (ja) 画像処理方法および画像処理システム
JP6053119B2 (ja) マシンビジョン検査システムおよびその位置測定結果の決定方法
CN110596115B (zh) 图像检查***以及其控制方法
US20160173765A1 (en) Image-capturing apparatus which controls image-capturing direction
WO2009085173A1 (en) System and method for performing multi-image training for pattern recognition and registration
JP2012185684A (ja) 対象物検出装置、対象物検出方法
JP2011211678A (ja) 画像処理装置および画像処理プログラム
CN112566758A (zh) 机器人控制装置、机器人控制方法及机器人控制程序
US10395360B2 (en) Inspection system, controller, inspection method, and inspection program
JPH05196432A (ja) 三次元座標計測装置
US20080008381A1 (en) Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof
JP7074617B2 (ja) 撮影タイミング制御装置、撮像システムおよび撮像方法
CN115244576A (zh) 图像处理装置、作业指示生成***、作业指示生成方法
JP7151873B2 (ja) 検査装置
US20170161904A1 (en) Image measurement device and controlling method of the same
Вагаш et al. INDUSTRIAL VISION SYSTEM FOR OBJECT DETECTION
JP7440975B2 (ja) 撮像装置と識別方法
WO2022239123A1 (ja) 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法
JP2023047715A (ja) 撮像システム、撮像方法及びプログラム
US11636382B1 (en) Robotic self programming visual inspection
CN107948497A (zh) 用于优化视场的***、方法和装置
JP2000121337A (ja) 画像補正方法および画像補正装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant