CN104103069B - 图像处理装置、图像处理方法及记录介质 - Google Patents

图像处理装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN104103069B
CN104103069B CN201410138793.3A CN201410138793A CN104103069B CN 104103069 B CN104103069 B CN 104103069B CN 201410138793 A CN201410138793 A CN 201410138793A CN 104103069 B CN104103069 B CN 104103069B
Authority
CN
China
Prior art keywords
edge
image processing
change direction
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410138793.3A
Other languages
English (en)
Other versions
CN104103069A (zh
Inventor
加藤豊
木内豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104103069A publication Critical patent/CN104103069A/zh
Application granted granted Critical
Publication of CN104103069B publication Critical patent/CN104103069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供一种在使用了计测对象物的形状特征的图案匹配中,能够允许该计测对象物的局部形状变形的图像处理装置。模型由从模型图像提取的边缘上的多个第一位置和各第一位置的边缘的变化方向规定。图像处理装置(100)计算与模型图像边缘上的第一位置对应的输入图像的第二位置边缘的变化方向。图像处理装置(100)接受与边缘的变化方向的容许值相关的指示。图像处理装置(100)根据所接受的指示、第一位置边缘的变化方向以及第二位置边缘的变化方向,计算第一位置和对应于该第一位置的第二位置之间的类似度。图像处理装置(100)根据在多个第二位置计算出的类似度判断输入图像的特定区域是否与模型类似。

Description

图像处理装置、图像处理方法及记录介质
技术领域
本发明涉及从输入图像检索与事先登录的模型类似的区域的图像处理 装置、图像处理方法及记录介质。
背景技术
以往,在FA(Factory Automation:工业自动化)领域等中,针对拍摄 了计测对象物(下面,也称为“工件”)的输入图像,采用基于事先登录图 案(下面,也称为“模型”)的检索处理(下面,也称为“图案匹配处理”)。 通过这种图案匹配处理,能够检测工件上显现的损伤、灰尘等缺陷,或能够 搜索出与模型类似的工件上的区域。
作为这种图案匹配处理的方法,已知有:在输入图像中提取浓淡值(亮 度)发生变化的部分(下面,也称为“边缘(部分)”),并根据表示边缘 变化方向的值(下面,也称为“边缘代码”或者“EC(Edge Code)”)进 行图案匹配的方法。例如,参照日本特开2002-230549号公报(专利文献1)。
另外,该专利文献1公开了基于评分(score)累计值的阈值处理所进行 的图案匹配处理。具体而言,在该图案匹配处理中,用像素单位计算出表示 模型数据中的各像素与对应像素之间的边缘代码的一致程度的评分并将其 累计值作为类似度,在输入图像中扫描模型数据并求出类似度的最大值,根 据该最大值是否超过规定阈值来判断输入图像中是否存在与模型匹配的区 域。
通过使用这种边缘代码,即使拍摄输入图像时有影响(例如,影子的反 射及照明不均匀),也能够准确地搜索与模型一致的区域。
而且,以往,根据与模型一致的区域的搜索结果,来计算模型与计测对 象物整体的一致程度。另外,以往,根据该计算出的一致程度和事先规定的 阈值来判断计测对象物的优劣。
现有技术文献
专利文献
专利文献1:特开2002-230549号公报
发明内容
发明要解决的课题
但是,以往的技术中会出现如下问题:当针对希望允许计测对象物局部 形状的变形这一要求,一旦降低类似度(评分的累计值)的阈值时,则错误 地允许形状与模型不一致的对象物的危险性增大。
本申请发明是鉴于上述问题而提出的,其目的在于,提供一种在采用计 测对象物的形状特征的图案匹配中,能够允许该对象物的局部形状的变形的 图像处理装置、图像处理方法及程序。
用于解决课题的手段
根据本发明的一个方面,图像处理装置从输入图像检索与事先登录的模 型类似的区域。模型由从模型图像提取的边缘上的多个第一位置和各个所述 第一位置的边缘的变化方向来规定。图像处理装置具有:第一计算单元,其 计算与第一位置对应的输入图像的第二位置的边缘的变化方向;接受单元, 其接受与边缘的变化方向的容许值相关的指示;第二计算单元,其根据所接 受的指示、第一位置的边缘的变化方向、第二位置的边缘的变化方向,计算 第一位置和对应于该第一位置的第二位置之间的类似度;以及第一判断单元, 其根据在多个第二位置计算出的类似度,判断输入图像的特定区域是否与模 型类似。
优选地,对图像处理装置的接受单元而言,作为所述指示,接受用于指 定下述多个数据中的任意一个的指示,所述多个数据是在表示两个边缘的变 化方向的不同的信息和该两个边缘的类似度之间建立了关联的数据。
优选地,图像处理装置还具有事先存储了多个数据的存储单元。
优选地,多个数据的每一个以两个边缘的变化方向的角度差越大两个边 缘的一致程度越小的方式,在角度差和类似度之间建立关联。类似度对角度 差的关联在多个数据间各不相同。图像处理装置还具有第三计算单元,其针 对每一个第二位置计算第一位置的边缘的变化方向和对应于该第一位置的第 二位置的边缘的变化方向之间的角度差。第二计算单元根据所指定的数据和 计算出的角度差,计算第一位置和对应于该第一位置的第二位置之间类似度。
优选地,图像处理装置还具有第二判断单元,该第二判断单元针对每一 个第一位置判断与第一位置对应的第二位置是否属于输入图像的边缘区域。 在通过第二判断单元判断与第一位置对应的第二位置为属于输入图像的边缘 区域时,第一计算单元计算与第一位置对应的第二位置的边缘的变化方向。
优选地,图像处理装置还具有:第三判断单元,其根据第一位置和对应 于该第一位置的第二位置之间的类似度,判断该第一位置与该第二位置是否 类似;以及显示控制单元,其以互不相同的显示方式,与输入图像对应地在 显示器上显示与第一位置类似的第二位置和不与第一位置类似的第二位置。
优选地,图像处理装置还具有:第二判断单元,其针对每个第一位置判 断与第一位置对应的第二位置是否属于所述输入图像的边缘区域;以及显示 控制单元,其以互不相同的显示方式,与输入图像对应地在显示器上显示属 于输入图像的边缘区域的第二位置和不属于输入图像的边缘区域的第二位 置。
优选地,上述显示方式为颜色。
优选地,各个第一位置是通过对模型图像的边缘上的点进行采样而得到 的位置。
根据本发明的其他方面,提供一种图像处理方法,用于从输入图像检索 与事先登录的模型类似的区域。模型由从模型图像提取的边缘上的多个第一 位置和各个第一位置的边缘的变化方向来规定。图像处理方法包括:计算边 缘变化方向的步骤,其计算与第一位置对应的输入图像的第二位置的边缘的 变化方向;指示接受步骤,其接受与边缘的变化方向的容许值相关的指示; 类似度计算步骤,其根据所接受的指示、第一位置的边缘的变化方向和第二 位置的边缘的变化方向,计算第一位置和对应于该第一位置的第二位置之间 的类似度;以及判断步骤,其根据多个第二位置计算出的类似度,判断输入 图像的特定区域是否与模型类似。
本发明又一其他方面,提供一种程序,其控制从输入图像检索与事先登 录的模型类似的区域的图像处理装置。模型由从模型图像提取的边缘上的多 个第一位置和各个第一位置的边缘的变化方向来规定。程序使图像处理装置 的处理器执行如下步骤:计算边缘变化方向的步骤,其计算与第一位置对应 的输入图像的第二位置的边缘的变化方向;指示接受步骤,其接受与边缘的 变化方向的容许值相关的指示;类似度计算步骤,其根据所接受的指示、第 一位置的边缘的变化方向和第二位置的边缘的变化方向,计算第一位置和对应于该第一位置的第二位置之间的类似度;以及判断步骤,其根据多个第二 位置中计算出的类似度,判断输入图像的特定区域是否与模型类似。
发明的效果
根据本发明,能够在采用计测对象物的形状特征的图案匹配中,允许该 对象物的局部形状的变形。
附图说明
图1是表示包括图像处理装置的视觉传感器***的整体结构的概略图。
图2是图像处理装置的概略结构图。
图3是用于说明模型登录处理中处理流程的流程图。
图4是表示通过模型登录处理的各个处理而生成的图像的图。
图5是用于说明计测处理的全部流程的流程图。
图6是表示通过计测处理的处理而生成的图像的图。
图7是用于说明图5的步骤S106的搜索处理的处理流程的流程图。
图8是用于说明采样点、对应点、边缘的变化方法和角度差的图。
图9是表示CPU计算一致程度时利用的数据的图。
图10是用于说明模型图像和输入图像之间的不同的图。
图11是用于说明输入图像中与模型一致的部分及与模型不一致的部分 的图。
图12是用于说明输入图像中与模型一致的部分及与模型不一致的部分 的图。
图13是用于说明图像处理装置的功能结构的框图。
图14是表示在设定模式下图像处理装置提供的用户接口画面的一个例 子的图。
图15是表示在计测模式下图像处理装置提供的用户接口画面的一个例 子的图。
图16是表示从图15转变后的用户接口画面的一个例子的图。
图17是表示在计测模式下图像处理装置提供的用户接口画面的其他例 子的图。
图18是表示从图17转变的用户接口画面的一个例子的图。
图19是用于说明边缘代码及边缘代码图像的计算处理的图。
附图标记的说明
1 视觉传感器***
2 工件
4 光电传感器
4a 受光部
4b 投光部
5 PLC
6 搬送机构
8 拍摄装置
100 图像处理装置
102 显示器
104 鼠标
110 CPU
112 主存储器
114 硬盘
116 摄像机接口
116a 图像缓存
120 显示控制器
124 通信接口
250、1501、1701 图像显示区
252 全部显示区
260 计测条件设定区
270 判断条件设定区
310 模型图像
351、351a、351b、351c、351d 采样点
320、520 边缘提取图像
330 细线化边缘图像
340、520 边缘图像
350 模型
510 输入图像
551a、551b、551c 对应点
900 框
1010 控制部
1020 存储部
1101 接受部
1102 边缘提取部
1103 位置判断部
1104 方向判断部
1105 角度差计算部
1106 一致程度计算部
1107 特定部
1108 优劣判断部
1109 显示控制部
1400、1500、1600、1700 用户接口画面
具体实施方式
在本发明的实施方式中,参照附图进行详细说明。此外,针对图中的相 同或相当的部分,标注相同的附图标记,并不重复进行说明。
<A.***结构>
图1是表示包括本发明的实施方式的图像处理装置100的视觉传感器系 统1的整体结构的概略图。
参照图1,视觉传感器***1安装在生产线等中,使用事先登录的模型 (其中,如后述使用“边缘代码图像”)对工件2执行图案匹配处理。
在视觉传感器***1中,工件2由传送带等搬送机构6搬运,并由拍摄 装置8在规定的时间点拍摄所搬运的工件2。作为一个例子,拍摄装置8除 了包括透镜等光学***,还包括CCD(Coupled Charged Device:电荷耦合元 件)或CMOS(Complementary Metal OxideSemiconductor:互补金属氧化物 半导体)传感器等划分多像素的拍摄元件。此外,还可以设置照明机构,对 由拍摄装置8拍摄的工件2照射光。
拍摄装置8拍摄而得到的图像(下面,也称作“输入图像”)被传输至 图像处理装置100。图像处理装置100对从该拍摄装置8接受的输入图像执 行图案匹配处理,并将其结果显示在所连接的显示器102上,或将其结果输 出至外部装置。
由配置在搬送机构6两端的光电传感器4来检测工件2(是否)已到达 拍摄装置8的视场内。具体而言,光电传感器4包括配置在同一光轴上的受 光部4a和投光部4b,由受光部4a检测出从投光部4b出射的光被工件2遮 挡,从而检测出工件2的到达。该光电传感器4的触发信号向PLC (Programmable Logic Controller:可编程序逻辑控制器)5输出。
PLC5从光电传感器4等接受触发信号,并且对搬送机构6进行控制。
图像处理装置100具有:计测模式,用于对工件2执行各种图像处理; 设定模式,用于进行后述的模型登录处理等。这些模式能够由用户通过操作 鼠标104等进行切换。
就图像处理装置100而言,典型的是具有通用结构的计算机,通过执行 预先安装的程序(指令代码),从而提供后述的各种功能。就这样的程序而 言,典型的以装在存储卡106等中的状态流通。
在使用这样的通用的计算机的情况下,除了安装用于提供本实施方式的 功能的应用程序之外,还可以安装有用于提供计算机基本功能的OS (Operating System:操作***)。此时,本实施方式的程序可以是在作为 OS的一部分而提供的程序模块中,按规定排列方式在规定时间点(时机)调 用所需的模块,从而执行处理的程序。即,本实施方式的程序本身也可以不 包含上述的模块,而是与OS联动执行处理。作为本实施方式的程序。也可 以是这样一部分不含模块的形式。
进而,本实施方式的程序也可以嵌入其它程序的一部分中来提供。此时, 在程序本身中,也不含有上述那样组合的其它程序所包含的模块,而是与该 其它程序联动而执行处理。即,作为本实施方式的程序,也可以是这样嵌入 其它程序的形式。此外,将通过执行程序而提供的功能的一部分或全部,也 可以安装为专用的硬件电路。
图2是本发明的实施方式的图像处理装置100的概略示意图。参照图2, 图像处理装置100包括:作为计算处理部的CPU(Central Processing Unit: 中央处理器)110、作为存储部的主存储器112以及硬盘114、摄像机接口116、 输入接口118、显示控制器120、PLC接口122、通信接口124、数据读写器 126。这些各部件通过总线128而连接,能够相互进行数据通信。
CPU110将存储在硬盘114中的程序(代码)展开在主存储器112中, 按规定顺序执行这些程序,从而实施各种计算。主存储器112典型的是DRAM (Dynamic Random AccessMemory:动态随机存取存储器)等的易失性的存 储装置,除了保存从硬盘114读取的程序之外,还保存由拍摄装置8取得的 图像数据、工件数据、与模型相关的信息等。进而,硬盘114也可以存储各 种设定值等。此外,也可以在硬盘114的基础上,或者取代硬盘114,而采 用闪存器等的半导体存储装置。
摄像机接口116是CPU110与拍摄装置8之间的数据传送中介。即,摄 像机接口116与拍摄装置8相连接,该拍摄装置8用于拍摄工件2而生成图 像数据。更具体而言,摄像机接口116能够连接一个以上的拍摄装置8,并 且具有图像缓存116a,该图像缓存116a用于暂时蓄积存储来自拍摄装置8 的图像数据。并且,如果图像缓存116a中蓄积了规定帧数的图像数据,则摄 像机接口116将所蓄积的数据传送至主存储器112。另外,摄像机接口116 按照CPU110产生的内部指令,对拍摄装置8发出拍摄指令。
输入接口118是CPU110与鼠标104、键盘、触摸板等的输入部之间的 数据传送的中介。即,输入接口118接受用户操作输入部而发出的操作指令。
显示控制器120与作为显示装置的典型例子的显示器102相连接,通知 用户CPU110的图像处理结果等。即,显示控制器120与显示器102连接, 控制该显示器102上的显示。
PLC接口122是CPU110与PLC5之间的数据传送的中介。更具体而言, PLC接口122将由PLC5控制的生产线的状态信息、工件信息等传送至 CPU110。
通信接口124是CPU110与控制台(或者,个人计算机、服务器装置) 等之间的数据传送的中介。通信接口124典型的由以太网(注册商标)、USB (Universal Serial Bus:通用串行总线)等构成。此外,如后述,可以取代将 存储在存储卡106中的程序安装到图像处理装置100的方式,而通过通信接 口124将从配信服务器等下载的程序安装到图像处理装置100中。
数据读写器126是CPU110与作为存储介质的存储卡106之间的数据传 送的中介。即,在存储卡106中存储了由图像处理装置100执行的程序等的 状态下流通,数据读写器126从该存储卡106读取程序。另外,数据读写器 126响应于CPU110的内部指令,将由拍摄装置8取得的图像数据和/或图像 处理装置100中的处理结果等写入存储卡106。此外,存储卡106由CF (Compact Flash:快闪存储)卡、SD(Secure Digital:安全数字)卡等的通 用的半导体存储设备、软盘(Flexible Disk)等的磁存储介质、CD-ROM (Compact Disk Read OnlyMemory:只读光盘)等的光学存储介质等构成。
另外,图像处理装置100也可以根据需要而与打印机等的其它输出装置 连接。
<B.模型登录处理>
图3是用于说明模型登录处理的处理流程的流程图。即,图3是表示用 于生成模型的处理流程的流程图。
参照图3,在步骤S2中,图像处理装置100的CPU110获取拍摄装置8 拍摄应作为基准的工件2而得到的模型图像。在步骤S4中,CPU110从模型 图像提取边缘,生成边缘提取图像。即,CPU110针对模型图像的全部像素, 通过公知的过滤处理计算边缘的强度,并作为边缘点提取该边缘强度超过规 定阈值的像素。另外,针对提取的全部边缘点,CPU110通过专利文献1所 示的方法来计算表示边缘的变化方向的边缘代码。
在本实施方式中,作为表示边缘变化方向的值的一个例子,作为边缘代 码(边缘方向/边缘角度)计算边缘的切线方向。图19是用于说明本发明的 实施方式的边缘代码及边缘代码图像的计算处理的图。特别是,图19(a) 显示了计算各边缘点的边缘代码的方法,图19(b)显示了边缘代码图像的 数据结构的一个例子。
针对如图19(a)所示的图像,考虑在B方向上扫描而进行边缘提取处 理。此外,在边缘提取处理中,对于B方向存在的各个像素,根据该像素的 浓淡值及其周边像素的浓淡值检测边缘强度,提取相对于B方向的边缘强度 的分布图的极大值作为边缘。
在图19(a)所示的例子中,作为边缘EDG的一部分,提取具有坐标位 置E(x,y)的边缘点。并且,根据所提取的坐标位置E(x,y)的周边像 素的浓淡值等,判断边缘EDG向哪个方向连续。简单讲,计算出构成边缘 EDG的坐标位置E(x,y)的边缘点的切线矢量C。作为边缘代码,计算该 切线矢量C与基准矢量(图19(a)所示例子中为B方向)所形成的角度Ec (x,y)。此外,可以将该角度Ec(x,y)的有效范围定义为0°~360°(或 者,-180°~180°),也可以将该角度Ec(x,y)的有效范围定义为0°~180°。 在后者的情况下,为切线矢量C与基准矢量所形成的角度差的绝对值。
此外,作为替代方法,也可以计算所提取的边缘中濃淡的变化方向,以 作为边缘代码。在该情况下,与图19(a)所示切线矢量C相垂直的方向为 边缘代码。
在步骤S6中,CPU110将提取的边缘细线化,生成细线化边缘图像。详 细地说,针对提取的全部边缘,CPU110以仅留下比该边缘的两个邻接的边 缘强度更大的边缘的方式,将边缘提取图像细线化,从而生成细线化边缘图 像。
在步骤S8中,CUP110连接细线化处理后的边缘。具体而言,CPU110 连接相邻边缘中边缘的变化方向的角度差在一定值以内的边缘,从而将边缘 分组。
在步骤S10中,CPU110针对所连接的边缘进行噪音消除处理,从而生 成消除噪音后的边缘图像。具体而言,CPU110从通过连接获得的多个组中 消除构成边缘的数不足五个的组,从而生成消除噪音后的边缘图像。
在步骤S12中,CPU110对消除噪音后的边缘图像进行采样处理。具体 而言,CPU110针对未被消除的多个组,等间隔地配置模型点,从而生成模 型。
生成的模型至少由已提取的边缘上的多个位置和各个该位置的边缘的变 化方向来规定。作为一个例子,模型至少由通过等间隔地对所提取的边缘上 的点进行采样而得到的多个采样点(采样位置)和各个采样点的边缘的变化 方向来规定。此外,所生成的模型存储在主存储器112中。
图4是表示通过模型登录处理的各个处理而生成的图像的图。下面,针 对图4所示各图像A~E,对应图3的各个步骤进行说明。
参照图4,图像A表示通过拍摄工件2而得到的模型图像310。即,图 像A表示通过图3中的步骤S2的处理而得到的图像。模型图像310包括与 在工件2表面描绘的十字形标记对应的区域311。图像B是用于说明边缘提 取图像320的图像。即,图像B表示通过图3的步骤S4的处理而得到的图 像。边缘提取图像320包括作为边缘点集合的边缘区域321。
图像C表示细线化边缘图像330。即,图像C表示通过图3的步骤S6 的处理后得到的图像。图像D是用于说明消除噪音后的边缘图像340的图像。 即,图像D表示通过图3的步骤S10的处理而得到的图像。
图像E是用于说明根据模型图像310生成的模型350的图像。即,图像 E示意地表示通过图3的步骤S12的处理而得到的数据。模型350包括多个 采样点351。此外,为了方便说明,将多个采样点351中的一部分即四个采 样点分别称作采样点351a、351b、351c、351d。
<C.计测处理>
在图案匹配处理中,不仅以一致程度,还以不一致程度、差异程度或者 距离等概念来计算类似的程度(类似度)。下面,作为类似度的一个例子, 对使用一致程度的结构进行说明。此外,一致程度是表示作为比较对象的两 个事物之间没有不同点的程度。
图像处理装置100在模型登录处理结束后进行处理,以在作为计测对象 的工件的图像(输入图像)中确定与所登录的模型一致的区域。
(c1.全部处理的流程)
图5是用于说明计测处理的全部流程的流程图。参照图5,在步骤S102 中,CPU110获取由拍摄装置8拍摄作为计测对象的工件而得到的图像(输 入图像)。在步骤S104中,CPU110从输入图像提取边缘,生成边缘提取图 像。另外,计算生成的边缘提取图像的各个边缘点的边缘代码。在步骤S106 中,CPU110从输入图像搜索(检索)与模型一致的区域,从而在输入图像 中确定与模型一致的区域。
在步骤S108中,CPU110根据搜索结果,计算模型与输入图像的一致程 度。在步骤S110中,CPU110在显示器102上输出基于搜索处理的结果。关 于步骤S106的搜索处理的详细内容,在后面进行叙述(图7)。
此外,对拍摄计测对象工件2得到的输入图像,不进行细线化处理及消 除噪音处理。
图6是表示通过计测处理中的处理而生成的图像的图。下面,对图6所 示各个图像A~C,对应图5的步骤进行说明。
参照图6,图像A是表示拍摄计测对象工件2而得到的输入图像510的 图。即,图像A表示通过图5的步骤S102的处理而得到的图像。输入图像 510包括与在工件2表面描绘的十字形标记对应的图像511。另外,图像B 是用于说明作为计测对象的工件2的边缘提取图像520的图像。即,图像B 表示通过图5的步骤S104的处理而得到的图像。边缘提取图像520包括作 为边缘点集合的边缘区域521。
(c2.搜索处理)
图7是用于说明图5的步骤S106的搜索处理的处理流程的流程图。参 照图7,在步骤S602中,CPU110针对每个采样点351进行判断,判断与采 样点351对应的对应点是否属于从输入图像510提取的边缘提取区域521。 此外,关于对应点,在后面进行叙述(图8)。
在步骤S606中,CPU110针对每个对应点计算角度差,所述角度差是采 样点351的边缘代码和对应于该采样点351的边缘提取图像520上的对应点 的边缘代码之间的角度差。
在步骤S608中,CPU110根据事先选择的数据与上述计算出的角度差, 计算采样点351和对应于该采样点351的对应点之间的一致程度(部分一致 程度)。在步骤S610中,CPU110根据多个对应点的上述计算出的一致程度, 在输入图像510(正确地说,在边缘提取图像520)中确定与模型350一致的 部分。
图8是用于说明采样点、对应点、边缘的变化方法和角度差的图。参照 图8,(a)是模型350的示意图。如上所述,模型350至少由多个采样点351 和各个采样点的边缘代码规定。另外,图8(a)的各个箭头表示各个采样点 的边缘代码。
图8(b)是表示边缘提取图像520上的边缘区域521的对应点与该对应 点的边缘的变化方向的图。多个对应点中的对应点551a是与多个采样点351 中的采样点351a对应的点。同样,对应点551b是与采样点351b对应的点。 对应点551c是与采样点351c对应的点。不存在与采样点351d对应的边缘点。
另外,图像B的各个箭头表示对应点的边缘的变化方向。
如上所述,CPU110计算采样点351的边缘的变化方向和对应于该采样 点的对应点的边缘的变化方向之间的角度差。举个具体的例子,CPU110计 算采样点351a的边缘的变化方向和对应于采样点351a的对应点551a的边缘 的变化方向之间的角度差。此外,CPU110仅针对对应点属于边缘区域的采 样点351计算上述角度差。
图9是表示CPU110计算一致程度时所使用的数据D9的图。即,图9 是表示在图7的步骤S608的部分一致程度的计算处理中使用的数据的图。
参照图9,在数据D9中,表示一个采样点351与一个对应点之间的一致 程度的评分,与三种允许变形级别(高、中、低)的每一个及角度差(具体 为角度差的范围)一一对应。详细而言,数据D9包括多个数据D91、D92、 D93而构成。在多个数据D91、D92、D93的每一个中,表示两个边缘的变 化方向的不同的信息和该两个边缘的类似度之间建立起关联。
例如,表示允许变形级别为“高”的数据D91中,以两个边缘的变化方 向的角度差越大,该两个边缘的一致程度就越小的方式,在角度差与一致程 度之间建立关联。
另外,允许变形级别表示“中”的数据D92中,两个边缘的变化方向 的角度差越大,该两个边缘的一致程度越小,并且,一致程度相对于角度差 的关联,与数据D91不同。更详细而言,数据D92的多个范围(10°以上小 于20°、20°以上小于30°、30°以上小于40°、40°以上小于60°)中,评分设 定得比数据D91的评分低。即,表示:与数据D91相比,数据D92对对象物的局部形状变化的允许程度更严格。
另外,在允许变形级别为“低”的数据D93中,两个边缘的变化方向的 角度差越大,该两个边缘的一致程度就越小,并且,一致程度相对于角度差 的关联,与数据D91、D92不同。更详细而言,数据D93的多个范围(10° 以上小于20°、20°以上小于30°、30°以上小于40°、40°以上小于60°)中, 评分设定得比数据D91、92的评分低。即,表示:与数据D92相比,数据 D93对对象物的局部形状变化的允许程度更严格。
此外,图9所示数据D9是一个例子,表示数据的形式及一致程度的评 分值并不仅限于此。例如,也可以不像数据D9那样事先存储与角度差对应 的评分,而是接受角度差阈值的输入,仅在计测出的边缘代码与模型的边缘 代码之间的角度差小于该阈值时,评分为1并一直增加在计测对象整体的一 致程度上。
另外,图像处理装置100也可以使用事先规定的计算式生成数据D9 (D91、D92、D93)。在该情况下,图像处理装置100只要事先存储该计算 式以替代数据D9即可。
另外,图像处理装置100的CPU110根据来自用户的指示,读出数据D9l、 D92、D93中的一个数据,将该读出的数据用于下面两个一致程度的计算。
(I)边缘的变化方向的一致程度
对阈值Th1(例如,评分=50)以上的采样点351和对应于该采样点的对 应点,CPU110将其视为采样点351的边缘的变化方向和对应于该采样点的 对应点的边缘的变化方向一致。
例如,当采样点351的边缘的变化方向和对应于该采样点的对应点的边 缘的变化方向之间的角度差为25°时,若用户选择了允许变形级别“高”, 则评分为50。因此,阈值Th1以上,判断为两点的边缘的变化方向一致。另 一方面,当角度差为25°且用户选择允许变形级别“中”时,评分为40。因 此,小于阈值Th1,判断为两点的边缘的变化方向不一致。如此,即使角度 差相同,根据所使用的数据不同判断结果也不同。
当基于采样点351的边缘的变化方向和对应于该采样点的对应点的边缘 的变化方向之间的角度差的评分达到阈值Th1以上时,图像处理装置100判 断采样点351和对应于该采样点351的对应点一致。即,这种情况下,图像 处理装置100判断在采样点351的附近(包括采样点的局部线段),模型(模 型图像)和输入图像一致。另外,虽然详细内容后述,CPU110根据边缘的 变化方向的一致与否,变换表示计测结果的图像的显示方式。此外,在此判 断为一致的对象是方向。
(II)计测对象整体的一致程度
CPU110使用上述评分进一步计算计测对象整体的一致程度。CPU110针 对每个采样点351,利用所选择的允许变形级别的数据D9来求评分。CPU110 还计算评分的平均值。此外,当与采样点351对应的对应点不属于从输入图 像510提取的边缘提取区域521时,将该采样点351评分为0。
在上述平均值为事先规定的阈值Th2(例如,90)以上的情况下,CPU110 判断模型与作为计测对象的工件2一致。另一方面,在上述平均值小于阈值 Th2(例如,90)的情况下,CPU110判断模型与作为计测对象的工件2不一 致。举例说明如下。此外,图像处理装置100将评分的平均值用作计测对象 整体的一致程度。
设定采样点的数量为100个,对应点的数量为96个。另外,设定角度差 在0°以上且小于10°的数据为60个、角度差在10°以上且小于20°的数据为 30个、角度差在20°以上且小于30°的数据为6个。在该情况下,若选择允 许变形级别“高”,则平均值为(100×60+90×30+50×6+0×(100-96))÷100=90。 另外,若选择允许变形级别“中”,则平均值为(100×60+70×30+40×6+0× (100-96))÷100=83.4。
因此,在选择允许变形级别“高”的情况下,CPU110判断模型与作为 计测对象的工件2一致。另一方面,在选择允许变形级别“中”的情况下, CPU110判断模型与作为计测对象的工件2不一致。
(c3.显示处理)
图10是用于说明模型图像310与输入图像510的不同的图。参照图10, 图像A表示拍摄工件2得到的模型图像310和图4的边缘图像340的边缘部 分3401。图像B表示拍摄作为计测对象的工件2得到的输入图像510。与图 像A相比,图像B中,工件在区域P1中发生了变形。另外,区域P2中工件 的一部分有缺损。
下面,说明在这种情况下,图像处理装置100显示在显示器102上的图 像。此外,对实际显示在显示器102上的用户接口,将在后面进行叙述(图 14~图18)。
图11是用于说明输入图像510中与模型350一致的部分及不一致的部分 的图。具体而言,图11表示在用户选择根据图9说明的允许变形级别“低” 时的图像。
参照图11,图像处理装置100在显示器102上显示图像1100,所述图像 1100是在输入图像510上重叠线图像540而成,所述输入图像510是包括与 工件2对应的图像511的图像,所述线图像540由连接相邻对应点之间的线 段构成。图像处理装置100在显示线图像540时,以互不相同的方式在显示 器102上显示与模型350一致的部分和与模型350不一致的部分。更准确地 说,图像处理装置100在显示线图像540时,以互不相同的方式在显示器102 上显示连接与采样点351一致的对应点之间(相邻对应点之间)的线段和连 接与采样点351不一致的对应点之间(相邻对应点之间)的线段。
另外,关于与模型350不一致的部分,图像处理装置100还以互不相同 的方式在显示器102上显示不属于边缘区域的部分(即,连接不属于边缘区 域的对应点之间的线段)和属于边缘区域的部分(即,连接属于边缘区域的 对应点之间的线段)。
作为一个例子,图像处理装置100以互不相同的颜色在显示器102上显 示线图像540中与模型350一致的部分和与模型350不一致的部分541~545。 另外,关于与模型350不一致的部分541~545,图像处理装置100还以互不 相同的颜色在显示器102上显示对应点不属于边缘区域的部分541、542和对 应点属于边缘区域的部分543、544、545。
举具体例子来讲,图像处理装置100用第一颜色(例如,绿色)显示与 模型350一致的部分,用第二颜色(例如,红色)显示对应点不属于边缘区 域的部分541、542,用第三颜色(例如,黄色)显示对应点属于边缘区域的 部分543、544、545。此外,框900是表示计测对象区域的线。
图12是用于说明输入图像510中与模型350一致的部分及不一致的部分 的图。具体而言,图12表示在用户选择了根据图9说明的允许变形级别“高” 时的图像。
参照图12,图像处理装置100在显示器102上显示图像1200,所述图像 1200是在输入图像510上重叠线图像540而成的图像,所述输入图像510包 括与工件2对应的图像511。此时,正如在图11中已说明的那样,图像处理 装置100以互不相同的方式在显示器102上显示输入图像510中与模型350 一致的部分和与模型350不一致的部分。另外,关于与模型350不一致的部 分,图像处理装置100进一步以互不相同的方式在显示器102上显示对应点 不属于边缘区域的部分和对应点属于边缘区域的部分。
作为一个例子,图像处理装置100以互不相同的颜色在显示器102上显 示线图像540中与模型350一致的部分和与模型350不一致的部分542。另 外,关于与模型350不一致的部分,图像处理装置100进一步以互不相同的 颜色在显示器102上显示对应点不属于边缘区域的部分542和对应点属于边 缘区域的部分。
举具体例子来讲,图像处理装置100用第一颜色(例如,绿色)显示与 模型350一致的部分,用第二颜色(例如,红色)显示对应点不属于边缘区 域的部分542。在图12中,因为选择了允许变形级别“高”,所以与模型350 不一致的部分中,不存在对应点属于边缘区域的部分。即,在图12中,不存 在图11中用第三颜色(例如,黄色)表示的显示。
如此地,在与采样点351对应的对应点属于边缘区域的情况下,图像处 理装置100根据该采样点351中边缘的变化方向与该对应点中边缘的变化方 向是否一致,来变化表示计测结果的图像的显示方式。即,作为一个例子, 图像处理装置100以对应点属于边缘区域为条件,用绿色来显示边缘的变化 方向一致的部分,用黄色来显示边缘方向不一致的部分。进一步,图像处理 装置100用红色显示对应点不属于边缘区域的部分。
<D.功能结构>
图13是用于说明图像处理装置100的功能结构的框图。参照图13,图 像处理装置100具有控制部1010和存储部1020。控制部1010具有接受部 1101、角度差计算部1105、一致程度计算部1106、部分判断部1107、整体 判断部1108和显示控制部1109。边缘提取部1102具有位置判断部1103和 方向计算部1104。
存储部1020内事先存储有模型、数据D9、阈值Th1和阈值Th2。
接受部1101接受与边缘的变化方向的容许值相关的指示。典型地,接受 部1101通过鼠标104等输入装置,接受从三种允许变形级别中选择一种允许 变形级别的指令。即,接受用于指定数据D91、数据D92及数据D93中的任 意一个的指示。而且,接受部1101接受用户发出的用于选择显示在显示器 102上的用户接口的指示。该指示被传送至显示控制部1109。
边缘提取部1102提取输入图像510的边缘。更具体而言,提取包含在输 入图像510中的与工件2对应的图像511的边缘。另外,作为提取边缘的一 个环节,位置判断部1103针对每个采样点351判断与采样点351对应的对应 点是否属于上述提取的边缘区域,方向计算部1104计算上述对应点的边缘的 变化方向。
角度差计算部1105针对每个对应点,计算采样点351的边缘的变化方向 和对应于该采样点351的对应点的边缘的变化方向之间的角度差。
一致程度计算部1106根据所选择的数据(例如,数据D91)、采样点 351的边缘的变化方向以及与该采样点351对应的对应点的边缘的变化方向, 计算采样点351和对应于该采样点351的对应点之间的一致程度(部分一致 程度)。具体而言,一致程度计算部1106根据所选择的数据(例如,数据 D91)和上述计算出的角度差,计算表示采样点351和对应于该采样点351 的对应点之间的一致程度的评分。一致程度计算部1106将计算出的评分传送给部分判断部1107和整体判断部1108。
部分判断部1107根据采样点351和对应于该采样点351的对应点之间的 一致程度,判断该采样点351与该对应点是否一致。详细而言,部分判断部 1107根据多个对应点中的上述计算出的评分(一致程度)及阈值Th1,判断 采样点351和对应于该采样点351的对应点是否一致。更详细而言,部分判 断部1107判断对应的对应点属于输入图像510的边缘区域的采样点351和对 应于该采样点的对应点是否一致。
具体而言,当上述计算出的评分为阈值Th1以上时,部分判断部1107 判断采样点351和对应于该采样点351的对应点一致。另外,当上述计算出 的评分小于阈值Th1时,部分判断部1107判断为采样点351和对应于该采 样点351的对应点不一致。
整体判断部1108根据在多个对应点计算出的评分,判断输入图像510 的特定区域(即,输入图像510中作为图案匹配处理的对象的一部分区域(典 型地,为提取的矩形区域))是否与模型350一致。具体而言,判断部1108 根据多个对应点计算出的一致程度和阈值Th2,判断输入图像510的特定区 域是否与模型350一致。更具体而言,整体判断部1108根据多个对应点的上 述计算出的评分的平均值(计测对象整体的一致程度)和阈值Th2,判断输 入图像510是否与模型350一致。即,整体判断部1108判断作为计测对象的 工件2的优劣。此外,判断优劣的方法已在上面进行了叙述,所以在此不再 重复说明。
显示控制部1109以互不相同的显示方式并与输入图像510对应地在显示 器102上显示多个对应点中与采样点351一致的对应点(下面,也称为“一 致点”)和与该采样点351不一致的对应点(下面,也称为“不一致点”)。 例如,显示控制部1109将不一致点和一致点以互不相同的颜色显示在显示器 102上。此外,在此所说的不一致点包括判断为不属于边缘区域的对应点以 及虽判断为属于边缘区域但上述计算出的评分小于阈值Th1的对应点。更详 细而言,显示控制部1109以互不相同的显示方式并与输入图像510对应地在 显示器102上显示判断为属于边缘区域的多个对应点中与采样点351一致的 对应点和与该采样点351不一致的对应点。
另外,根据属于和不属于输入图像510的边缘区域的情况,显示控制部 1109以不同的显示方式在显示器102上显示对应点。例如,显示控制部1109 以互不相同的颜色在显示器102上显示属于边缘区域的对应点和不属于边缘 区域对应点。
即,显示控制部1109以互不相同的显示方式(例如,不同的颜色)在显 示器102上显示多个对应点中的(i)一致点(属于输入图像510的边缘区域, 且边缘的变化方向一致(评分为阈值Th1以上)的对应点);(ii)不一致 点中不属于输入图像510边缘区域的对应点;以及(iii)不一致点中属于输 入图像510的边缘区域但边缘的变化方向不一致(评分小于阈值Th1)的对 应点。
而且,如图11及图12所示,显示控制部1109在显示输入图像510的状 态下,显示由连接相邻的对应点之间的线段构成的线图像540。
如此地,显示控制部1109将对应点附近的显示方式设定为与该对应点的 显示方式对应的显示方式。例如,显示控制部1109用第一颜色(例如,绿色) 在显示器102上显示上述一致点及其附近。另外,显示控制部1109用第二颜 色(例如,红色)显示上述不一致点中不属于输入图像510的边缘区域的对 应点及该对应点的附近。而且,显示控制部1109用第三颜色(例如,黄色) 显示不一致点中属于输入图像510的边缘区域但边缘的变化方向不一致的对 应点以及该对应点的附近。
另外,显示控制部1109在显示器102上显示由整体判断部1108判断的 优劣判断结果等各种信息(图14~图18)。
<E.用户接口>
根据图14~图18说明关于图像处理装置100显示在显示器102上的用 户接口。
(e1.设定模式)
图14是表示图像处理装置100在设定模式下提供的用户接口画面的一个 例子的图。图14表示用户在设定图案匹配处理所需要的各种设定值(计测条 件)时的用户接口画面1400。
在图14所示用户接口画面1400中,以可选择的方式显示有模型登录标 签202、区域设定标签206、检测点标签208、基准设定标签210、计测参数 标签212和输出参数标签214。此外,图14所示用户接口画面1400表示选 择了计测参数标签212的状态。另外,用户接口画面1400包括计测条件设定 区260、判断条件设定区270、图像显示区250和全部显示区252。
计测条件设定区260包括进行边缘提取处理时的边缘级别(边缘强度) 的设定框和用于设定允许变形级别的设定框。通过改变边缘级别,可改变边 缘的区域。具体而言,通过提高边缘级别,边缘提取图像320的边缘宽度变 细。通过降低边缘级别,边缘提取图像320的边缘宽度变宽。此外,提高边 缘级别意味着提高边缘强度的阈值。
用户通过改变允许变形级别,可决定利用图9所示数据D9所包含的数 据D91、D92、D93中的哪个数据。例如,当选择允许变形级别“低”时, 则会利用数据D93。
在判断条件设定区270中接受判断条件,所述判断条件用于设定通过本 实施方式的图案匹配处理而得到的计测结果中的有效部分。
即,输入至计测坐标X的数值输入框的数值范围(坐标范围),用作计 测坐标的x成分的判断条件。另外,输入至计测坐标Y的数值输入框的数值 范围(坐标范围),用作计测坐标的y成分的判断条件。另外,输入至计测 角度的数值输入框的数值范围(角度范围),则用作计测结果的角度成分的 判断条件。
而且,输入至相关值的数值输入框的数值范围,则用作各个计测坐标的 相关值的判断条件。另外,输入至检测数量的数值输入框的数值范围,则用 作执行一次图案匹配处理所输出的最大检测数量的条件。
此外,在图14所示用户接口画面1400中,在图像显示区250显示边缘 提取图像320。此外,图像显示区250显示的图像并不限定于边缘提取图像320。另外,在全部显示区252中显示能够在图像显示区250显示的全部图像。
(e2.计测模式)
(I)允许变形级别“低”的情况下的用户接口
图15是表示图像处理装置100在计测模式下提供的用户接口画面的一个 例子的图。具体而言,图15是表示设定允许变形级别“低”时的用户接口画 面1500的图。
参照图15,用户接口画面1500表示针对在拍摄装置8的视场内有多个 工件的情况下生成的图像数据,通过进行如上所述的图案匹配处理而得到的 计测结果。
若对输入图像进行基于事先登录的模型的图案匹配处理,图像处理装置 100则在图像显示区1501显示图11的图像1100。另外,图像处理装置100 在显示器102上显示表示计测结果的数值(符号1502)。而且,图像处理装 置100也在画面右上方区域显示基于计测结果的工件2的优劣判断结果(显 示为OK或者NG)。图15的例子中,因为相关值为阈值Th2(=90)以上, 所以显示为“OK”。
图16是表示从图15转变后的用户接口画面的一个例子的图。具体而言, 图16表示在图15的状态下,根据用户的操作在画面右下方的子图像编号中 选择了“图像3”后的用户接口画面1600。
若选择了图像3,则图像处理装置100在显示器102上显示针对图像1100 重叠了作为计测对象的工件2的边缘提取图像520(图6的图像B)的用户 接口画面1600。
(II)允许变形级别“高”的情况下的用户接口
图17是表示在计测模式下图像处理装置100提供的用户接口画面的其他 例子的图。具体而言,图17是表示将允许变形级别设定为“高”的情况下的 用户接口画面1700的图。
参照图17,与图15的用户接口画面1500同样地,用户接口画面1700 表示针对在拍摄装置8的视场内有多个工件的情况下生成的图像数据,通过 进行如上所述的图案匹配处理而得到的计测结果。
若对输入图像进行了基于事先登录的模型的图案匹配处理,图像处理装 置100则在图像显示区1701显示图12的图像1200。另外,图像处理装置100 在显示器102上显示表示计测结果的数值(符号1702)。而且,图像处理装 置100也在画面右上方的区域显示基于计测结果的工件2的优劣判断结果(显 示为OK或者NG)。在图17的例子中,因为相关值为阈值Th2(=90)以 上,所以显示为“OK”。
图18是表示从图17转变后的用户接口画面的一个例子的图。具体而言, 图18表示在图17的状态下,根据用户的操作在画面右下方的子图像编号中 选择了“图像3”后的用户接口画面。
若选择了图像3,则图像处理装置100在显示器102上显示针对图像1200 重叠了作为计测对象的工件2的边缘提取图像520的用户接口画面。
<F.优点>
根据图像处理装置100,无需改变边缘级别(参照图14)及计测对象(工 件2)的优劣判断阈值Th2,就能够改变模型和计测对象整体的一致程度。 即,如上所述,用户通过改变允许变形级别,能够对一个计测对象改变计测 对象整体的一致程度(评分的平均值,相关值)。这样,根据图像处理装置 100,能够在使用了计测对象物(工件2)的形状特征的图案匹配中,允许该 对象物的局部形状的变形。
另外,显示控制部1109以互不相同的显示方式(例如,不同的颜色)在 显示器102上显示一致点及该一致点附近、不一致点及该不一致点附近,从 而用户能够容易地辨别模型和输入图像之间的不一致部分。详细来说,用户 能够容易地把握作为计测对象的工件2中存在问题的部分。特别是,关于不 一致点的显示,显示控制部1109以互不相同的显示方式(例如,不同的颜色) 在显示器102上显示不属于输入图像510的边缘区域的对应点,以及虽属于 输入图像510的边缘区域但边缘的变化方向不一致的对应点,从而,用户能 够容易判断因何种原因而产生了不一致。
<G.变形例>
在上述内容中,作为互不相同的显示方式,以不同的颜色为例进行了说 明,但并不仅限于此。例如,也可以将图像处理装置100构成为:用一种颜 色(例如,绿色)显示一致点及该一致点附近、不一致点及该不一致点附近, 并且,以互不相同的线形、线宽或者浓度等来显示。而且,在这种构成的情 况下,优选将图像处理装置100构成为:关于不一致点的显示,用互不相同 的线形、线宽或者浓度等显示不属于输入图像510的边缘区域的对应点和虽 属于输入图像510的边缘区域但边缘的变化方向不一致的对应点。
另外,可以根据对应点的评分来变化颜色的浓度。具体而言,当以互不 相同的颜色显示一致点及该一致点附近、不一致点及该不一致点附近时,也 可以将图像处理装置100构成为:关于属于输入图像510的边缘区域但边缘 的变化方向不一致的对应点及该对应点的附近,使评分越低的部分(采样点 及其附近)颜色的浓度越高。根据该构成,用户能够容易地把握作为计测对 象的工件2中发生规定以上的变形的部分的该变形的程度。
本次公开的实施方式皆为例示,并非限制本发明。本发明的范围并不限 于上述说明,而是由权利要求书的范围示出,并包括与权利要求的范围同等 的意义及其范围内进行的全部变更。

Claims (10)

1.一种图像处理装置,从输入图像检索与事先登录的模型类似的区域,其特征在于,
所述模型由从模型图像提取的边缘上的多个第一位置和各个所述第一位置的边缘的变化方向规定,
所述图像处理装置具有:
第一计算单元,该第一计算单元计算与所述第一位置对应的所述输入图像的第二位置的边缘的变化方向,
接受单元,该接受单元接受与边缘的变化方向的容许值相关的指示,
第二计算单元,该第二计算单元根据所述接受的指示、所述第一位置的边缘的变化方向和所述第二位置的边缘的变化方向,计算所述第一位置和对应于该第一位置的所述第二位置之间的类似度,以及
第一判断单元,该第一判断单元根据在多个所述第二位置的所述计算出的类似度,判断所述输入图像的特定区域是否与所述模型类似;
所述接受单元作为所述指示接受用于指定多个数据中的任意一个的指示,所述多个数据是表示两个边缘的变化方向的不同的信息和该两个边缘的类似度之间建立了关联的数据。
2.如权利要求1所述的图像处理装置,其特征在于,
还具有事先存储了所述多个数据的存储单元。
3.如权利要求1所述的图像处理装置,其特征在于,
所述多个数据的每一个中,以两个边缘的变化方向的角度差越大所述两个边缘的一致程度越小的方式,在所述角度差和所述类似度之间建立关联,
所述类似度对所述角度差的关联在所述多个数据间各不相同,
所述图像处理装置还具有:
第三计算单元,该第三计算单元针对每一个所述第二位置,计算所述第一位置的边缘的变化方向和对应于该第一位置的所述第二位置的边缘的变化方向之间的角度差,
所述第二计算单元根据所述指定的数据和所述计算出的角度差,计算所述第一位置和对应于该第一位置的所述第二位置之间的所述类似度。
4.如权利要求3所述的图像处理装置,其特征在于,
还具有第二判断单元,该第二判断单元针对每一个所述第一位置,判断与所述第一位置对应的第二位置是否属于所述输入图像的边缘区域,
在通过所述第二判断单元判断与所述第一位置对应的第二位置是属于所述输入图像的边缘区域时,所述第一计算单元计算与所述第一位置对应的第二位置的边缘的变化方向。
5.如权利要求1所述的图像处理装置,其特征在于,
还具有:
第三判断单元,该第三判断单元根据所述第一位置和对应于该第一位置的所述第二位置之间的所述类似度,判断该第一位置与该第二位置是否类似;以及
显示控制单元,该显示控制单元以互不相同的显示方式并与所述输入图像对应地在显示器上显示与所述第一位置类似的第二位置和不与所述第一位置类似的第二位置。
6.如权利要求1所述的图像处理装置,其特征在于,
还具有:
第二判断单元,该第二判断单元针对每个所述第一位置,判断与所述第一位置对应的第二位置是否属于所述输入图像的边缘区域;以及
显示控制单元,该显示控制单元以互不相同的显示方式并与所述输入图像对应地在显示器上显示属于所述输入图像的边缘区域的第二位置和不属于所述输入图像的边缘区域的第二位置。
7.如权利要求5所述的图像处理装置,其特征在于,
所述显示方式为颜色。
8.如权利要求1至7中任意一项所述的图像处理装置,其特征在于,
各个所述第一位置是通过对所述模型图像的边缘上的点进行采样而得到的位置。
9.一种图像处理方法,从输入图像检索与事先登录的模型类似的区域,其特征在于,
所述模型由从模型图像提取的边缘上的多个第一位置和各个所述第一位置的边缘的变化方向规定,
所述图像处理方法包括:
计算边缘变化方向的步骤,计算与所述第一位置对应的所述输入图像的第二位置的边缘的变化方向,
指示接受步骤,接受与边缘的变化方向的容许值相关的指示,
类似度计算步骤,根据所述接受的指示、所述第一位置的边缘的变化方向和所述第二位置的边缘的变化方向,计算所述第一位置和对应于该第一位置的所述第二位置之间的类似度,以及
判断步骤,根据在多个所述第二位置的所述计算出的类似度,判断所述输入图像的特定区域是否与所述模型类似;
所述指示为用于指定多个数据中的任意一个的指示,所述多个数据是表示两个边缘的变化方向的不同的信息和该两个边缘的类似度之间建立了关联的数据。
10.一种计算机可读存储记录介质,其上存储有计算机程序,该程序用于控制从输入图像检索与事先登录的模型类似的区域的图像处理装置,其特征在于,
所述模型由从模型图像提取的边缘上的多个第一位置和各个所述第一位置的边缘的变化方向规定,
所述程序使所述图像处理装置的处理器执行如下步骤:
计算边缘变化方向的步骤,计算与所述第一位置对应的所述输入图像的第二位置的边缘的变化方向,
指示接受步骤,接受与边缘的变化方向的容许值相关的指示,
类似度计算步骤,根据所述接受的指示、所述第一位置的边缘的变化方向和所述第二位置的边缘的变化方向,计算所述第一位置和对应于该第一位置的所述第二位置之间的类似度,以及
判断步骤,根据在多个所述第二位置的所述计算出的类似度,判断所述输入图像的特定区域是否与所述模型类似;
所述指示接受用于指定多个数据中的任意一个的指示,所述多个数据是表示两个边缘的变化方向的不同的信息和该两个边缘的类似度之间建立了关联的数据。
CN201410138793.3A 2013-04-05 2014-04-08 图像处理装置、图像处理方法及记录介质 Active CN104103069B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-079975 2013-04-05
JP2013079975A JP6197340B2 (ja) 2013-04-05 2013-04-05 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN104103069A CN104103069A (zh) 2014-10-15
CN104103069B true CN104103069B (zh) 2018-01-16

Family

ID=50424107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410138793.3A Active CN104103069B (zh) 2013-04-05 2014-04-08 图像处理装置、图像处理方法及记录介质

Country Status (4)

Country Link
US (1) US9286669B2 (zh)
EP (1) EP2793172B1 (zh)
JP (1) JP6197340B2 (zh)
CN (1) CN104103069B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6613625B2 (ja) * 2015-05-28 2019-12-04 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
JP6630545B2 (ja) * 2015-11-24 2020-01-15 株式会社キーエンス 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6886260B2 (ja) * 2016-09-07 2021-06-16 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
KR102112768B1 (ko) * 2018-08-06 2020-06-04 네이버웹툰 주식회사 이미지 매칭을 이용한 표식 검출 방법, 장치 및 프로그램
JP7488033B2 (ja) * 2019-08-22 2024-05-21 ファナック株式会社 物体検出装置及び物体検出用コンピュータプログラム
KR102535136B1 (ko) * 2021-08-05 2023-05-26 현대모비스 주식회사 영상정합장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
CN101673345A (zh) * 2009-07-01 2010-03-17 北京交通大学 基于形状先验的提取目标闭合轮廓的方法
CN102020036A (zh) * 2010-11-02 2011-04-20 昆明理工大学 一种条烟外包装透明纸缺陷的视觉检测方法
US8401305B2 (en) * 2008-10-16 2013-03-19 Keyence Corporation Contour-information extracting method by use of image processing, pattern model creating method in image processing, pattern model positioning method in image processing, image processing apparatus, image processing program, and computer readable recording medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3524853B2 (ja) * 1999-08-26 2004-05-10 株式会社ナノジオメトリ研究所 パターン検査装置、パターン検査方法および記録媒体
JP4023096B2 (ja) 2001-02-05 2007-12-19 オムロン株式会社 画像処理方法およびその装置
JP4366886B2 (ja) * 2001-05-24 2009-11-18 コニカミノルタビジネステクノロジーズ株式会社 画像認識のための装置と方法
US7742634B2 (en) * 2005-03-15 2010-06-22 Omron Corporation Image processing method, three-dimensional position measuring method and image processing apparatus
JP5124997B2 (ja) * 2006-06-13 2013-01-23 横浜ゴム株式会社 タイヤ金型サイドプレートの検査方法および検査装置、タイヤ金型サイドプレート種類の判定方法および判定装置、タイヤ金型加工工程の検査方法および検査装置
JP5152231B2 (ja) * 2010-03-12 2013-02-27 オムロン株式会社 画像処理方法および画像処理装置
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US8401305B2 (en) * 2008-10-16 2013-03-19 Keyence Corporation Contour-information extracting method by use of image processing, pattern model creating method in image processing, pattern model positioning method in image processing, image processing apparatus, image processing program, and computer readable recording medium
CN101673345A (zh) * 2009-07-01 2010-03-17 北京交通大学 基于形状先验的提取目标闭合轮廓的方法
CN102020036A (zh) * 2010-11-02 2011-04-20 昆明理工大学 一种条烟外包装透明纸缺陷的视觉检测方法

Also Published As

Publication number Publication date
CN104103069A (zh) 2014-10-15
JP6197340B2 (ja) 2017-09-20
EP2793172B1 (en) 2018-09-05
EP2793172A1 (en) 2014-10-22
US20140301648A1 (en) 2014-10-09
US9286669B2 (en) 2016-03-15
JP2014203311A (ja) 2014-10-27

Similar Documents

Publication Publication Date Title
CN104103069B (zh) 图像处理装置、图像处理方法及记录介质
JP5953842B2 (ja) 画像検査方法および検査領域設定方法
CN105849774B (zh) 图像对照装置、图像传感器、处理***、图像对照方法
KR20090101356A (ko) 결함 검출 장치 및 결함 검출 방법
CN113674273B (zh) 一种基于产品缺陷的光学检测方法、***和可读存储介质
CN103852034B (zh) 一种电梯导轨垂直度检测方法
KR101752554B1 (ko) 원자력 연료 어셈블리 변형 측정을 위한 시스템 및 방법
CN113012096B (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN102854195B (zh) 彩色滤光片上缺陷坐标的检测方法
CN104376323B (zh) 一种确定目标距离的方法及装置
CN108445010A (zh) 自动光学检测方法及装置
CN104749801B (zh) 高精度自动光学检测方法和***
TW201915443A (zh) 基於影像尺的定位量測系統
CN110766683B (zh) 一种珍珠光洁度等级检测方法及***
JP5274173B2 (ja) 車両検査装置
CN106093052B (zh) 一种断纱检测方法
CN101685000B (zh) 影像边界扫描的计算机***及方法
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JPH03192474A (ja) 3次元形状計測方式
TW201522949A (zh) 影像資訊檢測方法
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
CN107123105A (zh) 基于fast算法的图像匹配缺陷检测方法
CN110288662A (zh) 显示器检测方法与***
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant