CN111199533B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN111199533B
CN111199533B CN201911038046.1A CN201911038046A CN111199533B CN 111199533 B CN111199533 B CN 111199533B CN 201911038046 A CN201911038046 A CN 201911038046A CN 111199533 B CN111199533 B CN 111199533B
Authority
CN
China
Prior art keywords
feature point
detection result
input
image
model pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911038046.1A
Other languages
English (en)
Other versions
CN111199533A (zh
Inventor
并木勇太
小仓翔太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111199533A publication Critical patent/CN111199533A/zh
Application granted granted Critical
Publication of CN111199533B publication Critical patent/CN111199533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种不论对象物为何种形状均能够基于基准形状信息来以正确的位置、姿势检测图像中的对象物的图像处理装置。图像处理装置具备：结果获取部，其获取包括对象物的一个或多个输入图像，并获取将模型图案的特征点与从输入图像提取出的输入侧特征点进行比较而得到的检测结果；频率计算部，其获取模型图案与对象物的位置姿势不同的多个检测结果，针对模型图案的每个特征点计算在输入图像中检测到输入侧特征点的频率；以及特征点选择部，其基于由频率计算部计算出的频率来从模型图案所具有的多个特征点中选择出要关注的特征点。

Description

图像处理装置
技术领域
本发明涉及一种基于包括多个特征点的基准形状信息来从输入图像检测对象物的图像处理装置。
背景技术
以往，在从输入图像中检测特定的对象物的像的方法中，已知如下一种技术：进行将对象的图像与表示要确定的对象物的基准形状信息(被称作模型图案、模板等的信息)进行比较的匹配来从输入图像检测对象物。在匹配中，在特征量的一致度超过指定的水平(阈值)时判断为检测到对象物。
在特征量的匹配中，有使用包括多个特征点的特征点群的例子。在非专利文献1中，记载了一种从输入图像提取边缘点来作为构成模型图案的特征点的方法。边缘点是图像中的亮度变化大的点。一般来说是对象物的轮廓线的像的亮度梯度大，因此通过将边缘点用作特征量来进行对象物的轮廓线形状的匹配。例如，将从包括应检测的对象物的图像提取出的边缘点群作为模型图案进行存储，基于从由摄像装置获取到的输入图像提取出的边缘点群与模型图案的边缘点群的一致度来检测对象物。作为这类方法已知广义霍夫变换等。另外，除了利用边缘点的方法以外，作为公开了对构成模型图案的要素进行提取的方法的文献，有非专利文献2。在非专利文献2中记载了一种从输入图像提取SIFT特征点的方法。
在这种技术中，已知一种在模型图案中也关注具有特征的范围从而提高判定精度的方法，例如在专利文献1中记载了如下一种外观检查装置：在标准图像(日语：規範画像)中以包围标准图案的方式设定第一区域，并且在标准图像中设定使标准图案的位置和姿势特征化的第二区域。该外观检查装置通过从检查对象图像中搜索从第一区域提取出的特征来粗略地求出标准图案的位置和姿势，并通过从检查对象图像中搜索从第二区域提取出的特征来细致地求出标准图案的位置和姿势中的至少一方。
专利文献1：日本特开2017-96749号公报
非专利文献1：“计算机视觉”(David A.Forsyth(著),Jean Ponce(著)，大北刚(译)共立出版)2007.1
非专利文献2：“Object Recognition from Local Scale-Invariant Features”，David G.Lowe，Proc.of the International Conference on Computer Vision，Corfu(Sept.1999)
发明内容
发明要解决的问题
如果不考虑模型图案的一部分的具有特征的范围或特征点群，则有时无法正确地确定出图像中的对象物的位置。例如，在为图1所示那样的键槽形状的对象物100的情况下，槽101以外为圆形。因此，即使包括槽101的区域110的位置发生了偏移，也有可能基于槽101以外的部分的一致度而检测到对象物。另外，在为图2所示那样的在长的直线200的附近存在小的圆201的形状的情况下也是，即使直线200平行地发生了偏移而使得包含圆201的区域210发生了偏移，也有可能检测到偏移的状态来作为对象物。像这样，有可能基于特定的区域110、210的外侧的特征量的一致度而以位置、姿势错误的状态进行对象物的检测。另外，如图3所示，有时必须区别轮廓相同的2种对象物。在该情况下，虽然在第二对象物301中存在有第一对象物300中没有的圆302，但第一对象物300与第二对象物301的轮廓相同，因此检测结果为整体的一致度高。因而，难以不关注圆302而区别地检测出第一对象物300和第二对象物301。
像这样，通过在模型图案中设定要关注的区域，能够进行对象物的稳定的检测。但是，在由人手动地进行要关注的区域的选择的情况下，在如图1～3那样应关注的区域一目了然的情况下不易选错，但当模型图案复杂时，应关注的区域的判断变难。另外，也有可能由于人的疏忽大意而选择不应关注的区域，导致检测精度下降。关于该点，虽然在专利文献1中也设定第二区域作为要关注的区域，但作业者根据控制台的操作来选择第二区域的形状(例：矩形、圆形等)，根据控制台的进一步的操作来设定第二区域的尺寸和位置。在对应关注的区域的正确的设定这一点上具有改善的余地。
本发明的目的在于提供一种不论对象物为何种形状均能够基于基准形状信息来以正确的位置、姿势检测图像中的对象物的图像处理装置。
用于解决问题的方案
(1)本发明涉及一种图像处理装置(例如后述的图像处理装置10)，所述图像处理装置基于包括多个特征点(例如后述的特征点151、152)的基准形状信息(例如后述的模型图案150)来从输入图像(例如后述的输入图像90)检测对象物(例如后述的对象物100)，所述图像处理装置具备：结果获取部(例如后述的结果获取部41)，其获取包括所述对象物的一个或多个所述输入图像，并获取将所述基准形状信息的所述特征点与从所述输入图像提取出的输入侧特征点(例如后述的输入侧特征点120、121)进行比较而得到的检测结果；频率计算部(例如后述的频率计算部42)，其获取所述基准形状信息与所述对象物的位置姿势不同的多个检测结果，针对所述基准形状信息的每个所述特征点计算在所述输入图像中检测到所述输入侧特征点的频率；以及特征点选择部(例如后述的特征点选择部43)，其基于由所述频率计算部计算出的频率来从所述基准形状信息所具有的多个所述特征点中选择出要关注的特征点(例如后述的特征点152)。
(2)在(1)所记载的图像处理装置中，优选的是，所述特征点选择部将所述基准形状信息所具有的多个所述特征点中的如下特征点选择为要关注的特征点：在正确地检测到所述对象物的正确检测结果中检测到所述输入侧特征点的频率高、且在未正确地检测到所述对象物的错误检测结果中检测到所述输入侧特征点的频率低。
(3)在(2)所记载的图像处理装置中，优选的是，所述结果获取部获取作为制作所述基准形状信息的基础的基础图像来作为所述输入图像，所述特征点选择部将检测到位置姿势与所述基础图像的位置姿势相同的所述对象物的检测结果设为所述正确检测结果，将位置姿势与所述正确检测结果的位置姿势不同的检测结果设为错误检测结果。
(4)在(2)所记载的图像处理装置中，优选的是，还具备正确错误设定部(例如后述的操作板35)，所述正确错误设定部针对多个所述检测结果中的各个检测结果设定所述正确检测结果或所述错误检测结果。
发明的效果
根据本发明的图像处理装置，不论对象物为何种形状均能够基于基准形状信息来以正确的位置、姿势检测图像中的对象物。
附图说明
图1是表示从图像检测到的对象物的形状为键槽的例子的示意图。
图2是表示从图像检测到的对象物的形状为直线和小的圆的例子的示意图。
图3是表示在相同的图像中包括两种对象物的例子的示意图。
图4是表示应用本实施方式的图像处理***的、视觉传感器的位置固定的装置的例子的示意图。
图5是表示应用本实施方式的图像处理***的、视觉传感器的位置移动的装置的例子的示意图。
图6是本实施方式的图像处理***的功能框图。
图7是表示制作模型图案的过程的流程图。
图8是表示在图像中指定了模型图案指定区域的情形的图。
图9是表示包括多个特征点的模型图案的图。
图10是表示设定本实施方式的模型图案的关注范围的过程的流程图。
图11是表示将键槽形状的对象物作为检测对象的输入图像的示意图。
图12是表示根据键槽形状的对象物制作出的模型图案的示意图。
图13A是表示模型图案与对象物的位置及姿势一致的、正确的检测结果的示意图。
图13B是表示模型图案与对象物的姿势不一致的、不正确的检测结果的一例的示意图。
图13C是表示模型图案与对象物的姿势不一致的、不正确的检测结果的一例的示意图。
图14是表示变形例的设定模型图案的关注范围的过程的流程图。
附图标记说明
10：图像处理装置；41：结果获取部；42：频率计算部；43：特征点选择部；90：输入图像；100：对象物；120、121：输入侧特征点；150：模型图案(基准形状信息)；151、152：特征点。
具体实施方式
下面，参照附图来说明本发明的优选实施方式。本发明的一个实施方式所涉及的图像处理***1为用于基于表示对象物2的像的特征的模型图案50来从输入图像5检测所述对象物的像的***。首先，说明应用本实施方式的图像处理***1的装置的两个例子。
图4是示出应用本实施方式的图像处理***1的、视觉传感器11的位置固定的装置6的例子的示意图。如图4所示，对象物2设置于作业台4。视觉传感器11为用于拍摄对象物2的照相机。视觉传感器11由支承单元(省略图示)固定于能够拍摄对象物2的位置。视觉传感器11获取到的图像信息被发送至图像处理装置10。图像处理装置10基于从视觉传感器11接收到的输入图像5(参照图5)来通过后述的图像处理检测对象物2的像。
在图4中，说明视觉传感器11的位置固定的例子。接着，参照图5来说明视觉传感器11的位置移动的情况。图5是示出应用本实施方式的图像处理***1的、视觉传感器11的位置移动的装置7的例子的示意图。此外，有时对与参照图4说明的装置6的结构共通或同样的结构标注相同的标记并省略其说明。
图5示出在前端安装机械手21的臂型的机器人20。该例的视觉传感器11固定于作为机器人20的手指的机械手21。机械手21为通过机器人20、自身的机构移动的可动部。因而，视觉传感器11的位置也会移动。进行图像处理的图像处理装置10构成为能够与对机器人20的动作等进行控制的机器人控制装置25进行通信，从而能够在图像处理装置10与机器人20之间彼此地进行信息的交换。图像处理装置10一边考虑机器人20和机械手21的移动、状态，一边基于来自视觉传感器11的输入图像5(参照图5)来通过后述的图像处理进行对象物2的像的检测。
如以上所说明的那样，本实施方式的图像处理***1能够应用于视觉传感器11的位置为固定型的装置6和视觉传感器11的位置为可动型的装置7的任一装置。接着，对由图像处理***1进行的图像处理进行说明。图6是本实施方式的图像处理***1的功能框图。
如图6所示，本实施方式的图像处理***1具备作为进行图像处理的计算机的图像处理装置10、获取输入图像5的视觉传感器11、供操作者对根据输入图像5生成的模型图案50进行校正等的操作板(操作部)35、以及用于显示输入图像5、模型图案50等图像信息的显示装置(输出部)36。
图像处理装置10通过具备CPU、存储规定的软件的存储介质等的计算机来实现。本实施方式的图像处理装置10构成为包括模型图案存储部31、对获取到的输入图像5进行图像处理的图像处理部32。
模型图案存储部31存储被用于图像处理的检测处理的模型图案50。模型图案50为包括对象物的特征点的基准形状信息。
图像处理部32基于模型图案存储部31中存储的模型图案50来进行各种图像处理，例如从输入图像5检测对象物的形状。本实施方式的图像处理部32具备结果获取部41、频率计算部42、特征点选择部43。此外，在后文对结果获取部41、频率计算部42和特征点选择部43的功能进行叙述。
接着，对模型图案50的制作例进行说明。图7是表示制作模型图案50的过程的流程图。图8是表示在图像中指定了模型图案指定区域60的情形的图。图9是表示包括多个特征点P_i的模型图案50的图。
如图7所示，将想要作为模型图案50进行示教的对象物2配置在视觉传感器11的视场内并拍摄该对象物2的图像，获取包括对象物2的输入图像5(步骤S101)。此时，优选的是，使视觉传感器11与对象物2之间的位置关系成为如下的位置关系：与在实际使用时检测对象物2时的位置关系相同。
在拍摄到的图像中，将拍到对象物2的区域指定为模型图案50的区域(步骤S102)。以下，将通过该步骤S102指定的区域称作模型图案指定区域60。以包围对象物2的方式用矩形或圆形指定本实施方式的模型图案指定区域60。
接着，进行特征点的提取(步骤S103)。特征点是构成模型图案50的点。从模型图案指定区域60中提取多个特征点P_i(i＝1～NP)。作为特征点P_i的提取方法，能够使用各种方法。在本实施方式中，将图像中亮度梯度大且能够用于获取对象物的轮廓形状的边缘点用作特征点P_i。此外，可以利用Sobel滤波器、Canny边缘检测器来进行边缘点的提取。
边缘点的物理量有该边缘点的位置、亮度梯度方向、亮度梯度的大小等。当将边缘点的亮度梯度的方向定义为特征点的姿势时，能够与位置结合来定义特征点的位置姿势。存储边缘点的物理量、即边缘点的位置、姿势(亮度梯度的方向)、亮度梯度的大小，来作为特征点的物理量。
定义模型图案坐标系51，基于模型图案坐标系51和原点O，通过特征点P_i的姿势向量v_Pi、位置向量t_Pi等来表现特征点P_i。关于模型图案坐标系51中设定的原点O，例如将构成模型图案50的所有特征点P_i的重心定义为原点O。此外，原点O的定义方法能够采用适当的方法，例如从特征点P_i中选择任意的1点。另外，使用模型图案坐标系51的方法也是一例，还能够使用其它方法来表示特征点P_i的位置、姿势。另外，关于模型图案坐标系51的轴向(姿势)，例如可以从构成模型图案50的特征点P_i中选择任意的2点，并将从其一方朝向另一方的方向定义为X轴方向，将与该X轴方向正交的方向定义为Y轴方向。另外，还能够以进行模型图案50的制作的图像中的图像坐标系与模型图案坐标系51平行的方式进行定义。像这样，能够根据情况适当地变更模型图案坐标系51和原点O的设定。
接着，基于提取出的特征点P_i的物理量来进行模型图案50的生成(步骤S104)。将提取出的特征点P_i的物理量作为构成模型图案50的特征点P_i存储于模型图案存储部31。在本实施方式中，在模型图案指定区域60内定义模型图案坐标系51，根据通过图像坐标系70(参照图8)表现的特征点P_i的位置、姿势的值，将特征点P_i的位置、姿势存储为通过模型图案坐标系51(参照图9)表现的值。
在需要校正模型图案50的情况下，进行模型图案的校正(步骤S105)。由操作者或通过图像处理部32来进行该步骤S105中的模型图案50的校正。可以将由操作者进行校正时的操作者生成信息作为校正信息来获取，并在机械学习等中使用。
通过以上说明的一系列的处理来制作模型图案50。接着，对设定要关注的特征点的方法进行说明。
在以下的说明中，以图1所示的对象物100为例来说明对应关注的特征点的选择。图10是表示设定模型图案150的关注范围的过程的流程图。图11是表示将键槽形状的对象物100作为检测对象的输入图像的示意图。图12是表示根据键槽形状的对象物100制作出的模型图案150的示意图。
图像处理部32的结果获取部41获取如图11所示包括键槽形状的对象物100的输入图像(步骤S201)。通过本实施方式的步骤S201获取的输入图像为用于制作模型图案150的图像。
结果获取部41设定模型图案指定区域60，并在模型图案指定区域60的内侧进行边缘提取(步骤S202)。模型图案指定区域60为矩形或圆形等适当的形状，用于指定规定的范围。如图11所示，通过边缘提取的处理来提取沿着圆周方向的输入侧特征点120和槽部分的输入侧特征点121。此外，与上述同样，特征点的提取为一个例子。
在进行步骤S202的边缘提取处理之后，利用图12所示的模型图案150进行对象物100的检测(步骤S203)。在此使用的模型图案150是如上述那样根据输入图像制作出的。模型图案150通过与参照上述的图7～图9的方法同样的方法来制作。如图12所示，与对象物100对应的模型图案150包括沿着圆周方向的特征点151、槽部分的特征点152。
参照图13A～图13C来说明步骤S203的对象物100的检测处理。图13A是表示模型图案150与对象物100的位置及姿势一致的、正确的检测结果(正确检测结果)的示意图。图13B和图13C均是表示模型图案150与对象物100的姿势不一致的、不正确的检测结果(错误检测结果)的一例的示意图。
在对象物100的检测处理中，进行使模型图案150与对象物100的位置及姿势一致的搜寻处理。在该搜寻处理中，使模型图案150进行平行移动、旋转移动。图13A～图13C均示出模型图案150与对象物100的位置一致而模型图案150的姿势不同的例子。
在图13A所示的正确的检测结果中，从对象物100提取出的输入侧特征点120、121与模型图案150的特征点151、152一致。与此相对，在图13B和图13C中均为模型图案150的沿着圆周方向的特征点151与对象物100的沿着圆周方向的输入侧特征点120重合、而槽部分的特征点152与对象物100的槽部分的输入侧特征点121不一致。更具体地说，在图13B中示出模型图案150的槽部分的特征点152相对于对象物100的槽部分的输入侧特征点121向逆时针方向稍许偏移的情形。在图13C中示出模型图案150的槽部分的特征点152相对于对象物100的槽部分的输入侧特征点121向顺时针的方向大幅度偏移的情形。
此外，在搜寻处理中，不限于图13A～图13C所示的姿势，改变姿势来多次地进行模型图案150的特征点151、152与对象物100的输入侧特征点120、121之间的比较。按每个比较结果将模型图案150的特征点151、152的各个特征点与对象物100的输入侧特征点120、121是否一致存储到模型图案存储部31。例如，在图13A的情况下判断为槽部分的特征点152一致，在图13B和图13C的情况下判断为槽部分的特征点152不一致。此外，此处所说的一致除了完全一致的情况外还包括部分一致的情况。
在进行对象物100的检测处理之后，图像处理部32的频率计算部42计算发现对应的特征点的频率(步骤S204)。在各个检测结果中，确认与模型图案150的各特征点151、152对应的输入侧特征点120、121是否包括于输入图像，并针对模型图案150的每个特征点151、152计算在输入图像中发现所对应的特征点的频率。
如上所述，多次检测处理的结果，模型图案150的各特征点151、152的各个特征点的一致的频率不同。在本次的例子中，在使模型图案150在对象物100的位置处以每个规定的姿势旋转的情况下，槽部分的特征点152只在正确的位置或其附近时一致，而沿着圆周方向的特征点151即使在槽部分的特征点152与对象物100的槽101不一致的状态下也被检测一致。因而，在槽部分的特征点152与特征点152以外的特征点151之间，与对象物100一致的频率相差很大。
在进行步骤S204的处理后，图像处理部32的特征点选择部43进行基于模型图案150的特征点151、152与对象物100的输入侧特征点120、121一致的频率来确定要关注的特征点的处理。在本实施方式中，将正确的检测结果(参照图13A)和不正确的检测结果(参照图13B、图13C)考虑内地确定要关注的特征点。
在本实施方式中，基于作为模型图案150而设定的位置和姿势来判定是正确的检测结果还是不正确的检测结果。即，将多个检测结果中的、与作为模型图案150的制作基础的输入图像中的模型图案150的位置及姿势一致的检测结果判定为正确的检测结果，将其以外的检测结果判定为不正确的检测结果。而且，将模型图案150的特征点151、152中的如下的特征点设为要关注的特征点：在正确的检测结果中从输入图像中发现对应的特征点的频率高、而在错误的检测结果中从输入图像中发现对应的特征点的频率低。在本次的例子中，将模型图案150的槽部分的特征点152设定为应关注的特征点。
此外，在本实施方式中，由于设定了模型图案指定区域60，因此能够更准确地将正确的检测结果与不正确的检测结果进行区别。此外，可以只截取模型图案150的区域来进行对象物的检测。由此也能够更准确地将正确的检测结果与不正确的检测结果进行区别。
以上，对将图1的对象物100设为检测对象的例子进行了说明。在图2所示的例子的情况下，也能够通过同样的方法将位于区域210内的圆的特征点设定为要关注的特征点。此外，在图2所示的例子中，通过对直线200使用平行移动等，能够准确地选择圆201作为要关注的特征点。
以上，说明了对要关注的特征点的确定。在实际的图像检测处理中，考虑该要关注的特征点地从图像中进行对象物100的检测。例如，在以包括模型图案150的方式设定了模型图案指定区域60后，基于模型图案150在该区域内进行匹配来求出该模型图案的位置及姿势。接着，能够基于要关注的特征点来精确地求出模型图案的位置及姿势。此外，利用要关注的特征点的方法不限于该方法，能够应用于检测对象物的各种处理。
根据上述实施方式，起到以下这样的效果。
本实施方式的图像处理装置10基于作为包括多个特征点151、152的基准形状信息的模型图案150来从输入图像90检测对象物100，所述图像处理装置10具备：结果获取部41，其获取包括对象物100的一个或多个输入图像90，并获取将模型图案150的特征点151、152与从输入图像90提取出的输入侧特征点120、121进行比较而得到的检测结果；频率计算部42，其获取模型图案150与对象物100的位置姿势不同的多个检测结果，针对模型图案150的每个特征点151、152计算在输入图像90中检测到输入侧特征点120、121的频率；以及特征点选择部43，其基于由频率计算部42计算出的频率来从模型图案150所具有的多个特征点151、152中选择出要关注的特征点。
由此，在将图1～图3所示那样的形状设为检测对象的情况下，也能够选择出应关注的特征点，能够稳定地检测对象物100的位置、姿势。另外，由于基于频率来选择要关注的特征点，因此无需由人来判断是否为应关注的特征点，能够防止由于疏忽大意等而选择不应关注的特征点的情况的发生。
另外，在本实施方式中，特征点选择部43将模型图案150所具有的多个特征点151、152中的特征点152选择为要关注的特征点，其中，特征点152是在正确地检测到对象物100的正确检测结果中检测到输入侧特征点121的频率高、且在未正确地检测到对象物的错误检测结果中检测到输入侧特征点121的频率低的点。
由此，由于考虑了正确检测结果和错误检测结果的结果，因此能够更高精度地选择应关注的特征点。
另外，在本实施方式中，结果获取部41获取作为制作模型图案150的基础的基础图像来作为输入图像90，特征点选择部43将检测到位置姿势与基础图像的位置姿势相同的对象物100的检测结果设为正确检测结果，将位置姿势与正确检测结果的位置姿势不同的检测结果设为错误检测结果。
由此，能够利用作为明确的模型图案150的制作基础的基础图像中的对象物100的位置姿势来自动且准确地确定正确检测结果，能够更进一步准确地选择应关注的特征点。
在上述实施方式中，为利用作为模型图案150的制作基础的输入图像90来自动地区别正确的检测结果和不正确的检测结果的结构，但不限定于该结构。接着，对由用户判定是正确的检测结果还是不正确的检测结果的变形例进行说明。
图14是表示变形例的设定模型图案的关注范围的过程的流程图。在本变形例中，对从图3所示的2种的第一对象物300和第二对象物301中区别地检测出对象物301的方法进行说明。如上所述，对象物300与对象物301之间仅在第二对象物301中具有圆302这一点为不同点。
如图14所示，首先，获取第一对象物300和第二对象物301的输入图像(步骤S301)。此处所说的多个是指第一对象物300的输入图像和第二对象物301的输入图像。
接着，提取第一对象物300和第二对象物301的边缘。边缘的提取方法与上述实施方式相同。接着，使用模型图案来从输入图像中检测对象物301(步骤S302)。此外，关于模型图案，可以根据输入的输入图像来制作，也可以预先设定。
接着，用户对作为用户接口的操作板35进行操作，对判断为正确的检测结果设定OK信息，对判断为不正确的检测结果设定NG信息(步骤S304)。即，在检测到第一对象物300的情况下对该检测结果设定NG信息，在检测到第二对象物301的情况下对该检测结果设定OK信息。接着，频率计算部42计算频率(步骤S305)，特征点选择部43根据计算出的频率来选择要关注的特征点(步骤S306)。
如以上所说明的那样，在本变形例中，还具备作为正确错误设定部的操作板35，所述操作板35针对多个检测结果中的各个检测结果设定正确检测结果或错误检测结果。
由此，在图3所示那样的形状中，也能够基于由用户设定的OK信息和NG信息来选择要关注的特征点，从而准确地检测出第二对象物301。
以上，对本发明的优选实施方式和变形例进行了说明，但本发明不限于上述的实施方式，能够适当地进行变更。
在上述实施方式中，对根据由摄像装置拍摄到的图像来形成作为基准形状信息的模型图案的方法进行了说明，但不限于该结构。也能够组合圆、矩形等图形来生成模型图案。
本发明中的图像(输入图像)不限于二维的图像数据，也包括具有三维的形状信息、三维的点群信息的三维的图像数据。因而，不限于对二维的图像数据应用本发明，对具有三维的形状信息、三维的点群信息的三维数据也能够应用本发明。接着，作为对三维数据应用本发明的例子，对基于三维CAD数据来制作模型图案的方法进行说明。首先，(1)定义将原点置于照相机的摄像面上的本地坐标系。(2)预先校准照相机。由此，能够将通过本地坐标系表现的三维点转换为照相机图像上的二维点。(3)接着，在本地坐标系中虚拟地配置表现为CAD数据的对象物。通过本地坐标系来表现配置的CAD数据。照相机与对象物的相对关系与实际进行对象物的检测时的相对关系大致相同。(4)从轮廓线以规定的间隔获取轮廓线上的三维点群。根据需要，从CAD数据中指定作为模型图案使用的轮廓线。(5)将三维点群投影到照相机图像上，求出图像坐标系上的二维点群。如果在CAD数据上指定明暗的方向，则也能够附加亮度梯度的方向。在此，明暗的方向表示将轮廓线设为边界的两个区域中的哪一个区域亮。(6)然后，进行转换，使得通过模型坐标系来表现求出的图像坐标系上的二维点群，并作为特征点存储到模型图案存储部。
此外，在基于三维数据来制作模型图案的情况下，要关注的特征点的确定方法也与上述实施方式相同。基于位置、姿势不同的检测结果来确定要关注的特征点。

Claims (4)

1.一种图像处理装置，基于包括多个特征点的基准形状信息来从输入图像检测对象物，所述图像处理装置具备：
结果获取部，其获取包括所述对象物的一个或多个所述输入图像，并获取将所述基准形状信息的所述特征点与从所述输入图像提取出的输入侧特征点进行比较而得到的检测结果；
频率计算部，其获取所述基准形状信息与所述对象物的位置姿势不同的多个检测结果，针对所述基准形状信息的每个所述特征点计算在所述输入图像中检测到所述输入侧特征点的频率；以及
特征点选择部，其基于由所述频率计算部计算出的频率来从所述基准形状信息所具有的多个所述特征点中选择出要关注的特征点，
其中，所述特征点选择部将所述基准形状信息所具有的多个所述特征点中的、基于在正确地检测到所述对象物的正确检测结果中检测到所述输入侧特征点的频率以及在未正确地检测到所述对象物的错误检测结果中检测到所述输入侧特征点的频率而选择出的所述特征点选择为要关注的特征点。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述特征点选择部将所述基准形状信息所具有的多个所述特征点中的如下特征点选择为要关注的特征点：在正确地检测到所述对象物的正确检测结果中检测到所述输入侧特征点的频率高、且在未正确地检测到所述对象物的错误检测结果中检测到所述输入侧特征点的频率低。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述结果获取部获取作为制作所述基准形状信息的基础的基础图像来作为所述输入图像，
所述特征点选择部将检测到位置姿势与所述基础图像的位置姿势相同的所述对象物的检测结果设为所述正确检测结果，将位置姿势与所述正确检测结果的位置姿势不同的检测结果设为错误检测结果。
4.根据权利要求2所述的图像处理装置，其特征在于，
还具备正确错误设定部，所述正确错误设定部针对多个所述检测结果中的各个检测结果设定所述正确检测结果或所述错误检测结果。
CN201911038046.1A 2018-10-31 2019-10-29 图像处理装置 Active CN111199533B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-206021 2018-10-31
JP2018206021A JP6863946B2 (ja) 2018-10-31 2018-10-31 画像処理装置

Publications (2)

Publication Number Publication Date
CN111199533A CN111199533A (zh) 2020-05-26
CN111199533B true CN111199533B (zh) 2024-04-30

Family

ID=70327533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911038046.1A Active CN111199533B (zh) 2018-10-31 2019-10-29 图像处理装置

Country Status (4)

Country Link
US (1) US11074718B2 (zh)
JP (1) JP6863946B2 (zh)
CN (1) CN111199533B (zh)
DE (1) DE102019216321A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
CN116740385B (zh) * 2023-08-08 2023-10-13 深圳探谱特科技有限公司 一种设备质检方法、装置和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159020A (zh) * 2003-04-28 2008-04-09 索尼株式会社 图像识别设备、方法和机器人设备
JP2014093006A (ja) * 2012-11-06 2014-05-19 Advanced Telecommunication Research Institute International 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム
CN106682673A (zh) * 2015-11-06 2017-05-17 发那科株式会社 图像处理装置以及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638465A (en) * 1994-06-14 1997-06-10 Nippon Telegraph And Telephone Corporation Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor
JP3758940B2 (ja) * 2000-04-26 2006-03-22 シャープ株式会社 画像形成装置
JP4275345B2 (ja) * 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
JP4088232B2 (ja) * 2003-10-07 2008-05-21 株式会社新川 ボンディング方法、ボンディング装置及びボンディングプログラム
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP4894741B2 (ja) * 2007-12-03 2012-03-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP5152231B2 (ja) * 2010-03-12 2013-02-27 オムロン株式会社 画像処理方法および画像処理装置
JP5772420B2 (ja) * 2011-09-09 2015-09-02 住友電気工業株式会社 特徴量抽出装置、対象物検出システム、コンピュータプログラム及び特徴量抽出方法
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9881203B2 (en) * 2013-08-29 2018-01-30 Nec Corporation Image processing device, image processing method, and program
WO2016199605A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6608682B2 (ja) 2015-11-24 2019-11-20 株式会社キーエンス 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
JP6542824B2 (ja) * 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
JP6487493B2 (ja) * 2017-05-18 2019-03-20 ファナック株式会社 画像処理システム
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
JP6608890B2 (ja) * 2017-09-12 2019-11-20 ファナック株式会社 機械学習装置、ロボットシステム及び機械学習方法
JP6626057B2 (ja) * 2017-09-27 2019-12-25 ファナック株式会社 検査装置及び検査システム
JP6836561B2 (ja) * 2018-09-20 2021-03-03 ファナック株式会社 画像処理装置及び画像処理方法
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
JP7049983B2 (ja) * 2018-12-26 2022-04-07 株式会社日立製作所 物体認識装置および物体認識方法
JP7488033B2 (ja) * 2019-08-22 2024-05-21 ファナック株式会社 物体検出装置及び物体検出用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159020A (zh) * 2003-04-28 2008-04-09 索尼株式会社 图像识别设备、方法和机器人设备
JP2014093006A (ja) * 2012-11-06 2014-05-19 Advanced Telecommunication Research Institute International 頭部姿勢の推定装置、頭部姿勢の推定方法およびコンピュータに頭部姿勢の推定方法を実行させるためのプログラム
CN106682673A (zh) * 2015-11-06 2017-05-17 发那科株式会社 图像处理装置以及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任意位姿物体机器视觉测量视差变形补正;张亚锋;屠大维;蔡建文;干为民;;仪器仪表学报(第08期);全文 *
自适应变尺度特征点提取方法;屈玉福;刘子悦;江云秋;周丹;王一帆;;光学精密工程(第01期);全文 *

Also Published As

Publication number Publication date
US11074718B2 (en) 2021-07-27
CN111199533A (zh) 2020-05-26
US20200134865A1 (en) 2020-04-30
JP6863946B2 (ja) 2021-04-21
JP2020071739A (ja) 2020-05-07
DE102019216321A1 (de) 2020-04-30

Similar Documents

Publication Publication Date Title
US10456918B2 (en) Information processing apparatus, information processing method, and program
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
US10430650B2 (en) Image processing system
CN110926330B (zh) 图像处理装置和图像处理方法
EP2499963A1 (en) Method and apparatus for gaze point mapping
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
CN107680125B (zh) 在视觉***中自动选择三维对准算法的***和方法
US10249058B2 (en) Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
US10207409B2 (en) Image processing method, image processing device, and robot system
US6993177B1 (en) Gauging based on global alignment and sub-models
CN111199533B (zh) 图像处理装置
JP2017146938A (ja) 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム
US20150104068A1 (en) System and method for locating fiducials with known shape
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US20210042576A1 (en) Image processing system
JP7502343B2 (ja) 画像処理システム
JP2010091525A (ja) 電子部品のパターンマッチング方法
WO2022009399A1 (ja) 画像処理装置および画像処理方法
CN110769221B (zh) 在拍摄图像中检测投影图像的角点的方法和投影仪
US20230011093A1 (en) Adjustment support system and adjustment support method
JP2006236043A (ja) 画像処理方法及び画像処理装置
JP2023111297A (ja) プログラム、検査方法、及び検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant