CN113939852A - 物体识别装置以及物体识别方法 - Google Patents

物体识别装置以及物体识别方法 Download PDF

Info

Publication number
CN113939852A
CN113939852A CN201980096937.4A CN201980096937A CN113939852A CN 113939852 A CN113939852 A CN 113939852A CN 201980096937 A CN201980096937 A CN 201980096937A CN 113939852 A CN113939852 A CN 113939852A
Authority
CN
China
Prior art keywords
dimensional
image
point
pixel
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096937.4A
Other languages
English (en)
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113939852A publication Critical patent/CN113939852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

物体识别装置具有：三维数据获取部，获取由分别具有三维信息的多个点构成的三维数据；平行投影转换部，通过将所述三维数据的各点平行投影到一投影面上而生成二维图像；以及识别处理部，通过模板匹配从所述二维图像中检测对象物体。

Description

物体识别装置以及物体识别方法
技术领域
本发明涉及一种通过模板匹配来识别三维物体的技术。
背景技术
作为从图像中识别(检测)物体的方法之一，有模板匹配。模板匹配是如下方法：预先准备成为识别对象的物体的模型(模板)，通过评价输入图像与模型之间的图像特征的一致度，检测输入图像中包含的物体。基于模板匹配的物体识别被用于多个领域，例如FA(Factory Automation：工厂自动化)中的检查或拣选、机器人视觉、监视照相机等。
近年来，将模板匹配应用于物体的三维位置以及姿态的识别的技术受到关注。其基本原理是：通过改变相对于对象物体的视点位置，准备视图(外观)不同的多个模板，通过从这些模板中选择与输入图像中的对象物体的视图最匹配的模板，确定对象物体相对于照相机的三维位置以及姿态。但是，该方法由于识别的分辨率与模板的变化成比例，所以如果要提高识别的分辨率，则模板生成的负荷增大、模板的数据量的增加、模板匹配的处理时间的增大等问题变得显著。
作为针对这种问题的对策，在专利文献1中公开了如下想法：通过深度传感器测量对象物体的纵深距离，并根据该纵深距离对模板(对特征值进行采样的二维栅格)进行缩放(放大/缩小)。
现有技术文献
专利文献
专利文献1：美国专利第9659217号说明书
发明内容
发明要解决的技术问题
根据专利文献1的方法，由于能够使仅纵深距离不同的多个视图的模板通用化，因此能够期待减轻模板生成的负荷和削减模板数量等的效果。然而，在模板匹配的搜索时，由于发生与各像素的纵深距离一致地放大或缩小模板的处理，因此存在处理速度变慢的缺点。为了削减模板的放大或缩小所需的时间，在模板匹配处理之前，根据对象物体可能存在的距离范围和必要的分辨率生成多个尺度的模板并保存在工作存储器中，这在技术上是可能的，但需要非常多的存储器容量，因此不实用。
本发明是鉴于上述实际情况而完成的，其目的在于提供一种实用的技术，能够通过模板匹配来高速地检测可能存在于各种纵深距离的物体。
用于解决技术问题的方式
本发明的一个方面提供一种物体识别装置，其特征在于，具有：三维数据获取部，获取由分别具有三维信息的多个点构成的三维数据；平行投影转换部，通过将所述三维数据的各点平行投影到一投影面上而生成二维图像；以及识别处理部，通过模板匹配从所述二维图像中检测对象物体。
三维数据可以是通过三维测量得到的数据。三维测量的方式可以是任何方式，可以是主动测量方式，也可以是被动测量方式。模板匹配是如下方法：通过评价对象物体的模板(模型)与二维图像中的关注区域之间的图像特征的一致度(类似度)，来判断该关注区域内的部分图像是否是对象物体的图像。如果将对象物体的视图(外观)不同的多个模板用于模板匹配，则也能够识别对象物体的姿态。
在本发明中，将通过平行投影三维数据而生成的二维图像用于模板匹配。在平行投影中，对象物体以相同的大小被投影，与从投影面到对象物体的距离无关。因此，在通过平行投影生成的二维图像中，对象物体的图像(与其纵深距离无关)总是取相同的大小。因此，仅使用单一尺寸的模板进行匹配即可，与现有方法(根据纵深距离进行模板的缩放的方法)相比，能够进行高速的处理。另外，还具有如下优点：能够削减模板的数量以及数据量，并且工作存储器的需要量也少，因此实用性优异。
也可以是，所述识别处理部使用由将所述对象物体进行平行投影而得到的图像生成的模板来作为所述对象物体的模板。通过由平行投影图像生成模板，模板与二维图像中的对象物体图像的匹配精度提高，因此能够提高物体识别处理的可靠性。
所述投影面可以任意设定，但优选以构成三维数据的各点的投影点在所述投影面上分布在尽可能宽的范围内的方式设定所述投影面。例如，也可以是，在所述三维数据是使用由照相机拍摄的图像生成的数据的情况下，所述平行投影转换部以与所述照相机的光轴正交的方式设定所述投影面。
也可以是，在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将从所述第一点的三维信息获得的深度信息与所述第一像素相关联。在所述三维数据的各点具有亮度信息的情况下，在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将所述第一点的亮度信息与所述第一像素相关联。在所述三维数据的各点具有颜色信息的情况下，在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将所述第一点的颜色信息与所述第一像素相关联。
也可以是，在不存在投影到所述二维图像中的第二像素上的点的情况下，所述平行投影转换部基于与所述第二像素周围的像素相关联的信息，生成与所述第二像素相关联的信息。例如，也可以是，所述平行投影转换部通过内插与所述第二像素周围的像素相关联的信息来获得与所述第二像素相关联的信息。通过这样的处理增加二维图像的信息量，能够期待模板匹配的精度提高。
也可以是，所述三维数据是使用由照相机拍摄的图像生成的数据，在所述三维数据中的多个点被投影到所述投影面上的相同位置的情况下，所述平行投影转换部使用所述多个点中最接近所述照相机的点来生成所述二维图像。通过这样的处理，生成考虑了从投影面侧观察时的物体彼此的重叠(隐藏)的平行投影图像(即，仅将从照相机可见的点映射到二维图像)，因此能够高精度地进行基于模板匹配的物体识别处理。
本发明可以被理解为具有上述机构或结构的至少一部分的物体识别装置，或者可以被理解为进行上述的平行投影转换的图像处理装置。另外，本发明可以被理解为包含上述处理的至少一部分的物体识别方法、图像处理方法、模板匹配方法、物体识别装置的控制方法等，或者也可以被理解为用于实现这样的方法的程序或非临时地记录了该程序的记录介质。需要说明的是，上述机构以及处理的每一个能够尽可能地相互组合而构成本发明。
根据本发明，能够提供一种实用的技术，该技术能够通过模板匹配高速地检测可能存在于各种纵深距离的物体。
附图说明
图1是示意地表示由物体识别装置进行的处理的图。
图2是示意地表示物体识别装置的整体结构的图。
图3是表示图像处理装置的结构的框图。
图4是模板生成处理的流程图。
图5是表示视点位置的设定例的图。
图6是表示模板生成处理中的平行投影图像的例子的图。
图7是物体识别处理的流程图。
图8是物体识别处理中的平行投影转换的流程图。
图9是表示照相机坐标系和投影图像坐标系的设定例的图。
图10是投影点补充处理的流程图。
具体实施方式
＜应用例＞
图1示意地表示作为本发明的应用例之一的由物体识别装置进行的处理。图1的符号10表示通过照相机103从斜上方测量(拍摄)载物台101上的三个物体102a、102b、102c的情况。物体102、102b、102c是相同形状(圆柱形)·相同尺寸的物体，但距离照相机103的纵深距离按照物体102a、物体102b、物体102c的顺序变远。
符号11是基于由照相机103拍摄的图像生成的三维数据的一例。三维数据11是由各点具有三维信息的多个点构成的数据。三维数据11的形式可以是任何形式，例如可以是各点具有三维坐标值的形式的数据，也可以是对二维图像的各点(各像素)关联了深度值(纵深距离的信息)的形式的数据。三维坐标值可以是照相机坐标系的坐标值，也可以是全局坐标系的坐标值，还可以是除此以外的坐标系的坐标值。图1的三维数据11是深度图像的例子，为方便起见，以浓淡表示深度值(离照相机103越远的点越暗。)。在一般的光学***中，离照相机103越远的物体成像得越小，因此图像上的尺寸按照物体102a、物体102b、物体102c的顺序变小。
在以往的模板匹配中，为了对应各种尺寸的物体，使用尺寸不同的多种模板，或者如专利文献1那样根据深度值对模板的尺寸进行缩放。然而，这些现有方法如上所述，存在产生处理速度的降低和存储器容量的增大等问题的缺点。
因此，在本发明的实施方式中，对三维数据11进行平行投影转换，生成二维图像12，将该二维图像12用于模板匹配。通过进行平行投影转换，实际尺寸相同的物体在二维图像12上的尺寸也相同。因此，能够仅通过应用单一尺寸的模板13来检测二维图像12中包含的所有物体102a、102b、102c。符号14表示识别结果的例子。
根据本实施方式的方法，与现有方法相比能够进行高速的处理。另外，也具有如下优点：能够削减模板的数量以及数据量，并且工作存储器的需要量也少，因此实用性优异。需要说明的是，为了便于说明，在图1中示出了物体102a、102b、102c的姿态相同的例子，但在其形状根据物体的姿态(即观察物体的角度)而变化的情况下，只要按照想要识别的姿态准备模板13即可。
＜实施方式＞
(物体识别装置的整体结构)
参照图2对本发明的实施方式所涉及的物体识别装置进行说明。
物体识别装置2是如下***：设置在进行物品的组装或加工等的生产线上，使用从传感器单元20取入的数据，通过模板匹配来识别(三维物体识别)装载在托盘26上的物体27的位置·姿态。在托盘26上散装有识别对象的物体(以下也称为“对象物体”。)27。
物体识别装置2大致由传感器单元20和图像处理装置21构成。传感器单元20和图像处理装置21之间通过有线或无线连接，传感器单元20的输出被取入到图像处理装置21。图像处理装置21是使用从传感器单元20取入的数据进行各种处理的设备。作为图像处理装置21的处理，例如也可以包含距离测量(测距)、三维形状识别、物体识别、场景识别等。物体识别装置2的识别结果例如被输出到PLC(可编程逻辑控制器)25或显示器22等。识别结果例如用于拣选·机器人28的控制、加工装置或打印装置的控制、对象物体27的检查或测量等。
(传感器单元)
传感器单元20至少具有用于拍摄对象物体27的光学图像的照相机。此外，传感器单元20也可以包括进行对象物体27的三维测量所需的结构(传感器、照明装置、投光装置等)。例如，在通过立体匹配(也称为立体视觉、立体照相机方式等。)测量纵深距离的情况下，在传感器单元20中设置多台照相机。在有源立体的情况下，在传感器单元20上还设置有向对象物体27投射图案光的投光装置。在通过空间编码图案投影方式进行三维测量的情况下，在传感器单元20上设置投射图案光的投光装置和照相机。除此以外，只要是能够获取对象物体27的三维信息的方法，可以使用任何方式，例如照度差立体法、TOF(飞行时间)法、相移法等。
(图像处理装置)
图像处理装置21例如由具备CPU(处理器)、RAM(存储器)、非易失性存储装置(硬盘、SSD等)、输入装置、输出装置等的计算机构成。在该情况下，CPU将非易失性存储装置中存储的程序在RAM中展开，并执行该程序，由此实现后述的各种结构。但是，图像处理装置21的结构不限于此，后述的结构中的全部或一部分可以通过FPGA或ASIC等专用电路来实现，也可以通过云计算或分布式计算来实现。
图3是表示图像处理装置21的结构的框图。图像处理装置21具有模板生成装置30的结构和物体识别处理装置31的结构。模板生成装置30是用于生成在物体识别处理中利用的模板的结构，其具有三维CAD数据获取部300、平行投影参数设定部301、视点位置设定部302、二维投影图像生成部303、特征提取部304、模板生成部305。物体识别处理装置31是用于通过模板匹配执行物体识别处理的结构，其具有三维数据获取部310、平行投影参数设定部311、平行投影转换部312、特征提取部313、模板存储部314、模板匹配部315、识别结果输出部316。在本实施方式中，由特征提取部313、模板存储部314以及模板匹配部315构成本发明的“识别处理部”。
(模板生成处理)
参照图4的流程图，对由模板生成装置30进行的模板生成处理的一例进行说明。
在步骤S400中，三维CAD数据获取部300获取对象物体27的三维CAD数据。CAD数据可以从图像处理装置21的内部存储装置读入，也可以经由网络从外部的CAD***或存储器等获取。需要说明的是，也可以获取由三维传感器等测量的三维形状数据来代替CAD数据。
在步骤S401中，视点位置设定部302设定生成模板的视点位置。图5表示视点位置的设定例。在该例中，在包含对象物体27的八十面体的42个顶点设定视点(用黑圆点图示)。需要说明的是，视点的数量和配置可以根据所要求的分辨率、对象物体27的形状和可采用的姿态等适当设定。视点的数量和配置可以由用户指定，也可以由视点位置设定部302自动设定。
在步骤S402中，平行投影参数设定部301设定模板生成中使用的平行投影参数。在此，使用两个参数resx，resy作为平行投影参数。(resx，resy)是投影图像的一个像素的大小(单位为mm)。需要说明的是，后述的物体识别处理中的平行投影转换中也使用平行投影参数，模板生成时和物体识别处理时可以使用相同值的参数。这是因为，通过使平行投影参数的值一致，模板中的对象物体27的尺寸与通过物体识别处理生成的平行投影图像中的对象物体27的尺寸一致，因此模板匹配时不需要调整模板或图像的比例。
在步骤S403中，二维投影图像生成部303生成通过平行投影三维CAD数据而获得的二维投影图像。图6表示二维投影图像的例子。通过将对象物体27的表面上的各点平行投影到通过视点VP的投影面62上，生成与视点VP对应的二维投影图像60。
在步骤S404中，特征提取部304从在步骤S403中生成的二维投影图像60中提取对象物体27的图像特征。作为图像特征，例如能够使用亮度、颜色、亮度梯度方向、量化梯度方向、HoG(Histogram of Oriented Gradients：方向梯度直方图)、表面的法线方向、HAAR－like、SIFT(Scale-invariant feature transform：尺度不变特征变换)等。亮度梯度方向是以连续值表示以特征点为中心的局部区域中的亮度梯度方向(角度)的方向，量化梯度方向是以离散值表示以特征点为中心的局部区域中的亮度梯度方向的方向(例如以0～7的1字节的信息保持8个方向)。特征提取部304可以获得关于二维投影图像60的所有点(像素)的图像特征，或者可以获得根据规定规则采样的一部分点的图像特征。将得到图像特征的点称为特征点。
在步骤S405中，模板生成部305基于在步骤S404中提取的图像特征，生成与视点VP对应的模板。模板例如是包含各特征点的坐标值和提取的图像特征的数据集。
对在步骤S401中设定的所有视点进行步骤S403～S405的处理(步骤S406)。当针对所有视点完成模板的生成时，模板生成部305将模板的数据存储在物体识别处理装置31的模板存储部314中(步骤S407)。至此，模板生成处理结束。
(物体识别处理)
参照图7的流程图，对由物体识别处理装置31进行的物体识别处理的一例进行说明。
在步骤S700中，三维数据获取部310基于由传感器单元20拍摄的图像生成视野内的三维数据。在本实施方式中，通过有源立体方式得到视野内的各点的三维信息，所述有源立体方式为：在从投光装置投射了图案光的状态下，通过两台照相机拍摄立体图像，基于图像间的视差计算纵深距离。
在步骤S701中，平行投影参数设定部311设定用于平行投影转换的平行投影参数。在此，使用resx，resy，cx，cy这四个参数作为平行投影参数。(resx，resy)是投影图像的一个像素的大小(单位为mm)，可以设定为任意值。例如，使用传感器单元20的照相机的焦距(fx，fy)，可以获得以下表达式：
resx＝d/fx
resy＝d/fy
其中，d是根据对象物体27可能存在的纵深距离而设定的常数。例如，可以将从传感器单元20到对象物体27的纵深距离的平均值、最小值，或最大值等设定为常数d。需要说明的是，如上所述，关于(resx，resy)，优选使用与生成模板时相同的值。(cx，cy)是投影图像的中心坐标。
在步骤S702中，平行投影转换部312通过将三维数据中的各点(以下称为“三维点”)平行投影到规定的投影面上，生成二维投影图像。
参照图8以及图9，对平行投影转换的详细情况进行说明。在步骤S800中，平行投影转换部312计算平行投影了三维点时的图像坐标值。将照相机坐标系设为(X，Y，Z)，将投影图像的图像坐标系设为(x，y)。在图9的例子中，设定照相机坐标系，使得原点O与传感器单元20的照相机的镜头的中心(主点)一致，Z轴与光轴重叠，X轴和Y轴分别与照相机的摄像元件的水平方向和垂直方向平行。另外，图像坐标系被设定成，图像中心(cx，cy)位于照相机坐标系的Z轴上，x轴和y轴分别与照相机坐标系的X轴和Y轴平行。图像坐标系的xy平面是投影面。即，在本实施方式中，以与照相机的光轴正交的方式设定平行投影转换的投影面。在如图9所示设定了坐标系的情况下，与三维点(Xi，Yi，Zi)对应的、平行投影转换后的图像坐标值(xi，yi)可以通过以下表达式求出：
xi＝ROUND(Xi/resx+cx)
yi＝ROUND(Yi/resy+cy)
其中，ROUND是将小数点后舍入的算子。
在步骤S801中，平行投影转换部312检查投影到图像坐标值(xi，yi)上的三维点是否已经存在。具体而言，检查三维点的信息是否已经与投影图像的像素(xi，yi)相关联。在不存在相关联的三维点的情况下(步骤S801中的“NO”)，平行投影转换部312将三维点(Xi，Yi，Zi)的信息与像素(xi，yi)相关联(步骤S803)。在本实施方式中，三维点的坐标值(Xi，Yi，Zi)与像素(xi，yi)相关联，然而，不限于此，可以与三维点的深度信息(例如Zi的值)、颜色信息(例如RGB值)、亮度信息等相关联。在已经存在相关联的三维点的情况下(步骤S801中的“YES”)，平行投影转换部312将Zi的值与已经相关联的Z的值进行比较，如果Zi的值较小(步骤S802中的“YES”)，则用三维点(Xi，Yi，Zi)的信息覆写与像素(xi，yi)相关联的信息(步骤S803)。通过这样的处理，在多个三维点被投影到投影面上的相同位置的情况下，多个三维点中最接近照相机的三维点的信息被用于投影图像的生成。如果对所有的三维点进行了步骤S800～S803的处理，则进入图7的步骤S703(步骤S804)。
在步骤S703中，特征提取部313从投影图像中提取图像特征。这里提取的图像特征与模板生成中使用的图像特征相同。在步骤S704中，模板匹配部315从模板存储部314读入模板，通过使用了该模板的模板匹配处理，从投影图像中检测对象物体。此时，通过使用不同视点的模板，也能够识别对象物体的姿态。在步骤S705中，识别结果输出部316输出识别结果。至此，物体识别处理结束。
(本实施方式的优点)
在以上所述的结构以及处理中，将通过平行投影三维数据而生成的二维图像用于模板匹配。在平行投影中，对象物体以相同的大小被投影，与从投影面到对象物体的距离无关。因此，在通过平行投影生成的二维图像中，对象物体的图像(与其纵深距离无关)总是取相同的大小。因此，仅使用单一尺寸的模板进行匹配即可，与现有方法相比，能够进行高速的处理。另外，还具有如下优点：能够削减模板的数量以及数据量，并且工作存储器的需要量也少，因此实用性优异。
另外，在本实施方式中，模板也由平行投影图像生成，因此模板与通过平行投影转换得到的图像中的对象物体图像的匹配精度提高。由此，能够提高物体识别处理的可靠性。
另外，在本实施方式中，以与照相机的光轴正交的方式设定投影面，因此能够使从照相机坐标系向图像坐标系的转换的计算简单化，能够实现平衡投影转换处理的高速化，进而能够实现基于模板匹配的物体识别处理的高速化。另外，通过将投影面设定成与照相机的光轴正交，还能够抑制平行投影转换后的对象物体图像的变形。
另外，在多个三维点被投影到同一像素上的情况下，仅使用最接近照相机的三维点的信息，因此生成考虑了从照相机观察时的物体彼此的重叠(隐藏)的平行投影图像，能够高精度地进行基于模板匹配的物体识别处理。
＜其他＞
上述实施方式仅例示说明本发明的结构例。本发明并不限定于上述的具体的方式，在其技术思想的范围内能够进行各种变形。
例如，也可以在平行投影转换处理(图7的步骤S702)之后进行图10所示的投影点补充处理。具体而言，平行投影转换部312检查三维点的信息是否与步骤S702中生成的投影图像的各像素(xi，yi)相关联(步骤S100)，在三维点的信息不与像素相关联的情况下(即，不存在投影点的情况)，基于与像素(xi，yi)周围的像素(例如，4个相邻像素或8个相邻像素等)相关联的信息，生成用于像素(xi，yi)的信息(步骤S101)。例如，也可以通过最近邻方法、双线性方法、双三次方法等内插来生成用于像素(xi，yi)的信息。然后，平行投影转换部312将在步骤S101中生成的信息与像素(xi，yi)相关联(步骤S102)。对投影图像的所有像素实施步骤S100～S102的处理。通过这样的处理，投影图像的信息量(投影点的数量)增加，因此能够期待模板匹配的精度提高。
另外，投影面的设定不限于图9的例子。例如，也可以在照相机坐标系的原点O的后侧(图像侧)配置投影面。或者，也可以以投影面与光轴(Z轴)倾斜相交的方式(即，投影方向与光轴不平行的方式)配置投影面。
＜附记＞
(1)一种物体识别装置(2)，其特征在于，具有：
三维数据获取部(310)，获取由各自具有三维信息的多个点构成的三维数据；
平行投影转换部(312)，通过将所述三维数据的各点平行投影到某一投影面上而生成二维图像；以及
识别处理部(313，314，315)，通过模板匹配从所述二维图像中检测对象物体。
符号说明
2…物体识别装置，20…传感器单元，21…图像处理装置，22…显示器，27…对象物体，30…模板生成装置，31…物体识别处理装置。

Claims (11)

1.一种物体识别装置，其特征在于，具有：
三维数据获取部，获取由分别具有三维信息的多个点构成的三维数据；
平行投影转换部，通过将所述三维数据的各点平行投影到一投影面上而生成二维图像；以及
识别处理部，通过模板匹配从所述二维图像中检测对象物体。
2.根据权利要求1所述的物体识别装置，其特征在于，
所述识别处理部使用由将所述对象物体进行平行投影而得到的图像生成的模板来作为所述对象物体的模板。
3.根据权利要求1或2所述的物体识别装置，其特征在于，
所述三维数据是使用由照相机拍摄的图像而生成的数据，
所述平行投影转换部以与所述照相机的光轴正交的方式设定所述投影面。
4.根据权利要求1至3中任一项所述的物体识别装置，其特征在于，
在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将从所述第一点的三维信息获得的深度信息与所述第一像素相关联。
5.根据权利要求1至4中任一项所述的物体识别装置，其特征在于，
所述三维数据的各点具有亮度信息，
在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将所述第一点的亮度信息与所述第一像素相关联。
6.根据权利要求1至5中任一项所述的物体识别装置，其特征在于，
所述三维数据的各点具有颜色信息，
在所述三维数据中的第一点被投影到所述二维图像中的第一像素上的情况下，所述平行投影转换部将所述第一点的颜色信息与所述第一像素相关联。
7.根据权利要求4至6中任一项所述的物体识别装置，其特征在于，
在不存在投影到所述二维图像中的第二像素上的点的情况下，所述平行投影转换部基于与所述第二像素周围的像素相关联的信息，生成与所述第二像素相关联的信息。
8.根据权利要求7所述的物体识别装置，其特征在于，
所述平行投影转换部通过内插与所述第二像素周围的像素相关联的信息来获得与所述第二像素相关联的信息。
9.根据权利要求1至8中任一项所述的物体识别装置，其特征在于，
所述三维数据是使用由照相机拍摄的图像而生成的数据，
在所述三维数据中的多个点被投影到所述投影面上的相同位置的情况下，所述平行投影转换部使用所述多个点中最接近所述照相机的点来生成所述二维图像。
10.一种物体识别方法，其特征在于，具有：
获取由各自具有三维信息的多个点构成的三维数据的步骤；
通过将所述三维数据的各点平行投影到一投影面上而生成二维图像的步骤；以及
通过模板匹配从所述二维图像中检测对象物体的步骤。
11.一种程序，
用于使计算机执行权利要求10所述的物体识别方法的各步骤。
CN201980096937.4A 2019-06-12 2019-06-12 物体识别装置以及物体识别方法 Pending CN113939852A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023330 WO2020250348A1 (ja) 2019-06-12 2019-06-12 物体認識装置及び物体認識方法

Publications (1)

Publication Number Publication Date
CN113939852A true CN113939852A (zh) 2022-01-14

Family

ID=73781383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096937.4A Pending CN113939852A (zh) 2019-06-12 2019-06-12 物体识别装置以及物体识别方法

Country Status (5)

Country Link
US (1) US20220230459A1 (zh)
EP (1) EP3961556A4 (zh)
JP (1) JP7298687B2 (zh)
CN (1) CN113939852A (zh)
WO (1) WO2020250348A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI834495B (zh) * 2023-02-10 2024-03-01 所羅門股份有限公司 物件姿態辨識方法及系統

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7417882B2 (ja) 2021-08-09 2024-01-19 株式会社Mujin 計算システム、方法及び非一時的コンピュータ可読媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904653A (en) * 1997-05-07 1999-05-18 General Electric Company Method and apparatus for three-dimensional ultrasound imaging combining intensity data with color flow velocity or power data
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
GB0031016D0 (en) * 2000-12-20 2001-01-31 Alphafox Systems Ltd Security systems
TW583600B (en) * 2002-12-31 2004-04-11 Ind Tech Res Inst Method of seamless processing for merging 3D color images
US8737720B2 (en) * 2003-04-30 2014-05-27 Deere & Company System and method for detecting and analyzing features in an agricultural field
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
US7873185B2 (en) * 2005-08-03 2011-01-18 Siemens Medical Solutions Usa, Inc. Method for detection and tracking of deformable objects
JP4896762B2 (ja) * 2007-02-16 2012-03-14 三菱電機株式会社 画像処理装置および画像処理プログラム
US9203301B2 (en) * 2010-06-23 2015-12-01 Volterra Semiconductor Corporation Feedback for controlling the switching frequency of a voltage regulator
US9341678B2 (en) * 2011-09-28 2016-05-17 Alliance For Sustainable Energy, Llc Fail-safe designs for large capacity battery systems
CN103065130B (zh) * 2012-12-31 2015-12-09 华中科技大学 一种三维模糊空间目标识别方法
DE102014005181A1 (de) * 2014-04-03 2015-10-08 Astrium Gmbh Positions- und Lagebestimmung von Objekten
US9424470B1 (en) 2014-08-22 2016-08-23 Google Inc. Systems and methods for scale invariant 3D object detection leveraging processor architecture
JP7003455B2 (ja) * 2017-06-15 2022-01-20 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI834495B (zh) * 2023-02-10 2024-03-01 所羅門股份有限公司 物件姿態辨識方法及系統

Also Published As

Publication number Publication date
EP3961556A4 (en) 2022-12-07
JPWO2020250348A1 (zh) 2020-12-17
WO2020250348A1 (ja) 2020-12-17
EP3961556A1 (en) 2022-03-02
JP7298687B2 (ja) 2023-06-27
US20220230459A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
CN111566437B (zh) 三维测量***以及三维测量方法
JP6554900B2 (ja) テンプレート作成装置及びテンプレート作成方法
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP4677536B1 (ja) ３次元物体認識装置及び３次元物体認識方法
US11972618B2 (en) System and method for identifying items
EP3376433B1 (en) Image processing apparatus, image processing method, and image processing program
WO2011115143A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
KR102386444B1 (ko) 이미지 심도 결정 방법 및 생체 식별 방법, 회로, 디바이스, 및 매체
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP6817742B2 (ja) 情報処理装置およびその制御方法
CN114761997A (zh) 目标检测方法、终端设备和介质
CN112802114B (zh) 多视觉传感器融合装置及其方法和电子设备
JP7298687B2 (ja) 物体認識装置及び物体認識方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质
JP6198104B2 (ja) ３次元物体認識装置及び３次元物体認識方法
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
US20240054747A1 (en) Image processing apparatus, image processing method, and storage medium
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模
CN116958224A (zh) 深度预测方法、装置、设备及存储介质
JP2022189368A (ja) 物品記録装置及び物品記録方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination