CN110348279B - 物体识别处理装置和方法、以及物体拣选装置和方法 - Google Patents

物体识别处理装置和方法、以及物体拣选装置和方法 Download PDF

Info

Publication number
CN110348279B
CN110348279B CN201910179773.3A CN201910179773A CN110348279B CN 110348279 B CN110348279 B CN 110348279B CN 201910179773 A CN201910179773 A CN 201910179773A CN 110348279 B CN110348279 B CN 110348279B
Authority
CN
China
Prior art keywords
orientation
unit
reliability
index
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910179773.3A
Other languages
English (en)
Other versions
CN110348279A (zh
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110348279A publication Critical patent/CN110348279A/zh
Application granted granted Critical
Publication of CN110348279B publication Critical patent/CN110348279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

物体识别处理装置和方法、以及物体拣选装置和方法。在物体的三维位置姿势的识别中，判别因可靠度差的相似评分导致的精度低的识别结果。物体识别处理装置具备：模型数据取得部，其取得物体的三维模型数据；计测部，其取得包括物体的三维位置信息的计测数据；位置姿势识别部，其根据三维模型数据和计测数据来识别物体的位置姿势；相似评分计算部，其计算示出该位置姿势识别结果中的、两个数据的相似度的相似评分；可靠度计算部，其计算示出物体的三维形状的特征的指标，并根据该指标计算相似评分的可靠度；以及整合评分计算部，其根据相似评分和可靠度来计算示出物体的位置姿势识别结果合格与否的整合评分。

Description

物体识别处理装置和方法、以及物体拣选装置和方法
技术领域
本发明涉及物体识别处理装置和方法、以及物体拣选装置和方法。
背景技术
已知一种在FA(Factory Automation：工厂自动化)的检查和生产线中利用机器人逐个取出散置堆积的部件(工件)等物体的装置(所谓的散置堆积拣选装置)。在这种装置中，例如，对散置堆积的工件进行三维计测，并对得到的计测结果和工件的三维模型数据进行对照，由此识别单个工件的三维位置姿势。作为识别这样的物体(识别对象物)的三维位置姿势的方法，例如，专利文献1中记载了通过从利用三维计测单元获得的图像中提取识别对象物的轮廓(边缘)和表面形状，将它们与三维模型数据中的边缘和表面形状进行对照来评价识别对象物的位置姿势的装置和方法。
在先技术文献
专利文献
专利文献1：日本特许第6198104号公报
发明内容
但是，在现有的物体的位置姿势识别方法中，为了判断该位置姿势识别结果合格与否，通常使用例如三维模型数据与物体的计测数据之间的三维匹配的相似度(相似评分)。上述专利文献1中的示出表面形状的识别程度的“点群评价值”也相当于这种相似评分的一例。例如，如果相似度高于规定的阈值，则判断为位置姿势识别结果正确，如果相似度低于规定的阈值，则判定为位置姿势识别结果错误。
但是，根据作为识别对象物的形状以及物体被载置的状态的不同，出现了如下的问题：即使在作为三维匹配的结果得到了高相似评分的情况下，识别实际上也是失败的、或者尽管被识别但是该识别的精度低。而且，从这一方面来说，即使得到了因可靠度差的相似评分所导致的低精度的识别结果，也难以判别使用了相似评分的识别结果是正确还是错误。
此外，为了改善物体的位置姿势的识别精度，还能够设想兼用如上述专利文献1中记载的示出轮廓(边缘)的识别程度的“轮廓评价值”。但是，为了识别物体的轮廓而使用的例如亮度图像存在容易受到拍摄时的照明或阴影的影响的倾向。因此，即使使用了轮廓评价值，根据物体的摄像状况的不同，有时也无法提高识别精度。此外，即使能够得到因可靠度差的轮廓评价值导致的低精度的识别结果，也仍然难以判别兼用了相似评分和轮廓评价值的识别结果是正确还是错误。
并且，在基于那样的尽管相似评分高但精度低的识别结果试行物体的拣选的情况下，无法抓持该物体，其结果是，存在无法进行稳定且良好的拣选操作的课题。
因此，本发明的一个方面是鉴于上述情况完成的，其目的在于，提供如下的物体识别处理技术、以及使用该物体识别处理技术的物体拣选技术：所述物体识别处理技术在工件等物体的三维位置姿势的识别中，能够判别因可靠度差的相似评分导致的精度低的位置姿势识别结果，其结果是，能够有助于实现稳定且良好的拣选操作。
为了解决上述课题，本发明采用以下结构。
〔1〕本公开的物体识别处理装置的一例具备：模型数据取得部，其取得示出物体的三维形状的三维模型数据；计测部，其取得包括所述物体的三维位置信息的计测数据；位置姿势识别部，其根据所述三维模型数据和所述计测数据来识别所述物体的位置姿势；相似评分计算部，其计算示出所述物体的位置姿势识别结果中的、所述三维模型数据与所述计测数据之间的相似度(一致度)的相似评分；可靠度计算部，其计算示出所述物体的位置姿势识别结果中的、该物体的三维形状的特征的指标，根据该指标计算所述相似评分的可靠度；以及整合评分计算部，其根据所述相似评分和所述可靠度来计算示出所述物体的位置姿势识别结果合格与否的整合评分。
另外，用于计算相似评分的“可靠度”的“指标”的种类可以是一个，也可以是多个。此时，当使用一个“指标”时，可以将该“指标”本身作为“可靠度”，也可以将对该“指标”实施了适当的校正后的指标作为“可靠度”。此外，当根据多个“指标”计算“可靠度”时，作为将这些多个“指标”进行组合的运算，没有特别限制，例如可以举出乘法运算、除法运算等，并且还可以将对各个“指标”实施了适当的校正后的指标进行组合。此外，将用于计算“整合评分”的“相似评分”及其“可靠度”进行组合的运算也没有特别限制，例如可以举出乘法运算、除法运算等。
在该结构中，根据作为识别对象的物体的三维模型数据和包括物体的三维位置信息的计测数据，通过例如二者的三维匹配来识别物体的位置姿势，计算该位置姿势识别结果中的二者的相似评分。此外，计算示出位置姿势识别结果中的物体的三维形状特征的指标，进而根据该指标来计算示出相似评分是否恰当的可靠度。然后，通过对相似评分和可靠度进行整合来计算示出位置姿势识别结果合格与否的整合评分，因此，例如，通过对该整合评分与规定的阈值进行比较，可以判别出尽管相似评分高但精度低的位置姿势识别结果。
由此，例如，当使用机器人和机械手等拣选物体时，可以将位置姿势识别结果中的整合评分高、即位置姿势的识别精度高的物体选定为抓持对象。此外，当无法获得足够高的整合评分时，即，当无法选定位置姿势的识别精度足够高的物体时，例如，可以在适当变更计测条件(摄像条件)和/或位置识别中的物体的检测条件等的基础上，进行计测数据的重新取得和位置姿势的重新识别。其结果是，与例如仅根据相似评分来判断物体的位置姿势识别结果合格与否从而进行拣选的情况相比，能够进行良好且稳定的拣选操作。
如上所述，根据该结构，着眼于仅凭物体的位置姿势识别结果的相似评分无法掌握的物体的三维形状的特征，根据计测上述三维形状的特征的程度(多少)的指标来计算示出相似评分是否恰当的可靠度，将该可靠度与相似评分进行组合而数值化为整合评分，由此能够提高位置姿势识别结果合格与否的判别精度。
〔2〕在上述结构中，所述物体的三维形状的特征是根据例如所述物体的位置姿势识别结果掌握的、示出所述物体的三维形状的多样性的物理量。
在该结构中，由于可以根据该位置姿势识别结果计算在位置姿势识别结果中反映出的示出物体的三维形状的多样性(换句话说，三维形状的丰富性)的物理量作为上述指标，因此易于数值化地评价物体的三维形状的特征。
〔3〕在上述结构中，也可以是，所述可靠度计算部计算所述物体的位置姿势识别结果中的面的数量作为所述指标。
在该结构中，由于在物体的位置姿势识别结果中检测出的面的数量反映该位置姿势识别结果中的物体的三维形状的多样性或丰富性，因此通过将其作为指标，能够提高相似评分的可靠度和整合评分的计算精度。
〔4〕在上述结构中，也可以是，所述可靠度计算部对在所述物体的位置姿势识别结果中检测出的各个面的法线方向进行量化，并计算该量化后的所述法线方向上的频度分布的最频值或方差作为所述指标。另外，法线方向的量化方法没有特别限制，例如，可以例示出如下的方法：将与计测部的光轴(经过视点的轴)正交的平面上的有限区域分割为多个区段，对各个区段标注适当的序号(进行编号(numbering))，当将各个面的法线向量二维投影到该平面上的有限区域中时，将各个法线向量所属的区段的序号与该法线向量的方向(即，法线方向)进行关联(映射)。
在该结构中，对在物体的位置姿势识别结果中检测出的各个面进行量化后的法线方向上的频度分布的最频值(其倒数也实质上同等。)或方差示出在该位置姿势识别结果中检测出的面的分布。由此，由于量化后的法线方向上的频度分布的最频值或方差反映该位置姿势识别结果中的物体的三维形状的多样性或丰富性，因此通过将它们作为指标，能够提高相似评分的可靠度和整合评分的计算精度。
〔5〕在上述结构中，所述可靠度计算部计算所述物体的位置姿势识别结果中的表面积作为所述指标。
在该结构中，由于在物体的位置姿势识别结果中计算出的物体的表面积反映出该位置姿势识别结果中的物体的三维形状的多样性或丰富性，因此通过将其作为指标，能够提高相似评分的可靠度和整合评分的计算精度。
〔6〕在上述结构中，也可以是，所述可靠度计算部计算所述物体的位置姿势识别结果中的轮廓线(相当于边缘的线段)的数量或长度(各个线段的合计长度)作为所述指标。
在该结构中，由于在物体的位置姿势识别结果中检测出的轮廓线的数量或计算出的该轮廓线的长度反映该位置姿势识别结果中的物体的三维形状的多样性或丰富性，因此通过将它们作为指标，能够提高相似评分的可靠度和整合评分的计算精度。
〔7〕在上述结构中，也可以是，所述可靠度计算部计算所述物体的位置姿势识别结果中的亮度分布的方差或所述物体的位置姿势识别结果中的距离分布的方差作为所述指标。
在该结构中，由于示出在物体的位置姿势识别结果中计算出的亮度分布的方差或在物体的位置姿势识别结果中计算出的距离分布的值反映了该位置姿势识别结果中的物体的三维形状的多样性或丰富性，因此，通过将它们作为指标，能够提高相似评分的可靠度和整合评分的计算精度。
〔8〕在上述结构中，也可以是，所述可靠度计算部对所述指标进行加权，根据该加权得到的指标计算所述相似评分的可靠度。
在该结构中，通过实施对指标进行适当的加权的校正，能够还将该指标的重要性加以考虑来计算相似评分的可靠度，因此能够进一步提高相似评分的可靠度和整合评分的计算精度。
〔9〕在上述结构中，也可以是，所述可靠度计算部针对所述物体的每个不同的位置姿势预先计算所述指标或所述可靠度，选定与所述物体的位置姿势识别结果对应的所述指标或所述可靠度。
在该结构中，由于可以选定与物体的位置姿势识别结果对应的示出该物体的三维形状的特征的指标或关于相似评分的可靠度，并根据它们来计算整合评分，因此可以判别出尽管相似评分高但精度低的位置姿势识别结果。
〔10〕本公开的物体识别处理方法的一例是可以使用本公开的物体识别处理装置的一例来有效地实施的方法，所述本公开的物体识别处理装置的一例具备：模型数据取得部、计测部、位置姿势识别部、相似评分计算部、可靠度计算部以及整合评分计算部，所述本公开的物体识别处理方法的一例包括以下各个步骤。即，该方法包括如下步骤：所述模型数据取得部取得示出物体的三维形状的三维模型数据；所述计测部取得包括所述物体的三维位置信息的计测数据；所述位置姿势识别部根据所述三维模型数据和所述计测数据来识别所述物体的位置姿势；所述相似评分计算部计算示出所述物体的位置姿势识别结果中的、所述三维模型数据与所述计测数据之间的相似度的相似评分；所述可靠度计算部计算示出所述物体的位置姿势识别结果中的、该物体的三维形状的特征的指标，并根据该指标计算所述相似评分的可靠度；以及所述整合评分计算部根据所述相似评分和所述可靠度来计算示出所述物体的位置姿势识别结果合格与否的整合评分。
〔11〕本公开的物体拣选装置的一例是用于抓持物体并将其取出的装置，其具备：本公开的物体识别处理装置的一例；机械手，其抓持所述物体；机器人，其移动所述机械手；以及控制装置，其控制所述物体识别处理装置、所述机械手和所述机器人。并且，所述控制装置具有：抓持物体确定部，其根据由所述物体识别处理装置计算出的所述整合评分来确定所述机械手将抓持的所述物体；抓持姿势计算部，其计算所述机械手抓持所述物体时的所述机械手的抓持姿势；路径计算部，其计算利用所述机器人将所述机械手移动到所述抓持姿势的路径。另外，计测部可以是固定的，也可以设置为可移动，在后者的情况下，可以是计测部本身具有驱动机构，也可以是计测部安装在例如机器人上。
在该结构中，根据由本公开的物体识别处理装置计算出的整合评分来确定拣选的抓持对象物体，例如，将位置姿势识别结果中的整合评分高(即，位置姿势的识别精度高)的物体选定为抓持对象。由此，例如，与仅根据相似评分来判断物体的位置姿势识别结果合格与否而进行拣选的方法相比，能够实现良好且稳定的拣选操作。
〔12〕在上述结构中，也可以构成为，所述控制装置具有计测条件变更部，所述计测条件变更部根据由所述物体识别处理装置计算出的所述整合评分来变更取得所述计测数据时的计测条件，所述物体识别处理装置的所述计测部根据变更后的所述计测条件重新取得包括所述物体的三维位置信息的计测数据，所述物体识别处理装置的所述位置姿势识别部根据所述三维模型数据和重新取得的所述计测数据重新识别所述物体的位置姿势。
另外，这时，在无法变更到最佳的计测条件的情况下，例如计测部会与物体或其周边的物体发生物理干涉的情况下，也可以在判定是否会发生那样的干涉等的基础上，进行向次最佳计测条件的变更。
在该结构中，当根据由本公开的物体识别处理装置计算出的整合评分未能获得例如整合评分足够高(即，识别精度足够高)的位置姿势识别结果时，在变更计测条件的基础上进行包括物体的三维位置信息的计测数据的重新取得以及物体的位置姿势的重新识别。由此，可以在获得具有足够高的整合评分的位置姿势识别结果后，确定拣选的抓持对象物体。因此，例如，与仅根据相似评分来判断物体的位置姿势识别结果合格与否而在不进行计测数据的重新取得以及位置姿势的重新识别的情况下进行拣选的方法相比，能够实现更良好且稳定的拣选操作。
〔13〕在上述结构中，也可以是，作为所述计测条件，所述计测条件变更部变更所述计测部的位置姿势。
在该结构中，在包括物体的三维位置信息的计测数据的重新取得中，通过变更计测部的位置姿势，可以变更计测部对物体的视点。其结果是，由于可以在不变更物体的载置状态的情况下对计测该物体时的视野进行各种变更，因此，通过选择使得三维形状的特征的多样性增加的物体的位置姿势，可以进一步提高位置姿势识别的精度。
〔14〕在上述结构中，也可以是，所述计测条件变更部根据所述三维模型数据、重新识别前的所述物体的位置姿势识别结果、以及重新取得所述计测数据前的所述计测部的位置姿势来计算待变更的所述计测部的位置姿势。
在该结构中，已判明重新识别前的物体的位置姿势识别结果以及重新取得计测数据前的计测部的位置姿势，因此，通过使用物体的三维模型数据，能够将计测部的位置姿势做出各种改变，由此能够预测出重新取得计测数据时的物体的位置姿势识别结果。此外，还可以通过针对所获得的物体的各种位置姿势的预测识别结果计算前面叙述的相似评分的可靠度或整合评分来估计它们的预测识别结果合格与否。因此，可以从物体的位置姿势的预测识别结果中选定最佳的或良好的位置姿势，可以将能够取得该状态的物体的计测数据的计测部的位置姿势作为待变更的计测条件。
〔15〕本公开的物体拣选方法的一例是可以使用本公开的物体拣选装置的一例来有效地实施的方法，包括以下各个步骤。即，该方法是用于使用具备本公开的物体识别处理装置的一例、机械手、机器人以及控制装置的物体拣选装置来抓持物体并将其取出的方法，其中，该方法包括：计算步骤，所述物体识别处理装置计算示出所述物体的位置姿势识别结果合格与否的整合评分；抓持步骤，所述机械手抓持所述物体；移动步骤，所述机器人移动所述机械手；以及控制步骤，所述控制装置控制所述物体识别处理装置、所述机械手和所述机器人，所述控制步骤包括：抓持物体确定步骤，根据所述整合评分来确定所述机械手将抓持的所述物体；抓持姿势计算步骤，计算所述机械手抓持所述物体时的所述机械手的抓持姿势；以及路径计算步骤，计算利用所述机器人将所述机械手移动到所述抓持姿势的路径。
另外，在本公开中，“部”和“装置”并不仅仅意味着物理意义上的单元，也包括通过软件来实现该“部”和“装置”所具有的功能的结构。此外，可以通过两个以上的物理意义上的单元或装置来实现一个“部”和“装置”所具有的功能，也可以通过一个物理意义上的单元或装置来实现两个以上的“部”和“装置”的功能。此外，“部”和“装置”是还可以另称为例如“单元”和“***”的概念。
发明效果
根据本发明，在工件等物体的三维位置姿势的识别中，能够判别因可靠度差的相似评分导致的精度低的识别结果，由此能够有助于实现良好且稳定的拣选操作。
附图说明
图1是示意性地示出实施方式的具备物体识别处理装置的物体拣选装置的应用场景的一例的概念图。
图2是示意性地示出实施方式的具备物体识别处理装置的物体拣选装置的硬件结构的一例的框图。
图3是示意性地示出实施方式的具备物体识别处理装置的物体拣选装置的功能结构的一例的框图。
图4是示出实施方式的具备物体识别处理装置的物体拣选装置中的处理步骤的一例的流程图。
图5是示意性地示出设置于实施方式的物体拣选装置中的物体识别处理装置的物***置姿势识别结果的一例的概念图。
图6是示出图5所示的物体的位置姿势识别结果中的相似评分、指标、可靠度以及整合评分的计算结果的列表的表。
图7A是示意性地示出在图5所示的物体的位置姿势识别结果中指定的面的法线方向上的频度分布的棒状图。
图7B是示意性地示出在图5所示的物体的位置姿势识别结果中指定的面的法线方向上的频度分布的棒状图。
图7C是示意性地示出在图5所示的物体的位置姿势识别结果中指定的面的法线方向上的频度分布的棒状图。
图7D是示意性地示出在图5所示的物体的位置姿势识别结果中指定的面的法线方向上的频度分布的棒状图。
图8的(A)是示意性地示出第1变形例的具备物体识别处理装置的物体拣选装置的应用场景的一例的概念图，(B)是示意性地示出设置于第1变形例的物体拣选装置中的物体识别处理装置进行的物***置姿势识别的结果的一例的概念图。
图9是示出图8的(B)所示的位置姿势识别结果中的相似评分、指标、可靠度以及整合评分的计算结果的列表的表。
图10的(A)是示意性地示出第1变形例的具备物体识别处理装置的物体拣选装置的应用场景的另一例的概念图，(B)是示意性地示出设置于第1变形例的物体拣选装置中的物体识别处理装置进行的物***置姿势识别的结果的另一例的概念图。
图11是示出图10的(B)所示的位置姿势识别结果中的相似评分、指标、可靠度以及整合评分的计算结果的列表的表。
标号说明
1：传感器；2：机械手；3：机器人；4：控制装置；5：工件；6：收纳容器；41：控制运算部；42：通信接口(I/F)部；43：存储部；44：输入部；45：输出部；46：总线；51～57：工件；51a，52a，52b，53a，53b，54a，54b，54c，55a：面；100，200：工件拣选装置；410：模型数据取得部；420：位置姿势识别部；430：相似评分计算部；440：可靠度计算部；450：整合评分计算部；460：抓持物体确定部；470：计测条件变更部；480：抓持姿势计算部；490：路径计算部；510：传感器控制部；520：机械手控制部；530：机器人控制部。
具体实施方式
下面，参照附图对本公开的一例的实施方式(以下也表述为“实施方式”)进行说明。但是，以下说明的实施方式仅仅是例示，并不意在排除以下未明确描述的各种变形或技术的应用。即，本公开的一例可以在不脱离本公开要旨的范围内进行各种变形而实施。此外，在以下的图面说明中，对相同或者相似的部分标注相同或者相似的标号，附图是示意性的，不一定与实际的尺寸、比率等一致。此外，附图相互之间也包含彼此的尺寸关系、比率不同的部分。
§1应用例
首先，使用图1对本公开的一例所应用的场景的一例进行说明。图1是示意性地示出本实施方式的具备物体识别处理装置的物体拣选装置100的应用场景的一例的概念图。本实施方式的工件拣选装置100将例如在收纳容器6等供给装置内散置堆积的多个工件5从该收纳容器6中取出而移置到适当的托盘等(未图示)中使其排列配置。此外，在图1的示例中，工件拣选装置100具备传感器1、机械手2、机器人3以及控制装置4。
如上所述，传感器1相当于本发明的“物体识别处理装置”中的“计测部”的一例，机械手2、机器人3和控制装置4相当于本发明的“物体拣选装置”中的“机械手”、“机器人”和“控制装置”各自的一例。此外，工件5相当于作为本发明的“物体识别处理装置”的识别对象的“物体”的一例，并且相当于作为本发明的“物体拣选装置”的拣选对象的“物体”的一例。此外，工件拣选装置100相当于本发明的“物体拣选装置”的一例。
传感器1是取得包含工件5的三维位置信息的计测数据的距离传感器，构成为包括例如搭载有普通光学传感器的摄像装置，以规定的视角且在规定的计测条件下拍摄工件5。
这里，作为工件5的计测方式，没有特别限制，例如，可以适当选择利用光的直线传播特性的各种主动计测方式(例如，以三角测距为基本原理的空间编码图案投影方式、时间编码图案投影方式、莫尔拓扑方式等)、利用光的直线传播特性的各种被动计测方式(例如，以三角测距为基本原理的立体摄像方式、视图体积交叉方式(Volume Intersectionmethod)、因子分解方式等、以同轴测距为基本原理的Depth from focusing(聚焦深度)方式等)、以及利用光速的各种主动计测方式(例如，以同时测距为基本原理的光时间差(TOF(Time of Flight，飞行时间))测定方式、激光扫描方式等)。
作为工件5的计测数据，可以例示通过这些各种计测方式取得的图像数据(例如三维点群数据、距离图像等)，还有能够与工件5的三维模型数据进行对照的适当的数据等。另外，作为工件5的三维模型数据，例如可以举出三维坐标数据、与工件5的各种不同的位置姿势对应地对该三维坐标数据进行二维投影而得到的二维坐标数据、以及其它与适当的模板或图案对应的数据等。
此外，根据需要，传感器1也可以具有包括适当的计测光(例如，在主动计测方式下使用的图案光或扫描光等)的所谓的3D用照明、或者将作为普通照明的所谓的2D用照明投影到工件5的投影仪(未图示)。这种投影仪的结构也没有特别限制，例如，在投影图案光的情况下，可以例示出具备激光光源、图案遮掩罩(pattern mask)以及透镜的结构。从激光光源射出的光由形成有规定的图案的图案遮掩罩转换为具有规定的图案的计测光(图案光)，并经由透镜向工件5进行投影。
机械手2具有能够进行抓住各个工件5并且离开的动作的抓持机构。在机器人3的臂的前端部设置有机械手2，并且具有驱动机构，所述驱动机构用于使机械手2移动到收纳容器6内的工件5的抓持位置，并且使抓持有工件5的机械手2从该抓持位置移动到上述的托盘等处。控制装置4与传感器1、机械手2以及机器人3分别连接，除了控制由传感器1执行的工件5的计测处理、由机械手2执行的工件5的抓持处理以及机器人3的驱动处理之外，还控制与工件拣选装置100中所需的各种动作和运算有关的处理。更具体来说，除了传感器1的控制之外，控制装置4还执行以下(1)至(10)所示的各个处理。
(1)模型数据取得处理
取得在工件5的位置姿势识别之前创建的、示出工件5的三维形状的三维模型数据(三维CAD模型数据)。此外，使用该三维模型数据，根据需要创建可在后述的位置姿势识别处理中使用的适当的模板和/或模型图案。
(2)位置姿势识别处理
进行使用规定的识别参数将传感器1的计测数据与在处理(1)中取得或创建的三维模型数据等进行对照的三维匹配，识别工件5的位置姿势(例如，该工件5的三维坐标和三维的绕轴的旋转角度)。此外，作为各个工件5的位置姿势识别结果，例如输出如下的图像：在将针对各个工件5识别出的位置姿势进行二维投影而得到的二维图像中以可识别的方式显示了在三维匹配中作为工件5的特征点和/或特征部位被检测出的例如轮廓线(相当于边缘的线段)等。
(3)相似评分计算处理
使用规定的计算参数计算在工件5的位置姿势识别时实施的三维匹配的一致度即相似评分，作为通过(2)的处理得到的工件5的位置姿势识别结果中的、三维模型数据与计测数据之间的相似度。
(4)可靠度计算处理
计算通过(2)的处理得到的工件5的位置姿势识别结果中的、示出工件5的三维形状特征的指标。这里，作为示出工件5的三维形状特征的“指标”，例如可以举出以下所示的特征量、即根据位置姿势识别结果掌握的示出工件5的三维形状的多样性的物理量。但是，“指标”不限于此。此外，也可以不将以下各个指标所示的值本身，而是将对该值实施适当的校正运算而得到的值作为“指标”。
(指标1)是在工件5的位置姿势识别结果中检测出的面(由前面例示的轮廓线划定的可辨别的平面区域)的数量，越多越好。
(指标2)是对在工件5的位置姿势识别结果中检测出的各个面进行量化后的法线方向上的频度分布的最频值或其倒数，最频值越小(其倒数越大)越好。
(指标3)是针对在工件5的位置姿势识别结果中检测出的各个面进行量化后的法线方向(除频度为零的方向外)上的频度分布的方差，越小越好。
(指标4)是在工件5的位置姿势识别结果中计算出的工件5的表面积，越大越好。
(指标5)是在工件5的位置姿势识别结果中检测出的轮廓线(相当于边缘的线段)的数量，越多越好。
(指标6)是在工件5的位置姿势识别结果中检测出的轮廓线(相当于边缘的线段)的长度，越长越好。
(指标7)是工件5的位置姿势识别结果中的亮度分布的方差，越大越好。
(指标8)是工件5的位置姿势识别结果中的距离分布的方差，越大越好。
此外，使用示出工件5的三维形状特征的这些指标，针对通过(3)的处理得到的相似评分计算其可靠度。更具体来说，例如，当使用上述各个指标中的任意指标时，可以将该单个指标本身、或对该单个指标实施适当的校正(加权等)而得到的值作为相似评分的可靠度。此外，例如，当使用上述各个指标中的多个指标时，可以通过利用适当的运算将该多个指标或对各个指标实施适当的校正而得到的指标进行组合，由此可以计算出相似评分的可靠度。
(5)整合评分计算处理
使用通过(3)的处理得到的相似评分和通过(4)的处理得到的可靠度，例如通过利用适当的运算将两者进行组合来计算示出通过(2)的处理得到的工件5的位置姿势识别结果合格与否。
(6)抓持物体确定处理
根据通过(5)的处理得到的整合评分，例如，将检测出的针对各个工件5的位置姿势识别结果的整合评分与规定的阈值(判定值)进行比较，将得到该阈值以上的整合评分的位置姿势识别结果的工件5确定为作为机械手2的抓持对象的工件5。
(7)计测条件变更处理
根据通过(5)的处理得到的整合评分，例如，将检测出的针对各个工件5的位置姿势识别结果的整合评分与规定的阈值(判定值)进行比较，在未能得到具有该阈值以上的整合评分的位置姿势识别结果的情况下，变更计测条件。
(8)抓持姿势计算处理
对于在(6)的处理中被确定为抓持对象的工件5，根据通过(2)的处理得到的该工件5的位置姿势识别结果，使用规定的计算参数来计算当机械手2抓持该工件5时的机械手2的抓持姿势。
(9)路径计算处理
根据机械手2的初始姿势(初始位置)和通过(8)的处理得到的抓持工件5时的机械手2的抓持姿势的计算结果，使用规定的计算参数计算由机器人3将机械手2从初始姿势移动到抓持姿势的路径。
(10)各种控制处理
根据取得包含工件5的三维位置信息的计测数据时的计测条件来控制传感器1的动作，根据计算出的抓持姿势来控制机械手2的动作，根据计算出的路径来控制机器人3的动作。
如上所述，控制装置4相当于本发明的“物体识别处理装置”中的“模型数据取得部”、“位置姿势识别部”、“相似评分计算部”、“可靠度计算部”和“整合评分计算部”各自的一例，在这方面，传感器1和控制装置4相当于本发明的“物体识别处理装置”的一例。此外，控制装置4也相当于本发明的“物体拣选装置”中的“抓持物体确定部”、“计测条件变更部”、“抓持姿势计算部”和“路径计算部”各自的一例。
根据以上所述，根据本实施方式的具备物体识别处理装置的工件拣选装置100，消除了在现有的物体识别处理方法中作为课题的、难以判别工件5的位置姿势识别结果合格与否、作为其结果可能发生导致工件5的抓持失败的情况的问题，从而能够实现稳定且良好的拣选操作。
即，在现有的物体识别处理方法中，有时尽管作为位置姿势识别中的三维匹配结果获得了较高的相似评分，但是实际上发生了识别失败、或者识别精度较低这样的事态。然后，在未掌握那样的事态的情况下试行工件5的拣选时，存在无法抓持该物体的情况。与此相对，根据本实施方式的具备物体识别处理装置的工件拣选装置100，不仅使用三维匹配的相似评分，而且对工件5还使用着眼于位置姿势识别结果中的三维形状的多样性的指标来计算相似评分的可靠度，进而计算整合评分。然后，根据该整合评分，可以判别工件5的位置姿势识别结果合格与否。由此，优先将识别精度高的工件5作为抓持对象，或者在无法获得精度足够高的位置姿势识别结果的情况下，可以在变更了计测条件的基础上进行工件5的位置姿势的重新识别。其结果是，可以极大地提高物体的抓持和拣选的成功率，能够实现良好且稳定的拣选操作。
§2结构例
[硬件结构]
接下来，使用图2对本实施方式的具备物体识别处理装置的工件拣选装置100的硬件结构的一例进行说明。图2是示意性地示出本实施方式的具备物体识别处理装置的工件拣选装置100的硬件结构的一例的框图。
在图2的示例中，工件拣选装置100也具备图1中例示的传感器1、机械手2、机器人3以及控制装置4。在此，控制装置4包括控制运算部41、通信接口(I/F)部42、存储部43、输入部44和输出部45，各部可以以能够经由总线46相互通信的方式连接。
控制运算部41包括CPU(Central Processing Unit，中央处理单元)、RAM(RandomAccess Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等，根据信息处理来进行各个构成要素的控制和各种运算。
通信I/F部42例如是用于利用有线或无线方式与其它作为构成要素的“部”和“装置”进行通信的通信模块。通信I/F部42在通信中所使用的通信方式是任意的，例如可以举出LAN(Local Area Network，局域网)、USB(Universal Serial Bus，通用串行总线)等，也可以应用与总线46同等的适当的通信线路。传感器1、机械手2以及机器人3都可以设置为能够经由通信I/F部42与控制运算部41等进行通信。
存储部43是例如硬盘驱动器(HDD)、固态驱动器(SSD)等辅助存储装置，除了存储由控制运算部41执行的各种程序(用于执行上述(1)至(9)所示的各种处理的运算程序、以及用于执行上述(10)所示的传感器1、机械手2和机器人3各自的动作的控制处理的控制程序等)、从传感器1输出的计测数据、计测条件、识别参数以及包括各种计算参数的数据库、各种运算结果和计算结果的数据、与工件5的位置姿势识别结果有关的数据、与工件5的拣选状况和/或拣选记录有关的数据等之外，还存储工件5的三维模型数据等。如上所述，通过由控制运算部41执行存储在存储部43中的运算程序和控制程序来实现后述的功能结构例中的各种处理功能。
输入部44是用于受理来自使用工件拣选装置100的用户的各种输入操作的接口设备，可以通过例如鼠标、键盘、触摸面板、语音麦克风等来实现。输出部45是用于利用其显示、语音输出、打印输出等向使用工件拣选装置100的用户等通知各种信息的接口设备，可以通过例如显示器、扬声器、打印机等来实现。
[功能结构]
接下来，使用图3对本实施方式的具备物体识别处理装置的工件拣选装置100的功能结构的一例进行说明。图3是示意性地示出本实施方式的具备物体识别处理装置的工件拣选装置100的功能结构的一例的框图。
图2所示的工件拣选装置100的控制运算部41在RAM中展开存储在存储部43中的各种程序(控制程序和运算程序等)。然后，控制运算部41利用CPU解释并执行在RAM中展开的各种程序，控制各个构成要素。由此，如图3中例示的那样，本实施方式的工件拣选装置100可以实现具备如下的控制装置4的结构，该控制装置4具有：分别执行所述(1)至(9)所示的各项处理的模型数据取得部410、位置姿势识别部420、相似评分计算部430、可靠度计算部440、整合评分计算部450、抓持物体确定部460、计测条件变更部470、抓持姿势计算部480和路径计算部490、以及执行上述(10)所示的控制处理的传感器控制部510、机械手控制部520和机器人控制部530。
另外，在本实施方式中，对利用通用的CPU来实现由设置于工件拣选装置100的控制装置4实现的各个功能的示例进行了说明，但是也可以通过一个或多个专用处理器来实现以上功能的一部分或全部。此外，当然也可以根据实施方式和结构例对设置于工件拣选装置100的控制装置4的功能结构适当地进行功能省略、替换以及追加。此外，“控制装置”可以理解为普通的信息处理装置(例如，计算机、工作站等)。
§3动作例
接着，使用图4对工件拣选装置100的动作的一例进行说明。图4是示出本实施方式的具备物体识别处理装置的工件拣选装置100的处理步骤的一例的流程图，也是示出使用了物体识别处理装置的物体识别处理方法的一例、以及使用了工件拣选装置100的工件拣选方法中的处理步骤的一例的流程图。另外，以下说明的处理步骤仅为一例，可以在本公开的技术思想的范围内尽可能变更各个处理。此外，也可以根据实施方式和各个结构例对以下说明的处理步骤适当地进行步骤的省略、替换以及追加。
(启动)
首先，工件拣选装置100的用户启动工件拣选装置100以执行各种程序(运算程序、控制程序等)。然后，控制装置4的控制运算部41依照以下的处理步骤来控制传感器1、机械手2和机器人3各自的动作，并且进行控制装置4的各个功能部的运算处理。此外，在本实施方式中，在以下各个步骤中的处理之前，从存储部43读出各个步骤所需的计测条件、识别参数以及各种计算参数的初始值组，并将其适当保持在传感器控制部510、位置姿势识别部420、抓持姿势计算部480和路径计算部490中。但是，只要在各个步骤的处理前，就可以在适当的时机执行这种计测条件和各种参数的读出。
(步骤S1)
在步骤S1中，模型数据取得部410取得示出预先创建的工件5的三维形状的三维模型数据(三维CAD模型数据)、可用于三维匹配的模板和/或模型图案，并将它们存储在存储部43中。如上所述，步骤S1相当于上述应用例中的“(1)模型数据取得处理”。
(步骤S2)
在步骤S2中，传感器控制部510使传感器1动作，使用计测条件的初始值组来计测工件5，取得包含工件5的三维位置信息的计测数据。作为计测条件，例如，除了曝光时间、照明的照度和计测位置(例如，传感器1相对于工件5的相对三维位置或姿势(光轴的朝向))之外，还可以举出在所应用的计测方式中设定的各种条件。然后，在例如三维点群数据(点云数据)以及距离图像等之外，传感器1还根据需要将例如亮度图像等作为工件5的计测数据也输出至控制装置4。如上所述，步骤S2相当于上述应用例中的“(10)各种控制处理”。
(步骤S3)
在步骤S3中，位置姿势识别部420从工件5的计测数据中提取示出工件5的三维形状的特征点进行三维匹配，在所述三维匹配中，在规定的搜索区域中与工件5的三维模型数据中所对应的特征点或特征图案进行对照，使用工件5的位置姿势的识别参数的初始值组来识别各个工件5的位置姿势。作为位置姿势的输出数据，可以举出例如工件5的三维坐标(x，y，z)和三维的绕轴的旋转角度(rx，ry，rz)。此外，位置姿势识别部420根据需要计算检测出位置姿势的工件5的数量，并将那些识别结果和计算结果存储在存储部43中。作为工件5的位置姿势的识别参数，例如，可以举出与位置姿势识别中的工件5的检测有关的阈值等，更具体来说，可以例示工件5的三维模型数据和工件5的计测数据之间的三维匹配的阈值等。此外，作为检测出的各个工件5的位置姿势识别结果，位置姿势识别部420输出例如图5所示的图像及其描绘数据并将它们存储在存储部43中。
这里，图5示意性地示出设置于实施方式的工件拣选装置100的物体识别处理装置进行的工件51～55(均相应于工件5，在该示例中，设它们的三维形状全部相同。)的位置姿势识别的结果的一例的概念图。如图5所示，作为这里输出的位置姿势识别结果，例如输出如下的图像：以可识别的方式在针对各个工件51～55识别出的位置姿势进行二维投影而得到的二维图像中显示在三维匹配中作为工件51～55的特征点和/或特征部位检测出的例如轮廓线(是相当于边缘的线段，在图5中用粗实线表示的线段)。另外，为了方便起见，由标号A～E表示该示例中的工件51～55各自的位置姿势识别结果，在图5中，在工件51～55的各个显示区域中附记了与各个工件对应的位置姿势识别结果的标号A～E。如上所述，步骤S3相当于上述应用例中的“(2)位置姿势识别处理”。
(步骤S4)
在步骤S4中，作为工件51～55的位置姿势识别结果A～E中的三维模型数据与计测数据之间的相似度，相似评分计算部430使用规定的计算参数的初始值组来计算作为在步骤S3中实施的三维匹配的一致度的相似评分S。在此，相似评分S由例如0～100的范围内的值来表示，相似评分S＝0相当于最低一致度，并且相似评分S＝100相当于最高一致度。
即，在图5中示出的工件51～55中的工件51～54的近前未重叠其它工件，处于能够目视确认每一个工件的位置姿势整体的状态。因此，对于工件51～54，相当于它们的形状整体的周缘和面的边界的轮廓(边缘)全部被识别，此外，作为识别结果的轮廓线(粗实直线)与各个工件51～54的实际轮廓一致。其结果是，图5所示的工件51～54的位置姿势识别结果A～D的相似评分S都高，例如被计算为“100”。
另一方面，在图5中示出的工件51～55中的工件55的近前重叠有其它工件52～54，处于仅能够识别其位置姿势的一部分的状态。由此，对于工件55，仅相当于其形状的周缘的轮廓(边缘)中的、未被其它工件52～54遮住的部分被识别，该识别结果的轮廓线(粗实直线)与工件55的可观察到的部分的实际轮廓一致。其结果是，图5所示的工件55的位置姿势识别结果E的相似评分S比其它工件51～54的相似评分S稍低，例如被计算为“70”。
在图6的表中总结示出这样获得的工件51～55的位置姿势识别结果A～E的相似评分S的计算结果的一例。如上所述，步骤S4相当于上述应用例中的“(3)相似评分计算处理”。
(步骤S5)
在步骤S5中，可靠度计算部440计算示出图5所示的各个工件51～55的位置姿势识别结果A～E中的三维形状的特征的指标D1。这里，可靠度计算部440首先在工件51～55的位置姿势识别结果A～E的每一个中指定要检测的面。接下来，求出所指定的各个面的法线向量(表示法线方向)，进一步对该法线方向进行量化。然后，对工件51～55的位置姿势识别结果A～E的每一个，计算量化后的法线方向上的频度分布的最频值。然后，最终计算出所得到的该最频值的倒数(对最频值实施了基于倒数算子的校正而得到的值)作为指标D1。如上所述，在本步骤中计算出的指标D1相当于上述应用例中的指标2(对在工件5的位置姿势识别结果中检测出的各个面进行量化后的法线方向上的频度分布的最频值或其倒数)。
更具体来说，如图5所示，在位置姿势识别结果A～E的工件51～55中指定的面(由识别结果的轮廓线划定的可辨别的平面区域)的数量分别是一个面(51a)、两个面(52a、52b)、两个面(53a、53b)、三个面(54a、54b、54c)和一个面(55a)。然后，根据从传感器1输出的三维点群数据等，利用公知的任意方法计算与上述各个面的方向对应的法线向量。此外，根据所得到的各个法线向量，使用公知的或规定的方法(例如，可以将本申请人的日本特愿2017-182517号中记载的法线方向的量化方法作为优选的一例举出。请特别参照日本特愿2017-182517号的图4及其说明。)对各个面的法线方向进行量化。
在图7A～图7D中示出针对图5所示的各个工件51～55这样得到的量化后的法线方向上的频度分布的一例。图7A(曲线图(A))示出工件51、55在量化后的法线方向上的频度分布，图7B～图7D(曲线图(B)～(D))分别示出工件52～54在量化后的法线方向上的频度分布。另外，图7A～图7D是在10种方向上对法线向量进行量化时的结果，横轴表示与法线方向对应的量化编号，纵轴表示各个法线方向上的频度。另外，这里，示出将各个工件的法线方向上的频度的合计归一化为“1”时的各个法线方向上的频度(归一化值)。
更具体来说，如图7A所示，工件51、55的位置姿势识别结果A、E示出由量化后的方向是“1”且归一化后的频度是“1.0”的一个法线方向(分别对应于面51a、55a)构成的频度分布。此外，如图7B所示，工件52的位置姿势识别结果B示出由量化后的方向是“2”且归一化后的频度是“0.75”的法线方向(对应于面52a)和量化后的方向是“8”且归一化后的频度是“0.25”的法线方向(对应于面52b)构成的频度分布。
另一方面，如图7C所示，工件53的位置姿势识别结果C示出由量化后的方向是“3”且归一化后的频度是“0.75”的法线方向(对应于面53a)、量化后的方向是“9”且归一化后的频度是“0.25”的法线方向(对应于面53b)构成的频度分布。此外，如图7D所示，工件54的位置姿势识别结果E示出由量化后的方向是“4”且归一化后的频度是“0.6”的法线方向(对应于面54a)、量化后的方向是“6”且归一化后的频度是“0.2”的法线方向(对应于面54b)、量化后的方向是“10”且归一化后的频度是“0.2”的法线方向(对应于面54c)构成的频度分布。
根据这种图7A～图7D所示的量化后的法线方向上的频度分布，工件51～55的位置姿势识别结果A～E的法线方向上的最频值分别为“1.0”(面51a)、“0.75”(面52a)、“0.75”(面53a)、“0.60”(面54a)以及“1.0”(面55a)。然后，通过求出它们的倒数，分别计算出“1.0”(面51a)、“1.33”(面52a)、“1.33”(面53a)、“1.67”(面54a)以及“1.0”(面55a)作为工件51～55的位置姿势识别结果A～E的指标D1。在图6的表中总结示出这样得到的工件51～55的位置姿势识别结果A～E中的指标D1的计算结果的一例。
(步骤S6)
在步骤S6中，可靠度计算部440计算识别出的各个工件51～55的表面积作为图5所示的各个工件51～55的位置姿势识别结果A～E中的示出三维形状的特征的指标D2。例如，在从传感器1输出的三维点群数据或与其对应的二维图像中，指定划定在图5中显示的各个工件51～55的位置姿势识别结果A～E中的平面区域(不是工件51～55的实际形状区域。)的周缘的轮廓线的二维坐标，可以将根据该二维坐标计算出的面积作为各个工件51～55的位置姿势识别结果A～E中的表面积。
或者，在步骤S5中，也可以分别对工件51～55同样地计算所指定的每个面的面积，将各个工件51～55的面积的合计值作为位置姿势识别结果A～E中的表面积。此外，所得到的工件51～55的位置姿势识别结果A～E中的表面积可以直接使用绝对值，或者，也可以是以特定的工件5的表面积为基准的相对值(即，归一化后的值)。如上所述，在本步骤中计算出的指标D2相当于上述应用例中的指标4(工件5的位置姿势识别结果中计算出的工件5的表面积)。
更具体来说，当计算图5所示的工件51～55的表面积进而估算设工件51的表面积为“1.0”时的相对值时，分别计算出“1.0”、“1.0”、“0.6”、“1.0”、“1.0”作为工件51～55的位置姿势识别结果A～E中的指标D2。在图6的表中总结示出这样获得的工件51～55的位置姿势识别结果A～E中的指标D2的计算结果的一例。
(步骤S7)
在步骤S7中，可靠度计算部440使用所获得的指标D1、D2计算工件51～55的位置姿势识别结果A～E的相似评分的可靠度R。这里，例如，可以将指标D1、D2中的任何一个直接作为可靠度R，或者，也可以将实施根据指标D1、D2的重要度或优先级进行加权等的适当的校正而得到的指标作为可靠度R。此外，可以将利用乘法运算等适当的运算将指标D1、D2或对各个D1、D2实施了加权等适当的校正而得到的指标进行组合而得到的指标作为可靠度R。
更具体来说，当设可靠度R＝指标D1×指标D2时，分别计算出“1.00”、“1.33”、“0.80”、“1.67”、“1.00”作为工件51～55的位置姿势识别结果A～E中的相似评分S的可靠度R。在图6的表中总结示出这样获得的工件51～55的位置姿势识别结果A～E中的相似评分S的可靠度R的计算结果的一例。如上所述，步骤S5～S7相当于上述应用例中的“(4)可靠度计算处理”。
(步骤S8)
在步骤S8中，整合评分计算部450计算出利用乘法运算等适当的运算将所获得的相似评分S和可靠度R进行组合而得到的指标作为整合评分ST。更具体来说，当设整合评分ST＝相似评分S×可靠度R时，分别计算出“100”、“133”、“80”、“167”和“100”作为工件51～55的位置姿势识别结果A～E中的整合评分ST。在图6的表中总结示出这样获得的工件51～55的位置姿势识别结果A～E中的整合评分ST的计算结果的一例。如上所述，步骤S8相当于上述应用例中的“(5)整合评分计算处理”。
(步骤S9)
在作为分支处理的步骤S9中，例如，抓持物体确定部460判定所获得的整合评分ST是否在预先设定的阈值(例如，“90”、“100”、“110”等)以上。当整合评分ST在该阈值以上时，转移到后述的步骤S10以后的处理，当整合评分ST低于该阈值时，转移到后述的步骤S20以后的处理。
(步骤S10)
当在步骤S9中判定为整合评分ST在阈值以上时(在步骤S9中为“是”时)，在步骤S10中，抓持物体确定部460选定获得该阈值以上的整合评分ST的位置姿势识别结果的工件5。例如，按照整合评分ST从高到低的顺序、或者按照任意顺序来确定作为机械手2抓持的对象的工件5。具体而言，当该阈值是“90”且得到了图6所示的整合评分ST时，抓持物体确定部460选定整合评分ST在该阈值以上的工件51、52、54，可以按照整合评分ST从高到低的顺序确定抓持对象(在该情况下，例如，邻近的要抓持的对象为整合评分ST为最高的“167”的工件54。)。如上所述，步骤S9、S10相当于上述应用例中的“(6)抓持物体确定处理”。
(步骤S11)
在步骤S11中，抓持姿势计算部480使用抓持被确定为抓持对象的工件5时的机械手2的抓持姿势的计算参数的初始值组，并且根据在步骤S3中识别出的该工件5的位置姿势来计算机械手2抓持该工件5的姿势。作为机械手2抓持工件5的姿势的计算参数，例如，可以举出抓持姿势计算中的阈值等。另外，在本步骤中，可以仅计算作为邻近的抓持对象的工件5(例如工件54)的抓持姿势，也可以计算在步骤S10中被确定为抓持对象的全部工件5(例如工件51、52、54)的抓持姿势。如上所述，步骤S11相当于上述应用例中的“(8)抓持姿势计算处理”。
(步骤S12)
在步骤S12中，路径计算部490使用从机械手2的初始姿势移动到抓持姿势的路径的计算参数的初始值组，计算将机械手2从该初始姿势移动到在步骤S11中计算出的抓持姿势的路径。作为从机械手2的初始姿势移动到抓持姿势的路径的计算参数，例如，可以举出机械手2对于工件5和收纳容器6的干涉判定的阈值等。如上所述，步骤S12相当于上述应用例中的“(9)路径计算处理”。
(步骤S13)
然后，在步骤13中，机器人控制部530根据在步骤S12中计算出的去往抓持对象的工件5的路径使机器人3动作，将机械手2移动到针对该工件5的在步骤S11中计算出的抓持姿势。然后，机械手控制部520根据该抓持姿势使机械手2动作以抓持作为抓持对象的工件5。进而，机器人控制部530和机械手控制部520从收纳容器6中取出所抓持的工件5，移设到适当的托盘等中使其排列配置。如上所述，步骤S13也相当于上述应用例中的“(10)各种控制处理”。
在执行步骤S13之后，使处理返回到步骤S9，当存在被确定为抓持对象的整合评分ST高的其它工件5时，反复实施步骤S10～S13的处理。
(步骤S20)
另一方面，当在步骤S9中判定为整合评分ST低于阈值时(当在步骤S9中为“否”时)，在作为分支步骤的步骤S20中，例如，计测条件变更部470判定是否存在相似评分S的可靠度R或整合评分ST能够高于前面的步骤S7中暂时计算出的可靠度R或整合评分ST的工件5的位置姿势。
例如，如果在前面的步骤S3中已获得工件5的位置姿势识别结果并且在前面的步骤S2中已判明传感器1的位置姿势(例如，可以根据传感器1的驱动机构的编码器的数据等取得)，则通过使用在前面的步骤S1中取得的工件5的三维模型数据来预测当传感器1的位置姿势做出各种变化而进行计测时的工件5的位置姿势识别结果。此外，对于所获得的工件5的各种位置姿势的预测识别结果，执行通过步骤S4～S8执行的各个处理，计算它们的预测识别结果中的相似评分S的可靠度R和整合评分ST的预测值。然后，将这样获得的相似评分S的可靠度R和整合评分ST的预测值与已经获得的值进行比较，判定是否存在能够获得更高可靠度R或整合评分ST的工件5的位置姿势。这里，当判定为不存在能够获得更高可靠度R或整合评分ST的工件5的位置姿势时(当在步骤S20中为“否”时)，结束处理。
(步骤S21)
另一方面，当在步骤S20中判定为存在能够获得更高可靠度R或整合评分ST的工件5的位置姿势时(当在步骤S20中为“是”时)，在作为分支步骤的步骤21中，例如，计测条件变更部470判定是否存在能够利用传感器1计测出可获得最高可靠度R或整合评分ST的工件5的最佳位置姿势的计测条件(例如，传感器1的位置姿势)。
通常，由于工件5收纳在收纳容器6等中、或者以散置堆积状态载置于支承台上，因此，为了实现工件5的目标位置姿势，相比于移动工件5，变更传感器1的位置姿势这样的计测条件更有用。但是，例如，当变更传感器1的位置姿势时，存在传感器1或传感器1的驱动机构与工件5以及位于其周边的物体物理上干涉的可能性。于是，实际上无法将传感器1移动到目标位置姿势，无法利用传感器1来计测工件5的目标位置姿势。因此，当这样判定为由传感器1无法计测工件5的目标位置姿势时(步骤S21中为“否”时)，使处理返回到步骤S20，接下来，反复实施有无最佳的工件5的位置姿势的判定、以及步骤S21中的有无计测条件的判定。
这里，计算传感器1及其驱动机构的目标位置姿势的方法和步骤不受特别限制，例如，可以举出以下的方法和步骤。即，首先，应对传感器1进行的姿势变换例如可以通过如下方式获得：在传感器1与工件5之间的距离没有变化时，使从工件5的当前位置姿势向目标位置姿势的姿势变换(矩阵)的符号绕x-y轴反转。此外，可以通过事先对传感器1的坐标系与驱动机构的坐标系之间的对应关系进行校正(校准)来计算用于将传感器1移动到目标位置姿势的传感器1的驱动机构(当传感器1安装于机器人3时为机器人3)的姿势变换。
(步骤S22)
另一方面，当在步骤S21中判定为可以利用传感器1计测工件5的目标位置姿势时(在步骤S21中为“是”时)，在步骤S22中，计测条件变更部470将基于传感器1的工件5的计测条件的初始值组变更为包括能够获得工件5的该目标位置姿势的传感器1的位置姿势的组。
在执行步骤S22之后，使处理返回到步骤S2，传感器控制部510(当传感器1安装于机器人3时，还有机器人控制部530)根据新设定的变更后的计测条件变更传感器1的位置姿势，利用该状态下的传感器1重新取得包含工件5的三维位置信息的计测数据，并反复实施步骤S3以后的处理。
§4作用/效果
如上所述，根据本实施方式的具备物体识别处理装置的工件拣选装置100以及使用了它们的方法的一例，首先，当识别工件5的位置姿势时，计算三维模型数据与工件5的计测数据之间的三维匹配的相似评分S。此外，不仅着眼于上述相似评分S，而且着眼于位置姿势识别结果中的工件5的三维形状的特征，计算示出上述特征的指标D1、D2，进而根据这些指标D1、D2计算相似评分S的可靠度R。然后，不仅使用相似评分S，而且使用通过组合相似评分S及其可靠度R而得到的整合评分ST，能够判别工件5的位置姿势识别结果合格与否(识别精度)。
例如，在图5和图6所示的工件51～55的位置姿势识别结果A～E中，如图5所示，尽管工件51～54的各个位置姿势互不相同，但是相似评分S全部是较高的相同的值(“100”)，因此，仅凭相似评分S，无法掌握上述工件51～54的位置姿势的差异。
与此相对，对于相似评分S的值相同的工件51～54的位置姿势识别结果A～D，根据本实施方式，根据指标D1、D2计算出的相似评分S的可靠度R是“0.80”～“1.67”的范围内的不同的值。其结果是，由于根据相似评分S和可靠度R计算出的整合评分ST为“80”～“167”的范围内的不同的值，因此能够充分掌握如图5所示的工件51～54的位置姿势的差异，从而能够准确地判别它们的位置姿势识别结果A～E合格与否以及优劣。
此外，在工件55的近前重叠有工件52～54，用机械手2能够抓持这样状态的工件55的可能性较低，但是，尽管工件55的相似评分S是“70”比工件51～54的相似评分S的“100”低，但两者的差异也不是那么大。与此相对，尽管工件55的位置姿势识别结果E的整合评分ST的值与相似评分S相同(“70”)，但与整合评分ST的最大值(工件54的位置姿势识别结果D中的“167”)之间的差异非常大。因此，通过适当地设定用于确定抓持对象的整合评分ST的阈值，能够更可靠地弄清抓持工件55的抓持可能性。
此外，根据本发明人的发现，在如图5所示的工件51的位置姿势那样仅能够看见平面的位置姿势的情况下，尤其该平面方向(x-y方向)上的识别精度存在容易恶化的倾向(还请参照后述的第1变形例。)。对此，在本实施方式中，作为指标D1，检测由位置姿势识别结果A～E中的工件51～55的轮廓线划定的面，并对这样指定的各个面求出量化后的法线方向上的频度分布，计算针对工件51～55获得的法线方向上的频度分布的最频值(参照图7A～图7D)的倒数。即，指标D1是将工件5的面的朝向的数量数值化而得到的值，可以说是高度反映出工件5的三维形状的多样性(丰富性)的指标。即，如图5所示，工件51～55的可观察到的面的数量越多，三维形状越富有多样性，如图6所示计算出与其对应的指标D1。由此，通过使用指标D1，可以提高相似评分S的可靠度R和整合评分ST的计算精度，其结果是，能够掌握工件51～55的位置姿势的差异以及更准确地进行位置姿势识别结果A～E合格与否和优劣的判别。
此外，在本实施方式中，作为指标D2，计算位置姿势识别结果A～E中的工件51～55的表面积。在此，上述表面积越大，则在三维匹配中所对照的工件51～55的特征点越多，因此，相比于表面积较小的工件5的位置姿势，位置姿势识别结果A～E中的表面积较大的工件5的位置姿势可以包括更多的与工件5的三维形状有关的信息。因此，指标D2也可以说是高度反映出工件5的三维形状的多样性(丰富性)的指标。并且，如图6所示计算出与图5所示的工件51～55的表面积对应的指标D2。由此，通过使用指标D2，可以提高相似评分S的可靠度R和整合评分ST的计算精度，其结果是，能够掌握工件51～55的位置姿势的差异以及更准确地进行位置姿势识别结果A～E合格与否和优劣的判别。
并且，在本实施方式中，将工件5的位置姿势识别结果A～E中的整合评分ST与规定的阈值进行比较，将例如示出该阈值以上的整合评分ST的位置姿势识别结果的工件5(即，位置姿势的识别精度高的工件5)确定为机械手2的抓持对象。因此，与以往仅根据相似评分S来判断工件5的位置姿势识别结果合格与否地进行拣选相比，能够实现良好且稳定的拣选操作。
此外，在本实施方式中，当未能获得示出阈值以上的整合评分ST的工件5的位置姿势识别结果时，变更计测条件而重新取得包含工件5的三维位置信息的计测数据，根据该结果重新识别工件5的位置姿势。由此，即使在暂时识别出的工件5的位置姿势的精度差而无法将该工件5作为抓持对象的情况下，也能够提高位置姿势的识别精度。由此，可以增加能够可靠地抓持的工件5的数量(即，提高抓持成功率)，因此能够实现更良好且稳定的拣选操作。
而且，此时，掌握工件5的位置姿势识别结果中的相似评分S的可靠度R或整合评分ST能够比重新取得计测数据以及重新识别之前得到经改善的工件5的位置姿势，并且判定了该工件5的位置姿势的实现可能性，在此基础上变更传感器1的计测条件。因此，可以进一步提高位置姿势的识别精度，并且进一步提高用机械手2抓持工件5的抓持可能性，因此能够进一步实现更加良好且稳定的拣选操作。
§5变形例
以上，详细说明了作为本公开的一例的实施方式，但是，上述说明在所有方面只不过是本公开的一例，不言而喻，可以在不脱离本公开的范围的状况下，进行各种改良和变形，例如可以进行以下所示的变更。另外，在以下说明中，关于与上述实施方式相同的结构要素使用相同的标号，对于与上述实施方式相同的方面，适当省略了说明。此外，可以将上述实施方式和以下的各变形例适当组合而构成。
＜5.1：第1变形例＞
图8的(A)是示意性地示出第1变形例的具备物体识别处理装置的工件拣选装置200的应用场景的一例的概念图，图8的(B)是示意性地示出设置于第1变形例的工件拣选装置200中的物体识别处理装置对工件56、57(都相当于工件5，在该示例中，设它们的三维形状全部是相同的。)的位置姿势识别结果的一例的概念图。
如图8的(A)所示，第1变形例的工件拣选装置200除了传感器1安装在机器人3的臂前端部以外，与图1所示的工件拣选装置100的结构同等(未图示控制装置4。)。如上所述，工件挑选装置200也相当于本发明的“物体拣选装置”的一例。
此外，图8的(B)所示的位置姿势识别结果与图5相同，例如是如下的图像：以可识别的方式在针对各个工件56、57识别出的位置姿势进行二维投影而得到的二维图像中显示在三维匹配中作为工件56、57的特征点和/或特征部位检测出的例如轮廓线(相当于边缘的线段，在图8的(B)中由粗实线表示的线段)。另外，在图8的(B)中，也与图5相同，在工件56、57的各个显示区域中附记与各个工件对应的位置姿势识别结果的标号F、G。此外，在图9的表中总结示出针对这些工件56、57的位置姿势识别结果F、G计算出的相似评分S、指标D1、D2、可靠度R和整合评分ST。
图8的(B)所示的位置姿势识别结果F、G中的工件56、57的位置姿势都是仅能够看见平面的位置姿势的一例，如上所述，在只有这样的平面的位置姿势的情况下，存在该平面方向(x-y方向)上的识别精度容易恶化的倾向。这种状况例如可能会在如下情况下发生：进行呈矩形状的工件5的拣选，残留在收纳容器6内的工件5减少，工件5平放在收纳容器6的底面上，从收纳容器6的底面的大致正上方利用传感器1计测出该工件5的状态。
对于图8的(B)所示的工件56，虽然作为识别结果的由轮廓线围起的范围的大小(面积)与工件56的外形区域的面积大致同等，但是位置稍稍偏移，在这方面，尽管平面方向(x-y方向)上的识别精度差，但是如图9所示，相似评分被计算为“80”。此外，对于工件57，作为识别结果的由轮廓线围起的范围的大小(面积)与工件56的外形区域的面积完全不同，在这方面，尽管平面方向(x-y方向)上的识别精度差，但是由于轮廓线的位置本身与工件57的外形区域一致或包含在该范围内，因此相似评分被计算为“100”。
在该情况下，从图8的(B)一眼就能判断出工件56的位置姿势识别结果F优于工件57的位置姿势识别结果G，但是假设如果仅凭相似评分S来判别它们合格与否的话，则结果相反。此外，例如，设相似评分S的阈值为与前面的实施方式中的整合评分ST的阈值相同的“90”时，则存在工件56不会成为抓持对象，而另一方面工件57被判定为抓持对象的担忧。但是，可以说即使根据与实际的工件57的外形范围大不相同的位置姿势识别结果G来试行工件57的抓持，无法抓持的可能性也较大。
对此，在第1变形例中，与上述实施方式相同，根据整合评分ST来进行工件56、57的位置姿势识别结果F、G合格与否的判别(图4中的步骤S9)。例如，设整合评分ST的阈值为与上述实施方式相同的“90”时，位置姿势识别结果F、G的任何一个整合评分ST都低于阈值。由此，在图8的(B)所示的状况下，依照图4所示的流程图，利用步骤S20以后的处理变更计测条件而重新取得工件56、57的计测数据，进而进行位置姿势的重新识别。
这里，图10的(A)是示意性地示出第1变形例的具备物体识别处理装置的工件拣选装置200的应用场景的另一例的概念图，并且是示出通过变更作为计测条件的传感器1的位置姿势而重新取得工件56、57的计测数据的状态的图。此外，图10的(B)是示意性地示出设置于第1变形例的工件拣选装置200中的物体识别处理装置对工件56、57的物***置姿势识别结果的另一例的概念图。另外，在图10的(B)中，也与图8的(B)同样，在工件56、57的各个显示区域中附记了与各个工件对应的位置姿势识别结果的标号H、I。此外，在图11的表中总结示出针对这些工件56、57的位置姿势识别结果H、I计算出的相似评分S、指标D1、D2、可靠度R和整合评分ST。
如图10的(A)所示，机器人3的臂比图8的(A)所示的状态更向臂前方延伸，此外，机器人3的臂前端部的角度被变更为向臂座侧倾斜，其结果是，安装在臂前端部的传感器1的位置姿势(视点)被变更为从稍斜上方观察工件56、57。如图10的(B)和图11的表所示，基于由上述位置姿势的传感器1重新取得的计测数据的工件56、57的位置姿势的重新识别结果H、I均良好，例如，相对评分S和整合评分ST均比图9的表所示的最初的结果得到了明显改善。
根据以上所述，根据上述第1变形例，与上述实施方式相同，即使在暂时识别出的工件5的位置姿势的识别精度差而无法将该工件5作为抓持对象的情况下，也能够提高该位置姿势的识别精度。由此，可以增加能够可靠地抓持的工件5的数量(即，提高抓持成功率)，因此能够实现良好且稳定的拣选操作。
＜5.2：第2变形例＞
在上述实施方式中，使用了指标D1、D2中的至少任意一个，但是，除此以外，也可以取而代之，使用上述应用例中的指标1、3、5、6、7、8中的至少任意一个。
§6附记
以上说明的实施方式和变形例用于使本发明易于理解，而并不是对本发明进行限定解释。实施方式和变形例所具备的各要素及其配置、材料、条件、形状、大小等并不限于例示的内容，能够进行适当的变更。此外，也可以将不同的实施方式和变形例中示出的各结构部分地替换或组合。
(附录1)
一种物体识别处理装置，其中，所述物体识别处理装置具备：
模型数据取得部(410)，其取得示出物体(5)的三维形状的三维模型数据；
计测部(1)，其取得包括所述物体(5)的三维位置信息的计测数据；
位置姿势识别部(420)，其根据所述三维模型数据和所述计测数据来识别所述物体(5)的位置姿势；
相似评分计算部(430)，其计算示出所述物体(5)的位置姿势识别结果中的、所述三维模型数据与所述计测数据之间的相似度的相似评分(S)；
可靠度计算部(440)，其计算示出所述物体(5)的位置姿势识别结果中的、该物体(5)的三维形状的特征的指标(D1、D2)，根据该指标(D1、D2)计算所述相似评分(S)的可靠度(R)；以及
整合评分计算部(450)，其根据所述相似评分(S)和所述可靠度(R)来计算示出所述物体(5)的位置姿势识别结果合格与否的整合评分(ST)。
(附录2)
根据附录1所述的物体识别处理装置，其中，所述物体(5)的三维形状的特征是根据所述物体(5)的位置姿势识别结果掌握的、示出所述物体(5)的三维形状的多样性的物理量。
(附录3)
根据附录1或2所述的物体识别处理装置，其中，所述可靠度计算部(440)计算所述物体(5)的位置姿势识别结果中的面的数量作为所述指标(D1、D2)。
(附录4)
根据附录1至3中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)对所述物体(5)的位置姿势识别结果中的各个面的法线方向进行量化，并计算该量化后的所述法线方向上的频度分布的最频值或方差作为所述指标(D1、D2)。
(附录5)
根据附录1至4中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)计算所述物体(5)的位置姿势识别结果中的表面积作为所述指标(D1、D2)。
(附录6)
根据附录1至5中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)计算所述物体(5)的位置姿势识别结果中的轮廓线的数量或长度作为所述指标(D1、D2)。
(附录7)
根据附录1至6中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)计算示出所述物体(5)的位置姿势识别结果中的亮度分布的方差或示出所述物体(5)的位置姿势识别结果中的距离分布的方差的值作为所述指标(D1、D2)。
(附录8)
根据附录1至7中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)对所述指标(D1、D2)进行加权，并根据该加权得到的指标(D1、D2)计算所述相似评分(S)的可靠度(R)。
(附录9)
根据附录1至8中的任一项所述的物体识别处理装置，其中，所述可靠度计算部(440)针对所述物体(5)的每个不同的位置姿势预先计算所述指标(D1、D2)或所述可靠度(R)，选定与所述物体(5)的位置姿势识别结果对应的所述指标(D1、D2)或所述可靠度(R)。
(附录10)
一种物体识别处理方法，其使用了如下的物体识别处理装置，所述物体识别处理装置具备模型数据取得部(410)、计测部(1)、位置姿势识别部(420)、相似评分计算部(430)、可靠度计算部(440)和整合评分计算部(450)，
所述物体识别处理方法包括如下步骤：
所述模型数据取得部(410)取得示出物体(5)的三维形状的三维模型数据；
所述计测部(1)取得包括所述物体(5)的三维位置信息的计测数据；
所述位置姿势识别部(420)根据所述三维模型数据和所述计测数据来识别所述物体(5)的位置姿势；
所述相似评分计算部(430)计算示出所述物体(5)的位置姿势识别结果中的、所述三维模型数据与所述计测数据之间的相似度的相似评分(S)；
所述可靠度计算部(440)计算示出所述物体(5)的位置姿势识别结果中的、该物体(5)的三维形状的特征的指标(D1、D2)，并根据该指标(D1、D2)计算所述相似评分(S)的可靠度(R)；以及
所述整合评分计算部(450)根据所述相似评分(S)和所述可靠度(R)来计算示出所述物体(5)的位置姿势识别结果合格与否的整合评分(ST)。
(附录11)
一种物体拣选装置(100、200)，所述物体拣选装置(100、200)用于抓持物体(5)并将其取出，其中，所述物体拣选装置(100、200)具备：
附录1至9中的任一项所述的物体识别处理装置；
机械手(2)，其抓持所述物体(5)；
机器人(3)，其移动所述机械手(2)；以及
控制装置(4)，其控制所述物体识别处理装置、所述机械手(2)和所述机器人(3)，所述控制装置(4)具有：
抓持物体确定部(460)，其根据由所述物体识别处理装置计算出的所述整合评分(ST)来确定所述机械手(2)将抓持的所述物体(5)；
抓持姿势计算部(480)，其计算所述机械手(2)抓持所述物体(5)时的所述机械手(2)的抓持姿势；以及
路径计算部(490)，其计算利用所述机器人(3)将所述机械手(2)移动到所述抓持姿势的路径。
(附录12)
根据附录11所述的物体拣选装置(100、200)，其中，
所述控制装置(4)具有计测条件变更部(470)，所述计测条件变更部(470)根据由所述物体识别处理装置计算出的所述整合评分(ST)变更取得所述计测数据时的计测条件，
所述物体识别处理装置的所述计测部(1)根据变更后的所述计测条件重新取得包括所述物体(5)的三维位置信息的计测数据，
所述物体识别处理装置的所述位置姿势识别部(420)根据所述三维模型数据和重新取得的所述计测数据重新识别所述物体(5)的位置姿势。
(附录13)
根据附录12所述的物体拣选装置(100、200)，其中，作为所述计测条件，所述计测条件变更部(470)变更所述计测部(1)的位置姿势。
(附录14)
根据附录13所述的物体拣选装置(100、200)，其中，所述参数变更部(470)根据所述三维模型数据、重新识别前的所述物体(5)的位置姿势识别结果、以及重新取得所述计测数据前的所述计测部(1)的位置姿势来计算待变更的所述计测部(1)的位置姿势。
(附录15)
一种物体拣选方法，所述物体拣选方法用于使用具备附录1至9中的任一项所述的物体识别处理装置、机械手(2)、机器人(3)以及控制装置(4)的物体拣选装置(100、200)抓持物体(5)并将其取出，其中，所述物体拣选方法包括：
计算步骤，所述物体识别处理装置计算示出所述物体(5)的位置姿势识别结果合格与否的整合评分(ST)；
抓持步骤，所述机械手(2)抓持所述物体(5)；
移动步骤，所述机器人(3)移动所述机械手(2)；以及
控制步骤，所述控制装置(4)控制所述物体识别处理装置、所述机械手(2)和所述机器人(3)，
所述控制步骤包括：
抓持物体确定步骤，根据所述整合评分(ST)来确定所述机械手(2)将抓持的所述物体(5)；
抓持姿势计算步骤，计算所述机械手(2)抓持所述物体(5)时的所述机械手(2)的抓持姿势；以及
路径计算步骤，计算利用所述机器人(3)将所述机械手(2)移动到所述抓持姿势的路径。

Claims (13)

1.一种物体识别处理装置，其中，所述物体识别处理装置具备：
模型数据取得部，其取得示出物体的三维形状的三维模型数据；
计测部，其取得包括所述物体的三维位置信息的计测数据；
位置姿势识别部，其根据所述三维模型数据和所述计测数据来识别所述物体的位置姿势；
相似评分计算部，其根据所述物体的位置姿势识别结果中的轮廓线与所述物体的实际的轮廓线之间的一致度的高低，计算示出所述三维模型数据与所述计测数据之间的相似度的相似评分；
可靠度计算部，其对所述物体的位置姿势识别结果中的各个面的法线方向进行量化，计算该量化后的所述法线方向上的频度分布的最频值或方差作为示出该物体的三维形状的特征的指标，将该指标的值直接作为所述相似评分的可靠度，或者计算对该指标实施校正运算而得到的值作为所述相似评分的可靠度；以及
整合评分计算部，其计算通过运算将所述相似评分和所述可靠度组合而成的值，作为示出所述物体的位置姿势识别结果合格与否的整合评分。
2.根据权利要求1所述的物体识别处理装置，其中，
所述可靠度计算部计算所述物体的位置姿势识别结果中的面的数量作为所述指标。
3.根据权利要求1或2所述的物体识别处理装置，其中，
所述可靠度计算部计算所述物体的位置姿势识别结果中的表面积作为所述指标。
4.根据权利要求1或2所述的物体识别处理装置，其中，
所述可靠度计算部计算所述物体的位置姿势识别结果中的轮廓线的数量或长度作为所述指标。
5.根据权利要求1或2所述的物体识别处理装置，其中，
所述可靠度计算部计算示出所述物体的位置姿势识别结果中的亮度分布的方差或示出所述物体的位置姿势识别结果中的距离分布的方差的值作为所述指标。
6.根据权利要求1或2所述的物体识别处理装置，其中，
所述可靠度计算部对所述指标进行作为所述校正运算的加权，计算该加权得到的指标的值作为所述相似评分的可靠度。
7.根据权利要求1或2所述的物体识别处理装置，其中，
所述可靠度计算部针对所述物体的每个不同的位置姿势预先计算所述指标或所述可靠度，选定与所述物体的位置姿势识别结果对应的所述指标或所述可靠度。
8.一种物体识别处理方法，其使用了如下的物体识别处理装置：所述物体识别处理装置具备模型数据取得部、计测部、位置姿势识别部、相似评分计算部、可靠度计算部和整合评分计算部，
所述物体识别处理方法包括如下步骤：
所述模型数据取得部取得示出物体的三维形状的三维模型数据；
所述计测部取得包括所述物体的三维位置信息的计测数据；
所述位置姿势识别部根据所述三维模型数据和所述计测数据来识别所述物体的位置姿势；
所述相似评分计算部根据所述物体的位置姿势识别结果中的轮廓线与所述物体的实际的轮廓线之间的一致度的高低，计算示出所述三维模型数据与所述计测数据之间的相似度的相似评分；
所述可靠度计算部对所述物体的位置姿势识别结果中的各个面的法线方向进行量化，计算该量化后的所述法线方向上的频度分布的最频值或方差作为示出该物体的三维形状的特征的指标，将该指标的值直接作为所述相似评分的可靠度，或者计算对该指标实施校正运算而得到的值作为所述相似评分的可靠度；以及
所述整合评分计算部计算通过运算将所述相似评分和所述可靠度组合而成的值，作为示出所述物体的位置姿势识别结果合格与否的整合评分。
9.一种物体拣选装置，所述物体拣选装置用于抓持物体并将其取出，其中，所述物体拣选装置具备：
权利要求1至7中的任一项所述的物体识别处理装置；
机械手，其抓持所述物体；
机器人，其移动所述机械手；以及
控制装置，其控制所述物体识别处理装置、所述机械手和所述机器人，
所述控制装置具有：
抓持物体确定部，其根据由所述物体识别处理装置计算出的所述整合评分来确定所述机械手将抓持的所述物体；
抓持姿势计算部，其计算所述机械手抓持所述物体时的所述机械手的抓持姿势；以及
路径计算部，其计算利用所述机器人将所述机械手移动到所述抓持姿势的路径。
10.根据权利要求9所述的物体拣选装置，其中，
所述控制装置具有计测条件变更部，所述计测条件变更部根据由所述物体识别处理装置计算出的所述整合评分来变更取得所述计测数据时的计测条件，
所述物体识别处理装置的所述计测部根据变更后的所述计测条件重新取得包括所述物体的三维位置信息的计测数据，
所述物体识别处理装置的所述位置姿势识别部根据所述三维模型数据和重新取得的所述计测数据重新识别所述物体的位置姿势。
11.根据权利要求10所述的物体拣选装置，其中，
作为所述计测条件，所述计测条件变更部变更所述计测部的位置姿势。
12.根据权利要求11所述的物体拣选装置，其中，
所述计测条件变更部根据所述三维模型数据、重新识别前的所述物体的位置姿势识别结果、以及重新取得所述计测数据前的所述计测部的位置姿势来计算待变更的所述计测部的位置姿势。
13.一种物体拣选方法，所述物体拣选方法用于使用具备权利要求1至7中的任一项所述的物体识别处理装置、机械手、机器人、以及控制装置的物体拣选装置来抓持物体并将其取出，
所述物体拣选方法包括：
计算步骤，所述物体识别处理装置计算示出所述物体的位置姿势识别结果合格与否的整合评分；
抓持步骤，所述机械手抓持所述物体；
移动步骤，所述机器人移动所述机械手；以及
控制步骤，所述控制装置控制所述物体识别处理装置、所述机械手和所述机器人，
所述控制步骤包括：
抓持物体确定步骤，根据所述整合评分来确定所述机械手将抓持的所述物体；
抓持姿势计算步骤，计算所述机械手抓持所述物体时的所述机械手的抓持姿势；以及
路径计算步骤，计算利用所述机器人将所述机械手移动到所述抓持姿势的路径。
CN201910179773.3A 2018-04-05 2019-03-11 物体识别处理装置和方法、以及物体拣选装置和方法 Active CN110348279B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018072896A JP6937995B2 (ja) 2018-04-05 2018-04-05 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法
JP2018-072896 2018-04-05

Publications (2)

Publication Number Publication Date
CN110348279A CN110348279A (zh) 2019-10-18
CN110348279B true CN110348279B (zh) 2023-06-02

Family

ID=65904167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179773.3A Active CN110348279B (zh) 2018-04-05 2019-03-11 物体识别处理装置和方法、以及物体拣选装置和方法

Country Status (4)

Country Link
US (1) US11511421B2 (zh)
EP (1) EP3550470B1 (zh)
JP (1) JP6937995B2 (zh)
CN (1) CN110348279B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
US10769472B2 (en) * 2018-03-28 2020-09-08 Wipro Limited Method and system counting plurality of objects placed in a region
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
US10977480B2 (en) * 2019-03-27 2021-04-13 Mitsubishi Electric Research Laboratories, Inc. Detection, tracking and 3D modeling of objects with sparse RGB-D SLAM and interactive perception
WO2021010269A1 (ja) * 2019-07-18 2021-01-21 三菱電機株式会社 検査装置、検査方法及びプログラム
US20220258355A1 (en) * 2019-08-02 2022-08-18 Dextrous Robotics, Inc. Systems and method for robotics control under contact
CN111027589B (zh) * 2019-11-07 2023-04-18 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价***及方法
EP4046099A1 (en) 2019-11-12 2022-08-24 Bright Machines, Inc. A software defined manufacturing/assembly system
WO2021118702A1 (en) * 2019-12-12 2021-06-17 Mujin, Inc. Method and computing system for performing motion planning based on image information generated by a camera
JP7454132B2 (ja) 2020-01-23 2024-03-22 オムロン株式会社 ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
EP4094904B1 (en) * 2020-01-23 2024-05-15 OMRON Corporation Robot system control device, robot system control method, computer control program, and robot system
CN111906782B (zh) * 2020-07-08 2021-07-13 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN111804605B (zh) * 2020-07-13 2021-03-19 东莞市恒明机器人自动化有限公司 一种注塑机自动装箱单元
CN112171657B (zh) * 2020-08-07 2023-06-27 天津大学 基于单目视觉的大尺寸长方体构件抓取装置及方法
CN112720464B (zh) * 2020-12-09 2022-04-19 深圳先进技术研究院 基于机器人***的目标拾取方法、电子设备、存储介质
JP2022112956A (ja) * 2021-01-22 2022-08-03 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2022123510A (ja) * 2021-02-12 2022-08-24 オムロン株式会社 支援システム、画像処理装置、支援方法およびプログラム
CN112907583B (zh) * 2021-03-29 2023-04-07 苏州科达科技股份有限公司 目标对象姿态选择方法、图像评分方法及模型训练方法
JP2022174815A (ja) * 2021-05-12 2022-11-25 東京ロボティクス株式会社 情報処理装置、システム、方法及びプログラム
CN116175541B (zh) * 2021-11-28 2023-11-10 梅卡曼德（北京）机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN114637845B (zh) * 2022-03-11 2023-04-14 上海弘玑信息技术有限公司 模型测试方法、装置、设备和存储介质
WO2023205176A1 (en) * 2022-04-18 2023-10-26 Dextrous Robotics, Inc. System and/or method for grasping objects
WO2023243051A1 (ja) * 2022-06-16 2023-12-21 ファナック株式会社 ワーク取り出しシステム
WO2024042619A1 (ja) * 2022-08-23 2024-02-29 ファナック株式会社 装置、ロボットの制御装置、ロボットシステム、方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289046A (ja) * 2008-05-29 2009-12-10 Olympus Corp ３次元データを用いた作業支援装置及び方法
WO2012011608A1 (en) * 2010-07-23 2012-01-26 Canon Kabushiki Kaisha Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP2014174628A (ja) * 2013-03-06 2014-09-22 Honda Motor Co Ltd 画像認識方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP3859371B2 (ja) * 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
DE10080012B4 (de) * 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP4900204B2 (ja) * 2007-11-22 2012-03-21 株式会社Ｉｈｉ 物体認識方法
JP5588196B2 (ja) * 2010-02-25 2014-09-10 キヤノン株式会社 認識装置及びその制御方法、コンピュータプログラム
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP6198104B2 (ja) 2013-03-15 2017-09-20 株式会社三次元メディア ３次元物体認識装置及び３次元物体認識方法
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6245880B2 (ja) * 2013-07-31 2017-12-13 キヤノン株式会社 情報処理装置および情報処理手法、プログラム
JP6429450B2 (ja) * 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP6529302B2 (ja) * 2015-03-24 2019-06-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6117901B1 (ja) * 2015-11-30 2017-04-19 ファナック株式会社 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
JP6614611B2 (ja) * 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
JP6672958B2 (ja) 2016-03-31 2020-03-25 日本電気株式会社 作業逸脱防止装置、作業逸脱防止システム、作業逸脱防止方法及びプログラム。
JP6724499B2 (ja) * 2016-04-05 2020-07-15 株式会社リコー 物体把持装置及び把持制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289046A (ja) * 2008-05-29 2009-12-10 Olympus Corp ３次元データを用いた作業支援装置及び方法
WO2012011608A1 (en) * 2010-07-23 2012-01-26 Canon Kabushiki Kaisha Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP2014174628A (ja) * 2013-03-06 2014-09-22 Honda Motor Co Ltd 画像認識方法

Also Published As

Publication number Publication date
US20190308320A1 (en) 2019-10-10
US11511421B2 (en) 2022-11-29
EP3550470B1 (en) 2023-09-27
JP2019185239A (ja) 2019-10-24
JP6937995B2 (ja) 2021-09-22
EP3550470A1 (en) 2019-10-09
CN110348279A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348279B (zh) 物体识别处理装置和方法、以及物体拣选装置和方法
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN106826809B (zh) 位置姿势测量装置以及机器人***
CN111683798B (zh) 工件拾取装置以及工件拾取方法
JP5460341B2 (ja) ３次元計測装置及びその制御方法
US10286557B2 (en) Workpiece position/posture calculation system and handling system
WO2012066769A1 (en) Information processing apparatus and information processing method
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
JP2017033429A (ja) ３次元物体検査装置
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP2014202502A (ja) 情報処理装置及び情報処理方法
CN113386122A (zh) 测量参数的优化方法和装置以及计算机可读存储介质
US20130342659A1 (en) Three-dimensional position/attitude recognition apparatus, three-dimensional position/attitude recognition method, and three-dimensional position/attitude recognition program
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
JP6766229B2 (ja) 位置姿勢計測装置及び方法
US11436754B2 (en) Position posture identification device, position posture identification method and position posture identification program
JP2021077290A (ja) 情報処理装置、情報処理方法、プログラム、システム及び物品の製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant