CN110023993A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN110023993A
CN110023993A CN201780074637.7A CN201780074637A CN110023993A CN 110023993 A CN110023993 A CN 110023993A CN 201780074637 A CN201780074637 A CN 201780074637A CN 110023993 A CN110023993 A CN 110023993A
Authority
CN
China
Prior art keywords
angle
image
dictionary data
function
object obj
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780074637.7A
Other languages
English (en)
Inventor
永塚仁夫
山岸建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN110023993A publication Critical patent/CN110023993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

提供了一种信息处理设备，包括处理器，该处理器提供：获取与对象有关的词典数据的词典数据获取功能；获取对象的第一图像的图像获取功能；第一角度估计功能，其基于第一图像和词典数据估计第一图像中对象的角度；第二角度估计功能，其在对象的物理操作后重新估计第一图像中对象的角度；以及词典数据更新功能，根据第一角度估计功能估计的结果和第二角度估计功能的重新估计的结果更新词典数据。

Description

信息处理设备、信息处理方法和程序
技术领域
本发明涉及信息处理设备、信息处理方法和程序。
背景技术
基于图像的对象识别是当今常见的技术。在基于图像的对象识别中，图像中的对象被识别，例如，通过提取成像设备捕获的图像的特征量，并在特征量和预先注册为词典数据的特征量之间进行匹配。在这种情况下，更改图像中对象的角度会导致特征量的变化；因此，有必要为对象的每个角度准备词典数据，以增强对象识别的可用性。
PTL 1和PTL 2是在基于图像的对象识别中为对象的每个角度准备词典数据的技术示例。PTL 1描述了基于八个图像识别对象的技术，这八个图像是通过以45度的间隔旋转对象获得的。PTL 2描述了通过从许多图像中识别公共部分来学***角方向和天顶角方向上以5度或类似的间隔旋转对象获得的。
引用列表
专利文献
〔PTL 1〕
JP 2003-346152A
〔PTL 2〕
美国专利申请公开号2013/0202212
发明内容
技术问题
上述技术用于识别图像中的对象，即估计图像中对象的身份，并且不打算进一步从图像中提取附加信息。然而，如果考虑到对象识别技术最近已应用于不同领域，则基于图像提供关于对象的附加信息被认为是有利的。
因此，本发明的目的是提供一种新颖和改进的信息处理设备、信息处理方法和程序，该信息处理设备、信息处理方法和程序能够基于图像估计对象的角度并自动更新数据以用于估计。
问题解决方案
根据本发明的一个方面，提供了一种信息处理设备，包括：处理器，其实现获取与对象有关的词典数据的词典数据获取功能；获取对象的第一图像的图像获取功能，；第一角度估计功能，其基于第一图像和词典数据估计第一图像中对象的角度；第二角度估计功能，在与对象相关的物理操作后重新估计第一图像中对象的角度；以及词典数据更新功能，其响应于第一角度估计功能估计的结果和第二角度估计功能重新估计的结果更新词典数据。
此外，根据本发明的另一方面，提供了一种信息处理方法，包括：获取与对象有关的词典数据的步骤；获取对象的第一图像的步骤；基于第一图像和词典数据估计第一图像中对象的角度的步骤；在与对象相关的物理操作后，重新估计第一图像中对象的角度的步骤；以及响应于估计的结果和重新估计的结果，通过处理器更新词典数据的步骤。
此外，根据本发明的又一方面，提供了一种程序，用于使处理器实现：获取与对象有关的词典数据的词典数据获取功能；获取对象的第一图像的图像获取功能；第一角度估计功能，基于第一图像和词典数据估计第一图像中对象的角度；第二角度估计功能，在与对象相关的物理操作后，重新估计第一图像中对象的角度；以及词典数据更新功能，其响应于第一角度估计功能估计的结果和第二角度估计功能重新估计的结果更新词典数据。
附图说明
图1是根据本发明第一实施例的***的示意图。
图2是描述图1所示***中终端的功能配置的框图。
图3是描绘图1所示***中使用的相机平台设备和夹具的配置的示意性透视图。
图4是沿着图3的线I-I做出的横截面图。
图5是在本发明第一实施例中生成的词典数据的概念解释图。
图6是图1所示***中机器人的示意性配置的解释图。
图7是描述图1所示***中机器人功能配置的框图。
图8是描述本发明第一实施例中词典数据生成处理的示例的流程图。
图9是描述本发明第一实施例中的识别处理的示例的流程图。
图10是描述本发明第一实施例中修剪处理的示例的流程图。
图11是图10所示修剪处理的概念解释图。
图12是描述本发明第一实施例中词典数据更新处理的示例的流程图。
图13是描述本发明第二实施例中机器人的功能配置的框图。
图14是本发明第三实施例的示意性解释图。
图15是描述根据本发明的第三实施例的机器人的功能配置的框图。
图16是描述根据本发明实施例的信息处理设备的硬件配置的框图。
具体实施方式
下文将参照附图详细描述本发明的几个实施例。应当注意的是，具有基本相同功能配置的组成元件由相同的参考符号表示，并且不会在本说明书和附图中重复描述。
(第一实施例)
图1是根据本发明第一实施例的***10的示意图。参照图1，***10包括终端100、数据库200和通过网络NW彼此连接的机器人300。相机150和相机平台设备160连接到终端100。机器人300包括相机310和机械臂320。
在上述***10中，相机150捕获通过稍后描述的夹具170安装在相机平台设备160上的对象obj的图像。终端100从相机150获取图像，并从相机平台设备160获取指示对象obj角度的角度信息。应当注意的是，对象obj的角度是三维空间中的角度，例如，正交坐标系中关于三个轴的旋转量表示的角度。终端100基于获取的图像和角度信息(以及与对象obj有关的标识信息)生成词典数据。所生成的词典数据存储在数据库200中。
同时，在机械臂320夹持对象obj的状态下，机器人300使用相机310捕获对象obj的图像。机器人300识别图像中的对象obj，并基于从数据库200获取的捕获图像和词典数据进一步估计图像中对象obj的角度。
因此，机器人300可以在识别出对象obj后，进一步估计被机械臂320抓住的对象obj的角度。例如，该角度表示对象obj相对于参考姿势旋转的程度。例如，机器人300可以基于角度估计结果通过控制机械臂320来旋转对象obj，并且从而使对象obj处于所需的位置。
上述***10在使用机器人300安排或组织物品的自动工作时很有用。***10还可用于识别如何旋转对象obj以例如读取放置在对象obj的预定位置上的信息(打印代码、射频标识符(RFID)等)。应当注意的是，***10的使用应用不仅限于上述示例，还可以包括其他各种使用应用。
(用于生成词典数据的配置)
图2是描述图1所示的***中终端100的功能配置的框图。参照图2，终端100包括图像获取部分110、角度信息获取部分120和词典数据生成部分130。终端100例如是个人计算机、平板电脑或智能手机，并且终端100中各部分的功能通过稍后描述的信息处理设备的硬件配置实现。具体来说，例如图像获取部分110、角度信息获取部分120和词典数据生成部分130的功能由包含在信息处理设备中的处理器实现。词典数据生成部分130生成的词典数据210存储在通过网络连接到终端100的数据库200中。数据库200的功能由连接到网络的一个或多个信息处理设备中的存储器实现。应当注意的是，在终端100包括多个处理器的情况下，多个处理器可以合作实现上述部分的功能。或者，服务器可以实现终端100中处理器实现的部分或全部功能，如后文所述。各部分的功能如下所述。
图像获取部分110获取由相机150捕获的对象obj的图像。在这里，相机150是捕获对象的图像的成像设备的示例。具体来说，相机150是例如包括图像传感器的数字相机，图像获取部分110接收由相机150生成的图像数据。尽管在图2所示的示例中相机150通过有线通信接口(诸如通用串行总线(USB))连接到终端100，在另一示例中相机150也可以通过无线通信接口(诸如蓝牙(注册商标)通信接口)连接到终端100。或者，相机150可并入终端100中，并通过总线将图像数据传输到图像获取部分110。
角度信息获取部分120从相机平台设备160获取指示对象obj角度的角度信息。这里，在本实施例中，由终端100中的角度信息获取部分120获取的角度信息指示对象obj相对于相机平台设备160的坐标系的角度。值得注意的是，“角度信息获取部分120获取角度信息”的情况还包括：角度信息获取部分120自己生成关于对象obj的角度信息，将角度信息传输到相机平台设备160，并将角度信息提供给词典数据生成部分130。在这种情况下，相机平台设备160根据从角度信息获取部分120接收到的角度信息设置角度，在该角度下，对象obj被固定。在本实施例中，相机平台设备160是固定对象obj的保持装置的示例。与相机150类似，相机平台设备160可以通过有线通信接口连接到终端100，也可以通过无线通信接口连接到终端100。
如上所述，对象obj的角度是三维空间中的角度，例如，在正交坐标系中由关于三个轴的旋转量表示的角度。因此，角度信息获取部分120通过例如与对象当前姿势和参考姿势之间差异相对应的旋转量来表示角度信息。在这里，参考姿势意味着例如相机平台设备160复位时对象obj的姿势。或者，参考姿势可以是当图像获取部分110第一次获取对象obj的图像以生成词典数据210时对象obj的姿势。
词典数据生成部分130基于由图像获取部分110获取的图像、关于对象obj的标识信息和由角度信息获取部分120获取的角度信息生成词典数据210。这里，关于对象obj的标识信息可以通过任何方式进行识别。例如，关于对象obj的标识信息可以基于由用户输入到终端100的信息来识别。或者，可以通过在图像获取部分110获取的图像与单独提供用于基于图像的对象识别的词典数据之间进行匹配来识别关于对象的标识信息。在另一可选方案中，词典数据生成部分130可以将标识信息分配给通常包含在图像获取部分110所获取的多个图像中的对象obj。
应当注意的是，在本实施例中，与基于图像的对象识别相关的公知技术可以适当地用于生成词典数据210使用的信息中的图像和关于对象的标识信息之间的组合。例如，词典数据生成部分130可以通过用于基于图像的对象识别的适当方案从图像中提取特征量，并使提取的特征量与对象的标识信息和角度信息相对应。或者，词典数据生成部分130可以利用例如关于对象obj的标识信息，该标识信息由用于基于图像的对象识别的适当方案分类和标记。
此外，虽然本实施例中描述词典数据210是基于关于对象obj的标识信息生成的，但词典数据210不一定是基于关于对象obj的标识信息生成的。例如，在为单一类型的对象obj提供***10的情况下，词典数据210不需要包含关于对象obj的标识信息。另一方面，如在本实施例中，在词典数据210包含与对象obj相关的标识信息的情况下，识别多个类型的对象obj，然后可以估计每个对象obj的角度。
(相机平台设备和夹具的配置)
将进一步描述根据本实施例的与***10中的终端100一起使用的相机平台设备160和将对象obj安装到相机平台设备160的夹具170的配置。
图3是描绘图1所示***中使用的相机平台设备160和夹具170的配置的示意性透视图。图4是沿着图3的线I-I做出的横截面图。参考图3和4，相机平台设备160包括底座161、一对支柱162、一对臂163、一对销164、保持器165、横梁166和控制部分167。夹具170包括安装构件171、连接构件172、对象保持器173和背景板174。应当注意的是，图3中没有描绘背景板174。下面将介绍这些部分。
在相机平台设备160中，底座161例如是一个旋转台，并且由控制部分167控制的电机(未描绘)驱动，以绕轴A1旋转。此处，轴A1与相机150的光轴(图4中表示为轴A3)正交。一对支柱162固定在底座161上关于轴A1对称的位置。因此，一对支柱162的中点基本上与轴A1重合。在与底座161相对的一侧上，分别使用销164将一对臂163连接到一对支柱162上。销164位于与轴A1正交的轴A2上。一对臂163围绕轴A2可轴转运动。具体地说，一对支柱162和销164彼此连接或销164和一对臂163通过齿轮相互连接，并且由控制部分167控制的电机(未描绘)连接到齿轮，由此一对臂163绕轴A2轴转运动。
保持器165通过在一对支柱162对面的一侧上的横梁166固定在一对臂163的端部之间。保持器165是一个安装有相机的部件，例如，在相机平台设备160用作相机的自动相机平台的情况下，如下文所述，夹具170的安装构件171安装在本实施例中的保持器165上。当一对臂163如上文所述绕轴A2旋转移动时，保持器165绕轴A2旋转。在这种情况下，当保持器165通过上述一对臂163的配置围绕轴A2旋转时，保持器165的安装面165s保持朝向轴A2的状态。
控制部分167例如是集成在相机平台设备160中的微控制器，通过控制上述电机来控制底座161的旋转和一对臂163的轴转运动。控制部分167根据例如预设程序或来自终端100的指令控制电机。通过这种方式，控制部分167设置了底座161围绕轴A1旋转的角度和一对臂163围绕轴A2旋转的角度。例如，终端100中的角度信息获取部分120获取指示由上述控制部分167设置的角度值的信息作为角度信息。
最初，上面描述的相机平台设备160作为一种装置在商业上销售，该装置可自动平移(绕轴A1旋转)和倾斜(绕轴A2旋转)安装在保持器165上的相机。在本实施例中，其目的在于利用这样一个相机平台设备160，通过自动化对象obj的角度的设置，有效地生成完全覆盖各种角度的词典数据210。然而，在直接将对象obj安装到相机平台设备160的保持器165的情况下，一对臂163的轴转运动使保持器165围绕轴A2旋转，并导致对象obj的位置与相机150的光轴(图4中的轴A3)之间的大偏差。为了解决这个问题，对象obj通过下面在本实施例中描述的夹具170安装到相机平台设备160上。
在夹具170中，安装构件171是可安装到相机平台设备160的保持器165上的构件。例如，在安装构件171中提供与固定相机的保持器165中提供的结构相对应的安装结构。具体地说，在用于固定相机的保持器165中的提供螺钉的情况下，安装构件171中提供螺钉孔。或者，可以在不考虑保持器165的结构的情况下在安装构件171中提供可用的安装结构。具体来说，安装构件171中可以提供夹持保持器165的夹持器、缠绕在保持器165周围的带子等。
对象保持器173是可以将对象obj安装在其上的构件。例如，对象保持器173中提供了一种安装结构，该结构可以在使安装结构与对象接触区域尽可能小的同时固定对象obj。这是因为安装结构和对象obj之间的接触区域可以充当相机150捕获的对象obj的图像中的遮挡区域。具体地说，可以在对象保持器173中提供夹持对象obj的夹子、扣住对象obj的钩子、对象obj粘附在其上的粘合表面等。此外，可在对象保持器173中为磁性材料的对象obj提供磁铁。
连接构件172将安装构件171连接到对象保持器173上。此外，连接构件172规定了安装构件171和对象保持器173之间的位置关系，以便当安装构件171安装到相机平台设备160的保持器165上时，安装在对象保持器173上的对象obj位于轴A1和A2之间的交叉点附近。例如，连接构件172连接到安装构件171上，以便当安装构件171安装到保持器165上时，连接构件172沿一对臂163延伸。此时，沿着一对臂163的连接构件172的长度几乎等于通过从保持器165和轴A2之间的距离减去安装构件171和对象保持器173的厚度以及对象obj厚度的一半得到的值。连接构件172可以具有可使其长度沿臂163的方向可调的结构。因此，可以根据对象obj的尺寸调整连接构件172的长度，并使对象obj的中心靠近轴A1和A2之间的交点。
如上文所述的通过夹具170安装在相机平台设备160上的对象obj位于轴A1和A2之间的交叉点附近。因此，即使当相机平台设备160的底座161绕轴A1旋转，或者即使当一对臂163绕轴A2轴转移动，对象obj的位置几乎不会改变，也不会很大程度上偏离相机150的光轴(图4中的轴A3)。因此，在本实施例中，当相机平台设备160的控制部分167设置底座161围绕轴A1旋转的角度和一对臂163围绕轴A2旋转的角度时，这些角度可被视为对象obj围绕轴A1和A2的旋转量。
在使用上述相机平台设备160和夹具170的情况下，对象obj不能绕着与轴A1和A2正交的轴A3旋转，即绕着相机150的光轴旋转，但绕轴A3的旋转可以通过使相机150捕获的图像进行平面旋转来精确补充。此外，为简洁起见，尽管上面描述了对象obj位于相机150的光轴上，但对象obj不一定位于相机150的光轴上。
背景板174安装在连接构件172或对象保持器173上，并提供对象obj的背景。例如，背景板174中可提供用于选择性安装屏幕的安装结构。所述屏幕可以包括例如由不同材料形成的多个屏幕。这些材料可以包括例如纸、布和薄膜。此外，屏幕可以包括具有不同颜色或不同反射特性的多个屏幕。替换屏幕使得可以替换地提供对象obj的多个背景，这些背景在材质、颜色、反射特性等方面有所不同。或者，例如可以将背景板174可拆卸地安装到连接构件172或对象保持器173上。在这种情况下，选择性地安装多个背景板174使得可以可替换地提供对象obj的多个背景，这些背景在材料、颜色、反射特性等方面不同。具体而言，背景板174可包括例如多个背景板174，其具有面向对象obj的表面，且其由不同材料形成。这些材料可以包括例如纸、布和薄膜。此外，背景板174可以包括多个背景板174，其具有面向对象obj的表面，并且其颜色或反射特性不同。
(词典数据的概念描述)
图5是在本发明第一实施例中生成的词典数据的概念解释图。图5示例性地描述了词典数据210，该词典数据210对应于由特定标识信息标识的对象obj(图5中描述的示例中的连接器)。在图5所示的示例中，对象obj的角度是由三维空间中正交坐标系的三个轴(x轴、y轴和z轴)的旋转量表示的矢量。对于对象obj的角度，词典数据210包括至少NX×NY×NZ个元素，这些元素是通过以关于x轴的旋转量(rot_x)将周界分割成NX个元素、以关于y轴的旋转量(rot_y)将周界分割成NY个元素，并以关于z轴的旋转量将周界分割成NZ个元素定义的。每个元素对应于与对象obj的至少一个图像相对应的信息。这里，当对象obj的角度例如由旋转量(rot_X、rot_Y、rot_Z)表示时,与对象obj的图像相对应的信息可以是从相机150捕获的图像中提取的特征量。
在上述示例中，相对于轴的旋转量(rot_X、rot_Y、rot_Z)的分割宽度可能不同(即，至少NX、NY、NZ中的任何一个可能与其他不同)。此外，旋转量不一定是等分的。例如，在估计对象obj的角度(稍后描述)时存在难以用高可靠性估计角度的情况下，与该角度相对应的旋转量附近的旋转量的分割宽度可以设置为小于其他部分的分割宽度。
例如，在机器人300的相机310以未知角度捕获对象obj的图像的情况下，可以通过对从捕获图像中提取的特征量与对应词典数据210中元素的特征量进行匹配来估计对象obj的角度。
这里，词典数据210可以包括基于关于同一对象obj的角度信息生成的多个元素和同一对象obj的多个不同图像。在这种情况下，词典数据210中的元素数大于NX×NY×NZ。为对应于相同角度信息而制作的多个图像在捕获时例如可能具有不同的环境条件。环境条件可以是例如背景或光线布置。在多个不同的环境条件上生成词典数据210使得提供可以在不同的环境条件下估计对象obj的角度的词典数据210成为可能。
在上述情况下，终端100中的图像获取部分110获取对象obj的多个不同图像。例如，当相机平台设备160的控制部分167在使用夹具170的背景板174替换对象obj背景的前后设置相同的角度时，图像获取部分110可以获取对象obj的图像。在这种情况下，词典数据生成部分130基于具有不同背景的多个图像、为多个图像共有的对象obj的标识信息以及为多个图像共有的指示对象obj的角度的角度信息在词典数据210中生成多个元素。
(机器人的配置)
图6是图1所示***中机器人300的示意性配置的解释图。参考图6，机器人300包括相机310、机械臂320、控制部分330、传感器340和电机350。机器人300可以使用例如控制部分330控制的机械臂320夹持对象obj，并使用相机310捕获对象obj的图像。在本实施例中，机械臂320是保持装置的示例，其类似于上述相机平台设备160保持对象obj。控制部分330是通过例如稍后描述的信息处理设备的硬件配置来实现的。
传感器340包括传感器，其用于获取机器人300中使用的或者从机器人300传输到其他设备的各种测量值。具体而言，传感器340可以包括例如加速度传感器、角速度传感器、地磁传感器和/或全球导航卫星***(GNSS)接收器。此外，传感器340可以包括深度传感器或激光测距扫描仪，诸如激光成像检测和测距(激光雷达LIDAR)。
电机350在控制部分330的控制下驱动机器人300中的部分。电机350可以包括例如电机(执行器)，其用于改变机器人300的姿势或通过驱动关节结构(未描述)移动机器人300。此外，电机350可以包括用于旋转轮子和移动机器人300的电机。应当注意的是，可以在已知的机器人设计方案的基础上适当地配置包括机器人300中的电机350的部分。这里，机器人300不一定改变姿势或移动。同样，机器人300不一定包括关节结构(机械臂320除外)或轮子。
(用于估计对象角度的配置)
图7是描述图1所示***中机器人300功能配置的框图。参考图7，机器人300不仅包括相机310和机械臂320，还包括图像获取部分331、词典数据获取部分332、对象识别/角度估计部分333、结果输出部分334、词典数据更新部分335、机械臂控制部分336和角度信息获取/角度估计部分337。除相机310和机械臂320以外的部分由例如信息处理设备中的处理器实现，该信息处理设备实现上述机器人300的控制部分330。应当注意的是，在控制部分330包括多个处理器的情况下，多个处理器可以合作实现上述部分的功能。或者，服务器可以实现有控制部分330中的处理器实现的部分或全部功能，如下文所述。各部分的功能将在下面描述。应当注意的是，稍后将参考流程图详细描述与词典数据的更新相关的功能，因此此处对其进行简要描述。
图像获取部分331获取由相机310捕获的对象obj的图像。在本实施例中，相机310是成像设备的示例，该成像设备类似于上述相机150捕获对象的图像。尽管图像包含相同类型的对象obj，由相机150捕获的图像和由相机310捕获的图像彼此不同。具体地说，相机310是例如包括图像传感器和接收由相机310生成的图像数据的图像获取部分331的数字相机。例如，机器人300使用机械臂320夹持对象obj。在这种情况下，由图像获取部分331获取的图像包含被机械臂320夹持的对象obj。或者，图像获取部分331可以包含不是由机械臂320夹持，而是放置在桌子、地板等上的对象obj。当相机310并入机器人300中并通过图7所示示例中的总线将图像数据传输到图像获取部分331时，相机310可以通过有线通信接口或无线通信接口外部连接到机器人300。
词典数据获取部分332通过网络从连接到机器人300的数据库200获取词典数据210。如上所述，词典数据210是基于对象obj的图像和关于对象obj的角度信息(以及关于对象obj的标识信息)生成的。机器人300利用词典数据210来估计被机械臂320夹住的对象obj的角度。应当注意的是，词典数据获取部分332不一定要获取整个词典数据210。例如，在为多个类型的对象生成词典数据210并且已经识别了由图像获取部分331获取的图像中包含的对象obj的情况下，词典数据获取部分332选择性地获取与关于词典数据210中的对象obj的标识信息相对应的元素。
对象识别/角度估计部分333基于由图像获取部分331获取的对象obj的图像和由词典数据获取部分332获取的词典数据210估计图像中对象obj的角度。在词典数据210是为多个类型的对象生成的、并且由图像获取部分331所获取的图像中包含的对象obj未被识别的情况下，对象识别/角度估计部分333通过基于图像的对象识别来识别关于对象obj的标识信息。由于已有的技术可以应用于基于图像的对象识别，因此对基于图像的对象识别将不作详细的描述。例如，在词典数据210是为单一类型的对象生成的、或者由图像获取部分331所获取的图像中包含的对象obj已经被识别的情况下，对象识别/角度估计部分333不执行对象识别。
另一方面，对象识别/角度估计部分333通过例如在由图像获取部分331获取的图像与词典数据210中的元素之间进行匹配来执行对象obj角度的估计。在这种情况下，与词典数据210中具有最高匹配分数的元素相对应的角度被估计为图像中对象obj的角度。如后文所述，用于估计对象obj角度的词典数据210可以包含许多元素。因此，对象识别/角度估计部分333可以基于由图像获取部分331获取的图像对词典数据210进行修剪，并在修剪后的词典数据210和图像之间执行匹配。在本实施例中，修剪是一种用于确定词典数据210的处理，使得该词典数据210不会经受在处理负载上比用于估计对象obj的角度的匹配更轻的通过处理的匹配。
结果输出部分334输出由对象识别/角度估计部分333的识别结果。如上所述，虽然机器人300可以利用对象obj角度的估计结果来操作其自身的机器人300(例如，为了控制机械臂320)，机器人300可以根据需要以某种格式输出估计结果。更具体地说，估计结果可以在机器人300的显示器上显示为图像，或者从扬声器输出为声音。此外，估计结果还可以通过网络从机器人300拥有的通信设备进一步传输到另一个设备。结果输出部分334控制上述的估算结果的输出。在不需要输出估计结果的情况下，不提供结果输出部分334。
词典数据更新部分335响应于对象识别/角度估计部分333对对象obj的角度的估计结果和角度信息获取/角度估计部分337对角度重新估计的结果(稍后将进行描述)更新词典数据210。更具体地说，在对象识别/角度估计部分333估计的角度的可靠性不超过阈值的情况下，词典数据更新部分335基于角度信息获取/角度估计部分337重新估计角度的结果更新词典数据210。应当注意的是，在下面的描述中，对象识别/角度估计部分333的角度估计功能也将被称为“第一角度估计功能”，并且角度信息获取/角度估计部分337的角度重新估计功能也将被称为“第二角度估计功能”。这些角度估计功能不一定是彼此独立执行的。例如，角度信息获取/角度估计部分337在重新估计角度中使用由对象识别/角度估计部分333的角度估计结果。换句话说，“第一角度估计功能”通常单独执行，并且“第二角度估计功能”通常调用“第一角度估计功能”。
机械臂控制部分336控制机器人300中的机械臂320夹持对象obj。当词典数据更新部分335执行词典数据210的更新时，机械臂控制部分336通过控制机械臂320旋转对象obj。应当注意的是，这里提到的旋转意味着对象obj角度的变化。对象obj的旋转是与对象obj相关的物理操作的示例，并且在重新估计对象obj的角度时执行。
角度信息获取/角度估计部分337从机械臂控制部分336获取指示对象obj角度的角度信息。这里，在本实施例中，机器人300中角度信息获取/角度估计部分337获取的角度信息表示基于机器人300或机械臂320的坐标系的对象obj的角度。因此，在本实施例中，从机械臂控制部分336获取的角度信息不必直接对应于词典数据210中的角度信息。因此，在本实施例中，角度信息获取/角度估计部分337通过机械臂控制部分336对机械臂320的控制，从对象obj旋转前后的角度信息计算对象obj的旋转量Δθ，并且在稍后描述的角度重新估计中使用旋转量Δθ。
此外，角度信息获取/角度估计部分337基于对象obj的角度θ2重新估计在对象obj旋转之前的图像(第一图像)中的对象obj的角度θ1(简单表示为θ1＝θ2-Δθ)，其中角度θ2是由对象识别/角度估计部分333基于对象obj旋转后的图像(第二图像)和词典数据210、并且基于旋转量Δθ估计的。这里，旋转量Δθ是与对象obj相关的物理操作量的示例。应当注意的是，角度θ1、角度θ2和旋转量Δθ中的每一个都可以是矢量，其包含例如关于坐标系的轴的旋转元素(图5示例中的rot_X，rot_Y，rot_Z)。
在由对象识别/角度估计部分333基于对象obj旋转后的图像(第二图像)和词典数据210估计的对象obj的角度θ2的可靠性超过阈值的情况下，词典数据更新部分335基于指示角度θ1的角度信息更新词典数据210，其中角度θ1是由角度信息获取/角度估计部分337基于此以及对象obj旋转之前的图像(第一图像)重新估计的。
另一方面，在由对象识别/角度估计部分333基于对象obj旋转后的图像(第二图像)和词典数据210估计的对象obj的角度θ2的可靠性不超过阈值的情况下，则机械臂控制部分336控制机械臂320以旋转量Δθ’进一步旋转对象obj，并且对象识别/角度估计部分333基于对象obj旋转后的图像(第三图像)和词典数据210估计对象obj的角度θ3。在角度θ3的可靠性超过阈值的情况下，则角度信息获取/角度估计部分337基于角度θ3和总旋转量(Δθ+Δθ’)重新估计角度θ1，并且词典数据更新部分335基于该结果更新词典数据210。
这样，在角度θ1的重新估计具有足够的可靠性的情况下，词典数据更新部分335基于角度θ1和对象obj旋转前的图像(第一图像)更新词典数据210。具体而言，词典数据更新部分335将元素添加到词典数据210中，或者以元素替换词典数据210中的元素。这增加了当相机310随后在类似环境条件下以θ1的角度捕获目标obj的图像时角度θ1可以高可靠性被估计而不依赖于重新估计的可能性。
(处理流程的示例)
参考图8至图12将描述根据本实施例的***10中的处理流程的示例。
图8是描述本发明第一实施例中词典数据生成处理的示例的流程图。参照图8，在登记处理中，首先，终端100中的图像获取部分110获取图像(步骤S101)，并且角度信息获取部分120获取角度信息(步骤S103)。步骤S101和S103中的任何一个可以提前执行，或者步骤S101和S103可以并行执行。例如，角度信息获取部分120可以通过图像获取部分110实时获取相机150捕获的图像作为触发，从相机平台设备160获取角度信息。或者，图像获取部分110可以通过角度信息获取部分120将角度信息传输到相机平台设备160作为触发，实时获取相机150捕获的图像。在另一种选择中，图像获取部分110可以连续地获取相机150按时间序列时间序列捕获的图像，并且角度信息获取部分120可以连续地获取在时间序列中设置到相机平台设备160的角度信息。
然后，终端100中的词典数据生成部分130使步骤S101中获取的图像和步骤S103中获取的角度信息相互对应。例如，在图像和角度信息都是实时获取的情况下，词典数据生成部分130使获取的图像和角度信息基本上同时相互对应。另一方面，在图像和角度信息是在不同时间或之后获取的情况下，词典数据生成部分130使图像和角度信息具有相互对应的公共秘钥。在这种情况下，秘钥可以例如是时间戳或者可以是与时间戳分开分配的序列号。
然后，词典数据生成部分130基于步骤S105中相互对应的图像和角度信息生成词典数据210(步骤S107)。如前所述，词典数据生成部分130可以通过应用已知的基于图像的对象识别技术生成词典数据210。此外，例如，在连续获取基本相同的图像对和基本相同的角度信息的情况下，词典数据生成部分130可以确定所获取的图像和角度信息为冗余信息，并且省略词典数据210的生成。
图9是描述本发明第一实施例中的识别处理的示例的流程图。参照图9，在识别处理中，首先，机器人300中的图像获取部分331获取图像(步骤S301)。如上所述，图像获取部分331获取由相机310捕获的图像，并且该图像包含例如被机械臂320夹持的对象obj。接下来，词典数据获取部分332从数据库200从获取词典数据210(步骤S303)。
然后，对象识别/角度估计部分333基于在步骤S301中获取的图像和在步骤S303中获取的词典数据210识别对象obj(步骤S305)。应当注意的是，基于图像的对象识别将不会被详细描述，因为公知的技术可以应用于基于图像的对象识别。此外，在例如词典数据210是为单个类型的对象生成的情况下，或者图像中包含的对象obj已经如上所述被识别了，则省略步骤S305中的对象识别。
然后，对象识别/角度估计部分333执行词典数据210的修剪(步骤S307)。例如，在生成图5中描述的词典数据210的情况下，通过关于轴以旋转量(rot_X,rot_Y,rot_Z)将周界分割为52份(即，NX＝NY＝NZ＝52)生成具有至少523＝140,608个元素的词典数据210。在如上所述通过使多个不同的图像与相同的角度对应来生成词典数据210的情况下，元素的数量进一步增加。由于对此类词典数据210中的所有元素执行匹配的处理负载很重，对词典数据210进行修剪的益处很高。
图10是描述本发明第一实施例中修剪处理的示例的流程图。图11是图10所示修剪处理的概念解释图。参照图10，对象识别/角度估计部分333首先确定与对象obj相对应的修剪程序(步骤S331)。与对象obj对应的修剪程序例如是预先确定的，并且该修剪程序连同词典数据210一起存储在数据库200中。在执行上述图9中描述的步骤S305的情况下，对象识别/角度估计部分333根据步骤S305中的对象识别结果确定修剪过程。
随后的步骤S333和S335是根据与图11中描述的示例中的对象相对应的修剪过程执行的处理的示例。要执行的处理可能因对象类型而异。在上述示例中，对象识别/角度估计部分333遮蔽图像(步骤S333)，并进一步在图像上执行减色(步骤S335)。接下来，对象识别/角度估计部分333执行修剪(步骤S337)。例如，在图11中所描述的示例中，从被遮蔽并经历了减色的图像中提取多个特征部分，并且从词典数据210中的匹配目标中排除不具有与图像共有的多个类似提取特征部分的位置关系的元素。
在图11中描述的示例中，对象obj是连接器。在本文所描述的示例中，设置了注意电缆的颜色(电缆1至电缆3)的修剪过程。在图10所描绘的步骤S333中，图像中电缆以外的部分被遮蔽(图11中，遮蔽被表示为MSK)。这消除了遮蔽部分中存在的终端盖阴影的影响。此外，尽管图10中没有表示，但在可以在两侧电缆(电缆1和电缆3)之间的色差可以被表示的情况下，在步骤S335中对图像进行减色。这有助于从图像和词典数据210中的每个元素中提取两侧的电缆(电缆1和电缆3)作为两个特征部分。
此外，在图10中描述的步骤S337中，词典数据210的修剪是基于被遮蔽并进行减色的图像执行的。具体地，例如，电缆1位于电缆3视图的右上方。另一方面，在词典数据210中的元素组210b(其中连接器围绕视点轴旋转)中，电缆1位于电缆3视图的左上方。此外，在元素组210c(其中连接器被内外翻转)中，电缆1位于电缆3视图的左下方。因此，在步骤S337中，元素组210b和210c被排除在匹配目标之外。因此，仅在将元素组210a(其中电缆1位于电缆1视图的右上方，与图像类似)设置为目标的情况下执行匹配。
参照回图9，在步骤S307中词典数据210的修剪后，对象识别/角度估计部分333在图像和词典数据210之间执行匹配(步骤S309)。匹配可以是例如模板匹配。应当注意的是，图像匹配不会被详细描述，因为公知的技术可以应用于匹配。当在公知的基于图像的对象识别中计算每个对象的分数作为匹配的结果时，在步骤S307中计算出对象的每个角度的分数。
接下来，对象识别/角度估计部分333步骤S309中的匹配结果来估计对象obj的角度(步骤S311)。步骤S311中的估计结果可以是例如由与步骤S309中匹配的词典数据210中计算出最高分数的元素相对应的角度信息所指示的角度。
接下来，对象识别/角度估计部分333确定步骤S309中匹配计算的分数是否超过阈值(步骤S313)。这里，要与阈值进行比较的分数例如是最高匹配分数。或者，对象识别/角度估计部分333可以确定较高匹配分数是否超过阈值百分之几(例如，10％)。在步骤S313的确定中匹配分数不超过阈值(否)的情况下，词典数据更新部分335更新词典数据210(步骤S315)。另一方面，在步骤S313的确定中匹配分数超过阈值(是)的情况下，可能不会执行更新词典数据210的处理。结果输出部分334根据需要输出步骤S311中的估计结果。
图12是描述本发明第一实施例中词典数据更新处理的示例的流程图。参考图12，在更新处理中，首先，机器人300中的角度信息获取/角度估计部分337存储来自机械臂控制部分336提供的关于对象obj的角度信息(步骤S351)。这里，步骤S351中存储的角度指示坐标系中对象obj相对于例如机械臂320的角度。接着，机械臂控制部分336通过控制机械臂320旋转对象obj(步骤S353)。
旋转对象obj后，估计对象obj的角度(S355)。步骤S355中的处理对应于例如图9中描绘的步骤S301到S311中的处理。具体地说，图像获取部分331在对象obj旋转后获取图像(第二图像)，并且对象识别/角度估计部分333在旋转后估计图像(第二图像)中对象obj的角度。应当注意的是，可以使用在先前执行的步骤S303中获取的词典数据210，并且可以将对象obj处理为在先前执行的步骤S305中已经被识别。
接下来，词典数据更新部分335确定步骤S355中估计的匹配分数是否超过阈值(步骤S357)。可以类似于例如图9中描绘的步骤S313来执行该确定。在步骤S357中确定的匹配分数不超过阈值(否)的情况下，则重新执行步骤S353和S355中的处理。换言之，机械臂控制部分336通过控制机械臂320旋转对象obj(步骤S353)，并且对象识别/角度估计部分333在旋转后估计图像(第三图像)中对象obj的角度(步骤S355)。
另一方面，在步骤S357确定中匹配分数超过阈值(是)的情况下，角度信息获取/角度估计部分337从步骤S355估计的角度θ2和对象obj的旋转量Δθ重新估计初始角度θ1(步骤S359)。这里，初始角度θ1是对象obj旋转前的角度，这是对象识别/角度估计部分333无法以足够的可靠性估计的角度。另一方面，角度θ2是对象识别/角度估计部分333基于对象obj旋转后的图像(第二图像)和词典数据210估计的对象obj的角度，并且在步骤S357的确定中证明角度θ2是以足够的可靠性被估计的。此外，旋转量Δθ是基于步骤S351中存储的关于对象obj的角度信息和机械臂控制部分336在步骤S353的时刻提供的关于对象obj的角度信息计算的。
在步骤S353和S355中的处理由于步骤S357中的确定而重复N次的情况下，角度信息获取/角度估计部分337从最终执行的步骤S355中估计的角度θN+1和执行了N次的步骤S353中对象obj的总旋转量ΔθTTL重新估计初始角度θ1。总旋转量ΔθTTL是基于步骤S351中存储的关于对象obj的角度信息和机械臂控制部分336在步骤S353的时刻提供的关于对象obj的角度信息计算的。
接着，词典数据更新部分335使与步骤S359中重新估计的初始角度θ1相对应的角度信息和图9中所描述的步骤S301中获取的对象obj旋转前的图像(第一图像)相互对应(步骤S361)。此外，词典数据更新部分335基于步骤S361中使其相互对应的图像和角度信息更新词典数据210(步骤S363)。这里，词典数据210的更新包括将元素添加到词典数据210和/或用元素替换词典数据210中的元素。
在上述步骤S363中，词典数据更新部分335基于图像和角度信息向词典数据210添加元素。这增加了当机器人300中的相机310在相似的环境条件下随后以θ1的角度捕获对象obj的图像时，可以高可靠性估计角度θ1的可能性。在例如词典数据210专用于机器人300且预计相机310捕获对象obj图像的环境条件不改变情况下，词典数据更新部分335可以基于图像和角度信息用元素替换词典数据210中的元素。
如前所述，更新词典数据210使得为对象obj的角度或环境条件(其难以使用最初生成的词典数据210高可靠性地估计对象obj的角度)积累额外的词典数据210成为可能。这样，使用词典数据210估计对象obj角度的机器人300自动地增强词典数据210，从而使得提高估计的鲁棒性成为可能。
(更新前验证处理的示例)
这里，参考图12的上述词典数据更新处理可以包括作为附加处理的在更新词典数据210之前的验证处理。作为第一示例，在图12中描述的步骤S351之前，可以执行用于验证是否执行词典数据更新处理的处理(在步骤S371中表示为“验证过程1”)。在根据第一示例的验证过程中，图像获取部分331在步骤S353中旋转对象obj之前重新获取对象obj的图像。对象识别/角度估计部分333在重新获取图像中估计对象obj的角度。在此估计中的匹配分数超过阈值(与图9中描述的步骤S311中的估计不同)的情况下，则停止词典数据更新处理，并且至少不会执行S363中词典数据的更新。
例如，在由上述图9所描述的步骤S301中的图像获取部分331所获取的图像中，意外因素(诸如相机310的焦距延迟或相机310的照明条件的瞬间变化(例如，由于雷电或闪光))导致图像中的意外变化，其可能导致估计可靠性降低。上述第一示例中的验证过程对于防止词典数据210在基于意外因素引起的低再现性信息的更新是有效的。
此外，作为第二示例，在图12中描述的步骤S361之后，可以执行用于验证是否基于准备好的角度信息和图像更新词典数据的处理(在步骤S373中表示为“验证过程2”)。在根据第二示例进行的验证过程中，词典数据更新部分335基于在步骤S361中使其相互对应的角度信息和图像生成临时词典数据。然后，机械臂控制部分336控制机械臂320，并以与步骤S353中相反的方向旋转对象obj。对象obj的角度从而返回到初始角度θ1。此外，图像获取部分331新获取角度返回到原始角度θ1的对象obj的图像，并且对象识别/角度估计部分333估计该图像中对象obj的角度，该图像是图像获取部分331在由词典数据更新部分335生成的临时数据的基础上新获取的。这里，在可以估计初始角度θ1并且匹配分数超过阈值的情况下，词典数据更新部分335在步骤S363中执行词典数据210的更新。否则，不会执行步骤S363中词典数据210的更新。
上述第二个示例有效地防止例如不会有助于提高角度的估计可靠性的词典数据210的更新。即使图像获取部分331基于获取的图像更新词典数据210，后续获取的类似图像中角度的估计可靠性也不一定并且可能提高，这取决于相机310捕获目标obj图像的环境条件。上述第二示例中的验证处理有效地防止词典数据210的容量因不必要的元素而增加，这些元素不一定有助于提高角度估计的可靠性。
(其他修改)
在上述示例中，尽管角度信息获取/角度估计部分337重新估计对象obj旋转后的角度，角度信息获取/角度估计部分337也可以在机器人300连同对象obj一起被电机350移动后重新估计角度。相机310捕获图像时的环境条件有可能被机器人300的移动改变，并且可以不旋转对象obj进行高可靠性的角度估计。应当注意的是，在后面将要描述的第三实施例中更详细地描述了用于移动机器人300的配置。
此外，上述机器人300的移动可以与对象obj的旋转相结合。例如，在即使旋转对象obj后的角度估计中也不能确保充分的可靠性的情况下，角度信息获取/角度估计部分337可以在机器人300连同对象obj一起移动之后重新估计角度。例如，在相机310捕获对象obj的图像时的环境条件与相机150在生成词典数据210时的环境条件有很大不同的情况下，上述重新估计过程是有效的。
根据本实施例的***10的功能通过将其分布到图1、图2和图7所示的示例中的终端100、数据库200和机器人300中来实现。在另一个示例中，***10的大部分功能可以在服务器中实现。换言之，上述示例中由终端100和机器人300中的处理器实现的功能可以由包含数据库200的服务器中的处理器实现。在这种情况下，终端100将相机150捕获的对象obj的图像和从相机平台设备160获取的关于对象obj的角度信息传送到服务器，并且服务器通过将图像与角度信息相关联生成词典数据210。另一方面，机器人300将相机310捕获到的对象obj的图像传送给服务器，并且服务器基于该图像估计对象obj的角度。机器人300从服务器接收角度估计结果。在估计的角度的可靠性不超过阈值的情况下，服务器可以请求机器人300旋转对象obj，并在旋转后获取对象obj的图像，以重新估计角度。应当注意的是，实现这些功能的服务器数量不一定是一个，而分布在网络上的多个服务器可能实现上述功能。此外，实现这些功能的服务器可以是与包含数据库200的存储器不同的设备。
(第二实施例)
接下来将描述本发明的第二实施例。应当注意的是，通过指定通用参考符号，通常省略与上述第一实施例中的描述类似配置的部分的描述。
图13是描述本发明第二实施例中机器人300a的功能配置的框图。参照图13，与词典数据210的生成和使用词典数据210估计对象obj角度相关的总体功能由本实施例中的机器人300a实现。具体地说，机器人300a的控制部分330中的处理器实现图像获取部分110或331、角度信息获取/角度估计部分120或337、词典数据生成/更新部分130或335、词典数据获取部分332、对象识别/角度估计部分333、结果输出部分334和机械臂控制部分336。应当注意的是，在控制部分330包括多个处理器的情况下，多个处理器可以合作实现上述部分的功能。此外，如下文所述，可以通过服务器实现控制部分330中处理器实现的部分或全部功能。此外，数据库200存储在机器人300a的控制部分330的存储器中。下面将进一步描述这些部分。
图像获取部分110或331具有参考图2所描述图像获取部分110和参考图7所描述图像获取部分331的功能。换言之，图像获取部分110或331在生成词典数据210时向词典数据生成/更新部分130或335提供相机310捕获的对象obj的图像，并且在使用词典数据210估计对象obj的角度时向对象识别/角度估计部分333提供该图像。
角度信息获取/角度估计部分120或337具有上述参考图2的角度信息获取部分120和参考图7的角度信息获取/角度估计部分337的功能。换言之，角度信息获取/角度估计部分120或337在生成词典数据210时，将从机械臂控制部分336获取的角度信息提供给词典数据生成/更新部分130或335。另外，角度信息获取/角度估计部分120或337基于从机械臂控制部分336获取的角度信息计算对象obj的旋转量Δθ，并进一步基于旋转量Δθ和当词典数据210更新时由对象识别/角度估计部分333估计的角度θ2估计初始角度θ1。
应当注意的是，由机器人300中的角度信息获取/角度估计部分337获取的角度信息可以参照本实施例中的机械臂320的坐标系来指示对象obj的角度。在这种情况下，由角度信息获取/角度估计部分337获取的角度信息指示的对象obj的角度可能会发生变化，不仅取决于由机械臂控制部分336设置的机械臂320的旋转量，还取决于其他组成元素的操作量，诸如连接到机械臂320上的机器人300的臂。此外，被机械臂320夹持的对象obj的表面可能在不同的时间发生变化。因此，即使与生成词典数据210时相同的机械臂320夹持对象obj，使用词典数据210估计图像中对象obj的角度也很有用。
词典数据生成/更新部分130或335具有上述参照图2的词典数据生成部分130和参照图7的词典数据更新部分335的功能。换言之，词典数据生成/更新部分130或335基于由图像获取部分110或331获取的图像和由角度信息获取/角度估计部分120或337在生成词典数据210时获取的角度信息生成词典数据210。此外，词典数据生成/更新部分130或335响应于当使用词典数据210估计对象obj的角度时由对象识别/角度估计部分333对对象角度的估计结果以及由角度信息获取/角度估计部分120或337对角度的重新估计的结果更新词典数据210。
如上文所述的第二实施例所示，根据第一实施例的***10的功能可以通过单个设备实现，例如机器人300a。在这种情况下，可以说***10是通过单个设备实现的。同样，***10的配置可以通过各种设备配置来实现。例如，***10可以包括多个机器人300，并且每个机器人300可以使用词典数据210执行词典数据210的生成和对象角度的估计。在这种情况下，存储在数据库200中的词典数据210在多个机器人300之间共享。
此外，包含数据库200的服务器例如可以实现由上述第二实施例中机器人300a中控制部分330所实现的功能。在这种情况下，在生成词典数据时，机器人300a将相机310捕获的对象obj的图像和从机械臂控制部分336获取的关于对象obj的角度信息传送给服务器，并且服务器通过将图像与角度信息相关联生成词典数据210。另一方面，在角度估计时，机器人300a将相机310捕获到的对象obj的图像传送给服务器，并且服务器基于该图像估计对象obj的角度。机器人300a从服务器接收角度估计结果。服务器可以请求机器人300a旋转对象obj，并在旋转后获取对象的图像，以便在估计角度的可靠性不超过阈值的情况下重新估计角度。
(第三实施例)
接下来将描述本发明的第三实施例。应当注意的是，与上述第二实施例中的描述类似配置的部分的描述通常通过指定通用参考符号省略。
图14是本发明第三实施例的示意性解释图。参考图14，机器人300b相对于对象obj移动，作为使用本实施例中的机械臂夹持对象的替代方法。在图14所示的示例中，机器人300b的运动包括围绕对象的旋转运动REV。此时，对象obj围绕相机310捕获的图像中的轴A1旋转。机器人300b的移动还包括相机310相对于对象obj的倾斜TLT。此时，对象obj围绕相机310捕获的图像中的轴A2旋转。
图15是描述根据本发明的第三实施例的机器人300b的功能配置的框图。根据本实施例的机器人300b不同于图13中所描绘的机器人300a，因为机器人300b包括控制电机350的电机控制部分339，以替代控制机械臂320的机械臂控制部分336。
电机控制部分339控制机器人300的电机350。如上参照图6所述，电机350包括通过驱动机器人300的关节结构或旋转机器人300b的轮子来移动机器人300b或改变机器人300b的姿势的电机。电机控制部分339以这种方式控制电机350，以执行机器人300b关于对象obj的旋转运动和/或机器人300b中相机310相对于对象obj的倾斜，如上文关于图14所述。
角度信息获取/角度估计部分120或337b获取指示对象obj角度的角度信息。这里，在机器人300和相机310的移动过程中，例如通过使用由图像获取部分331获取的时间序列的多个图像执行基于图像的同步定位与地图创建(SLAM)来获取角度信息。应当注意的是，可以使用其他传感器340(诸如机器人300a拥有的深度传感器或激光测距扫描仪)的测量结果来执行SLAM。在这种情况下，在通过SLAM识别了相机310的移动量之后，角度信息获取/角度估计部分120或337b基于相机310和对象obj之间的单独识别的位置关系来获取关于对象obj的角度信息。或者，角度信息获取/角度估计部分120或337b可以基于电机控制部分339对电机350的控制值来识别相机310的移动量。
在本实施例中，可以使用如上所述获取的角度信息生成词典数据210。此外，在对象识别/角度估计部分333无法基于词典数据210估计具有足够可靠性的角度的情况下，电机控制部分339控制电机350，从而旋转图像中的对象obj，并且可以执行角度的重新估计和词典数据210的更新。在本实施例中，相机310相对于对象obj的相对运动是在重新估计对象obj角度时执行的与对象obj相关的物理操作的示例。
根据到目前为止所描述的本发明第三实施例的配置，即使在对象obj较大或对象obj较小但不可移动的情况下，也可以生成词典数据210来估计对象obj的角度。这里，机器人300b还可以具有参考图7所述的机械臂320和机械臂控制部分336，并且可以在对象obj可以被夹持的情况下使用与第一和第二实施例类似的机械臂320旋转对象obj。
与第二实施例类似，虽然在上述第三实施例的示例中，与词典数据210的生成和使用词典数据210估计对象obj角度相关的总体功能由机器人300b实现，也可以使用另一个示例。例如，根据第一实施例，机器人300可包括电机控制部分339，作为机械臂控制部分336的替代，或作为***10中机械臂控制部分336的补充。
例如，在生成词典数据210时使用的相机平台设备160(或机器人300)的大小与使用词典数据210估计对象obj角度的机器人300的大小不同的情况下，可以发生以下情形：可以在生成词典数据210时使用相机平台设备160旋转对象obj，然而在更新词典数据210时难以旋转对象。相反的情形也可能发生。
此外，例如，在机器人300不仅包括机械臂控制部分336，还包括如上所述的电机控制部分339的情况下，电机控制部分339可以以这样的方式控制电机350使相机310能够与对象obj一起移动。在这种情况下，机械臂控制部分336以这样的方式控制机械臂320使图像中对象obj的角度不会改变。具体来说，当电机控制部分339控制电机350移动机器人300时，机械臂控制部分336保持机械臂320和相机310之间的位置关系、以及机械臂320夹持对象obj的角度。
以这种方式，连同对象obj一起移动相机310使得在例如不改变图像中的对象obj的角度的情况下改变相机310捕获图像时的环境条件成为可能。在例如某个环境条件下难以基于词典数据210来以高可靠性估计对象obj的角度的情况下，使得通过改变环境条件的高可靠性估计成为可能。此外，在生成词典数据210时在词典数据210中包含多个元素使提高角度估计的鲁棒性成为可能，其中使在不同的环境条件下获取的多个图像对应于公共的角度信息。
在上述示例中，在词典数据210的更新处理中，首先，电机控制部分339通过控制电机350将相机310与对象obj一起移动。在相机310和对象obj移动后，图像获取部分331获取对象obj移动后的图像(第二图像)，并且对象识别/角度估计部分333重新估计移动后的图像(第二图像)中对象obj的角度。在该估计中匹配分数超过阈值的情况下，词典数据更新部分335基于与对象obj的重新估计角度对应的角度信息和由图像获取部分331在对象obj移动之前获取的图像(第一图像)更新词典数据。在本例中，相机310与对象obj一起的移动对应于重新估计对象obj角度时执行的与对象obj相关的物理操作。此外，在本例中，对象识别/角度估计部分333同时执行上述“第一角度估计功能”和“第二角度估计功能”。
(信息处理设备的硬件配置示例)
接下来将参考图16描述根据本发明实施例的信息处理设备的硬件配置示例。图16是描述根据本发明实施例的信息处理设备的硬件配置的框图。
信息处理装置900包括处理器901、存储器903、输入设备905、输出设备907和总线909。信息处理设备900还可以包括存储器911、驱动器913、连接端口915和通信设备917。
处理器901配置有例如处理电路，诸如中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。处理器901用作算术处理设备和控制设备，并控制信息处理设备900按照存储器903、存储器911或可移动记录介质919中记录的程序进行操作。
存储器903的示例包括只读存储器(ROM)和随机存取存储器(RAM)。ROM为处理器901存储例如程序和算术参数。RAM临时存储例如在执行处理器901时扩展的程序和在执行程序时的参数。
输入设备905是由用户操作的设备，例如鼠标、键盘、触摸面板、按钮和各种开关。输入设备905不一定与信息处理设备900集成，例如，可以是通过无线通信传输控制信号的远程控制器。输入设备905包括输入控制电路，其基于用户的输入信息生成输入信号，并将输入信号输出到处理器901。
输出设备907配置有可以使用诸如视觉、听觉和触摸等感觉向用户输出信息的设备。输出设备907的示例可以包括显示设备，诸如液晶显示器(LCD)和有机电致发光(EL)显示器、音频输出设备(例如扬声器和耳机)、以及振动器。输出设备907输出由信息处理设备900以文本、视觉(例如图像)、音频(例如音频或声音)或振动形式执行的处理所获得的结果。
存储器911配置有磁存储设备，诸如磁盘驱动器(HDD)、半导体存储设备、光学存储设备或磁光存储设备。例如，存储器911存储例如处理器901的程序、执行程序时读取或执行程序生成的各种数据以及从外部获取的各种数据。
驱动器913是可移动记录介质919的读写器，诸如磁盘、光盘、磁光盘或半导体存储器。驱动器913读取连接的可移动记录介质919中记录的信息，并将信息输出到存储器903。此外，驱动器913将各种数据写入连接的可移动记录介质919。
连接端口915是用于将外部连接设备921连接到信息处理设备900的端口。连接端口915的示例可以包括通用串行总线(USB)端口、电气和电子工程师协会(IEEE)1394端口、小型计算机***接口(SCSI)端口。此外，连接端口915可以包括RS-232C端口、光学音频终端、高清多媒体接口(HDMI)(注册商标)端口等。将外部连接设备921连接到连接端口915使得能够在信息处理设备900和外部连接设备921之间交换各种数据。
通信设备917连接到网络923。应当注意的是，网络923可以是开放式通信网络，例如，连接了不指定数量的设备的互联网，或者连接了有限设备(如蓝牙(注册商标)-可能的设备)的封闭式通信网络，例如，连接了两个设备。通信设备917的示例可以包括用于局域网(LAN)、蓝牙(注册商标)、无线局域网(Wi-Fi)和无线USB(WUSB)的通信卡。通信设备917使用与网络923兼容的预定协议向其他信息处理设备发送信号、数据等，以及从其他信息处理设备接收信号、数据等。
上面描述了信息处理设备900的硬件配置示例。每个组成元素都可以配置通用成员，或者可以配置专门用于每个组成元素功能的硬件。此外，本领域技术人员可以根据技术水平适当改变上述信息处理设备900在不同执行时间的配置。
本发明的实施例可以包括，例如，如上所述的***、夹具和信息处理设备、由信息处理设备执行的信息处理方法、使信息处理设备工作的程序以及记录所述程序的非暂时性有形介质。
虽然参考附图详细描述了本发明的几个实施例，但本发明不限于这些实施例。显而易见的是，在本发明所属领域具有普通技能的人可以在权利要求书中所述的技术概念范围内构思各种变化实例或修改实例，并且应当理解的是，这些实例自然地属于本发明的技术范围。
[参考符号列表]
10··***，100··终端，110··图像获取部分，120··角度信息获取部分，130··词典数据生成部分，150··相机，160··相机平台设备，161···底座，162···支柱，163··臂，164···销，165··保持器，167···控制部分，170···夹具，171···安装构件，172··连接构件，173···对象保持器，174···背景板，200···数据库，210···词典数据，300，300a，300b···机器人，310···相机，320···机械臂，330····控制部分，331···图像获取部分，332··词典数据获取部分，333···对象识别/角度估计部分，334··结果输出部分，335···词典数据更新部分，336···机械臂控制部分，337···角度信息获取/角度估计部分，339···电机控制部分，340··传感器，350···电机。

Claims (12)

1.一种信息处理设备，包括：
处理器，所述处理器实现：
获取与对象有关的词典数据的词典数据获取功能；
获取所述对象的第一图像的图像获取功能；
第一角度估计功能，其基于所述第一图像和所述词典数据估计所述第一图像中所述对象的角度；
第二角度估计功能，其在与所述对象相关的物理操作后重新估计所述第一图像中所述对象的角度；以及
词典数据更新功能，其响应于所述第一角度估计功能估计的结果和所述第二角度估计功能重新估计的结果，更新所述词典数据。
2.根据权利要求1所述的信息处理设备，其中，
所述词典数据更新功能基于所述第一图像和指示由所述第二角度估计功能重新估计的所述对象的所述角度的角度信息，更新所述词典数据。
3.根据权利要求1或2所述的信息处理设备，其中，
在所述第一角度估计功能估计的所述对象的所述角度的可靠性不超过阈值的情况下，所述词典数据更新功能基于所述第二角度估计功能的所述重新估计的所述结果更新所述词典数据。
4.根据权利要求1至3中任一项所述的信息处理设备，其中，
所述图像获取功能在与所述对象相关的所述物理操作之后获取所述对象的第二图像，
所述第一角度估计功能基于所述第二图像和所述词典数据，估计所述第二图像中所述对象的角度，并且
所述第二角度估计功能基于所述对象的所述角度以及与所述对象相关的所述物理操作量，重新估计所述第一图像中所述对象的角度，其中所述对象的所述角度是由所述第一角度估计功能基于所述第二图像和所述词典数据估计的。
5.根据权利要求4所述的信息处理设备，其中，
在由所述第一角度估计功能基于所述第二图像和所述词典数据估计的所述对象的所述角度的所述可靠性不超过所述阈值的情况下，所述图像获取功能在重新执行与所述对象相关的所述物理操作后获取所述对象的第三图像，
所述第一角度估计功能基于所述第三图像和所述词典数据估计所述第三图像中所述对象的角度，并且
在由所述第一角度估计功能基于所述第三图像和所述词典数据估计的所述对象的所述角度的所述可靠性超过所述阈值的情况下，所述第二角度估计功能基于所述对象的所述角度以及与所述对象相关的所述物理操作的总量，重新估计所述第一图像中所述对象的角度，其中所述对象的所述角度是在由所述第一角度估计功能基于所述第三图像和所述词典数据估计的。
6.根据权利要求1至5中任一项所述的信息处理设备，其中，
与所述对象相关的所述物理操作包括通过保持所述对象的保持装置使所述对象旋转，并且
所述第二角度估计功能基于从所述保持装置提供的所述对象的旋转量，重新估计所述第一图像中所述对象的角度。
7.根据权利要求1至5中任一项所述的信息处理设备，其中
与所述对象相关的所述物理操作包括成像设备到所述对象的相对运动，所述成像设备向所述图像获取功能提供图像，并且
所述第二角度估计功能基于所述成像设备的移动量，重新估计所述第一图像中所述对象的角度。
8.根据权利要求7所述的信息处理设备，其中，
所述成像设备的所述运动包括围绕所述对象的旋转运动。
9.根据权利要求7或8所述的信息处理设备，其中，
所述图像获取功能在所述成像设备的运动期间获取时间序列的多个图像，并且
所述第二角度估计功能基于所述多个图像识别所述成像设备的所述移动量。
10.根据权利要求1至5中任一项所述的信息处理设备，其中，
与所述对象相关的所述物理操作包括成像设备与所述对象一起的移动，所述成像设备向所述图像获取功能提供图像。
11.一种信息处理方法，包括：
获取与对象有关的词典数据的步骤；
获取所述对象的第一图像的步骤；
基于所述第一图像和所述词典数据估计所述第一图像中所述对象的角度的步骤；
在与所述对象相关的物理操作后重新估计所述第一图像中所述对象的角度的步骤；以及
响应于所述估计的结果和所述重新估计的结果，通过处理器更新所述词典数据的步骤。
12.一种程序，使处理器实现：
获取与对象有关的词典数据的词典数据获取功能；
获取所述对象的第一图像的图像获取功能；
第一角度估计功能，其基于所述第一图像和所述词典数据估计所述第一图像中所述对象的角度；
第二角度估计功能，其在与所述对象相关的物理操作后重新估计所述第一图像中所述对象的角度；以及
词典数据更新功能，其响应于所述第一角度估计功能估计的结果和所述第二角度估计功能重新估计的结果更新所述词典数据。
CN201780074637.7A 2016-12-05 2017-11-28 信息处理设备、信息处理方法和程序 Pending CN110023993A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016236277A JP6705738B2 (ja) 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム
JP2016-236277 2016-12-05
PCT/JP2017/042475 WO2018105433A1 (ja) 2016-12-05 2017-11-28 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN110023993A true CN110023993A (zh) 2019-07-16

Family

ID=62491594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074637.7A Pending CN110023993A (zh) 2016-12-05 2017-11-28 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10902629B2 (zh)
EP (1) EP3550511A4 (zh)
JP (1) JP6705738B2 (zh)
CN (1) CN110023993A (zh)
WO (1) WO2018105433A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135750B2 (ja) * 2018-11-12 2022-09-13 富士通株式会社 学習プログラム、学習方法、学習装置、検知プログラム、検知方法及び検知装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000288968A (ja) * 1999-04-08 2000-10-17 Fanuc Ltd 教示モデル生成装置
CN103135743A (zh) * 2011-11-22 2013-06-05 联想(北京)有限公司 一种电子设备的显示画面的调整方法及电子设备
CN103841374A (zh) * 2012-11-27 2014-06-04 华为技术有限公司 一种视频监控图像的显示方法及***
CN104081415A (zh) * 2011-09-27 2014-10-01 英特尔公司 用于管理参考面孔数据库以用于在有限的存储器环境下提高面孔识别性能的方法、装置和计算机可读记录介质
CN104732486A (zh) * 2015-03-23 2015-06-24 海信集团有限公司 一种图片的显示方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369845A1 (en) 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
JP4164737B2 (ja) 2002-05-24 2008-10-15 ソニー株式会社 物体認識装置及び方法並びにロボット装置
JP4449410B2 (ja) * 2003-10-27 2010-04-14 ソニー株式会社 ロボット装置及びその物体学習方法
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
LT5629B (lt) 2008-05-23 2010-02-25 Outsphere International Ltd., , Trimatės fotografijos sistema ir trimačių skaitmeninių objekto atvaizdų sukūrimo ir publikavimo būdas
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
CN103415780B (zh) * 2011-01-10 2015-09-16 特林布尔公司 用于确定测量仪的位置和定向的方法和***
JP5787642B2 (ja) 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP5895569B2 (ja) 2012-02-08 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP6157066B2 (ja) 2012-06-11 2017-07-05 キヤノン株式会社 画像処理装置、物体取出システム、画像処理方法及びプログラム
JP6028589B2 (ja) * 2013-01-23 2016-11-16 富士通株式会社 入力プログラム、入力装置および入力方法
US9111348B2 (en) 2013-03-15 2015-08-18 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system of dynamic category object recognition
JP6126437B2 (ja) 2013-03-29 2017-05-10 キヤノン株式会社 画像処理装置および画像処理方法
JP2016103094A (ja) * 2014-11-27 2016-06-02 株式会社豊田自動織機 画像処理方法、画像処理装置、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000288968A (ja) * 1999-04-08 2000-10-17 Fanuc Ltd 教示モデル生成装置
CN104081415A (zh) * 2011-09-27 2014-10-01 英特尔公司 用于管理参考面孔数据库以用于在有限的存储器环境下提高面孔识别性能的方法、装置和计算机可读记录介质
CN103135743A (zh) * 2011-11-22 2013-06-05 联想(北京)有限公司 一种电子设备的显示画面的调整方法及电子设备
CN103841374A (zh) * 2012-11-27 2014-06-04 华为技术有限公司 一种视频监控图像的显示方法及***
CN104732486A (zh) * 2015-03-23 2015-06-24 海信集团有限公司 一种图片的显示方法及装置

Also Published As

Publication number Publication date
JP2018092448A (ja) 2018-06-14
US10902629B2 (en) 2021-01-26
EP3550511A4 (en) 2020-07-01
JP6705738B2 (ja) 2020-06-03
WO2018105433A1 (ja) 2018-06-14
EP3550511A1 (en) 2019-10-09
US20190385331A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN107646126B (zh) 用于移动设备的相机姿态估计
CN107636534B (zh) 用于图像处理的方法和***
KR101775591B1 (ko) 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及***
US10943401B2 (en) Active visual recognition in mobile augmented reality
KR101364874B1 (ko) 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 관련 장치
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US8660362B2 (en) Combined depth filtering and super resolution
CN107845114B (zh) 地图的构建方法、装置及电子设备
CA2568617A1 (en) Digital 3d/360 degree camera system
CN105094335A (zh) 场景提取方法、物体定位方法及其***
US20220067968A1 (en) Motion capture calibration using drones with multiple cameras
CN107277490B (zh) 可重配置多模式相机
FR3041804A1 (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
DE112018008019T5 (de) Echtzeit-Multi View-Detektion von Objekten in Multicamera-Umgebungen
CN110249290A (zh) 信息处理设备、信息处理方法和程序
CN110023993A (zh) 信息处理设备、信息处理方法和程序
US11758100B2 (en) Portable projection mapping device and projection mapping system
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
CN110520904A (zh) 显示控制装置、显示控制方法及程序
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
US11200695B2 (en) System, jig, information processing device, information processing method, and program
US11935199B2 (en) Augmented reality depth detection through object recognition
US11600022B2 (en) Motion capture calibration using drones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716