CN102914293B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN102914293B
CN102914293B CN201210237519.2A CN201210237519A CN102914293B CN 102914293 B CN102914293 B CN 102914293B CN 201210237519 A CN201210237519 A CN 201210237519A CN 102914293 B CN102914293 B CN 102914293B
Authority
CN
China
Prior art keywords
posture
image
picture pick
measurement object
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210237519.2A
Other languages
English (en)
Other versions
CN102914293A (zh
Inventor
立野圭祐
小竹大辅
内山晋二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102914293A publication Critical patent/CN102914293A/zh
Application granted granted Critical
Publication of CN102914293B publication Critical patent/CN102914293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37425—Distance, range
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40548—Compare measured distances to obstacle with model of environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种信息处理设备和信息处理方法。信息处理设备用于使用摄像设备来估计测量物体的位置姿势，信息处理设备包括：粗略位置姿势输入单元，用于输入摄像设备和测量物体之间的相对粗略位置姿势；第一位置姿势更新单元，用于通过将三维形状模型与拍摄的图像相匹配来更新粗略位置姿势；位置姿势差信息输入单元，用于在摄像设备拍摄了测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、摄像设备相对于测量物体的位置姿势差量；以及第二位置姿势更新单元，用于基于位置姿势差量更新粗略位置姿势。

Description

信息处理设备和信息处理方法
技术领域
本发明涉及一种信息处理设备和信息处理方法。本发明尤其涉及一种适用于测量三维形状已知的物体的位置姿势的技术。
背景技术
近年来，通过机器人代替进行诸如工业产品的组装等的过去用手工进行的复杂任务。在机器人组装这类工业产品时，机器人通过诸如手等的端部执行器把持组件，因此变得需要精确测量组件和机器人(即，机器手)之间的相对位置姿势。
存在一种用于同时使用照相机所获取的二维图像(例如，灰度图像或彩色图像)和距离传感器所获取到的距离图像来精确估计物体的位置姿势的技术。在[Y.Hel-Or and M.Werman，“Pose estimation by fusing noisy data of different dimensions”，IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.17，No.2，pp.195–201，1995]中说明了这一用于精确测量物体的位置姿势的技术。上述文献说明了针对按照时序输入的二维图像和距离图像，将二维图像的特征当作为深度不确定的三维点。然后使用卡尔曼滤波器更新物体的位置姿势，从而使得二维图像的特征和三维模型之间的误差、以及距离图像的三维点和三维模型之间的误差最小化。
用于使用二维图像和距离图像来估计物体的位置姿势的传统技术假定摄像设备自由移动。因此在按照时序所输入的多个测量数据之间的相对几何关系未知的前提下进行估计。结果，如果摄像设备在用于摄像的时间之间移动大，则稳定性丧失，或者估计精度降低。
另一方面，存在通过将摄像设备安装到机器臂上并且移动摄像设备来测量物体的情况、或者使用固定摄像设备来测量通过机器臂所保持的移动的被摄体的情况。在这些情况下，可以参考机器人的运动信息作为用于观测摄像时间之间的摄像设备或测量物体的移动的信息。
机器人的运动信息包括诸如控制机器人的重复精度方面的误差和校准精度方面的误差等的误差因素。然而，运动信息是估计位置姿势时所使用的高精确且有用的信息。然而，根据传统技术，即使可以获取到机器人的运动信息，也不能有效使用机器人运动作为观测信息。
此外，日本特开2005-201824说明了一种仅使用运动信息的被称为运动立体摄影术(motion stereo)的已知技术。这一技术通过向粗略位置姿势相加从运动信息所获取的位置姿势的差来估计位置姿势。
然而，如上所述，机器人运动信息包括预定量的模糊。因此希望在考虑到模糊的情况下更新位置姿势。
发明内容
本发明旨在即使在测量设备和测量物体之间的位置和姿势中的至少一个的关系包括模糊时，也使得能够高精度地测量物体的位置姿势。
根据本发明的一个方面，一种信息处理设备，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理设备包括：三维形状模型存储单元，用于存储所述测量物体的三维形状模型的数据；图像输入单元，用于获取所拍摄的所述测量物体的图像；粗略位置姿势输入单元，用于输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；第一位置姿势更新单元，用于使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；位置姿势差信息输入单元，用于计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及第二位置姿势更新单元，用于使用所述第一位置姿势更新单元所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。
根据本发明的另一方面，一种信息处理方法，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理方法包括以下步骤：存储所述测量物体的三维形状模型的数据；获取所拍摄的所述测量物体的图像；输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及使用所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。
通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。
附图说明
包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。
图1示出根据本发明典型实施例的信息处理设备的结构。
图2A和2B示出机器臂、摄像设备和要测量的组件之间的关系。
图3是示出用于估计位置姿势的处理的流程图。
具体实施方式
下面将参考附图详细说明本发明的各种典型实施例、特征和方面。
根据本发明的典型实施例，信息处理设备在如下场景中应用用于估计物***置姿势的技术。将摄像设备安装在机器臂的末端，并且移动机器臂，从而使得拍摄固定测量物体50的图像，如图2A所示。
根据本典型实施例，信息处理设备在一次测量中依次进行灰度图像的拍摄、距离图像的拍摄和机器人运动的获取。在信息处理设备拍摄图像(即，灰度图像或距离图像)时，信息处理设备通过匹配三维形状模型和图像来更新测量物体50的位置姿势。信息处理设备在每次获取图像时都更新该位置姿势。
此外，信息处理设备从机器臂的运动信息获取由于机器臂的移动所生成的摄像设备在摄像操作之间的位置姿势差量。信息处理设备然后基于运动信息来更新测量物体50的位置姿势。除与灰度图像和距离图像有关的信息以外，信息处理设备还使用基于机器人运动的信息来更新测量物体50的位置姿势。结果，高精度地估计测量物体50的位置姿势。
图1示出根据本发明典型实施例的信息处理设备1的结构的例子。参考图1，信息处理设备1包括三维形状模型存储单元110、图像输入单元120、粗略位置姿势输入单元130、位置姿势差信息输入单元140、第一位置姿势更新单元150、以及第二位置姿势更新单元160。
三维形状模型存储单元110存储表示测量物体的几何特征的三维形状模型数据，并且与第一位置姿势更新单元150连接。此外，二维图像拍摄设备20和距离图像拍摄设备30与图像输入单元120连接。此外，机器人40与位置姿势差信息输入单元140连接。根据本典型实施例，在存储在三维形状模型存储单元110中的三维形状模型数据10与实际要拍摄其图像的测量物体50的形状一致的情况下，可应用信息处理设备1。
三维形状模型数据10(以下称为三维形状模型)是表示要测量的物体(以下称为测量物体50或简称为物体)的形状的三维几何信息。通过与由点组合所构成或者通过连接点所构成的平面有关的信息、以及与构成该平面的线段有关的信息来定义三维形状模型10。将三维形状模型10存储在三维形状模型存储单元110中，并且将其输入给第一位置姿势更新单元150。
二维图像拍摄设备20是正常拍摄可以是灰度图像或彩色图像的二维图像的照相机。根据本典型实施例，二维图像拍摄设备20输出灰度图像。二维图像拍摄设备20经由图像输入单元120将这样所拍摄的图像输入给信息处理设备1。
通过参考要使用的装置的说明书，获取诸如焦距和主点位置以及镜头变形参数等的照相机内部参数。此外，可以使用[R.Y.Tsai，“A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelfTV cameras and lenses”，IEEE Journal of Robotics andAutomation，vol.RA-3，No.4，1987]中所述的方法预先校准照相机的内部参数。
距离图像拍摄设备30用作用于测量测量物体表面上的点的三维信息的距离数据测量单元。根据本典型实施例，使用用于输出距离图像的距离传感器作为距离图像拍摄设备30。距离图像是各像素均具有深度信息的图像。此外，根据本典型实施例，使用单触主动式距离传感器。这类距离传感器利用配有不同波长的颜色识别(ID)的多狭缝线照射物体。距离传感器然后使用照相机拍摄反射光，并且采用三角测量来测量距离。
然而，距离传感器不局限于以上所述的，并且可以是使用光的飞行时间的飞行时间型距离传感器。此外，距离传感器可以是使用三角测量、根据通过立体照相机所拍摄的图像来计算各像素的深度的被动式传感器。此外，在不改变本发明的本质的情况下，可以使用能够测量距离图像的任何类型的距离传感器。
距离图像拍摄设备30经由距离图像输入单元120将所获取的距离图像输入给信息处理设备1。距离图像拍摄设备30的光轴与二维图像拍摄设备20的光轴相一致。因此，从二维图像拍摄设备20输出的灰度图像中的各像素和从距离图像拍摄设备30输出的距离图像中的各像素之间的对应关系是已知的。
机器人40包括由转动轴或平移轴构成的多个可移动轴。机器人40是用于改变包括二维图像拍摄设备20和距离图像拍摄设备30的摄像设备的位置姿势的可移动装置。下面，将包括二维图像拍摄设备20和距离图像拍摄设备30的装置称为摄像设备230。根据本典型实施例，使用具有由六个可转动轴构成的六自由度的机器臂，并且将摄像设备230安装在该机器臂的末端。
将与机器人40的六个可转动轴有关的信息经由位置姿势差信息输入单元140输入给信息处理设备1。预先计算装配在臂的末端的摄像设备230的从臂的末端到摄像设备230的位置姿势，作为摄像设备230的偏移位置姿势，并且将其存储为不变值。可以通过使用该偏移位置姿势而偏移臂的末端的位置姿势，来计算摄像设备230的位置姿势。
作为机器人40所使用的装置不局限于以上所述的，并且可以是具有七自由度的垂直多关节机器人、标量型机器人或并联机器人。机器人可以是任何类型的，只要机器人包括具有转动轴或平移轴的多个可移动轴，并且能够获取运动信息。
粗略位置姿势输入单元130输入物体相对于摄像设备230的位置姿势的粗略值。根据本典型实施例，信息处理设备1在时间轴的方向上连续进行测量。因此使用前一测量值(即，前一次所测量出的值)作为粗略位置姿势。然而，用于输入位置姿势的粗略值的方法不局限于以上所述的。
例如，可以存储并使用以各种姿势所拍摄的对象物体的图像作为在针对输入图像进行模板匹配时的模板来粗略估计对象物体的位置姿势。此外，如果存在能够测量物体的位置姿势的其他传感器，则可以使用其他传感器的输出值作为位置姿势的粗略值。
传感器可以是通过使用装配至物体的接收器而检测由发送器所生成的磁场来测量位置姿势的磁性传感器。此外，传感器可以是通过使用在场景中固定的照相机拍摄设置在物体上的标记来测量位置姿势的光学传感器。可以使用任何传感器，只要传感器能够测量六自由度的位置姿势。此外，如果预先已知物体所处的粗略位置姿势，则可以使用这一值作为粗略值。
位置姿势差信息输入单元140输入在拍摄了二维图像或者距离图像之后、或者在从在机器人40获取位置姿势差信息之后进行了移动后的机器人40的位置姿势差量。根据本典型实施例，根据在摄像时间之间臂的末端的位置姿势的差，计算位置姿势差量。在可以从机器人40中的控制模块直接获取臂的末端的位置姿势的情况下，计算位置姿势差量。
然而，用于计算在摄像时间之间摄像设备230的差量的方法不局限于以上所述的。例如，从与机器人40的可移动轴对准安装的旋转编码器获取各轴的转动量。然后使用正向运动计算，根据各轴的转动量和机器人40的连杆长度来计算臂的末端的位置姿势。因此可以计算被置于臂的末端处的摄像设备230的位置姿势差量。可以采用任何方法，只要可以计算在摄像时间之间移动的臂的末端的位置姿势差量。
第一位置姿势更新单元150将存储在三维形状模型存储单元110中的三维形状模型10与通过二维图像拍摄设备20所拍摄的灰度图像和/或通过距离图像拍摄设备30所拍摄的距离图像相关联。第一位置姿势更新单元150然后基于测量物体50的位置姿势的粗略值，更新测量物体50的位置姿势。
第一位置姿势更新单元150交替进行基于二维图像的粗略位置姿势的更新、以及基于距离图像的粗略位置姿势的更新。下面将详细说明该更新处理。
第二位置姿势更新单元160基于通过第一位置姿势更新单元150更新了的测量物体50的位置姿势，使用通过位置姿势差信息输入单元140所获取的位置姿势差信息，更新测量物体50的位置姿势。后面将详细说明该更新处理。
信息处理设备1包括计算机。该计算机包括诸如中央处理单元(CPU)等的主控制单元、以及诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)等的存储单元。此外，该计算机可以包括诸如按钮、显示器和触摸面板等的输入/输出单元，并且还可以包括诸如网络卡等的通信单元。通过总线连接上述组件，并且通过主控制单元执行存储在存储单元中的程序对上述组件进行控制。
下面说明根据本典型实施例的用于估计位置姿势的处理。
图3是示出根据本典型实施例的用于估计位置姿势的处理的流程图。
在步骤S301，信息处理设备1进行初始化。更具体地，粗略位置姿势输入单元130输入在拍摄灰度图像时的摄像设备230和物体之间的相对位置姿势的粗略值。如上所述，根据本典型实施例，信息处理设备1使用在前一次所测量出的位置姿势作为测量物体50的粗略位置姿势。
在步骤S302，二维图像拍摄设备20拍摄灰度图像。在拍摄灰度图像的情况下，处理进入步骤S303。
在步骤S303，第一位置姿势更新单元150基于在步骤S301所输入的测量物体50的粗略位置姿势，更新测量物体50的位置姿势，从而使得三维形状模型10与在步骤S302所输入的灰度图像相匹配。下面将详细说明在步骤S303所进行的用于使用灰度图像更新位置姿势的处理。
第一位置姿势更新单元150基于测量物体50的粗略位置姿势，将三维形状模型10与在步骤S302所拍摄的灰度图像上的边缘相关联。更具体地，第一位置姿势更新单元150使用测量物体50的粗略位置姿势、以及二维图像拍摄设备20的内部参数，将三维形状模型10中的各线段投影至灰度图像上。第一位置姿势更新单元150然后将在该图像上所检测到的边缘与三维形状模型10相关联。如果检测到了与各控制点相对应的多个边缘，则第一位置姿势更新单元150将该图像上的这多个所检测到的边缘中最接近投影的线段的边缘与控制点相关联。
第一位置姿势更新单元150基于测量物体50的粗略位置姿势，使用所计算出的关联数据更新位置姿势，从而使得三维形状模型10中的各线段和灰度图像上的边缘之间的误差最小化。更具体地，第一位置姿势更新单元150通过使用扩展卡尔曼滤波器进行滤波，来使用所计算出的关联数据更新位置姿势。使用在灰度图像上所检测到的边缘的坐标，作为使用扩展卡尔曼滤波器的滤波处理中的观测数据。下面将详细说明用于使用扩展卡尔曼滤波器更新测量物体50的位置姿势所进行的处理。卡尔曼滤波器是非线性滤波器的例子。
卡尔曼滤波器的状态空间模型包括用于预测随后的状态的状态转移方程、以及表示状态和观测之间的关系的观测方程。根据本典型实施例，假定在如下情况下进行公式化：仅在基于帧内的关联数据来更新位置姿势时使用采用卡尔曼滤波器所进行的状态估计。因此假定不进行帧间时序滤波。此外，对于测量物体50的状态，没有假定特定的运动模型，而是采用静态模型。另外，状态矢量仅包含六自由度的位置姿势。
如下定义状态转移方程：
xi+1=Fxi+w               (1)
在公式(1)中，xi是状态矢量，F是状态转移矩阵，w是***噪声，并且i是要输入给卡尔曼滤波器的观测数据(即，在灰度图像上所检测到的边缘)的指数。***噪声w的误差协方差Σw是表示在更新处理之间发生的意外误差的参数，并且通常是调整参数。根据本典型实施例，给出***噪声的协方差矩阵作为零矩阵。
如下定义包括位置姿势的六自由度的状态矢量：
xk=[tx ty tx wx wy wz]T              (2)
在公式(2)中，tx、ty和tz分别表示在x轴、y轴和z轴的方向上的位置，并且wx、wy和wz分别表示沿x轴、y轴和z轴的转动。此外，由于状态矢量仅包含位置姿势，所以状态转移矩阵变成单位矩阵。
如下定义观测方程：
yi=h(xi)+v                   (3)
在公式(3)中，yi是观测矢量(即，在灰度图像上所检测到的边缘的坐标)，h(xi)是表示基于状态xi下的图像的观测的方程(即，三维形状模型10在灰度图像上的投影)，并且v表示观测噪声。观测噪声的协方差矩阵∑v是定义观测矢量的模糊的参数。在步骤S303，协方差矩阵∑v表示在灰度图像中所检测到的边缘坐标的模糊。所检测到的坐标的模糊是受到灰度图像的摄像环境或边缘检测方法很大影响的参数。根据本典型实施例，假定包含平均值为0、并且标准偏差为0.5像素的噪声来定义观测噪声的协方差矩阵∑v。
在扩展卡尔曼滤波处理中，通过基于如上所述定义的状态转移方程和观测方程，通过重复预测处理和更新处理来更新状态矢量(即，测量物体50的位置姿势)。下面将详细说明用于进行预测和更新的处理。
在预测处理中，预测状态矢量和状态矢量的误差协方差Pi。使用下面的公式预测状态矢量：
xi=Fxi–1                   (4)
由于状态转移矩阵是单位矢量，所以状态矢量的值在预测处理中不改变。在下述公式，使用以上定义的***噪声的误差协方差∑w来预测状态矢量的误差协方差Pi。
Pi=FPi-1FT+∑w              (5)
在公式(5)中，在预测处理的初始步骤中，需要设置误差协方差矩阵Pi的初始值。由于状态矢量的误差协方差矩阵Pi是表示当前状态矢量的模糊的参数，所以随后的观测数据的更新量受到初始值的设置的极大影响。
定性地说，如果误差协方差大，则基于观测数据的更新量变大，并且如果误差协方差小，则基于观测数据的更新量变小。根据本典型实施例，假定存在下面的模糊的范围来设置误差协方差的初始值P0：平均值为0，对于位置的标准偏差为测量物体50的大小的10％，并且对于姿势的标准偏差为10度。考虑到在摄像操作之间发生的测量物体50的意外差量，在上述范围内设置初始值P0。
在更新处理中，基于观测数据来更新状态矢量及其误差协方差。使用下面的公式更新状态矢量：
xi+1=xi+Ki(yi–h(xi))             (6)
Ki是通过观测数据所计算出的应用于误差的卡尔曼增益。使用以上定义的观测噪声的协方差矩阵∑v，通过下面的公式来计算卡尔曼增益。
Ki=PiHT(HPiHT+∑v)-1              (7)
在公式(7)中，通过xi对表示图像的观测的方程h(x)进行偏微分获得通常称为图像雅可比的H。由于表示图像的观测的方程h(x)、使用边缘的误差校准方法以及基于边缘生成图像雅可比，这些与本发明的本质无关，因而省略详细说明。对于该处理的细节，参考[Tateno,Kotake,Uchiyama,“A Model fittingmethod using intensity and range images for bin-pickingapplications”,13th Meeting on Image and RecognitionUnderstanding(MIRU2010),OS5-1,2010]。此外，使用下面的公式更新状态矢量的误差协方差矩阵：
Pi+1=(I-KiH)Pi                    (8)
第一位置姿势更新单元150对于许多所获取的观测数据(即，在灰度图像中所检测到的边缘)重复上述预测处理和更新处理，从而更新测量物体50的位置姿势。在使用所有观测数据进行更新处理时，处理进入步骤S304。
在步骤S304，距离图像拍摄设备30获取距离图像。根据本典型实施例，距离图像包含从摄像设备230到测量物体50表面的距离。如上所述，由于二维图像拍摄设备20的光轴与距离图像拍摄设备30的光轴相一致，所以灰度图像中的各像素和距离图像中的各像素之间的对应关系是已知的。
在步骤S305，第一位置姿势更新单元150更新测量物体50的位置姿势，从而使得三维形状模型10与在步骤S304所输入的距离图像相匹配。第一位置姿势更新单元150基于在步骤S303更新后的测量物体的位置姿势，更新测量物体50的位置姿势。下面将详细说明在步骤S305所进行的用于使用距离图像更新位置姿势的处理。
第一位置姿势更新单元150基于在步骤S303更新后的测量物体50的位置姿势，将三维形状模型10与在步骤S304所测量出的距离图像中的三维点组相关联。更具体地，第一位置姿势更新单元150使用测量物体50的位置姿势、以及距离图像拍摄设备30的校正后的内部参数，将构成三维形状模型10的各平面投影至距离图像上。第一位置姿势更新单元150然后存储与各投影平面相对应的距离图像上的距离点组，作为与各平面相对应的三维点。
第一位置姿势更新单元150然后基于在步骤S303更新后的测量物体50的位置姿势，使用所检测到的关联数据来更新位置姿势，从而使得三维形状模型10中的各平面和与其相对应的距离图像中的三维点之间的三维空间的误差最小化。更具体地，第一位置姿势更新单元150通过使用扩展卡尔曼滤波器进行滤波，来使用所检测到的关联数据而更新位置姿势。第一位置姿势更新单元150使用与三维模型中的各平面相对应的距离图像中的距离点的坐标作为观测数据来进行滤波。在步骤S305，继续使用在步骤S303进行更新所使用的状态矢量xi作为状态矢量xj。
另一方面，考虑到在步骤S304估计位置姿势之后在测量物体50处所生成的未知差量，如在步骤S303所进行的误差协方差初始化一样，类似地初始化误差协方差Pj。要进行的处理与在步骤S303所进行的处理大体相同。与步骤S303所进行的处理的不同之处在于观测值的误差协方差矩阵∑v、表示观测的方程h(x)、用于测量测量数据中的误差的方法、以及基于测量数据的图像雅可比。
观测噪声的误差协方差矩阵∑v表示距离图像中的距离点组的观测的模糊。距离点组的模糊是极大影响距离图像拍摄设备30的距离图像拍摄方法和摄像环境的参数。根据本典型实施例，假定包含平均值为0、并且标准偏差为1mm的噪声来设置距离点组的观测值的误差协方差矩阵∑v。
此外，通过如下替换在步骤S303所进行的处理中的要素来进行步骤S305中的处理。以表示三维空间下的观测的方程替换方程h(x)，以对于三维点和三维平面的误差测量来替换观测数据的误差测量方法，并且以基于三维平面和点的图像雅可比替换图像雅可比。
由于方程h(x)的推导、误差测量方法和图像雅可比与本发明的本质无关，所以省略详细说明。对于该处理的细节，参考[Tateno,Kotake,Uchiyama,“A Model fitting method usingintensity and range images for bin-picking applications”,13thMeeting on Image and Recognition Understanding(MIRU2010),OS5-1,2010]。第一位置姿势更新单元150针对许多所获取的观测数据(即，与三维形状模型10中的各平面相对应的距离图像中的距离点组)，重复上述预测处理和更新处理，类似于步骤S303。第一位置姿势更新单元150从而更新测量物体50的位置姿势。在使用所有观测数据进行更新处理时，处理进入步骤S306。
在步骤S306，信息处理设备1使用位置姿势差信息输入单元140计算在步骤S304拍摄距离图像之后进行了移动后的摄像设备230的位置姿势差量。更具体地，信息处理设备1经由位置姿势差信息输入单元140从机器臂的控制模块获取机器臂的末端的位置姿势。信息处理设备1然后偏移从机器臂的末端到摄像设备230的位置姿势。信息处理设备1从而计算在步骤S304拍摄距离图像时的摄像设备230的位置姿势、以及当前位置姿势(即，在进行步骤S306时)。信息处理设备1然后获取摄像设备230的所计算出的位置姿势之间的差，并且计算在拍摄距离图像之后进行了移动后的摄像设备230的位置姿势差量。
在步骤S307，第二位置姿势更新单元160基于在步骤S305更新后的测量物体50的位置姿势，使用在步骤S306所计算出的位置姿势差量，更新测量物体50的位置姿势。下面将详细说明在步骤S307所进行的用于使用位置姿势差量来更新位置姿势的处理。
更具体地，第二位置姿势更新单元160基于在步骤S306所计算出的位置姿势差量及其模糊，更新位置姿势。继续使用在步骤S303所进行的更新处理中所使用的状态矢量xj作为状态矢量x。
另一方面，考虑到在步骤S306估计位置姿势之后在测量物体50处所生成的未知差量，如在步骤S303所进行的误差协方差初始化一样，类似地初始化误差协方差P。要进行的处理与在步骤S303所进行的处理大体相同。然而，步骤S307的处理与步骤S303所进行的处理的不同之处在于步骤S307的观测方程是线性方程。如下定义根据步骤S307的观测方程：
y=Hx+v               (9)
在公式(9)中，y是观测矢量(即，作为使用位置姿势差量的更新结果的位置姿势)，H是观测矩阵(单位矩阵)，并且v是观测噪声。观测噪声的协方差∑v是定义观测矢量(即，在步骤S306所计算出的位置姿势差量)的模糊的参数。根据本典型实施例，获取位置姿势差量作为机器臂的末端的位置姿势的差。位置姿势差量的模糊因此与机器臂的末端的位置姿势的模糊同义。
根据如下各种因素生成机器臂的末端的位置姿势的模糊。该模糊归因于诸如臂刚性和后冲等的机械因素、以及诸如电动机的控制精度和减少机械振动的效果等的控制因素。定性地说，模糊随着可移动轴的数量的增多而增大，并且随着在同一方向上重叠的可移动轴的方向的增多而增大。
根据本典型实施例，假定在六自由度的位置姿势中均等地发生误差。因此设置发生平均值为0、并且标准偏差在位置姿势差量的1％的范围内的位置姿势差量的模糊。此外，在步骤S307所进行的更新处理使用在步骤S303和步骤S305所使用的公式(6)、公式(7)和公式(8)。然而，直接使用公式(9)中的观测矩阵作为公式(7)和公式(8)中的H，而不是图像雅可比。公式(9)是线性时序滤波器的例子。可以使用其它类型的滤波器来进行更新处理。
此外，在步骤S303和步骤S305，使用与三维形状模型10相对应的全部边缘或者全部距离点组作为观测数据。然而，步骤S307中的观测数据仅是在步骤S306所计算出的位置姿势差量。结果，第二位置姿势更新单元160通过对于一个观测矢量进行预测处理和更新处理，更新测量物体50的位置姿势。在基于位置姿势差量进行更新处理的情况下，处理进入步骤S308。
在步骤S308，信息处理设备1基于在步骤S307所估计的位置姿势，向机器人40输出控制命令值。根据本典型实施例，信息处理设备1将在步骤S304进行估计之前和在步骤S307进行估计之后的测量物体50的位置姿势之间的差转换成机器人坐标***中的值。信息处理设备1这样计算要输出给机器人40的控制命令值。信息处理设备1向机器人40中的控制模块输出控制命令值，以操作用于向测量物体50移动机器人40的臂的末端的位置姿势。在向机器人40输出控制命令值的情况下，处理进入步骤S309。
在步骤S309，信息处理设备1判断是否进行了结束位置姿势估计处理的输入。如果存在这一输入(步骤S309为“是”)，则结束该处理。如果不存在这一输入(步骤S309为“否”)，则处理返回到步骤S302。信息处理设备1然后获取新的图像，并且再次计算位置姿势。
如上所述，根据本典型实施例，在信息处理设备1获取与拍摄二维图像和拍摄距离图像之间的测量物体50或摄像设备的移动相关联的机器人40的运动信息时，信息处理设备1进行下面的处理。信息处理设备1与二维图像和距离图像一起使用摄像时间之间的机器人40的运动信息，作为观测信息。结果，信息处理设备1能够对对象物体的位置姿势进行高精度的估计。
根据上述典型实施例，信息处理设备1以下面的顺序获取观测数据。信息处理设备1拍摄灰度图像，拍摄距离图像，然后获取机器人40的运动信息。然而，用于获取观测数据的顺序没有特别限制，并且信息处理设备1可以以任意顺序获取观测数据。
例如，信息处理设备1可以获取机器人40的运动信息和更新位置姿势。信息处理设备1然后可以拍摄距离图像并更新位置姿势。此外，信息处理设备1可以拍摄灰度图像并更新位置姿势，然后获取机器人的运动信息并且更新位置姿势。用于获取观测数据以及更新位置姿势的顺序没有特别限制，并且可以以任意顺序进行该处理。
根据上述典型实施例，信息处理设备1拍摄灰度图像和距离图像两者，并且进行该处理。然而，根据本发明的信息处理设备不局限于拍摄灰度图像和距离图像两者的情况。
例如，根据本发明的信息处理设备可应用于仅拍摄距离图像或者仅拍摄灰度图像的情况。在这种情况下，从上述典型实施例所进行的处理省略仅针对灰度图像或距离图像所进行的处理，因而处理本身并未改变。此外，如该变形例所述，拍摄图像和获取机器人运动信息的顺序没有特别限制。省略灰度图像或距离图像的获取处理没有特别限制，只要拍摄灰度图像或距离图像，并且可以进行这些方法中的任一个即可。
根据上述典型实施例，根据本发明的信息处理设备可应用于下面的情况。在如图2A所示，将摄像设备230安装在机器臂的末端，并且作为机器臂的移动的结果，改变摄像设备230的位置姿势。然而，根据本发明的信息处理设备不局限于应用于上述情况。例如，该信息处理设备可以类似地应用于下面的情况：固定摄像设备230，并且通过随臂的移动一起移动机器臂所把持的对象物体50，如图2B所示。
在这种情况下，位置姿势差信息与上述典型实施例的不同。根据上述典型实施例，图3所示步骤S306中的位置姿势差信息是在摄像操作之间移动的摄像设备230的位置姿势差信息。相反，根据本例子，位置姿势差信息变成在摄像操作之间移动的测量物体50的位置姿势差信息。然而，由于通过信息处理设备所计算出的位置姿势是摄像设备230和测量物体50之间的相对位置姿势，所以处理与根据上述典型实施例的处理没有差异。如上所述，根据本发明的信息处理设备可应用于下面两个情况：移动摄像设备230、并且固定测量物体50的情况；以及固定摄像设备230、并且移动测量物体50的情况。在该处理上没有特别限制。
根据上述典型实施例，基于使用扩展卡尔曼滤波器和卡尔曼滤波器的处理，进行用于使用观测数据以及粗略位置姿势而更新位置姿势的处理。然而，用于更新位置姿势的方法不局限于以上所述。
例如，在更新处理中可以使用粒子滤波器作为适用于非线性方程的非线性时序滤波器。在这种情况下，基于被称为粒子的状态矢量的假设，在预定范围内进行随机采样，而不是如在使用卡尔曼滤波器时那样进行观测的线性化。结果，对状态矢量进行合适的更新。如上所述，对于用于更新测量物体50的位置姿势的方法的选择没有特别限制，只要基于观测数据及其模糊来更新位置姿势即可。
获得摄像设备的移动动作不局限于使用机器人运动信息的 例子
在上述实施例中，作为用于计算摄像设备230的移动的位置姿势相减量的方法，说明了用于根据摄像时间间隔的机器人40的臂末端位置姿势的相减来计算位置姿势相减量的方法。
然而，用于计算摄像设备230的移动量的方法不局限于使用机器人运动信息的方法。
例如，在向摄像设备230安装磁性传感器和超声传感器等的、用于测量六自由度位置姿势的物理传感器的情况下，通过使用该测量结果，可以计算摄像时间间隔的位置姿势相减量。
如果以摄像间隔的摄像设备230的移动局限于转动运动，则在向摄像设备230安装陀螺仪传感器的情况下，可以仅测量转动相减量。只要可以计算以摄像时间间隔的摄像设备230的位置姿势相减量，可以使用任一类型的方法。
机器人操作工作物体的例子
在上述实施例中，说明了用于通过安装至机器人40的臂末端的摄像设备来计算固定测量物体50的三维位置姿势的方法。
然而，信息处理设备1的功能不局限于计算工作物体的三维位置姿势，通过使用所计算出的位置姿势，机器人40可以操作工作物体。例如，在将能够把持工作物体的端部执行器安装至机器人40的臂末端的情况下，机器人40可以把持工作物体。
在这种情况下，作为端部执行器，可以使用通过电动机驱动所操作的手或者用于吸附工作物体的吸附垫。只要选择了与对工作物体的操作有关的适当装置，端部执行器的选择没有限制。
在执行本实施例之前，通过常用技术进行机器臂和端部执行器的相对位置姿势的校准。这样，可以将通过位置姿势更新单元160所更新后的位置姿势转换成被固定至具有选用区(palette)的空间的工作空间坐标***。
此外，可以控制机器人40以使得将手设置至在工作空间坐标***中所指定的位置姿势。
作为用于工作物体的端部执行器的操作，可以操作测量物体50的拼版工作、表面检查和其它工作。对于测量物体50的机器人40的工作没有限制。
还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)以及通过以下的方法来实现本发明的各方面，其中，***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的各步骤。为了该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (7)

1.一种信息处理设备，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理设备包括：
三维形状模型存储单元，用于存储所述测量物体的三维形状模型的数据；
图像输入单元，用于获取所拍摄的所述测量物体的图像，其中，在第一时间拍摄所拍摄的所述测量物体的图像；
位置姿势输入单元，用于输入所述摄像设备和所述测量物体之间的相对位置姿势；以及
第一位置姿势更新单元，用于使用所述相对位置姿势，通过将所述三维形状模型与在所述第一时间拍摄的所述图像相关联来更新所述摄像设备和所述测量物体之间的相对位置姿势；
其特征在于，所述信息处理设备还包括：
获取单元，用于获取在所述第一时间和与所述第一时间不同的第二时间的所述摄像设备的位置姿势；
位置姿势差信息输入单元，用于根据所述获取单元获取到的所述摄像设备的位置姿势，获取所述第一时间和所述第二时间之间的所述摄像设备的位置姿势差量；以及
第二位置姿势更新单元，用于基于所述位置姿势差量来更新由所述第一位置姿势更新单元更新后的所述摄像设备和所述测量物体之间的相对位置姿势。
2.根据权利要求1所述的信息处理设备，其特征在于，所述图像输入单元用于获取二维图像和距离图像中的至少一个，
其中，所述第一位置姿势更新单元通过将所述三维形状模型与所述二维图像和所述距离图像中的所述至少一个相匹配来更新所述相对位置姿势。
3.根据权利要求2所述的信息处理设备，其特征在于，所述第一位置姿势更新单元交替进行基于所述二维图像的相对位置姿势的更新、以及基于所述距离图像的相对位置姿势的更新。
4.根据权利要求1所述的信息处理设备，其特征在于，所述第一位置姿势更新单元使用非线性时序滤波器来更新相对位置姿势，以及所述第二位置姿势更新单元使用线性或非线性时序滤波器来更新相对位置姿势。
5.根据权利要求1所述的信息处理设备，其特征在于，所述位置姿势差信息输入单元从与具有可移动轴的机器人的所述可移动轴有关的信息获取位置和姿势中的至少一个的差量，其中，所述可移动轴包括转动轴和平移轴中的至少一个。
6.根据权利要求1所述的信息处理设备，其特征在于，还包括位置姿势操作单元，所述位置姿势操作单元用于基于所述第二位置姿势更新单元所更新后的相对位置姿势，使用具有可移动轴的机器人来改变所述测量物体或所述摄像设备的位置和姿势中的至少一个，其中，所述可移动轴包括转动轴和平移轴中的至少一个。
7.一种信息处理方法，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理方法包括以下步骤：
存储所述测量物体的三维形状模型的数据；
获取所拍摄的所述测量物体的图像，其中，在第一时间拍摄所拍摄的所述测量物体的图像；
输入所述摄像设备和所述测量物体之间的相对位置姿势；以及
使用所述相对位置姿势，通过将所述三维形状模型与在所述第一时间拍摄的所述图像相关联来更新所述摄像设备和所述测量物体之间的相对位置姿势；
其特征在于，所述信息处理方法还包括以下步骤：
获取在所述第一时间和与所述第一时间不同的第二时间的所述摄像设备的位置姿势；
根据所获取到的所述摄像设备的位置姿势，获取所述第一时间和所述第二时间之间的所述摄像设备的位置姿势差量；以及
基于所述位置姿势差量来更新所更新后的所述摄像设备和所述测量物体之间的相对位置姿势。
CN201210237519.2A 2011-07-08 2012-07-09 信息处理设备和信息处理方法 Active CN102914293B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011152158 2011-07-08
JP2011-152158 2011-07-08

Publications (2)

Publication Number Publication Date
CN102914293A CN102914293A (zh) 2013-02-06
CN102914293B true CN102914293B (zh) 2015-10-14

Family

ID=46851281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210237519.2A Active CN102914293B (zh) 2011-07-08 2012-07-09 信息处理设备和信息处理方法

Country Status (4)

Country Link
US (1) US9437005B2 (zh)
EP (1) EP2543482B1 (zh)
JP (1) JP6180086B2 (zh)
CN (1) CN102914293B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP5469216B2 (ja) * 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
EP2762831B1 (en) 2013-02-05 2020-04-29 Hexagon Technology Center GmbH Dynamical monitoring of a coordinate measuring machine using recursive filtering
JP6079333B2 (ja) * 2013-03-15 2017-02-15 株式会社リコー 校正装置、方法及びプログラム
JP6429466B2 (ja) * 2013-11-19 2018-11-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
US10311595B2 (en) 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6338421B2 (ja) 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP6363863B2 (ja) * 2014-04-15 2018-07-25 キヤノン株式会社 情報処理装置および情報処理方法
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
JP6415291B2 (ja) * 2014-12-09 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9616569B2 (en) 2015-01-22 2017-04-11 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
DE102015109612B4 (de) * 2015-06-16 2020-08-13 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmessgerät und Verfahren zum Kalibrieren desselben mit einer Time-of-Flight-Kamera
CN106323213A (zh) * 2015-06-29 2017-01-11 上海宝钢工业技术服务有限公司 试样力学性能测试中试样长度的测量装置
SE1630035A1 (en) * 2016-02-26 2017-08-27 Katam Tech Ab Methods, devices and computer programs for positioning
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
JP6758903B2 (ja) * 2016-05-06 2020-09-23 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
CN109715894B (zh) 2016-07-15 2021-09-03 快砖知识产权私人有限公司 用于物料运输的吊杆
AU2017294796B2 (en) 2016-07-15 2019-05-30 Fastbrick Ip Pty Ltd Brick/block laying machine incorporated in a vehicle
NL2017599B1 (en) * 2016-10-10 2018-04-16 Rijk Zwaan Zaadteelt En Zaadhandel Bv Method and system for picking up and collecting plant matter
JP6984130B2 (ja) * 2017-01-17 2021-12-17 オムロン株式会社 画像処理装置、制御システム、画像処理装置の制御方法、制御プログラム、および記録媒体
JP7105223B2 (ja) * 2017-03-23 2022-07-22 株式会社Fuji ロボットシステム
NL2018630B9 (en) * 2017-03-31 2018-03-01 Pliant Holding B V Measuring attitude of constructions
US20200132775A1 (en) * 2017-06-14 2020-04-30 Mitsubishi Electric Corporation State estimation device
AU2018295572B2 (en) 2017-07-05 2022-09-29 Fastbrick Ip Pty Ltd Real time position and orientation tracker
US11117262B2 (en) 2017-08-01 2021-09-14 eBots Inc. Intelligent robots
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光***
EP3668689A4 (en) 2017-08-17 2021-04-28 Fastbrick IP Pty Ltd INTERACTION SYSTEM CONFIGURATION
ES2971624T3 (es) 2017-10-11 2024-06-06 Fastbrick Ip Pty Ltd Máquina para transportar objetos
KR102075933B1 (ko) * 2017-10-30 2020-05-19 한국생산기술연구원 공구의 마모에 따라 가공부하를 조절하는 로봇 시스템 및 이를 이용한 가공부하 조절 방법
JP6936974B2 (ja) * 2017-12-19 2021-09-22 オムロン株式会社 位置姿勢推定装置、位置姿勢推定方法及びプログラム
JP7133926B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置、システム、情報処理方法
JP7114907B2 (ja) * 2018-01-19 2022-08-09 コベルコ建機株式会社 先端アタッチメント判別装置
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
JP7052564B2 (ja) 2018-05-29 2022-04-12 オムロン株式会社 視覚センサシステム、制御方法およびプログラム
FI129250B (en) * 2018-07-12 2021-10-15 Novatron Oy Control system for controlling the machine tool
CN113196337B (zh) * 2019-01-09 2023-08-29 株式会社富士 图像处理装置、作业机器人、基板检查装置及检体检查装置
DE102019100820A1 (de) * 2019-01-14 2020-07-16 Lufthansa Technik Aktiengesellschaft Verfahren und Vorrichtung zur Inspektion schwer erreichbarer Komponenten
CN110017769A (zh) * 2019-03-12 2019-07-16 精诚工科汽车***有限公司 基于工业机器人的零件检测方法及***
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
US20220335735A1 (en) * 2019-08-16 2022-10-20 Abb Schweiz Ag Method and apparatus for determining object location
EP4070866B1 (en) * 2019-12-27 2024-05-15 Sony Group Corporation Information processing device, information processing method, and information processing program
WO2021144911A1 (ja) * 2020-01-16 2021-07-22 オムロン株式会社 プログラム生成装置、プログラム生成方法、及び生成プログラム
JP2022138329A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 認識装置、ロボット制御システム、認識方法、およびプログラム
WO2023062706A1 (ja) * 2021-10-12 2023-04-20 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及び記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
GB2390792B (en) * 2002-07-08 2005-08-31 Vision Rt Ltd Image processing system for use with a patient positioning device
CN102298778B (zh) * 2003-10-30 2015-06-17 日本电气株式会社 用于估计对象状态的估计***、估计方法和估计程序
JP4021413B2 (ja) 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JPWO2008047872A1 (ja) 2006-10-20 2010-02-25 株式会社日立製作所 マニピュレータ
DE102008001664B4 (de) * 2008-05-08 2015-07-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Medizinischer Roboter und Verfahren zur Erfüllung der Performanceanforderung eines medizinischen Roboters
JP5553493B2 (ja) * 2008-08-27 2014-07-16 住友重機械工業株式会社 形状変化測定装置及び方法
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
EP2255930A1 (de) * 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP5460341B2 (ja) 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5496008B2 (ja) * 2010-08-06 2014-05-21 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法

Also Published As

Publication number Publication date
EP2543482B1 (en) 2019-09-11
US9437005B2 (en) 2016-09-06
US20130010070A1 (en) 2013-01-10
JP6180086B2 (ja) 2017-08-16
JP2013036987A (ja) 2013-02-21
EP2543482A1 (en) 2013-01-09
CN102914293A (zh) 2013-02-06

Similar Documents

Publication Publication Date Title
CN102914293B (zh) 信息处理设备和信息处理方法
CN103020952B (zh) 信息处理设备和信息处理方法
US11833696B2 (en) Vision-based sensor system and control method for robot arms
JP7112482B2 (ja) 磁力計を較正する方法
CN110411476B (zh) 视觉惯性里程计标定适配及评价方法和***
CN102782721B (zh) 用于相机校准误差的运行时测定的***和方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
US9630322B2 (en) Information processing apparatus, method therefor, measurement apparatus, and working apparatus for estimating a position/orientation of a three-dimensional object based on relative motion
CN109153125A (zh) 用于定向工业机器人的方法和工业机器人
CN109807937B (zh) 一种基于自然场景的机器人手眼标定方法
KR20160037972A (ko) 카메라 모션 추정 및 정정 방법
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US7333133B2 (en) Recursive least squares approach to calculate motion parameters for a moving camera
Mueller et al. Continuous extrinsic online calibration for stereo cameras
Samson et al. The agile stereo pair for active vision
CN111989631A (zh) 自身位置推定方法
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
He et al. Relative motion estimation using visual–inertial optical flow
CN113379850B (zh) 移动机器人控制方法、装置、移动机器人及存储介质
Petersen et al. Video-based realtime IMU-camera calibration for robot navigation
CN115170624A (zh) 基于多传感器点云的鲁棒配准方法及***
Schmitt et al. Recognition of dynamic environments for robotic assembly on moving workpieces
KR101776638B1 (ko) 복수개의 오브젝트의 공간 정보 추정 장치 및 방법
Muhle et al. Estimating the mutual orientation in a multi-camera system with a non overlapping field of view
Winkens et al. Optical truck tracking for autonomous platooning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant