CN101384402A - 可移动机器人 - Google Patents

可移动机器人 Download PDF

Info

Publication number
CN101384402A
CN101384402A CNA2007800057192A CN200780005719A CN101384402A CN 101384402 A CN101384402 A CN 101384402A CN A2007800057192 A CNA2007800057192 A CN A2007800057192A CN 200780005719 A CN200780005719 A CN 200780005719A CN 101384402 A CN101384402 A CN 101384402A
Authority
CN
China
Prior art keywords
soma
camera
robot
image
side image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800057192A
Other languages
English (en)
Other versions
CN101384402B (zh
Inventor
中岛裕一朗
李海研
野村秀树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101384402A publication Critical patent/CN101384402A/zh
Application granted granted Critical
Publication of CN101384402B publication Critical patent/CN101384402B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

通过排除在操作过程中由于机器人身体部分遮挡机器人视野而引起的未知环境，提供了一种总体认识周围环境的技术。本发明的机器人具有：包含头与躯干的体干；至少一个被连接元件，其通过具有驱动机构的关节连接到体干；体干侧照相机，其被布置在体干上；被连接元件侧照相机，其被布置在被连接元件上。另外，机器人具有合成图像创建单元，其创建由体干侧照相机拍摄的体干侧图像与由被连接元件侧照相机拍摄的被连接元件侧图像的合成图像，使得体干侧图像的一部分用被连接元件侧图像的一部分代替，从而从体干侧图像中排除被连接元件。

Description

可移动机器人
相关申请的交叉引用
本申请要求2006年2月17日提交的日本专利申请No.2006-041323的优先权，其内容引入本说明书作为参考。
技术领域
本发明涉及用自驱动动力移动的机器人。特别地，本发明涉及通过使用照相机认识周围环境来移动的机器人。
背景技术
正在开发这样的机器人:其具有经由包含驱动机构的关节连接到体干的被连接元件。在这种类型的机器人中，存在一种机器人，其由布置在体干上的体干侧照相机所拍摄的环境图像创建环境地图，并基于所获得的环境地图，拟出其向目标位置的移动路线的计划。在日本特开No.2005-92820公开的技术中，用布置在机器人头部的照相机拍摄图像，由所获得的图像计算视差图像或距离图像，由所获得的视差图像或距离图像计算平面参数，接着，通过基于所获得的平面参数提取包含地板面积(floorage space)在内的多个平面，创建环境地图。机器人由环境地图认识机器人能够在其中移动的范围，并基于所认识的范围计划其移动路线。
发明内容
采用具有经由包含驱动机构的关节连接到体干的被连接元件的机器人，可能存在这样的情况:依赖于被连接元件(例如臂、腿等等)的位置，由于部分照相机视野范围被这样的连接元件遮住，部分周围物体不能由机器人的照相机拍摄到。因此，可能存在这样的情况:在被连接元件后面，存在未知的环境。
如果这样的未知环境存在于被连接元件的后面，体干的移动路线可能变得难以计划。另外，不能计划例如臂或腿等被连接元件的移动路线。特别是在计划将被连接元件移动到目标位置的路径时，可能经常出现这样的不希望的情况:由于目标位置位于未知环境中，不能认识到目标位置。
采用传统技术，每当未知环境出现时，进行额外的处理:将体干或被连接元件移动到另一位置，接着，对未知环境进行拍摄，并在未知环境变为“已知”环境之后重新确定移动路径。除了需要前面所述的多余操作以外，传统技术不能有效地用于以连续动作移动其体干的机器人。另外，在周围物体正在移动的环境中，机器人不能有效地使用传统技术。
本发明目标在于实现可防止未知环境的发生的可移动机器人。
本发明提供了位于被连接元件上的照相机，使得由此可拍摄由被连接元件从位于体干上的照相机的视野中遮住的范围。因此，可防止由于被连接元件的存在而导致的环境的某些部分不能被拍摄的不希望的情况。
本发明所创建的机器人包含:体干；被连接元件，其通过具有驱动机构的关节连接到体干；布置在体干上的体干侧照相机；布置在被连接元件上的连接元件侧照相机；合成图像创建单元。合成图像创建单元创建由体干侧照相机拍摄的体干侧图像与由连接元件侧照相机拍摄的连接元件侧图像的合成图像，使得体干侧图像的一部分由被连接元件侧图像的一部分替换，从而从体干侧图像中将连接元件排除在外。
通过使用由体干侧照相机拍摄的体干侧图像，前面提到的机器人能够实现具有宽广视野范围的环境图像。然而，可能存在这样的情况:被连接元件被包含在体干侧图像内。在这样的情况下，未知环境——由于由被连接元件在体干侧照相机前遮挡，不能获得其环境图像——可能存在于所述体干侧图像中。
即使在这样的情况下，前面所述的机器人包含合成图像创建单元，该单元通过将被连接元件侧图像合成到体干侧图像中来创建合成图像。因此，体干侧图像中被连接元件被拍摄且由于被连接元件而保持为未知环境的范围能用从被连接元件侧图像中取出的、对应的图像替换。这导致在所创建的合成图像中没有留下未知环境。
通过使用没有未知环境的合成图像，前面所述的机器人可计算其体干或被连接元件的移动路线。因此可以省略传统上为了去除未知环境而需要的多余操作。另外，即使在周围物体移动的环境中，可及时计算机器人的适当的移动路径。
在本发明的机器人的另一替代实施例中，合成图像创建单元还可包含:第一指定单元，其指定体干侧图像内被连接元件被拍摄的范围；第二指定单元，其指定被连接元件侧图像中与由第一指定单元指定的体干侧图像范围所对应的对应范围；替换单元，其用被连接元件侧图像的对应范围替换由第一指定单元指定的体干侧图像的范围。
对于指定体干侧图像中被连接元件被拍摄的范围的元件的构造，构造类型可粗略分为两类。一种类型的构造可在计算假设被连接元件被拍摄的图像范围时使用被连接元件相对于体干侧照相机的位置关系(其位置关系对机器人是已知的)。另一种类型的构造可通过在体干侧图像上进行图像处理来提取体干侧图像中与被连接部分的形状或轮廓(其形状对机器人是已知的)对应的一部分，接着，指定被连接元件被拍摄的范围。可使用二种构造中的任何一种。
在被连接元件侧图像中，在被连接元件没有位于体干侧照相机视线范围内的条件下由体干侧照相机拍摄的范围被拍摄。指定这样的范围的构造也可被粗略分为两类。
一种类型的构造可在计算在被连接元件没有阻碍视线的条件下由体干侧照相机拍摄的图像范围时使用被连接元件相对于体干侧照相机的位置关系(该关系对机器人是已知的)以及被连接元件侧照相机相对于被连接元件的位置关系。此构造在这样的情况下特别有效:深度方向的横向距离的信息对于机器人是已知的。例如，在自驱动可移动机器人操作布置在墙上的开关的情况下，如果机器人相对于墙的位置对机器人来说是已知的，则可计算体干侧照相机对墙进行拍摄的范围。另外，如果被连接元件相对于体干的位置对机器人来说是已知的，则可以计算由于被连接元件的存在而不能被拍摄到的墙的范围。在被连接元件相对于体干的位置以及被连接元件侧照相机相对于被连接元件的位置给定的情况下，可计算被连接元件侧图像中与由于位于被连接元件之后而不能被体干侧照相机拍摄的墙的范围对应的范围。另外，如果体干侧照相机中被连接元件被拍摄的范围能用由于位于被连接元件之后而不能被体干侧照相机拍摄的被连接元件侧图像的范围替换，可获得与在被连接元件不阻碍体干侧照相机的视线的情况下由体干侧照相机所拍摄的图像等同的合成图像。在大多数情况下，不能仅仅通过用被连接元件侧图像的对应范围替代体干侧图像的范围来获得等同于由体干侧照相机拍摄的体干侧图像的合成图像。这是因为在被连接元件侧照相机与体干侧照相机的位置之间存在差异。然而，被连接元件侧照相机在不能由体干侧照相机拍摄的方向范围内，被连接元件侧照相机和体干侧照相机相对于不能从体干侧照相机拍摄的范围的视点没有普遍差异。相反，体干侧照相机和被连接元件侧照相机可从基本相同的方向拍摄图像。因此，通过简单地改变被连接元件侧图像的尺寸并用减小(在某些情况下增大)尺寸的被连接元件侧图像的对应部分替代体干侧图像的部分，在某些情况下可以获得等于在视线中没有被连接元件的情况下从体干侧照相机拍摄的图像的合成图像。另外，在需要的情况下，可在合成前将被连接元件侧照相机图像转换为假设由体干侧照相机拍摄的图像。合成图像的品质可得到提高。通过使用这样的合成图像，因此可以认识存在于由于在被连接元件侧后面而不能由体干侧照相机拍摄的范围内的开关的位置。这可使得被连接元件移动到这样的范围内的预期开关。结果，体干可向着预期开关移动。
另一种类型的构造可从被连接元件侧图像中指定与体干侧图像中被连接元件被拍摄的范围对应的范围。通过在体干侧图像上进行图像处理，可从体干侧图像中提取与被连接元件的轮廓有关的部分。这样的处理可用从由此存在的周围图像中提取特征点的处理来启用。例如，在被连接元件位于箱子前面且箱子前面的视线部分地受到被连接元件的遮挡的情况下，可在体干侧图像上进行特征提取，以便提取与被连接元件对应的图形，可指定箱子的没有受到被连接元件遮挡的部分的特征点。通过指定被连接元件被拍摄的范围周围的特征点，可以确定包含由于被连接元件导致的周围环境不能被拍摄的范围的范围。另一方面，被连接元件被拍摄的范围周围的所述特征点也被对应地记录在被连接元件侧图像中。因此，通过从被连接元件侧图像中提取所述特征点，可在被连接元件侧图像内确定由于被连接元件而不能由体干侧照相机拍摄的范围内的周围环境的图像。进一步地，通过用后面的被连接元件侧图像的范围替代前面的体干侧图像的范围，可获得等于在将被连接臂从视野中移除的情况下由体干侧照相机拍摄的图像的合成图像。
如上所述，依赖于机器人***作的环境，可存在替代范围可通过计算来指定的情况，也可存在替代范围可通过图像处理来指定的情况。注意，上述两种过程仅仅是实例，指定处理不仅限于上面介绍的实例。
在本发明的机器人的另一替代实施例中，可移动机器人还可包含多个体干侧照相机。在这种情况下，合成图像创建单元可为由各个体干侧照相机拍摄的各个体干侧图像创建合成图像。在这种情况下，可获得从不同视点拍摄的多个合成图像。这在指定存在于被拍摄范围内的特征点的三维位置时是有用的，例如，在关于横向或深度方向的信息未知的情况下。
在本发明的机器人的另一替代实施例中，可移动机器人可通过使用合成图像计算存在于可移动机器人周围的一个或一个以上的物体的相对位置。如同在操作目标布置在墙面且其横向或深度信息被给与机器人的前述情况下一样，可基于一个合成图像来确定操作目标的存在位置。即使在横向或深度信息对机器人来说未知的情况下，可基于从不同角度显示周围物体的多个合成图像来确定周围物体的三维存在位置。
在本发明的机器人的另一替代实施例中，可移动机器人还可包含照相机方向调节单元，其被配置为根据被连接元件相对于体干侧照相机的位置调节被连接元件侧照相机的方向。体干侧照相机不能拍摄的范围相对于被连接元件的角度可根据被连接元件的位置而不同。采用根据被连接元件的位置调节被连接元件侧照相机朝向的方向的构造，可保证体干侧照相机不能拍摄的范围由被连接元件侧照相机拍摄。可有效地防止盲点的发生。
在横向信息已知的情况下，可通过简单创建一个合成图像来获得有效信息。在横向信息未知的相反情况下，可有益地采用关于从不同视点拍摄的多个图像的图像信息的获得以及由所获得的图像信息对周围物体的计算。
已创建的符合该种要求的可移动机器人可包含:体干；被连接元件，其通过具有驱动机构的关节连接到体干；布置在体干上的多个体干侧照相机；布置在被连接元件上的被连接元件侧照相机；第一计算单元，其基于由所述多个体干侧照相机中的一个或一个以上拍摄的至少两个体干侧图像计算存在于被拍摄范围内的一个或一个以上的物体的相对位置关系；第二计算单元，其基于由所述多个体干侧照相机种的至少一个拍摄的体干侧图像以及由被连接元件侧照相机拍摄的被连接元件侧图像计算在被拍摄范围内存在的一个或一个以上的物体的相对位置关系。采用上面提到的构造，通过对可由图像获得的图像信息进行处理来计算位置信息。不必创建合成图像。
在上面提到的构造中，可通过使用各自布置在不同位置的所述多个体干侧照相机获得多个体干侧图像信息。由此，可相对于可移动机器人计算在多个体干侧图像中被拍摄的物体的相对位置关系。然而，对于用于计算的至少一个体干侧图像中由于位于被连接元件后面而没有被拍摄到的周围物体，不能确定其位置。
采用上述可移动机器人的构造，使用由所述多个体干侧照相机中的一个拍摄的体干侧图像以及由被连接元件侧照相机拍摄的被连接元件侧图像的组合。这种图像组合还提供了从不同视点拍摄的多种图像信息，周围物体相对于可移动机器人的相对位置关系可以得到确定。
即使在被连接元件阻挡视线的情况下物体不能从所有体干侧照相机观看，只要物体由一个体干侧照相机拍摄，其图像可与被连接元件侧图像的信息结合用于指定所述物体与可移动机器人的相对位置关系。根据上述构造，保持为对机器人未知的范围可以得到减少。
在本发明的机器人的另一替代实施例中，第二计算单元可将被连接元件被拍摄的部分最小的体干侧图像选择用于计算一个或一个以上的物体相对于可移动机器人的相对位置关系。采用这种机器人的构造，除了上面的非限制性实例所示的情况以外，可通过使用关于被连接元件侧图像的信息与关于各个体干侧图像的相应信息的组合来进行计算。
根据本发明的可移动机器人，布置在被连接元件上的照相机为被连接元件赋予了视觉认识的附加功能。上述构造对减小或消除不能由体干侧照相机拍摄的未知范围有贡献。采用上述构造，可移动机器人可得到迅速且安全的操作。
附图说明
图1示出了第一实施例的机器人及其周围环境的透视图；
图2示出了第一实施例的机器人的原理机构；
图3示出了第一实施例的机器人的视野；
图4示出了体干侧图像的实例；
图5示出了被连接元件侧图像的实例；
图6为一流程图，其示出了由图像合成处理装置执行的过程；
图7示出了图4的体干侧图像中被连接元件被拍摄的范围R；
图8示出了图5的被连接元件侧图像中的对应范围S；
图9示出了步骤S613的输出的实例；
图10A示出了由布置在机器人右侧的体干侧照相机拍摄的体干侧图像；
图10B示出了由布置在机器人中央的体干侧照相机拍摄的体干侧图像；
图10C示出了由布置在机器人左侧的体干侧照相机拍摄的体干侧图像；
图11示出了被连接元件侧图像中的多个对应范围S的另一实例；
图12示出了第二实施例的机器人及其周围环境的透视图；
图13示出了第二实施例的机器人的原理机构；
图14示出了第二实施例的机器人的视野的鸟瞰图；
图15为一流程图，其示出了第二实施例的机器人的操作过程；
图16为一流程图，其示出了用于获得立体图像的图像处理；
图17示出了第三实施例的机器人的原理机构。
具体实施方式
下面将列举可以实现本发明的实施例的某些优选特征。
(模式1)机器人可包含布置在体干上的移动机构。本说明书中公开的实施例采用轮，但移动机构可以为有脚的连接。
(模式2)机器人可基于环境地图计算体干的移动通过轨迹。
(模式3)机器人可基于环境地图计算被连接元件的移动路径。
(模式4)机器人可基于环境地图计算体干和被连接元件的移动路径。
(模式5)机器人可通过使用关节角度控制器、轮旋转控制器、位置信息检测装置等等控制机器人的姿势以及相应的照相机的拍摄方向。体干侧照相机方向计算单元可计算体干侧照相机的拍摄方向，被连接元件侧照相机方向计算单元可计算被连接元件侧照相机的拍摄方向。
(方式6)机器人可基于从合成图像获得的信息创建移动路径。关节角度控制器、轮旋转控制器、位置信息检测装置控制致动器，以便根据所创建的移动路径移动体干和/或被连接元件。
(模式7)机器人可包含路径校正单元，其根据周围环境中发生的变化对其先前作出的移动路径(轨迹)进行校正。
(第一实施例)
下面将参照附图介绍本发明的非限制性第一实施例。图1示出了本实施例的机器人100及其周围环境的透视图。机器人100具有体干103、通过肩关节203连接到体干103的被连接元件(下面称为“臂”)104。可设置多个臂104。体干103包含躯干200、颈关节202、头201。体干侧照相机105固定地布置在头201上。体干侧照相机105通过颈关节202的旋转相对于躯干200改变其拍摄方向(下面也可简称为“方向”或“照相机方向”)。一对同轴轮206布置在身体200的下侧。机器人100通过使用轮206来移动体干103。
臂104包含肩关节203、肘关节204、腕关节205。臂侧照相机106布置在手部。肩关节203、肘关节204、腕关节205各自装有驱动机构。因此，臂侧照相机106可通过肩关节203、肘关节204、腕关节205的驱动力相对于身体200改变其方向(拍摄方向)。另外，臂侧照相机106相对于躯干200的位置也可由这些关节的工作来改变。
机器人100进一步具有这样的装置:其测量头201在机器人100的工作环境中的位置，使得体干侧照相机105的照相机位置和方向得到认识。另外，采用相关的构造，臂侧照相机106相对于体干103的照相机位置和方向也得到认识。
本实施例的机器人100通过使用轮206来接近开关面板100，并通过使用臂104来操作开关组12a、12b等等。在本实施例中，墙上的布置有开关面板100的位置被给予机器人100。
图2示出了机器人100的原理机构101。机构101用于机器人对周围视觉认识。本实施例的机器人101具有控制器114。控制器114包含合成图像创建装置110、移动路径创建装置113、体干侧照相机位置/方向计算装置111、臂侧照相机位置方向计算装置109。合成图像创建装置10被配置为具有从体干侧照相机105输入的体干侧图像信息、从臂侧照相机106输入的臂侧图像信息、从体干侧照相机位置/方向计算装置111输入的体干侧照相机105、从臂侧照相机位置/方向计算装置109输入的臂侧照相机106的位置和方向。基于上述输入，合成图像创建装置110由体干侧图像信息和臂侧图像信息创建合成图像。移动路径创建装置113基于所创建的合成图像创建进一步的移动路径，并根据所创建的移动路径控制被设置为驱动轮26与关节的致动器115。因此，移动路径创建装置113根据所创建的路径控制致动器115，例如轮26、头201、臂104。机器人100还具有:轮轴旋转检测装置119，其检测轮26的旋转频率；关节角度检测装置117，其检测各个关节的关节角度；位置信息检测装置121，其被布置在躯干200上并检测躯干200的位置。由上述装置得到的信息被输入到体干侧照相机位置/方向计算装置111和臂侧照相机位置/方向计算装置109。
由于机器人包含移动路径创建装置113——该装置通过由从照相机(其位置和拍摄方向是已知的)驱动的图像信息认识周围环境来创建移动轨迹，可在沿所确定的路径移动并继以再次进行拍照操作之后重新计算照相机位置和照相机方向。所述一系列操作可被重复，这使得机器人能够自主移动。
图3示出了机器人100的视野。在机器人100的臂104来到体干侧照相机105的视野的情况下，不能获取关于臂104后方的环境的环境信息。具体而言，在由体干侧照相机105拍摄的体干侧图像中，尽管图3的开关面板10的点A与B将被拍摄，点C与D不会被拍摄。因此，关于点C与D的周围物体的信息保持为未知，因此，传统上导致机器人既不能充分认识环境情况也不能明了周围物体相对于机器人100的相对位置关系的问题。相反，采用本实施例的技术，可视范围通过应用臂侧照相机106而得到扩大，本技术使得机器人能够认识包含点C与D的未知范围。
图4与5分别示出了体干侧图像与臂侧图像的实例。尽管在图4的体干侧图像中面板被臂104部分地遮挡，面板的对应表面被记录在图5的臂侧图像中。在用关节角度检测装置117的检测控制头201与臂104的位置且臂侧照相机106的照相机方向根据体干侧照相机105与臂104的相对位置受到调节的情况下，建立起体干侧图像与臂侧图像的这样的关系。臂侧照相机106的照相机方向受到调节，使得臂侧照相机106在被臂104从体干侧照相机前遮挡的范围可被拍摄的方向进行拍摄。
关于各照相机的照相机放大倍数、图像尺寸等等的信息可通过体干侧照相机位置/方向计算装置111和臂侧照相机位置/方向计算装置109来获得。另外，由于基于前述信息的图像处理将在对图像进行合成以创建新的图像时进行，每个图像的拍摄范围不必具有完全的匹配。例如，开关面板10和体干侧照相机105之间的距离可不同于开关面板10与臂侧照相机106之间的距离，臂104可相对于头201的角度而倾斜。由于前面提到的原因，图5的臂侧图像以放大的大小且相对于图4的体干侧图像成角度地示出了开关面板10。
图6示出了图像合成过程的流程图。在下面的阐释中，假设在开始下面的过程时机器人100和开关面板10处于图1所示的位置关系。同时，机器人100的臂104处于图4所示的位置，且图4中的图像被体干侧照相机105拍摄。在下面假设的情况下，机器人100试图移动臂104，以便操作开关12c(见图1)，然而，目标开关12c由于在臂104后面而处于体干侧图像的未知范围内。图6中的过程可在这样的条件下开始。
在步骤S601中，关于体干侧图像的信息被输入到合成图像创建装置110。在步骤S603中，在体干侧图像中未知的未知环境的特征点Xn被提取。图7示出了被提取的特征点的实例。由于臂104的轮廓对机器人100来说是已知的，可从体干侧图像中指定臂104被拍摄的范围(其为臂的被拍摄范围)。这等于使用第一指定单元。图中的点X1-X6为特征点，其被提取为包围臂的被拍摄范围，在本实施例中，提取了可被线性连接的六个个别的特征点。然而，可以任何形式提取特征点Xn，只要它们沿着臂的轮廓对准或根据臂的轮廓对准。在步骤S605中，由已在步骤S603中提取的特征点指定臂104被拍摄的范围R(即其环绕物体信息未知的范围)。图7中以特征点X1-X6为边界的范围R为范围R。本实施例的范围R与臂104的轮廓线大致一致。通过增加被提取的特征点Xn的数量，以特征点为边界的范围R可以以更为真实的方式与臂的轮廓线密切一致。
在步骤S607中，关于臂侧图像的信息被输入合成图像创建装置110。在步骤S609中，提取这样的特征点Zn:其对应于定义体干侧图像的范围R的特征点。图8示出了被提取的特征点的实例。图8的特征点Z1-Z6为这样的特征点:其对应于从体干侧图像中提取的特征点X1-X6。在步骤S611中，对应的范围S(与体干侧图像的未知范围对应的范围)由已在步骤S609中提取的特征点指定。
在步骤S613中，基于来自体干侧照相机以及臂侧照相机的输入图像的差异信息，在从臂侧图像中获得的对应范围S上进行大小的调节、角度的旋转等等。进行调节处理，使得对应范围S可被适当应用到在体干侧图像中示出了臂的范围S。
在步骤S615中，体干侧图像的范围R用对应范围S替代，其已经经过了准备图像合成的前面提到的过程。作为替换过程的结果，未知范围已被排除出视野之外的合成图像在步骤S617中被输出。图9示出了这样的合成图像的实例。用虚线示出的范围R中的图像已经用范围S的图像代替。因此，可获得不包含臂的合成图像。
本实施例的机器人可具有多个体干侧照相机。在这种情况下，可从相应的体干侧图像中提取在各体干侧图像中示出了臂的范围Rx，并可从臂侧图像中提取对应范围Sx，以便与每个被提取的范围Rx对应，并用相应的对应范围Sx替代每个范围Rx。
图10示出了体干侧图像的范围R的实例。在机器人具有三个体干侧照相机的情况下，左右两侧各有一个，另一个在体干103的中央，如图10A所示的体干侧图像TC1可由右侧的体干侧照相机获得，如图10B所示的体干侧图像TC2可由中央位置的体干侧照相机获得，如图10C所示的体干侧图像TC3可由左侧的体干侧照相机获得。体干侧图像TC1、TC2、TC3经过步骤S601到S605，分别在每个图像中指定范围R1、R2、R3。由于各个体干侧照相机被布置的位置的差别，臂被拍摄的位置在体干侧图像TC1、TC2、TC3中不同。
图11示出了根据体干侧照相机运行的臂侧照相机所拍摄的臂侧图像的实例。为了附加未知范围TC1、TC2、TC3的信息，在臂侧图像AC上进行步骤S607到S611的处理，以便指定对应范围S1、S2、S3。
采用步骤S613到S617的处理，相应的体干侧照相机TC1、TC2、TC3的范围R1、R2、R3用臂侧图像的相应的对应范围S1、S2、S3替代。结果，可获得未知范围得到补充的多个体干侧图像。
另外，本实施例的机器人100可具有多个臂侧照相机。在这种情况下，优选为，规定这样的判断装置:其为体干侧图像的每个范围R判断和选择对应范围S最大限度地覆盖范围R的臂侧图像。
本实施例的机器人100可进一步通过使用由上述过程获得的合成图像来计算周围物体相对于机器人100的相对位置。周围物体相对于机器人100的相对位置可通过将物体在世界坐标系中的相对位置坐标转换为在本地坐标系(其中心被设置在机器人的位置上)中的坐标来认识。
(第二实施例)
对于与第一实施例共同的构造，给与同样的参考标号，且将省略对其的阐释。
图12示出了本实施例的立体照相机机器人及其周围环境的透视图。本实施例的机器人100具有体干103、通过肩关节203连接到体干103的被连接元件(下面也称为臂)104。可设置多个臂104。体干103包含躯干200、颈关节202、头201。一对体干侧照相机105(a)与105(b)固定布置在头201上。体干侧照相机105(a)与105(b)通过颈关节202的旋转相对于躯干200改变其拍摄方向(下面可简称为“方向”或“照相机方向”)。一对同轴轮206布置在躯干200的下侧。机器人100通过使用轮206来移动体干103。
臂104包含肩关节203、肘关节204、腕关节205。臂侧照相机106布置在手部。肩关节203、肘关节204、腕关节205各自装有驱动机构。因此，臂侧照相机106可通过肩关节203、肘关节204、腕关节205的驱动力相对于躯干200改变其照相机方向。另外，臂侧照相机106相对于躯干200的位置也可通过这些关节的工作改变。
机器人还具有这样的装置:其测量头201在机器人100的工作环境中的位置，使得体干侧照相机105(a)与105(b)的照相机位置与方向得到认识。另外，采用相关的构造，臂侧照相机106相对于体干103的照相机位置与方向也得到认识。
本实施例的机器人100视觉认识周围物体30、40、50、60，计划其不会与这些障碍碰撞的路径，并进行操作，以便将所握持的物体20放在空的地方。体干侧照相机105(a)与105(b)一般作为立体照相机运行。图12中的点A、B、C、D示出了机器人视觉聚焦点(focusing point)的实例。
图13示出了机器人100的原理机构101。机构101用于机器人对环境的视觉认识。本实施例的机器人100具有控制器114。控制器114包含图像信息处理装置116、环境地图存储装置112、移动路径创建装置113、体干侧照相机位置/方向计算装置111、臂侧照相机位置/方向计算装置109。图像信息处理装置116被配置为具有从体干侧照相机105(a)与106(b)输入的体干侧图像信息、从臂侧照相机106输入的臂侧图像信息、从体干侧照相机位置/方向计算装置111输入的体干侧照相机105(a)与105(b)的位置与方向、从臂侧照相机位置/方向计算装置109输入的臂侧照相机106的位置与方向。基于上述输入，图像信息处理装置116创建环境地图并将所创建的环境地图存储在环境地图存储装置112中。移动路径创建装置113基于所创建的环境地图创建进一步的移动路径，并根据所创建的移动路径，控制被设置为对轮26与关节进行驱动的致动器115。因此，移动路径创建装置113控制致动器115，使得轮26、头201、臂104分别根据所创建的路径移动。机器人100进一步具有:轮轴旋转检测装置119，其检测轮26的旋转频率；关节角度检测装置123，其检测各个点的关节角度；位置信息检测装置121，其被布置在躯干200上，并检测躯干200的位置。由上述装置得到的信息被输入到体干侧照相机位置/方向计算装置111和臂侧照相机位置/方向计算装置109。
由于机器人包含通过由从照相机(其位置和拍摄方向是已知的)驱动的图像信息认识周围环境来创建移动轨迹的移动路径创建装置113，可在沿着所确定的路径移动并继以再次进行拍摄图像的处理之后再次计算照相机位置与照相机方向。所述一系列操作可以重复，使得机器人能够自主移动。
图15示出了机器人100的视野的鸟瞰图。如图所示，如果机器人100的臂104及其握持的物体20处于体干侧照相机105(a)与105(b)的视野内，不能获得关于臂104及其握持物体20后面的环境信息。具体而言，如图14所示，点A、B如实线所示对体干侧照相机105(a)与105(b)是可见的，因此，可通过使用由体干侧照相机105(a)与105(b)拍摄的体干图像来创建立体图像。另外，可根据时间的推移连续获得关于这些范围的信息。
另一方面，由于臂以及臂的手部的动作，对于点C与D来说，不能建立其由两个体干侧照相机105(a)和105(b)的全视觉(full vision)，由此导致不可能用体干侧照相机105(a)与105(b)获得点C与D的立体视觉(stereovision)。不能获得关于这些范围的信息。虚线示出了包含由于臂或其把持物体的阻碍而不能由两个照相机拍摄的聚焦点上的特征点。
在立体视觉的情况下，特别是在必需关于物体的横向宽度(深度)或高度的情况下，必须获得基于多个图像的视差信息。可通过使用多个照相机(其位置信息对机器人来说是已知的)进行拍摄来获得所述多个图像，或使用一个照相机并通过移动照相机在不同位置进行拍摄来获得所述多个图像。因此，由于机器人不能用两眼(体干侧照相机)在点C或D上聚焦的情况，不能认识位于点C与D的范围内以及点C与D周围的位置关系。
对于点C与D，在至少一个体干侧照相机105(a)与105(b)不能作为立体照相机运行的情况下，立体图像可通过体干侧照相机105(a)与105(b)中的一个以及臂侧照相机106来获得。
在没有东西阻碍体干侧照相机105(a)与105(b)的视野的情况下，如同点A与B的情况一样，立体图像可通过使用体干侧照相机105(a)与105(b)并计算周围物体与机器人100的相对位置关系来获得。这等于使用第一计算单元。另一方面，在点C的情况下，立体图像可通过使用体干侧照相机105(b)与臂侧照相机106来获得，在点D的情况下，不能通过使用一个体干侧照相机105(a)与臂侧照相机106获得立体图像。认识周围环境所必需的信息整体可由前面提到的照相机组合获得，机器人可计算周围物体与机器人100的相对位置关系。这等于使用第二计算单元。
在将臂侧照相机106用作立体照相机中的一个的情况下，体干侧照相机105(a)与105(b)中的另一照相机的选择可被判断为使得臂104被拍摄的范围为最小的体干侧照相机被选择。图像信息处理装置116可执行选择。
图15示出了本实施例的机器人的操作过程。下面的过程将根据机器人100握持物体20并创建将所握持物体20放在空的地方而不与周围物体30、40、50、60碰撞的路径的情况进行介绍。机器人100的臂104位于图14所示的位置，该图所示的情况由体干侧照相机105(a)与105(b)从它们所位于的地方进行拍摄。开始图15所示的图像信息处理，由于臂104与握持物体20遮挡物体50与60的一部分，因此，被遮挡的部分对机器人来说保持为未知。
在步骤S500中，立体图像由体干侧照相机105(a)与105(b)以及臂侧照相机106所拍摄的多个图像获得，其被输入到图像信息处理装置116。根据体干侧图像中的未知范围的大小，图像信息处理装置116可判断是否使用臂侧图像。在这样的情况下，图像信息处理装置116可包含从图像组合——其中，臂104所阻挡并变得未知的范围被较少地拍摄——获得立体图像的机构。
在步骤S502中，基于在步骤S500中获得的立体图像，计算机器人100周围的物体的相对位置关系。图像数据从世界坐标系被转换到机器人100位于中心的本地坐标系。周围物体的位置关系根据本地坐标系进行计算，并被输出为机器人100及其周围物体的相对位置信息。在获得相对位置信息的过程中，例如，可使用视差图像或距离图像。
另外，优选为，第一计算装置与第二计算装置分别被设置为用于在从体干侧图像的组合获得立体图像的情况下的计算以及用于在从体干侧图像与臂侧图像的组合获得立体图像的情况下的计算。对于体干侧图像的组合，体干侧照相机为平行立体。然而，对于体干侧图像与臂侧图像的组合，照相机的相对位置不同。因此，第二计算装置可被配置为应用坐标系转换处理，例如立体图像的调整、手眼校正等等。
在步骤S504中，图像信息处理装置116所计算的相对位置信息被构建为表示周围物体的相对定位的数据并被存储在环境地图存储装置112中。环境地图指的是机器人100用于认识周围物体的相对定位的数据。例如，在用图像信息处理装置116计算视差图像的情况下，环境地图可用图像视差空间(SDS，Spatial disparity space)表示。在SDS中，包含点A、B、C、D的周围物体30、40、50、60表现为具有横向或深度空间膨胀的曲面。
在步骤S506中，基于环境地图信息创建机器人100的移动路径。由于本实施例的机器人100目的在于视觉认识周围物体30、40、50、60、创建不会与这些障碍碰撞的移动路径并将握持物体20放在空的地方，优选为，基于这些环境信息，机器人100提取不存在周围物体的平面，并为臂创建将握持物体20放在所提取平面的路径。在步骤S508中，致动器115进行实际动作。
图16为一流程图，其示出了获得立体图像的图像处理。如前所述，图15的步骤S500中的立体图像基本上可通过使用多个体干侧图像或使用体干侧图像中的一个与臂侧图像来获得。在步骤S160中，由体干侧照相机105(a)与105(b)所拍摄的多个体干侧图像以及由臂侧照相机106所拍摄的臂侧图像被输入到图像信息处理装置116。在步骤S162中，判断臂104是否被拍摄在到体干侧图像中。在臂104没有被拍摄到体干侧图像中的情况下(步骤S162的否)，过程进行到步骤S164。在步骤S164中，立体图像由一对体干侧图像获得，进行第一计算。另一方面，在臂104被拍摄到体干侧图像中的情况下(步骤S162中的否)，过程进行到步骤S166。在步骤S166中，立体图像由一个体干侧图像与臂侧图像的一对获得，进行第二计算。在步骤S166中选择的体干侧图像为臂104被拍摄的范围最小的体干侧图像。
在本实施例中，介绍了使用布置在体干与被连接元件上的总共三个照相机来获得周围物体的三维信息的实例。然而，本发明的实施例不限于这样的构造。其可使用更多数量的照相机，或者，可简单使用被连接元件侧照相机，并在被连接元件侧照相机的移动以及改变拍摄角度或位置的序列中获得照片。
另外，本实施例给出了认识处于静止的周围物体的实例。然而，采用上述构造，机器人不能处理新的周围物体在机器人被设置为根据先前创建的移动路径移动之后出现在机器人的移动轨迹上的情况，或者处理机器人与周围物体的位置由于轮或被连接元件进行的移动而变化的情况，移动路径需要被校正。
(第三实施例)
图17示出了第三实施例的机器人的原理机构101，其被配置为处理移动中的周围物体。除了第二实施例的机器人的机构的构造以外，机器人的机构101还具有移动路径校正装置125。移动路径校正装置125对所创建的被连接元件移动路径进行校正。因此，机器人能够动态校正其已经进入处理的移动轨迹。
另外，由于周围环境数据可动态更新，周围环境的变化以及臂的移动可被连续认识，移动轨迹可根据这种变化得到校正。
上面介绍了本发明的具体实施例，但它们仅仅示出了本发明的某些实施例，不对其权利要求进行限制。权利要求所述的技术包括上面所述的具体实施例的多种变形与修改。
例如，除了布置在臂上的臂侧照相机，一个或一个以上的被连接元件侧照相机可布置在多个被连接元件(例如腿等等)上。或者，多个照相机可以可旋转地布置在被连接元件的不同位置。在任何一个上述实例中，拍摄范围可进一步得到扩展。
本说明书或附图所公开的技术元素可分立地或以所有组合的形式应用，不限于提交本申请时在权利要求中所述的组合。另外，本说明书或附图所公开的技术可用于同时实现多个目的或实现这些目的中的一个。

Claims (7)

1.一种可移动机器人，其包含:
体干；
被连接元件，其由具有驱动机构的关节连接到所述体干；
体干侧照相机，其被布置在所述体干上；
被连接元件侧照相机，其被布置在所述被连接元件上；以及
合成图像创建单元，其创建由所述体干侧照相机拍摄的体干侧图像与由所述被连接元件侧照相机拍摄的被连接元件侧图像的合成图像，使得所述体干侧图像的一部分由所述被连接元件侧图像的一部分替换，以便从所述体干侧图像中去除所述被连接元件。
2.根据权利要求1的可移动机器人，其中，所述合成图像创建单元包含:
第一指定单元，其指定所述体干侧图像内所述被连接元件被拍摄的范围；
第二指定单元，其指定所述被连接元件侧图像内与由所述第一指定单元指定的所述体干侧图像的范围对应的对应范围；以及
替换单元，其用所述被连接元件侧图像的所述对应范围替换所述体干侧图像的由所述第一指定单元指定的所述范围。
3.根据权利要求1的可移动机器人，
其包含多个体干侧照相机；
其中，所述合成图像创建单元对于由各个体干侧照相机拍摄的每个体干侧图像创建合成图像。
4.根据权利要求1的可移动机器人，
其还包含计算单元，该单元基于由所述合成图像创建单元创建的合成图像计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动机器人的相对位置关系。
5.根据权利要求1的可移动机器人，
其还包含照相机方向调节单元，该单元被配置为，在所述被连接元件位于所述体干侧照相机的拍摄范围内的情况下，调节所述被连接元件侧照相机的方向，其中，所述照相机方向调节单元对所述被连接元件侧照相机的方向进行调节，使得所述被连接元件侧照相机被定向为转向所述体干侧照相机的拍摄范围被所述被连接元件侧照相机拍摄的方向。
6.一种可移动机器人，其包含:
体干；
被连接元件，其由具有驱动机构的关节连接到所述体干；
多个体干侧照相机，其被布置在所述体干上；
被连接元件侧照相机，其被布置在所述被连接元件上；
第一计算单元，其基于由所述多个体干侧照相机拍摄的至少两个体干侧图像，计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动机器人的第一相对位置关系；以及
第二计算单元，其基于由所述多个体干侧照相机中的至少一个拍摄的体干侧图像以及由所述被连接元件侧照相机拍摄的被连接元件侧图像，计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动机器人的第二相对位置关系。
7.根据权利要求6的可移动机器人，
其中，所述第二计算单元选择将这样的体干侧图像用于所述第二相对位置关系的计算:其中，所拍摄的所述被连接元件的部分是最小的。
CN2007800057192A 2006-02-17 2007-02-15 可移动机器人 Expired - Fee Related CN101384402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006041323A JP4506685B2 (ja) 2006-02-17 2006-02-17 移動型ロボット
JP041323/2006 2006-02-17
PCT/JP2007/052753 WO2007094420A1 (ja) 2006-02-17 2007-02-15 移動型ロボット

Publications (2)

Publication Number Publication Date
CN101384402A true CN101384402A (zh) 2009-03-11
CN101384402B CN101384402B (zh) 2010-11-03

Family

ID=38371597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800057192A Expired - Fee Related CN101384402B (zh) 2006-02-17 2007-02-15 可移动机器人

Country Status (6)

Country Link
US (2) US8010232B2 (zh)
EP (3) EP1985416B1 (zh)
JP (1) JP4506685B2 (zh)
KR (1) KR101049266B1 (zh)
CN (1) CN101384402B (zh)
WO (1) WO2007094420A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645932A (zh) * 2012-04-27 2012-08-22 北京智能佳科技有限公司 一种远程控制的导购机器人
CN105269581A (zh) * 2014-06-02 2016-01-27 精工爱普生株式会社 机器人、机器人***、以及控制方法
CN105382833A (zh) * 2014-09-02 2016-03-09 丰田自动车株式会社 行进机器人和用于行进机器人的运动规划方法
CN106949891A (zh) * 2017-03-01 2017-07-14 深圳鹏锐信息技术股份有限公司 一种新型的室内定位***以及基于陀螺仪和视频分析的室内双向二次校正定位方法
CN107229274A (zh) * 2016-03-24 2017-10-03 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
CN108274464A (zh) * 2017-01-06 2018-07-13 富士施乐株式会社 自主移动机器人
CN110605711A (zh) * 2018-06-14 2019-12-24 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
JP2020138046A (ja) * 2018-11-08 2020-09-03 將洋 鈴木 自走式電気掃除装置、自走式電気掃除装置用プログラム及び掃除システム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442661B1 (en) 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
WO2011017668A2 (en) 2009-08-06 2011-02-10 The Regents Of The University Of California Multimodal dynamic robotic systems
JP5500926B2 (ja) * 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
TWM382891U (en) * 2010-01-07 2010-06-21 Everprec Tech Co Ltd Angle adjustment structure of right-angle robot arm
US8306664B1 (en) * 2010-05-17 2012-11-06 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
JP2014509417A (ja) * 2010-12-30 2014-04-17 アイロボット コーポレイション 可動式ヒューマンインターフェースロボット
JP6499863B2 (ja) * 2011-04-06 2019-04-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ダイナミック３ｄヘルスケア環境における安全性
JP5609760B2 (ja) * 2011-04-27 2014-10-22 トヨタ自動車株式会社 ロボット、ロボットの動作方法、及びプログラム
KR101555823B1 (ko) 2012-07-18 2015-10-05 (주)브이아이피 로봇 제어 방법 및 장치
JP6036647B2 (ja) * 2013-11-01 2016-11-30 トヨタ自動車株式会社 ロボット
JP6278741B2 (ja) * 2014-02-27 2018-02-14 株式会社キーエンス 画像測定器
JP6290651B2 (ja) * 2014-02-27 2018-03-07 株式会社キーエンス 画像測定器
JP6459227B2 (ja) 2014-06-02 2019-01-30 セイコーエプソン株式会社 ロボットシステム
JP6260509B2 (ja) * 2014-10-06 2018-01-17 トヨタ自動車株式会社 ロボット
US10189342B2 (en) 2015-02-09 2019-01-29 The Regents Of The University Of California Ball-balancing robot and drive assembly therefor
JP6594024B2 (ja) * 2015-05-07 2019-10-23 ヤマト科学株式会社 検体処理システム
JP2017041125A (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11927965B2 (en) 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10452071B1 (en) 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
US11449061B2 (en) 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US10788836B2 (en) 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US11694254B2 (en) * 2017-06-15 2023-07-04 Microsoft Technology Licensing, Llc Interactive physical product browsing experience
JP6969278B2 (ja) * 2017-10-24 2021-11-24 トヨタ自動車株式会社 自律移動体
JP6816070B2 (ja) * 2018-08-24 2021-01-20 ファナック株式会社 干渉回避装置およびロボットシステム
CN109283850B (zh) * 2018-09-13 2021-08-13 广东美的制冷设备有限公司 家电设备、家电设备的控制方法及存储介质
JP6511681B1 (ja) 2018-10-15 2019-05-15 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
JP6577687B1 (ja) * 2019-03-18 2019-09-18 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
CN110753207A (zh) * 2019-09-23 2020-02-04 国网辽宁省电力有限公司丹东供电公司 智能专责监护机器人
JP2022156506A (ja) * 2021-03-31 2022-10-14 Ｊｏｈｎａｎ株式会社 ロボット制御システム、および制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57194895A (en) * 1981-05-21 1982-11-30 Tokyo Shibaura Electric Co Monitoring device for manipulator
JPS6074983U (ja) * 1983-10-26 1985-05-25 フアナツク株式会社 ロボツト制御装置
US5374830A (en) * 1984-10-12 1994-12-20 Sensor Adaptive Machines, Inc. Target based determination of robot and sensor alignment
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
JP2960733B2 (ja) * 1989-07-27 1999-10-12 株式会社日立製作所 画像表示方法及び画像表示装置並びに遠隔操作装置
US5400244A (en) * 1991-06-25 1995-03-21 Kabushiki Kaisha Toshiba Running control system for mobile robot provided with multiple sensor information integration system
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
US5531337A (en) * 1995-05-30 1996-07-02 Inco Limited Automated decoupler for rail cars
JP3060989B2 (ja) * 1997-04-18 2000-07-10 株式会社日立製作所 画像符号化方法及び装置
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
JP2003080488A (ja) * 2001-09-05 2003-03-18 National Institute Of Advanced Industrial & Technology 遠隔操作の監視装置
JP3781370B2 (ja) * 2002-11-19 2006-05-31 本田技研工業株式会社 移動装置
JP3994950B2 (ja) 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005103722A (ja) 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
EP1694821B1 (en) * 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
US7765780B2 (en) * 2003-12-12 2010-08-03 Vision Robotics Corporation Agricultural robot system and method
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
US7332890B2 (en) * 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP4086020B2 (ja) 2004-07-29 2008-05-14 松下電器産業株式会社 Ｌｅｄ照明光源
US20070073439A1 (en) * 2005-09-23 2007-03-29 Babak Habibi System and method of visual tracking

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645932A (zh) * 2012-04-27 2012-08-22 北京智能佳科技有限公司 一种远程控制的导购机器人
CN105269581A (zh) * 2014-06-02 2016-01-27 精工爱普生株式会社 机器人、机器人***、以及控制方法
CN105382833A (zh) * 2014-09-02 2016-03-09 丰田自动车株式会社 行进机器人和用于行进机器人的运动规划方法
CN105382833B (zh) * 2014-09-02 2017-07-28 丰田自动车株式会社 行进机器人和用于行进机器人的运动规划方法
CN107229274A (zh) * 2016-03-24 2017-10-03 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
CN107229274B (zh) * 2016-03-24 2022-06-28 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
CN108274464A (zh) * 2017-01-06 2018-07-13 富士施乐株式会社 自主移动机器人
CN106949891A (zh) * 2017-03-01 2017-07-14 深圳鹏锐信息技术股份有限公司 一种新型的室内定位***以及基于陀螺仪和视频分析的室内双向二次校正定位方法
CN110605711A (zh) * 2018-06-14 2019-12-24 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
CN110605711B (zh) * 2018-06-14 2022-06-28 中瑞福宁机器人（沈阳）有限公司 一种控制协作机器人抓取物体的方法、装置及***
JP2020138046A (ja) * 2018-11-08 2020-09-03 將洋 鈴木 自走式電気掃除装置、自走式電気掃除装置用プログラム及び掃除システム

Also Published As

Publication number Publication date
EP2314428A1 (en) 2011-04-27
US8234011B2 (en) 2012-07-31
EP2314429B1 (en) 2012-07-11
US8010232B2 (en) 2011-08-30
WO2007094420A1 (ja) 2007-08-23
CN101384402B (zh) 2010-11-03
JP2007216350A (ja) 2007-08-30
EP1985416A4 (en) 2010-06-23
EP2314429A1 (en) 2011-04-27
US20100185327A1 (en) 2010-07-22
EP2314428B1 (en) 2012-07-04
KR20080093460A (ko) 2008-10-21
JP4506685B2 (ja) 2010-07-21
US20120053727A1 (en) 2012-03-01
EP1985416B1 (en) 2011-08-03
EP1985416A1 (en) 2008-10-29
KR101049266B1 (ko) 2011-07-13

Similar Documents

Publication Publication Date Title
CN101384402B (zh) 可移动机器人
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
CN113696186A (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
US9905016B2 (en) Robot identification system
JPH11213157A (ja) カメラ搭載移動体
JP2009083095A (ja) ロボット装置の制御方法及びロボット装置
JP2010112859A (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
JP2008023630A (ja) アームを誘導可能な移動体およびアームを誘導する方法
JP4849178B2 (ja) 移動型ロボット
JP2006224291A (ja) ロボットシステム
CN113618367B (zh) 基于七自由度并联双模块机器人的多视觉空间装配***
JP2010288060A (ja) 周辺表示装置
JPH0421105A (ja) マニピユレータの立体教示装置
JP7093881B1 (ja) システム、及び自動搬送車
JP2007171018A (ja) 物***置認識方法及び物***置認識装置
JP2005205519A (ja) ロボットハンド装置
JP6708142B2 (ja) ロボットの制御装置
Gemeiner et al. Real-time slam with a high-speed cmos camera
WO2019208234A1 (ja) 自己位置推定装置、自己位置推定方法、およびそのプログラム
EP2030740B1 (en) Legged mobile robot
Wallner et al. Calibration of the active stereo vision system kastor with standardized perspective matrices
WO2024048491A1 (ja) ロボットシステム、および、ロボットシステムの制御方法
Rougeaux et al. Tracking a moving object with a stereo camera head
Hornung et al. A model-based approach for visual guided grasping with uncalibrated system components

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101103

Termination date: 20160215