CN102278955B - 机器人装置和控制机器人装置的方法 - Google Patents

Abstract

本发明提供一种机器人装置和控制机器人装置的方法，机器人装置包括向外部环境照射图案光的照射单元，通过对外部环境成像获得图像的成像单元，识别外部环境的外部环境识别单元，当根据图像的获取状态确定需要图案光的照射时控制照射单元开启的照射确定单元，和当根据外部环境确定图案光的照射不是必需的或者必需强制停止图案光的照射时控制照射单元关闭的熄灭确定单元。

Description

机器人装置和控制机器人装置的方法

技术领域

本发明涉及机器人装置和控制机器人装置的方法。

三维测量装置利用立体摄像机，获得目标对象的三维形状或位置。然而，当目标对象的表面为黑色或白色，并且没有任何图案地一样时，存在不能照原样识别目标对象的实际形状或位置的问题。例如，当把白底的纸张贴在墙上时，可能获得墙上有洞的识别结果。为此，存在一种通过把具有图案的图案光照射到目标对象上，准确地检测无图案的目标对象的形状或位置的技术。

例如，日本专利申请特开(JP-A)No.2009-270915公开一种利用两种投影图案，以便高速地获得高分辨率的三维形状的技术。

同时，为了使自主移动的机器人装置能够识别外部环境，可以使用上述三维测量装置。在这种情况下，为了识别目标对象的准确形状或位置，机器人装置一边照射图案光一边移动或动作。然而，在通常在附近有人的场所中，例如在家中使用的机器人装置中，如果持续照射图案光，那么存在图案光过于明亮，投射到目标对象的图案光的图案令人讨厌和有危险的问题。

此外，不同于专用于三维测量的装置，机器人装置不仅通过三维测量识别目标对象的形状或位置，而且进行识别目标对象的纹理或颜色的对象识别。此时，如果机器人装置持续照射图案光，那么存在不能识别目标对象的纹理或颜色的问题。

鉴于上面所述，理想的是提供新颖的和改进的机器人装置及其控制方法，其中能够根据情况恰当地切换开启或关闭用于三维测量的图案光。

按照本发明的一个实施例，提供一种机器人装置，所述机器人装置包括：照射单元，其向外部环境照射图案光；成像单元，其通过对外部环境成像来获得图像；外部环境识别单元，其识别外部环境；照射确定单元，当根据图像的获取状态，确定需要图案光的照射时，所述照射确定单元控制所述照射单元开启；对象识别单元，其从外部环境中识别目标对象的纹理或颜色；以及熄灭确定单元，当正在从外部环境中识别目标对象的纹理或颜色时，所述熄灭确定单元控制所述照射单元关闭。

机器人装置还包括从外部环境中检测人的人检测单元。当检测到人时，所述熄灭确定单元可控制来自所述照射单元的图案光的照射关闭。

当根据内部状态，确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元可控制所述照射单元关闭。

当根据电池的电力消耗或者所述照射单元的连续工作时间，确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元可控制所述照射单元关闭。

当根据图像的获取状态，确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元可控制关闭照射单元。

机器人装置还包括保存根据图像识别的目标对象的形状或位置的存储单元。当根据保存在存储单元中的目标对象的形状或位置，确定需要图案光的照射时，所述照射确定单元可控制所述照射单元开启。

当根据照射单元的温度确定必需停止图案光的照射时，熄灭确定单元控制照射单元关闭。

按照本发明的另一个实施例，提供一种控制机器人装置的方法，包括下述步骤：利用照射单元，向外部环境照射图案光，利用成像单元，通过对外部环境成像而获得图像，利用外部环境识别单元，识别外部环境，当根据图像的获取状态，确定需要图案光的照射时，利用照射确定单元，控制照射单元开启，利用对象识别单元，从外部环境中识别目标对象的纹理或颜色，以及当正在从外部环境中识别目标对象的纹理或颜色时，利用熄灭确定单元，控制照射单元关闭。

按照本发明，能够根据情况恰当地切换开启或关闭用于三维测量的图案光。

图1是图解说明按照本发明的一个实施例的机器人的方框图。

图2是图解说明按照相同实施例的机器人的详细结构的方框图。

图3是图解说明立体摄像机的配置，和用图案照射单元投射图案光的状态的说明图。

图4是图解说明按照相同实施例的机器人的照射操作或熄灭操作的流程图。

图5是图解说明按照相同实施例的机器人的关于图案光的照射确定处理的流程图。

图6是是图解说明按照相同实施例的机器人的关于图案光的熄灭确定处理和照射强度的调整的流程图。

具体实施方式

下面参考附图，详细说明本发明的优选实施例。注意，在说明书和附图中，具有相同结构和功能的结构元件用相同的附图标记表示，这些结构元件的重复说明被省略。

此外，将按照下述顺序进行说明：

1.实施例的结构

2.实施例的操作

<1.实施例的结构>

首先，说明按照本发明的一个实施例的机器人100的结构。图1是图解说明按照本实施例的机器人100的方框图。

机器人100识别外部环境，并自主进行对应于所述环境的移动，或者对于用户的动作。机器人100包括三维测量单元106，并获取目标对象的三维形状或位置，并识别外部环境。通过把具有图案的图案光照射到目标对象上，机器人100能够准确地检测无图案的目标对象的形状或位置。机器人100能够根据情况，恰当地切换开启或关闭图案光。从而，即使当在有人在附近的场所，例如在家中使用机器人100时，也能够确保安全性。

如图1中所示，机器人100包括例如，中央处理器(CPU)102，随机存取存储器(RAM)104，三维测量单元106，立体摄像机112，图案照射单元114，用户指令单元116，距离传感器单元118，驱动控制单元122和驱动单元124。

CPU 102是控制装置和运算装置。CPU 102控制机器人100的每个组件，并执行程序。RAM 104是存储装置。程序或各种数据被记录在RAM104中，必要时从RAM 104读出程序或各种数据。

三维测量单元106根据用立体摄像机112对外部环境成像而获得的图像数据，测量目标对象的三维形状或位置。对三维测量来说，可以采用常规技术，从而在本公开中省略对其的详细说明。

立体摄像机112包括如图3中所示，水平布置的两部摄像机112L和112R。图3是图解说明立体摄像机112的配置，和用图案照射单元114投射图案光的状态的说明图。立体摄像机112拍摄机器人100的外部环境的图像，并获得图像数据。获得的图像数据用于三维测量单元106中的三维测量。

如图3中所示，图案照射单元114朝着将要由立体摄像机112成像的被摄对象(目标对象)照射图案光。通过照射图案光，图案20被投射到无图案的目标对象10上，从而甚至能够识别无图案的目标对象10的三维形状或位置。

用户指令单元116由用户操作，从而产生操作信号。用户指令单元116把产生的操作信号传给CPU 102等。例如，打开或关闭图案照射单元114的指令被输入用户指令单元116中。例如，操作信号从用户指令单元116被传给照射确定单元142，如图2中图解所示。

距离传感器单元118是与立体摄像机112分离地安装的传感器，并测量与目标对象相隔的距离。距离传感器单元118获得的距离被用于确认目标对象是否存在，或者提高三维测量的精确度。

驱动单元124使机器人100能够移动或者动作。驱动单元124由驱动控制单元122控制，并根据由机器人100自己自主产生的信号，或者通过用户的操作产生的信号进行驱动。

机器人100还包括，例如，存储单元119，图像亮度确定单元131，立体可靠性计算单元132，人检测单元133，对象识别单元134，电力管理单元135，温度管理单元136，装置工作时间管理单元138，照射确定 单元142，照射强度调整单元144，和熄灭确定单元146，如图2中图解所示。图2是图解说明按照本实施例的机器人100的详细结构的方框图。

例如，由距离传感器单元118测量的距离被记录在存储单元119中。记录在存储单元119中的距离被传给照射确定单元142。

图像亮度确定单元131确定通过用立体摄像机112对外部环境成像而获得的图像数据的亮度级。图像亮度确定单元131把确定结果传给照射确定单元142。

立体可靠性计算单元132计算通过用立体摄像机112对外部环境成像而获得的立体图像的可靠性。立体可靠性计算单元132把计算的立体可靠性传给照射确定单元142和熄灭确定单元146。

人检测单元133根据通过用成像装置对外部环境成像而获得的图像检测人。可利用常规技术进行人检测处理。人检测单元133把关于是否检测到人的检测结果传送给熄灭确定单元146。

对象识别单元134根据通过用成像装置对外部环境成像而获得的图像，识别目标对象的纹理或颜色。可利用常规技术进行纹理识别或颜色识别。对象识别单元134把关于是否在进行对象识别处理的状态传送给熄灭确定单元146。

电力管理单元135管理将向机器人100提供的电池电力。电力管理单元135把关于驱动机器人100所必需的电池电力是否不足的信息传送给熄灭确定单元146。

温度管理单元136测量和管理图案照射单元114或机器人100内的温度。温度管理单元136把与图案照射单元114或机器人100内的温度相关的信息传给熄灭确定单元146。

装置工作时间管理单元138测量和管理例如，图案照射单元114的图案光照射的连续工作时间。装置工作时间管理单元138把关于图案光照射的连续工作时间的信息传送给熄灭确定单元146。

三维测量单元106把关于三维测量是否已完成的信息传送给熄灭确定单元146。

照射确定单元142根据来自用户指令单元116，存储单元119，图像亮度确定单元131或立体可靠性计算单元132的信息，确定来自图案照射单元114的照射强度是否适当。此外，照射确定单元142把确定结果传送 给照射强度调整单元144。

当照射确定单元142确定照射强度不足时，照射强度调整单元144产生用于增大照射强度的命令信号。照射强度调整单元144把所述命令信号传送给图案照射单元114。

熄灭确定单元146根据来自立体可靠性计算单元132，人检测单元133，对象识别单元134，电力管理单元135，温度管理单元136，装置工作时间管理单元138，或者三维测量单元106的信息，确定是否关闭图案照射单元114。

图案照射单元114根据照射强度调整单元144的调整结果，或者熄灭确定单元146的确定结果，来调整图案光的强度，从而开启或关闭图案光。

<2.实施例的操作>

下面参考图4，说明按照本发明的一个实施例的机器人100的照射操作或熄灭操作的总体概要流程。图4是图解说明按照本实施例的机器人100的照射操作或熄灭操作的流程图。

首先，在步骤S11，为了进行三维测量，机器人100进行关于是否朝着外部环境照射图案光的照射确定。照射确定将在后面参考图5说明。

当确定要照射图案光时，在步骤S12，进行关于是否应停止图案光的照射，或者是否需要关闭图案光的熄灭确定。熄灭确定将在后面参考图6说明。当在熄灭确定处理中，确定不需要关闭图案光时，照射图案光。然而，当在步骤S11中，确定不应照射图案光时，那么情况是不需要图案光的照射，从而在步骤S15，进行图案光的熄灭处理。

当在步骤S12中，确定不应关闭图案光，或者不需要关闭图案光时，那么情况是需要图案光的照射，从而在步骤S13，调整照射强度。照射强度将在后面参考图6说明。当在步骤S12中，确定应关闭图案光，或者需要关闭图案光时，那么情况是不应照射图案光，或者照射是不必要的，从而在步骤S15，进行图案光的熄灭处理。

在调整图案光的照射强度之后，在步骤S14，确定照射强度是否适当。当确定照射强度不适当时，那么是例如，由于一直未识别出目标对象，照射强度变成最大的情况，从而在步骤S15，进行图案光的熄灭处理。当确定照射强度具有适当的值时，是正在进行对目标对象的搜索，以识别目标对象的情况，从而在步骤S16，进行照射光的照射处理。

下面参考图5，说明按照本发明的一个实施例的机器人100的关于图案光的照射确定处理。图5是图解说明按照本实施例的机器人100的关于图案光的照射确定处理的流程图。图5图解说明从开始照射操作或熄灭操作到熄灭确定处理或熄灭处理的照射确定处理。

首先，在步骤S21，确定用户是否已指令图案光的照射。例如，如果用户已指令图案光的照射，那么是由于必须识别目标对象的形状或位置，因此希望强制照射图案光的情况，从而处理进入熄灭确定处理。然而，当确定用户未指令图案光的照射时，存在不需要图案光的照射的可能性，从而处理进入步骤S22。

随后，在步骤S22，确定获得的图像是否极暗。如果获得的图像极暗，那么由于未恰当地获得被摄对象图像，因此不能识别目标对象的形状或位置。例如，如果获得的图像极暗，那么情况是希望强制照射图案光，以识别目标对象的形状或位置，从而处理进入熄灭确定处理。然而，如果获得的图像不是极暗，那么存在图案光的照射不是必需的可能性，从而处理进入步骤S23。

此外，在步骤S23，确定从获得的图像产生的立体图像的可靠性(下面称为“立体可靠性”)是否小于预定值。如果立体可靠性小于预定值，那么产生的立体图像与实际的目标对象之间在形状或位置方面的差异较大，从而不能成功地测量三维形状。如果立体可靠性小于预定值，那么情况是必需图案光的照射，从而处理进入熄灭确定处理。然而，如果立体可靠性大于预定值，那么存在图案光的照射不是必需的可能性，从而处理进入步骤S24。

此外，在步骤S24，确定距离传感器单元118是否检测到存在于外部环境中的对象。如果距离传感器单元118检测到对象，那么存在通过三维测量，将识别目标对象的三维形状或位置的可能性。如果距离传感器单元118检测到存在于外部环境中的对象，那么情况是必需图案光的照射，从而处理进入熄灭确定处理。然而，当距离传感器单元118没有检测到对象时，存在图案光的照射不是必需的可能性，从而处理进入步骤S25。

此外，当通过过去的三维测量获得的目标对象的三维形状或位置被保存时，在步骤S25中，根据保存的数据，确定在稍后将进行三维测量的方向上，是否已存在对象。如果先前在该场所一直存在某物，那么存在通过三维测量，能够识别目标对象的三维形状或位置的可能性。当确定先有在该场所一直存在某物时，情况是图案光的照射不是必需的，从而处理进入 熄灭确定处理。然而，当确定先前在该场所不存在任何事物时，通过步骤S21到步骤S24全面地确定图案光的照射不是必需的。于是，在这种情况下，处理进入熄灭处理。

下面参考图6，说明按照本发明的一个实施例的机器人100的关于图案光的熄灭确定处理和照射强度的调整。图6是图解说明按照本实施例的机器人100的关于图案光的熄灭确定处理和照射强度的调整的流程图。图6图解说明从开始熄灭确定，到熄灭处理为止的处理，或者从开始熄灭确定，经照射强度的调整，到照射处理为止的处理。

首先，在步骤S31，确定在外部环境中是否检测到人。当在外部环境中检测到人时，在步骤S41，进行图案光的熄灭处理。结果，能够解决在机器人100附近的人感到太亮，和投射到目标对象的图案光的图案使人讨厌和存在危险的问题。此外，能够改善室内环境或者确保安全。然而，当在外部环境中未检测到人时，处理进入步骤S32。

随后，在步骤S32，确定是否在进行不是利用三维测量检测目标对象的形状或位置，而是检测目标对象的纹理或颜色的对象识别。当正在进行所述对象识别时，在步骤S41，执行图案光的熄灭处理。结果，能够解决由于投射到目标对象的图案光的图案的缘故，不能识别目标对象的纹理或颜色的问题。由于只有在未进行所述对象识别的时候，才照射图案光，因此在进行对象识别的时候，机器人100能够准确地识别目标对象的纹理或颜色。然而，当未进行对象识别时，处理进入步骤S33。

此外，在步骤S33，确定用于驱动机器人100所必需的电池电力是否不足。当电池电力不足时，在步骤S41，执行图案光的熄灭处理。结果，即使三维测量的准确度降低，也能够减小因图案光的照射而造成的电力消耗，从而能够增大机器人100的驱动时间。然而，当不存在电力不足时，处理进入步骤S34。

此外，在步骤S34，确定在图案照射单元114或机器人100内的温度是否高于预定温度。当检测的温度高于预定温度时，在步骤S41，执行图案光的熄灭处理。结果，能够避免当图案照射单元114或机器人100内的温度高于预定温度时引起的问题。然而，当内部温度不高于预定温度时，处理进入步骤S35。

此外，在步骤S35，确定图案照射单元114的图案光照射的连续工作时间是否大于预定时间。当连续工作时间大于预定时间时，在步骤S41， 执行图案光的熄灭处理。结果，能够增加图案照射单元114的灯，比如发光二极管(LED)的寿命。然而，当连续工作时间不大于预定时间时，处理进入步骤S36。

随后，利用三维测量，能够识别目标对象的三维形状或位置，在步骤S36，确定三维测量是否已完成。当三维测量已完成时，由于图案光的照射不是必需的，因此在步骤S41，执行图案光的熄灭处理。然而，当三维测量未完成时，调整图案光的照射强度。

首先，在步骤S37，确定立体可靠性是否低于预定值，从而立体可靠性并不够。这里，所述预定值小于在图5中图解说明的步骤S23中的预定值。当立体可靠性不够时，在步骤S38，增大图案光的照射强度。结果，由于从获得的图像产生的立体图像变得更鲜明，因此可提高立体图像的可靠性。不过，当立体可靠性足够时，不增大照射强度，从而在步骤S42，以当前强度执行照射处理。

随后在步骤S39，确定作为增大图案光的照射强度的结果，图案照射单元114的照射强度是否已变成最大。例如，当图案照射单元114的照射强度已变成最大时，那么情况是即使逐渐增大照射强度，也不能识别目标对象，从而在步骤S41，执行图案光的熄灭处理。然而，当图案照射单元114的照射强度未变成最大时，那么情况是照射强度已被适当调整，从而在步骤S42，执行图案光的照射处理。

如上所述，本实施例的机器人100能够考虑到禁止持续照射图案光的情况，或者图案光的照射不是必需的情况，视情况切换开启或关闭图案光，以使机器人100是用户友好的，例如，可供家庭之用。

当用户或机器人100确定三维测量是必需的，当由于三维形状未被恰当测量，从而立体可靠性较低时，或者当由于被摄对象图像过暗，不能清楚地观察被摄对象图像时，必须开启图案光。此外，即使当在与保存的数据对应的图案光的照射方向上，先前一直存在对象时，或者当另一个传感器(例如，距离传感器单元118)检测到对象时，也必须开启图案光。在上述情形下，优选照射图案光。

同时，如上所述，当已检测了三维形状，当照射了图案光，但是未识别出目标对象时，或者当图案光的图案变得使在它周围的人感到讨厌时，不需要开启图案光，或者理想的是不开启图案光。此外，当电池电力不足时，当图案照射单元114的温度较高时，或者当图案照射单元114的连续 工作时间较长时，优选不开启图案光。在这些条件下，优选关闭图案光。

此外，如上所述，当需要确保安全时，或者当正在进行检测纹理或颜色的对象识别时，如果有人在机器人100的图案照射单元114的周围，那么应强制停止开启图案光。在这些条件下，关闭图案光。

本领域的技术人员应明白取决于设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在附加权利要求书或其等同物的范围内。

例如，在上述实施例中，图案光的波长不受限制，不过即使当使用人眼不可见的范围的波长(例如，红外线)时，也可类似地应用本发明。可利用红外线发光二极管(LED)照射红外线。红外线不会变得使用户感到讨厌，红外线的图案由电荷耦合器件(CCD)图像传感器识别。然而，红外线具有与可见光的图案光相比，对识别纹理或颜色的对象识别的影响较小的优点。于是，预期能够减少不允许开启图案光的条件。由于红外线并不明亮，从而虹膜不会关闭，因此即使红外线也优选被设定成和上述实施例中相同的条件。

此外，结合其中机器人100用立体摄像机112获得立体图像的情况，说明了上述实施例，不过，本发明并不局限于该例子。例如，本发明可应用于其中利用红外LED和摄像机，进行三角测量的机器人100的技术。例如，在检测人的面部的情况下，如果人过于接近为红外LED的光源，那么强制停止红外LED的照射。

本申请包含与在2010年3月29日向日本专利局提交的日本优先权专利申请JP2010-075334中公开的相关的主题，在此通过引用将该专利申请的整个内容包括于此。

Claims (8)

1.一种机器人装置，包括：

照射单元，其向外部环境照射图案光；

成像单元，其通过对外部环境成像来获得图像；

外部环境识别单元，其识别外部环境；

照射确定单元，当根据图像的获取状态确定需要图案光的照射时，所述照射确定单元控制所述照射单元开启；

对象识别单元，其从外部环境中识别目标对象的纹理或颜色；以及

熄灭确定单元，当正在从外部环境中识别目标对象的纹理或颜色时，所述熄灭确定单元控制所述照射单元关闭。

2.按照权利要求1所述的机器人装置，还包括：

人检测单元，其从外部环境中检测人，

其中当检测到人时，所述熄灭确定单元控制来自所述照射单元的图案光的照射关闭。

3.按照权利要求1所述的机器人装置，

其中，在所述熄灭确定单元根据内部状态，确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元控制所述照射单元关闭。

4.按照权利要求3所述的机器人装置，

其中，当根据电池的电力消耗或者所述照射单元的连续工作时间，确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元控制所述照射单元关闭。

5.按照权利要求1所述的机器人装置，

其中，当根据图像的获取状态确定图案光的照射不是必需的，或者必需停止图案光的照射时，所述熄灭确定单元控制所述照射单元关闭。

6.按照权利要求1所述的机器人装置，还包括保存根据图像识别的目标对象的形状或位置的存储单元，

其中，当根据保存在所述存储单元中的目标对象的形状或位置，确定需要图案光的照射时，所述照射确定单元控制所述照射单元开启。

7.按照权利要求3所述的机器人装置，

其中，当根据所述照射单元的温度确定必需停止图案光的照射时，所述熄灭确定单元控制所述照射单元关闭。

8.一种控制机器人装置的方法，包括下述步骤：

利用照射单元，向外部环境照射图案光；

利用成像单元，通过对外部环境成像而获得图像；

利用外部环境识别单元，识别外部环境；

当根据图像的获取状态确定需要图案光的照射时，利用照射确定单元控制所述照射单元开启；

利用对象识别单元，从外部环境中识别目标对象的纹理或颜色；以及

当正在从外部环境中识别目标对象的纹理或颜色时，利用熄灭确定单元，控制所述照射单元关闭。