JP2010131751A - Mobile robot - Google Patents
Mobile robot Download PDFInfo
- Publication number
- JP2010131751A JP2010131751A JP2010057267A JP2010057267A JP2010131751A JP 2010131751 A JP2010131751 A JP 2010131751A JP 2010057267 A JP2010057267 A JP 2010057267A JP 2010057267 A JP2010057267 A JP 2010057267A JP 2010131751 A JP2010131751 A JP 2010131751A
- Authority
- JP
- Japan
- Prior art keywords
- trunk
- image
- camera
- connection site
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、自律移動型ロボットに関する。特に、カメラを利用して周囲の環境を認識して移動するロボットに関する。 The present invention relates to an autonomous mobile robot. In particular, the present invention relates to a robot that moves by recognizing the surrounding environment using a camera.
体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位を備えている移動側ロボットが開発されている。この種のロボットのなかには、体幹に設けられている体幹側カメラで撮像された環境画像から環境地図を作成し、得られた環境地図を元に目的位置までの移動経路を計画するものがある。特許文献1では、ロボットの頭部に設けられているカメラで撮像し、撮像した画像から視差画像あるいは距離画像を計算し、計算した視差画像あるいは距離画像から平面パラメータを算出し、算出した平面パラメータから床を含む複数の平面抽出を行うことによって環境地図を作成し、作成した環境地図からロボットが移動可能な範囲を認識し、認識した範囲に基づいてロボットの移動経路を計画している。 A mobile robot has been developed that includes a trunk and a connection part that is connected to the trunk through a joint having a drive mechanism. Some robots of this type create an environment map from an environment image captured by a trunk-side camera provided on the trunk, and plan a movement route to a target position based on the obtained environment map. is there. In Patent Document 1, a parallax image or a distance image is calculated from a captured image by a camera provided on a robot head, a plane parameter is calculated from the calculated parallax image or distance image, and the calculated plane parameter is calculated. The environment map is created by extracting a plurality of planes including the floor from the environment map, the range in which the robot can move is recognized from the created environment map, and the movement path of the robot is planned based on the recognized range.
駆動機構を有する関節部を介して体幹に接続されている接続部位を備えているロボットの場合、アームや脚などの接続部位の位置によっては、ロボットの体幹に設けられているカメラの視野の一部が接続部位によって遮られ、一部の周囲物体を撮像できないことがある。即ち、接続部位の背後に未知環境が存在することがある。
接続部位の背後に未知環境が存在すると、体幹の移動経路を計画することができなくなってしまう。あるいは、アームや脚などの接続部位の移動経路を計画することができなくなってしまう。特に、接続部位を目的位置に移動させる経路を計画する場合には、目的位置が未知環境にあるために、目的位置が認識できない事態が発生しやすい。
In the case of a robot having a connection part connected to the trunk through a joint having a drive mechanism, the field of view of the camera provided on the trunk of the robot depends on the position of the connection part such as an arm or a leg. May be blocked by the connection site, and some surrounding objects may not be imaged. That is, an unknown environment may exist behind the connection site.
If there is an unknown environment behind the connection site, it will be impossible to plan a trunk movement route. Or it becomes impossible to plan the movement path | route of connection parts, such as an arm and a leg. In particular, when planning a route for moving a connection site to a target position, the target position is in an unknown environment, and a situation in which the target position cannot be recognized easily occurs.
現状技術では、未知環境が発生する毎に、体幹または接続部位を移動させて未知環境を撮像し、未知環境を未知環境でなくしてから移動経路を決定する処理を必要としている。
しかしながら、上記の処理には本来的には必要とされない動作を要するばかりでなく、体幹を連続的に移動させるロボットや、周囲物体が移動する環境にある場合には、対応することが難しい。
In the current technology, every time an unknown environment is generated, the trunk or the connected part is moved to image the unknown environment, and after the unknown environment is not an unknown environment, a process for determining the movement path is required.
However, the above-described processing not only requires an operation that is not essentially required, but is also difficult to cope with in a robot that continuously moves the trunk or in an environment where surrounding objects move.
本発明は、未知環境を発生させない移動型ロボットを実現することを目的とする。 An object of the present invention is to realize a mobile robot that does not generate an unknown environment.
本発明では、接続部位によって遮られて撮像できない範囲を撮像するために、接続部位にもカメラを用意する。接続部位にもカメラを用意すれば、接続部位によって撮像できないという事態の発生を防止することができる。
本発明のロボットは、体幹と、能動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている体幹側カメラと、接続部位に設けられている接続部位側カメラと、体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段を備えている。
In the present invention, a camera is also prepared at the connection site in order to capture an area that is blocked by the connection site and cannot be imaged. If a camera is also prepared at the connection site, it is possible to prevent a situation where an image cannot be captured by the connection site.
The robot according to the present invention is provided in the trunk, a connection part connected to the trunk through a joint having an active mechanism, a trunk side camera provided in the trunk, and the connection part. By replacing a part of the trunk side image obtained by imaging with the connection site side camera and the trunk side camera with a part of the connection site side image obtained by imaging with the connection site side camera, A composite image creating means for creating a composite image from which the connection site is removed from the trunk side image is provided.
上記のロボットは、体幹側カメラで撮像した体幹側画像を利用することによって、広範囲の環境画像を得ることができる。ただし、体幹側画像には接続部位が撮像されており、その影になって環境画像を得ることができない未知環境が残ることがある。
上記のロボットでは、体幹側画像に、接続部位側カメラで撮像した接続部位側画像を合成することによって合成画像を作成する手段を備えている。このために、体幹側画像では接続部位を撮像しており、その影になって未知環境となっている環境画像に、接続部位側画像を合成することができ、そうして得られる合成画像には未知環境が残らない。
上記のロボットは、未知環境が残らない合成画像を得ながら、その後の体幹または接続部位の移動経路を計算することができる。未知環境を残さないようにするために無駄な動作が必要とされることがない。また周囲物体が移動する環境にあっても、移動経路を時々刻々に決定することができる。
The robot described above can obtain a wide range of environmental images by using the trunk side image captured by the trunk side camera. However, there are cases in which an unknown environment in which an environment image cannot be obtained due to the shadow of the connected part is captured in the trunk side image.
The robot includes means for creating a synthesized image by synthesizing the body part side image with the connection part side image captured by the connection part side camera. For this reason, a connected part is imaged in the trunk side image, and the connected part side image can be synthesized with the environment image that is in the shadow and is in an unknown environment, and the synthesized image thus obtained There is no unknown environment left.
The above robot can calculate the subsequent movement path of the trunk or the connected part while obtaining a composite image in which an unknown environment does not remain. In order not to leave an unknown environment, no unnecessary operation is required. Even in the environment where surrounding objects move, the movement route can be determined every moment.
合成画像作成手段が、体幹側画像内において接続部位を撮像している範囲を特定する第1特定手段と、接続部位側画像内において、第1特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第2特定手段と、第1特定手段で特定した範囲内の体幹側画像を第2特定手段で特定した範囲内の接続部位側画像に置き換える手段を備えていることが好ましい。 The composite image creating means captures the same range as the range specified by the first specifying means in the connecting part side image and the first specifying means for specifying the range in which the connecting part is imaged in the trunk side image. A second specifying means for specifying the range being identified, and means for replacing the trunk side image within the range specified by the first specifying means with the connected part side image within the range specified by the second specifying means preferable.
体幹側画像内において接続部位を撮像している範囲を特定する手段には、大きく分けて2方式が可能である。一つの方式は、体幹側カメラに対する接続部位の位置関係(これはロボットに既知である)から接続部位が撮像されているはずの範囲を計算して求める方式である。もう一つの方式は、体幹側画像を画像処理して接続部位の形状(これはロボットに既知である)に相当する部分を抽出し、それから接続部位が撮像されている範囲を特定する方式である。いずれの方式であってもよい。 There are roughly two types of means for specifying the range in which the connection site is imaged in the trunk side image. One method is a method of calculating and obtaining a range in which the connected part should be imaged from the positional relationship of the connected part with respect to the trunk side camera (this is known to the robot). The other method is to extract the part corresponding to the shape of the connected part (this is known to the robot) by image processing the trunk side image, and then specify the range where the connected part is imaged. is there. Either method may be used.
接続部位側画像には、仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲が撮像されている。この範囲を特定する手段にも大きく分けて2種類が存在する。
一つの方式は、体幹に対する接続部位の位置関係(これはロボットに既知である)と接続部位に対する接続部位側カメラの位置関係から、接続部位側画像において仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲を計算して求める方式である。この方式は、奥行き情報が既知である場合に特に有効である。例えば、壁面に配置されているスイッチ類を自立移動型ロボットで操作する動作を例にすると、壁面に対するロボットの位置が既知であれば、体幹カメラによる壁面の撮像範囲は計算可能であり、体幹に対する接続部位の位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲を計算することができる。体幹に対する接続部位の位置と、接続部位に対する接続部位側カメラの位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲に対応する接続部位側画像内の範囲を計算することができる。体幹側画像では接続部位を撮像している範囲を、接続部位の影になって体幹カメラでは撮像できない範囲の接続部位側画像に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。体幹側カメラと接続部位側カメラの存在位置が相違するために、単純に置き換えるだけでは、接続部位が存在しない場合に体幹側カメラで撮像したのと同じ合成画像を得ることはできない。しかしながら、接続部位側カメラは体幹側カメラで撮像できない方向の範囲内にあり、体幹側カメラでは撮像できない範囲に対する体幹側カメラと接続部位側カメラの視点は大きくは相違しない。ほぼ同じ方向から撮像している。従って、接続部位側カメラ画像の縮尺を調整して置き換えるだけで、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。必要であれば、接続部位側カメラ画像を、体幹側カメラの位置で撮像した画像に変換してから合成してもよい。このようにすると、合成画像の質が向上する。この合成画像が得られれば、接続部位の陰になって体幹側カメラでは撮像できない範囲に存在するスイッチ類の位置を認識することが可能となり、意図したスイッチに向けて接続部位を移動させることが可能となる。あるいは、意図したスイッチに向けて体幹を移動させることが可能となる。
In the connection site side image, if there is no connection site, a range that should be captured by the trunk side camera is captured. There are roughly two types of means for specifying this range.
One method is that if there is no connection part in the connection part side image from the positional relation of the connection part with respect to the trunk (this is known to the robot) and the positional relation of the connection part side camera with respect to the connection part, the trunk side camera This is a method for calculating and obtaining the range that should be imaged. This method is particularly effective when the depth information is known. For example, taking the operation of operating switches placed on the wall with an autonomous mobile robot as an example, if the position of the robot relative to the wall is known, the imaging range of the wall by the trunk camera can be calculated, If the position of the connection part with respect to the trunk is known, the range of the wall surface that becomes a shadow of the connection part and cannot be imaged by the trunk camera can be calculated. If the position of the connected part relative to the trunk and the position of the connected part side camera relative to the connected part are known, the range in the connected part side image corresponding to the range of the wall that is shadowed by the connected part and cannot be captured by the trunk camera Can be calculated. In the trunk side image, if the range where the connection part is imaged is replaced with the connection part side image in the range that cannot be captured by the trunk camera due to the shadow of the connection part, A composite image equivalent to the imaged image can be obtained. Since the existence positions of the trunk side camera and the connection part side camera are different, it is not possible to obtain the same composite image as that captured by the trunk side camera when there is no connection part simply by replacement. However, the connection site side camera is in a range in a direction that cannot be captured by the trunk side camera, and the viewpoints of the trunk side camera and the connection site side camera with respect to the range that cannot be captured by the trunk side camera are not significantly different. Images are taken from almost the same direction. Therefore, only by adjusting and replacing the scale of the connection part side camera image, a composite image equivalent to that captured by the trunk side camera can be obtained when there is no connection part. If necessary, the connected part side camera image may be synthesized after being converted into an image captured at the position of the trunk side camera. In this way, the quality of the composite image is improved. If this composite image is obtained, it becomes possible to recognize the position of the switches that are behind the connection site and cannot be captured by the trunk-side camera, and move the connection site toward the intended switch. Is possible. Alternatively, the trunk can be moved toward the intended switch.
もう一つの方式は、体幹側画像において接続部位が撮像されている範囲に対応する範囲を接続部位側画像から特定する方式である。体幹側画像を画像処理して接続部位の形状に相当する部分を抽出すれば、その周囲に存在する画像から特徴点を抽出することが可能となる。例えば、箱の前面に接続部位が存在しているために、箱の前面の一部が接続部位に遮られている場合、接続部位に隠されていない箱の頂点を特定することができる。このような特徴点を接続部位が撮像されている範囲を一巡するように特定すると、接続部位に遮られて周囲の環境を撮像できていない範囲を含む範囲を特定することができる。一方、接続部位側画像でも、前記の特徴点群を撮像している。そこで、接続部位側画像から前記の特徴点群を抽出すれば、接続部位に遮られて体幹側カメラでは周囲の環境を撮像できていない範囲を含む範囲に対応する接続部位側画像内の範囲を特定することができる。前者の範囲を後者の範囲に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。
ロボットが動作している環境によって、計算することで置換範囲を特定できる場合もあれば、画像処理することで置換範囲を特定できる場合もある。
The other method is a method of identifying a range corresponding to a range where the connection site is imaged in the trunk side image from the connection site side image. If the trunk side image is subjected to image processing and a portion corresponding to the shape of the connected part is extracted, it is possible to extract a feature point from an image existing around it. For example, when a connection part exists on the front surface of the box and a part of the front surface of the box is blocked by the connection part, the vertex of the box that is not hidden by the connection part can be specified. When such a feature point is specified so as to make a round in the range where the connection site is imaged, a range including a range where the surrounding environment is not captured due to the connection site can be specified. On the other hand, the feature point group is also captured in the connection site side image. Therefore, if the feature point group is extracted from the connection part side image, a range in the connection part side image corresponding to a range including a range that is blocked by the connection part and cannot capture the surrounding environment by the trunk side camera. Can be specified. If the former range is replaced with the latter range, a composite image equivalent to that captured by the trunk side camera can be obtained when there is no connection site.
Depending on the environment in which the robot is operating, the replacement range may be specified by calculation, or the replacement range may be specified by image processing.
体幹側カメラを複数設けることもできる。この場合、合成画像作成手段によって、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することもできる。この場合、視点を変えて撮像した複数枚の合成画像が得られ、例えば奥行き情報が未知な場合等に、撮像範囲内に存在する特徴点の3次元的位置を特定するといったことが可能となる。 A plurality of trunk side cameras can be provided. In this case, a composite image can also be created for the trunk side images captured by the respective trunk side cameras by the composite image creation means. In this case, a plurality of composite images picked up from different viewpoints can be obtained. For example, when depth information is unknown, it is possible to specify the three-dimensional positions of feature points existing in the imaging range. .
合成画像を用いて、ロボット100の周囲物体の相対的な位置を計算することができる。前記したように、奥行き情報が既知であれば(壁面に作業対象が配置されているような場合)、1枚の合成画像から、作業対象の存在位置を特定することができる。奥行き情報が未知であっても、視点を変えて撮像した複数枚の合成画像から、周囲物体の3次元的位置を特定することができる。
Using the composite image, the relative positions of the surrounding objects of the
体幹側カメラに対する接続部位の位置に応じて、接続部位側カメラの撮像方向を調整する手段が付加されていることが好ましい。接続部位の位置によって体幹カメラでは撮像できない範囲の接続部位に対する角度が相違してくる。接続部位の位置に応じて、接続部位側カメラの撮像方向を調整するようにすると、体幹カメラでは撮像できない範囲を接続部位側カメラで確実に撮像するようにすることができ、死角の発生を防止することができる。 It is preferable that means for adjusting the imaging direction of the connection site side camera is added according to the position of the connection site with respect to the trunk side camera. Depending on the position of the connection site, the angle with respect to the connection site in a range that cannot be captured by the trunk camera is different. By adjusting the imaging direction of the connection site side camera according to the position of the connection site, it is possible to ensure that the range that cannot be imaged by the trunk camera can be imaged by the connection site side camera. Can be prevented.
例えば奥行き情報が既知であるような場合には、1枚の合成画像を得ること自体で有用な情報が得られる。奥行き情報が未知であれば、視点を変えて撮像した複数枚の画像情報を得、それらから周囲物体の位置を計算することが有用である。
この種の要請に応えるためには、ロボットが、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている2以上の体幹側カメラと、接続部位に設けられている接続部位側カメラと、2以上の体幹側カメラで撮像した2以上の体幹側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第1計算手段と、体幹側カメラの少なくとも1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第2計算手段を備えていればよい。この場合、画像情報を処理することによって位置情報を計算する。合成画像を作成する必要は必ずしもない。
For example, when depth information is known, useful information can be obtained by obtaining a single composite image itself. If the depth information is unknown, it is useful to obtain a plurality of pieces of image information picked up from different viewpoints and calculate the positions of surrounding objects from them.
In order to meet this type of request, the robot has a trunk, a connection part connected to the trunk via a joint having a drive mechanism, and two or more trunk sides provided on the trunk. Relative positional relationship of an object existing in an imaging range from a camera, a connection site side camera provided in the connection site, and two or more trunk side images captured by two or more trunk side cameras with respect to the mobile robot Relative to the mobile robot of the object existing in the imaging range from the trunk side image captured by at least one of the trunk side cameras and the connected part side image captured by the connected part side camera What is necessary is just to provide the 2nd calculation means which calculates target positional relationship. In this case, position information is calculated by processing image information. It is not always necessary to create a composite image.
異なる位置に配置されている2以上の体幹側カメラを利用して2以上の体幹側画像情報を得ることができれば、両画像に撮像されている物体の移動型ロボットに対する相対的位置関係を計算することができる。しかしながら、接続部位の影になっているために、いずれかの体幹側画像では撮像されていない周囲物体については、位置を特定することができない。
本発明のロボットでは、体幹側カメラの1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像を組み合わせて利用する。これらも、視点を変えて撮像した2以上の画像情報であり、これらからも周囲物体の移動型ロボットに対する相対的位置関係を計算することができる。接続部位の影になって両方の体幹側カメラでは撮像できなくても、いずれか一方の体幹側カメラで撮像できれば、それと接続部位側画像情報を組み合わせて利用することによって、周囲物体の移動型ロボットに対する相対的位置関係を特定することができる。これにより、未知環境の範囲を狭めることができる。
If two or more trunk-side image information can be obtained by using two or more trunk-side cameras arranged at different positions, the relative positional relationship of the object captured in both images with respect to the mobile robot can be determined. Can be calculated. However, since it is a shadow of the connected part, the position of the surrounding object that is not captured in any of the trunk side images cannot be specified.
In the robot according to the present invention, the trunk side image captured by one of the trunk side cameras and the connection part side image captured by the connection part side camera are used in combination. These are also two or more pieces of image information picked up from different viewpoints, and the relative positional relationship of surrounding objects with respect to the mobile robot can also be calculated from these pieces of image information. Even if it cannot be captured by both trunk-side cameras due to the shadow of the connected part, if it can be captured by either one of the trunk-side cameras, it can be used to move surrounding objects by combining it with the connected part-side image information. The relative positional relationship with respect to the type robot can be specified. Thereby, the range of unknown environment can be narrowed.
さらに、第2計算手段は、接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることを特徴とする。これに換えて、すべての体幹側画像情報に接続部位側画像情報を組み合わせて計算してもよい。 Further, the second calculation means selects the trunk side image with the smallest range in which the connection site is imaged and uses it for the calculation. Alternatively, the calculation may be performed by combining all the trunk side image information with the connection part side image information.
本発明では、接続部位にカメラを設けることで、接続部位に第2の視覚認識部としての機能を付加している。この構成により、接続部位の影になって体幹側カメラでは撮像できない未知環境の範囲を減少ないし無くすことができ、ロボットを安全に迅速に動作させることが可能となる。 In the present invention, by providing a camera at the connection site, a function as a second visual recognition unit is added to the connection site. With this configuration, it is possible to reduce or eliminate the range of an unknown environment that becomes a shadow of the connection site and cannot be captured by the trunk-side camera, and the robot can be operated safely and quickly.
最初に、以下に説明する実施例の主要な特徴を列記する。
(特徴1) ロボットは、体幹に走行機構(この実施例の場合は車輪であるが、脚リンクでもよい)を備えている。
(特徴2) ロボットは、環境地図から体幹の走行軌跡を計算する。
(特徴3) ロボットは、環境地図から接続部位の移動軌跡を計算する。
(特徴4) ロボットは、環境地図から体幹の走行軌跡と接続部位の移動軌跡を計算する。
(特徴5) ロボットは、関節角度制御装置や車輪回転数制御装置および位置情報検出装置により、ロボットの姿勢と各カメラの撮像方向を制御している。体幹側カメラの撮像方向は、体幹側カメラ撮像方向計算装置で計算され、接続部位側カメラの撮像方向は、接続部位側カメラ撮像方向計算装置で計算される。
(特徴6) ロボットは合成画像から得られた情報に基づき、移動経路を作成する。その経路に基づいて、前記関節角度制御装置や車輪回転数制御装置および位置情報検出装置がアクチュエータを制御し、体幹および/または接続部位を作成された移動経路に沿って移動させる。
(特徴7) ロボットは周囲環境の変化に対応して過去に作成した軌道に修正を加え、移動経路を変更する経路修正装置を備えている。
First, the main features of the embodiments described below are listed.
(Characteristic 1) The robot includes a traveling mechanism (a wheel in this embodiment, but a leg link may be used) in the trunk.
(Feature 2) The robot calculates the trunk trajectory from the environment map.
(Feature 3) The robot calculates the movement locus of the connected part from the environment map.
(Feature 4) The robot calculates the trunk trajectory and the connected part movement trajectory from the environment map.
(Feature 5) The robot controls the posture of the robot and the imaging direction of each camera by a joint angle control device, a wheel rotation speed control device, and a position information detection device. The imaging direction of the trunk side camera is calculated by the trunk side camera imaging direction calculation device, and the imaging direction of the connection site side camera is calculated by the connection site side camera imaging direction calculation device.
(Feature 6) The robot creates a movement path based on information obtained from the composite image. Based on the path, the joint angle control device, the wheel rotation speed control device, and the position information detection device control the actuator to move the trunk and / or the connection site along the created movement route.
(Characteristic 7) The robot includes a route correction device that corrects a trajectory created in the past in response to a change in the surrounding environment and changes the movement route.
図1に、本実施例のロボットの外観を示す。本実施例のロボット100は、体幹103と、肩関節203を介して体幹103に接続された1本の接続部位(アーム)104を有している。接続部位104は、2本以上が存在していてもよい。体幹103は、胴体200と、首関節202と、頭部201を備えており、頭部201に体幹側カメラ105が固定されている。体幹側カメラ105は、首関節202によって、胴体200に対する撮像方向を変えることができる。胴体200の下方には1対の車輪が配置されており、車輪206を利用して体幹103を移動させる。
接続部位104は、肩関節203と、肘関節204と、手首関節205を備えており、掌に側カメラ106が固定されている。肩関節203と、肘関節204と、手首関節205は能動機構を有しており、接続部位側カメラ106は、肩関節203と、肘関節204と、手首関節205によって、胴体200に対する撮像方向を変えることができる。また胴体200に対する接続部位側カメラ106のカメラ位置を変えることもできる。
このロボットは、作業環境内における頭部201の位置を計測する手段を備えており、体幹側カメラ105のカメラ位置と撮像方向を認識している。また、体幹103に対する接続部位側カメラ106のカメラ位置と撮像方向を認識している。
本実施例のロボット100は、車輪206を利用してスイッチパネル10に接近し、接続部位104を利用してスイッチパネル10の壁面に配置されているスイッチ群12a,12b・・を操作する。スイッチパネル10の壁面の位置は既知である。
FIG. 1 shows the appearance of the robot of this embodiment. The
The
This robot includes means for measuring the position of the
The
図2は、ロボット100の周囲を認識する機構101の概略を示す図である。本実施例のロボット100は、制御装置114を有している。制御装置114は、合成画像作成装置110を備えており、合成画像作成装置110は、体幹側カメラ105から体幹側画像情報を入力し、接続部位側カメラ106から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置111から体幹側カメラ105の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置109から接続部位側カメラ106の位置と撮像方向を入力し、体幹側画像情報と接続部位側画像情報から合成画像情報を作成し、作成した合成画像情報からその後の移動経路を作成し(移動経路作成装置113)、作成した移動経路情報にしたがって、車輪206と関節群を回転させるアクチュエータ群115を制御し、作成した移動経路に沿って、車輪206、頭部201、接続部位104を移動させる。ロボット100は、車輪206の回転数を検出する車輪回転数検出装置119と、各関節の関節角を検出する関節角検出装置117と、胴体200内に設置されていて胴体200の位置を検出する位置情報検出装置121を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置111と接続部位側カメラ位置撮像方向計算装置109に入力される。
ロボットは、位置と撮像方位が既知のカメラで撮影した画像情報から周囲の環境を認識して移動経路を作成する移動経路作成手段113を有しており、作成した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像する処理を繰り返しながら、自律的に移動する。
FIG. 2 is a diagram showing an outline of a
The robot has movement path creation means 113 for creating a movement path by recognizing the surrounding environment from image information captured by a camera whose position and imaging direction are known, and after moving along the created movement path, the camera position And re-calculate the imaging direction, and then move autonomously while repeating the process of imaging again.
図3に、ロボット100の視野図を示す。ロボット100の接続部位104が体幹側カメラ105の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。具体的には、体幹側カメラ105から撮像する体幹側画像には、スイッチパネルの点Aおよび点Bは撮像されるのに対し、点Cおよび点Dは写らない。よって、点Cおよび点Dにおける周囲物体の情報が未知となり、環境状況の認識およびロボット100に対する周囲物体の相対的な位置関係の把握をすることができないが、本実施例では、接続部位側カメラ106を設けることで可視範囲が拡大され、点Cおよび点Dを含む、未知の環境を把握することができる。
FIG. 3 shows a view of the
図4および図5に、体幹側画像と接続部位側画像の例をそれぞれ示す。図4の体幹側画像では接続部位104の影に隠れて撮像されないパネルの表面が、図5の接続部位側画像では撮像されている。これは、頭部201と接続部位104の位置が関節角検出装置117により制御されており、体幹側カメラ105と接続部位側カメラ106の相対位置に応じて、接続部位側カメラ106の撮像方向が調節されることにより可能となる。接続部位側カメラ106の撮像方向は、体幹側カメラでは接続部位104の影に隠れて撮像できない方向を撮影するように調整される。
それぞれのカメラの倍率や画像サイズなどの差異に関する情報は、体幹側カメラ位置撮像方向計算装置111および接続部位側カメラ位置撮像方向計算装置109によって把握されており、合成時にはその情報に基づいた画像処理を行うため、それぞれの画像の撮像範囲が完全に一致しなくてもよい。例えば、体幹側カメラ105に対し接続部位側カメラ106はスイッチパネル10までの距離が異なっており、かつ接続部位104が頭部201に対して傾斜していることから、図5の接続部位側画像は図4の体幹側画像に比べて撮像されるスイッチパネル10の倍率が大きく、また傾いている。
4 and 5 show examples of the trunk side image and the connection part side image, respectively. In the trunk side image of FIG. 4, the surface of the panel which is hidden behind the shadow of the
Information regarding differences in magnification, image size, and the like of each camera is grasped by the trunk side camera position imaging
図6に、画像合成処理のフローチャートを示す。このとき、ロボット100とスイッチパネル10は図1に示すような位置関係にある。ロボット100の接続部位104は図4に示す位置にあり、同様の画像が体幹側カメラ105により撮像されている。ロボット100はスイッチパネル10のスイッチ12c(図1参照)を押圧するために、接続部位104を移動させようとしている。しかしながら、スイッチ12cは体幹側画像においては未知環境の範囲内にあるため、図6に示す合成画像作成処理を開始する。
ステップS601では、合成画像作成装置110に体幹側画像情報が入力される。ステップS603では、体幹側画像において未知環境となっている部分の特徴点Xnの抽出をする。図7に、ステップS603において抽出される体幹側画像の特徴点の一例を示す。ロボット100の接続部位104の形状は既知であることから、体幹側画像から接続部位を撮像している範囲(接続部位の撮像範囲)を特定することができる(第1特定手段)。図中の点X1からX6は、接続部位の撮像範囲を包含するように抽出された特徴点である。本実施例では、直線で結ぶことが可能な6個の特徴点を抽出しているが、接続部位の輪郭に沿って特徴点Xnをとればよい。ステップS605では、ステップS603において抽出された特徴点から、接続部位の撮像範囲R(背後の周囲物体情報が未知の範囲)を特定する。図7の特徴点X1からX6に囲まれた範囲が、近似的な接続部位の撮像範囲Rである。抽出する特徴点Xnの数を増やすことで、特徴点によって取り囲まれる範囲Rを接続部位の撮像範囲に正確に一致させることができる。
FIG. 6 shows a flowchart of the image composition process. At this time, the
In step S <b> 601, trunk-side image information is input to the composite
ステップS607では、合成画像作成装置110に接続部位側画像情報が入力される。
ステップS609では、ステップS607で入力された接続部位側画像情報から、体幹側画像の接続部位の撮像範囲Rの特徴点に対応する点Znを抽出する。図8に、ステップS609において抽出される接続部位側画像の特徴点Znの一例を示す。図8中の点Z1からZ6は、体幹側画像から抽出された特徴点X1からX6に対応する点である。
ステップS611では、ステップS609で抽出された特徴点Znから、接続部位側画像の対応範囲S(体幹側画像では未知情報である範囲)を特定する(第2特定手段)。
In step S <b> 607, the connected part side image information is input to the composite
In step S609, from the connection site side image information input in step S607, the extracting the Z n points corresponding to the feature points of the image scan range R of the connecting portion of the trunk side image. 8 shows an example of a feature point Z n connection site side image extracted in step S609. Points Z 1 to Z 6 in FIG. 8 are points corresponding to feature points X 1 to X 6 extracted from the trunk side image.
In step S611, from the feature point Z n extracted in step S609, (the trunk side image which range unknown information) corresponding range S of the connection portion-side image to identify the (second specifying means).
ステップS613では、接続部位側画像より得られた対応範囲Sを、体幹側画像より得られた接続部位の撮像範囲Rに適合するように、体幹側カメラと接続部位側カメラの入力画像に付加されている差異情報に基づき、サイズの調整、傾斜角の回転調整などの処理を行う。
ステップS615では、体幹側画像の接続部位の撮像範囲Rを、合成のための準備処理を終えた対応範囲Sに置き換える。その結果、ステップS617において、未知範囲のない合成画像が出力される。図9に、合成画像の一例を示す。破線で示されている接続部位の撮像範囲Rは対応範囲Sに置き換えられ、接続部位が撮像されていない合成画像を得ることができる。
In step S613, the corresponding range S obtained from the connected part side image is applied to the input images of the trunk side camera and the connected part side camera so as to match the imaging range R of the connected part obtained from the trunk side image. Based on the added difference information, processing such as size adjustment and tilt angle rotation adjustment is performed.
In step S615, the imaging range R of the connected part of the trunk side image is replaced with the corresponding range S for which the preparation process for synthesis has been completed. As a result, in step S617, a composite image without an unknown range is output. FIG. 9 shows an example of a composite image. The imaging range R of the connection site indicated by the broken line is replaced with the corresponding range S, and a composite image in which the connection site is not captured can be obtained.
本実施例は、複数の体幹側カメラを有していても良い。その場合は、それぞれの体幹側画像より接続部位の撮像範囲Rxを抽出し、それぞれの接続部位の撮像範囲Rxに対して接続部位側画像より対応範囲Sxを抽出し、接続部位の撮像範囲Rxを対応範囲Sxと置き換える。 The present embodiment may have a plurality of trunk side cameras. In that case, the imaging range R x of the connected part is extracted from each trunk side image, the corresponding range S x is extracted from the connected part side image for the imaging range R x of each connected part, The imaging range R x is replaced with the corresponding range S x .
図10に、3台の体幹側カメラから撮像された、3枚の体幹側画像TC1、TC2およびTC3を例示する。この体幹側画像TC1、TC2およびTC3はステップS601からステップS605の処理を経て、接続部位の撮像範囲R1、R2およびR3の特定を行っている。頭部に固定された3台の体幹側カメラの位置が異なるため、各画像の接続部位の撮像範囲の位置には差異がある。
図11に、上記の3台の体幹側カメラと連動して作動する接続部位側カメラが撮像した接続部位側画像ACを例示する。体幹側画像TC1、TC2およびTC3の接続部位の撮像範囲R1、R2およびR3を補うため、接続部位側画像ACはステップS607からステップS611の処理によって対応範囲S1、S2およびS3を特定する。
ステップS613からステップS617の処理により、体幹側画像TC1、TC2およびTC3の接続部位の撮像範囲R1、R2およびR3は、接続部位側画像ACの対応範囲S1、S2およびS3により置き換えられ、未知範囲のない体幹側カメラ画像が作成される。
FIG. 10 illustrates three trunk-side images TC 1 , TC 2, and TC 3 captured from three trunk-side cameras. The trunk side images TC 1 , TC 2 and TC 3 are subjected to the processing from step S601 to step S605, and the imaging ranges R 1 , R 2 and R 3 of the connected region are specified. Since the positions of the three trunk side cameras fixed to the head are different, there is a difference in the position of the imaging range of the connection part of each image.
FIG. 11 illustrates a connection part side image AC captured by the connection part side camera that operates in conjunction with the three trunk side cameras. In order to compensate for the imaging ranges R 1 , R 2, and R 3 of the connected parts of the trunk-side images TC 1 , TC 2, and TC 3 , the connected part-side image AC is subjected to the corresponding ranges S 1 , S, by the processing from step S 607 to step S 611. specifying the 2 and S 3.
By the processing from step S613 to step S617, the imaging ranges R 1 , R 2 and R 3 of the connection site of the trunk side images TC 1 , TC 2 and TC 3 are the corresponding ranges S 1 and S 2 of the connection site side image AC. and replaced by S 3, no trunk side camera images unknown range is created.
さらに、本実施例は、複数の接続部位側カメラを有していてもよい。この場合は、各体幹側画像の接続部位の撮像範囲Rに対して対応範囲Sが最も広範囲に抽出可能な接続部位側画像を利用するような判断装置を設けることが好ましい。 Further, the present embodiment may have a plurality of connection site side cameras. In this case, it is preferable to provide a determination device that uses the connected part side image that can extract the corresponding range S in the widest range relative to the imaging range R of the connected part of each trunk side image.
本実施例はさらに、上記の方法で得られた合成画像を用いて、ロボット100に対する周囲物体の相対的な位置を計算することができる。ここでいうロボット100に対する周囲物体の相対的な位置は、物体の相対的位置座標をワールド座標系からロボットを中心とした座標系に変換して把握する。
In this embodiment, the relative position of the surrounding object with respect to the
実施例1と実施例2には、共通する部位があるため、共通する部位または装置については同一番号を付して重複説明を省略する。
図12は、ステレオカメラを用いたロボットの外観を示す図である。本実施例のロボット100は、体幹103と、肩関節203を介して体幹103に接続された一本の接続部位(アーム)104を有している。接続部位104は、2本以上が存在していてもよい。体幹103は、
胴体200と、首関節202と、頭部201を備えており、頭部201に体幹側カメラ105(a)および105(b)が固定されている。体幹側カメラ105(a)および105(b)は、首関節202によって、胴体200に対する撮像方向を変えることができる。胴体200の下方には1対の車輪206が配置されており、車輪206を利用して移動する。
接続部位104は、肩関節203と、肘関節204と、手首関節205を備えており、掌に接続部位側カメラ106が固定されている。肩関節203と、肘関節204と、手首関節205は能動機構を有しており、接続部位側カメラ106は、肩関節203と、肘関節204と、手首関節205によって、胴体200に対する撮像方向を変えることができる。また胴体200に対する接続部位側カメラ106のカメラ位置を変えることもできる。
このロボットは、作業環境内におえる頭部201の位置を計測する手段を備えており、体幹側カメラ105(a)および105(b)のカメラ位置と撮像方向を認識している。また、胴体200に対する接続部位側カメラ106のカメラ位置と撮像方向を認識している。
本実施例のロボット100は、周囲物体30,40,50,60を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物20を空いたスペースに設置する。ロボット100の体幹側カメラ105(a)および105(b)は通常、ステレオカメラとして機能していて、図中の点A、B、C、Dは、ロボット100の視点である。
Since Example 1 and Example 2 have a common part, the same part or device is assigned the same number, and redundant description is omitted.
FIG. 12 is a diagram illustrating an appearance of a robot using a stereo camera. The
A
The
This robot includes means for measuring the position of the
The
図13は、本実施例のステレオカメラを用いたロボット100の周囲を認識する機構101の概略を示す図である。本実施例のロボット100は、制御装置114を有している。制御装置114は、画像情報処理装置116を備えており、画像情報処理装置116は体幹103に設けられている体幹側カメラ105(a)および105(b)から体幹側画像情報を入力し、接続部位104に設けられている接続部位側カメラ106から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置111から体幹側カメラ105(a)および105(b)の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置109から接続部位側カメラ106の位置と撮像方向を入力し、これらの画像情報およびカメラ位置と撮像方向に関する情報から、環境地図を作成し、環境地図記憶装置112に記憶する。その環境地図情報に基づき、その後の移動経路を作成し(移動経路作成装置113)、作成した移動経路情報にしたがって、車輪206と能動機構を有する関節を回転させるアクチュエータ群115を制御し、作成した移動経路に沿って、車輪206、頭部201、接続部位104を移動させる。ロボット100は、車輪206の回転数を検出する車輪回転数検出装置119と、各関節の関節角を検出する関節角検出装置123と、胴体200内に設置されていて胴体200の位置を検出する位置情報検出装置121を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置111と接続部位側カメラ位置撮像方向計算装置109に入力される。
ロボット100は、位置と撮像方位が既知のカメラで撮像した画像情報から周囲の環境を認識して移動経路を計算し、計算した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像するという処理を繰返しながら、自律的に移動する。
FIG. 13 is a diagram illustrating an outline of a
The
図14に、ロボット100の視野の鳥瞰図を示す。ロボット100の接続部位104とその把持物20が体幹側カメラ105(a)および105(b)の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。
具体的には、図14の例において、点Aおよび点Bは、実線矢印で示すように体幹側カメラ105(a)および105(b)の両方より撮像可能であるため、体幹側画像からステレオ画像が生成可能となっており、ロボットの移動に合わせてその情報を時系列上連続して取得することができる。
それに対し、点Cおよび点Dに関しては、体幹側カメラだけでは下肢の移動位置もしくは接続部位の動作によって、それぞれの点の体幹側カメラ105(a)および105(b)を利用したステレオ視が不可能となり、その周囲についての環境情報を取得することができない。破線矢印は、接続部位あるいは把持物体が視線を遮るため、同じ特徴点を有する画像を撮像することができないことを示している。
ステレオカメラの場合、特に周囲物体の奥行きや高さなどの情報を必要とする場合は、複数の位置情報が既知のカメラを利用するか、あるいは1台のカメラが移動しながら撮像した場合のように、複数の画像から視差情報が得られることが必須となる。このため、点Cおよび点Dは両眼視ができないことから、点Cおよび点D付近の物体の位置関係を認識することができない。
FIG. 14 shows a bird's-eye view of the field of view of the
Specifically, in the example of FIG. 14, the point A and the point B can be captured by both the trunk side cameras 105 (a) and 105 (b) as indicated by solid arrows, and thus the trunk side image Thus, a stereo image can be generated, and the information can be continuously acquired in time series as the robot moves.
On the other hand, with respect to the points C and D, stereo viewing using the trunk-side cameras 105 (a) and 105 (b) at the respective points is performed only by the trunk-side camera, depending on the movement position of the lower limbs or the movement of the connection part. Cannot be obtained, and environmental information about the surroundings cannot be acquired. A broken line arrow indicates that an image having the same feature point cannot be captured because the connection site or the grasped object blocks the line of sight.
In the case of a stereo camera, especially when information such as the depth and height of surrounding objects is required, it is possible to use a camera whose position information is already known, or when a single camera is moving and capturing images. In addition, it is essential to obtain parallax information from a plurality of images. For this reason, since the points C and D cannot be viewed with both eyes, the positional relationship between the objects in the vicinity of the points C and D cannot be recognized.
このような場合、本実施例は、点Cおよび点Dの視点のように、視界を遮る物体の有無等により、体幹側カメラ105のいずれかがステレオカメラとして満足に機能することが困難な場合には、いずれかの体幹側カメラ105と接続部位側カメラ106を用いてステレオ画像を得ることができる。
具体的には、点Aおよび点Bの周辺など、接続部位104などの視野を遮る物体がない場合には体幹側カメラ105(a)および105(b)によりステレオ画像を取得し、周囲物体のロボット100に対する相対的な位置関係を計算することができる(第1計算手段)。その一方で、点Cのような場合には体幹側カメラ105(b)と接続部位側カメラ106により両眼視し、点Dの場合には体幹側カメラ105(a)と接続部位側カメラ106により両眼視をすることにより、周辺環境全域を認識するのに必要な情報を得、周囲物体のロボット100に対する相対的な位置関係を計算することができる(第2計算手段)。
In such a case, in the present embodiment, it is difficult for any of the
Specifically, when there is no object that obstructs the field of view, such as the
接続部位側カメラ106を使って両眼視をする場合、複数ある体幹側カメラのうち、どのカメラを使ってステレオ画像を取得するかは、接続部位104の撮像される範囲が最も少ない体幹側画像が取得される体幹側カメラを計算に用いるよう選択することができる。この選択は、画像情報処理装置116が判断する。
When binocular vision is performed using the connection
図15に、本実施例のロボットの動作概要を表わすフローチャートを示す。このとき、ロボット100は把持物20を把持しており、それを物体30,40,50および60に衝突しない接続部位軌道を作成し、把持物20を空いたスペースに設置する作業を実行したい。ロボット100の接続部位104は図14に示すような位置にあり、このような状態を表す画像が体幹側カメラ105(a)および105(b)の位置より撮像されている。接続部位104の軌道を作成するにあたって、物体50および物体60の一部が接続部位104および把持物20により未知となっているため、図15に示す画像情報処理を開始する。
ステップS500では、体幹側カメラ105(a)と105(b)および接続部位側カメラ106により撮像された複数の画像が画像情報処理装置116へ入力され、ステレオ画像が取得される。画像情報処理装置116は、体幹側画像の未知範囲の大きさにより、接続部位側画像を利用するかどうかを判断してもよく、接続部位104によって遮られ、未知範囲となる範囲がより少ない画像の組み合わせからステレオ画像を得る手段を有している。
FIG. 15 is a flowchart showing an outline of the operation of the robot of this embodiment. At this time, the
In step S500, a plurality of images captured by the trunk side cameras 105 (a) and 105 (b) and the connected
ステップS502では、ステップS500で選択され、取得されたステレオ画像に基づきロボット100の周囲物体の相対的な位置を計算する。画像データはワールド座標系からロボットを中心とする座標系に変換され、周囲物体の位置関係が計算され、ロボット100と周囲物体の相対的位置情報として出力される。例として、この相対的位置情報の取得には、視差画像や距離画像を用いてもよい。
このとき、体幹側画像どうしからステレオ画像情報を得る場合と、体幹側画像と接続部位側画像を利用してステレオ画像を得る場合とで、それぞれに第1計算手段および第2計算手段という、異なる計算手段を用意することが望ましい。体幹側カメラどうしは並行であるが、体幹側画像と接続部位側画像を利用した計算手段は、それぞれのカメラの相対位置が異なるため、例えばステレオ画像の平行化やハンド・アイ校正のような座標系の変換などが適用できる。
In step S502, the relative positions of the surrounding objects of the
At this time, when obtaining stereo image information from the trunk side images, and when obtaining a stereo image using the trunk side image and the connection part side image, they are referred to as first calculation means and second calculation means, respectively. It is desirable to prepare different calculation means. The trunk side cameras are parallel to each other, but the calculation means using the trunk side image and the connected part side image are different in relative positions of the respective cameras. For example, parallelization of stereo images and hand-eye calibration are performed. Various coordinate system transformations can be applied.
画像処理装置116において算出された相対的位置情報は、ステップS504において周囲物体の相対的位置を表わすデータとして構築され、環境地図記憶装置112に記憶される。環境地図とは、ロボット100が周囲物体の相対的位置を把握できるようなデータを指す。例えば、画像情報処理装置116において視差画像を算出するような場合は、この環境地図は画像視差空間(SDS空間 Spacial Disparity Space)により表わすことが可能である。SDS空間においては、点A、点B、点Cおよび点Dを有する周囲物体30,40,50,60は奥行きのある曲面として表れてくる。
The relative position information calculated in the
ステップS506では、環境地図情報に基づいてロボット100の移動経路を作成する。本実施例のロボット100は、周囲物体30,40,50,60を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物20を空いたスペースに設置することを作業目的としているため、このような場合は環境地図情報より周囲物体が存在しない平面を検出し、そこへ把持物20を設置できるような接続部位の軌道を作成することが望ましい。作成された移動経路に沿って、ステップS508では、アクチュエータ115により実際の動作が実現される。
In step S506, the movement route of the
図16に、ロボット100の画像情報処理を表わすフローチャートを示す。図15のステップS500のスレテオ画像の取得方法は、複数の体幹側画像を使って取得する方法と、体幹側画像のいずれかと接続部位側画像を使って取得する方法の2手法が存在する。ステップS160では、体幹側カメラ105(a)と105(b)により撮像された複数の体幹側画像と、接続部位側カメラ106により撮像された接続部位側画像が画像情報処理装置116に入力される。ステップS162では、体幹側画像に接続部位104が撮像されているかを判断する。接続部位が撮像されていない場合(NOの場合)はステップS164に移行し、体幹側画像どうしからステレオ画像を取得し、第1計算手段を実行する。一方で、体幹側画像に接続部位が撮像されている場合は(YESの場合)はステップS166に進み、いずれかの体幹側画像と接続部位側画像からステレオ画像を取得し、第2計算手段を実行する。ステップS166で選択される体幹側画像は、接続部位の撮像されている範囲がより小さい方の体幹側画像である。
FIG. 16 is a flowchart showing image information processing of the
本実施例では、体幹および接続部位に合計3台のカメラを用いて周囲物体の3次元情報を得る場合を例示しているが、より多くのカメラを用いても良いし、1台の接続部位側カメラが移動することで連続して撮像するような手法を採っても良い。 In the present embodiment, the case where the three-dimensional information of the surrounding object is obtained using a total of three cameras for the trunk and the connection part is illustrated, but more cameras may be used, or one connection You may take the technique of imaging continuously, as a part side camera moves.
本実施例では静的な周囲物体を認識する場合について例示したが、移動経路作成装置113において作成された経路に沿って接続部位が動作を開始した後に、新たな障害物となる周囲物体が移動経路上に出現した場合や、周囲物体とロボットの位置が下肢の移動等により変化し、接続部位の軌道に修正が必要となった場合に対応することができない。
In this embodiment, the case of recognizing a static surrounding object is illustrated. However, after the connected part starts to move along the route created by the movement
図17に、動的な周囲物体に対応することができる形態を示す。このロボット機構101は、実施例2のロボット機構に、さらに接続部位の起動に修正を加える移動経路修正装置125を設けることで、一度発令された経路を適宜修正することができる。
また、適宜周辺環境のデータを更新することで、接続部位の動作と周囲の環境の変化を同時に、連続して認識し、それに応じて軌道を修正することができる。
FIG. 17 shows a form that can deal with a dynamic surrounding object. The
In addition, by appropriately updating the data of the surrounding environment, it is possible to simultaneously recognize the operation of the connected portion and the change of the surrounding environment at the same time and correct the trajectory accordingly.
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
例えば、アームだけでなく、脚などの複数の接続部位にそれぞれ、あるいは1本の接続部位の異なる部位に接続部位側カメラを回転可能に複数個装備すれば、撮像可能な範囲がより拡大される。
また、実施例2では体幹側カメラを主眼としたステレオ視について例示したが、複数の接続部位側カメラを用いてステレオ視を可能にし、体幹側カメラと接続部位側カメラそれぞれのステレオ画像処理装置を装備することで、さらに多様な用途に利用することができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.
For example, if a plurality of connection site side cameras can be rotatably mounted not only on an arm but also on a plurality of connection sites such as legs, or on different sites of one connection site, the imageable range is further expanded. .
Further, in the second embodiment, the stereo view with the trunk side camera as the main object is illustrated, but the stereo view is made possible by using a plurality of connection part side cameras, and the stereo image processing of each of the trunk side camera and the connection part side camera is performed. Equipped with a device, it can be used for more diverse applications.
The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.
100:ロボット
101:ロボット機構
103:体幹
104:接続部位(アーム)
105:体幹側カメラ
105(a):体幹側カメラ
105(b):体幹側カメラ
106:接続部位側カメラ
109:接続部位側カメラ位置撮像方向計算装置
110:合成画像作成装置
111:体幹側カメラ位置撮像方向計算装置
112:環境地図記憶装置
113:移動経路作成装置
114:制御装置
115:アクチュエータ群
116:画像処理装置
117:関節角検出装置
119:車輪回転数検出装置
121:位置情報検出装置
125:移動経路修正装置
200:胴体
201:頭部
202:首関節
203:肩関節
204:肘関節
205:手首関節
206:車輪
100: Robot 101: Robot mechanism 103: Trunk 104: Connection part (arm)
105: trunk-side camera 105 (a): trunk-side camera 105 (b): trunk-side camera 106: connection site-side camera 109: connection site-side camera position imaging direction calculation device 110: composite image creation device 111: body Stem side camera position imaging direction calculation device 112: Environmental map storage device 113: Movement path creation device 114: Control device 115: Actuator group 116: Image processing device 117: Joint angle detection device 119: Wheel rotation number detection device 121: Position information Detection device 125: Movement path correction device 200: Body 201: Head 202: Neck joint 203: Shoulder joint 204: Elbow joint 205: Wrist joint 206: Wheel
Claims (7)
能動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段と、
を備えている移動型ロボット。 The trunk,
A connection site connected to the trunk through a joint having an active mechanism;
A trunk-side camera provided on the trunk;
A connection site side camera provided in the connection site;
Connect from the trunk side image by replacing a part of the trunk side image obtained by imaging with the trunk side camera with a part of the connected site side image obtained by imaging with the connected site side camera. A composite image creating means for creating a composite image from which a part is removed;
Mobile robot equipped with.
体幹側画像内において接続部位を撮像している範囲を特定する第1特定手段と、
接続部位側画像内において、第1特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第2特定手段と、
第1特定手段で特定した範囲内の体幹側画像を、第2特定手段で特定した範囲内の接続部位側画像に置き換える手段と、
を備えている請求項1の移動型ロボット。 The composite image creation means
First specifying means for specifying a range in which a connection site is imaged in the trunk side image;
A second specifying means for specifying a range imaging the same range as the range specified by the first specifying means in the connection site side image;
Means for replacing the trunk side image within the range specified by the first specifying means with the connected part side image within the range specified by the second specifying means;
The mobile robot according to claim 1, comprising:
合成画像作成手段は、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することを特徴とする請求項1又は2の移動型ロボット。 There are multiple trunk side cameras,
3. The mobile robot according to claim 1, wherein the composite image creating means creates a composite image for the trunk side image captured by each trunk side camera.
が付加されている請求項1から3のいずれかの移動型ロボット。 Means for calculating the relative positional relationship of an object existing in the imaging range with respect to the mobile robot using the composite image created by the composite image creation means;
The mobile robot according to claim 1, to which is added.
が付加されている請求項1から4のいずれかの移動型ロボット。 Means for adjusting the orientation of the connection site side camera so that the connection site side camera faces the direction of imaging the imaging range of the trunk side camera when the connection site enters the imaging range of the trunk side camera;
The mobile robot according to claim 1, to which is added.
駆動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている2以上の体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
2以上の体幹側カメラで撮像した2以上の体幹側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第1計算手段と、
体幹側カメラの少なくとも1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第2計算手段と、
を備えている移動型ロボット。 The trunk,
A connection site connected to the trunk through a joint having a drive mechanism;
Two or more trunk side cameras provided on the trunk;
A connection site side camera provided in the connection site;
First calculation means for calculating a relative positional relationship of an object existing in the imaging range with respect to the mobile robot from two or more trunk-side images captured by two or more trunk-side cameras;
Calculating a relative positional relationship of an object existing in the imaging range with respect to the mobile robot from a trunk side image captured by at least one of the trunk side cameras and a connection site side image captured by the connection site side camera; 2 calculation means;
Mobile robot equipped with.
接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることを特徴とする請求項6の移動型ロボット。 The second calculation means includes
The mobile robot according to claim 6, wherein the trunk side image with the smallest range in which the connected part is imaged is selected and used for calculation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010057267A JP4849178B2 (en) | 2010-03-15 | 2010-03-15 | Mobile robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010057267A JP4849178B2 (en) | 2010-03-15 | 2010-03-15 | Mobile robot |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006041323A Division JP4506685B2 (en) | 2006-02-17 | 2006-02-17 | Mobile robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010131751A true JP2010131751A (en) | 2010-06-17 |
JP4849178B2 JP4849178B2 (en) | 2012-01-11 |
Family
ID=42343592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010057267A Expired - Fee Related JP4849178B2 (en) | 2010-03-15 | 2010-03-15 | Mobile robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4849178B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012051080A (en) * | 2010-09-02 | 2012-03-15 | Toyota Motor Corp | Robot and method for controlling the same |
WO2014102995A1 (en) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | Monitoring system, method, and information-recording medium containing program |
JP2014151377A (en) * | 2013-02-06 | 2014-08-25 | Seiko Epson Corp | Robot control method, robot control device, robot system, robot, and program |
WO2019186860A1 (en) * | 2018-03-29 | 2019-10-03 | 三菱電機株式会社 | Image processing device, image processing method, and monitor system |
CN110856932A (en) * | 2018-08-24 | 2020-03-03 | 发那科株式会社 | Interference avoidance device and robot system |
JP2020093364A (en) * | 2018-12-14 | 2020-06-18 | トヨタ自動車株式会社 | Trajectory generation device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57194895A (en) * | 1981-05-21 | 1982-11-30 | Tokyo Shibaura Electric Co | Monitoring device for manipulator |
JPS6017509A (en) * | 1983-07-11 | 1985-01-29 | Furukawa Electric Co Ltd:The | Arm positioning method of hot-line robot for power distribution work |
JPH0360989A (en) * | 1989-07-27 | 1991-03-15 | Hitachi Ltd | Method and device for displaying picture and remote control device |
JPH05126521A (en) * | 1991-11-08 | 1993-05-21 | Toshiba Corp | Position-measuring device for remote-controlled manipulator |
JPH10230484A (en) * | 1997-02-24 | 1998-09-02 | Nec Corp | Machining work robot |
JP2003080488A (en) * | 2001-09-05 | 2003-03-18 | National Institute Of Advanced Industrial & Technology | Monitoring device by remote operation |
JP2005092820A (en) * | 2003-09-19 | 2005-04-07 | Sony Corp | Environment recognition apparatus and method, path planning apparatus and method, and robot apparatus |
-
2010
- 2010-03-15 JP JP2010057267A patent/JP4849178B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57194895A (en) * | 1981-05-21 | 1982-11-30 | Tokyo Shibaura Electric Co | Monitoring device for manipulator |
JPS6017509A (en) * | 1983-07-11 | 1985-01-29 | Furukawa Electric Co Ltd:The | Arm positioning method of hot-line robot for power distribution work |
JPH0360989A (en) * | 1989-07-27 | 1991-03-15 | Hitachi Ltd | Method and device for displaying picture and remote control device |
JPH05126521A (en) * | 1991-11-08 | 1993-05-21 | Toshiba Corp | Position-measuring device for remote-controlled manipulator |
JPH10230484A (en) * | 1997-02-24 | 1998-09-02 | Nec Corp | Machining work robot |
JP2003080488A (en) * | 2001-09-05 | 2003-03-18 | National Institute Of Advanced Industrial & Technology | Monitoring device by remote operation |
JP2005092820A (en) * | 2003-09-19 | 2005-04-07 | Sony Corp | Environment recognition apparatus and method, path planning apparatus and method, and robot apparatus |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012051080A (en) * | 2010-09-02 | 2012-03-15 | Toyota Motor Corp | Robot and method for controlling the same |
WO2014102995A1 (en) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | Monitoring system, method, and information-recording medium containing program |
JPWO2014102995A1 (en) * | 2012-12-28 | 2017-01-12 | 株式会社日立製作所 | Information recording medium storing monitoring system, method and program |
JP2014151377A (en) * | 2013-02-06 | 2014-08-25 | Seiko Epson Corp | Robot control method, robot control device, robot system, robot, and program |
GB2586389B (en) * | 2018-03-29 | 2022-03-30 | Mitsubishi Electric Corp | Image processing device, image processing method, and monitoring system |
WO2019186860A1 (en) * | 2018-03-29 | 2019-10-03 | 三菱電機株式会社 | Image processing device, image processing method, and monitor system |
JPWO2019186860A1 (en) * | 2018-03-29 | 2020-07-09 | 三菱電機株式会社 | Image processing apparatus, image processing method, and monitoring system |
GB2586389A (en) * | 2018-03-29 | 2021-02-17 | Mitsubishi Electric Corp | Image processing device, image processing method, and monitor system |
US11494934B2 (en) | 2018-03-29 | 2022-11-08 | Mitsubishi Electric Corporation | Image processing device, image processing method, and monitoring system |
CN110856932A (en) * | 2018-08-24 | 2020-03-03 | 发那科株式会社 | Interference avoidance device and robot system |
JP2020093364A (en) * | 2018-12-14 | 2020-06-18 | トヨタ自動車株式会社 | Trajectory generation device |
US11433538B2 (en) | 2018-12-14 | 2022-09-06 | Toyota Jidosha Kabushiki Kaisha | Trajectory generation system and trajectory generating method |
JP7028151B2 (en) | 2018-12-14 | 2022-03-02 | トヨタ自動車株式会社 | Orbit generator |
Also Published As
Publication number | Publication date |
---|---|
JP4849178B2 (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4506685B2 (en) | Mobile robot | |
EP2682711B1 (en) | Apparatus and method for three-dimensional measurement and robot system comprising said apparatus | |
JP6180087B2 (en) | Information processing apparatus and information processing method | |
JP4004899B2 (en) | Article position / orientation detection apparatus and article removal apparatus | |
JP6855492B2 (en) | Robot system, robot system control device, and robot system control method | |
JP4849178B2 (en) | Mobile robot | |
JP6317618B2 (en) | Information processing apparatus and method, measuring apparatus, and working apparatus | |
JP2011175477A (en) | Three-dimensional measurement apparatus, processing method and program | |
CN109664317B (en) | Object grabbing system and method of robot | |
JP2008023630A (en) | Arm-guiding moving body and method for guiding arm | |
JP5698815B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
KR101611427B1 (en) | Image processing method and apparatus performing the same | |
CN107442973A (en) | Welding bead localization method and device based on machine vision | |
JP2015135333A (en) | Information processing device, control method for information processing device, and program | |
JP7093881B1 (en) | System and automatic guided vehicle | |
JP2005205519A (en) | Robot hand device | |
JP2012051080A (en) | Robot and method for controlling the same | |
JP6603993B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
WO2024048491A1 (en) | Robot system, and method for controlling robot system | |
WO2023157083A1 (en) | Device for acquiring position of workpiece, control device, robot system, and method | |
Shin et al. | Visual guidance system for remote-operation | |
JP2010186219A (en) | Template generation system, template matching system, and template generation method | |
Mendiburu et al. | Obstacle avoidance for a robot manipulator based on visual feedback | |
Mezouar | Optimal Camera Trajectory under visibility constraint in visual servoing: a variational approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110920 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110922 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111003 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |