JP2009056529A - Legged mobile robot - Google Patents
Legged mobile robot Download PDFInfo
- Publication number
- JP2009056529A JP2009056529A JP2007224755A JP2007224755A JP2009056529A JP 2009056529 A JP2009056529 A JP 2009056529A JP 2007224755 A JP2007224755 A JP 2007224755A JP 2007224755 A JP2007224755 A JP 2007224755A JP 2009056529 A JP2009056529 A JP 2009056529A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- brightness
- incident light
- mobile robot
- legged mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
この発明は脚式移動ロボットに関し、より具体的には視覚センサとしてのＣＣＤカメラ（撮像素子）を備えると共に、それに太陽光などの高輝度の光源が写り込まれるときも撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットに関する。 The present invention relates to a legged mobile robot, and more specifically, includes a CCD camera (imaging device) as a visual sensor, and sets an appropriate luminance value even when a high-intensity light source such as sunlight is reflected on the camera. This is related to a legged mobile robot that can be used for shooting.
従来、例えば下記の特許文献１において、太陽光などの高輝度の光源がカメラの画角内に写り込まれるとき、撮像素子面上に内部反射で発生するゴーストの位置、形状などを予測し、撮影画像のどの部分がゴーストか判定し、判定されたゴースト部分を撮影者の指定により、あるいは自動的に補正（低減処理）する技術が提案されている。
特許文献１記載の技術はいわゆるデジタルカメラやビデオカメラであり、ユーザが人などの撮影対象に向けて操作して撮影するカメラについての技術であるが、その種のカメラを脚式移動ロボットなどの移動体に搭載して視覚センサとして使用することがある。 The technology described in Patent Document 1 is a so-called digital camera or video camera, which is a technology related to a camera that a user operates to shoot a subject such as a person, and such a camera is a legged mobile robot or the like. It may be mounted on a moving body and used as a visual sensor.
そのような場合、図９に示す如く、太陽光やスポットライトなどの高輝度光源が撮像素子に撮像されるとき、光源の影響で暗部にいる本来撮影したい人などの撮影対象の輝度値が潰れてしまい、撮影対象を特定できないことがある。図９で実際には人は画面に右側に存在する。 In such a case, as shown in FIG. 9, when a high-intensity light source such as sunlight or a spotlight is imaged on the image sensor, the luminance value of a subject to be photographed such as a person who wants to shoot in the dark area is destroyed due to the light source In some cases, the subject to be photographed cannot be specified. In FIG. 9, the person is actually present on the right side of the screen.
従ってこの発明の目的は上記した課題を解決し、搭載するカメラ（撮像素子）に太陽光などの高輝度の光源が写り込まれるときも、撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットを提供することにある。 Accordingly, the object of the present invention is to solve the problems described above, and to shoot a subject to be photographed with an appropriate luminance value even when a high-intensity light source such as sunlight is reflected on the camera (image sensor) to be mounted. It is to provide a mobile robot.
上記した課題を解決するために、請求項１に係る脚式移動ロボットにあっては、撮影対象を含む外界からの入射光によって画像を撮像する撮像素子と、前記撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、前記高輝度撮像部位の輝度を低減する輝度低減動作を実行する輝度低減動作実行手段とを備える如く構成した。 In order to solve the above-described problem, in the legged mobile robot according to claim 1, an image pickup device that picks up an image with incident light from the outside including the subject to be imaged, and an image picked up by the image pickup device. When there is a high-brightness imaging part imaged by high-luminance incident light, the apparatus is configured to include a brightness reduction operation executing unit that executes a brightness reduction operation for reducing the brightness of the high-brightness imaging part.
請求項２に係る脚式移動ロボットにあっては、基体と、前記基体に連結される腕部と、前記腕部に連結されるハンドとを少なくとも有すると共に、前記輝度低減動作実行手段は、前記ハンドを駆動して前記高輝度の入射光を遮断することで前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 2 includes at least a base, an arm connected to the base, and a hand connected to the arm. The hand is driven to block the high-luminance incident light, thereby reducing the luminance of the high-luminance imaging region.
請求項３に係る脚式移動ロボットにあっては、前記撮影対象が人であると共に、前記輝度低減動作実行手段は、人の画像パラメータを保持しつつ、前記ハンドを駆動して前記高輝度の入射光を遮断する如く構成した。 In the legged mobile robot according to claim 3, the subject to be imaged is a person, and the brightness reduction operation executing means drives the hand while holding the image parameter of the person to increase the brightness of the person. It was configured to block incident light.
請求項４に係る脚式移動ロボットにあっては、基体と、前記基体に連結されると共に、前記撮像素子が搭載される頭部とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記頭部を回転させて前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 4 includes at least a base and a head connected to the base and on which the imaging device is mounted, and the brightness reduction operation executing means includes the head The unit is rotated to reduce the luminance of the high-luminance imaging region.
請求項５に係る脚式移動ロボットにあっては、基体と、前記基体に連結される頭部と脚部と腕部とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記脚部を駆動して前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 5 includes at least a base, a head, a leg, and an arm connected to the base, and the brightness reduction operation executing means drives the leg. Thus, the brightness of the high brightness imaging region is reduced.
尚、上記で「高輝度の入射光」とは光源などの輝度が比較的高い入射光を、「高輝度撮像部位」とは高輝度の入射光によって画像に撮像される部位を意味する。 In the above, “high luminance incident light” means incident light having a relatively high luminance such as a light source, and “high luminance imaging portion” means a portion that is imaged by high luminance incident light.
請求項１に係る脚式移動ロボットにあっては、撮影対象を含む外界からの入射光によって画像を撮像する撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、その輝度を低減する輝度低減動作を実行する輝度低減動作実行手段とを備える如く構成したので、太陽光などの高輝度の入射光によって撮像された高輝度撮像部位があるときも、その輝度を低減することで人などの撮影対象を適切な輝度値で撮影することができる。 In the legged mobile robot according to claim 1, the high-brightness imaging part imaged by the high-intensity incident light is captured on the image captured by the imaging element that captures the image by the incident light from the outside including the imaging target. In some cases, since it is configured to include a brightness reduction operation executing means for executing a brightness reduction operation for reducing the brightness, even when there is a high brightness imaging part imaged by high brightness incident light such as sunlight, By reducing the brightness, a subject such as a person can be photographed with an appropriate brightness value.
請求項２に係る脚式移動ロボットにあっては、ハンドなどを少なくとも有すると共に、ハンドを駆動して高輝度の入射光を遮断することで高輝度撮像部位の輝度を低減する如く構成したので、上記した効果に加え、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができる。 The legged mobile robot according to claim 2 has at least a hand or the like, and is configured to reduce the luminance of the high-luminance imaging region by driving the hand and blocking high-luminance incident light. In addition to the effects described above, a subject such as a person can be photographed with an appropriate luminance value without improving the performance of the image sensor or image processing.
請求項３に係る脚式移動ロボットにあっては、撮影対象である人の画像パラメータを保持しつつ、ハンドを駆動して高輝度の入射光を遮断する如く構成したので、上記した効果に加え、撮影対象である人を確実に撮影することができる。 In the legged mobile robot according to the third aspect, since the hand is driven to block the high-intensity incident light while maintaining the image parameters of the person to be imaged, in addition to the effects described above. The person who is the subject of photography can be reliably photographed.
請求項４に係る脚式移動ロボットにあっては、撮像素子が搭載される頭部などを少なくとも有すると共に、頭部を回転させて前記高輝度撮像部位の輝度を低減する如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも確実に撮影対象を撮影することができる。 The legged mobile robot according to claim 4 has at least a head on which an image sensor is mounted and is configured to reduce the luminance of the high-luminance imaging region by rotating the head. In addition, it is possible to shoot a subject such as a person with an appropriate luminance value without improving the performance of the image sensor or image processing, and reliably shoot the subject even when the high-luminance imaging part is relatively large. Can do.
請求項５に係る脚式移動ロボットにあっては、基体に連結される脚部などを少なくとも有すると共に、脚部を駆動して前記高輝度撮像部位の輝度を低減する如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも一層確実に撮影対象を撮影することができる。 In the legged mobile robot according to the fifth aspect of the present invention, the legged mobile robot has at least a leg connected to the base body and is configured to drive the leg to reduce the luminance of the high-luminance imaging region. It is possible to shoot a subject such as a person with an appropriate luminance value without improving the performance of the image sensor and image processing, and more reliably shoot the subject even when the high-luminance imaging part is relatively large. Can do.
以下、添付図面に即してこの発明に係る脚式移動ロボットを実施するための最良の形態について説明する。 The best mode for carrying out a legged mobile robot according to the present invention will be described below with reference to the accompanying drawings.
図１はこの実施例に係る脚式移動ロボットの正面図、図２は図１に示すロボットの側面図である。 FIG. 1 is a front view of a legged mobile robot according to this embodiment, and FIG. 2 is a side view of the robot shown in FIG.
図１に示すように、脚式移動ロボット（移動体。以下単に「ロボット」という）１０は、左右２本の脚部１２Ｌ，１２Ｒ（左側をＬ、右側をＲとする。以下同じ）を備える。脚部１２Ｌ，１２Ｒは、基体１４の下部に連結される。基体１４の上部には頭部１６が連結されると共に、側方には左右２本の腕部２０Ｌ，２０Ｒが連結される。左右の腕部２０Ｌ，２０Ｒの先端には、それぞれハンド（エンドエフェクタ）２２Ｌ，２２Ｒが連結される。この実施例にあっては、脚式移動ロボットとして、２本の脚部と２本の腕部を備えた、１．３ｍ程度の身長を有するヒューマノイド型のロボットを例にとる。 As shown in FIG. 1, a legged mobile robot (moving body; hereinafter simply referred to as “robot”) 10 includes two left and right leg portions 12L and 12R (L on the left side and R on the right side; the same applies hereinafter). . The leg portions 12L and 12R are connected to the lower portion of the base 14. A head portion 16 is connected to the upper portion of the base body 14, and two left and right arm portions 20L and 20R are connected to the side. Hands (end effectors) 22L and 22R are connected to the tips of the left and right arm portions 20L and 20R, respectively. In this embodiment, a humanoid robot having a height of about 1.3 m and having two legs and two arms is taken as an example of a legged mobile robot.
図２に示すように、基体１４の背部には格納部２４が設けられ、その内部には電子制御ユニット（以下「ＥＣＵ」と呼ぶ）２６およびバッテリ（図示せず）などが収容される。 As shown in FIG. 2, a storage portion 24 is provided on the back of the base 14, and an electronic control unit (hereinafter referred to as “ECU”) 26, a battery (not shown), and the like are accommodated therein.
図３は、図１に示すロボット１０をスケルトンで表す説明図である。以下、図３を参照し、ロボット１０の内部構造について関節を中心に説明する。尚、図示のロボット１０は左右対称であるので、以降Ｌ，Ｒの付記を省略する。 FIG. 3 is an explanatory diagram showing the robot 10 shown in FIG. 1 as a skeleton. Hereinafter, the internal structure of the robot 10 will be described with a focus on joints with reference to FIG. Since the illustrated robot 10 is bilaterally symmetric, L and R are not described below.
左右の脚部１２は、それぞれ大腿リンク３０と下腿リンク３２と足部３４とを備える。大腿リンク３０は、股関節を介して基体１４に連結される。図３では、基体１４を基体リンク３６として簡略的に示すが、基体リンク３６は、関節３８を介して上半部３６ａと下半部３６ｂとが相対変位自在に構成される。 The left and right legs 12 include a thigh link 30, a crus link 32, and a foot 34, respectively. The thigh link 30 is connected to the base body 14 via a hip joint. In FIG. 3, the base body 14 is simply shown as the base link 36, but the base link 36 is configured such that the upper half 36 a and the lower half 36 b can be relatively displaced via a joint 38.
大腿リンク３０と下腿リンク３２は膝関節を介して連結されると共に、下腿リンク３２と足部３４は足関節を介して連結される。股関節は、Ｚ軸（ヨー軸）回りの回転軸４０と、Ｙ軸（ピッチ軸）回りの回転軸４２と、Ｘ軸（ロール軸）回りの回転軸４４とから構成される。即ち、股関節は３自由度を備える。 The thigh link 30 and the lower leg link 32 are connected via a knee joint, and the lower leg link 32 and the foot 34 are connected via an ankle joint. The hip joint includes a rotation axis 40 around the Z axis (yaw axis), a rotation axis 42 around the Y axis (pitch axis), and a rotation axis 44 around the X axis (roll axis). That is, the hip joint has three degrees of freedom.
膝関節はＹ軸回りの回転軸４６から構成され、１自由度を備える。足関節はＹ軸回りの回転軸４８とＸ軸回りの回転軸５０とから構成され、２自由度を備える。このように、左右の脚部１２のそれぞれには３個の関節を構成する６個の回転軸（自由度）が与えられ、脚部全体としては合計１２個の回転軸が与えられる。 The knee joint is composed of a rotation axis 46 around the Y axis and has one degree of freedom. The ankle joint includes a rotation axis 48 around the Y axis and a rotation axis 50 around the X axis, and has two degrees of freedom. In this way, each of the left and right leg parts 12 is provided with six rotation axes (degrees of freedom) constituting three joints, and the leg part as a whole is provided with a total of twelve rotation axes.
脚部１２は、アクチュエータ（図示せず）によって駆動される。脚部１２を駆動する脚部アクチュエータは基体１４と脚部１２の適宜位置に配置された１２個の電動モータからなり、上記した１２個の回転軸を個別に駆動する。 The leg 12 is driven by an actuator (not shown). The leg actuator that drives the leg 12 includes twelve electric motors arranged at appropriate positions of the base 14 and the leg 12, and individually drives the twelve rotating shafts described above.
また、左右の腕部２０は、それぞれ上腕リンク５２と下腕リンク５４を備える。上腕リンク５２は、肩関節を介して基体１４に連結される。上腕リンク５２と下腕リンク５４は、肘関節を介して連結されると共に、下腕リンク５４とハンド２２は手首関節を介して連結される。 The left and right arm portions 20 include an upper arm link 52 and a lower arm link 54, respectively. The upper arm link 52 is connected to the base body 14 through a shoulder joint. The upper arm link 52 and the lower arm link 54 are connected via an elbow joint, and the lower arm link 54 and the hand 22 are connected via a wrist joint.
肩関節はＹ軸回りの回転軸５６とＸ軸回りの回転軸５８とＺ軸回りの回転軸６０とから構成され、３自由度を備える。肘関節はＹ軸回りの回転軸６２から構成され、１自由度を備える。手首関節はＺ軸回りの回転軸６４とＹ軸回りの回転軸６６とＸ軸回りの回転軸６８とから構成され、３自由度を備える。このように、左右の腕部２０のそれぞれには３個の関節を構成する７個の回転軸（自由度）が与えられ、腕部全体として合計１４個の回転軸が与えられる。 The shoulder joint includes a rotation axis 56 around the Y axis, a rotation axis 58 around the X axis, and a rotation axis 60 around the Z axis, and has three degrees of freedom. The elbow joint is composed of a rotation shaft 62 around the Y axis and has one degree of freedom. The wrist joint includes a rotation axis 64 around the Z axis, a rotation axis 66 around the Y axis, and a rotation axis 68 around the X axis, and has three degrees of freedom. In this manner, each of the left and right arm portions 20 is provided with seven rotation axes (degrees of freedom) constituting three joints, and a total of 14 rotation axes are provided as the entire arm portion.
腕部２０も、脚部１２と同様に図示しないアクチュエータによって駆動される。腕部２０を駆動する腕部アクチュエータは基体１４と腕部２０の適宜位置に配置された１４個の電動モータからなり、上記した１４個の回転軸を個別に駆動する。ロボット１０は脚部アクチュエータあるいは腕部アクチュエータの動作が制御されて各回転軸が適宜な角度で駆動されることにより、脚部１２あるいは腕部２０に所望の動きが与えられる。 The arm portion 20 is also driven by an actuator (not shown) as with the leg portion 12. The arm actuator for driving the arm 20 is composed of 14 electric motors arranged at appropriate positions of the base 14 and the arm 20 and individually drives the 14 rotation shafts described above. In the robot 10, the movement of the leg actuator or the arm actuator is controlled so that each rotation axis is driven at an appropriate angle, whereby a desired movement is given to the leg 12 or the arm 20.
ハンド２２には、５本の指部７０が設けられる。指部７０は図示しないハンドアクチュエータによって動作自在とされ、腕部２０の動きに連動して物を把持する、あるいは適宜な方向を指差すなどの動作が実行可能とされる。 The hand 22 is provided with five finger portions 70. The finger unit 70 can be operated by a hand actuator (not shown), and can perform operations such as gripping an object in conjunction with the movement of the arm unit 20 or pointing in an appropriate direction.
頭部１６は、基体１４に首関節を介して連結される。首関節はＺ軸回りの回転軸７２とＹ軸回りの回転軸７４とから構成され、２自由度を備える。回転軸７２，７４も、図示しない頭部アクチュエータによって個別に駆動される。頭部アクチュエータの動作を制御して回転軸７２，７４を適宜な角度で駆動することにより、頭部１６を所望の方向に向けることができる。基体リンク３６も関節３８に配置されたアクチュエータ（図示せず）を駆動することで、上半部３６ａと下半部３６ｂが相対回転させられる。 The head 16 is connected to the base 14 via a neck joint. The neck joint includes a rotation shaft 72 around the Z axis and a rotation shaft 74 around the Y axis, and has two degrees of freedom. The rotary shafts 72 and 74 are also individually driven by a head actuator (not shown). By controlling the operation of the head actuator and driving the rotary shafts 72 and 74 at an appropriate angle, the head 16 can be directed in a desired direction. The base link 36 also drives an actuator (not shown) disposed at the joint 38, whereby the upper half 36a and the lower half 36b are relatively rotated.
左右の脚部１２には、それぞれ力センサ（６軸力センサ）７６が取り付けられ、床面から脚部１２に作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。左右の腕部２０にも同種の力センサ７８がハンド２２と手首関節の間で取り付けられ、腕部２０に作用する外力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。 A force sensor (6-axis force sensor) 76 is attached to each of the left and right legs 12, and the three-direction components Fx, Fy, Fz of the floor reaction force acting on the leg 12 from the floor and the three-direction components Mx of the moment. , My, and Mz are output. The same type of force sensor 78 is also attached to the left and right arm portions 20 between the hand 22 and the wrist joint, and the three-direction components Fx, Fy, Fz of the external force acting on the arm portion 20 and the three-direction components Mx, My, A signal indicating Mz is output.
基体１４には傾斜センサ８０が設置され、鉛直軸に対する基体１４の傾斜角度とその角速度などの状態量を示す信号を出力する。頭部１６には、人などの撮影対象を含む外界からの入射光によって撮像する、２個（左右）の撮像素子、具体的にはＣＣＤカメラ（以下「カメラ」という）８２が設置される。また、頭部１６には、マイクロフォン８４ａとスピーカ８４ｂからなる音声入出力装置８４が設けられる。 A tilt sensor 80 is installed on the base 14 and outputs a signal indicating a state quantity such as the tilt angle of the base 14 with respect to the vertical axis and its angular velocity. The head 16 is provided with two (left and right) imaging elements, specifically a CCD camera (hereinafter referred to as “camera”) 82, which captures an image with incident light from the outside including a subject such as a person. The head 16 is provided with a voice input / output device 84 including a microphone 84a and a speaker 84b.
上記したセンサなどの出力は、ＥＣＵ２６（図２に示す）に入力される。ＥＣＵ２６はマイクロコンピュータからなり、図示しないＣＰＵや入出力回路、ＲＯＭ、ＲＡＭなどを備える。 The output of the above-described sensor or the like is input to the ECU 26 (shown in FIG. 2). The ECU 26 includes a microcomputer and includes a CPU, an input / output circuit, a ROM, a RAM, and the like (not shown).
図４は、ロボット１０の構成をＥＣＵ２６の入出力関係を中心に示すブロック図である。 FIG. 4 is a block diagram showing the configuration of the robot 10 with the input / output relationship of the ECU 26 as the center.
図示の如く、ロボット１０は、上記したセンサなどに加え、回転軸４０などのそれぞれに配置されたロータリエンコーダ群８６と、ジャイロセンサ８８と、ＧＰＳ受信器９０と、人（撮影対象）が携行するＩＣタグ９２に無線系で接続されてＩＣタグ９２から発信されるＩＣタグ情報を受信するＩＣタグ信号受信器（リーダ）９４を備える。 As shown in the figure, the robot 10 is carried by a rotary encoder group 86, a gyro sensor 88, a GPS receiver 90, and a person (photographing target) arranged on each of the rotating shafts 40 in addition to the above-described sensors. An IC tag signal receiver (reader) 94 that is connected to the IC tag 92 wirelessly and receives IC tag information transmitted from the IC tag 92 is provided.
ロータリエンコーダ群８６はそれぞれ、回転軸４０などの回転角度、即ち、関節角度に応じた信号を出力する。ジャイロセンサ８８は、ロボット１０の移動方向と距離に応じた信号を出力する。ＧＰＳ受信器９０は衛星から発信された電波を受信し、ロボット１０の位置情報（緯度と経度）を取得してＥＣＵ２６に出力する。 Each of the rotary encoder groups 86 outputs a signal corresponding to the rotation angle of the rotary shaft 40 or the like, that is, the joint angle. The gyro sensor 88 outputs a signal corresponding to the moving direction and distance of the robot 10. The GPS receiver 90 receives a radio wave transmitted from a satellite, acquires position information (latitude and longitude) of the robot 10 and outputs it to the ECU 26.
ＩＣタグ信号受信器９４は、ＩＣタグ９２に記憶されると共に、それから発信される識別情報（ＲＦＩＤ（Radio Frequency ID）、具体的にはＩＣタグ９２の携行者である人を識別する識別情報）を無線系で受信してＥＣＵ２６に出力する。 The IC tag signal receiver 94 is stored in the IC tag 92 and transmitted from the identification information (RFID (Radio Frequency ID), specifically, identification information for identifying the person who carries the IC tag 92). Is received by the wireless system and output to the ECU 26.
ＥＣＵ２６は、力センサ７６、傾斜センサ８０およびロータリエンコーダ群８６などの出力に基づいて歩容を生成して歩行制御を行う。具体的には、前記した脚部アクチュエータ（符号１００で示す）の動作を制御して脚部１２を駆動してロボット１０を移動（歩行）させる。歩容生成および歩行制御については本出願人が提案した特許第３７２６０８１号に記載されているので、詳細な説明は省略する。 The ECU 26 performs gait control by generating a gait based on outputs from the force sensor 76, the tilt sensor 80, the rotary encoder group 86, and the like. Specifically, the operation of the above-described leg actuator (indicated by reference numeral 100) is controlled to drive the leg 12 to move (walk) the robot 10. Since gait generation and walking control are described in Japanese Patent No. 3726081 proposed by the present applicant, detailed description thereof is omitted.
また、ＥＣＵ２６は、歩行制御などに付随して腕部アクチュエータ（符号１０２で示す）とハンドアクチュエータ（符号１０４で示す）の動作を制御して腕部２０とハンド２２を駆動すると共に、頭部アクチュエータ（符号１０６で示す）の動作を制御して頭部１６の向きを調整する。 The ECU 26 controls the operation of the arm actuator (indicated by reference numeral 102) and the hand actuator (indicated by reference numeral 104) in association with walking control and the like to drive the arm section 20 and the hand 22, and the head actuator. The direction of the head 16 is adjusted by controlling the operation (indicated by reference numeral 106).
さらに、ＥＣＵ２６は、カメラ（撮像素子）８２に高輝度撮像部位が撮像されているとき、その輝度を低減させる輝度低減動作を実行する。 Further, when a high-luminance imaging region is imaged by the camera (imaging device) 82, the ECU 26 executes a luminance reduction operation for reducing the luminance.
図５は、ＥＣＵ２６が輝度低減動作を実行するときの構成を機能的に示すブロック図である。 FIG. 5 is a block diagram functionally showing the configuration when the ECU 26 executes the brightness reduction operation.
図示の如く、そのときのＥＣＵ２６の動作を機能別に見ると、ＥＣＵ２６は、ステレオ処理部２６ａと、ヒストグラム生成部２６ｂと、露出パラメータ設定部２６ｃと、画像処理部２６ｄと、行動生成部２６ｅとからなる。 As shown in the figure, when the operation of the ECU 26 at that time is viewed by function, the ECU 26 includes a stereo processing unit 26a, a histogram generation unit 26b, an exposure parameter setting unit 26c, an image processing unit 26d, and an action generation unit 26e. Become.
ステレオ処理部２６ａは、移動体（ロボット）１０に搭載された２個のカメラ（撮像素子）８２の出力を入力し、ステレオ処理によって視差から画素ごとの距離情報を算出する。カメラ８２の画素の数は３２０×２４０とする。ステレオ処理部２６ａは、濃淡画像データから３次元（３Ｄ）データを算出して出力する。 The stereo processing unit 26a receives the outputs of two cameras (imaging devices) 82 mounted on the moving body (robot) 10, and calculates distance information for each pixel from the parallax by stereo processing. The number of pixels of the camera 82 is 320 × 240. The stereo processing unit 26a calculates and outputs three-dimensional (3D) data from the grayscale image data.
ヒストグラム生成部２６ｂは撮影された画像の輝度値ヒストグラムを作成すると共に、距離ごとに、あるいは距離に応じて重み付けを行う。 The histogram generation unit 26b creates a luminance value histogram of the photographed image and performs weighting for each distance or according to the distance.
露出パラメータ設定部２６ｃは、撮像したい距離の輝度値から露出パラメータ（より具体的にはシャッタ速度）を設定する。カメラ８２はロボット１０に搭載されて視覚センサとして機能する関係上、自ら撮影対象を捜索して撮影することはなく、撮影画像から撮影対象を抽出しなければならない。そのため、カメラ８２の絞りは最小に固定され、近距離、具体的には０．５ｍから２．５ｍ程度で焦点が合うように調整される。従って、露出パラメータとしてはシャッタ速度のみが調整自在とされる。 The exposure parameter setting unit 26c sets the exposure parameter (more specifically, the shutter speed) from the luminance value at the distance to be imaged. Since the camera 82 is mounted on the robot 10 and functions as a visual sensor, the camera 82 does not search and shoot the shooting target itself, but must extract the shooting target from the shot image. Therefore, the diaphragm of the camera 82 is fixed to the minimum, and is adjusted so as to be focused at a short distance, specifically, about 0.5 m to 2.5 m. Therefore, only the shutter speed can be adjusted as an exposure parameter.
画像処理部２６ｄは、ロボット１０が移動するとき、視覚センサとしての画像処理を行う。 The image processing unit 26d performs image processing as a visual sensor when the robot 10 moves.
行動生成部２６ｅは、カメラ８２に光源などの高輝度の入射光によって撮像された高輝度撮像部位があるとき、その輝度を低減する輝度低減動作を実行する。 When the camera 82 has a high-brightness imaging part imaged with high-brightness incident light such as a light source, the behavior generation unit 26e performs a luminance reduction operation for reducing the luminance.
次いで、上記したＥＣＵ２６の動作をさらに詳細に説明する。 Next, the operation of the ECU 26 will be described in more detail.
図６は、図５と同様、ＥＣＵ２６が輝度低減動作するときの処理を示すフロー・チャートの前半部、図７はその後半部である。 6 is the first half of a flow chart showing the processing when the ECU 26 performs a luminance reduction operation, and FIG. 7 is the second half thereof, as in FIG.
以下説明すると、Ｓ１０において人（撮影対象）がいるか否か判断する。これは人が携行するＩＣタグ９２から発信される識別情報を受信するＩＣタグ信号受信器９４の出力から判断する。 In the following, it is determined whether or not there is a person (photographing target) in S10. This is determined from the output of the IC tag signal receiver 94 that receives the identification information transmitted from the IC tag 92 carried by a person.
Ｓ１０で否定されるときは上記した処理を繰り返すと共に、肯定されるときはＳ１２に進み、移動して人に接近し、Ｓ１４に進んで所定距離以内に接近した後、Ｓ１６に進んでさらに接近する。 When the result in S10 is negative, the above process is repeated. When the result is positive, the process proceeds to S12, moves to approach a person, proceeds to S14, approaches within a predetermined distance, then proceeds to S16, and further approaches. .
次いでＳ１８に進み、画像の中の高輝度撮像部位の方向と位置が検出されたか否か判断し、肯定されるときはＳ２０に進み、最適なハンド２２の姿勢を算出すると共に、否定されるときはＳ２２に進み、ハンド２２の姿勢としてデフォルト（既定値）を採用する。 Next, the process proceeds to S18, in which it is determined whether the direction and position of the high-luminance imaging region in the image has been detected. If the result is affirmative, the process proceeds to S20, and the optimum posture of the hand 22 is calculated and the result is negative. Proceed to S22 and adopt the default (default value) as the posture of the hand 22.
次いでＳ２４に進み、ハンド２２を太陽光などの光源、より正確には高輝度撮像部位にかざす、即ち、ハンド２２を駆動して光源などの高輝度の入射光を遮断するように動作させる。 Next, in S24, the hand 22 is held over a light source such as sunlight, more precisely, a high-brightness imaging region, that is, the hand 22 is driven to operate so as to block high-brightness incident light such as a light source.
次いで、Ｓ２６に進み、ハンド２２の位置を近づけ（基体１４に向けて引き寄せ）、Ｓ２８に進み、光源、より正確には高輝度撮像部位よりもハンド２２が大きくなったか、換言すれば高輝度の入射光がハンド２２で遮断されたか否か判断し、否定されるときはＳ２４に戻って上記の処理を繰り返す。 Next, the process proceeds to S26, the position of the hand 22 is brought closer (pulled toward the base 14), and the process proceeds to S28, where the hand 22 has become larger than the light source, more precisely, the high-luminance imaging region, in other words, the high-luminance. It is determined whether or not the incident light is blocked by the hand 22, and when the result is negative, the process returns to S24 and the above processing is repeated.
図８は、上記したハンド２２による高輝度撮像部位の輝度低減動作を説明する説明図である。 FIG. 8 is an explanatory diagram for explaining the luminance reduction operation of the high-luminance imaging region by the hand 22 described above.
図示の如く、ロボット１０はハンド２２Ｒを駆動し、光源からの高輝度の入射光（光軸）を遮断するように動作する。ハンド２２Ｒの位置はＡ，Ｂ，Ｃの順で自身の頭部１６に搭載されるカメラ８２に近づき、光源からの入射光を遮断する面積も増加する一方、人についての撮像部位を遮断する可能性も増加する。 As shown in the figure, the robot 10 operates to drive the hand 22R to block high-intensity incident light (optical axis) from the light source. The position of the hand 22R approaches the camera 82 mounted on its own head 16 in the order of A, B, and C, and the area for blocking incident light from the light source increases, while the imaging region for humans can be blocked. Sex is also increased.
従って、Ｓ１８からＳ２８までの処理においては、人についての撮像部位を保持しつつ、換言すれば人の画像パラメータを保持しつつ、光源からの高輝度の入射光を完全に遮断する位置、即ち、可能な限りＡに近い位置となるように、ハンド２２を駆動する。 Therefore, in the processing from S18 to S28, the position where the high-luminance incident light from the light source is completely blocked while holding the imaging portion of the person, in other words, holding the image parameter of the person, that is, The hand 22 is driven so as to be as close to A as possible.
図６の説明に戻ると、次いでＳ３０に進み、人の露出パラメータ、即ち、シャッタ速度を算出し、Ｓ３２に進み、人の画像から顔を抽出の可能性を判断する。 Returning to the description of FIG. 6, the process proceeds to S30, where the exposure parameter of the person, that is, the shutter speed is calculated, and the process proceeds to S32 to determine the possibility of extracting the face from the person image.
次いでＳ３４に進み、顔が抽出できないか否か判断し、肯定されるときはＳ３６に進み、光源などの高輝度の入射光によって撮像された高輝度撮像部位の輝度値の最大値が顔の輝度値を超えるか否か判断し、肯定されるときはＳ３８に進み、頭部１６の回転量を算出する。 Next, the process proceeds to S34, where it is determined whether or not a face cannot be extracted. If the determination is affirmative, the process proceeds to S36, and the maximum luminance value of the high-luminance imaging region imaged by high-luminance incident light such as a light source It is determined whether or not the value is exceeded. If the result is affirmative, the process proceeds to S38, and the amount of rotation of the head 16 is calculated.
次いでＳ４０に進み、光源などの高輝度の入射光（光軸）をずらす（回避する）ための頭部１６の移動の方向と大きさを算出し、Ｓ４２に進み、目標方向に対する頭部１６の移動指令値を決定し、Ｓ４４に進み、それに従って頭部１６を移動（回転）させ、Ｓ４６に進み、リミット処理を行う。即ち、Ｓ１８からＳ２８までのハンド２２の駆動によって高輝度撮像部位の輝度を十分に低減できなったと判断されることから、頭部１６を回転させて高輝度の入射光を回避することとする。 Next, the process proceeds to S40, and the direction and size of the movement of the head 16 for shifting (avoiding) high-intensity incident light (optical axis) such as a light source is calculated. The process proceeds to S42, and the head 16 is moved relative to the target direction. The movement command value is determined, the process proceeds to S44, the head 16 is moved (rotated) accordingly, the process proceeds to S46, and limit processing is performed. That is, since it is determined that the luminance of the high-luminance imaging region has not been sufficiently reduced by driving the hand 22 from S18 to S28, the head 16 is rotated to avoid high-luminance incident light.
次いでＳ４８に進み、顔の抽出処理を実行し、Ｓ５０に進み、顔が抽出できたか否か判断する。Ｓ５０で否定されるときはＳ５２（図７）に進み、高輝度撮像部位の輝度値の平均値が抽出された顔の輝度値を超えるか否か判断する。Ｓ５２で肯定されるときはＳ５４に進み、歩容（回転など）の修正量を算出する。尚、Ｓ５２で否定されるときはＳ５４をスキップする。 Next, the process proceeds to S48, a face extraction process is executed, and the process proceeds to S50, in which it is determined whether or not a face has been extracted. When the result in S50 is negative, the program proceeds to S52 (FIG. 7), and it is determined whether or not the average value of the luminance values of the high-luminance imaging region exceeds the extracted face luminance value. When the result in S52 is affirmative, the program proceeds to S54, and the correction amount of the gait (rotation, etc.) is calculated. If the result in S52 is NO, S54 is skipped.
次いでＳ５６に進み、算出された修正量に従って歩容指令値を出力し、Ｓ５８に進み、脚部１２を駆動して歩行制御を実行する。その後でＳ１８に戻り、上記の処理を繰り返す。尚、Ｓ３４で否定されるとき、あるいはＳ５０で肯定されるときは顔を抽出できたことから以降の処理をスキップする。 Next, in S56, a gait command value is output according to the calculated correction amount, and in S58, the leg portion 12 is driven to execute walking control. Thereafter, the process returns to S18, and the above processing is repeated. If the result in S34 is negative or the result in S50 is affirmative, the subsequent processing is skipped because the face can be extracted.
この実施例に係る脚式移動ロボット１０にあっては、人などの撮影対象を含む外界からの入射光によって画像を撮像する撮像素子（ＣＣＤカメラ）８２と、前記撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、前記高輝度撮像部位の輝度を低減する輝度低減動作を実行する輝度低減動作実行手段（ＥＣＵ２６、ステレオ処理部２６ａ、ヒストグラム生成部２６ｂ、露出パラメータ設定部２６ｃ、画像処理部２６ｄ、行動生成部２６ｅ，Ｓ１０からＳ５８）とを備える如く構成したので、太陽光などの高輝度の入射光によって撮像された高輝度撮像部位があるときも、その輝度を低減することで人などの撮影対象を適切な輝度値で撮影することができる。 In the legged mobile robot 10 according to this embodiment, an image sensor (CCD camera) 82 that captures an image with incident light from the outside including a subject such as a person, and an image captured by the image sensor. When there is a high-luminance imaging part imaged by high-luminance incident light, luminance reduction operation executing means (ECU 26, stereo processing unit 26a, histogram generation unit 26b) that executes a luminance reduction operation for reducing the luminance of the high-luminance imaging part The exposure parameter setting unit 26c, the image processing unit 26d, and the action generation units 26e, S10 to S58), so that even when there is a high-luminance imaging part imaged by high-luminance incident light such as sunlight. By reducing the luminance, it is possible to photograph a subject such as a person with an appropriate luminance value.
また、基体１４と、前記基体に連結される腕部２０と、前記腕部に連結されるハンド２２とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記ハンド２２を駆動して前記高輝度の入射光を遮断することで前記高輝度撮像部位の輝度を低減する（Ｓ１８からＳ２８）如く構成したので、上記した効果に加え、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができる。 In addition, it has at least a base body 14, an arm portion 20 connected to the base body, and a hand 22 connected to the arm portion, and the brightness reduction operation executing means drives the hand 22 to achieve the high brightness. Since the brightness of the high-brightness imaging region is reduced by blocking the incident light (S18 to S28), in addition to the effects described above, it is possible to shoot a person or the like without increasing the performance of the imaging device or image processing. The object can be photographed with an appropriate luminance value.
また、前記撮影対象が人であると共に、前記輝度低減動作実行手段は、人の撮像部位、換言すれば人の画像パラメータを保持しつつ、前記ハンド２２を駆動して前記高輝度の入射光を遮断する（Ｓ１８からＳ２８）如く構成したので、上記した効果に加え、撮影対象である人を確実に撮影することができる。 In addition, the subject to be imaged is a person, and the luminance reduction operation executing means drives the hand 22 to hold the high-luminance incident light while holding a human imaging part, in other words, a human image parameter. Since it is configured to block (S18 to S28), in addition to the above-described effects, it is possible to reliably photograph the person who is the subject of photographing.
また、基体１４と、前記基体に連結されると共に、前記撮像素子が搭載される頭部１６とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記頭部１６を回転させて前記高輝度撮像部位の輝度を低減する（Ｓ３６からＳ４６）如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも確実に撮影対象を撮影することができる。 In addition, at least a head 14 connected to the base 14 and mounted with the imaging device is mounted, and the brightness reduction operation executing means rotates the head 16 to perform the high brightness imaging. Since it is configured to reduce the luminance of the part (S36 to S46), similarly, it is possible to photograph a photographing target such as a person with an appropriate luminance value without increasing the performance of the image sensor and image processing. Even when the luminance imaging region is relatively large, the imaging object can be reliably imaged.
また、基体１４と、前記基体に連結される頭部１６と脚部１２と腕部２０とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記脚部１２を駆動して前記高輝度撮像部位の輝度を低減する（Ｓ５４からＳ５８）如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも一層確実に撮影対象を撮影することができる。 In addition, it has at least a base 14, a head 16, a leg 12, and an arm 20 connected to the base, and the brightness reduction operation executing means drives the leg 12 to thereby provide the high brightness imaging part. In the same manner, it is possible to shoot a shooting target such as a person with an appropriate luminance value without increasing the performance of the image sensor or the image processing, and the high luminance. Even when the imaging region is relatively large, the imaging object can be imaged more reliably.
尚、上記において、撮影対象として人を予定したが、それ以外にロボット１０の作業で予定される道具やワークなどの物体であっても良い。 In the above description, a person is scheduled as an object to be photographed, but other objects such as tools and works scheduled for the work of the robot 10 may be used.
また上記において、撮影対象の有無を撮影対象が携行するＩＣタグ９２から発信される識別情報を受信するＩＣタグ信号受信器９４の出力から判断するようにしたが、カメラ８２の出力から判断しても良い。さらには外部からコマンドを入力して教示しても良い。 In the above description, the presence / absence of the photographing target is determined from the output of the IC tag signal receiver 94 that receives the identification information transmitted from the IC tag 92 carried by the photographing target. Also good. Further, it may be taught by inputting a command from the outside.
また上記において、移動体の例として脚式移動ロボット、具体的には２足歩行ロボットを例示したが、それに限られるものではなく、自律移動自在であればどのようなものであっても良い。 In the above description, a legged mobile robot, specifically a bipedal walking robot, is illustrated as an example of the moving body. However, the mobile body is not limited to this, and any mobile body may be used as long as it can move autonomously.
１０：脚式移動ロボット（移動体、ロボット）、１２：脚部、１４：基体、２０：腕部、２６：ＥＣＵ（電子制御ユニット）、２６ａ：ステレオ処理部、２６ｂ：ヒストグラム生成部、２６ｃ：露出パラメータ設定部、２６ｄ：画像処理部、２６ｅ：行動生成部、８２：ＣＣＤカメラ（撮像素子。カメラ）、９２：ＩＣタグ、９４：ＩＣタグ信号受信器 10: Leg type mobile robot (moving body, robot), 12: Leg, 14: Base, 20: Arm, 26: ECU (Electronic Control Unit), 26a: Stereo processing unit, 26b: Histogram generation unit, 26c: Exposure parameter setting unit, 26d: image processing unit, 26e: action generation unit, 82: CCD camera (imaging device, camera), 92: IC tag, 94: IC tag signal receiver
Claims (5)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007224755A JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
| US12/230,130 US8406505B2 (en) | 2007-08-30 | 2008-08-25 | Image brightness reduction for legged mobile robot |
| DE602008000660T DE602008000660D1 (en) | 2007-08-30 | 2008-08-26 | Mobile robot with legs |
| EP08015060A EP2030740B1 (en) | 2007-08-30 | 2008-08-26 | Legged mobile robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007224755A JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009056529A true JP2009056529A (en) | 2009-03-19 |
Family
ID=40552756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007224755A Withdrawn JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009056529A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011067941A (en) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | Visual perception system and method for humanoid robot |
| JP2019060629A (en) * | 2017-09-25 | 2019-04-18 | リコーインダストリアルソリューションズ株式会社 | Optical system |
-
2007
- 2007-08-30 JP JP2007224755A patent/JP2009056529A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011067941A (en) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | Visual perception system and method for humanoid robot |
| JP2019060629A (en) * | 2017-09-25 | 2019-04-18 | リコーインダストリアルソリューションズ株式会社 | Optical system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8026955B2 (en) | Camera exposure controller including imaging devices for capturing an image using stereo-imaging | |
| JP3855812B2 (en) | Distance measuring method, apparatus thereof, program thereof, recording medium thereof, and robot apparatus mounted with distance measuring apparatus | |
| JP5233601B2 (en) | Robot system, robot control apparatus, and robot control method | |
| CN108700408B (en) | Three-dimensional shape data and texture information generation system, method and shooting control method | |
| EP1462993A3 (en) | Automatic work apparatus and automatic work control program | |
| JP2000010141A (en) | Digital camera with camera shake correction mechanism | |
| TW200715836A (en) | Imaging apparatus, data extraction method, and data extraction program | |
| JP2006086978A5 (en) | ||
| JP2007306106A (en) | Imaging apparatus, imaging method, and program | |
| JP5609760B2 (en) | Robot, robot operation method, and program | |
| JP4933383B2 (en) | Camera exposure control device | |
| JP4847420B2 (en) | Legged mobile robot | |
| JP2009056529A (en) | Legged mobile robot | |
| JP2011041990A (en) | Robot control apparatus and method of teaching robot | |
| CN107921643A (en) | Robot system | |
| JP2005229282A5 (en) | ||
| JP2009056530A (en) | Legged mobile robot | |
| JP2009139724A (en) | Imaging apparatus | |
| EP2030740B1 (en) | Legged mobile robot | |
| Suzuki et al. | Operation direction to a mobile robot by projection lights | |
| JP2005205519A (en) | Robot hand device | |
| JP2006245642A (en) | Imaging apparatus and method therefor | |
| JP6885133B2 (en) | Image processing equipment, imaging system, image processing method and program | |
| JP2017063340A (en) | Image blur correction device, imaging device, and control method | |
| JP5113669B2 (en) | Imaging apparatus, control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101102 |