JP2009056529A - Legged mobile robot - Google Patents
Legged mobile robot Download PDFInfo
- Publication number
- JP2009056529A JP2009056529A JP2007224755A JP2007224755A JP2009056529A JP 2009056529 A JP2009056529 A JP 2009056529A JP 2007224755 A JP2007224755 A JP 2007224755A JP 2007224755 A JP2007224755 A JP 2007224755A JP 2009056529 A JP2009056529 A JP 2009056529A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- brightness
- incident light
- mobile robot
- legged mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
この発明は脚式移動ロボットに関し、より具体的には視覚センサとしてのCCDカメラ(撮像素子)を備えると共に、それに太陽光などの高輝度の光源が写り込まれるときも撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットに関する。 The present invention relates to a legged mobile robot, and more specifically, includes a CCD camera (imaging device) as a visual sensor, and sets an appropriate luminance value even when a high-intensity light source such as sunlight is reflected on the camera. This is related to a legged mobile robot that can be used for shooting.
従来、例えば下記の特許文献1において、太陽光などの高輝度の光源がカメラの画角内に写り込まれるとき、撮像素子面上に内部反射で発生するゴーストの位置、形状などを予測し、撮影画像のどの部分がゴーストか判定し、判定されたゴースト部分を撮影者の指定により、あるいは自動的に補正(低減処理)する技術が提案されている。
特許文献1記載の技術はいわゆるデジタルカメラやビデオカメラであり、ユーザが人などの撮影対象に向けて操作して撮影するカメラについての技術であるが、その種のカメラを脚式移動ロボットなどの移動体に搭載して視覚センサとして使用することがある。 The technology described in Patent Document 1 is a so-called digital camera or video camera, which is a technology related to a camera that a user operates to shoot a subject such as a person, and such a camera is a legged mobile robot or the like. It may be mounted on a moving body and used as a visual sensor.
そのような場合、図9に示す如く、太陽光やスポットライトなどの高輝度光源が撮像素子に撮像されるとき、光源の影響で暗部にいる本来撮影したい人などの撮影対象の輝度値が潰れてしまい、撮影対象を特定できないことがある。図9で実際には人は画面に右側に存在する。 In such a case, as shown in FIG. 9, when a high-intensity light source such as sunlight or a spotlight is imaged on the image sensor, the luminance value of a subject to be photographed such as a person who wants to shoot in the dark area is destroyed due to the light source In some cases, the subject to be photographed cannot be specified. In FIG. 9, the person is actually present on the right side of the screen.
従ってこの発明の目的は上記した課題を解決し、搭載するカメラ(撮像素子)に太陽光などの高輝度の光源が写り込まれるときも、撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットを提供することにある。 Accordingly, the object of the present invention is to solve the problems described above, and to shoot a subject to be photographed with an appropriate luminance value even when a high-intensity light source such as sunlight is reflected on the camera (image sensor) to be mounted. It is to provide a mobile robot.
上記した課題を解決するために、請求項1に係る脚式移動ロボットにあっては、撮影対象を含む外界からの入射光によって画像を撮像する撮像素子と、前記撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、前記高輝度撮像部位の輝度を低減する輝度低減動作を実行する輝度低減動作実行手段とを備える如く構成した。 In order to solve the above-described problem, in the legged mobile robot according to claim 1, an image pickup device that picks up an image with incident light from the outside including the subject to be imaged, and an image picked up by the image pickup device. When there is a high-brightness imaging part imaged by high-luminance incident light, the apparatus is configured to include a brightness reduction operation executing unit that executes a brightness reduction operation for reducing the brightness of the high-brightness imaging part.
請求項2に係る脚式移動ロボットにあっては、基体と、前記基体に連結される腕部と、前記腕部に連結されるハンドとを少なくとも有すると共に、前記輝度低減動作実行手段は、前記ハンドを駆動して前記高輝度の入射光を遮断することで前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 2 includes at least a base, an arm connected to the base, and a hand connected to the arm. The hand is driven to block the high-luminance incident light, thereby reducing the luminance of the high-luminance imaging region.
請求項3に係る脚式移動ロボットにあっては、前記撮影対象が人であると共に、前記輝度低減動作実行手段は、人の画像パラメータを保持しつつ、前記ハンドを駆動して前記高輝度の入射光を遮断する如く構成した。 In the legged mobile robot according to claim 3, the subject to be imaged is a person, and the brightness reduction operation executing means drives the hand while holding the image parameter of the person to increase the brightness of the person. It was configured to block incident light.
請求項4に係る脚式移動ロボットにあっては、基体と、前記基体に連結されると共に、前記撮像素子が搭載される頭部とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記頭部を回転させて前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 4 includes at least a base and a head connected to the base and on which the imaging device is mounted, and the brightness reduction operation executing means includes the head The unit is rotated to reduce the luminance of the high-luminance imaging region.
請求項5に係る脚式移動ロボットにあっては、基体と、前記基体に連結される頭部と脚部と腕部とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記脚部を駆動して前記高輝度撮像部位の輝度を低減する如く構成した。 The legged mobile robot according to claim 5 includes at least a base, a head, a leg, and an arm connected to the base, and the brightness reduction operation executing means drives the leg. Thus, the brightness of the high brightness imaging region is reduced.
尚、上記で「高輝度の入射光」とは光源などの輝度が比較的高い入射光を、「高輝度撮像部位」とは高輝度の入射光によって画像に撮像される部位を意味する。 In the above, “high luminance incident light” means incident light having a relatively high luminance such as a light source, and “high luminance imaging portion” means a portion that is imaged by high luminance incident light.
請求項1に係る脚式移動ロボットにあっては、撮影対象を含む外界からの入射光によって画像を撮像する撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、その輝度を低減する輝度低減動作を実行する輝度低減動作実行手段とを備える如く構成したので、太陽光などの高輝度の入射光によって撮像された高輝度撮像部位があるときも、その輝度を低減することで人などの撮影対象を適切な輝度値で撮影することができる。 In the legged mobile robot according to claim 1, the high-brightness imaging part imaged by the high-intensity incident light is captured on the image captured by the imaging element that captures the image by the incident light from the outside including the imaging target. In some cases, since it is configured to include a brightness reduction operation executing means for executing a brightness reduction operation for reducing the brightness, even when there is a high brightness imaging part imaged by high brightness incident light such as sunlight, By reducing the brightness, a subject such as a person can be photographed with an appropriate brightness value.
請求項2に係る脚式移動ロボットにあっては、ハンドなどを少なくとも有すると共に、ハンドを駆動して高輝度の入射光を遮断することで高輝度撮像部位の輝度を低減する如く構成したので、上記した効果に加え、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができる。 The legged mobile robot according to claim 2 has at least a hand or the like, and is configured to reduce the luminance of the high-luminance imaging region by driving the hand and blocking high-luminance incident light. In addition to the effects described above, a subject such as a person can be photographed with an appropriate luminance value without improving the performance of the image sensor or image processing.
請求項3に係る脚式移動ロボットにあっては、撮影対象である人の画像パラメータを保持しつつ、ハンドを駆動して高輝度の入射光を遮断する如く構成したので、上記した効果に加え、撮影対象である人を確実に撮影することができる。 In the legged mobile robot according to the third aspect, since the hand is driven to block the high-intensity incident light while maintaining the image parameters of the person to be imaged, in addition to the effects described above. The person who is the subject of photography can be reliably photographed.
請求項4に係る脚式移動ロボットにあっては、撮像素子が搭載される頭部などを少なくとも有すると共に、頭部を回転させて前記高輝度撮像部位の輝度を低減する如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも確実に撮影対象を撮影することができる。 The legged mobile robot according to claim 4 has at least a head on which an image sensor is mounted and is configured to reduce the luminance of the high-luminance imaging region by rotating the head. In addition, it is possible to shoot a subject such as a person with an appropriate luminance value without improving the performance of the image sensor or image processing, and reliably shoot the subject even when the high-luminance imaging part is relatively large. Can do.
請求項5に係る脚式移動ロボットにあっては、基体に連結される脚部などを少なくとも有すると共に、脚部を駆動して前記高輝度撮像部位の輝度を低減する如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも一層確実に撮影対象を撮影することができる。 In the legged mobile robot according to the fifth aspect of the present invention, the legged mobile robot has at least a leg connected to the base body and is configured to drive the leg to reduce the luminance of the high-luminance imaging region. It is possible to shoot a subject such as a person with an appropriate luminance value without improving the performance of the image sensor and image processing, and more reliably shoot the subject even when the high-luminance imaging part is relatively large. Can do.
以下、添付図面に即してこの発明に係る脚式移動ロボットを実施するための最良の形態について説明する。 The best mode for carrying out a legged mobile robot according to the present invention will be described below with reference to the accompanying drawings.
図1はこの実施例に係る脚式移動ロボットの正面図、図2は図1に示すロボットの側面図である。 FIG. 1 is a front view of a legged mobile robot according to this embodiment, and FIG. 2 is a side view of the robot shown in FIG.
図1に示すように、脚式移動ロボット(移動体。以下単に「ロボット」という)10は、左右2本の脚部12L,12R(左側をL、右側をRとする。以下同じ)を備える。脚部12L,12Rは、基体14の下部に連結される。基体14の上部には頭部16が連結されると共に、側方には左右2本の腕部20L,20Rが連結される。左右の腕部20L,20Rの先端には、それぞれハンド(エンドエフェクタ)22L,22Rが連結される。この実施例にあっては、脚式移動ロボットとして、2本の脚部と2本の腕部を備えた、1.3m程度の身長を有するヒューマノイド型のロボットを例にとる。 As shown in FIG. 1, a legged mobile robot (moving body; hereinafter simply referred to as “robot”) 10 includes two left and right leg portions 12L and 12R (L on the left side and R on the right side; the same applies hereinafter). . The leg portions 12L and 12R are connected to the lower portion of the base 14. A head portion 16 is connected to the upper portion of the base body 14, and two left and right arm portions 20L and 20R are connected to the side. Hands (end effectors) 22L and 22R are connected to the tips of the left and right arm portions 20L and 20R, respectively. In this embodiment, a humanoid robot having a height of about 1.3 m and having two legs and two arms is taken as an example of a legged mobile robot.
図2に示すように、基体14の背部には格納部24が設けられ、その内部には電子制御ユニット(以下「ECU」と呼ぶ)26およびバッテリ(図示せず)などが収容される。 As shown in FIG. 2, a storage portion 24 is provided on the back of the base 14, and an electronic control unit (hereinafter referred to as “ECU”) 26, a battery (not shown), and the like are accommodated therein.
図3は、図1に示すロボット10をスケルトンで表す説明図である。以下、図3を参照し、ロボット10の内部構造について関節を中心に説明する。尚、図示のロボット10は左右対称であるので、以降L,Rの付記を省略する。 FIG. 3 is an explanatory diagram showing the robot 10 shown in FIG. 1 as a skeleton. Hereinafter, the internal structure of the robot 10 will be described with a focus on joints with reference to FIG. Since the illustrated robot 10 is bilaterally symmetric, L and R are not described below.
左右の脚部12は、それぞれ大腿リンク30と下腿リンク32と足部34とを備える。大腿リンク30は、股関節を介して基体14に連結される。図3では、基体14を基体リンク36として簡略的に示すが、基体リンク36は、関節38を介して上半部36aと下半部36bとが相対変位自在に構成される。 The left and right legs 12 include a thigh link 30, a crus link 32, and a foot 34, respectively. The thigh link 30 is connected to the base body 14 via a hip joint. In FIG. 3, the base body 14 is simply shown as the base link 36, but the base link 36 is configured such that the upper half 36 a and the lower half 36 b can be relatively displaced via a joint 38.
大腿リンク30と下腿リンク32は膝関節を介して連結されると共に、下腿リンク32と足部34は足関節を介して連結される。股関節は、Z軸(ヨー軸)回りの回転軸40と、Y軸(ピッチ軸)回りの回転軸42と、X軸(ロール軸)回りの回転軸44とから構成される。即ち、股関節は3自由度を備える。 The thigh link 30 and the lower leg link 32 are connected via a knee joint, and the lower leg link 32 and the foot 34 are connected via an ankle joint. The hip joint includes a rotation axis 40 around the Z axis (yaw axis), a rotation axis 42 around the Y axis (pitch axis), and a rotation axis 44 around the X axis (roll axis). That is, the hip joint has three degrees of freedom.
膝関節はY軸回りの回転軸46から構成され、1自由度を備える。足関節はY軸回りの回転軸48とX軸回りの回転軸50とから構成され、2自由度を備える。このように、左右の脚部12のそれぞれには3個の関節を構成する6個の回転軸(自由度)が与えられ、脚部全体としては合計12個の回転軸が与えられる。 The knee joint is composed of a rotation axis 46 around the Y axis and has one degree of freedom. The ankle joint includes a rotation axis 48 around the Y axis and a rotation axis 50 around the X axis, and has two degrees of freedom. In this way, each of the left and right leg parts 12 is provided with six rotation axes (degrees of freedom) constituting three joints, and the leg part as a whole is provided with a total of twelve rotation axes.
脚部12は、アクチュエータ(図示せず)によって駆動される。脚部12を駆動する脚部アクチュエータは基体14と脚部12の適宜位置に配置された12個の電動モータからなり、上記した12個の回転軸を個別に駆動する。 The leg 12 is driven by an actuator (not shown). The leg actuator that drives the leg 12 includes twelve electric motors arranged at appropriate positions of the base 14 and the leg 12, and individually drives the twelve rotating shafts described above.
また、左右の腕部20は、それぞれ上腕リンク52と下腕リンク54を備える。上腕リンク52は、肩関節を介して基体14に連結される。上腕リンク52と下腕リンク54は、肘関節を介して連結されると共に、下腕リンク54とハンド22は手首関節を介して連結される。 The left and right arm portions 20 include an upper arm link 52 and a lower arm link 54, respectively. The upper arm link 52 is connected to the base body 14 through a shoulder joint. The upper arm link 52 and the lower arm link 54 are connected via an elbow joint, and the lower arm link 54 and the hand 22 are connected via a wrist joint.
肩関節はY軸回りの回転軸56とX軸回りの回転軸58とZ軸回りの回転軸60とから構成され、3自由度を備える。肘関節はY軸回りの回転軸62から構成され、1自由度を備える。手首関節はZ軸回りの回転軸64とY軸回りの回転軸66とX軸回りの回転軸68とから構成され、3自由度を備える。このように、左右の腕部20のそれぞれには3個の関節を構成する7個の回転軸(自由度)が与えられ、腕部全体として合計14個の回転軸が与えられる。 The shoulder joint includes a rotation axis 56 around the Y axis, a rotation axis 58 around the X axis, and a rotation axis 60 around the Z axis, and has three degrees of freedom. The elbow joint is composed of a rotation shaft 62 around the Y axis and has one degree of freedom. The wrist joint includes a rotation axis 64 around the Z axis, a rotation axis 66 around the Y axis, and a rotation axis 68 around the X axis, and has three degrees of freedom. In this manner, each of the left and right arm portions 20 is provided with seven rotation axes (degrees of freedom) constituting three joints, and a total of 14 rotation axes are provided as the entire arm portion.
腕部20も、脚部12と同様に図示しないアクチュエータによって駆動される。腕部20を駆動する腕部アクチュエータは基体14と腕部20の適宜位置に配置された14個の電動モータからなり、上記した14個の回転軸を個別に駆動する。ロボット10は脚部アクチュエータあるいは腕部アクチュエータの動作が制御されて各回転軸が適宜な角度で駆動されることにより、脚部12あるいは腕部20に所望の動きが与えられる。 The arm portion 20 is also driven by an actuator (not shown) as with the leg portion 12. The arm actuator for driving the arm 20 is composed of 14 electric motors arranged at appropriate positions of the base 14 and the arm 20 and individually drives the 14 rotation shafts described above. In the robot 10, the movement of the leg actuator or the arm actuator is controlled so that each rotation axis is driven at an appropriate angle, whereby a desired movement is given to the leg 12 or the arm 20.
ハンド22には、5本の指部70が設けられる。指部70は図示しないハンドアクチュエータによって動作自在とされ、腕部20の動きに連動して物を把持する、あるいは適宜な方向を指差すなどの動作が実行可能とされる。 The hand 22 is provided with five finger portions 70. The finger unit 70 can be operated by a hand actuator (not shown), and can perform operations such as gripping an object in conjunction with the movement of the arm unit 20 or pointing in an appropriate direction.
頭部16は、基体14に首関節を介して連結される。首関節はZ軸回りの回転軸72とY軸回りの回転軸74とから構成され、2自由度を備える。回転軸72,74も、図示しない頭部アクチュエータによって個別に駆動される。頭部アクチュエータの動作を制御して回転軸72,74を適宜な角度で駆動することにより、頭部16を所望の方向に向けることができる。基体リンク36も関節38に配置されたアクチュエータ(図示せず)を駆動することで、上半部36aと下半部36bが相対回転させられる。 The head 16 is connected to the base 14 via a neck joint. The neck joint includes a rotation shaft 72 around the Z axis and a rotation shaft 74 around the Y axis, and has two degrees of freedom. The rotary shafts 72 and 74 are also individually driven by a head actuator (not shown). By controlling the operation of the head actuator and driving the rotary shafts 72 and 74 at an appropriate angle, the head 16 can be directed in a desired direction. The base link 36 also drives an actuator (not shown) disposed at the joint 38, whereby the upper half 36a and the lower half 36b are relatively rotated.
左右の脚部12には、それぞれ力センサ(6軸力センサ)76が取り付けられ、床面から脚部12に作用する床反力の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。左右の腕部20にも同種の力センサ78がハンド22と手首関節の間で取り付けられ、腕部20に作用する外力の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。 A force sensor (6-axis force sensor) 76 is attached to each of the left and right legs 12, and the three-direction components Fx, Fy, Fz of the floor reaction force acting on the leg 12 from the floor and the three-direction components Mx of the moment. , My, and Mz are output. The same type of force sensor 78 is also attached to the left and right arm portions 20 between the hand 22 and the wrist joint, and the three-direction components Fx, Fy, Fz of the external force acting on the arm portion 20 and the three-direction components Mx, My, A signal indicating Mz is output.
基体14には傾斜センサ80が設置され、鉛直軸に対する基体14の傾斜角度とその角速度などの状態量を示す信号を出力する。頭部16には、人などの撮影対象を含む外界からの入射光によって撮像する、2個(左右)の撮像素子、具体的にはCCDカメラ(以下「カメラ」という)82が設置される。また、頭部16には、マイクロフォン84aとスピーカ84bからなる音声入出力装置84が設けられる。 A tilt sensor 80 is installed on the base 14 and outputs a signal indicating a state quantity such as the tilt angle of the base 14 with respect to the vertical axis and its angular velocity. The head 16 is provided with two (left and right) imaging elements, specifically a CCD camera (hereinafter referred to as “camera”) 82, which captures an image with incident light from the outside including a subject such as a person. The head 16 is provided with a voice input / output device 84 including a microphone 84a and a speaker 84b.
上記したセンサなどの出力は、ECU26(図2に示す)に入力される。ECU26はマイクロコンピュータからなり、図示しないCPUや入出力回路、ROM、RAMなどを備える。 The output of the above-described sensor or the like is input to the ECU 26 (shown in FIG. 2). The ECU 26 includes a microcomputer and includes a CPU, an input / output circuit, a ROM, a RAM, and the like (not shown).
図4は、ロボット10の構成をECU26の入出力関係を中心に示すブロック図である。 FIG. 4 is a block diagram showing the configuration of the robot 10 with the input / output relationship of the ECU 26 as the center.
図示の如く、ロボット10は、上記したセンサなどに加え、回転軸40などのそれぞれに配置されたロータリエンコーダ群86と、ジャイロセンサ88と、GPS受信器90と、人(撮影対象)が携行するICタグ92に無線系で接続されてICタグ92から発信されるICタグ情報を受信するICタグ信号受信器(リーダ)94を備える。 As shown in the figure, the robot 10 is carried by a rotary encoder group 86, a gyro sensor 88, a GPS receiver 90, and a person (photographing target) arranged on each of the rotating shafts 40 in addition to the above-described sensors. An IC tag signal receiver (reader) 94 that is connected to the IC tag 92 wirelessly and receives IC tag information transmitted from the IC tag 92 is provided.
ロータリエンコーダ群86はそれぞれ、回転軸40などの回転角度、即ち、関節角度に応じた信号を出力する。ジャイロセンサ88は、ロボット10の移動方向と距離に応じた信号を出力する。GPS受信器90は衛星から発信された電波を受信し、ロボット10の位置情報(緯度と経度)を取得してECU26に出力する。 Each of the rotary encoder groups 86 outputs a signal corresponding to the rotation angle of the rotary shaft 40 or the like, that is, the joint angle. The gyro sensor 88 outputs a signal corresponding to the moving direction and distance of the robot 10. The GPS receiver 90 receives a radio wave transmitted from a satellite, acquires position information (latitude and longitude) of the robot 10 and outputs it to the ECU 26.
ICタグ信号受信器94は、ICタグ92に記憶されると共に、それから発信される識別情報(RFID(Radio Frequency ID)、具体的にはICタグ92の携行者である人を識別する識別情報)を無線系で受信してECU26に出力する。 The IC tag signal receiver 94 is stored in the IC tag 92 and transmitted from the identification information (RFID (Radio Frequency ID), specifically, identification information for identifying the person who carries the IC tag 92). Is received by the wireless system and output to the ECU 26.
ECU26は、力センサ76、傾斜センサ80およびロータリエンコーダ群86などの出力に基づいて歩容を生成して歩行制御を行う。具体的には、前記した脚部アクチュエータ(符号100で示す)の動作を制御して脚部12を駆動してロボット10を移動(歩行)させる。歩容生成および歩行制御については本出願人が提案した特許第3726081号に記載されているので、詳細な説明は省略する。 The ECU 26 performs gait control by generating a gait based on outputs from the force sensor 76, the tilt sensor 80, the rotary encoder group 86, and the like. Specifically, the operation of the above-described leg actuator (indicated by reference numeral 100) is controlled to drive the leg 12 to move (walk) the robot 10. Since gait generation and walking control are described in Japanese Patent No. 3726081 proposed by the present applicant, detailed description thereof is omitted.
また、ECU26は、歩行制御などに付随して腕部アクチュエータ(符号102で示す)とハンドアクチュエータ(符号104で示す)の動作を制御して腕部20とハンド22を駆動すると共に、頭部アクチュエータ(符号106で示す)の動作を制御して頭部16の向きを調整する。 The ECU 26 controls the operation of the arm actuator (indicated by reference numeral 102) and the hand actuator (indicated by reference numeral 104) in association with walking control and the like to drive the arm section 20 and the hand 22, and the head actuator. The direction of the head 16 is adjusted by controlling the operation (indicated by reference numeral 106).
さらに、ECU26は、カメラ(撮像素子)82に高輝度撮像部位が撮像されているとき、その輝度を低減させる輝度低減動作を実行する。 Further, when a high-luminance imaging region is imaged by the camera (imaging device) 82, the ECU 26 executes a luminance reduction operation for reducing the luminance.
図5は、ECU26が輝度低減動作を実行するときの構成を機能的に示すブロック図である。 FIG. 5 is a block diagram functionally showing the configuration when the ECU 26 executes the brightness reduction operation.
図示の如く、そのときのECU26の動作を機能別に見ると、ECU26は、ステレオ処理部26aと、ヒストグラム生成部26bと、露出パラメータ設定部26cと、画像処理部26dと、行動生成部26eとからなる。 As shown in the figure, when the operation of the ECU 26 at that time is viewed by function, the ECU 26 includes a stereo processing unit 26a, a histogram generation unit 26b, an exposure parameter setting unit 26c, an image processing unit 26d, and an action generation unit 26e. Become.
ステレオ処理部26aは、移動体(ロボット)10に搭載された2個のカメラ(撮像素子)82の出力を入力し、ステレオ処理によって視差から画素ごとの距離情報を算出する。カメラ82の画素の数は320×240とする。ステレオ処理部26aは、濃淡画像データから3次元(3D)データを算出して出力する。 The stereo processing unit 26a receives the outputs of two cameras (imaging devices) 82 mounted on the moving body (robot) 10, and calculates distance information for each pixel from the parallax by stereo processing. The number of pixels of the camera 82 is 320 × 240. The stereo processing unit 26a calculates and outputs three-dimensional (3D) data from the grayscale image data.
ヒストグラム生成部26bは撮影された画像の輝度値ヒストグラムを作成すると共に、距離ごとに、あるいは距離に応じて重み付けを行う。 The histogram generation unit 26b creates a luminance value histogram of the photographed image and performs weighting for each distance or according to the distance.
露出パラメータ設定部26cは、撮像したい距離の輝度値から露出パラメータ(より具体的にはシャッタ速度)を設定する。カメラ82はロボット10に搭載されて視覚センサとして機能する関係上、自ら撮影対象を捜索して撮影することはなく、撮影画像から撮影対象を抽出しなければならない。そのため、カメラ82の絞りは最小に固定され、近距離、具体的には0.5mから2.5m程度で焦点が合うように調整される。従って、露出パラメータとしてはシャッタ速度のみが調整自在とされる。 The exposure parameter setting unit 26c sets the exposure parameter (more specifically, the shutter speed) from the luminance value at the distance to be imaged. Since the camera 82 is mounted on the robot 10 and functions as a visual sensor, the camera 82 does not search and shoot the shooting target itself, but must extract the shooting target from the shot image. Therefore, the diaphragm of the camera 82 is fixed to the minimum, and is adjusted so as to be focused at a short distance, specifically, about 0.5 m to 2.5 m. Therefore, only the shutter speed can be adjusted as an exposure parameter.
画像処理部26dは、ロボット10が移動するとき、視覚センサとしての画像処理を行う。 The image processing unit 26d performs image processing as a visual sensor when the robot 10 moves.
行動生成部26eは、カメラ82に光源などの高輝度の入射光によって撮像された高輝度撮像部位があるとき、その輝度を低減する輝度低減動作を実行する。 When the camera 82 has a high-brightness imaging part imaged with high-brightness incident light such as a light source, the behavior generation unit 26e performs a luminance reduction operation for reducing the luminance.
次いで、上記したECU26の動作をさらに詳細に説明する。 Next, the operation of the ECU 26 will be described in more detail.
図6は、図5と同様、ECU26が輝度低減動作するときの処理を示すフロー・チャートの前半部、図7はその後半部である。 6 is the first half of a flow chart showing the processing when the ECU 26 performs a luminance reduction operation, and FIG. 7 is the second half thereof, as in FIG.
以下説明すると、S10において人(撮影対象)がいるか否か判断する。これは人が携行するICタグ92から発信される識別情報を受信するICタグ信号受信器94の出力から判断する。 In the following, it is determined whether or not there is a person (photographing target) in S10. This is determined from the output of the IC tag signal receiver 94 that receives the identification information transmitted from the IC tag 92 carried by a person.
S10で否定されるときは上記した処理を繰り返すと共に、肯定されるときはS12に進み、移動して人に接近し、S14に進んで所定距離以内に接近した後、S16に進んでさらに接近する。 When the result in S10 is negative, the above process is repeated. When the result is positive, the process proceeds to S12, moves to approach a person, proceeds to S14, approaches within a predetermined distance, then proceeds to S16, and further approaches. .
次いでS18に進み、画像の中の高輝度撮像部位の方向と位置が検出されたか否か判断し、肯定されるときはS20に進み、最適なハンド22の姿勢を算出すると共に、否定されるときはS22に進み、ハンド22の姿勢としてデフォルト(既定値)を採用する。 Next, the process proceeds to S18, in which it is determined whether the direction and position of the high-luminance imaging region in the image has been detected. If the result is affirmative, the process proceeds to S20, and the optimum posture of the hand 22 is calculated and the result is negative. Proceed to S22 and adopt the default (default value) as the posture of the hand 22.
次いでS24に進み、ハンド22を太陽光などの光源、より正確には高輝度撮像部位にかざす、即ち、ハンド22を駆動して光源などの高輝度の入射光を遮断するように動作させる。 Next, in S24, the hand 22 is held over a light source such as sunlight, more precisely, a high-brightness imaging region, that is, the hand 22 is driven to operate so as to block high-brightness incident light such as a light source.
次いで、S26に進み、ハンド22の位置を近づけ(基体14に向けて引き寄せ)、S28に進み、光源、より正確には高輝度撮像部位よりもハンド22が大きくなったか、換言すれば高輝度の入射光がハンド22で遮断されたか否か判断し、否定されるときはS24に戻って上記の処理を繰り返す。 Next, the process proceeds to S26, the position of the hand 22 is brought closer (pulled toward the base 14), and the process proceeds to S28, where the hand 22 has become larger than the light source, more precisely, the high-luminance imaging region, in other words, the high-luminance. It is determined whether or not the incident light is blocked by the hand 22, and when the result is negative, the process returns to S24 and the above processing is repeated.
図8は、上記したハンド22による高輝度撮像部位の輝度低減動作を説明する説明図である。 FIG. 8 is an explanatory diagram for explaining the luminance reduction operation of the high-luminance imaging region by the hand 22 described above.
図示の如く、ロボット10はハンド22Rを駆動し、光源からの高輝度の入射光(光軸)を遮断するように動作する。ハンド22Rの位置はA,B,Cの順で自身の頭部16に搭載されるカメラ82に近づき、光源からの入射光を遮断する面積も増加する一方、人についての撮像部位を遮断する可能性も増加する。 As shown in the figure, the robot 10 operates to drive the hand 22R to block high-intensity incident light (optical axis) from the light source. The position of the hand 22R approaches the camera 82 mounted on its own head 16 in the order of A, B, and C, and the area for blocking incident light from the light source increases, while the imaging region for humans can be blocked. Sex is also increased.
従って、S18からS28までの処理においては、人についての撮像部位を保持しつつ、換言すれば人の画像パラメータを保持しつつ、光源からの高輝度の入射光を完全に遮断する位置、即ち、可能な限りAに近い位置となるように、ハンド22を駆動する。 Therefore, in the processing from S18 to S28, the position where the high-luminance incident light from the light source is completely blocked while holding the imaging portion of the person, in other words, holding the image parameter of the person, that is, The hand 22 is driven so as to be as close to A as possible.
図6の説明に戻ると、次いでS30に進み、人の露出パラメータ、即ち、シャッタ速度を算出し、S32に進み、人の画像から顔を抽出の可能性を判断する。 Returning to the description of FIG. 6, the process proceeds to S30, where the exposure parameter of the person, that is, the shutter speed is calculated, and the process proceeds to S32 to determine the possibility of extracting the face from the person image.
次いでS34に進み、顔が抽出できないか否か判断し、肯定されるときはS36に進み、光源などの高輝度の入射光によって撮像された高輝度撮像部位の輝度値の最大値が顔の輝度値を超えるか否か判断し、肯定されるときはS38に進み、頭部16の回転量を算出する。 Next, the process proceeds to S34, where it is determined whether or not a face cannot be extracted. If the determination is affirmative, the process proceeds to S36, and the maximum luminance value of the high-luminance imaging region imaged by high-luminance incident light such as a light source It is determined whether or not the value is exceeded. If the result is affirmative, the process proceeds to S38, and the amount of rotation of the head 16 is calculated.
次いでS40に進み、光源などの高輝度の入射光(光軸)をずらす(回避する)ための頭部16の移動の方向と大きさを算出し、S42に進み、目標方向に対する頭部16の移動指令値を決定し、S44に進み、それに従って頭部16を移動(回転)させ、S46に進み、リミット処理を行う。即ち、S18からS28までのハンド22の駆動によって高輝度撮像部位の輝度を十分に低減できなったと判断されることから、頭部16を回転させて高輝度の入射光を回避することとする。 Next, the process proceeds to S40, and the direction and size of the movement of the head 16 for shifting (avoiding) high-intensity incident light (optical axis) such as a light source is calculated. The process proceeds to S42, and the head 16 is moved relative to the target direction. The movement command value is determined, the process proceeds to S44, the head 16 is moved (rotated) accordingly, the process proceeds to S46, and limit processing is performed. That is, since it is determined that the luminance of the high-luminance imaging region has not been sufficiently reduced by driving the hand 22 from S18 to S28, the head 16 is rotated to avoid high-luminance incident light.
次いでS48に進み、顔の抽出処理を実行し、S50に進み、顔が抽出できたか否か判断する。S50で否定されるときはS52(図7)に進み、高輝度撮像部位の輝度値の平均値が抽出された顔の輝度値を超えるか否か判断する。S52で肯定されるときはS54に進み、歩容(回転など)の修正量を算出する。尚、S52で否定されるときはS54をスキップする。 Next, the process proceeds to S48, a face extraction process is executed, and the process proceeds to S50, in which it is determined whether or not a face has been extracted. When the result in S50 is negative, the program proceeds to S52 (FIG. 7), and it is determined whether or not the average value of the luminance values of the high-luminance imaging region exceeds the extracted face luminance value. When the result in S52 is affirmative, the program proceeds to S54, and the correction amount of the gait (rotation, etc.) is calculated. If the result in S52 is NO, S54 is skipped.
次いでS56に進み、算出された修正量に従って歩容指令値を出力し、S58に進み、脚部12を駆動して歩行制御を実行する。その後でS18に戻り、上記の処理を繰り返す。尚、S34で否定されるとき、あるいはS50で肯定されるときは顔を抽出できたことから以降の処理をスキップする。 Next, in S56, a gait command value is output according to the calculated correction amount, and in S58, the leg portion 12 is driven to execute walking control. Thereafter, the process returns to S18, and the above processing is repeated. If the result in S34 is negative or the result in S50 is affirmative, the subsequent processing is skipped because the face can be extracted.
この実施例に係る脚式移動ロボット10にあっては、人などの撮影対象を含む外界からの入射光によって画像を撮像する撮像素子(CCDカメラ)82と、前記撮像素子によって撮像された画像に高輝度の入射光によって撮像された高輝度撮像部位があるとき、前記高輝度撮像部位の輝度を低減する輝度低減動作を実行する輝度低減動作実行手段(ECU26、ステレオ処理部26a、ヒストグラム生成部26b、露出パラメータ設定部26c、画像処理部26d、行動生成部26e,S10からS58)とを備える如く構成したので、太陽光などの高輝度の入射光によって撮像された高輝度撮像部位があるときも、その輝度を低減することで人などの撮影対象を適切な輝度値で撮影することができる。 In the legged mobile robot 10 according to this embodiment, an image sensor (CCD camera) 82 that captures an image with incident light from the outside including a subject such as a person, and an image captured by the image sensor. When there is a high-luminance imaging part imaged by high-luminance incident light, luminance reduction operation executing means (ECU 26, stereo processing unit 26a, histogram generation unit 26b) that executes a luminance reduction operation for reducing the luminance of the high-luminance imaging part The exposure parameter setting unit 26c, the image processing unit 26d, and the action generation units 26e, S10 to S58), so that even when there is a high-luminance imaging part imaged by high-luminance incident light such as sunlight. By reducing the luminance, it is possible to photograph a subject such as a person with an appropriate luminance value.
また、基体14と、前記基体に連結される腕部20と、前記腕部に連結されるハンド22とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記ハンド22を駆動して前記高輝度の入射光を遮断することで前記高輝度撮像部位の輝度を低減する(S18からS28)如く構成したので、上記した効果に加え、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができる。 In addition, it has at least a base body 14, an arm portion 20 connected to the base body, and a hand 22 connected to the arm portion, and the brightness reduction operation executing means drives the hand 22 to achieve the high brightness. Since the brightness of the high-brightness imaging region is reduced by blocking the incident light (S18 to S28), in addition to the effects described above, it is possible to shoot a person or the like without increasing the performance of the imaging device or image processing. The object can be photographed with an appropriate luminance value.
また、前記撮影対象が人であると共に、前記輝度低減動作実行手段は、人の撮像部位、換言すれば人の画像パラメータを保持しつつ、前記ハンド22を駆動して前記高輝度の入射光を遮断する(S18からS28)如く構成したので、上記した効果に加え、撮影対象である人を確実に撮影することができる。 In addition, the subject to be imaged is a person, and the luminance reduction operation executing means drives the hand 22 to hold the high-luminance incident light while holding a human imaging part, in other words, a human image parameter. Since it is configured to block (S18 to S28), in addition to the above-described effects, it is possible to reliably photograph the person who is the subject of photographing.
また、基体14と、前記基体に連結されると共に、前記撮像素子が搭載される頭部16とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記頭部16を回転させて前記高輝度撮像部位の輝度を低減する(S36からS46)如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも確実に撮影対象を撮影することができる。 In addition, at least a head 14 connected to the base 14 and mounted with the imaging device is mounted, and the brightness reduction operation executing means rotates the head 16 to perform the high brightness imaging. Since it is configured to reduce the luminance of the part (S36 to S46), similarly, it is possible to photograph a photographing target such as a person with an appropriate luminance value without increasing the performance of the image sensor and image processing. Even when the luminance imaging region is relatively large, the imaging object can be reliably imaged.
また、基体14と、前記基体に連結される頭部16と脚部12と腕部20とを少なくとも有すると共に、前記輝度低減動作実行手段は、前記脚部12を駆動して前記高輝度撮像部位の輝度を低減する(S54からS58)如く構成したので、同様に、撮像素子や画像処理の性能を上げることなく、人などの撮影対象を適切な輝度値で撮影することができると共に、高輝度撮像部位が比較的大きいときも一層確実に撮影対象を撮影することができる。 In addition, it has at least a base 14, a head 16, a leg 12, and an arm 20 connected to the base, and the brightness reduction operation executing means drives the leg 12 to thereby provide the high brightness imaging part. In the same manner, it is possible to shoot a shooting target such as a person with an appropriate luminance value without increasing the performance of the image sensor or the image processing, and the high luminance. Even when the imaging region is relatively large, the imaging object can be imaged more reliably.
尚、上記において、撮影対象として人を予定したが、それ以外にロボット10の作業で予定される道具やワークなどの物体であっても良い。 In the above description, a person is scheduled as an object to be photographed, but other objects such as tools and works scheduled for the work of the robot 10 may be used.
また上記において、撮影対象の有無を撮影対象が携行するICタグ92から発信される識別情報を受信するICタグ信号受信器94の出力から判断するようにしたが、カメラ82の出力から判断しても良い。さらには外部からコマンドを入力して教示しても良い。 In the above description, the presence / absence of the photographing target is determined from the output of the IC tag signal receiver 94 that receives the identification information transmitted from the IC tag 92 carried by the photographing target. Also good. Further, it may be taught by inputting a command from the outside.
また上記において、移動体の例として脚式移動ロボット、具体的には2足歩行ロボットを例示したが、それに限られるものではなく、自律移動自在であればどのようなものであっても良い。 In the above description, a legged mobile robot, specifically a bipedal walking robot, is illustrated as an example of the moving body. However, the mobile body is not limited to this, and any mobile body may be used as long as it can move autonomously.
10:脚式移動ロボット(移動体、ロボット)、12:脚部、14:基体、20:腕部、26:ECU(電子制御ユニット)、26a:ステレオ処理部、26b:ヒストグラム生成部、26c:露出パラメータ設定部、26d:画像処理部、26e:行動生成部、82:CCDカメラ(撮像素子。カメラ)、92:ICタグ、94:ICタグ信号受信器 10: Leg type mobile robot (moving body, robot), 12: Leg, 14: Base, 20: Arm, 26: ECU (Electronic Control Unit), 26a: Stereo processing unit, 26b: Histogram generation unit, 26c: Exposure parameter setting unit, 26d: image processing unit, 26e: action generation unit, 82: CCD camera (imaging device, camera), 92: IC tag, 94: IC tag signal receiver
Claims (5)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007224755A JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
US12/230,130 US8406505B2 (en) | 2007-08-30 | 2008-08-25 | Image brightness reduction for legged mobile robot |
DE602008000660T DE602008000660D1 (en) | 2007-08-30 | 2008-08-26 | Mobile robot with legs |
EP08015060A EP2030740B1 (en) | 2007-08-30 | 2008-08-26 | Legged mobile robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007224755A JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009056529A true JP2009056529A (en) | 2009-03-19 |
Family
ID=40552756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007224755A Withdrawn JP2009056529A (en) | 2007-08-30 | 2007-08-30 | Legged mobile robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009056529A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011067941A (en) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | Visual perception system and method for humanoid robot |
JP2019060629A (en) * | 2017-09-25 | 2019-04-18 | リコーインダストリアルソリューションズ株式会社 | Optical system |
-
2007
- 2007-08-30 JP JP2007224755A patent/JP2009056529A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011067941A (en) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | Visual perception system and method for humanoid robot |
JP2019060629A (en) * | 2017-09-25 | 2019-04-18 | リコーインダストリアルソリューションズ株式会社 | Optical system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8026955B2 (en) | Camera exposure controller including imaging devices for capturing an image using stereo-imaging | |
JP3855812B2 (en) | Distance measuring method, apparatus thereof, program thereof, recording medium thereof, and robot apparatus mounted with distance measuring apparatus | |
JP5233601B2 (en) | Robot system, robot control apparatus, and robot control method | |
CN108700408B (en) | Three-dimensional shape data and texture information generation system, method and shooting control method | |
EP1462993A3 (en) | Automatic work apparatus and automatic work control program | |
JP2000010141A (en) | Digital camera with camera shake correction mechanism | |
TW200715836A (en) | Imaging apparatus, data extraction method, and data extraction program | |
JP2006086978A5 (en) | ||
JP2007306106A (en) | Imaging apparatus, imaging method, and program | |
JP5609760B2 (en) | Robot, robot operation method, and program | |
JP4933383B2 (en) | Camera exposure control device | |
JP4847420B2 (en) | Legged mobile robot | |
JP2009056529A (en) | Legged mobile robot | |
JP2011041990A (en) | Robot control apparatus and method of teaching robot | |
CN107921643A (en) | Robot system | |
JP2005229282A5 (en) | ||
JP2009056530A (en) | Legged mobile robot | |
JP2009139724A (en) | Imaging apparatus | |
EP2030740B1 (en) | Legged mobile robot | |
Suzuki et al. | Operation direction to a mobile robot by projection lights | |
JP2005205519A (en) | Robot hand device | |
JP2006245642A (en) | Imaging apparatus and method therefor | |
JP6885133B2 (en) | Image processing equipment, imaging system, image processing method and program | |
JP2017063340A (en) | Image blur correction device, imaging device, and control method | |
JP5113669B2 (en) | Imaging apparatus, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101102 |