JP2004299025A - 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム - Google Patents
移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム Download PDFInfo
- Publication number
- JP2004299025A JP2004299025A JP2003097593A JP2003097593A JP2004299025A JP 2004299025 A JP2004299025 A JP 2004299025A JP 2003097593 A JP2003097593 A JP 2003097593A JP 2003097593 A JP2003097593 A JP 2003097593A JP 2004299025 A JP2004299025 A JP 2004299025A
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- distance
- person
- unit
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009471 action Effects 0.000 abstract description 33
- 238000012545 processing Methods 0.000 abstract description 27
- 238000004891 communication Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 210000002414 leg Anatomy 0.000 description 14
- 230000005484 gravity Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】移動ロボット制御装置1は、画像処理部20によって、カメラで撮像した画像から、追従対象となる人物を認識し、行動決定部50によって、移動ロボットAと人物との距離を一定間隔に保つように、移動ロボットAの脚部R1を制御し、移動ロボットAと人物との距離の遠近を、音声出力部62から人物に対して音声によって通知することを特徴とする。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、追従対象を画像処理によって認識して追従する移動ロボットの制御装置、制御方法及び制御プログラムに関する。
【0002】
【従来の技術】
従来、追従対象となる人物をロボットが追従していくものとして、例えば、(1)「ユーザ追尾型移動ロボット」(特許文献1参照)、(2)「徘徊老人用追尾ロボット」(特許文献2参照)、(3)「脚式移動ロボットの制御装置及び制御方法」(特許文献3参照)といった技術が開示されている。
【0003】
(1)の技術では、「ユーザ追尾型移動ロボット」が追従対象となる人物の身につけた赤外線発光源を追従(追尾)するものである。
【0004】
(2)の技術では、「徘徊老人用追尾ロボット」が追従対象となる人物(被追従者)についていくだけのもので、当該「徘徊老人用追尾ロボット」が追従対象となる人物を見失った場合や、当該人物の歩行速度が当該ロボットの移動速度よりも速い場合に対応することができないものである。
【0005】
(3)の技術では、外部環境の変化により、「脚式移動ロボットの制御装置」にセンサ等を介して入力される入力データに不具合がある場合(光源からの光量が一定値を超えた場合、追従対象となる人物の顔画像を確認したい場合等)、この入力データが改善されるように改善動作(光源からの光量を遮る手かざし、追従対象を振り向かせる音声出力[声かけ])を行うものである。
【0006】
【特許文献1】
特開平8−166822号公報(段落番号0024−段落番号0032、第1図)
【特許文献2】
特開平11−73582号公報(段落番号0017−段落番号0028、第1図)
【特許文献3】
特開2002−205290号公報(段落番号0056−段落番号0065、第5図)
【0007】
【発明が解決しようとする課題】
しかしながら、従来の(1)、(2)の移動ロボット(追尾ロボット)の制御では、追従対象である人物を追従する機能だけを特化させた傾向が強い。また、従来の(3)の移動ロボットの制御では、追従対象である人物を追従する機能を備えていない。すなわち、従来の構成では、追従対象である人物を追従しながら、当該人物と十分なコミュニケーションがとられていないという問題がある。
【0008】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、追従対象である人物と十分なコミュニケーションをとりながら当該追従対象を追従していくように移動ロボットを制御することができる、つまり、円滑な追従移動を実現するように移動ロボットを制御することができる移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラムを提供することにある。
【0009】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の移動ロボット制御装置は、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御する移動ロボット制御装置であって、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段と、この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段と、この距離認識手段で認識した追従対象までの距離を、予め設定した距離に保つように前記移動手段を制御する移動制御手段と、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段と、を備える構成とした。
【0010】
かかる構成によれば、移動ロボット制御装置は、追従対象認識手段によって、カメラで撮像した画像を画像処理することで、追従対象を認識する。例えば2台のカメラで撮像した画像の視差に基づいて、追従対象の距離を測定し、時系列で連続した画像から追従対象の動きを検出することで、追従対象の距離及び位置を認識することができる。そして、移動ロボット制御装置は、距離認識手段によって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【0011】
そして、移動ロボット制御装置は、移動制御手段によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。このとき、移動ロボット制御装置は、音声出力制御手段によって、追従状態を適宜音声として出力する。
【0012】
請求項2に記載の移動ロボット制御装置は、請求項1に記載の移動ロボット制御装置において、前記移動ロボットの移動手段が、二足歩行により移動することを特徴とする。
【0013】
かかる構成によれば、移動ロボット制御装置における移動制御手段が、2つの脚部を備えた移動手段を、二足歩行するように制御する。これによって、移動ロボット制御装置は、移動ロボットを人型のロボットとして動作させることができる。
【0014】
請求項3に記載の移動ロボット制御装置は、請求項1又は請求項2に記載の移動ロボット制御装置において、前記移動ロボットが移動する領域の地図情報を保持する地図情報保持手段を備え、前記移動制御手段が、前記地図情報保持手段に保持されている地図情報に基づいて、前記移動手段の動作を決定することを特徴とする。
【0015】
かかる構成によれば、移動ロボット制御装置は、移動制御手段が地図情報保持手段に保持されている地図情報に基づいて、移動手段の動作を決定するため、例えば、地図情報に障害物が存在する領域を記述しておくことで、移動ロボット制御装置は、移動手段の動作を障害物の前で停止させる等の動作を決定することができる。
【0016】
請求項4に記載の移動ロボット制御装置は、請求項3に記載の移動ロボット制御装置において、前記地図情報保持手段に保持されている地図情報には、進入を禁止する進入禁止領域が設定されていることを特徴とする。
【0017】
かかる構成によれば、移動ロボット制御装置は、移動ロボットを侵入させない領域を設定することができるため、例えば、ステージ上で移動ロボットを動作させる場合、ステージ以外の領域を進入禁止領域とすることで、移動ロボットがステージから落下することを防ぐことができる。
【0018】
請求項5に記載の移動ロボット制御装置は、請求項1乃至請求項4のいずれか1項に記載の移動ロボット制御装置において、前記追従対象が人物であって、前記人物からの指示を判別する指示判別手段を備えていることを特徴とする。
【0019】
かかる構成によれば、移動ロボット制御装置は、人物からの指示、例えば、追従の開始、追従の停止といった指示を判別することができる。
【0020】
請求項6に記載の移動ロボット制御装置は、請求項5に記載の移動ロボット制御装置において、前記指示判別手段が、顔画像により前記人物を認識した認識結果に基づいて、前記人物を追従するかどうかを判別することを特徴とする。
【0021】
かかる構成によれば、移動ロボット制御装置は、顔画像により人物を認識した認識結果に基づいて、人物を追従するかどうかを判別するため、登録されていない人物の指示を受け付けたり、追従を行ったりする動作を禁止させることができる。
【0022】
請求項7に記載の移動ロボット制御装置は、請求項5又は請求項6に記載の移動ロボット制御装置において、前記指示判別手段が、前記人物のポスチャ、ジェスチャの少なくとも一方に基づいて、前記人物からの指示を判別することを特徴とする。
【0023】
かかる構成によれば、移動ロボット制御装置は、追従対象である人物の姿勢(ポスチャ)や動作(ジェスチャ)によって指示を判別するため、移動ロボットと人物とのコミュニケーションをより簡単にすることができる。
【0024】
請求項8に記載の移動ロボット制御装置は、請求項5乃至請求項7のいずれか1項に記載の移動ロボット制御装置において、前記指示判別手段が、前記人物が発生した音声に基づいて、前記人物からの指示を判別することを特徴とする。
【0025】
かかる構成によれば、移動ロボット制御装置は、人物が発生した音声によって、指示を判別することができるため、音声による指示により移動ロボットの追従の開始や停止を指示することができる。
【0026】
請求項9に記載の移動ロボット制御装置は、請求項1乃至請求項8のいずれか1項に記載の移動ロボット制御装置において、前記音声出力制御手段が、周囲の騒音レベルに基づいて、前記音声出力装置へ出力する音声の音量を変更することを特徴とする。
【0027】
かかる構成によれば、移動ロボット制御装置は、周囲の騒音レベルが高い場合、出力する音声の音量を上げることで、移動ロボットから出力される音声を確実に追従対象となる人物に通知することができる。
【0028】
請求項10に記載の移動ロボット制御方法は、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するための移動ロボット制御方法であって、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識ステップと、この追従対象認識ステップで認識した追従対象までの距離を認識する距離認識ステップと、この距離認識ステップで認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御ステップと、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御ステップと、を含むことを特徴とする。
【0029】
かかるステップによれば、移動ロボット制御方法は、追従対象認識ステップによって、カメラで撮像した画像を画像処理することで、追従対象を認識する。例えば2台のカメラで撮像した画像の視差に基づいて、追従対象の距離を測定し、時系列で連続した画像から追従対象の動きを検出することで、追従対象の距離及び位置を認識することができる。そして、移動ロボット制御方法は、距離認識ステップによって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【0030】
そして、移動ロボット制御方法は、移動制御によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。また、移動ロボット制御方法は、音声出力制御ステップによって、追従状態を適宜音声として出力する。
【0031】
請求項11に記載の移動ロボット制御プログラムは、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するために、コンピュータを、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段、この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段、この距離認識手段で認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御手段、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段、として機能させる構成とした。
【0032】
かかる構成によれば、移動ロボット制御プログラムは、追従対象認識手段によって、カメラで撮像した画像を画像処理することで、追従対象を認識する。そして、移動ロボット制御プログラムは、距離認識手段によって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【0033】
そして、移動ロボット制御プログラムは、移動制御手段によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。このとき、移動ロボット制御プログラムは、音声出力制御手段によって、追従状態を適宜音声として出力する。
【0034】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0035】
(移動ロボットの構成)
図1は、本発明における移動ロボット制御装置1を含んだ移動ロボットAの構成を示したブロック図である。図1に示したように、移動ロボットAは、移動ロボットAの行動を制御する移動ロボット制御装置1と、移動ロボット制御装置1に対して種々の情報(データ)を入力する入力手段と、移動ロボット制御装置1から出力される情報に基づいて動作を行う動作手段とで構成されている。
【0036】
なお、移動ロボットAには、入力手段として、マイクM、カメラC(CR、CL)、センサ類91、GPS(Global Positioning System)受信器92、ジャイロセンサ93及び入力装置94とが備えられている。また、動作手段として、スピーカS、脚部R1、上体R2、腕部R3及び頭部R4とが備えられている。
【0037】
マイクMは、外部の音声信号を入力するものであって、ここでは、人物の音声による指示を入力するものである。ここで入力された音声信号は、移動ロボット制御装置1の音声認識部10に入力される。
【0038】
カメラCは、人物等の追従対象を認識するために、追従対象を撮像するものであって、例えば、CCD(Charge−Coupled Device)カメラである。ここでは、視差の情報を得るために右カメラCR及び左カメラCLの2つからなり、それぞれ撮像された画像が、移動ロボット制御装置1の画像処理部20に入力される。なお、カメラCは、移動ロボットAの左右の目に相当するものであり、互いに所定の間隔をあけて、同じ方向を向いて(光軸が平行になるように)頭部R4に設置される。
【0039】
センサ類91は、移動ロボットAの状態を検出するものである。例えば、移動ロボットAを動作させているバッテリ残容量を検出するバッテリ残容量検知センサ、移動ロボットA内の温度を検出する温度センサ等である。ここで検出される各種情報は、移動ロボット制御装置1の状態検査部42で定期的に読み出される。
【0040】
GPS受信器92は、GPS衛星から送られる電波を受信するものである。これによって、位置情報となる緯度、経度を取得することができる。
ジャイロセンサ93は、移動ロボットAの移動方向、距離等を検出するものである。これによって、GPS衛星からの電波が届かない場合でも、現在位置を推定することが可能になる。このGPS受信器92及びジャイロセンサ93で検出した情報は、移動ロボット制御装置1の自己位置推定部42によって参照される。
【0041】
入力装置94は、移動ロボットAに対する各種の設定値を入力するものである。この設定値には、例えば、移動ロボットAが追従対象となる人物を追従する際の移動ロボットAと人物との距離(追従間隔)や、追従間隔が縮まったときに移動ロボットAを停止させるための移動ロボットAと人物との距離(停止間隔)がある。ここで入力された各種の設定値は、移動ロボット制御装置1の設定値入力部43に入力される。
【0042】
スピーカ(音声出力装置)Sは、移動ロボット制御装置1の音声出力部62から出力される音声を外部に出力するものである。このスピーカSは、移動ロボットAが、追従する人物に対して音声によって状態を通知するために使用される。
【0043】
ここでは、移動ロボットAを人型のロボットとし、脚部R1、上体R2、腕部R3及び頭部R4が、それぞれ人間の身体の部位に相当するものとする。
脚部R1は、特許請求の範囲にいう移動手段に相当し、移動ロボットAを指定の方向に移動させるものである。この脚部R1には、人間の股、膝、足に相当する関節部(図示せず)を備え、移動ロボット制御装置1の移動制御部61からの指示に基づいて、二足歩行を可能にするものである。
【0044】
上体R2には、前記したセンサ類91、バッテリ(図示せず)等が備えられている。また、腕部R3は、人間の肩、肘、手首に相当する関節部(図示せず)を備え、移動ロボット制御装置1の動作制御部63からの指示に基づいて動作するものである。
【0045】
頭部R4は、チルト角を変更する首関節(図示せず)と、パンを変更する首関節(図示せず)を備え、移動ロボット制御装置1の動作制御部63からの指示に基づいて動作するものである。また、頭部R4には、カメラCが搭載され、チルト角及びパンによって、カメラCの方向が特定される。
【0046】
(移動ロボット制御装置の構成)
さらに、図1を参照して、移動ロボット制御装置1の詳細な構成について説明する。移動ロボット制御装置1は、移動ロボットAを制御する制御装置であって、移動ロボットA本体に組み込まれて移動ロボットAの動作を制御するものである。なお、移動ロボット制御装置1内に図示する各構成部の機能は、図示していない記憶装置に格納されたプログラム及びデータに基づいて、図示していないCPUが演算処理を行うことで実現される。
【0047】
図1に示すように、移動ロボット制御装置1は、主として音声認識部10、画像処理部20、状態検査部41、自己位置推定部42、設定値入力部43、行動決定部50、移動制御部61、音声出力部62及び動作制御部63からなる制御手段2と、音声指示情報保持部31、顔画像情報保持部32、ポスチャ・ジェスチャ情報保持部33及び地図情報保持部34の保持手段(記憶手段)3とを備えている。
【0048】
音声認識部10は、予め音声指示情報保持部31に保持(登録)された語彙(指示語)を参照して、マイクMから入力される音声信号を認識して、人の命令や意図を認識するものである。この指示語は、例えば、人物の追従を停止させる「止まれ」等である。また、この指示語に対応する指示(命令)情報は、行動決定部50の指示判別手段51へ通知される。
【0049】
なお、音声認識部10には、図示していない騒音レベル検出部を備えて、マイクMから入力される音声において、例えば定常音のレベルを騒音レベルとして検出することとしてもよい。この場合、検出された騒音レベルは、応答行動決定手段57に通知され、音声を出力する際の音量が調節される。
【0050】
画像処理部20は、カメラCで撮像された撮像画像に対して画像処理を行うことで、追跡対象の人物(追跡対象者)を認識したり、人物の姿勢(ポスチャ)や動作(ジェスチャ)の認識を行うものである。ここでは、画像処理部20を、追従対象認識部21と、距離認識部22と、顔認識部23と、ポスチャ・ジェスチャ認識部24とで構成した。
【0051】
追従対象認識部(追従対象認識手段)21は、カメラCで撮像された撮像画像に基づいて、追従対象となる人物を認識するものである。この追従対象認識部21では、以下の方法によって、撮像画像から追従対象となる人物の輪郭を抽出することで人物の認識を行う。
【0052】
まず、同時刻に左右のカメラCR、CLで撮像された左右画像の視差に基づいて、視差が検出された画素において、その視差の大きさ(視差量)を、距離の情報として各画素毎に埋め込んだ距離画像を生成する。また、一方のカメラ(例えばCR)を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。この差分画像は、例えば、動きのあった領域の画素値を“1”、動きのなかった領域の画素値を“0”としたものである。
【0053】
そして、距離画像と差分画像とから、最も動き量の多い視差(距離)を特定し、その距離を人物が存在する対象距離とする。そして、対象距離にある程度の幅(例えば、数十cm等)を持たせ、その距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域として輪郭を抽出する。この輪郭抽出には、例えば、SNAKES(動的輪郭モデル)を用いることができる。
【0054】
距離認識部(距離認識手段)22は、カメラCの焦点位置から、追従対象となる人物までの距離を認識(測定)するものである。ここでは、追従対象認識部21において、人物の輪郭が抽出されているため、輪郭内の重心位置を測定対象位置とする。また、追従対象認識部21において、視差の大きさ(視差量)を、距離の情報として各画素毎に埋め込んだ距離画像を生成しているため、この距離画像で重心位置の視差を得ることができる。
【0055】
なお、視差をZとしたとき、この視差Zに対応するカメラCから人物の重心位置までの距離Dは、カメラCの焦点距離をf、左右のカメラCR、CLの距離をBとすると、次の(1)式で求めることができる。
【0056】
D=B×f/Z …(1)
【0057】
なお、カメラCは2台に限らず、3台以上のカメラを用いて距離を測定することとしてもよい。例えば、3行3列に配置した9台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて、人物までの距離を正確に測定することもできる。
【0058】
顔認識部23は、カメラCで撮像された撮像画像に基づいて、追従対象となる人物の顔を認識するものである。例えば、カメラCで撮像されたカラー画像から肌色領域を抽出し、追従対象認識部21で認識された人物領域の頭部に相当する肌色領域を覆う領域を顔領域として認識する。そして、予め顔画像情報保持部32に保持(登録)されている人物かどうかを認識する。例えば、顔領域の画像と、顔画像情報保持部32に保持されている顔画像とでパターンマッチングを行ったり、顔画像の特徴(特徴点間の距離等)となる顔画像情報に基づいてマッチングを行ったりすることで、人物の確認を行う。
【0059】
ポスチャ・ジェスチャ認識部24は、予めポスチャ・ジェスチャ情報保持部33に保持(登録)された人物領域と手の領域との相対的位置により定義された姿勢(ポスチャ)と、そのポスチャの時間的変化により定義された動作(ジェスチャ)とを参照して、追従対象となる人物の指示を認識するものである。
【0060】
このポスチャ・ジェスチャ認識部24は、カメラCで撮像されたカラー画像から肌色領域を抽出し、追従対象認識部21で認識された人物領域の中から人物の手の候補となる領域を探索し、その人物領域と手の領域との相対的位置に基づいて、人物のポスチャを認識する。また、ポスチャ・ジェスチャ認識部24は、時系列に入力されるカメラCで撮像されたカラー画像から、予め定めた時間間隔内で、人物領域と手の領域との相対的位置を特定することで、人物のジェスチャを認識する。
【0061】
状態検査部41は、移動ロボットAの内部状態を定期的に検査するものである。この状態検査部41は、ある一定間隔でセンサ類91で検出される情報、例えば、バッテリ残容量、温度等の内部状態を読み出して、その情報を行動決定部50の異常判定手段59に通知する。
【0062】
自己位置推定部42は、GPS受信器92及びジャイロセンサ93で検出された情報に基づいて、自己(移動ロボットA)の位置と移動方向とを推定するものである。例えば、屋外で人物を追従し移動を行う場合は、GPS受信器92で受信した緯度及び経度を自己の位置とする。また、屋内で人物を追従し移動を行う場合は、予め地図情報保持部34に保持(登録)された屋内の地図データと、ジャイロセンサ93で検出された移動方向、距離等により、自己の位置を推定する。
【0063】
設定値入力部43は、入力装置94から各種の設定値を入力し、図示していないメモリ等にその設定値を記憶するものである。ここで設定された設定値は、行動決定部50の各手段によって参照される。
【0064】
行動決定部50は、前記した音声認識部10及び画像処理部20で認識した情報、状態検査部41で検査した移動ロボットAの内部状態、自己位置推定部42で推定した自己位置、及び、設定値入力部43で入力された各種設定値に基づいて、移動ロボットAの行動を決定するものである。
【0065】
ここでは、行動決定部50を、指示判別手段51と、動作モード切替手段52と、人物確認手段53と、追従距離判定手段54と、移動速度決定手段55と、移動方向決定手段56と、応答行動決定手段57と、障害物判別手段58と、異常判定手段59とで構成した。
【0066】
指示判別手段51は、音声認識部10で認識した人物が発声した指示語に対応する指示(命令)情報や、画像処理部20のポスチャ・ジェスチャ認識部24で認識した人物のポスチャ・ジェスチャに基づいて、追従対象となる人物からの指示を判別するものである。
【0067】
例えば、指示判別手段51は、音声認識部10で認識した指示語が「止まれ」であった場合は、後記する動作モード切替手段52及び応答行動決定手段57に対して、移動ロボットAを停止させる旨の指示(停止指示)を通知する。また、例えば、指示判別手段51は、ポスチャ・ジェスチャ認識部24で認識した人物のジャスチャが「手を高く上げる」動作であった場合は、動作モード切替手段52に対して、移動ロボットAを人物に追従させる旨の指示(追従指示)を通知する。また、人物のジャスチャが「手を前方に出す」動作であった場合は、動作モード切替手段52に対して、移動ロボットAを停止させる旨の指示(停止指示)を通知する。
【0068】
動作モード切替手段52は、移動ロボットAの動作状態を示す動作モードを切り替えるものである。この動作モードは図示していないメモリ等に記憶される。この動作モードは、例えば、移動ロボットAが人物を追従している状態においては「追従モード」、追従を停止し次の指示を待っている状態においては「待機モード」とする。また、この動作モードの切り替えは、指示判別手段51から通知される指示内容(追従指示、停止指示)に基づいて切り替えられる。
【0069】
人物確認手段53は、画像処理部20の顔認識部23によって認識した人物が、移動ロボットAを操作することが許可された人物(追跡対象者となる人物)であるかどうかを確認するものである。これは、予め顔画像情報保持部32に移動ロボットAを操作する許可を示すフラグ等を記憶しておき、そのフラグによって人物の確認を行う。
【0070】
追従距離判定手段54は、画像処理部20の距離認識部22で認識(測定)したカメラCから追従対象となる人物までの距離に基づいて、人物を追従する距離が適正かどうかを判定するものである。ここでは、移動ロボットAが追従対象となる人物を追従する際の移動ロボットAと人物との距離(追従間隔)を1.4mとし、追従距離判定手段54では、追従間隔が1.4mより離れていないか、又は、接近しすぎていないかを判定する。
【0071】
なお、この追従距離判定手段54では、人物の歩行速度が遅くなり、移動ロボットAと人物との距離が0.9mまで接近したとき(停止間隔になったとき)、又は、追従対象の人物を見失ったとき(人物の認識に失敗したとき)は、追従を停止する旨の指示を移動速度決定手段55に対して通知する。
【0072】
移動速度決定手段55は、追従距離判定手段54の判定結果に基づいて、移動ロボットAの移動速度を決定するものである。例えば、追従距離判定手段54の判定結果として、追従間隔が1.4mよりも所定距離離れていると判定された場合は加速し、追従間隔が1.4mよりも所定距離接近した場合は減速するように、移動速度を決定する。なお、追従距離判定手段54から追従を停止する旨の指示を通知された場合は、移動速度を0に決定する。
【0073】
移動方向決定手段56は、追従対象となる人物を追従するための方向を決定するものである。この移動方向決定手段56では、画像処理部20の距離認識部22で認識した人物の距離の基準となる重心位置が、カメラCで撮像された撮像画像の水平方向における中心から、どれだけずれているかを測定し、重心位置が水平方向の中心に位置するように移動方向を決定する。例えば、重心位置が中心位置に対して右にずれている場合は、右方向に移動するように移動方向を決定する。なお、移動方向の角度は、カメラCから人物までの距離と、撮像画像における重心位置と水平位置とのずれ量に基づいて算出される。
【0074】
応答行動決定手段57は、追従対象となる人物を追従する際に行う行動を決定するものである。この応答行動決定手段57では、例えば、脚部R1で最大歩幅で所定歩数移動を行っても、人物との追従間隔が1.4mにならない場合は、スピーカSで「待ってください」という音声を発声させるように、音声出力部62に指示する。また、人物との距離が0.9mまで接近した場合は、スピーカSで「止まります」という音声を発声させるように、音声出力部62に指示する。
【0075】
なお、人物との追従間隔が1.4mとなっている状態が所定時間継続している場合には、スピーカSで「4歩後を歩いています」という音声を発声させるように、音声出力部62に指示することとしてもよい。このように音声を出力することで、移動ロボットAが、追従を継続していることが追従対象となる人物に通知され、人物が振り返って追従の確認を行う必要がなくなる。
また、応答行動決定手段57は、音声認識部10から騒音レベルを通知されたときは、その騒音レベルに基づいて、音量のレベルを音声出力部62へ通知する。
【0076】
障害物判別手段58は、予め地図情報保持部34に保持(登録)された地図データ(地図情報)に記述されている、障害物が存在する領域、あるいは、進入を禁止する進入禁止領域に基づいて、追従対象となる人物を追従することが可能かどうかを判定するものである。ここで、人物を追従することができないと判定した場合は、応答行動決定手段57に対してその旨を通知する。そして、応答行動決定手段57が、追従を停止させるとともに、音声出力部62に対して「それ以上先へ進めません」という音声を発声させるよう指示することとしてもよい。
【0077】
異常判定手段59は、状態検査部41で検査したバッテリ残容量、温度等の内部状態に基づいて、移動ロボットAの異常を判定するものである。例えば、バッテリ残容量が少なくなった場合、温度が所定の温度以上に上がった場合等は、移動ロボットAが異常状態になったと判定し、応答行動決定手段57に対してその旨を通知する。そして、応答行動決定手段57が人物の追従を停止させる。
【0078】
移動制御部61は、行動決定部50で決定された移動速度、移動方向に基づいて、移動ロボットAの脚部R1(2本の脚)の動作を制御するものである。すなわち、2本の脚による歩幅(ピッチ)と、歩速(脚のスライド回数)と、回転方向が調整されることとなる。これによって、移動ロボットAは、予め設定した距離(例えば1.4m)を保って人物を追従することが可能になる。
なお、行動決定部50と移動制御部61とが、特許請求の範囲にいう移動制御手段に相当する。
【0079】
音声出力部62は、予め設定された音声(図示を省略した音声記録部に記録されている応答用メッセージ)を出力するものである。この応答用メッセージは、応答行動決定手段57から通知される応答用メッセージ番号等によって出力する音声を決定する。また、音声出力部62は、応答行動決定手段57から音量のレベルが通知された場合は、その音量に基づいて、スピーカSの出力音量を調節する。
なお、応答行動決定手段57と音声出力部62とが、特許請求の範囲にいう音声出力制御手段に相当する。
【0080】
動作制御部63は、行動決定部50で決定された行動に基づいて、予め設定された動作(図示を省略した応答動作記録部に記録されている応答動作)を移動ロボットAが行うように、上体R2、腕部R3及び頭部R4を動作させるものである。例えば、動作制御部63は、画像処理部20で追従対象となる人物を見失ってしまった場合、2本の腕部R3を上げた“お手上げ”を示す動作、頭部R4を横に振る動作等を行う。
【0081】
音声指示情報保持部31は、予め追従対象となる人物が指示を行う指示語を、音声及びその指示(命令)情報として保持しているものである。例えば、音声として「止まれ」を保持し、その音声が移動ロボットAを停止させる指示内容であることを示す指示情報を保持しておく。
【0082】
顔画像情報保持部32は、追従対象である人物の顔画像や、その顔画像に関連する顔画像情報を保持しているものである。この顔画像情報は、人物の顔部分の特徴点(目尻、鼻先、頭頂、***等)間の距離等である。
【0083】
ポスチャ・ジェスチャ情報保持部33は、人物の姿勢及び所定(一連)の動作と、移動ロボットAの移動動作とを関連付けたものである。例えば、人物が手を高く上げるジェスチャを行った場合の移動ロボットAの移動動作は「追従開始」、人物が手を前方に出すジェスチャを行った場合の移動ロボットAの移動動作は「停止」(追従終了)として関連付けられている。
【0084】
地図情報保持部(地図情報保持手段)34は、移動ロボットAが移動する地図データ(地図情報)を保持しているものである。この地図データには、障害物の領域や、進入を禁止する進入禁止領域の情報が記述されている。
【0085】
(移動ロボット制御装置の動作)
次に、図2及び図3を参照(適宜図1参照)して、実施形態に係る移動ロボット制御装置1の動作について説明する。図2は、移動ロボット制御装置の処理を示すフローチャートであり、図3は、図2の指示認識処理の詳細を示すフローチャートである。
【0086】
まず、移動ロボット制御装置1は、音声認識部10及び画像処理部20により、追従対象者がなした音声による指示及びジェスチャ・ポスチャによる指示を認識し、所定の条件を満たすことにより、動作モード切替手段52により動作モードを追従モードに切り替える(ステップS1)。この指示認識の処理の詳細については後記する。
【0087】
そして、指示認識の結果、動作モードが追従モードになっているかを判断し(ステップS2)、動作モードが、追従モードになっていなければ(ステップS2,No)、ステップS1に戻って追従モードになるのを待ち(待機モード)、動作モードが追従モードになっていれば(ステップS2,Yes)、ステップS3以下の追従処理に進む。
【0088】
追従処理では、まず、追従対象認識部21が、カメラCで撮像した画像から後記する指示認識の処理で行った移動体を抽出することで、追従対象者を認識する(ステップS3)。
そして、距離認識部22が、追従対象者の画像上の重心を求めて、ステレオ計算により、若しくは指示認識の処理で求めた距離画像を参照して、移動ロボットA(カメラC)から前記重心、すなわち追従対象者までの距離を認識する(ステップS4)。
【0089】
次に、移動速度決定手段55が、追従対象者までの距離に基づいて、移動ロボットAの移動速度を決定する(ステップS5)。具体的には、追従対象者までの距離が1.4mよりも所定値以上大きいときは、移動速度を高くし、1.4mよりも所定値以上小さいときは移動速度を低くし、ほぼ1.4mであるときは、現在の移動速度を維持するように移動速度を決定する。
【0090】
次に、追従対象者までの距離が極端に大きくなったり、小さくなったりした場合には、追従対象者に応答する。具体的には、距離が小さすぎた場合、例えば、0.9mより小さかった場合には(ステップS6,(1))、応答行動決定手段57が「止まります」という音声を出力するように決定し、これに応じて音声出力部62がスピーカSへ音声信号を出力することで、移動ロボットAが「止まります」と発話する(ステップS7)。そして、止まるために移動速度を0に設定しなおし(ステップS8)、移動方向の決定処理に進む(ステップS10)。一方、距離が大きすぎた場合、例えば5mより大きかった場合には(ステップS6,(2))、応答行動決定手段57が「待ってください」という音声を出力するように決定し、これに応じて音声出力部62がスピーカSへ音声信号を出力することで、移動ロボットが「待ってください」と発話し(ステップS9)、移動方向の決定処理に進む(ステップS10)。なお、以上の応答の際には、動作制御部63により上体R2、腕部R3、頭部R4などを駆動して、身振りにより応答を行ってもよい。
【0091】
なお、マイクMから入力された騒音レベルを音声認識部10で検出し、その騒音レベルに合わせて、応答行動決定手段57が音声(発話)の音量を決定し、音声出力部62がその音量によってスピーカSから音声信号を出力することとしてもよい。
【0092】
さらに、距離が、小さすぎることも大きすぎることもなかった場合(ステップS6,その他)、つまり、0.9m以上、5m以下であった場合は、応答することなく移動方向の決定処理に進む(ステップS10)。
【0093】
移動方向の決定処理(ステップS10)では、追従対象者の移動方向に応じて移動方向を決定する。例えば、カメラCで撮像した画像で、フレームの左右方向中央に対し追従対象者が右側に寄っている場合には、移動ロボット1の現在の進行方向に対して、追従対象者が右の方向へ進んでいるので、移動方向を現在よりも右よりに決定する。
【0094】
次に、自己位置推定部42が、GPS受信器92や、ジャイロセンサ93からの信号、及び地図情報保持部34の地図情報を参照して、移動ロボット1の自己位置を推定する(ステップS11)。
【0095】
そして、障害物判別手段58が、推定した自己位置と、自己の周囲の地図情報から、自己の周囲の障害物を認識し、自己の移動方向に障害物があるかを判別する(ステップS12)。障害物があった場合には(ステップS12,Yes)、移動速度を0に設定し(ステップS13)、移動制御(ステップS15〜S18)に進む。障害物がなかった場合には(ステップS12,No)、異常判定手段59が、移動動作をする上で障害となる異常が存在するかを判定する(ステップS14)。異常としては、例えば、バッテリ残容量が少ないとか、温度が高すぎる等で、これらの状態は、状態検査部41から受け取った各センサ類91の検出値から判定される。異常があった場合には(ステップS14,Yes)、移動速度を0に設定し(ステップS13)、移動制御(ステップS15〜S18)に進む。異常がなかった場合には(ステップS14,No)、そのままの設定移動速度で、移動制御(ステップS15〜S18)に進む。
【0096】
移動制御(ステップS15〜S18)では、行動決定部50が設定した移動速度、移動方向の信号を、移動制御部61が受け取って、設定移動速度が0だった場合には(ステップS15,Yes)、停止制御するように脚部R1を駆動する(ステップS16)。そして、動作モードを待機モードへ切り替えて(ステップS17)、処理を終了する。
【0097】
設定移動速度が0でなかった場合には(ステップS15,No)、設定された移動速度、移動方向で歩行制御するように脚部R1を駆動し(ステップS18)、処理を終了する。
そして、処理の終了後は、再びステップS1からの処理を繰り返す。
【0098】
次に、図2を参照(適宜図1参照)してステップS1の指示認識処理の詳細について説明する。
まず、音声認識部10は、マイクMから音声が入力され(ステップS101)、この音声から言葉(予約語)を認識する(ステップS102)。
一方、画像処理部20は、カメラCが撮像した画像を取得し(ステップS103)、この画像から移動体(人物)を抽出する(ステップS104)。
【0099】
移動体の抽出は、次のように行われる。まず、同時刻に左右のカメラCR、CLで撮像された左右画像の視差に基づいて、視差の大きさ(視差量)を距離の情報として各画素毎に埋め込んだ距離画像を生成する。また、一方のカメラ(例えばCR)を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。そして、距離画像と差分画像とから、最も動き量の多い視差(距離)を特定し、その距離を人物が存在する対象距離とする。さらに、対象距離の前後の所定範囲の距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離画像で、画素が存在する領域を対象領域としてSNAKESを用い、輪郭を抽出することで、移動体が抽出される。
【0100】
移動体の抽出後は、ポスチャ・ジェスチャ認識部24が、移動体である人物のジェスチャ又はポスチャを認識する(ステップS105)。ジェスチャ又はポスチャの認識は、画像中の移動体内の肌色領域から顔と手の位置を認識し、顔と手の位置関係等をポスチャ・ジェスチャ情報保持部33に登録されているポスチャ又はジェスチャと比較し、ポスチャ又はジェスチャを認識する。
【0101】
そして、指示判別手段51が、音声認識部10が認識した言葉や、ポスチャ・ジェスチャ認識部24が認識したポスチャ又はジェスチャに基づき、音声指示情報保持部31やポスチャ・ジェスチャ情報保持部33を参照して人物の指示内容を判別する(ステップS106)。
【0102】
判別した指示内容が、追従指示だった場合には(ステップS107,Yes)、動作モード切替手段52が動作モードを追従モードに切り替える(ステップS108)。追従指示でなかった場合には(ステップS107,No)、動作モードを切り替えることなく次の処理へ進む。
【0103】
そして、顔認識部23が顔画像情報保持部32を参照して、人物の認識をし(ステップS109)、その人物が、指示に従ってよい人物(適切な指示者)かどうかを人物確認手段53が確認する(ステップS110)。その結果、指示人物が適切な指示者でなかった場合には(ステップS110,No)、動作モード切替手段52が動作モードを待機モードに切り替える(ステップS111)。指示人物が適切な指示者であった場合には(ステップS110,Yes)、動作モードを切り替えることなく次の処理へ進む。
【0104】
次に、指示内容が、停止指示であるかどうかを判断し(ステップS112)、停止指示だった場合には(ステップS112,Yes)、移動速度を0に設定する。停止指示でなかった場合には(ステップS112,No)、そのまま次の処理(図1のステップS2)へ進む。
【0105】
(ジェスチャの具体例)
次に、図4を参照(適宜図1参照)して、ジェスチャの具体例について説明する。
図4は、追従対象である人物のジェスチャの概略を示したものである。図4(a)は、追従対象である人物が手を高く上げるジェスチャを示したものである。このジェスチャによって、ポスチャ・ジェスチャ認識部24及び指示判定手段51で追従開始(追従指示)と判定され、顔認識部23及び人物確認手段53によって個人が識別(特定)される。
【0106】
また、図4(b)は、追従対象である人物が「止まれ」と発声するとともに、手を前方に出すジェスチャを示したものである。このジェスチャによって、ポスチャ・ジェスチャ認識部24及び指示判定手段51で追従動作の終了(停止指示)が判定され、音声認識部10及び指示判別手段51で音声によっても、移動ロボットAの追従動作の終了が判定される。また、指示判定手段51は、外部の遠隔制御端末Tから、無線信号によって停止指示(Stop)を受信することで、追従動作の終了を判定することとしてもよい。
【0107】
なお、ジェスチャと音声とが矛盾する場合、例えば、ジェスチャでは追従開始(追従指示)を指示し、音声では追従動作の終了(停止指示)を指示した場合は、安全性を考慮して追従動作を終了させることとする。
【0108】
(移動ロボットの追従動作の具体例)
次に、図5を参照して、移動ロボットAの追従動作の具体例について説明する(適宜図1参照)。
図5は、追従対象である人物と移動ロボットAとの追従動作における位置関係を示したものである。図5(a)は、追従対象である人物と移動ロボットAとの距離が追従間隔(1.4m)よりも長く、しかも、追従対象である人物の歩行速度が移動ロボットAの最大移動速度(最大歩幅で移動)よりも速い場合を示している。この場合、応答行動決定手段57は追従対象に追いつくことができないと判断し、音声出力部62がスピーカSを介して「待ってください」と発声する。なお、追従対象の人物を見失ったときは追従を停止する。
【0109】
図5(b)は、追従対象である人物と移動ロボットAとが一定距離(追従間隔:1.4m)を維持しながら追従動作しているところを示したものである。
【0110】
図5(c)は、追従対象である人物に移動ロボットAが接近して、応答行動決定手段57で追従対象に衝突すると判断し、音声出力部62からスピーカSを介して「止まります」と発声し、停止した状態を示したものである。
【0111】
このように、移動ロボット制御装置1は、移動ロボットAを人物に対して一定の間隔をおいて追従させることができる。また、人物の追跡を行う際に、人物のジェスチャや音声によって追跡の開始や停止を指示することができるので、追従対象である人物と適切なコミュニケーションをとることができる。
【0112】
【発明の効果】
以上、詳細に説明したように、本発明によれば、追従対象である人物と十分なコミュニケーションをとりながら当該追従対象を追従していくように、移動ロボットを制御することができる。
【図面の簡単な説明】
【図1】本発明による一実施の形態である移動ロボット制御装置を含んだ移動ロボットの構成を示したブロック図である。
【図2】移動ロボット制御装置の処理を示すフローチャートである。
【図3】移動ロボット制御装置の指示認識処理の詳細を示すフローチャートである。
【図4】追従対象である人物のジェスチャの概略を示した図である。
【図5】追従対象である人物と移動ロボットとの追従動作における位置関係を示した図である。
【符号の説明】
1 移動ロボット制御装置
2 制御手段
3 保持手段
10 音声認識部
20 画像処理部
21 追従対象認識部
22 距離認識部
23 顔認識部
24 ポスチャ・ジェスチャ認識部
31 音声指示情報保持部
32 顔画像情報保持部
33 ポスチャ・ジェスチャ情報保持部
34 地図情報保持部
41 状態検査部
42 自己位置推定部
43 設定値入力部
50 行動決定部
51 指示判定手段
52 動作モード切替手段
53 人物確認手段
54 追従距離判定手段
55 移動速度決定手段
56 移動方向決定手段
57 応答行動決定手段
58 障害物判別手段
59 異常判定手段
61 移動制御部
62 音声出力部
63 動作制御部
91 センサ類
92 GPS受信器
93 ジャイロセンサ
94 入力装置
A 移動ロボット
M マイク
C(CR、CL) カメラ
S スピーカ
R1 脚部
R2 上体
R3 腕部
R4 頭部
Claims (11)
- カメラと移動手段と音声出力装置とを備えた移動ロボットを制御する移動ロボット制御装置であって、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段と、
この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段と、
この距離認識手段で認識した追従対象までの距離を、予め設定した距離に保つように前記移動手段を制御する移動制御手段と、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段と、
を備えていることを特徴とする移動ロボット制御装置。 - 前記移動ロボットの移動手段は、二足歩行により移動することを特徴とする請求項1に記載の移動ロボット制御装置。
- 前記移動ロボットが移動する領域の地図情報を保持する地図情報保持手段を備え、
前記移動制御手段が、前記地図情報保持手段に保持されている地図情報に基づいて、前記移動手段の動作を決定することを特徴とする請求項1又は請求項2に記載の移動ロボット制御装置。 - 前記地図情報保持手段に保持されている地図情報には、進入を禁止する進入禁止領域が設定されていることを特徴とする請求項3に記載の移動ロボット制御装置。
- 前記追従対象が人物であって、前記人物からの指示を判別する指示判別手段を備えていることを特徴とする請求項1乃至請求項4のいずれか1項に記載の移動ロボット制御装置。
- 前記指示判別手段は、顔画像により前記人物を認識した認識結果に基づいて、前記人物を追従するかどうかを判別することを特徴とする請求項5に記載の移動ロボット制御装置。
- 前記指示判別手段は、前記人物のポスチャ、ジェスチャの少なくとも一方に基づいて、前記人物からの指示を判別することを特徴とする請求項5又は請求項6に記載の移動ロボット制御装置。
- 前記指示判別手段は、前記人物が発生した音声に基づいて、前記人物からの指示を判別することを特徴とする請求項5乃至請求項7のいずれか1項に記載の移動ロボット制御装置。
- 前記音声出力制御手段は、周囲の騒音レベルに基づいて、前記音声出力装置へ出力する音声の音量を変更することを特徴とする請求項1乃至請求項8のいずれか1項に記載の移動ロボット制御装置。
- カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するための移動ロボット制御方法であって、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識ステップと、
この追従対象認識ステップで認識した追従対象までの距離を認識する距離認識ステップと、
この距離認識ステップで認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御ステップと、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御ステップと、
を含むことを特徴とする移動ロボット制御方法。 - カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するために、コンピュータを、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段、
この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段、
この距離認識手段で認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御手段、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段、
として機能させることを特徴とする移動ロボット制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003097593A JP2004299025A (ja) | 2003-04-01 | 2003-04-01 | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
US10/814,782 US7551980B2 (en) | 2003-04-01 | 2004-04-01 | Apparatus, process, and program for controlling movable robot control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003097593A JP2004299025A (ja) | 2003-04-01 | 2003-04-01 | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004299025A true JP2004299025A (ja) | 2004-10-28 |
Family
ID=33095163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003097593A Pending JP2004299025A (ja) | 2003-04-01 | 2003-04-01 | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7551980B2 (ja) |
JP (1) | JP2004299025A (ja) |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006212732A (ja) * | 2005-02-02 | 2006-08-17 | Fujitsu Ltd | ロボットによる案内・説明方法、システム、サーバ、およびロボット |
EP1728824A2 (en) | 2005-05-31 | 2006-12-06 | Bridgestone Corporation | Evoh composite resin and refrigerant transporting hose |
JP2006330514A (ja) * | 2005-05-27 | 2006-12-07 | Noritsu Koki Co Ltd | プリント注文受付装置 |
JP2007094743A (ja) * | 2005-09-28 | 2007-04-12 | Zmp:Kk | 自律移動型ロボットとそのシステム |
JP2007199965A (ja) * | 2006-01-25 | 2007-08-09 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2007283434A (ja) * | 2006-04-17 | 2007-11-01 | Toyota Motor Corp | 自律移動装置 |
JP2008012635A (ja) * | 2006-07-07 | 2008-01-24 | Toyota Motor Corp | 人物識別システム |
JP2008087141A (ja) * | 2006-10-05 | 2008-04-17 | Toyota Motor Corp | 脚式移動ロボットの動作データ作成装置及び作成方法 |
JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
WO2009075048A1 (ja) | 2007-12-10 | 2009-06-18 | Honda Motor Co., Ltd. | リモコン |
US7557703B2 (en) | 2005-07-11 | 2009-07-07 | Honda Motor Co., Ltd. | Position management system and position management program |
US7711569B2 (en) | 2004-12-01 | 2010-05-04 | Honda Motor Co., Ltd. | Chat information service system |
US7729512B2 (en) | 2005-03-23 | 2010-06-01 | Kabushiki Kaisha Toshiba | Stereo image processing to detect moving objects |
JP2010151459A (ja) * | 2008-12-24 | 2010-07-08 | Seiko Epson Corp | 位置算出方法及び位置算出装置 |
JP2011067941A (ja) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | 人間型ロボットのための視覚認知システムおよび方法 |
WO2011074165A1 (ja) * | 2009-12-17 | 2011-06-23 | 村田機械株式会社 | 自律移動装置 |
JP2014123304A (ja) * | 2012-12-21 | 2014-07-03 | Secom Co Ltd | 自律移動ロボット |
JP2014142828A (ja) * | 2013-01-24 | 2014-08-07 | Secom Co Ltd | 自律移動ロボット |
JP2014149621A (ja) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | 自律飛行ロボット |
JP2015520470A (ja) * | 2012-06-22 | 2015-07-16 | マイクロソフト コーポレーション | データベース生成及び更新に深度ベースのトラッキングを用いた顔認識自己学習 |
WO2016039158A1 (ja) * | 2014-09-08 | 2016-03-17 | 日本電産株式会社 | 移動体制御装置及び移動体 |
JP2016048588A (ja) * | 2012-04-26 | 2016-04-07 | 株式会社三菱東京Ufj銀行 | 情報処理装置 |
JP2016212465A (ja) * | 2015-04-28 | 2016-12-15 | 株式会社ニコン | 電子機器および撮像システム |
JP2017004158A (ja) * | 2015-06-08 | 2017-01-05 | シャープ株式会社 | 自律走行装置 |
KR20170029409A (ko) * | 2014-04-17 | 2017-03-15 | 소프트뱅크 로보틱스 유럽 | 인간과 휴머노이드 로봇의 대화를 핸들링하기 위한 시스템, 방법 및 컴퓨터 프로그램 프로덕트 |
JP2017129908A (ja) * | 2016-01-18 | 2017-07-27 | 株式会社エクォス・リサーチ | 移動体 |
JP2017174110A (ja) * | 2016-03-23 | 2017-09-28 | 株式会社Jvcケンウッド | 無人移動装置、引継方法、プログラム |
JP2018085065A (ja) * | 2016-11-25 | 2018-05-31 | 株式会社竹中工務店 | 電動走行台車 |
KR101910382B1 (ko) * | 2011-12-08 | 2018-10-22 | 엘지전자 주식회사 | 자동 이동 장치 및 그 수동 조작 방법 |
JP2019018845A (ja) * | 2017-07-18 | 2019-02-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 外部客体との距離に基づいて移動する電子装置 |
JP2019148909A (ja) * | 2018-02-26 | 2019-09-05 | 株式会社日本総合研究所 | 移動制御システム、作業機械、及びプログラム |
JP2019179285A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社エクォス・リサーチ | 移動体 |
JP2020086757A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
JP2020086756A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
WO2020152777A1 (ja) * | 2019-01-22 | 2020-07-30 | 本田技研工業株式会社 | 同行移動体 |
JP2020529050A (ja) * | 2018-07-20 | 2020-10-01 | 霊動科技(北京)有限公司Lingdong Technology (Beijing) Co. Ltd | 側方追従及び障害物回避を備えたスマート自己駆動システム |
JP2020166734A (ja) * | 2019-03-29 | 2020-10-08 | 日本電産シンポ株式会社 | 搬送車 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4460528B2 (ja) * | 2004-12-14 | 2010-05-12 | 本田技研工業株式会社 | 識別対象識別装置およびそれを備えたロボット |
ATE522330T1 (de) | 2005-09-30 | 2011-09-15 | Irobot Corp | Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung |
JP2007134998A (ja) | 2005-11-10 | 2007-05-31 | Sony Corp | 電子機器及びその制御方法 |
JP4751192B2 (ja) * | 2005-12-12 | 2011-08-17 | 本田技研工業株式会社 | 移動ロボット |
US20090312869A1 (en) * | 2006-06-28 | 2009-12-17 | Nec Corporation | Robot, robot control method, and robot control program |
US8577126B2 (en) * | 2007-04-11 | 2013-11-05 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
US20090180668A1 (en) * | 2007-04-11 | 2009-07-16 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
TW200928892A (en) * | 2007-12-28 | 2009-07-01 | Wistron Corp | Electronic apparatus and operation method thereof |
US9308879B2 (en) | 2008-08-06 | 2016-04-12 | Honeywell International Inc. | Method, system, and apparatus of vehicle and fleet operator profile automation and deployment |
TWI408397B (zh) * | 2008-08-15 | 2013-09-11 | Univ Nat Chiao Tung | Automatic navigation device with ultrasonic and computer vision detection and its navigation method |
US8744664B2 (en) * | 2009-09-07 | 2014-06-03 | Bae Systems Plc | Path determination |
IL200921A (en) * | 2009-09-14 | 2016-05-31 | Israel Aerospace Ind Ltd | A robotic carry system for infantry and useful methods for the above purpose |
JP5569062B2 (ja) * | 2010-03-15 | 2014-08-13 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
KR101326230B1 (ko) * | 2010-09-17 | 2013-11-20 | 한국과학기술원 | 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 |
KR101298024B1 (ko) * | 2010-09-17 | 2013-08-26 | 엘지디스플레이 주식회사 | 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 |
US8371897B1 (en) * | 2012-01-19 | 2013-02-12 | Silverlit Limited | Vision technology for interactive toys |
TW201339903A (zh) * | 2012-03-26 | 2013-10-01 | Hon Hai Prec Ind Co Ltd | 無人飛行載具控制系統及方法 |
JP5978027B2 (ja) * | 2012-06-28 | 2016-08-24 | 本田技研工業株式会社 | 移動ロボットの制御装置 |
US20140094997A1 (en) * | 2012-09-28 | 2014-04-03 | Elwha Llc | Automated Systems, Devices, and Methods for Transporting and Supporting Patients Including Multi-Floor Operation |
US8634981B1 (en) | 2012-09-28 | 2014-01-21 | Elwha Llc | Automated systems, devices, and methods for transporting and supporting patients |
US10678236B2 (en) * | 2013-10-25 | 2020-06-09 | Samsung Electronics Co., Ltd. | Cleaning robot |
TWI509530B (zh) * | 2013-10-28 | 2015-11-21 | Pixart Imaging Inc | 自主式行動載具以及自動跟隨系統 |
TWI547355B (zh) * | 2013-11-11 | 2016-09-01 | 財團法人工業技術研究院 | 人機共生安全監控系統及其方法 |
JP6003942B2 (ja) * | 2014-04-24 | 2016-10-05 | トヨタ自動車株式会社 | 動作制限装置及び動作制限方法 |
KR101892026B1 (ko) * | 2015-11-10 | 2018-08-27 | 현대자동차주식회사 | 차량의 원격 주차 제어 방법 및 장치 |
US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10606257B2 (en) | 2015-11-10 | 2020-03-31 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10906530B2 (en) | 2015-11-10 | 2021-02-02 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10471611B2 (en) | 2016-01-15 | 2019-11-12 | Irobot Corporation | Autonomous monitoring robot systems |
CN108885449A (zh) * | 2016-02-09 | 2018-11-23 | 福特全球技术公司 | 用于自主车辆跟随对象的设备和方法 |
CN105929827B (zh) * | 2016-05-20 | 2020-03-10 | 北京地平线机器人技术研发有限公司 | 移动机器人及其定位方法 |
US10491895B2 (en) | 2016-05-23 | 2019-11-26 | Intel Corporation | Fast and robust human skin tone region detection for improved video coding |
US10628700B2 (en) * | 2016-05-23 | 2020-04-21 | Intel Corporation | Fast and robust face detection, region extraction, and tracking for improved video coding |
US20170368691A1 (en) * | 2016-06-27 | 2017-12-28 | Dilili Labs, Inc. | Mobile Robot Navigation |
CN106444752A (zh) * | 2016-07-04 | 2017-02-22 | 深圳市踏路科技有限公司 | 一种基于无线定位的机器人智能跟随***及智能跟随方法 |
US11153528B2 (en) * | 2016-10-01 | 2021-10-19 | Intel Corporation | Technologies for structured media playback |
DE102016124906A1 (de) * | 2016-12-20 | 2017-11-30 | Miele & Cie. Kg | Verfahren zum Steuern eines Bodenpflegegeräts und Bodenpflegegerät |
US10468022B2 (en) * | 2017-04-03 | 2019-11-05 | Motorola Mobility Llc | Multi mode voice assistant for the hearing disabled |
US10100968B1 (en) | 2017-06-12 | 2018-10-16 | Irobot Corporation | Mast systems for autonomous mobile robots |
DE102017117013B4 (de) * | 2017-07-27 | 2023-12-14 | Berliner Stadtreinigungsbetriebe | Semiautonome Folgeeinrichtung, insbesondere semiautonome Kehrmaschine |
US10621406B2 (en) * | 2017-09-15 | 2020-04-14 | Key Technology, Inc. | Method of sorting |
KR102582863B1 (ko) * | 2018-09-07 | 2023-09-27 | 삼성전자주식회사 | 사용자 의도 기반 제스처 인식 방법 및 장치 |
KR102627014B1 (ko) * | 2018-10-02 | 2024-01-19 | 삼성전자 주식회사 | 전자 장치 및 제스처 인식 방법 |
JP7225695B2 (ja) * | 2018-11-07 | 2023-02-21 | 富士フイルムビジネスイノベーション株式会社 | 自律移動装置およびプログラム |
US11110595B2 (en) | 2018-12-11 | 2021-09-07 | Irobot Corporation | Mast systems for autonomous mobile robots |
CA3126168A1 (en) | 2019-02-18 | 2020-08-27 | Shen Lun Technology Limited Company | Following operation system |
US10852722B2 (en) * | 2019-04-03 | 2020-12-01 | Ching MENG | Following operation system |
US11416002B1 (en) * | 2019-06-11 | 2022-08-16 | Ambarella International Lp | Robotic vacuum with mobile security function |
JP2021157530A (ja) * | 2020-03-27 | 2021-10-07 | 本田技研工業株式会社 | 自律作業機、自律作業設定方法、およびプログラム |
JP2022059972A (ja) * | 2020-10-02 | 2022-04-14 | 本田技研工業株式会社 | 認識対象者の認識方法 |
KR20230139940A (ko) | 2022-03-28 | 2023-10-06 | 주식회사 제이와이글로벌 | Ai 학습기반 사용자 추종 로봇 시스템 및 ai 학습기반 사용자 추종 로봇의 주행 제어 방법 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154661A (ja) * | 1987-12-11 | 1989-06-16 | Nec Eng Ltd | 電話機 |
JPH036710A (ja) * | 1989-06-05 | 1991-01-14 | Toshiba Corp | 追随移動ロボット制御装置 |
JPH06343334A (ja) * | 1993-06-11 | 1994-12-20 | Maruyama Mfg Co Ltd | 自走作業車 |
JPH0822324A (ja) * | 1994-07-05 | 1996-01-23 | Mitsubishi Heavy Ind Ltd | 移動ロボットの軌道生成方法 |
JPH10171533A (ja) * | 1996-12-06 | 1998-06-26 | Cosmo Ii C Kk | 自動追尾式飼犬先導車 |
JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
JPH11175151A (ja) * | 1997-12-09 | 1999-07-02 | Fuji Electric Co Ltd | 移動ロボットの制御方法、移動ロボットの制御装置、及び記録媒体 |
JP2000112523A (ja) * | 1998-09-30 | 2000-04-21 | Honda Motor Co Ltd | 自動追従走行システム |
JP2000113399A (ja) * | 1998-09-30 | 2000-04-21 | Honda Motor Co Ltd | 自動追従走行システム |
JP2001142676A (ja) * | 1999-11-16 | 2001-05-25 | Seiko Epson Corp | プリンタ |
JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2001277163A (ja) * | 2000-04-03 | 2001-10-09 | Sony Corp | ロボットの制御装置及び制御方法 |
JP2001306145A (ja) * | 2000-04-25 | 2001-11-02 | Casio Comput Co Ltd | 移動ロボット装置およびそのプログラム記録媒体 |
JP2002041146A (ja) * | 2000-07-24 | 2002-02-08 | Nec Kagoshima Ltd | 無人搬送車システムの安全装置 |
JP2003032323A (ja) * | 2001-07-11 | 2003-01-31 | Hitachi Kokusai Electric Inc | 携帯電子機器及びその制御プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR930007376B1 (ko) * | 1991-07-19 | 1993-08-09 | 삼성전자 주식회사 | 음향레벨 자동 조절장치 |
JPH08166822A (ja) | 1994-12-13 | 1996-06-25 | Nippon Telegr & Teleph Corp <Ntt> | ユーザ追尾型移動ロボット装置及びセンシング方法 |
JPH1173582A (ja) | 1997-08-29 | 1999-03-16 | Nippon Signal Co Ltd:The | 徘徊老人用追尾ロボット |
DE10066147C1 (de) * | 2000-02-19 | 2003-10-30 | Romy Salvagno | Roboter-Golfcaddie |
JP2002205290A (ja) | 2001-01-05 | 2002-07-23 | Sony Corp | 脚式移動ロボットの制御装置及び制御方法 |
US7117067B2 (en) * | 2002-04-16 | 2006-10-03 | Irobot Corporation | System and methods for adaptive control of robotic devices |
JP3951235B2 (ja) * | 2003-02-19 | 2007-08-01 | ソニー株式会社 | 学習装置及び学習方法並びにロボット装置 |
JP2004298977A (ja) * | 2003-03-28 | 2004-10-28 | Sony Corp | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 |
JP2005202076A (ja) * | 2004-01-14 | 2005-07-28 | Sony Corp | 発話制御装置及び方並びにロボット装置 |
-
2003
- 2003-04-01 JP JP2003097593A patent/JP2004299025A/ja active Pending
-
2004
- 2004-04-01 US US10/814,782 patent/US7551980B2/en not_active Expired - Fee Related
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154661A (ja) * | 1987-12-11 | 1989-06-16 | Nec Eng Ltd | 電話機 |
JPH036710A (ja) * | 1989-06-05 | 1991-01-14 | Toshiba Corp | 追随移動ロボット制御装置 |
JPH06343334A (ja) * | 1993-06-11 | 1994-12-20 | Maruyama Mfg Co Ltd | 自走作業車 |
JPH0822324A (ja) * | 1994-07-05 | 1996-01-23 | Mitsubishi Heavy Ind Ltd | 移動ロボットの軌道生成方法 |
JPH10171533A (ja) * | 1996-12-06 | 1998-06-26 | Cosmo Ii C Kk | 自動追尾式飼犬先導車 |
JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
JPH11175151A (ja) * | 1997-12-09 | 1999-07-02 | Fuji Electric Co Ltd | 移動ロボットの制御方法、移動ロボットの制御装置、及び記録媒体 |
JP2000112523A (ja) * | 1998-09-30 | 2000-04-21 | Honda Motor Co Ltd | 自動追従走行システム |
JP2000113399A (ja) * | 1998-09-30 | 2000-04-21 | Honda Motor Co Ltd | 自動追従走行システム |
JP2001142676A (ja) * | 1999-11-16 | 2001-05-25 | Seiko Epson Corp | プリンタ |
JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2001277163A (ja) * | 2000-04-03 | 2001-10-09 | Sony Corp | ロボットの制御装置及び制御方法 |
JP2001306145A (ja) * | 2000-04-25 | 2001-11-02 | Casio Comput Co Ltd | 移動ロボット装置およびそのプログラム記録媒体 |
JP2002041146A (ja) * | 2000-07-24 | 2002-02-08 | Nec Kagoshima Ltd | 無人搬送車システムの安全装置 |
JP2003032323A (ja) * | 2001-07-11 | 2003-01-31 | Hitachi Kokusai Electric Inc | 携帯電子機器及びその制御プログラム |
Non-Patent Citations (1)
Title |
---|
大野 彩子 SAIKO OHNO: "対話型高齢者支援システムの設計と試作 A Prototype System Design and Implementation of an Interactive", ヒューマンインタフェース学会研究報告集 VOL.4 NO.1 CORRESPONDENCES ON HUMAN INTERFACE, vol. 第4巻, JPN6008001525, 24 January 2002 (2002-01-24), JP, pages 65 - 70, ISSN: 0000962831 * |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711569B2 (en) | 2004-12-01 | 2010-05-04 | Honda Motor Co., Ltd. | Chat information service system |
JP2006212732A (ja) * | 2005-02-02 | 2006-08-17 | Fujitsu Ltd | ロボットによる案内・説明方法、システム、サーバ、およびロボット |
JP4701731B2 (ja) * | 2005-02-02 | 2011-06-15 | 富士通株式会社 | ロボットによる案内方法 |
US7729512B2 (en) | 2005-03-23 | 2010-06-01 | Kabushiki Kaisha Toshiba | Stereo image processing to detect moving objects |
JP2008538327A (ja) * | 2005-04-18 | 2008-10-23 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
JP4647687B2 (ja) * | 2005-04-18 | 2011-03-09 | 本田技研工業株式会社 | ロボットコマンド決定方法およびロボットコマンド決定システム |
JP2006330514A (ja) * | 2005-05-27 | 2006-12-07 | Noritsu Koki Co Ltd | プリント注文受付装置 |
EP1728824A2 (en) | 2005-05-31 | 2006-12-06 | Bridgestone Corporation | Evoh composite resin and refrigerant transporting hose |
US7557703B2 (en) | 2005-07-11 | 2009-07-07 | Honda Motor Co., Ltd. | Position management system and position management program |
JP2007094743A (ja) * | 2005-09-28 | 2007-04-12 | Zmp:Kk | 自律移動型ロボットとそのシステム |
JP2007199965A (ja) * | 2006-01-25 | 2007-08-09 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2007283434A (ja) * | 2006-04-17 | 2007-11-01 | Toyota Motor Corp | 自律移動装置 |
JP2008012635A (ja) * | 2006-07-07 | 2008-01-24 | Toyota Motor Corp | 人物識別システム |
JP2008087141A (ja) * | 2006-10-05 | 2008-04-17 | Toyota Motor Corp | 脚式移動ロボットの動作データ作成装置及び作成方法 |
WO2009075048A1 (ja) | 2007-12-10 | 2009-06-18 | Honda Motor Co., Ltd. | リモコン |
US9592610B2 (en) | 2007-12-10 | 2017-03-14 | Honda Motor Co., Ltd. | Remote controller |
JP2010151459A (ja) * | 2008-12-24 | 2010-07-08 | Seiko Epson Corp | 位置算出方法及び位置算出装置 |
JP2011067941A (ja) * | 2009-09-22 | 2011-04-07 | Gm Global Technology Operations Inc | 人間型ロボットのための視覚認知システムおよび方法 |
WO2011074165A1 (ja) * | 2009-12-17 | 2011-06-23 | 村田機械株式会社 | 自律移動装置 |
US8897947B2 (en) | 2009-12-17 | 2014-11-25 | Murata Machinery, Ltd. | Autonomous mobile device |
KR101910382B1 (ko) * | 2011-12-08 | 2018-10-22 | 엘지전자 주식회사 | 자동 이동 장치 및 그 수동 조작 방법 |
JP2016048588A (ja) * | 2012-04-26 | 2016-04-07 | 株式会社三菱東京Ufj銀行 | 情報処理装置 |
JP2015520470A (ja) * | 2012-06-22 | 2015-07-16 | マイクロソフト コーポレーション | データベース生成及び更新に深度ベースのトラッキングを用いた顔認識自己学習 |
JP2014123304A (ja) * | 2012-12-21 | 2014-07-03 | Secom Co Ltd | 自律移動ロボット |
JP2014142828A (ja) * | 2013-01-24 | 2014-08-07 | Secom Co Ltd | 自律移動ロボット |
JP2014149621A (ja) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | 自律飛行ロボット |
KR102003588B1 (ko) * | 2014-04-17 | 2019-07-24 | 소프트뱅크 로보틱스 유럽 | 인간과 휴머노이드 로봇의 대화를 핸들링하기 위한 시스템, 방법 및 컴퓨터 프로그램 프로덕트 |
KR20170029409A (ko) * | 2014-04-17 | 2017-03-15 | 소프트뱅크 로보틱스 유럽 | 인간과 휴머노이드 로봇의 대화를 핸들링하기 위한 시스템, 방법 및 컴퓨터 프로그램 프로덕트 |
JP2017513724A (ja) * | 2014-04-17 | 2017-06-01 | ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe | 人と人型ロボットの交流を処理するためのシステム、方法及びコンピュータプログラムプロダクト |
US10144135B2 (en) | 2014-04-17 | 2018-12-04 | Softbank Robotics Europe | System, method and computer program product for handling humanoid robot interaction with human |
WO2016039158A1 (ja) * | 2014-09-08 | 2016-03-17 | 日本電産株式会社 | 移動体制御装置及び移動体 |
JP2016057720A (ja) * | 2014-09-08 | 2016-04-21 | 日本電産株式会社 | 移動体制御装置及び移動体 |
JP2016212465A (ja) * | 2015-04-28 | 2016-12-15 | 株式会社ニコン | 電子機器および撮像システム |
JP2017004158A (ja) * | 2015-06-08 | 2017-01-05 | シャープ株式会社 | 自律走行装置 |
JP2017129908A (ja) * | 2016-01-18 | 2017-07-27 | 株式会社エクォス・リサーチ | 移動体 |
JP2017174110A (ja) * | 2016-03-23 | 2017-09-28 | 株式会社Jvcケンウッド | 無人移動装置、引継方法、プログラム |
WO2017163973A1 (ja) * | 2016-03-23 | 2017-09-28 | 株式会社Jvcケンウッド | 無人移動装置、引継方法、プログラム |
JP2018085065A (ja) * | 2016-11-25 | 2018-05-31 | 株式会社竹中工務店 | 電動走行台車 |
JP2019018845A (ja) * | 2017-07-18 | 2019-02-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 外部客体との距離に基づいて移動する電子装置 |
US11198508B2 (en) | 2017-07-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | Electronic device moved based on distance from external object and control method thereof |
JP2019148909A (ja) * | 2018-02-26 | 2019-09-05 | 株式会社日本総合研究所 | 移動制御システム、作業機械、及びプログラム |
JP2019179285A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社エクォス・リサーチ | 移動体 |
JP2020529050A (ja) * | 2018-07-20 | 2020-10-01 | 霊動科技(北京)有限公司Lingdong Technology (Beijing) Co. Ltd | 側方追従及び障害物回避を備えたスマート自己駆動システム |
JP7169593B2 (ja) | 2018-07-20 | 2022-11-11 | 霊動科技(北京)有限公司 | 側方追従及び障害物回避を備えたスマート自己駆動システム |
JP2020086757A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
JP2020086756A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
US11960275B2 (en) | 2018-11-21 | 2024-04-16 | Fujifilm Business Innovation Corp. | Autonomous moving apparatus and non-transitory computer readable medium |
JPWO2020152777A1 (ja) * | 2019-01-22 | 2021-09-30 | 本田技研工業株式会社 | 同行移動体 |
WO2020152777A1 (ja) * | 2019-01-22 | 2020-07-30 | 本田技研工業株式会社 | 同行移動体 |
JP7391882B2 (ja) | 2019-01-22 | 2023-12-05 | 本田技研工業株式会社 | 同行移動体 |
JP2020166734A (ja) * | 2019-03-29 | 2020-10-08 | 日本電産シンポ株式会社 | 搬送車 |
CN111830960A (zh) * | 2019-03-29 | 2020-10-27 | 日本电产新宝株式会社 | 搬运车 |
Also Published As
Publication number | Publication date |
---|---|
US20040199292A1 (en) | 2004-10-07 |
US7551980B2 (en) | 2009-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004299025A (ja) | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム | |
JP4262196B2 (ja) | 自律移動ロボット | |
JP4276624B2 (ja) | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム | |
US8090193B2 (en) | Mobile robot | |
JP4460528B2 (ja) | 識別対象識別装置およびそれを備えたロボット | |
JP5366048B2 (ja) | 情報提供システム | |
JP5768273B2 (ja) | 歩行者の軌跡を予測して自己の回避行動を決定するロボット | |
JP2008084135A (ja) | 移動制御方法、移動ロボットおよび移動制御プログラム | |
US20100222925A1 (en) | Robot control apparatus | |
KR20140031316A (ko) | 이동하는 개체를 이동 로봇을 이용하여 추적 및 추종하는 기법 | |
JP2007199965A (ja) | 自律移動装置 | |
WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008087140A (ja) | 音声認識ロボットおよび音声認識ロボットの制御方法 | |
US20220382282A1 (en) | Mobility aid robot navigating method and mobility aid robot using the same | |
WO2016039158A1 (ja) | 移動体制御装置及び移動体 | |
JP2003280739A (ja) | 案内用自律移動ロボットとその制御方法 | |
JP2006231447A (ja) | 指示位置または特定物の確認方法及び座標獲得方法並びに装置 | |
JP5552710B2 (ja) | ロボットの移動制御システム、ロボットの移動制御プログラムおよびロボットの移動制御方法 | |
JP3768957B2 (ja) | 移動ロボットの経路設定方法 | |
JP2012070202A (ja) | 移動体操作用無線通信装置および通信制御プログラムならびに移動体 | |
JP4311355B2 (ja) | 自走式機器およびそのプログラム | |
JP5171394B2 (ja) | 移動型ロボット | |
JP7061474B2 (ja) | 走行装置 | |
US11964402B2 (en) | Robot control system, robot control method, and control program | |
JP2004034272A (ja) | 移動体の自己位置同定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080520 |