JP2006272471A - コミュニケーションロボット - Google Patents
コミュニケーションロボット Download PDFInfo
- Publication number
- JP2006272471A JP2006272471A JP2005091302A JP2005091302A JP2006272471A JP 2006272471 A JP2006272471 A JP 2006272471A JP 2005091302 A JP2005091302 A JP 2005091302A JP 2005091302 A JP2005091302 A JP 2005091302A JP 2006272471 A JP2006272471 A JP 2006272471A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- communication
- sight
- line
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【構成】 コミュニケーションロボット10は赤外線照射装置100および赤外反射光計測用カメラ102を用いて、コミュニケーション相手である人間の視線を検出する。ロボット10は検出結果により人間の視線がロボット10の方を向いていないと判断すれば、人間の視線をロボット10の方に向けさせる行動を取る。
【効果】 ロボット10は人間の視線に応じた自然な働きかけを人間にすることができる。
【選択図】 図1
【効果】 ロボット10は人間の視線に応じた自然な働きかけを人間にすることができる。
【選択図】 図1
Description
この発明はコミュニケーションロボットに関し、特にたとえば、ロボットが人間との間でコミュニケーション行動を行う、コミュニケーションロボットに関する。
従来の視線を検出する装置の一例が、特許文献1に開示されている。
特許文献1では、赤外線発光ダイオートから赤外線を人間の目に照射し、その反射光をセンサで検出する。目の黒眼と白眼との赤外線の反射率の違いに基づいて、黒眼の位置を求め、人間の視線方向を検出している。
特開平8−292362号公報
特許文献1の技術のように、これまで人間の視線を検出するだけの装置はあった。しかし、ロボットが検出した視線を利用して人間に働きかけるシステムはなかった。
それゆえに、この発明の主たる目的は、新規な、コミュニケーションロボットを提供することである。
この発明の他の目的は、人間の視線に応じて人間に働きかけることができる、コミュニケーションロボットを提供することである。
請求項1の発明は、人間との間でコミュニケーション行動を実行するコミュニケーションロボットであって、コミュニケーション相手の視線を検出する視線検出手段、および視線検出手段の検出結果に応じたコミュニケーション行動を決定する行動決定手段を含む、コミュニケーションロボットである。
請求項1の発明では、コミュニケーションロボット(10)は視線検出手段(52、S5)および行動決定手段(52、S7)を含む。視線検出手段(52、S5)は人間などのコミュニケーション相手の視線を検出し、行動決定手段(52、S7)はその視線に応じてコミュニケーション行動を決定する。たとえば、コミュニケーションロボット(10)が人間の視線と合わせてコミュニケーション行動を取ることにより、人間どうしが会話するときのように自然なコミュニケーションを取ることができる。
請求項2の発明は、行動決定手段は、視線検出手段の検出結果に基づいて視線を向けさせる行動を取る、請求項1記載のコミュニケーションロボットである。
請求項2の発明では、視線検出手段(52、S5)の検出結果により行動決定手段(52、S7)は、コミュニケーション相手の視線がコミュニケーションロボット(10)の方を向いていない判断した場合、行動決定手段(52、S7)はその相手の視線をコミュニケーションロボット(10)に向けさせる行動を取る。これにより、コミュニケーションロボット(10)はコミュニケーション相手と視線を合わせて自然なコミュニケーション行動を実行することができる。
この発明によれば、コミュニケーションロボットがコミュニケーション相手の視線に応じてコミュニケーション行動を実行することにより、コミュニケーションロボットはコミュニケーション行動における自然な働きかけを人間にすることができる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のコミュニケーションロボット(以下、単に「ロボット」という。)10は人間のような身体を有し、たとえば人間のようなコミュニケーション相手とコミュニケーションすることを目的とした相互作用指向のものであり、身振り(手振り)および発話(音声)の少なくとも一方を用いたコミュニケーションの行動(以下、「コミュニケーション行動」ということがある。)を行う機能を備える。
ロボット10は台車14を含み、台車14の下面にロボット10を自律移動させる車輪16が設けられる。この車輪16は車輪モータ(ロボット10の内部構成を示す図2において参照番号「74」で示す。)によって駆動され、台車14すなわちロボット10を前後左右任意の方向に動かす。
なお、図1では示さないが、衝突センサ(図2において参照番号「82」で示す。)が台車14の前面に取り付けられ、衝突センサ82は台車14への人間や他の障害物の接触を検知する。そして、ロボット10の移動中に障害物との接触を検知すると、直ちに車輪16の駆動を停止してロボット10の移動を急停止させる。
台車14の上に多角形柱のセンサ取付パネル18が設けられ、センサ取付パネル18の各面に超音波距離センサ20が取り付けられる。この超音波距離センサ20は取付パネル18すなわちロボット10の周囲の主として人との間の距離を計測する。
センサ取付パネル18の他にロボット10の胴体22、24も台車14の上に取り付けられる。胴体22、24は直立し、その下部はセンサ取付パネル18で囲まれる。胴体は下部胴体22と上部胴体24とから構成され、これらは連結部26によって連結される。連結部26には昇降機構(図示せず)が内蔵され、昇降機構を用いることによって上部胴体24の高さすなわちロボット10の高さを変化させることができる。昇降機構は、後述のように腰モータ(図2において参照番号「72」で示す。)によって駆動される。
上部胴体24のほぼ中央に1つの全方位カメラ28および1つのマイク30が設けられる。全方位カメラ28は、たとえばCCDやCMOSのような固体撮像素子を用いるカメラであり、ロボット10の周囲を撮影する。マイク30は周囲の音、とりわけ人の声を取り込む。
上部胴体24の両肩にそれぞれ肩関節32Rおよび32Lが取り付けられ、各肩関節32Rおよび32Lに上腕34Rおよび34Lが接続される。肩関節32Rは上腕34Rの角度を互いに直交するX軸,Y軸およびZ軸の各軸廻りに制御し、肩関節32Lは上腕34Lの角度を互いに直交するA軸,B軸およびC軸の各軸廻りに制御する。
上腕34Rおよび34Lのそれぞれの先端に肘関節36Rおよび36Lを介して前腕38Rおよび38Lが取り付けられる。各肘関節36Rおよび36Lは前腕38Rおよび38Lの角度をW軸およびD軸の軸廻りに制御する。
なお、図1では示さないが、上部胴体24の肩関節32Rおよび32L、上腕34Rおよび34L、ならびに前腕38Rおよび38Lにそれぞれタッチセンサ(図2において参照番号80で包括的に示す。)が設けられる。タッチセンサ80は人がロボット10のこれらの部位に接触したかどうかを検知する。
前腕38Rおよび38Lの先端にそれぞれ手に相当する球体40Rおよび40Lが固定的に取り付けられる。ただし、指の機能(握る、掴む、摘むなど)が必要な場合には、球体40Rおよび40Lに代えて、人の手の形をした「手」を用いることも可能である。
上部胴体24の中央上方に首関節42を介して頭部44が取り付けられる。首関節42は互いに直交する3軸、S軸,T軸およびU軸の自由度を有し、各軸廻りに角度制御する。頭部44の人の口に相当する位置にスピーカ46が設けられる。スピーカ46は、ロボット10が周囲の人に音声または声によってコミュニケーションを図るために用いられる。ただし、スピーカ46はロボット10の他の部位たとえば胴体に設けられてもよい。
また、頭部44の目に相当する位置に眼球部48Rおよび48Lが設けられ、眼球部48Rおよび48L内にそれぞれ眼カメラ50Rおよび50Lが固定される。眼球部48Rおよび48Lは眼球支持部(図示せず)を介して頭部44内の所定位置に取り付けられ、眼球支持部は互いに直交する2軸、α軸およびβ軸の自由度を有し、各軸廻りに角度制御する。眼カメラ50Rおよび50Lは、たとえばCCDやCMOSのような固体撮像素子を用いるカメラである。
頭部44の頭頂部などに赤外線LEDなどの赤外線照射装置100および赤外線フォトトランジスタなどの赤外反射光計測用カメラ102が取り付けられる。これらの向きは眼カメラ50Rおよび50Lの向きと一致させる。このため、赤外線照射装置100は眼カメラ50Rおよび50Lが向いている方向に赤外線を発光し、赤外反射光計測用カメラ102は照射された赤外線の反射光を受光する。
図2にロボット10の内部構成を示すブロック図が示される。ロボット10は全体の制御のためにマイクロコンピュータまたはCPU52を含み、CPU52はバス54を通して、メモリ56,モータ制御ボード58,センサ入力/出力ボード60、音声入力/出力ボード62および通信LANボード64と接続される。
メモリ56は、図示しないがROMやHDD、RAMなどを含む。ROMまたはHDDにロボット10の身体動作を制御するためのプログラム(行動モジュールと呼ばれる。)やデータ、視線検出プログラムなどが予め格納されており、CPU52はこのプログラムに従って処理を実行する。なお、RAMは一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用され得る。
モータ制御ボード58は、たとえばDSP(Digital Signal Processor)で構成され、腕や頭など身体部位を駆動するためのモータを制御する。すなわち、図1および図2に示すように、モータ制御ボード58はCPU52からの制御データを受け、右肩関節32Rおよび右肘関節36Rの角度を制御する右腕モータ66を調節する。また、モータ制御ボード58は左肩関節32Lおよび左肘関節36Lを制御する左腕モータ68を調節する。さらに、モータ制御ボード58は首関節42の角度を制御する頭部モータ70、昇降機構を駆動する腰モータ72、車輪16を駆動する車輪モータ74、右眼球部48Rの角度を制御する右眼球モータ76、ならびに左眼球部48Lの角度を制御する左眼球モータ78を調節する。
なお、この実施例の上述のモータはそれぞれ、車輪モータ74を除いて、制御を簡単化するためにステッピングモータまたはパルスモータであるが、車輪モータ74と同様に直流モータであってよい。
センサ入力/出力ボード60もDSPで構成され、各センサやカメラからの信号を取り込んでCPU52に与える。すなわち、各超音波距離センサ20からの反射時間に関するデータ、全方位カメラ28および眼カメラ50R、50Lからの映像信号、ならびにタッチセンサ80および衝突センサ82からの信号がセンサ入力/出力ボード60を通して、CPU52に入力される。また、赤外線を照射するための照射信号はCPU52からセンサ入力/出力ボード60を介して赤外線照射装置100に入力され、検出した反射光の強度の計測信号は赤外反射光計測用カメラ102からセンサ入力/出力ボード60を介してCPU52に出力される。
そして、合成音声データがCPU52から音声入力/出力ボード62を介してスピーカ46に与えられ、そのデータに従った音声または声がスピーカ46から出力される。また、マイク30からの音声入力が音声入力/出力ボード62を介してCPU52に取り込まれる。
通信LANボード64もDSPで構成される。通信LANボード64はCPU52から与えられた送信データを無線通信装置84に与え、無線通信装置84から送信データを送信させる。また、通信LANボード64は無線通信装置84を介してデータを受信し、受信データをCPU52に与える。
このようなロボット10がコミュニケーション行動を実行する場合、ロボット10のCPU52はロボット10のコミュニケーション行動を図3に示すフロー図に従って処理する。CPU52がコミュニケーション行動の処理を開始すると、ステップS1でスピーカ30によりたとえば「こっちを向いて」と発話して、コミュニケーション相手である、たとえば人間の視線をロボット10の方に向かせる。
そして、その視線がロボット10の方を見ているかを検出するため、赤外線照射装置100から赤外線を発光して、ステップS3により赤外線による眼球運動を計測する。計測の結果、ステップS5で視線方向を検出したか否かを判断する。すなわち、発光された赤外線が人間の眼に照射されると、その一部が反射し、赤外反射光計測用カメラ102が反射光を受光する。このため、赤外反射光計測用カメラ102が反射光を受光しない場合、赤外線が人間の眼に照射されておらず、視線方向を検出できないため、“NO”と判断して、ステップS1に戻り、改めて人間の視線を向ける発話する。これに対して、赤外反射光計測用カメラ102が反射光を受光すると、視線方向を検出したと判断して、ステップS5で“YES”とし、次にステップS7においてその検出結果により人間がロボット10の方を見ているか否かを判断する。
これは、黒目の反射率が白目の反射率より小さいため、反射光の強度は眼の照射部分により異なることに基づいて、反射光の強度から人間の視線がロボット10に向いているか否かを判断する。
すなわち、人間の視線がロボット10の方向を見ている場合、赤外線は主に反射率の低い黒目で反射するため、赤外反射光計測用カメラ102が受光する反射光の強度は少ない。これに対して、人間の視線がロボット10以外の方向を見ている場合、赤外線は黒目以外に反射率の高い白目でも反射するため、赤外反射光計測用カメラ102が受光する反射光の強度は、人間の視線がロボット10の方向を見ている場合に比べて大きくなる。このため、赤外線が黒目に照射された場合の反射光の強度を予め記録しておき、赤外反射光計測用カメラ102が検出した反射光の強度がこの強度(以下、黒目強度と言う。)に略一致すれば、人間の視線はロボット10の方向を見ていると判断することができる。
よって、ステップS7の判断において、赤外反射光計測用カメラ102が検出した反射光の強度が黒目強度より大きければ、人間の視線はロボット10の方向を見ておらず、“NO”と判断して、ステップS1に戻る。一方、赤外反射光計測用カメラ102が検出した反射光の強度が黒目強度と略一致すれば、人間の視線はロボット10の方向を見ていると判断して、“YES”となる。
このとき、赤外線照射装置100の向きと眼カメラ50Rおよび50Lの向きとが一致していることにより、眼カメラ50Rおよび50Lが人間の視線に合っているため、次に、ステップS9により、たとえば「右には京都の町の案内書があるよ」と発話して、案内行動を取る。人間はロボット10の案内に従って右の方向を見るため、ステップS11でその間、ロボット10は一定時間、たとえば5秒間待機する。
そして、ステップS13で終了要求があるか否かを判断して、終了要求がなければ、“NO”と判断して、ステップS1に戻る。再び、ステップS1で、「こっちを向いて」などの人間の視線をロボット10に向けさせる発話をしたり、「案内書が見つかりましたか?」などの別の発話をしたりする。そして、上記と同様にステップS3で人間の眼球運動を計測し、ステップS5において視線方向を検出して、ステップS7でその検出結果に基づいて人間の視線がロボット10の方向を見ているか否かを判断する。ここで、人間の視線がロボット10の方向を見ていれば、ロボット10は眼カメラ50Rおよび50Lを人間の視線に合わせながら、ステップS9で案内行動をする。この案内行動は先の案内行動の内容と異なってもよく、人間とインタラクションが続くとそれに応じて変化する。
最後に、ステップS13で終了要求があり、“YES”と判断すると、CPU52は処理を終了する。
このように、ロボット10は人間の視線を検出し、人間の視線がロボット10の方を向いていれば、眼カメラ50Rおよび50Lを人間の視線に合わせながらコミュニケーションを取り、反対に、人間の視線がロボット10の方を向いていなければ、人間の視線をロボット10の方に向けさせる行動を取る。このため、ロボット10は、人間どうしが会話するときのように、相手の視線に応じた自然なコミュニケーション行動を取ることができる。
なお、ステップS1およびステップS9においてロボット10は発話により人間とコミュニケーション行動を取ったが、腕を振るなどの身振りにより人間とコミュニケーションすることもできる。
また、赤外線照射装置100および赤外反射光計測用カメラ102を用いて、人間の視線を検出したが、他の方法により視線を検出することもできる。
12…コミュニケーションロボット
100…赤外線照射装置
102…赤外反射光計測用カメラ
100…赤外線照射装置
102…赤外反射光計測用カメラ
Claims (2)
- 人間との間でコミュニケーション行動を実行するコミュニケーションロボットであって、
コミュニケーション相手の視線を検出する視線検出手段、および
前記視線検出手段の検出結果に応じたコミュニケーション行動を決定する行動決定手段を含む、コミュニケーションロボット。 - 前記行動決定手段は、前記視線検出手段の検出結果に基づいて前記視線を向けさせる行動を取る、請求項1記載のコミュニケーションロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005091302A JP2006272471A (ja) | 2005-03-28 | 2005-03-28 | コミュニケーションロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005091302A JP2006272471A (ja) | 2005-03-28 | 2005-03-28 | コミュニケーションロボット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006272471A true JP2006272471A (ja) | 2006-10-12 |
Family
ID=37207704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005091302A Withdrawn JP2006272471A (ja) | 2005-03-28 | 2005-03-28 | コミュニケーションロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006272471A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009045692A (ja) * | 2007-08-20 | 2009-03-05 | Saitama Univ | コミュニケーションロボットとその動作方法 |
JP2009166184A (ja) * | 2008-01-17 | 2009-07-30 | Saitama Univ | ガイドロボット |
JP2010188429A (ja) * | 2009-02-16 | 2010-09-02 | Advanced Telecommunication Research Institute International | 道案内ロボット |
JP2011004998A (ja) * | 2009-06-26 | 2011-01-13 | Ge Medical Systems Global Technology Co Llc | 超音波振動子駆動回路及び超音波診断装置 |
KR101113273B1 (ko) | 2009-06-12 | 2012-03-14 | 부산대학교 산학협력단 | 다중센서 기반 교육용 모바일 로봇 |
JP2013193149A (ja) * | 2012-03-16 | 2013-09-30 | Fujitsu Ltd | ロボット制御装置、ロボットシステム、ロボット制御方法、及びロボット制御プログラム |
JP2013237124A (ja) * | 2012-05-15 | 2013-11-28 | Fujitsu Ltd | 端末装置、情報提供方法及びプログラム |
JP2016068197A (ja) * | 2014-09-30 | 2016-05-09 | 富士ソフト株式会社 | ロボット |
CN109662842A (zh) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | 基于眼镜和脑波控制的智能轮椅 |
US10395653B2 (en) | 2016-05-27 | 2019-08-27 | Toyota Jidosha Kabushiki Kaisha | Voice dialog device and voice dialog method |
WO2021220614A1 (ja) * | 2020-04-28 | 2021-11-04 | ソニーグループ株式会社 | 制御装置及び制御方法、並びにコンピュータプログラム |
-
2005
- 2005-03-28 JP JP2005091302A patent/JP2006272471A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009045692A (ja) * | 2007-08-20 | 2009-03-05 | Saitama Univ | コミュニケーションロボットとその動作方法 |
JP2009166184A (ja) * | 2008-01-17 | 2009-07-30 | Saitama Univ | ガイドロボット |
JP2010188429A (ja) * | 2009-02-16 | 2010-09-02 | Advanced Telecommunication Research Institute International | 道案内ロボット |
KR101113273B1 (ko) | 2009-06-12 | 2012-03-14 | 부산대학교 산학협력단 | 다중센서 기반 교육용 모바일 로봇 |
JP2011004998A (ja) * | 2009-06-26 | 2011-01-13 | Ge Medical Systems Global Technology Co Llc | 超音波振動子駆動回路及び超音波診断装置 |
JP2013193149A (ja) * | 2012-03-16 | 2013-09-30 | Fujitsu Ltd | ロボット制御装置、ロボットシステム、ロボット制御方法、及びロボット制御プログラム |
JP2013237124A (ja) * | 2012-05-15 | 2013-11-28 | Fujitsu Ltd | 端末装置、情報提供方法及びプログラム |
JP2016068197A (ja) * | 2014-09-30 | 2016-05-09 | 富士ソフト株式会社 | ロボット |
US10395653B2 (en) | 2016-05-27 | 2019-08-27 | Toyota Jidosha Kabushiki Kaisha | Voice dialog device and voice dialog method |
US10867607B2 (en) | 2016-05-27 | 2020-12-15 | Toyota Jidosha Kabushiki Kaisha | Voice dialog device and voice dialog method |
CN109662842A (zh) * | 2019-02-20 | 2019-04-23 | 浙江强脑科技有限公司 | 基于眼镜和脑波控制的智能轮椅 |
WO2021220614A1 (ja) * | 2020-04-28 | 2021-11-04 | ソニーグループ株式会社 | 制御装置及び制御方法、並びにコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006272471A (ja) | コミュニケーションロボット | |
JP5186723B2 (ja) | コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法 | |
JP5732632B2 (ja) | ロボットシステムおよびそれに用いる空間陣形認識装置 | |
JP4915417B2 (ja) | ロボット | |
JP4822319B2 (ja) | コミュニケーションロボットおよびそれを用いた注意制御システム | |
JP4949969B2 (ja) | コミュニケーションロボットとその動作方法 | |
JP2008149399A (ja) | 移動ロボットおよび移動速度推定方法 | |
US11338429B2 (en) | Robot | |
JP2009113136A (ja) | ロボット | |
JP2011000681A (ja) | コミュニケーションロボット | |
JP2007260822A (ja) | 道案内ロボット | |
JP2009222969A (ja) | 音声認識ロボットおよび音声認識ロボットの制御方法 | |
JP2004216513A (ja) | コミュニケーションロボット | |
JP6134895B2 (ja) | ロボット制御システム、ロボット制御プログラムおよび説明ロボット | |
JP5145569B2 (ja) | 対象物特定方法および装置 | |
JP4399603B2 (ja) | コミュニケーションロボット | |
JP3942599B2 (ja) | コミュニケーションロボット | |
WO2018020889A1 (ja) | ロボット | |
JP4793904B2 (ja) | コミュニケーションロボットシステムおよびコミュニケーションロボット | |
JP2008018529A (ja) | コミュニケーションロボット | |
JP2007130691A (ja) | コミュニケーションロボット | |
JP2007320033A (ja) | コミュニケーションロボット | |
JP2004042151A (ja) | コミュニケーションロボット | |
JP2011000656A (ja) | 案内ロボット | |
JP2017170568A (ja) | サービス提供ロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |