JP2009166184A - ガイドロボット - Google Patents

Abstract

【課題】展示物を見る人が、その説明を希望している場合に説明するガイドロボットを提供する。
【解決手段】撮影手段５０と、映像から入場者９０の顔を検出する顔検出手段７１と、その顔の向きを検出する顔向き検出手段７２と、ロボットの発話内容及び行動を決定する発話・行動決定手段７３と、発話データを音声出力する発話手段と、頭部１０を回転して顔の向きを変える頭部回転手段とを備え、展示物９１の説明過程で頭部１０を回転して顔側の向きを変え、そのときの入場者９０の顔向きに基づいて、その後の発話内容または行動を決定する。ガイドロボットが説明の途中で入場者９０の方に顔を向けると、入場者９０は、その動きに反応して顔を展示物９１からロボットの方に向ける。ガイドロボットが入場者９０の方に顔を向けても、入場者９０の反応が見られないときは、その入場者９０はロボットの説明を聞いていない、あるいは、興味がないと判定できる。
【選択図】図１

Description

本発明は、美術館や展示会等で入場者に展示品を説明するガイドロボットに関し、相手の反応を確認しながら説明を行うようにしたものである。

人と相互作用を行うコミュニケーションロボットでは、例えば、下記特許文献１に開示されているように、自ら能動的にコミュニケーション行動を人に提示し、それに対する人間の反応を認識して、その認識結果に応じた行動をさらに提示するロボットが開発されている。
特許文献１のコミュニケーションロボットは、たとえば、「こんにちは」と話しかけて返事があった場合に、「握手しよう」と言って一方の腕を前方に差し出す。逆に、返事がなかった場合は、「バイバイ」と言う。また、所定の方向に一方の腕及び手を向けて「あっちを見て」と言い、指差した方向に人の顔が向いたことを眼カメラの画像データで認識すると、相手の顔の向きに合わせて頭部の顔側を回転させる。
また、このロボットは、人に装着された赤外線タグの赤外線を検出する赤外線センサや相手との距離を測定する超音波距離センサを備えており、赤外線タグから放射される赤外線が検出できたときは、相手がロボットの方を向いていると判断し、相手が近くにいるのに赤外線が検出できないときは、相手がロボットの方を向いていないと判断する。
そして、コミュニケーション中の相手がロボットの方を向いていないときは、興味を失っていると判断し、話題の転換を図る。
特開２００５−２３８３８２号公報

多くの美術館では、作品の解説に音声ガイドが導入されており、ヘッドホンを装着した入館者は、作品の前でヘッドホンから流れる説明に聞き入っている。
本発明者等は、この音声ガイドに代わるガイドロボットの開発に取り組んでいる。ガイドロボットの主目的は、入館者が楽しみながら作品を鑑賞できるようにサポートすることであり、入館者の興味がガイドロボットにだけ集中したのでは、所期の目的が達成できない。
そのため、ガイドロボットの場合は、相手の関心を自らに向けるように動作する特許文献１のロボットとは異なる対応が必要になる。
例えば、作品を鑑賞する入館者は、通常、作品の方に体の正面を向けるから、ガイドロボットと向き合うことはない。それ故、特許文献１のように、体がロボットに正対しているか否かを基準に入館者の反応を識別すると、ガイドロボットの場合は、判断を誤ることになる。

本発明は、こうした事情を考慮して創案したものであり、展示物を見る人が、その説明を希望している場合に、分かり易く説明するガイドロボットを提供することを目的としている。

本発明は、入場者（被説明者）に展示物の説明を行うガイドロボットであって、周囲の状況を撮影する撮影手段と、前記撮影手段が撮影した映像から被説明者の顔を検出する顔検出手段と、前記顔検出手段が検出した顔の向きを検出する顔向き検出手段と、ロボットの発話内容及び行動を決定する発話・行動決定手段と、予め蓄積された発話データの中から前記発話・行動決定手段が決定した発話内容の発話データを音声に変換して出力する発話手段と、前記発話・行動決定手段の決定に従い、頭部を回転して顔側の向きを変える頭部回転手段と、を備え、被説明者に展示物を説明する過程で、前記頭部回転手段が、前記頭部を回転して顔側の向きを変え、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定することを特徴とする。
ガイドロボットが説明の途中で人間の方に顔を向けると、説明を聞いていた人間は、その動きに連れて、顔を展示物からロボットの方に向ける。逆に、ガイドロボットが人間の方に顔を向けても、人間の反応が見られないときは、その人間はロボットの説明をあまり聞いていない、あるいは、興味がないと判定できる。このような場合に、説明の打ち切りや、説明内容の変更を行う。

また、本発明のガイドロボットの前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらない回数を非追従回数としてカウントし、前記非追従回数が予め設定した閾値に達したとき、前記説明を打ち切る。
このように、ガイドロボットの動きに反応しない回数が予め設定した回数に達すると、説明の打ち切りを行う。

また、本発明のガイドロボットの前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらないとき、説明の内容を変更する。
このように、説明を打ち切る前に、説明の内容を変えて相手の反応を見る。

また、本発明のガイドロボットは、前記頭部回転手段が、説明の切れ目、または、予め設定された語の発話に合わせて、前記顔側の向きを前記展示物から前記被説明者の方向に変えるように構成している。

また、本発明のガイドロボットでは、前記予め設定された語が、重要な語、難解な語、または、数字である。
人間の説明員の説明態度を分析すると、説明員は、説明の切れ目や、重要な語を言うとき、また難解な語や数字を言うときに入場者の方に顔を向けている。説明員は、そうすることで入場者が自分の説明に付いてきているか、何か質問が無いか等を確認しており、入場者は、こうした説明員の動作が加わることで、説明が理解し易くなる。しかし、説明に興味を持たない人は、説明員の動作に反応しない。従って、説明員の動作に対する反応を検出することで、説明への興味の有無が識別できる。

また、本発明のガイドロボットは、さらに、前記発話・行動決定手段の決定に従い、指定された方向を手で指し示す指示手段を設け、前記指示手段が前記展示物を指示するときに、前記頭部回転手段が、前記指示手段の指示する方向に顔側の向きを変えるように前記頭部を回転し、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定するように構成しても良い。

また、本発明のガイドロボットの前記発話・行動決定手段は、前記指示手段が指示したのに、前記被説明者の顔向きが指示した方向に向かないとき、前記指示手段の指示を予め設定された所定回数だけ繰り返し、前記所定回数を繰り返しても前記被説明者の顔向きが指示した方向に向かないとき、前記非追従回数のカウント数を１増やす。

また、本発明のガイドロボットは、前記指示手段が前記展示物を指示するときに、前記発話手段が、前記被説明者に対し、前記指示手段の指示する方向を向くように促す発話を行うように構成しても良い。

また、本発明のガイドロボットは、前記指示手段が、「これ」等の指示語の発話に合わせて、前記展示物の該当箇所を指示するように構成しても良い。
このように、ロボットが方向を示し、且つ、その方向に顔を向けると、被説明者は、それに連れてロボットの指し示す方向を見る。このとき、被説明者がロボットの指示する方向を見なければ、その被説明者はロボットの指示に気付いていないか、説明に対する興味が薄れていると判断できる。

また、本発明のガイドロボットは、前記指示手段が、手の平を広げた状態で指示する方向を指し示し、または、一部の指だけを伸ばした状態で指示する方向を指し示すように構成することができる。
ロボットが「こちらへどうぞ」と相手を案内する場合や、展示物の全体、または、ある程度拡がりのある部分を指し示す場合は、手を広げた形にして、「この絵は・・・」または「この部分は・・・」と発話しながら説明し、展示物の一部分を指示する場合は、人差し指だけを伸ばした手の形で対象部分を指差し、「これは・・・です」と発話しながら説明する。

また、本発明のガイドロボットは、前記顔向き検出手段が、前記顔検出手段により検出された顔から、当該顔の顔向きと、頷く動作とを検出するように構成することができる。

また、本発明のガイドロボットは、前記頭部回転手段が、横を向くように水平方向に頭部を回転し、または、頷くように垂直方向に頭部を回転するように構成することができる。
例えば、ロボットが「お分かりですね」と発話して相手の同意を求めるとき、ロボットが頷く動作を行うと、人間もそれに連れて頷き返す。こうした動作を通じて、人間はロボットの説明に深く聞き入るようになる。逆に、被説明者から、こうした反応が見られないときは、説明に対する興味が薄れていると判断できる。

また、本発明のガイドロボットは、さらに、前記発話・行動決定手段の決定に従い、指定された位置にロボットを移動する移動手段を設け、前記顔検出手段が被説明者の顔を検出すると、前記移動手段が、当該被説明者の近傍への移動を行い、前記発話手段が、展示物の説明の申し出を発話するように構成することができる。

また、本発明のガイドロボットは、前記発話手段により展示物の説明の申し出が行われた後、前記顔向き検出手段により所定時間以上に渡ってロボットの方を向く被説明者の顔向きが検出されると、前記移動手段が、予め定められた説明に適する位置への移動を行い、前記指示手段が、当該被説明者の誘導先の位置を指し示すように構成することができる。
このガイドロボットは、撮影手段が撮影した映像から被説明者の顔を検出すると、その人に近づいて「この作品を説明しましょうか」等と声を掛ける。その人がロボットの方を向き、説明を望んでいると判断できる場合には、ロボットは、説明位置に移動して、展示物の正面の位置を手で指し示し、「こちらへどうぞ」と誘導する。

また、本発明のガイドロボットは、前記発話手段により展示物の説明の申し出が行われても、前記顔向き検出手段によりロボットの方を向く被説明者の顔向きが検出されないとき、前記発話手段が、展示物の説明の申し出を繰り返すように構成することができる。
この場合、相手の顔が検出できているときは、相手がロボットを見るまで、呼掛けを繰り返してもよいし、また、予め定めた回数だけ繰り返し、それでも相手がロボットの方を見なければ、説明が不要だと判定して止めるようにしてもよい。

本発明のガイドロボットは、展示物の説明を希望している人に対し、分かり易い説明を行うことができる。また、その人の反応から、説明に興味を持たない人や、説明の途中で興味が薄れた人を的確に識別することができるため、それらの人に説明を無理強いすること無く、希望者のみに効率的に説明を行うことができる。

本発明の実施形態のガイドロボットについて、図面を基に説明する。図１は、このガイドロボットの外形と機能ブロックとを模式的に示す図、図２は、このガイドロボットの構成を示すブロック図、図３は、このガイドロボットの動作を示すフロー図、また、図４は、このガイドロボットが説明に用いる説明文を示す図である。

このガイドロボットは、図１に示すように、外形的に頭部１０と、胴体２０と、腕３０と、手３１と、移動用の車輪４０と、ビデオカメラ５０とを有しており、頭部１０には顔が設けられている。また、図２に示すように、駆動系のハードウエアとして、腕３０を動かす腕モータ３３、手３１の指を動かす指モータ３２、胴体２０に対して頭部１０を回転する頭部モータ１１、胴体２０の向きを変える腰モータ２１、車輪４０を回転してロボットを前後左右に移動する車輪モータ４１、及び、各モータを制御するモータ制御ボード６１を有している。また、センサ系として、距離を測定する超音波距離センサ５１、ロボットの周囲の状況を撮影するビデオカメラ５０、及び、これらへの信号の入出力を中継するセンサ入力／出力ボード６２を有している。また、オーディオ系として、発話データを音声に変換して出力するスピーカ１２、及び、スピーカ１２への信号出力を中継する音声出力ボード６３を有している。また、制御系として、ロボットを制御するＣＰＵ６４、制御プログラムや各種データが記憶されるメモリ６５、及び、ビデオカメラ５０の映像に含まれた顔画像を解析するＤＳＰ（digital signal processor）から成る顔画像処理装置６８を有している。また、通信系として、外部のコンピュータと通信を行う無線通信装置６７、及び、通信ＬＡＮボード６６を有している。

なお、通信系は、有線により外部のコンピュータと接続する構成でも良い。メモリ６５には、スピーカ１２から音声出力される各種の発話データが格納され、また、ロボットの発話や行動の履歴、移動の軌跡などの情報が保持されるが、このメモリ６５を外部コンピュータのメモリで代用し、外部コンピュータとロボットとが、通信系を介して、これらの情報をやり取りするようにしても良い。また、顔画像処理装置６８は、制御プログラムに従って演算処理を行うＣＰＵ６４の機能として実現することもできる。また、外部コンピュータの側で顔画像処理装置６８を保持し、ロボットが、通信系を介して、ビデオカメラ５０の画像データを外部コンピュータに送るようにしても良い。
ビデオカメラ５０は、図１に示すように、ロボットの胴体２０に固定され、頭部１０よりも高い位置にある。そのため、頭部１０の回転の影響を受けずに、ロボットの前方を撮り続けることができる。

このガイドロボットは、ビデオカメラ５０の映像から人９０の顔画像を検出し、それを基に、人９０への作品９１の説明の仕方について決定する。
この動作を行うために、ガイドロボットは、図１に示すように、機能ブロックとして、ビデオカメラ５０の映像から顔画像を検出する顔検出手段７１と、検出された顔画像から顔向きを検出する顔向き検出手段７２と、顔画像や顔向きに基づいてロボットの発話内容や行動を決定する発話・行動決定手段７３と、決定された内容の発話を生成する発話生成手段７４とを備えている。顔検出手段７１及び顔向き検出手段７２は、ビデオカメラ５０の映像を処理する顔画像処理装置６８により実現され、発話・行動決定手段７３は、制御プログラムに従って処理を行うＣＰＵ６４により実現され、また、発話生成手段７４は、メモリ６５に予め格納された各種の発話データの中から制御プログラムに従ってＣＰＵ６４が選択する処理によって実現される。

顔画像の検出には、幾つかの方法が知られている。例えば、図５のフロー図に示すように、ビデオカメラ５０の映像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出し（ステップ１）、また、ビデオカメラ５０の映像から、肌色領域を検出し（ステップ２）、顔矩形と肌色領域とが少なくとも一部で重なる場合に（ステップ３）、それを顔画像として検出することができる（ステップ４）。
肌色領域の検出（ステップ２）は、図６に示すように、ビデオカメラ５０の映像から、ＲＧＢカラースペース（Ｒ、Ｇ、Ｂ各８ビット）での値が、
Ｒ＞９５、Ｇ＞４０、Ｂ＞２０
Ｍａｘ｛Ｒ．Ｇ．Ｂ｝−Ｍｉｎ｛Ｒ．Ｇ．Ｂ｝＞１５
｜Ｒ−Ｇ｜＞１５
Ｒ＞Ｇ、Ｒ＞Ｂ
の条件を満たす肌色の画素の範囲を抽出し（ステップ２１）、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別し（ステップ２２）、フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ２４)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の可能性がある肌色領域として検出する(ステップ２３)。

図７（ａ）には、画像から検出された顔矩形７１１を示している。ここでは、識別器として“ＯｐｅｎＣＶ Ｈａａｒ Ｃｌａｓｓｉｆｉｅｒ”（G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005）を正面顔を検出するように学習させたものを用いている。図７（ｂ）（ｃ）（ｄ）に示すように、この顔矩形７１１の水平方向の中心線７１２は、鼻の位置に一致している。また、図７（ｂ）（ｃ）（ｄ）には、肌色領域の水平方向の境界線を７１３として示している。

顔向きの検出は、図８のフロー図に示すように、顔矩形の検出（ステップ１）と肌色領域の検出（ステップ２）との検出結果を用いて、顔矩形７１１の水平方向の中心位置（中心線７１２の位置）と肌色領域（境界線７１３の間の領域）の水平方向の中心位置との差分を算出して求めることができる(ステップ６)。
ガイドロボットの方を向く正面顔は、ステップ６で求めた差分値と予め設定した閾値とを比較し(ステップ７)、差分値が閾値未満である場合に、正面顔と識別することができる（ステップ８）。差分値が閾値を超えていれば、正面顔ではないと識別できる（ステップ９）。

図７（ｃ）は、人物がビデオカメラ５０の正面を向いたときの顔矩形７１１と肌色領域７１３との関係を示し、また、図７（ｂ）は、ビデオカメラ５０の多少右側を向いたとき、図７（ｄ）は、ビデオカメラ５０の多少左側を向いたときの顔矩形７１１と肌色領域７１３との関係を示している。
顔検出手段７１及び顔向き検出手段７２は、こうした処理により顔画像の検出と顔向きの検出とを継続的に行う。

次に、このガイドロボットの動作について、図３のフロー図を用いて説明する。
ガイドロボットの顔検出手段７１は、ビデオカメラ５０の画像から人の顔を検出する（ステップ３１）。顔画像が検出されると、発話・行動決定手段７３は、その人への接近を指令する（ステップ３２）。
このガイドロボットは、自分の存在位置を知ることが可能である。例えば、会場内に固定されている２以上の物体を基準指標とし、それらとの距離を超音波距離センサ５１で測定すれば、会場内での位置が算出できる。また、絵画９１の大きさや床からの掲示の高さ、ビデオカメラ５０の取り付け位置が既知であれば、絵画９１の隅の位置を撮影したビデオカメラ５０の画像からガイドロボットの立ち位置を求めることもできる。また、床に圧力センサを設けたり、天井や壁に位置算出用のマークを付けたりしても、位置を求める手段は実現できる。
ガイドロボットは、現在位置から、顔画像が検出された人の位置まで、例えば、移動軌跡が少し弧を描くように近付き、超音波距離センサ５１で測定したその人との距離が所定値に縮まった時点で停止する。なお、最初に人間に近付く場合、直線的に近付くと、人間が後ずさりしてしまうことがある。しかし、弧を描いて近付くと、そのようなことが少ない。

人に近付いたガイドロボットは、発話・行動決定手段７３の指令に従って、スピーカ１２から「この作品を説明しましょうか」などと発話し、説明の申し出を行う（ステップ３３）。
説明の申し出を受けた人が、ガイドロボットの方を所定時間直視した場合、即ち、正面顔が所定時間検出されたときは（ステップ３４でＹｅｓ）、説明を希望しているものと判断する。ガイドロボットは、説明を始めるために、説明に適した位置に移動し（ステップ３５）、また、「こちらへどうぞ」と発話して、広げた手３１で鑑賞に適した位置を指し示し、その人をその場所に誘導する（ステップ３６）。
一般に絵画作品の鑑賞は、絵画全体の見易さから、絵画の中央正面であって、絵画の対角線の長さに相当する距離だけ離れた位置で見るのが適している。ガイドロボットが移動する“説明に適した位置”は、腕３０及び手３１を伸ばして、鑑賞に適した位置に人間を導くことができる位置である。この鑑賞位置及び説明位置は、予め作品ごとに定めて、メモリ６５に記憶しておくことができる。

ステップ３４において、人がガイドロボットの方を見ないとき、即ち、顔画像は検出されているが、正面顔が検出されていないときは、作品に興味を抱いているが、ロボットの発話に気が付かなかった、あるいは、ロボットの発話には気づいたが、どうしようか考慮中である、と考えられるので、申し出回数Ｋを１つインクリメントし（ステップ３８）、その回数Ｋが閾値（Ｋ₀）を超えていなければ（ステップ３９でＮｏ）、説明の申し出を繰り返す（ステップ３３）。このとき、メモリ６５に格納された複数の発話データの中から、前回と異なる発話内容の発話データを選択し、例えば「どうですか。この作品に興味はございませんか」などと言って説明を勧誘する。
こうした発話の使い分けを行うため、メモリ６５には、幾通りもの発話データが用意され、また、ガイドロボットの発話の履歴や行動の履歴が記憶される。

申し出回数Ｋが閾値（Ｋ₀）を超えた場合は（ステップ３９でＹｅｓ）、ガイドロボットの説明が不要と判断し、この人への説明を断念して、ステップ３１に戻る。
また、鑑賞位置に誘導した人が、その位置に移動しない場合、即ち、鑑賞位置から顔画像が検出できない場合は（ステップ３７でＮｏ）、誘導回数Ｌを１つインクリメントし（ステップ４１）、その回数Ｌが閾値（Ｌ₀）を超えていなければ（ステップ４１でＮｏ）、再び「こちらへどうぞ」と発話し、腕３０及び手３１を伸ばして誘導動作を繰り返す（ステップ３３）。
誘導回数Ｌが閾値（Ｌ₀）を超えた場合は（ステップ４１でＹｅｓ）、ガイドロボットの説明が聞きたくないものと判断し、この人への説明を止めて、ステップ３１に戻る。
鑑賞位置に誘導した人が、その位置に移動すると（ステップ３７でＹｅｓ）、作品９１の説明を開始する（ステップ４２）。

メモリ６５に格納された説明文には、図４に示すように、（ａ）（ａ１）（ｂ１）（ｂ２）等の制御記号が含まれている。ここで、（ａ）は、説明の切れ目に、ガイドロボットの顔を入場者の方向に向けるように指示する制御記号である。（ａ１）は、予め設定された重要な語、難解な語、数字などが出現したとき、その語を発話しながら、ガイドロボットの顔を入場者の方向に向けるように指示する制御記号である。（ｂ１）は、「これ」等の指示語が出現したとき、腕を指示語で表される対象物の方向に伸ばす（手は全ての指を伸ばした状態とする）とともに、その方向にガイドロボットの顔を向けるように指示する制御記号である。また、（ｂ２）は、指示語が出現したとき、腕を指示語で表される対象物の方向に伸ばす（手は人差し指だけを伸ばした状態とする）とともに、その方向にガイドロボットの顔を向けるように指示する制御記号である。

ガイドロボットは、この説明文を音声に変換してスピーカ１２から音声出力する。それと同時に、制御記号（ａ）が挿入された“説明の切れ目”であるか否かを識別し（ステップ４３）、説明の切れ目であれば、頭部モータ１１を駆動して頭部１０の顔の側を人９０の方に向ける（ステップ４６）。
また、ステップ４３において、説明の切れ目でないときは、制御記号（ａ１）が挿入された設定語であるか否かを識別し（ステップ４４）、設定語であれば、頭部モータ１１を駆動して頭部１０の顔の側を人９０の方に向ける（ステップ４６）。

このように説明者が、説明を受けている人（鑑賞者）９０の顔を見ると、鑑賞者９０が興味を持って説明を聞いている場合、説明者の動作に反応して、鑑賞者９０も説明者の顔を見ることが本発明の発明者等の観察で確かめられている (Y. Kuno, K. Sadazuka, M. Kawashima, K. Yamazaki, A. Yamazaki, and H. Kuzuoka, Museum guide robot based on sociological interaction analysis, Proc. CHI2007, pp.1191-1194, 2007 及び Y. Kuno, K. Sadazuka, M. Kawashima, S.Tsuruta, K. Yamazaki, and A. Yamazaki, Effective head gestures for museum guide robots in interaction with humans, Proc. RO-MAN2007, pp.151-156, 2007)。
逆に、説明者の動作に鑑賞者９０が反応しない場合は、説明者の説明をあまり聞いていない状態、説明に興味が無い状態と判定できる。

ガイドロボットの顔向き検出手段７２は、鑑賞者９０の方に顔を向けたときに（ステップ４６）、鑑賞者９０がガイドロボットの方を向いたか否かを識別する（ステップ４７）。鑑賞者９０がガイドロボットの方を向いた場合は、興味を持って説明を聞いているものと見て、説明を続ける（ステップ４２）。また、ステップ４７において、鑑賞者９０がガイドロボットの方を向かないときは、非追従回数Ｎを１つインクリメントする（ステップ５４）。
また、ステップ４４において、設定語で無いときは、制御記号（ｂ１）または（ｂ２）が挿入された指示語であるか否かを識別する（ステップ４５）。指示語であれば、制御記号（ｂ１）または（ｂ２）に従い、全ての指を伸ばした手の形で、または、人差し指だけを伸ばした手の形で、指示語で表されるものを指し示し（ステップ４８）、その方向にガイドロボットの顔を向ける（ステップ４９）。

鑑賞者９０が興味を持って説明を聞いている場合は、このガイドロボットの動作に反応して、指示された方向に顔を向ける。逆に、ガイドロボットの動作に鑑賞者９０が反応しない場合は、ガイドロボットの説明をあまり聞いていない状態、説明に興味が無い状態と判定できる。ガイドロボットの顔向き検出手段７２は、鑑賞者９０がガイドロボットの指示する方向を向いたか否かを識別する（ステップ５０）。鑑賞者９０がガイドロボットの指示する方向を向いた場合は、興味を持って説明を聞いているものと見て、説明を続ける（ステップ４２）。

また、ステップ５０において、鑑賞者９０がガイドロボットの指示する方向を向かないときは、この指示に気付かない場合もあるので、指示回数Ｍを１つインクリメントし（ステップ５１）、その回数Ｍが閾値（Ｍ₀）を超えていなければ（ステップ５２でＮｏ）、一旦、指示する手を下ろした後に、再び手で指示を行う（ステップ５３）。また、ステップ５２において、指示回数Ｍが閾値（Ｍ₀）を超えた場合は（ステップ５２でＹｅｓ）、非追従回数Ｎを１つインクリメントする（ステップ５４）。
そして、非追従回数Ｎの合計が閾値（Ｎ₀）を超えた場合（ステップ５５でＹｅｓ）、鑑賞者９０は、ガイドロボットの説明に興味がないと判断し、「それでは、次の作品に行きましょうか」などと言って、説明を途中で打ち切る（ステップ５６）。また、説明文を予め幾つかの部分に分けて置き、次の切れ目まで発話して、終了するようにしても良い。
また、ステップ４５において、指示語でも無いときは、説明が完了しているか否かを識別し（ステップ５７）、完了していれば説明を終了し、完了していなければ説明を続ける（ステップ４２）。
このように、このガイドロボットは、ガイドロボットの説明を希望する人にだけ、説明を行うことができる。

なお、ガイドロボットの頭部モータ１１を、頭部１０の水平方向の回転だけでなく、垂直方向にも回転できるように構成すれば、ガイドロボットの動作に“頷く所作”を加えることができる。このガイドロボットが、例えば、「お分かりですね」と発話して鑑賞者の同意を求めるとき、頷く動作を併せて行うと、鑑賞者も、それに反応して頷き返す。こうした動作を通じて、鑑賞者はガイドロボットの説明に深く聞き入るようになる。逆に、鑑賞者から、こうした反応が見られないときは、説明に対する興味が薄れていると判断できる。
そのため、ガイドロボットの顔向き検出手段７２が、鑑賞者の水平方向の顔向きとともに、頷くときの垂直方向の顔向きを検出するように構成すれば、鑑賞者がガイドロボットの説明を望んでいるか否かを、頷く動作からも識別できる。なお、頷く動作は、顔画像のフレーム差分を取ることで簡単に検出可能である。

また、ガイドロボットの腕３０及び手３０を動かして作品９１やその一部を指し示すとき、「こちらを見て下さい」とか「もっと近付いて見て下さい」などと、鑑賞者の行動を促す発話を併せて行うようにすれば、鑑賞者を作品の説明に、より強く引き入れることができる。このとき、鑑賞者から発話に応じた反応が見られなければ、説明に対する興味が薄れていることを明確に識別できる。
また、こうした指示動作の際に、ガイドロボット自身が作品の指示する箇所に近付いたり、指示する対象に応じて、手の形や腕の振り方を変えたりすることにより、ガイドロボットの説明に対する鑑賞者の注目度を高めることができる。
例えば、「こちらへどうぞ」と相手を案内するときは手を広げる。また、絵全体、あるいは、ある程度広がりのある部分を指し示すときは、手を広げ、腕をその辺りで円を描くように動かす。狭い部分を指し示すときは、手を握って人差し指だけを伸ばし、腕は、その部分を指し続ける。
こうした動作に対して鑑賞者の反応が無ければ、説明に対する興味が薄れていることを明確に識別できる。

ガイドロボットの手（手の付いた腕を単に手と言う。）や指の動きは、説明を受ける相手に強い印象を与えるため、その動作をきめ細かく設定することも重要である。
例えば、ロボットは「これは・・・です」というような“部分”を示す発話の少し前から手でその部分の指差しに入る。この指差しに対して、相手の顔の向きが作品の方に向けば、手を下ろす（相手がすぐ向いた場合なども考慮して、一定の時間は指差すようにしてもよい）。言い換えれば、作品の方を向くまで指差しを続ける。しかし、指示の発話が終了しても相手が顔を作品の方に向けない場合は（ロボットはこの時点で手をおろす）、相手が指示に気づかないか、説明そのものに興味が薄れてきているかもしれないので、再度、指を指しながら、「これは・・・です」と繰り返す。この場合も説明の開始場面と同様に、繰り返しの際の表現を変えるようにしてもよい。
ガイドロボットのこれらの動作は、全てプログラムで指定して行わせる。

また、非追従回数Ｎに基づいて説明を打ち切る前の段階で、あるいは、あらかじめ定めておいた首振りや指差し箇所での反応がなかったときに、説明の内容を別のものに変えて相手の関心を惹くことを試みるようにしても良い。つまり、打ち切りの前に、興味を引くかもしれない別の内容の説明に切り替えて相手の様子をみる動作や、ここは説明のポイントで普通は受けるはずだというところで、反応がなければ、説明を変えてみる動作をガイドロボットに行わせる。

なお、ここでは、ビデオカメラを用いて鑑賞者を撮影しているが、鑑賞者の顔画像を連続的に撮影できる撮影装置であればどれでも使用可能である。
また、この撮影装置の設置位置は、ガイドロボットの頭部の回転や腕の動きに邪魔されずに、ガイドロボットの正面前方が撮影できる位置であれば、どこでも良い。
また、ここで紹介した顔画像の検出方法や顔向きの検出方法は、一例であって、本発明は、それに限定されるものではない。
また、ここでは、ガイドロボットが絵画作品を説明する場合について例示したが、このガイドロボットは、商品や新製品、展示品、展示パネルなど、各種の展示物の説明に用いることができる。

本発明のガイドロボットは、美術館や博物館のガイドロボット、展示会やイベントのガイドロボット、駅等のガイドロボット、介護ロボット、店員ロボット、ウェーターロボット等として広い分野で用いることができる。

本発明の実施形態に係るガイドロボットの外形と機能ブロックとを模式的に示す図 図１のガイドロボットの構成を示すブロック図 図１のガイドロボットの動作を示すフロー図 図１のガイドロボットが説明する説明文を示す図 図１の顔検出手段の顔画像検出手順を示すフロー図 図５のフロー図の肌色領域検出手順を示すフロー図 検出された顔矩形及び肌色領域を示す図 図１の顔向き検出手段の顔向き画像検出手順を示すフロー図

符号の説明

１０ 頭部
１１ 頭部モータ
１２ スピーカ
２０ 胴体
２１ 腰モータ
３０ 腕
３１ 手
３２ 指モータ
３３ 腕モータ
４０ 車輪
４１ 車輪モータ
５０ ビデオカメラ
５１ 超音波距離センサ
６１ モータ制御ボード
６２ センサ入力／出力ボード
６３ 音声出力ボード
６４ ＣＰＵ
６５ メモリ
６６ 通信ＬＡＮボード
６７ 無線通信装置
６８ 顔画像処理装置
７１１ 顔矩形
７１２ 顔矩形中心線
７１３ 肌色領域境界線

Claims (15)

1. 被説明者に展示物の説明を行うガイドロボットであって、
   周囲の状況を撮影する撮影手段と、
   前記撮影手段が撮影した映像から被説明者の顔を検出する顔検出手段と、
   前記顔検出手段が検出した顔の向きを検出する顔向き検出手段と、
   ロボットの発話内容及び行動を決定する発話・行動決定手段と、
   予め蓄積された発話データの中から前記発話・行動決定手段が決定した発話内容の発話データを音声に変換して出力する発話手段と、
   前記発話・行動決定手段の決定に従い、頭部を回転して顔側の向きを変える頭部回転手段と、
   を備え、被説明者に展示物を説明する過程で、前記頭部回転手段が、前記頭部を回転して顔側の向きを変え、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定することを特徴とするガイドロボット。
2. 請求項１に記載のガイドロボットであって、前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらない回数を非追従回数としてカウントし、前記非追従回数が予め設定した閾値に達したとき、前記説明を打ち切ることを特徴とするガイドロボット。
3. 請求項１に記載のガイドロボットであって、前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらないとき、説明の内容を変更することを特徴とするガイドロボット。
4. 請求項１から３のいずれかに記載のガイドロボットであって、前記頭部回転手段が、説明の切れ目、または、予め設定された語の発話に合わせて、前記顔側の向きを前記展示物から前記被説明者の方向に変えることを特徴とするガイドロボット。
5. 請求項４に記載のガイドロボットであって、前記予め設定された語が、重要な語、難解な語、または、数字であることを特徴とするガイドロボット。
6. 請求項１から５のいずれかに記載のガイドロボットであって、さらに、前記発話・行動決定手段の決定に従い、指定された方向を手で指し示す指示手段を備え、前記指示手段が前記展示物を指示するときに、前記頭部回転手段が、前記指示手段の指示する方向に顔側の向きを変えるように前記頭部を回転し、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定することを特徴とするガイドロボット。
7. 請求項６に記載のガイドロボットであって、前記発話・行動決定手段は、前記指示手段が指示したのに、前記被説明者の顔向きが指示した方向に向かないとき、前記指示手段の指示を予め設定された所定回数だけ繰り返し、前記所定回数を繰り返しても前記被説明者の顔向きが指示した方向に向かないとき、前記非追従回数のカウント数を１増やすことを特徴とするガイドロボット。
8. 請求項６または７に記載のガイドロボットであって、前記指示手段が前記展示物を指示するときに、前記発話手段が、前記被説明者に対し、前記指示手段の指示する方向を向くように促す発話を行うことを特徴とするガイドロボット。
9. 請求項６または７に記載のガイドロボットであって、前記指示手段が、「これ」等の指示語の発話に合わせて、前記展示物の該当箇所を指示することを特徴とするガイドロボット。
10. 請求項６または７に記載のガイドロボットであって、前記指示手段が、手の平を広げた状態で指示する方向を指し示し、または、一部の指だけを伸ばした状態で指示する方向を指し示すことを特徴とするガイドロボット。
11. 請求項１から１０のいずれかに記載のガイドロボットであって、前記顔向き検出手段が、 前記顔検出手段により検出された顔から、当該顔の顔向きと、頷く動作とを検出することを特徴とするガイドロボット。
12. 請求項１から１１のいずれかに記載のガイドロボットであって、前記頭部回転手段が、横を向くように水平方向に頭部を回転し、または、頷くように垂直方向に頭部を回転することを特徴とするガイドロボット。
13. 請求項１から１２のいずれかに記載のガイドロボットであって、さらに、前記発話・行動決定手段の決定に従い、指定された位置にロボットを移動する移動手段を備え、前記顔検出手段が被説明者の顔を検出すると、前記移動手段が、当該被説明者の近傍への移動を行い、前記発話手段が、展示物の説明の申し出を発話することを特徴とするガイドロボット。
14. 請求項１３に記載のガイドロボットであって、前記発話手段により展示物の説明の申し出が行われた後、前記顔向き検出手段により所定時間以上に渡ってロボットの方を向く被説明者の顔向きが検出されると、前記移動手段が、予め定められた説明に適する位置への移動を行い、前記指示手段が、当該被説明者の誘導先の位置を指し示すことを特徴とするガイドロボット。
15. 請求項１３に記載のガイドロボットであって、前記発話手段により展示物の説明の申し出が行われても、前記顔向き検出手段によりロボットの方を向く被説明者の顔向きが検出されないとき、前記発話手段が、展示物の説明の申し出を繰り返すことを特徴とするガイドロボット。