JP7020159B2 - コミュニケーション装置およびその制御プログラム - Google Patents

Description

本発明は、コミュニケーション装置およびその制御プログラムに関する。

外部からの情報等に応じて表示部に感情をアニメーションで表現するコミュニケーションロボットが知られている（例えば、特許文献１参照）。

特開２０１６－１９３４６６号公報

表情を表現するアニメーション動画は、通常、その表情の一周期分の変化を連続する複数のフレーム画像によって描写するものである。したがって、コミュニケーションロボットは、継続してある表情を示す場合に、その表情に対応するアニメーション動画を繰り返して再生する。表出する表情を変化させる場合には、次の表情に対応するアニメーション動画に切り替えて再生する。このとき、これまでのコミュニケーションロボットは、再生中の動画像を途中で打ち切って次の動画像の再生を開始するか、再生中の動画像の一周期分の再生を終えてから次の動画像の再生を開始していた。前者の切り替え手法は、表情の連続性が失われ、生身の人間や動物ではあり得ない違和感のある変化を生じさていた。後者の切り替え手法は、例えばユーザとの対話における感情の転換時点に対して遅れを生じさせ、円滑なコミュニケーションを阻害する要因となっていた。

本発明は、このような問題を解決するためになされたものであり、表出する感情を適切なタイミングで切り替えると共に、切り替え時における表情の連続性を考慮してユーザの違和感を低減するコミュニケーション装置を提供するものである。

本発明の第１の態様におけるコミュニケーション装置は、表示部と、感情を表現するための複数のフレーム画像から成る動画像データをデータベースから取得する取得部と、取得部で取得した動画像データを表示部で再生表示する表示制御部と、表示部で再生表示する動画像データを現在再生表示している第１動画像データから次に再生表示する第２動画像データへ切り替える判断を行う判断部とを備え、表示制御部は、判断部が表示部で再生表示する動画像データを第１動画像データから第２動画像データへ切り替えると判断した場合に、切り替え直前に再生表示する第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する第２動画像データのフレーム画像とが互いに類似するように、第２動画像データから再生開始のフレーム画像を選択して第２動画像データを再生表示する。

このような表示制御を行えば、第１動画像データの再生表示における表情の変化の流れを受け継いで第２動画像データの再生表示を開始できるので、切り替え時点における再生画像の連続性を確保できる。また、第１動画像データの一周期分の再生完了を待つことなく第２動画像データの再生を開始するので、切り替えるべきタイミングで表情を切り替えることができる。

上記のコミュニケーション装置において、表示部は、眼球部の変化を表す動画像データを表示するように設けられており、表示制御部は、切り替え直前に再生表示する第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する第２動画像データのフレーム画像のフレーム画像間で眼球部の黒目の開閉度合が類似するように、第２動画像データから再生開始のフレーム画像を選択しても良い。表情の印象は黒目の開閉度合が大きく寄与しており、切り替え時点において黒目の開閉度合が不連続であると、ユーザに強い違和感を生じさせる。そこで、このように黒目の開閉度合を基準として切り替え時のフレーム画像を選択すると、表情の遷移においてユーザにより滑らかな印象を与えることができる。

また、このようなコミュニケーション装置において、動画像データは、フレーム画像ごとの開閉度合に関する情報を付随情報として有し、表示制御部は、付随情報を参照して第２動画像データから再生開始のフレーム画像を選択するようにしても良い。このような情報が予め用意されていれば、フレーム画像の画像解析等を行うことなく適切なフレーム画像を選択できるので、より少ない演算でいち早く第２動画像データの再生表示を開始することができる。

また、動画像データは、黒目の開状態から閉状態を経て再び開状態となるまでの周期情報を付随情報として有し、表示制御部は、付随情報を参照して第２動画像データから再生開始のフレーム画像を選択するようにしても良い。動画像データが周期情報を有していれば、開状態から閉状態へ変化しているのか、あるいは閉状態から開状態へ変化しているのかに合わせて、第２動画像データから適切なフレーム画像データを選択することができる。すなわち、繋ぎ目前後のフレーム画像が類似しているに留まらず、繋ぎ目を跨いで再生される動画像の流れとしても滑らかになる。

上記の動画像データは、それぞれのフレーム画像が複数のレイヤを有し、複数のレイヤは、黒目を表現する黒目レイヤを含み、表示制御部は、表示部に対し、表現する視線方向に応じて黒目レイヤの表示位置を調整し、他のレイヤの表示を固定位置とするように表示すると良い。フレーム画像をこのようなレイヤ構造とすれば、表情を安定的に表現できると共に、簡単な演算で視線方向を調整することができる。ユーザは、視線が合うことにより、コミュニケーションの現実感を享受できる。

本発明の第２の態様における制御プログラムは、表示部に感情を表現するための複数のフレーム画像から成る動画像データを再生表示するコミュニケーション装置の制御プログラムであって、動画像データのうちの第１動画像データを表示部に表示再生する第１表示ステップと、表示部に再生表示する動画像データを第１動画像データから第２動画像データへ切り替える判断を行う判断ステップと、判断ステップで第２動画像データへ切り替えると判断した場合に、切り替え直前に再生表示する第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する第２動画像データのフレーム画像とが互いに類似するように、第２動画像データから再生開始のフレーム画像を選択して第２動画像データを再生表示する第２表示ステップとをコンピュータに実行させる。

このような処理を順次行えば、第１動画像データの再生表示における表情の変化の流れを受け継いで第２動画像データの再生表示を開始できるので、切り替え時点における再生画像の連続性を確保できる。また、第１動画像データの一周期分の再生完了を待つことなく第２動画像データの再生を開始するので、切り替えるべきタイミングで表情を切り替えることができる。

本発明により、表出する感情を適切なタイミングで切り替えると共に、切り替え時における表情の連続性を考慮してユーザの違和感を低減するコミュニケーション装置を提供することができる。

第１の実施例に係るロボットの概観図である。 ロボットのシステム構成図である。 右眼の構造を示す斜視図である。 ロボットの表情とラッセルの円環図との関係を示す図である。 動画像データの再生について説明する図である。 動画像データのヘッダ情報を説明する図である。 第１動画像データから第２動画像データへの再生切り替えを説明する図である。 第１動画像データから第２動画像データへの再生切り替えを説明する図である。 第１動画像データから第２動画像データへの再生切り替えを説明する図である。 フレーム画像のレイヤ構造を説明する図である。 動作処理の手順を示すフローチャートである。 第２の実施例に係る搬送ロボットの概観図である。 第３の実施例に係るタブレット端末の概観図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態の第１の実施例に係るロボット１００の概観図である。ロボット１００は、ユーザである人間と音声対話を行うコミュニケーション装置としてのロボットである。ロボット１００は、キャラクターを具現化したキャラクター装置であり、対話に合わせて眼の表情が変化する。

ロボット１００は、外観として動物を模しており、顔部１２０を有する。顔部１２０には、ユーザが眼と認識できる位置に、眼球部１２２（右眼１２２ａ、左眼１２２ｂ）が設けられている。眼球部１２２の構造については後に詳述するが、右眼１２２ａ、左眼１２２ｂのそれぞれの背後には、例えば液晶パネルや有機ＥＬパネルである表示パネル１０６が設置されている。

ロボット１００の鼻の位置には、カメラ１０２が目立たないように配置されている。カメラ１０２は、例えばＣＭＯＳセンサを含み、外部環境を認識するための画像を取得する撮像部として機能する。ロボット１００の口の位置には、スピーカ１０９が隠されて配置されている。スピーカ１０９は、ロボット１００が生成した音声を発する発話出力部として機能する。ユーザは、口の位置から出力される音声に、ロボット１００が喋っているような感覚を覚える。また、顔部１２０のいずれかの位置には、マイク１０１が隠されて配置されている。マイク１０１は、ユーザの発話音声等を集音する機能を担う。

図２は、ロボット１００のシステム構成図である。ロボット１００は、主なシステム構成として、マイク１０１、カメラ１０２、表示パネル１０６、スピーカ１０９、制御部２００、応答音声ＤＢ３１０および応答表情ＤＢ３２０を備えている。制御部２００は、例えばＣＰＵによって構成され、機能ごとの実行を担う機能実行部としても動作し、主に、発話認識部２０１、顔認識部２０２、表出判断部２０３、表情取得部２０４、視線決定部２０５、音声選択部２０６、発話制御部２０７および表示制御部２１０として動作する。

マイク１０１は、主な機能として、ロボット１００が対話する相手であるユーザの発話音声を集音する。マイク１０１は、集音したユーザの発話音声を音声信号に変換して、発話認識部２０１へ引き渡す。

発話認識部２０１は、マイク１０１から受け取った音声信号を解析してユーザの発話を認識する。発話認識部２０１は、マイク１０１と協働して、ロボット１００へ向かって話しかけるユーザの発話を取得する発話取得部としての機能を担う。発話認識部２０１は、具体的には、一般的な音声認識技術によりユーザの発話内容を認識する。発話認識部２０１は、認識した発話内容を音声選択部２０６へ引き渡す。

音声選択部２０６は、発話認識部２０１で認識されたユーザの発話内容に対して会話としてふさわしいセンテンスを選択し、選択したセンテンスに応じた発話データを応答音声ＤＢ３１０から収集して、発話制御部２０７へ引き渡す。応答音声ＤＢ３１０は、音声選択部２０６に接続されている応答音声のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答音声ＤＢ３１０は、例えばコーパスとして体系化されており、個々の用語は、再生可能な発話データを伴って格納されている。

発話制御部２０７は、受け取った発話データを音声信号に変換してスピーカ１０９へ引き渡す。音声選択部２０６と発話制御部２０７は、互いに協働して、ユーザの発話内容に基づいて応答音声を生成する音声生成部としての機能を担う。スピーカ１０９は、発話制御部２０７で変換された音声信号を受け取って、応答音声を音声出力する。

また、発話認識部２０１は、受け取った音声信号の韻律を解析する。韻律は、発話を音波として捉えた場合の、その物理的特徴を表すものであり、発話認識部２０１は、ユーザが発する一塊の音波において、例えば中心周波数、周波数帯域、振幅の最大値および平均値を物理的特徴として演算する。発話認識部２０１は、解析した韻律を表出判断部２０３へ引き渡す。また、発話認識部２０１は、受け取った音声信号から当該音声の出所方向を解析し、解析した出所方向を視線決定部２０５へ引き渡す。

カメラ１０２は、主な機能として、ロボット１００とコミュニケーションを取るユーザを撮影する。カメラ１０２は、撮影した画像を画像信号に変換して、顔認識部２０２へ引き渡す。

顔認識部２０２は、カメラ１０２から受け取った画像信号を解析してコミュニケーション対象であるユーザの顔を認識する。顔認識部２０２は、認識した顔領域の画像信号を表出判断部２０３へ引き渡す。また、顔認識部２０２は、顔領域の代表座標値を視線決定部２０５へ引き渡す。代表座標値は、例えば認識した顔の両眼間の中点座標である。

表出判断部２０３は、顔認識部２０２から受け取った顔領域の画像信号、および発話認識部２０１から受け取った韻律を用いてユーザの感情を推定する。具体的には、表出判断部２０３は、一般的な顔認識技術によりユーザの顔画像から特徴点を抽出し、それらの位置、隣接する特徴点を結ぶ線分の傾き、特徴点の数等の表情特徴量を演算する。そして、表情特徴量から例えば瞳孔の大きさ、目尻の下がり具合、口角の上がり具合、発汗の有無、皺の寄り具合などを抽出して、ユーザの感情を推定する材料とする。また、表出判断部２０３は、韻律から振幅レベルの変化や語尾の抑揚などを抽出して、ユーザの感情を推定する材料とする。表出判断部２０３は、これらの材料を総合的に判断して、ユーザの感情を推定する。

表出判断部２０３は、推定したユーザの感情に対応してロボット１００が表出すべき共感感情を判断する。表出判断部２０３は、判断した共感感情を表情取得部２０４へ引き渡す。表情取得部２０４は、受け取った共感感情に対応する、表示パネル１０６へ表示するための動画像データを、応答表情ＤＢ３２０から取得する。

応答表情ＤＢ３２０は、表情取得部２０４に接続されている応答表情のデータベースであり、例えばハードディスクドライブの記録媒体によって構成されている。応答表情ＤＢ３２０は、例えばラッセルの円環図に対応して体系化されており、具体的な眼の表情の動画像データと、その表情が意味する感情とが互いに対応付けられて格納されている。動画像データは、詳しくは後述するが、眼球部の変化を表す複数のフレーム画像によって構成され、そのフレーム画像の描画や描画の変化によって感情を表現する。表情取得部２０４は、このような動画像データをデータベースである応答表情ＤＢから取得する取得部としての機能を担う。表情取得部２０４は、取得した動画像データを表示制御部２１０へ引き渡す。

視線決定部２０５は、発話認識部２０１から受け取った音声の出所方向、および顔認識部２０２から受け取った顔領域の代表座標値の少なくともいずれかを用いてコミュニケーション対象であるユーザの方向を演算する。そして、その方向をロボット１００が向けるべき視線方向であると決定する。視線決定部２０５は、目標とする視線方向を表示制御部２１０へ引き渡す。

表示制御部２１０は、表情取得部２０４から受け取った動画像データを展開し、視線決定部２０５から受け取った視線方向を実現するように黒目の表示位置を調整して、表示パネル１０６に再生表示する。表示制御部２１０は、表情取得部２０４から新たな動画像データ受け取ると、当該新たな動画像データの再生表示を開始する。具体的には後述する。

図３は、右眼１２２ａの構造を示す斜視図である。左眼１２２ｂも右眼１２２ａと同様の構造であり、それぞれの表示パネル１０６は、共に表示制御部２１０によって表示制御される。

右眼１２２ａは、主に、透光カバー１３１、光ファイバ束１３２および表示パネル１０６から成る。透光カバー１３１は、例えば透明なポリカーボネイトによって成形され、顔部１２０の外装材としての役割を担う。動物や人を模したロボットの場合、眼の表面は曲面であることが自然であり、ユーザに受け入れられやすい。したがって、本実施形態におけるロボット１００も、眼の表面に相当する透光カバー１３１は、外部に向かって凸状の曲面に成形されている。

右眼１２２ａの奥側には、右眼の黒目等を図案化した図柄である右眼画像１６１ａを表示するための表示パネル１０６が設置されている。また、表示面は、透光カバー１３１の外縁周を包含する大きさを有する。図においては、透光カバー１３１の外縁周に対応する大きさの白目に対して偏位した位置に右眼画像１６１ａが表示されている様子を示す。

なお、本実施形態において表示する黒目は、生身の人間であれば虹彩と瞳孔を含む角膜に相当する部分であるが、図案化して表示するものであるので、生身の人間の黒目に対して部分的に省略されていたり、デフォルメされていたりするものであって良い。また、生身の人間には生じ得ないような装飾が施されていても良い。いずれにしても、コミュニケーション対象であるユーザが、眼の表情として認識し得るような図柄であれば良い。

透光カバー１３１の内曲面と表示パネル１０６の表面とは、光ファイバ束１３２によって接続される。光ファイバ束１３２は、表示パネル１０６に表示された右眼画像１６１ａを透光カバー１３１まで伝達する。光ファイバ束１３２は、表示パネル１０６のピクセルのそれぞれに一対一に対応する光ファイバ１３２ａの集合体である。図では説明のために表示パネル１０６の表面から浮かせて示しているが、それぞれの光ファイバ１３２ａの一端は、表示パネル１０６の表面に導光系の接着剤により接着されている。それぞれの光ファイバ１３２ａは、集合体としてその外周面が被覆１３２ｂで覆われて束ねられている。このようにして、透光カバー１３１、光ファイバ束１３２および表示パネル１０６は、互いに接続されて一体化される。

表示パネル１０６に表示されたた右眼画像１６１ａの光束は、光ファイバ１３２ａの一端から入射し、他端から出射する。光ファイバ１３２ａの出射面である他端の集合体は、透光カバー１３１の内曲面に沿う仮想的なスクリーンを形成する。したがって、表示パネル１０６に表示されたた右眼画像１６１ａは、この仮想的なスクリーンにおいてユーザに観察される。

図４は、ロボット１００が表現する表情とラッセルの円環図との関係を示す図である。図においては顔部１２０の様子を並べて示しているが、本実施例におけるロボット１００は、表示パネル１０６で再生表示する右眼動画像と左眼動画像により顔部１２０の全体からユーザが受ける印象をコントロールするものである。したがって、以下に説明するそれぞれの感情に対応付けられて応答表情ＤＢ３２０に格納されている動画像データは、右眼動画像データと左眼動画像データに対応する動画像データのセットである。

心理学の分野で提唱されているラッセルの円環図は、全ての感情を「快－不快」と「驚き－不活性」を軸とする平面に円環状に配置するモデルである。具体的な感情がいずれの位置に配置され得るかについては諸説あるが、本実施形態においては図示するように、「驚き」から時計回りで均等に、「警戒」「興奮」「高揚」「幸福」「快」「満足」「柔和」「リラックス」「冷静」「不活性」「疲労」「無気力」「憂鬱」「悲しい」「不快」「動転」「ストレス」「緊張」「神経質」の２０の感情を円周上に配置している。図示するラッセルの円環図において、互いに隣接する感情は似通った感情である。したがって、その表情も相互に類似している。それぞれの感情に対応付けられた動画像データの図柄は、このような関係性をもって予め作成されている。

次に、動画像データの構造と表示制御について説明する。上述のように、動画像データは、右眼動画像データと左眼動画像データのセットで管理されているが、以下においては右眼動画像データに関して説明し、特に言及する場合を除き、左眼動画像データに関する同様の説明を省略する。

図５は、右眼動画像データの再生について説明する図である。右眼動画像データは、図示するように、連続する複数のフレーム画像によって構成され、各フレームには右眼の様子が描かれている。図の例では、右眼動画像データは、フレームＦ０１からフレームＦ０５までの５フレームによって構成されおり、これらのフレームを番号順に順次再生すると、黒目が開いた状態から一旦閉じて再び開くまでの変化をアニメーションとして表現できる。また、フレームＦ０５からフレームＦ０１へ戻って繰り返して再生すれば、一定の表情を繰り返し表現することができる。表示制御部２１０は、右眼動画像データを右眼１２２ａの表示パネル１０６に、例えば秒６フレーム程度の速さで再生表示する。

図６は、右眼動画像データのヘッダ情報を説明する図である。ヘッダ情報は、右眼動画像データに付加されている付加情報であり、ヘッダ領域に記述されている。

ヘッダ情報は、表情表示に関する情報として主に「感情分類」、「フレーム数」、「開閉周期」、および「開閉度合」を含む。「感情分類」は、その動画像データがいかなる感情を表現するものであるかを示す情報であり、上述のラッセルの円環図で示される一つの感情が対応付けられている。図の例では、「リラックス」であることが記述されている。表情取得部２０４は、この「感情分類」の情報を参照して、指定された共感感情の動画像データを探索する。

「フレーム数」は、その動画像データがいくつのフレーム画像によって構成されているかを示し、図の例では５つのフレーム画像によって構成されていることを示している。表示制御部２１０は、同一の感情を継続して表現する場合には、この「フレーム数」の情報を参照して、繰り返し再生を滑らかに実行する。

「開閉周期」は、開状態の様子を描いたフレームから閉状態の様子を描いたフレームを経て、再び開状態の様子を描いたフレームへ戻るまでのフレーム数を示し、図の例では「フレーム数」と同じ５つのフレームで１周期となっていることを示している。「開閉度合」は、各フレームに描かれた右眼がどの程度開いた状態を描いたものであるかを示す値であり、フレームごとに値が定められている。ここでは、開閉度合いを「Ｐ０」から「Ｐ３」までの４段階で表し、最も開いた状態を「Ｐ０」、閉じた状態を「Ｐ３」として、その中間を「Ｐ１」（開き気味）、「Ｐ２」（閉じ気味）としている。図では、例えばフレームＦ０４に対してＰ２が規定されている。

従前のコミュニケーションロボットは、表出する表情を変化させる場合には、再生中の動画像を途中で打ち切って次の動画像を先頭から再生するか、再生中の動画像の一周期分の再生を終えてから次の動画像の再生を開始していた。前者の切り替え手法は、表情の連続性が失われ、生身の人間や動物ではあり得ない違和感のある不連続な変化を生じさていた。後者の切り替え手法は、ユーザとの対話における感情の転換時点に対して遅れを生じさせ、円滑なコミュニケーションを阻害する要因となっていた。

そこで、本実施例におけるロボット１００では、表出する感情を適切なタイミングで切り替えると共に、表情の連続性を考慮してユーザの違和感を低減すべく、第１動画像データから第２動画像データへの再生切り替えを工夫する。以下に再生切り替え時におけるいくつかの表示制御について説明する。

図７は、現時点で表示している第１動画像データから、次に表示する第２動画像データへ再生表示を切り替える第１の制御例を説明する図である。現時点で再生表示している第１動画像データは「リラックス」を表現する動画像データであり、この動画像データを再生表示しているあるタイミングにおいて、表出判断部２０３は、「満足」を表現する動画像データを再生すると判断したものとする。

表示制御部２１０は、「満足」の動画像データを受け取ると、表示を切り替えるタイミングを決定する。図の例では、第１動画像データのフレームＦ０３の表示終了時点を切り替えタイミングとしている。すなわち、第１動画像データのフレームＦ０３は、切り替え直前に再生表示する第１動画像データのフレーム画像である。表示を切り替えるタイミングは、表出判断部２０３が共感感情を切り替えると判断したタイミングにできるだけ近いことが好ましい。実際には、表情取得部２０４が応答表情ＤＢ３２０から動画像データを読み出す時間や、表示制御部２１０が演算処理に要する時間等を考慮して決定される。

表示制御部２１０は、第１動画像データのフレームＦ０３を現再生フレーム画像として、その次のフレーム画像であるフレームＦ０４を比較基準フレーム画像と定める。そして、表示制御部２１０は、比較基準フレーム画像であるフレームＦ０４の開閉度合Ｐをヘッダ情報から検索する。表示制御部２１０は、フレームＦ０４の開閉度合いがＰ２であることがわかると、第２動画像データを構成するフレーム画像の中から、開閉度合いがＰ２であるものを抽出する。図の例では、第２動画像データのフレームＦ０２とＦ０４が開閉度合Ｐ２として規定されている。

比較基準フレーム画像と、切り替え後の最初に表示される切替後開始フレーム画像のそれぞれの開閉度合が同じ値であれば、比較基準フレーム画像の眼の描画と、切替後開始フレーム画像の眼の描画は、比較的類似するものであると言える。したがって、現再生フレーム画像で第１動画像データの再生表示を終了し、続けてそのような切替後開始フレーム画像から第２動画像データの再生表示を開始すれば、ユーザに違和感を与えることなく滑らかに両画像データの再生表示を接続することができる。また、第１動画像データの最終フレームが再生されるまで待つことがないので、感情の切り替えタイミングに遅れを取る不自然さも大幅に軽減される。

切替後開始フレーム画像は、開閉度合いがＰ２であるフレームＦ０２でもフレームＦ０３でも良いが、本実施例では、さらに開閉周期情報も利用して切替後開始フレーム画像を決定する。すなわち、比較基準フレーム画像がフレームＦ０４であり、第１動画像データの開閉周期が５であることから、現時点における右眼画像の変化は閉状態から開状態へ向かうものとわかるので、切替後開始フレーム画像もこの変化に沿うものの中から選ぶ。表示制御部２１０は、第２動画像データの開閉周期を読み込み、比較基準フレーム画像のＦ０４に対応する、周期後半のフレーム画像を切替後開始フレーム画像の候補とする。

表示制御部２１０は、上記のように開閉周期も参照して第２動画像データのフレームＦ０４を切替後開始フレーム画像に決定する。すなわち、表示制御部２１０は、第１動画像データのフレームＦ０３まで表示したら、第２動画像データのフレームＦ０４へ切り替えて、当該フレームから第２動画像データの再生表示を開始する。このように両画像データの再生表示を接続すると、切替前後の変化も継続させることができるので、表出する感情の切り替えとして、より滑らかな印象をユーザに与えることができる。

図８は、現時点で表示している第１動画像データから、次に表示する第２動画像データへ再生表示を切り替える第２の制御例を説明する図である。現時点で再生表示している第１動画像データは「リラックス」を表現する動画像データであり、この動画像データを再生表示しているあるタイミングにおいて、表出判断部２０３は、「驚き」を表現する動画像データを再生すると判断したものとする。

「驚き」を表現する動画像データである第２動画像データは、フレーム数が４であり、開閉周期が２である。フレームＦ０１は、１周期目の第１フレーム（ｃ１ｆ１）であり、フレームＦ０２は、１周期目の第２フレーム（ｃ１ｆ２）であり、フレームＦ０３は、２周期目の第１フレーム（ｃ２ｆ１）であり、フレームＦ０４は、２周期目の第２フレーム（ｃ２ｆ２）である。それぞれの第１フレームに描かれた右眼は、開状態あるいはそれに近い状態であり、それぞれの第２フレームに描かれた右眼は、閉状態あるいはそれに近い状態である。

ここでも第１の制御例と同じく、第１動画像データのフレームＦ０３を現再生フレーム画像とし、フレームＦ０４を比較基準フレーム画像とする。第１動画像データの開閉周期は５であるので、比較基準フレーム画像であるフレームＦ０４は周期後半のフレーム画像である。したがって、表示制御部２１０は、第２動画像データのうち各周期の第１フレームの方が比較基準フレーム画像に類似し、かつ変化の流れに沿うものと判断する。また、比較基準フレーム画像が第１動画像データの周期後半のフレーム画像であるので、第２動画像データのうち後半の開閉周期である２周期目から第１フレーム（ｃ２ｆ１）を選択して切替後開始フレーム画像に決定する。

すなわち、表示制御部２１０は、第１動画像データのフレームＦ０３まで表示したら、第２動画像データのフレームＦ０３へ切り替えて、当該フレームから第２動画像データの再生表示を開始する。このように、対象とする動画像データによっては、開閉度合の情報を使うことなく周期情報から切替後開始フレーム画像を決定することができる。このように切替後開始フレーム画像を決定しても、ユーザに違和感を与えることなく滑らかに両画像データの再生表示を接続することができる。

図９は、現時点で表示している第１動画像データから、次に表示する第２動画像データへ再生表示を切り替える第３の制御例を説明する図である。現時点で再生表示している第１動画像データは「無気力」を表現する動画像データであり、この動画像データを再生表示しているあるタイミングにおいて、表出判断部２０３は、「冷静」を表現する動画像データを再生すると判断したものとする。

「無気力」を表現する動画像データである第１動画像データは、５つのフレーム画像によって構成されているが、いずれの右眼も開いた状態（Ｐ０）で描かれている。一方で、「冷静」を表現する動画像データである第２動画像データは、５つのフレーム画像によって構成されているが、いずれの右眼も閉じた状態（Ｐ３）で描かれている。表示制御部２１０は、例えば、第１動画像データのフレームＦ０３を現再生フレーム画像とし、比較基準フレーム画像をフレームＦ０４と決定しても、フレームＦ０４の開閉度合はＰ０であるので、同じ開閉度合のフレーム画像を第２動画像データから抽出できない。

このような場合には、表示制御部２１０は、第２動画像データのフレームＦ０１を切替後開始フレーム画像に決定する。このように、第１動画像データを構成する各フレームに描かれた右眼の様子と、第２動画像データを構成する各フレームに描かれた右眼の様子が大きく異なる場合には、切り替え時にむしろ不連続となった方がユーザにインパクトを与えるので好ましいと言える。

次に本実施例で採用する動画像データのフレーム画像について説明する。図１０は、フレーム画像のレイヤ構造を説明する図である。例えば、「疲労」を表現する動画像データのあるフレーム画像が、左上に示すように再生表示されているとする。この右眼画像１６１ａは、瞼を表現する要素と、黒目を表現する要素と、毛細血管を含む白目を表現する要素の３つから構成されている。フレーム画像は、これらの要素をレイヤごとに分けて保持している。

すなわち、図示するようにレイヤ１として瞼の描画を保持し、レイヤ２として黒目の描画を保持し、レイヤ３として毛細血管を含む白目の描画を保持している。換言すると各フレーム画像は三層構造を有している。表示制御部２１０は、これらのレイヤのうち、レイヤ１とレイヤ３は、表示パネル１０６に対して所定の位置に表示する。一方、レイヤ２（黒目レイヤ）で表現される黒目は、視線決定部２０５から受け取った視線方向を実現するように、表示パネル１０６に対して表示位置を調整する。すなわち、受け取った視線方向を実現する座標に、黒目の基準位置を移動させる。

このように、黒目の要素以外の要素を固定して黒目の要素のみを移動させることにより視線方向の調整を行えば、視線方向の変化としてより自然な印象を与えることができる。また、他の要素が移動して顔全体として不自然な印象を与えることもない。

次に、制御部２００が表情の調整に関して実行する動作処理の手順を説明する。以下に説明する動作処理は、制御部２００がシステムメモリから読み込んだ制御プログラムを実行することにより実行される。図１１は、動作処理の手順を示すフローチャートである。フローは、ロボット１００の電源がオンにされて開始される。なお、表情の調整に関する処理以外の処理についての説明は省略する。

ステップＳ１０１で、顔認識部２０２は、カメラ１０２から画像信号を取得して、コミュニケーション対象であるユーザの顔領域を認識する。また、発話認識部２０１は、マイク１０１から音声信号を取得してユーザの発話を認識する。視線決定部２０５は、ステップＳ１０２で、これらの情報を用いて、眼球部１２２の視線方向を決定する。

表出判断部２０３は、ステップＳ１０３で、顔認識部２０２からの情報および発話認識部２０１からの情報を用いて、顔部１２０が表出すべき表情を判断する。そして、ステップＳ１０４で、これまで表出していた表情に対して表出すべき表情が変わったか否かを判断する。表出すべき表情が変わった場合には、表示パネル１０６の再生表示を切り替えるべく、ステップＳ１０５へ進む。そうでない場合には、再生表示を切り替える必要がないので、ステップＳ１０７へ進む。

表情取得部２０４は、ステップＳ１０５で、表出判断部２０３が切り替えると判断した共感感情に対応する動画像データを応答表情ＤＢ３２０から取得し、表示制御部２１０へ引き渡す。表示制御部２１０は、ステップＳ１０６で、図７から図９を用いて説明したように、表情取得部２０４から受け取った動画像データ（第２動画像データ）のフレーム画像の中から切替後開始フレーム画像を決定する。

表情取得部２０４は、ステップＳ１０７で、図１０を用いて説明したように、対象フレーム画像において黒目の基準位置を移動させることにより視線方向を調整する。ここで、対象フレーム画像は、動画像データを切り替える場合（ステップＳ１０６からステップＳ１０７へ進んだ場合）には、切替後開始フレーム画像であり、切り替えない場合（ステップＳ１０４からステップＳ１０７へ進んだ場合）には、継続して再生表示する次のフレーム画像である。表示制御部２１０は、ステップＳ１０８で、このように調整されたフレーム画像を表示パネル１０６に表示する。

制御部２００は、ステップＳ１０９で、無会話状態で一定時間が経過するなど、ユーザとのコミュニケーションが終了したか否かを判断する。まだ終了していないと判断した場合には、ステップＳ１０１へ戻る。終了したと判断した場合には、一連の処理を終了する。

以上、第１の実施例に係るロボット１００について説明したが、表情の調整に関して実行する動作処理は、さまざまなバリエーションが存在し得る。上記の例では、右眼として再生表示される動画像データに対して、切替後開始フレーム画像を決定する例を説明した。左眼として再生表示される動画像データに対しては、右眼と同様の処理を独立して行っても良いし、右眼の切り替えタイミングに同期させて切り替え処理を行っても良い。もちろん左眼として再生表示される動画像データを主として、右眼の切り替えタイミングを左眼のタイミングに同期させても良い。また、再生している動画像データの描画内容に応じて、右眼の動画像データを判断対象とするか左眼の動画像データを判断対象とするかを決定しても良い。

また、上記の実施例においては、比較基準フレーム画像と切替後開始フレーム画像の類似性は、ヘッダに記述されたフレームごとの黒目の開閉度合を用いたり、周期情報を用いたりして判断した。このように判断することにより、より簡便に類似性を判断することができるので、再生表示の切り替えタイミングを、感情変化のタイミングに近づけることに成功している。しかし、表示制御部等の演算能力が高ければ、あるいは、予めヘッダ情報にそのような情報が準備されていないのであれば、表示制御部は、比較基準フレーム画像に描画と、第２動画像データの各フレーム画像の描画を画像解析して類似度合を判断すると良い。

次に、本実施形態の第２の実施例について説明する。図１２は、第２の実施例に係るロボット４００の概観図である。第１の実施例に係るロボット１００は、キャラクターを具現化したコミュニケーションロボットであったが、第２の実施例に係るロボット４００は、搬送物を把持して自律移動する搬送ロボットとしての機能も有するコミュニケーションロボットである。近時の搬送ロボットは、人間と作業空間を共有するものが増えており、人間とコミュニケーションを取りながら作業を実行するものも知られてきている。ロボット４００は、搬送ロボットでありながら、ロボット１００のようなコミュニケーションを実行できるロボットである。

ロボット４００は、コミュニケーション機能に関する構成はロボット１００とほぼ同様であるので、主に相違点について説明する。搬送ロボットのような機能ロボットは、顔部や胴体部が必ずしも人間や動物の形態を模倣するものでなくて良い。ロボット４００は、図示するように、顔部４２０がほぼ表示パネル４０６のみで構成されている。表示パネル４０６には、眼画像４６１と口画像４６２を含む顔画像が表示される。

このように構成されたロボット４００においても、ロボット１００と同様に、画像の変化により共感感情を表出することができる。具体的には、眼画像４６１として、各感情に対応する動画像データが用意されており、これに対応して口画像４６２としても、各感情に対応する動画像データが用意されている。そして、表情を変化させる場合には、それぞれの動画像データの切り替えフレーム画像を上述のように決定すれば、ユーザに違和感を与えることなく滑らかに表情を変化させることができる。したがって、ロボット４００が人間や動物の形態とはかけ離れた外見であっても、ロボット４００と作業するユーザは、ロボット１００のようにコミュニケーションを取ることができる。

次に、本実施形態の第３の実施例について説明する。図１３は、第３の実施例に係るタブレット端末５００の概観図である。第１の実施例および第２の実施例においてはロボットをユーザが対話する相手としたが、第３の実施例においては、タブレット端末５００に表示した映像キャラクター６００を対話する相手とする。キャラクターをロボットとして実体化すれば、ユーザは、ペットのように感じることができ、より愛着を持てるようになるが、タブレット端末５００でより簡便にキャラクターを表現することもできる。

タブレット端末５００は、コミュニケーション機能に関する構成はロボット１００とほぼ同様であるので、主に相違点について説明する。タブレット端末５００は、マイク５０１、カメラ５０２、表示パネル５０６、スピーカ５０９を備える。表示パネル５０６は、例えば液晶パネルであり、映像キャラクター６００を表示する。

映像キャラクター６００の顔部６２０は、眼画像６６１と口画像６６２の変化によって共感感情を表現する。具体的には、眼画像６６１として、各感情に対応する動画像データが用意されており、これに対応して口画像６６２としても、各感情に対応する動画像データが用意されている。そして、表情を変化させる場合には、それぞれの動画像データの切り替えフレーム画像を上述のように決定すれば、ユーザに違和感を与えることなく滑らかに表情を変化させることができる。したがって、映像キャラクター６００がタブレット端末５００で表示されるものであっても、ロボット１００のようにコミュニケーションを取ることができる。

以上第１の実施例から第３の実施例を通じて本実施形態を説明したが、コミュニケーション装置の態様はこれらの実施例に限定されない。例えば、環境センサやデータベースは外部装置に備えられていても良い。この場合、コミュニケーション装置は、これらの外部装置と通信するための通信ＩＦを備えれば良い。

また上記の実施例では、両眼を備える顔部を説明したが、単眼の眼球部や、三眼以上の眼球部を有するキャラクターであっても構わない。また、上記の例では、光ファイバ束１３２を介在させた眼球部１２２を説明したが、光ファイバ束１３２等を介在させることなく、曲面の表示パネルを眼球部１２２として採用しても良い。また、簡易的には平面の表示パネルを眼球部１２２として採用しても良い。

１００ ロボット、１０１ マイク、１０２ カメラ、１０６ 表示パネル、１０９ スピーカ、１２０ 顔部、１２２ 眼球部、１２２ａ 右眼、１２２ｂ 左眼、１３１ 透光カバー、１３２ 光ファイバ束、１３２ａ 光ファイバ、１３２ｂ 被覆、１６１ａ 右眼画像、２００ 制御部、２０１ 発話認識部、２０２ 顔認識部、２０３ 表出判断部、２０４ 表情取得部、２０５ 視線決定部、２０６ 音声選択部、２０７ 発話制御部、２１０ 表示制御部、４００ ロボット、４０６ 表示パネル、４２０ 顔部、４６１ 眼画像、４６２ 口画像、５００ タブレット端末、５０１ マイク、５０２ カメラ、５０６ 表示パネル、５０９ スピーカ、６００ 映像キャラクター、６２０ 顔部、６６１ 眼画像、６６２ 口画像

Claims (5)

1. 表示部と、
   感情を表現するための複数のフレーム画像から成る動画像データをデータベースから取得する取得部と、
   前記取得部で取得した前記動画像データを前記表示部で再生表示する表示制御部と、
   前記表示部で再生表示する前記動画像データを現在再生表示している第１動画像データから次に再生表示する第２動画像データへ切り替える判断を行う判断部と
   を備え、
   前記表示制御部は、前記判断部が前記表示部で再生表示する前記動画像データを前記第１動画像データから前記第２動画像データへ切り替えると判断した場合に、切り替え直前に再生表示する前記第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する前記第２動画像データのフレーム画像とが互いに類似するように、前記第２動画像データから再生開始のフレーム画像を選択して前記第２動画像データを再生表示するコミュニケーション装置であって、
   前記表示部は、眼球部の変化を表す前記動画像データを表示するように設けられており、
   前記表示制御部は、切り替え直前に再生表示する前記第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する前記第２動画像データのフレーム画像のフレーム画像間で前記眼球部の黒目の開閉度合が類似するように、前記第２動画像データから再生開始のフレーム画像を選択する、
   コミュニケーション装置。
2. 前記動画像データは、フレーム画像ごとの前記開閉度合に関する情報を付随情報として有し、
   前記表示制御部は、前記付随情報を参照して前記第２動画像データから再生開始のフレーム画像を選択する請求項１に記載のコミュニケーション装置。
3. 前記動画像データは、前記黒目の開状態から閉状態を経て再び開状態となるまでの周期情報を付随情報として有し、
   前記表示制御部は、前記付随情報を参照して前記第２動画像データから再生開始のフレーム画像を選択する請求項１又は２に記載のコミュニケーション装置。
4. 前記動画像データは、それぞれのフレーム画像が複数のレイヤを有し、前記複数のレイヤは、前記黒目を表現する黒目レイヤを含み、
   前記表示制御部は、前記表示部に対し、表現する視線方向に応じて前記黒目レイヤの表示位置を調整し、他のレイヤの表示を固定位置とする請求項１～３のいずれか１項に記載のコミュニケーション装置。
5. 表示部に感情を表現するための複数のフレーム画像から成る動画像データを再生表示するコミュニケーション装置の制御プログラムであって、
   前記動画像データのうちの第１動画像データを前記表示部に表示再生する第１表示ステップと、
   前記表示部に再生表示する前記動画像データを前記第１動画像データから第２動画像データへ切り替える判断を行う判断ステップと、
   前記判断ステップで前記第２動画像データへ切り替えると判断した場合に、切り替え直前に再生表示する前記第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する前記第２動画像データのフレーム画像とが互いに類似するように、前記第２動画像データから再生開始のフレーム画像を選択して前記第２動画像データを再生表示する第２表示ステップと
   をコンピュータに実行させる制御プログラムであって、
   前記表示部は、眼球部の変化を表す前記動画像データを表示するように設けられており、
   前記第２表示ステップでは、切り替え直前に再生表示する前記第１動画像データのフレーム画像の次のフレーム画像と切り替え直後に再生表示する前記第２動画像データのフレーム画像のフレーム画像間で前記眼球部の黒目の開閉度合が類似するように、前記第２動画像データから再生開始のフレーム画像を選択する、
   制御プログラム。

Images