JP5927797B2 - ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム - Google Patents

Description

本明細書で議論される実施態様は、ロボット装置の行動を制御する技術に関するものである。

ロボット装置とは各種の作業を人の代わりに行う装置である。ロボット装置は、人の指示に対し、作業を自律的に行うことが重要とされてきた。また、近年では、決まったタスクを行うという以外に、擬人的・擬生物的な要素を持たせて、人との関わりにより、エンターテイメント、癒し、コミュニケーション、情報等を提供するロボット装置が提案されている。このようなロボット装置は、生物的な行動やユーザからの反応に、あたかも人や動物と接しているかのような感覚を与えることで、所望の機能を提供している。しかしながら、このようなロボット装置のうち、ユーザの個性やユーザとロボット装置との相互作用の状況に関わらず一様な行動を行うものは、ユーザ側の感情をロボット装置の振る舞いに合わせる必要があり、ユーザによっては感情移入が難しい。

ところで、ロボット装置に、生物的な振る舞いを生成するための情動システム、ユーザからの働きかけ（例えば接触）に対しての反応システム、時間経過や働きかけに対し予め用意されている振る舞いを切り替えていく状態遷移システムを有しているものがある。このようなロボット装置は、例えば感情に相当するような装置自身の内部状態を有しており、時間経過や人との関わり方に応じて内部状態を変化させることで、生き物感の創造を行う。

このようなロボット装置に関し、例えば、ロボット装置が遭遇した人物の特定を行って、人物毎の過去の感情値に応じた行動を行うというロボット装置が知られている。
また、例えば、順次供給される入力情報に応じたロボット装置の現在の行動と、次に供給される入力情報とに基づいて、当該ロボット装置の現在の行動に続く次の行動を決定するというロボット装置が知られている。

また、ロボット装置の行動に対して、内部状態と外部刺激とに基づいた実行優先度を算出し、ユーザにより選択された行動の実行優先度が負の欲求を有している場合には、選択された行動とは異なる行動を出力するというロボット装置が知られている。

特開２００３−１１７８６６号公報 特開２０１０−１４９２７６号公報 特開２００４−２８３９５８号公報

ロボット装置には、ユーザからの働きかけ（刺激）に基づいてユーザとの関係性を類推し、ユーザに合わせたインタラクションを行う（例えば、親密度が高い人には喜びを表す反応行動を行う）ものがある。しかし、このような、行動とその行動に対して期待されるユーザの反応行動（期待反応）との関係は、ロボット装置の開発者が定義していたものであるために、その関係が必ずしもユーザの実際の反応行動（現実反応）と一致するとは限らない。例えば、ロボット装置の“手を前に出す行動”に対し、開発者は“握手の要求”を期待反応として想定していたのに対し、あるユーザは、現実反応として“抱っこ”をした場合を考える。この場合のように期待反応と現実反応とが不一致となると、ロボット装置では欲求不満に相当する感情情報が生成される結果、ロボット装置とユーザとの関係を悪化させてしまうことがある。

上述した問題に鑑み、本明細書で後述するロボット制御装置は、ユーザの現実反応が予め定義していた期待反応と一致しないことがあっても、ユーザとの親和的な関係性をロボット装置が構築できるようにする。

本明細書で後述するロボット制御装置は、ロボット装置の行動制御を行うものである。このロボット制御装置のひとつに、センサと、予測適応部と、相関検出部と、結果行動制御部とを備えるというものがある。ここで、センサは、ロボット装置が行った行動に対する当該ロボット装置のユーザの反応に対応する物理量を検出する。予測適応部は、このセンサにより検出される、ロボット装置が行った行動に対するユーザの現実の反応である現実反応に対応する物理量に基づいて、当該行動に対して期待される当該ユーザの反応である期待反応に対する予測適応を行う。相関検出部は、このロボット装置が行った行動に対する上述の期待反応と、前述の現実反応との相関の高さを検出する。そして、結果行動制御部は、相関検出部による上述の相関の高さの検出結果に応じた行動内容の行動である結果行動をロボット装置に行わせる。

また、本明細書で後述するロボット装置の行動の制御方法のひとつは、まず、ロボット装置が行った行動に対して期待される当該ロボット装置のユーザの反応である期待反応に対する予測適応を行う。なお、この予測適応は、ロボット装置が行った行動に対する当該ロボット装置のユーザの反応に対応する物理量を検出するセンサが検出した、当該行動に対するユーザの現実の反応である現実反応に対応する物理量に基づいて行う。次に、ロボット装置が行った行動に対する上述の期待反応と前述の現実反応との相関の高さを検出する。そして、この相関の高さの検出結果に応じた行動内容の行動である結果行動をロボット装置に行わせる。

また、本明細書で後述するプログラムは、ロボット装置の行動の制御をコンピュータに実行させるものである。このプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、ロボット装置が行った行動に対して期待される当該ロボット装置のユーザの反応である期待反応に対する予測適応を行う。なお、この予測適応は、ロボット装置が行った行動に対する当該ロボット装置のユーザの反応に対応する物理量を検出するセンサが検出した、当該行動に対するユーザの現実の反応である現実反応に対応する物理量に基づいて行う。次に、ロボット装置が行った行動に対する上述の期待反応と前述の現実反応との相関の高さを検出する。そして、この相関の高さの検出結果に応じた行動内容の行動である結果行動をロボット装置に行わせる。

本明細書で後述するロボット制御装置を用いてロボット装置の行動制御を行うことで、ユーザの現実反応が予め定義していた期待反応と一致しないことがあっても、ユーザとの親和的な関係性をロボット装置が構築できるようになる。

ロボットシステムの一実施例の機能ブロック図である。 期待反応テーブルの一例である。 ロボット制御装置の一実施例の機能ブロック図である。 結果アクションＤＢのデータ構造例である。 アクション予測パラメータＤＢのデータ構造例である。 意識的アクションＤＢのデータ構造例である。 予測適応処理の処理手順を図解したフローチャートである。 意識的アクションの制御手法を説明する図である。 意識的アクション制御部の機能ブロック図である。 意識的アクション発生頻度演算処理の処理手順を図解したフローチャートである。 意識的アクション種別選択部の機能ブロック図である。 意識的アクション種別選択処理の処理手順を図解したフローチャートである。 予測適応処理の変形列を説明する図である。 コンピュータの構成例を図解した図である。

まず図１について説明する。図１は、ロボットシステムの一実施例の機能ブロック図である。
図１のロボットシステムは、ロボット装置１と、このロボット装置１の行動制御を行うロボット制御装置１０とを備えている。

ロボット制御装置１０は、センサ１１、第一行動制御部１２、適応部１３、相関検出部１４、及び第二行動制御部１５を備えている。
センサ１１は、ユーザ２の現実の反応に対応する物理量を検出する。

第一行動制御部１２は、ロボット装置１に第一の行動を行わせる。
適応部１３は、ロボット装置１が行った第一の行動に対してユーザ２に期待されていた反応を、当該第一の行動に伴ってセンサ１１により検出された物理量に基づいて適応させる。

相関検出部１４は、ロボット装置１が行った第一の行動に対して期待されていた反応と当該第一の行動に伴ってセンサ１１により検出された物理量との相関の高さを検出する。
第二行動制御部１５は、相関検出部１４による上述の相関の高さの検出結果に応じた内容の第二の行動をロボット装置１に行わせる。

このロボット制御装置１０を用いてロボット装置１の制御を行うことにより、現実反応（第一の行動に伴ってセンサ１１により検出された物理量）に基づいた期待反応（第一の行動に対してユーザ２に期待されていた反応）の適応が行われる。従って、ユーザ２の現実反応が予め定義していた期待反応と一致しなくても、適応によって期待反応が現実反応に近づけられることで両者の相関が高くなる。すると、ロボット制御装置１０は、この相関が高い場合の結果行動をロボット装置１に行わせる。従って、この相関が高い場合の結果行動として、好意的な感情が込められている行動をロボット装置１に行わせることで、ロボット装置１に対する愛着心をユーザ２に抱かせることができるようになる。このようにして、ユーザ２との親和的な関係性をロボット装置１が構築できるようになる。

なお、ここで、適応部１３は、例えば、ロボット装置１が行った第一の行動に対する過去の適応の結果と、当該第一の行動に伴ってセンサ１１により検出された物理量との重み付け加算によって、この適応を行う。

このようにすることで、適応部１３は、ロボット装置１が行った行動に対するユーザ２の現実反応に対応する物理量に基づいた、期待反応の適応を行うことができる。
なお、ロボット制御装置１０は、ロボット装置１により行われる行動と当該行動に対する適応の結果とを対応付けて記憶する記憶部１６を更に備えていてもよい。

図２について説明する。図２は、記憶部１６に記憶されている期待反応テーブルの一例である。
図２の期待反応テーブル例では、「行動名称」と「期待反応適応値」とが対応付けられている。なお、このテーブルは、名称が「ユーザＡＡ」であるユーザ２についてのものである。

「行動名称」は、ロボット装置１により行われる各種の行動を個別に識別するために付されている名称である。また、「期待反応適応値」は、「行動名称」で特定されるロボット装置１の行動に対する期待反応の適応の結果であり、ロボット制御装置１０に備えられている各々のセンサ１１について期待されていた出力の適応値が示されている。

記憶部１６は、この期待反応テーブルをユーザ２毎に記憶しておいてもよい。この場合においては、適応部１３は、センサ１１による上述の物理量の検出対象であるユーザ２についての期待反応テーブルにおいて、ロボット装置１が行った第一の行動に対応付けられている期待反応の適応値を用いて、前述の適応を行うようにする。

このようにすることで、ユーザ２が複数人でロボット装置１を共用していても、期待反応の適応に他人の現実反応が影響を受けて、ユーザ２との親和的な関係性が損なわれることがない。

また、ロボット制御装置１０は、第三行動制御部１７を更に備えていてもよい。第三行動制御部１７は、ロボット装置１に行わせる第三の行動を、ロボット装置１の前述した第一の行動についての相関検出部１４による上述の相関の高さの検出結果に基づいて決定し、当該決定された第三の行動をロボット装置１に行わせる。

なお、この場合においては、適応部１３は、更に、第三の行動に対してユーザ２に期待されていた反応を、当該第三の行動に伴ってセンサ１１により検出された物理量に基づいて適応させるようにする。

このようにして第一の行動に続く第三の行動をロボット装置１に行わせることで、ロボット装置１の行動に対するユーザの反応と、その反応に応じたロボット装置１の次の行動とが交互に繰り返されて両者間に良好なインタラクションが形成される。この結果、両者間の関係性はより緊密なものとなる。

なお、ここで、第三行動制御部１７は、センサ１１による上述の物理量の検出値が所定値以上となる単位時間当たりの頻度に応じた頻度で、第三の行動をロボット装置１に行わせるようにしてもよい。

ロボット装置１の行動に対するユーザの反応が多いほど、ユーザ２は、ロボット装置１に対する姿勢が積極的であると推定することができる。そこで、このような場合には、前述のようにして、高い頻度で第三の行動をロボット装置１に行わせるようにしてロボット装置１のユーザ２に対する積極的な姿勢を表現する。このようにすることで、ユーザ２との親和的な関係性を更に高めることができる。

また、前述したように、ロボット制御装置１０は、ロボット装置１により行われる行動と当該行動に対する適応の結果とを対応付けて記憶する記憶部１６を更に備えていてもよい。この場合において、相関検出部１４は、更に、記憶部１６に記憶されている適応の結果の各々と第一の行動に対して期待されていた反応との相関の高さを検出するようにしてもよい。なお、この場合には、第三行動制御部１７は、第一の行動についての相関検出部１４による上述の相関の高さの検出結果が所定の閾値よりも高い相関を表している場合には、第三の行動の決定を、次のようにして行う。

すなわち、この場合、第三行動制御部１７は、記憶部１６に記憶されているロボット装置１により行われる行動のうちから、当該行動に対する適応の結果と第一の行動に対して期待されていた反応との相関の高さが高い行動を所定の確率で選択するようにする。なお、この所定の確率は、第一の行動についての相関検出部１４による上述の相関の高さの検出結果が当該所定の閾値よりも低い相関を表している場合よりも高い確率とする。

このようにすることで、第一の行動における期待反応の予測適応値と現実反応とが近い場合には、第一の行動と期待反応が類似している行動が、第三の行動として選択される。従って、ユーザ２から期待通りの反応が得られている場合に、同様の反応をせがむような行動を第三の行動として選択してロボット装置１に行わせることができる。

また、図１のロボット制御装置１０において、相関検出部１４は、更に、ロボット装置１により行われる行動に対して予め設定されている、ユーザ２に期待されていた反応の初期値とユーザ２の現実の反応との相関の高さを検出するようにしてもよい。なお、この場合、第二行動制御部１５は、期待されていた反応と現実の反応との相関の高さと、期待されていた反応の初期値と現実の反応との相関の高さとのうちの高い相関を表しているものに応じた内容の第二の行動をロボット装置１に行わせる。

このようにする場合には、期待反応の適応が不十分な状況であっても、現実反応が期待反応の初期値に近いものであれば、この相関が高い場合の結果行動として、好意的な感情が込められている行動をロボット装置１に行わせる。このようにすることで、ロボット装置１に対する愛着心をユーザ２に抱かせることができるようになる。

また、図１のロボット制御装置１０において、第二行動制御部１５は、第二の行動の内容を、更に、センサ１１による上述の物理量の検出値が所定値以上となる単位時間当たりの頻度にも応じて決定するようにしてもよい。

前述したように、ロボット装置１の行動に対するユーザの反応が多いほど、ユーザ２は、ロボット装置１に対する姿勢が積極的であると推定することができる。そこで、このような場合には、前述のようにして、ユーザ２に対してより好意的な第二の行動をロボット装置１に行わせるようにしてロボット装置１のユーザ２に対する好意的な姿勢を表現する。このようにすることで、ユーザ２との親和的な関係性を更に高めることができる。

次に図３について説明する。図３は、ロボットシステムの別の一実施例の機能ブロック図である。
図３のロボットシステムも、ロボット装置１とロボット装置１の行動制御を行うロボット制御装置２０とを備えている。このうちのロボット装置１は図１のシステムと同様のものである。また、ロボット制御装置２０も、図１のシステムにおけるロボット制御装置１０と同様の機能的を提供する。

ロボット制御装置２０は、ロボット装置１に行わせた、ロボット装置１のユーザ２へ働きかける振る舞いに対して期待されるユーザ２の反応を、意識的アクションに対する実際のユーザ２の反応に基づいて予測適応する。ここで、ロボット装置１のユーザ２へ働きかける振る舞いを「意識的アクション」と称することとする。また、意識的アクションに対して期待されるユーザ２の反応を「期待リアクション」と称することとし、意識的アクションに対する実際のユーザ２の反応を「現実リアクション」と称することとする。なお、前述した図１の説明において、ロボット装置１が行う行動は意識的アクションに対応する。従って、ユーザ２の期待反応及び現実反応は、それぞれ期待リアクション及び現実リアクションに対応する。

また、ロボット制御装置２０は、ユーザ２からの現実リアクションの頻度や期待リアクションとの一致状態、更には現実リアクションの内容等を加味してロボット装置１の行動の制御を行って、ユーザ２への様々な意識的アクションを実行させる。

より詳細には、ロボット制御装置２０は、以下のような動作を行う。
［１］まず、ロボット制御装置２０は、ロボット装置１に実行させる各種の意識的アクションの各々に、意識的アクションについての期待リアクションを対応付けておく。

［２］次に、ロボット制御装置２０は、ユーザ２を検出すると、ロボット装置１に意識的アクションを実行させると共に、この意識的アクションに対するユーザ２の現実リアクションを取得する。そして、上述の［１］でこの意識的アクションに対応付けておいた期待リアクションに対し、取得した現実リアクションに基づいた予測適応処理を施す。

［３］なお、ロボット制御装置２０は、ユーザ２の識別を行って、［２］の予測適応処理をユーザ２毎に個々に行う。

［４］また、ロボット制御装置２０は、次の意識的アクションの実行開始とその意識的アクションの行動内容の選択とを、ロボット装置１とユーザ２との間でのインタラクション（相互作用）の状況に基づいて決定する。

より具体的には、ロボット制御装置２０は、その直近にロボット装置１に実行させた意識的アクションに対するユーザ２の現実リアクションの頻度が高いほど（単位時間当たりの反応の多さ）、高い確率で次の意識的アクションをロボット装置１に実行開始させる。

また、次の意識的アクションの行動内容の選択では、直近意識的アクションに対応付けられている期待リアクションと現実リアクションとの一致性、及び、直近意識的アクションに対しユーザ２が現実リアクションを起こすまでの反応速度に基づいて決定される。すなわち、ロボット制御装置２０は、この一致性が高く且つこの反応速度が速いほど、直近意識的アクションとの間で期待リアクションの類似性が高い意識的アクションを次の意識的アクションとして選択する。その一方、ロボット制御装置２０は、この一致性が低く且つこの反応速度が低いほど、直近意識的アクションとの間で期待リアクションの類似性が低い意識的アクションを次の意識的アクションとして選択する。

ロボット制御装置２０が以下のような動作を行うことで、個々のユーザ２に適した意識的アクションをロボット装置１に実行させることができるので、ロボット装置１とユーザ２との効果的な相互作用を生み出し、愛着を形成することができる。その結果、ユーザ２がロボット装置１に感情移入しやすくなり、ユーザ２が癒し効果を体感することで、ロボット装置１による生活支援を円滑に行うことができるようになる。

図３に図解されているように、ロボット制御装置２０は、機能ブロックとして、センサ１１、リアクション予測適応部２１、結果アクション制御部２２、意識的アクション制御部２３、及びアクション選択部２４を備えている。更に、ロボット制御装置２０は、データベース（ＤＢ）として、結果アクションＤＢ３１、アクション予測パラメータＤＢ３２、及び意識的アクションＤＢ３３を備えている。

センサ１１は、ユーザ２の反応に対応する物理量を検出するものであり、図１のロボット制御装置１０が備えているものと同一のものである。このセンサ１１は、より具体的には、例えば、動物の触覚、視覚、及び聴覚に相当する感覚機能をロボット装置１に持たせるためにロボット装置１に内蔵される圧力センサ、マイク、カメラである。これらのセンサ１１により、例えば、ユーザ２が触れたロボット装置１の部位や力（押圧力）、ユーザ２の発声の音量や周波数、発話の内容、ユーザ２の顔部品（口や目等）の形状、視線の方向の各情報や、これらの変化量の情報などが物理量として得られる。

センサ１１から出力される物理量の検出結果（リアクション）は、リアクション予測適応部２１及び意識的アクション制御部２３に入力される。
リアクション予測適応部２１は、まず、入力されたリアクションが現実リアクションであるか否か、すなわち、ロボット装置１が実行した意識的アクションに対するユーザ２の反応を表しているものであるか否かを判定する。ここで、リアクション予測適応部２１は、入力されたリアクションが現実リアクションであったと判定した場合には、この現実リアクションが、ロボット装置１が実行した意識的アクションについての期待リアクションに近いものであるか否かを判定する。そして、この判定結果を結果アクション制御部２２と意識的アクション制御部２３とに送付する。

結果アクション制御部２２は、現実リアクションと期待リアクションとが近いものであるか否かの判定結果に基づき、結果アクションの選択を行う。なお、結果アクションとは、意識的アクションに対する期待リアクションに応じてロボット装置１に実行させる行動（アクション）であって、この判定結果に予め対応付けられているものである。

結果アクションＤＢ３１には、結果アクションをロボット装置１に実行させるために必要な制御情報が結果アクション毎に格納されている。図４Ａは、この結果アクションＤＢ３１のデータ構造例を図解したものである。

結果アクションＤＢ３１では、「結果アクション名」、「意識的アクション名」、「選択条件」、及び「制御情報」の各データが対応付けられている。
「結果アクション名」は、結果アクションを識別するために個別に与えられている名称である。

「意識的アクション名」は、ロボット装置１が実行した意識的アクションを識別するために個別に与えられている名称であり、「結果アクション名」により特定される結果アクションが、どの意識的アクションについてのものであるかを特定するためのものである。

「選択条件」は、「結果アクション名」により特定される結果アクションの選択条件を表している。ここで、『一致』とは、「結果アクション名」により特定される結果アクションが、現実リアクションと期待リアクションとが一致していると判定されたときに選択されることを表している。一方、『不一致』とは、「結果アクション名」により特定される結果アクションが、現実リアクションと期待リアクションとが不一致であると判定されたときに選択されることを表している。

「制御情報」は、「結果アクション名」により特定される結果アクションをロボット装置１に実行させるために必要な制御情報データである。
結果アクション制御部２２は、選択した結果アクションをロボット装置１に実行させるための制御情報を、結果アクションＤＢ３１から読み出してアクション選択部２４に送付する。

なお、結果アクション制御部２２は、図１のロボット制御装置１０における第二行動制御部１５に相当する機能を提供する。
更に、リアクション予測適応部２１は、センサ１１から入力されたリアクションが現実リアクションであったと判定した場合には、この現実リアクションに基づいた予測適応処理をリアクション予測パラメータに対して行って当該パラメータの更新を行う。

なお、リアクション予測パラメータは、ロボット装置１が実行した意識的アクションに対応付けられているパラメータであって、ユーザ２の期待リアクションの具体例である。アクション予測パラメータＤＢ３２には、ユーザ２毎に、このリアクション予測パラメータが当該意識的アクションを特定する情報に対応付けられて格納されている。図４Ｂは、このアクション予測パラメータＤＢ３２のデータ構造例を図解したものである。

この図４Ｂのデータ例は、名称が「ユーザＡＡ」であるユーザ２についてのもののである。アクション予測パラメータＤＢ３２では、図４Ｂに例示するようなデータが、ユーザ２毎に格納されている。

アクション予測パラメータＤＢ３２では、「意識的アクション名」と「リアクション予測パラメータ」とのデータが対応付けられている。
「意識的アクション名」は、ロボット装置１が実行した意識的アクションを識別するために個別に与えられている名称であり、結果アクションＤＢ３１において用いられているものと同一のものである。

「リアクション予測パラメータ」は、「意識的アクション名」で特定される意識的アクションについてのリアクション予測パラメータである。
リアクション予測適応部２１は、アクション予測パラメータＤＢ３２に格納されている、ロボット装置１が実行した意識的アクションに対応付けられているリアクション予測パラメータを更新する。なお、この更新は、センサ１１が現実リアクションを取得したユーザ２についてのリアクション予測パラメータに対して行われる。

なお、リアクション予測適応部２１は、図１のロボット制御装置１０における適応部１３及び相関検出部１４に相当する機能を提供する。また、アクション予測パラメータＤＢ３２は、図１のロボット制御装置１０における記憶部１６に相当するものである。

意識的アクション制御部２３は、センサ１１から受け取る現実リアクションと、リアクション予測適応部２１が更新したリアクション予測パラメータとに基づいて、ロボット装置１に次に実行させる意識的アクションの選択と、その実行開始の決定とを行う。

意識的アクションＤＢ３３には、意識的アクションをロボット装置１に実行させるために必要な制御情報が意識的アクション毎に格納されている。図４Ｃは、この意識的アクションＤＢ３３のデータ構造例を図解したものである。

意識的アクションＤＢ３３では、「意識的アクション名」と「制御情報」とのデータが対応付けられている。
「意識的アクション名」は、ロボット装置１が実行した意識的アクションを識別するために個別に与えられている名称であり、結果アクションＤＢ３１及びアクション予測パラメータＤＢ３２において用いられているものと同一のものである。

「制御情報」は、「意識的アクション名」により特定される意識的アクションをロボット装置１に実行させるために必要な制御情報データである。
意識的アクション制御部２３は、次の意識的アクションの実行開始を決定したときに、選択した意識的アクションをロボット装置１に実行させるための制御情報を、意識的アクションＤＢ３３から読み出してアクション選択部２４に送付する。

なお、意識的アクション制御部２３は、図１のロボット制御装置１０における、第一行動制御部１２及び第三行動制御部１７に相当する機能を提供する。
アクション選択部２４は、結果アクション制御部２２から結果アクションの制御情報を受け取った場合には、その制御情報をロボット装置１に与えて結果アクションを実行させる。また、アクション選択部２４は、意識的アクション制御部２３から意識的アクションの制御情報を受け取ったときは、その制御情報をロボット装置１に与えて意識的アクションを実行させる。なお、アクション選択部２４は、結果アクションの制御情報と意識的アクションの制御情報とを同時に受け取った場合には、即時性が要求されている結果アクションを優先して選択して結果アクションの制御情報をロボット装置１に与える。

次に、ロボット制御装置２０により行われる期待リアクションの予測適応処理について説明する。
前述したように、ロボット制御装置２０のリアクション予測適応部２１は、ロボット装置１がユーザ２に対して意識的アクションを実行したときにおいて、期待リアクションをユーザ２からの現実リアクションをもとに適応させる。

ここで図５について説明する。図５は、ロボット制御装置２０において行われる予測適応処理の処理手順を図解したフローチャートである。
図５の処理は、ユーザ２の存在が、センサ１１の出力に基づいて認識されると開始される。

まず、Ｓ１０１では、センサ１１の出力に基づいて認識されたユーザ２を識別する処理をリアクション予測適応部２１が行う。
次に、Ｓ１０２では、意識的アクションをロボット装置１に実行させる処理を意識的アクション制御部２３及びアクション選択部２４が行う。なお、このＳ１０２の処理が初めて実行される場合には、意識的アクション制御部２３は、予め定めておいた意識的アクションをロボット装置１に実行させるようにする。また、その後にＳ１０２の処理が実行される場合における意識的アクション制御部２３の動作内容については後述する。

次に、Ｓ１０３では、現実リアクションの取得処理をリアクション予測適応部２１が行う。この処理では、まず、Ｓ１０２の処理によってロボット装置１に意識的アクションを実行させてから所定時間以内にセンサ１１がリアクションを取得したか否かを判定する処理をリアクション予測適応部２１が行う。ここで、意識的アクションを実行させてから所定時間以内にリアクションが取得されたと判定した場合には、このリアクションを現実リアクションとして取得する処理をリアクション予測適応部２１が行う。

次に、Ｓ１０４では、Ｓ１０２の処理でロボット装置１に実行させた意識的アクションについての期待リアクションについての予測適応処理をリアクション予測適応部２１が行う。本実施例では、センサ１１から出力されるセンサ情報（すなわち現実アクション）に基づいた下記の［数１］式の計算を行って、期待リアクションの具体例であるリアクション予測パラメータを更新する処理が行われる。

なお、［数１］式において、『．＊』は、行列の単なる乗算ではなく、行列の要素毎の乗算を表している。例えば、『ｍ_A ．＊Ｘ_A 』におけるｉ行ｊ列の計算結果は、ｍ_A （ｉ，ｊ）×Ｘ_A （ｉ，ｊ）となる。

［数１］式において、ｍ_A は、意識的アクションＡについての更新直前のリアクション予測パラメータであり、ｍ’_A は意識的アクションＡについての更新後のリアクション予測パラメータである。なお、リアクション予測パラメータは、［数２］式に示すａ行ｂ列の行列で表される。

また、ｓはセンサ情報、すなわち、すなわち、センサ１１で検出された各種の物理量であり、［数３］式に示すａ行ｂ列の行列で表される。

この［数３］式の行列の各要素は、０、１、…、ａ−１の計ａ個のセンサ１１の各々が時刻ｔ＝０、１、…、ｂ−１の各時刻において検出した物理量を表している。

また、Ｘ_A は、意識的アクションＡについての禁則パラメータであり、［数４］式に示すａ行ｂ列の行列で表される。

この禁則パラメータＸ_A の各要素の値は「０」又は「１」に設定される。ここで、この要素の値が「０」に設定されると、リアクション予測パラメータの対応する要素の値は、更新前の値には基づかずに、現実リアクションの値のみに基づいて更新されるようになる。
また、定数αは更新係数であり、その値は、０．０から１．０までのいずれかの値が予め設定される。

リアクション予測適応部２１は、Ｓ１０４において、Ｓ１０２の処理でロボット装置１に実行させた意識的アクションについてのリアクション予測パラメータをアクション予測パラメータＤＢ３２から読み出して前掲の［数１］式に基づく更新処理を行う。なお、リアクション予測パラメータは、Ｓ１０１の処理により識別されたユーザ２についてのものをアクション予測パラメータＤＢ３２から読み出す。そして、アクション予測パラメータＤＢ３２におけるリアクション予測パラメータの読み出し位置に、更新後のリアクション予測パラメータを上書きして格納する。

例えば、意識的アクションＡについての現実リアクション（すなわちセンサ１１による物理量の検出結果）として、視覚、触覚、及び聴覚の３つのセンサ情報を得ている場合には、リアクション予測パラメータｍ’_A として、下記の［数５］式のような行列が得られる。

なお、［数５］式の行列の数値例において、各要素の数値はセンサ情報の値（正規化した値）である。また、各行は、それぞれ視覚、触覚、及び聴覚のセンサ情報を表しており、各列は、意識的アクションＡがロボット装置１で実行されてからの経過時間毎（例えば０秒から０．５秒まで、０．５秒から１．０秒まで、１．０秒から１．５秒まで）のセンサ情報を表している。

以上のように、リアクション予測適応部２１は、意識的アクションに対しての期待リアクションの過去の予測適応値と、センサ１１により検出された現実リアクションとの重み付け加算によって、期待リアクションの予測適応を行う。

次に、Ｓ１０５では、相関閾値Ｔｈの値の設定処理をリアクション予測適応部２１が行う。なお、この相関閾値Ｔｈの値の設定の手法については後述する。
次に、Ｓ１０６では、リアクション判定処理をリアクション予測適応部２１が行う。

このＳ１０６の処理では、まず、Ｓ１０４の処理により得られた更新後のリアクション予測パラメータｍ’_A （すなわち更新後の期待リアクション）と、センサ１１により得られたセンサ情報ｓ（すなわち現実リアクション）との相関の高さの算出が行われる。本実施例では、両者の正規化相互相関を与える下記の［数６］式の計算を行うことで、この相関の高さを表す値の算出が行われる。

次に、算出された両者の正規化相互相関値Ｒと、Ｓ１０５の処理で設定された相関閾値Ｔｈとの大小比較が行われる。ここで、リアクション予測適応部２１は、正規化相互相関値Ｒが相関閾値Ｔｈ以上であるときには、現実リアクションが期待リアクションに一致しているとの判定を下し、この判定結果を結果アクション制御部２２に伝えてＳ１０７に処理を進める。一方、リアクション予測適応部２１は、ここで、正規化相互相関値Ｒが相関閾値Ｔｈ未満であるときには、現実リアクションは期待リアクションとは不一致であるとの判定を下し、この判定結果を結果アクション制御部２２に伝えてＳ１０８に処理を進める。なお、リアクション予測適応部２１は、このリアクションの判定結果を、意識的アクション制御部２３にも通知する。

Ｓ１０７では、好意的な感情を表現している結果リアクションをロボット装置１に実行させる処理を結果アクション制御部２２が行う。この処理では、まず、Ｓ１０２の処理で実行された意識的アクションについての結果リアクションのうち、現実リアクションが期待リアクションに一致している場合のものについての制御情報を結果アクションＤＢ３１から読み出す。そして、読み出した制御情報を、アクション選択部２４を介してロボット装置１に送付する。その後はＳ１０９に処理が進む。

一方、Ｓ１０８では、不満な感情を表現している結果リアクションをロボット装置１に実行させる処理を結果アクション制御部２２が行う。この処理では、まず、Ｓ１０２の処理で実行された意識的アクションについての結果リアクションのうち、現実リアクションが期待リアクションとは不一致の場合のものについての制御情報を結果アクションＤＢ３１から読み出す。そして、読み出した制御情報を、アクション選択部２４を介してロボット装置１に送付する。

Ｓ１０９では、ユーザ２の存在が、センサ１１の出力に基づいて依然として認識されているか否かを判定する処理をリアクション予測適応部２１が行う。ここで、リアクション予測適応部２１は、ユーザ２の存在が認識されていると判定したとき（判定結果かＹｅｓのとき）には、Ｓ１０２に処理を戻して上述した処理を繰り返す。一方、リアクション予測適応部２１は、ユーザ２の存在が認識されなくなったと判定したとき（判定結果かＮｏのとき）には、この図５の予測適応処理を終了する。
以上までの処理が予測適応処理である。

次に、Ｓ１０５の処理における相関閾値Ｔｈの値の設定手法について説明する。
この相関閾値Ｔｈは、固定値を設定するようにしてもよいが、本実施例においては、下記の［数７］式の計算を行ってその値を決定する。

なお、［数７］式において、Ｔｈ_max 及びＴｈ_min は、それぞれ、この相関閾値Ｔｈの最大値及び最小値であり、どちらも、０．０から１．０までの間の値を予め定めておく。

また、Ｐは、意識的アクション発生確率であり、０．０から１．０までの間の値をとる。詳しくは後で説明するが、この意識的アクション発生確率は、意識的アクションをロボット装置１に実行させる決定に使用する確率であり、意識的アクション制御部２３において算出されてリアクション予測適応部２１に送られてくる。この確率は、センサ１１によって物理量が検出される（すなわち、物理量の検出値が０よりも大きくなる）単位時間当たりの頻度の高さに応じて高くなる。

従って、ユーザ２によるロボット装置１とのインタラクションへの熱中度が高いほど、現実レスポンスの単位時間当たりのレスポンス量が多くなり、その結果として、相関閾値Ｔｈの値は小さくなる。この相関閾値Ｔｈの値が小さくなると、現実リアクションと期待リアクションとの相関がそれほど高くなくても、両者は一致しているとリアクション予測適応部２１が判定するようになる。

このようにすることで、ユーザ２によるロボット装置１とのインタラクションへの熱中度が高いときは、現実リアクションと期待リアクションとの相関がそれほど高くなくても、好意的な結果リアクションをロボット装置１が実行するようになる。従って、このようにして相関閾値Ｔｈの値を変化させようにすることで、ユーザ２のロボット装置１への愛着感の増加が期待できる。

また、上述したようにして意識的アクション発生確率に基づき相関閾値Ｔｈの値を小さくしたにもかかわらず、現実リアクションと期待リアクションとの相関が顕著に低いために、両者は不一致であるとリアクション予測適応部２１が判定する場合がある。この場合に、結果アクション制御部２２は、Ｓ１０８の処理において、不満な感情を、他の場合に比べて顕に表現している結果リアクションをロボット装置１に実行させる処理を行うようにしてもよい。なお、このようにするために、現実リアクションが期待リアクションとは不一致の場合のものについての結果リアクションを、不満な感情の大きさに応じて複数用意しておき、その各々についての制御情報を、結果アクションＤＢ３１に格納しておくようにする。

また、図５のＳ１０７及びＳ１０８における結果アクション制御部２２の処理を、以下のように行うようにしてもよい。
まず、現実リアクションと期待リアクションとが一致している場合についての結果リアクションを、好意的な感情の大きさに応じて複数用意しておき、両者が不一致の場合についての結果リアクションについても、不満な感情の大きさに応じて複数用意しておく。そして、これらの結果リアクションの各々についての制御情報を、結果アクションＤＢ３１に格納しておく。

ここで、結果アクション制御部２２は、現実リアクションと期待リアクションとが一致していると判定されてＳ１０７の処理を始めて実行する場合には、好意的な感情の大きさが最大の結果リアクションをロボット装置１に実行させる。その後、結果アクション制御部２２は、このＳ１０７の処理の繰り返し数に応じて、好意的な感情の大きさが小さい結果リアクションをロボット装置１に実行させるようにして、両リアクションの一致に対する慣れの感情を表現する。

また、結果アクション制御部２２は、現実リアクションと期待リアクションとが不一致であると判定されてＳ１０８の処理を始めて実行する場合には、不満な感情の大きさが最小の結果リアクションをロボット装置１に実行させる。その後、結果アクション制御部２２は、このＳ１０８の処理の繰り返し数に応じて、不満な感情の大きさが大きい結果リアクションをロボット装置１に実行させるようにして、両リアクションがいつまでも不一致であることに対する不満の感情の増大を表現する。

図５のＳ１０７及びＳ１０８における結果アクション制御部２２の処理を、以上のように行うようにしてもよい。
次に、ロボット制御装置２０の意識的アクション制御部２３による、意識的アクションをロボット装置１に実行させるための制御動作について説明する。

意識的アクション制御部２３では、ユーザ２とのインタラクション状況に応じて、多様な意識的アクションをロボット装置１に実行させる。
例えば、ユーザ２がロボット装置１とのインタラクションに熱中していて盛り上がっているときには、同じような意識的アクションをロボット装置１に繰り返し実行させる。これは、あたかも子供がはしゃいでいるときのような、同じことを何度もせがむような振る舞いを模すためのものである。その一方で、ユーザ２がロボット装置１とのインタラクションの盛り上がりが感じられず、現実リアクションが単調なものであるような場合は、別の現実リアクションを引き出すための意識的アクションをロボット装置１に実行させる。

まず、本実施例における意識的アクションの制御手法の概要について、図６を参照しながら説明する。
図６のグラフは、時間経過に伴うセンサ情報相関期待値Ｒｄの変化の様子の一例を表したものである。

センサ情報相関期待値Ｒｄは、ロボット装置１に実行させる意識的アクションを選択するために意識的アクション制御部２３内で生成される指標である。このセンサ情報相関期待値Ｒｄは、０．０から１．０までの範囲の値をとる。

意識的アクション制御部２３は、このＲｄの値が１．０に近いほど、期待リアクションが、直近に実行された意識的アクションに対する現実リアクションとの相関が高い意識的アクションを高い確率で選択する。その一方、意識的アクション制御部２３は、このＲｄの値が０．０に近いほど、期待リアクションが、直近に実行された意識的アクションに対する現実リアクションとの相関が低い意識的アクションを高い確率で選択する。

図６のグラフにおいて、ロボット装置１とユーザ２とのインタラクションが開始されると、意識的アクション制御部２３は、まず、予め定められていた意識的アクションＡをロボット装置１に実行させる。このとき、前述したセンサ情報相関期待値Ｒｄに、意識的アクション制御部２３は、初期値「１．０」を与える。

その後、意識的アクション制御部２３は、時間経過に応じて、センサ情報相関期待値Ｒｄを減少させる。本実施例では、意識的アクション制御部２３は、下記の［数８］式の計算を行って、時刻ｔにおけるセンサ情報相関期待値Ｒｄ（ｔ）を、時刻ｔ−１におけるセンサ情報相関期待値Ｒｄ（ｔ−１）から減衰率γ（＜１．０）で減衰させた値とする。

本実施例では、この減衰率γの値を「０．９」とし、センサ情報相関期待値Ｒｄ（ｔ）の更新間隔を５秒とする。従って、この場合には、５秒毎に、センサ情報相関期待値Ｒｄに「０．９」が乗じられて新たなセンサ情報相関期待値Ｒｄが得られる。

その後、意識的アクション制御部２３は、ロボット装置１に実行させた意識的アクションＡに対して得られた現実リアクションが、意識的アクションと一致するか否かの判定結果をリアクション予測適応部２１から取得する。ここで、両者が一致したとの判定結果を取得した場合には、意識的アクション制御部２３は、センサ情報相関期待値Ｒｄを所定値ｒ_p だけ大きくする。一方、両者は不一致であるとの判定結果を取得した場合には、意識的アクション制御部２３は、センサ情報相関期待値Ｒｄを所定値r_m だけ小さくする。

図６のグラフでは、まず、意識的アクションＡの実行後に得られた現実リアクションが、意識的アクションＡについての期待リアクションと一致したことで、センサ情報相関期待値Ｒｄが所定値（ここでは０．２）だけ大きくされて、ほぼ１．０の値となっている。このような値の場合には、意識的アクション制御部２３は、次の意識的アクションとして、期待リアクションがこのときの現実リアクションに近いものを選択する。ここでは、この結果として意識的アクションＢが選択されている。

意識的アクション制御部２３は、ここで、この意識的アクションＢをロボット装置１に実行させる。
図６のグラフでは、この意識的アクションＢの実行に応じて得られた現実リアクションが、意識的アクションＢについての期待リアクションとは不一致であった場合を表している。従って、この場合には、センサ情報相関期待値Ｒｄが所定値（ここでは０．２）だけ小さくされて、０．５程度の値となっている。このような値の場合には、意識的アクション制御部２３は、次の意識的アクションとして、期待リアクションが意識的アクションＢの現実リアクションとは余り近くないものを選択する。ここでは、この結果として意識的アクションＣが選択されている。

意識的アクション制御部２３は、ここで、この意識的アクションＣをロボット装置１に実行させる。
図６のグラフでは、まず、意識的アクションＣの実行後に得られた現実リアクションが、意識的アクションＣについての期待リアクションと一致したことで、センサ情報相関期待値Ｒｄが所定値だけ大きくされて、０．５程度の値となっている。従って、このような値の場合には、意識的アクション制御部２３は、前述の場合と同様に、次の意識的アクションとして、期待リアクションが意識的アクションＢの現実リアクションとは余り近くないものを選択する。

但し、図６のグラフでは、このときにはユーザ２によるロボット装置１とのインタラクションへの熱中度が低下してしまい、意識的アクション発生確率が低くなってしまった場合を想定している。このために、意識的アクション制御部２３が、上述のようにして選択された次の意識的アクションをロボット装置１に実行させなかった結果、センサ情報相関期待値Ｒｄが時間経過に応じて０．０に向かって減衰している。

意識的アクション制御部２３の動作の詳細について、図７を用いて説明する。図７は、意識的アクション制御部２３の機能ブロック図である。
意識的アクション制御部２３は、意識的アクション発生頻度演算部４１と意識的アクション種別選択部４２とを備えている。

意識的アクション発生頻度演算部４１は、意識的アクションを実行する頻度とその実行タイミングの制御を行う。
意識的アクション種別選択部４２は、前述したセンサ情報相関期待値Ｒｄを算出し、この値を用いて次の意識的アクションの選択を行う。

以下、これらの意識的アクション制御部２３の構成要素について更に詳しく説明する。
まず、意識的アクション発生頻度演算部４１の動作について、図８を参照しながら説明する。図８は、意識的アクション発生頻度演算部４１によって行われる、意識的アクション発生頻度演算処理の処理手順を図解したフローチャートである。

意識的アクション発生頻度演算部４１は、センサ１１によって取得されるセンサ情報（すなわち現実リアクション）を入力とし、アクション発生フラグを出力とする。
図８において、まず、Ｓ２０１では、意識的アクション発生頻度演算部４１は、意識的アクション発生確率の算出処理を行う。

本実施例では、意識的アクション発生確率を、単位時間アクション発生確率に基づいて算出する。単位時間アクション発生確率とは、単位時間当りでの、センサ１１によるセンサ情報の検出頻度（センサ１１による物理量の検出値が所定値（例えば「０．０」）よりも大きな値を出力する頻度）を表す確率である。本実施例では、意識的アクション発生頻度演算部４１は、単位時間アクション発生確率ｐ_e を、下記の［数９］式の計算を行うことによって算出する。

なお、［数９］式において、ｓ₀ は、単位時間当たりにセンサ１１の各々が検出したセンサ情報の検出頻度であり、０．０から１．０までの範囲の値をとる。また、ｗは、単位時間アクション発生確率の生成における、センサ１１の各々に対する重み付け量である。例えば、視覚、触覚、及び聴覚の３つのセンサ情報を得ている場合には、これらの値は、例えば以下の［数１０］式のような値となる。

この［数１０］式の各列の要素の値は、それぞれ、視覚、触覚、及び聴覚のセンサ情報の各々についての、単位時間当たりの検出頻度と、単位時間アクション発生確率の生成における重み付け量である。

次に、意識的アクション発生頻度演算部４１は、時刻ｔにおける意識的アクション発生確率Ｐ（ｔ）を、時刻ｔ−１における意識的アクション発生確率Ｐ（ｔ−１）と、以上のようにして算出された単位時間アクション発生確率ｐ_e とに基づき算出する。意識的アクション発生頻度演算部４１は、この意識的アクション発生確率Ｐ（ｔ）を、単位時間アクション発生確率ｐ_e の減衰付き移動平均を表している下記の［数１１］式の計算を行うことによって算出する。

従って、意識的アクション発生確率Ｐ（ｔ）は、ユーザ２がロボット装置１に対して積極的にインタラクションを行うほど高くなり、逆の場合には低くなる。

なお、［数１１］式において、βは、意識的アクション発生確率Ｐ（ｔ）を時間の経過に応じて減衰させるための定数値であり、１．０よりも小さな正の値が予め設定される。なお、本実施例では、このβの値を「０．９９９」とする。また、意識的アクション発生確率Ｐ（ｔ）（及びＰ（ｔ−１））は、０．０から１．０までの値をとり、初期値は１．０とする。

次に、Ｓ２０２において、意識的アクション発生頻度演算部４１は、Ｓ２０１の処理によって算出された意識的アクション発生確率Ｐ（ｔ）に従って、アクション発生フラグを生成する処理を行う。例えば、意識的アクション発生確率Ｐ（ｔ）が１．０であった場合には、アクション発生フラグが必ず生成される一方、意識的アクション発生確率Ｐ（ｔ）が０．０であった場合には、アクション発生フラグが生成されることはない。

次に、Ｓ２０３において、意識的アクション発生頻度演算部４１は、Ｓ２０２の処理によってアクション発生フラグを生成したか否かを判定する処理を行う。ここで、意識的アクション発生頻度演算部４１は、アクション発生フラグを生成したと判定したとき（判定結果がＹｅｓのとき）にはＳ２０４に処理を進める。一方、意識的アクション発生頻度演算部４１は、アクション発生フラグを生成しなかったと判定したとき（判定結果がＮｏのとき）にはＳ２０５に処理を進める。

次に、Ｓ２０４において、意識的アクション発生頻度演算部４１は、Ｓ２０２の処理によって生成したアクション発生フラグを意識的アクション種別選択部４２に出力する処理を行う。

次に、Ｓ２０５において、意識的アクション発生頻度演算部４１は、Ｓ２０１の処理により算出した意識的アクション発生確率Ｐ（ｔ）を、リアクション予測適応部２１に送付する処理を行う。リアクション予測適応部２１は、この意識的アクション発生確率を、前述した相関閾値Ｔｈの設定に使用する。

その後、意識的アクション発生頻度演算部４１は、上述したＳ２０５の処理を終えたときには、Ｓ２０１に処理を戻して、上述した手順で各処理の実行を繰り返す。
以上までの処理が意識的アクション発生頻度演算処理である。意識的アクション発生頻度演算部４１は、この処理を行うことで、意識的アクションを実行する頻度とその実行タイミングの制御を行う。

次に、意識的アクション種別選択部４２の動作について説明する。
意識的アクション種別選択部４２は、センサ１１によって取得されるセンサ情報、アクション予測パラメータＤＢ３２に格納されているリアクション予測パラメータ、及び、前述のアクション発生フラグを入力とする。そして、意識的アクション種別選択部４２は、意識的アクションの制御情報を、結果アクションＤＢ３１から読み出して出力とする。

ここで図９及び図１０について説明する。図９は、意識的アクション種別選択部４２の機能ブロック図であり、図１０は、意識的アクション種別選択部４２によって行われる、意識的アクション種別選択処理の処理手順を図解したフローチャートである。

図９に図解されているように、意識的アクション種別選択部４２は、センサ情報相関計算部５１、センサ情報相関期待値算出部５２、距離計算部５３、及び意識的アクション選択部５４を備えている。

以下、図１０のフローチャートで図解されている処理手順に従って、意識的アクション種別選択部４２の各構成要素の動作を説明する。
まず、Ｓ３０１において、意識的アクションＤＢ３３に格納されている全ての意識的アクションについてのセンサ情報相関値Ｒｉを算出する処理をセンサ情報相関計算部５１が行う。

センサ情報相関値とは、意識的アクションのリアクション予測パラメータ（期待リアクション）と、センサ１１によってこの時点で取得されているセンサ情報（現実リアクション）との相関の高さを表す指標である。センサ情報相関計算部５１は、リアクション予測適応部２１においても行われていた、この両者の正規化相互相関を与える前掲の［数６］式の計算を行うことによって、このセンサ情報相関値を算出する。なお、このセンサ情報相関値をリアクション予測適応部２１において行うようにしてもよい。

次に、Ｓ３０２において、前述したセンサ情報相関期待値Ｒｄの算出処理をセンサ情報相関期待値算出部５２が行う。
すなわち、センサ情報相関期待値算出部５２は、まず、意識的アクションの実行開始からの経過時間に応じて前掲した［数８］式の計算を行って、センサ情報相関期待値Ｒｄを算出する。更に、センサ情報相関期待値算出部５２は、算出したセンサ情報相関期待値Ｒｄに対して、リアクション予測適応部２１から通知されるリアクションの判定結果に基づき、前述した所定値ｒ_p の加算若しくは所定値r_m の減算を行う。

次に、Ｓ３０３において、意識的アクションＤＢ３３に格納されている全ての意識的アクションのセンサ情報相関値Ｒｉについての、Ｓ３０２の処理で算出されたセンサ情報相関期待値Ｒｄとの距離を算出する処理を距離計算部５３が行う。

すなわち、距離計算部５３は、センサ情報相関計算部５１により算出された、全ての意識的アクションについてのセンサ情報相関値Ｒｉと、センサ情報相関期待値算出部５２によるセンサ情報相関期待値Ｒｄとの距離を算出する。意識的アクションｘについてのセンサ情報相関値Ｒｉ（ｘ）と、センサ情報相関期待値Ｒｄとの距離Ｄ（ｘ）は、下記の［数１２］式の計算を行うことによって算出される。

意識的アクション選択部５４は、距離計算部５３により意識的アクション毎に算出された距離に基づいて、ロボット装置１に次に実行させる意識的アクションを意識的アクションＤＢ３３から選択して、ロボット装置１に実行させる。そのために、以下のＳ３０４からＳ３０７にかけての処理を行う。

まず、Ｓ３０４において、意識的アクション選択部５４は、距離計算部５３により意識的アクション毎に算出された距離に基づき、意識的アクションＤＢ３３に格納されている全ての意識的アクションについての選択確率を算出する処理を行う。

このために、意識的アクション選択部５４は、まず、下記の［数１３］式の計算を行って、意識的アクションｘについての選択頻度Ｆ（ｘ）の算出を、意識的アクションＤＢ３３に格納されている全ての意識的アクションについて行う。

次に、意識的アクション選択部５４は、下記の［数１４］式の計算を行って、全ての意識的アクションに対する、意識的アクションｘについての選択確率Ｐ（ｘ）の算出を行う。

なお、［数１４］式において、Ｎは、意識的アクションＤＢ３３に制御情報が格納されている意識的アクションの個数である。

次に、Ｓ３０５において、意識的アクション選択部５４は、意識的アクション発生頻度演算部４１が意識的アクション発生確率に応じて出力したアクション発生フラグを受け取ったか否かを判定する処理を行う。ここで、意識的アクション選択部５４は、アクション発生フラグを受け取ったと判定したとき（判定結果がＹｅｓのとき）にはＳ３０６に処理を進める。一方、意識的アクション選択部５４は、ここで、アクション発生フラグを受け取っていないと判定したとき（判定結果がＮｏのとき）には、次の意識的アクションをロボット装置１に行わせることなくＳ３０１へ処理を戻して、上述した処理を繰り返す。

次に、Ｓ３０６では、意識的アクション選択部５４は、意識的アクションＤＢ３３に制御情報が格納されている意識的アクションのうちの１つを、Ｓ３０４の処理により算出された選択確率に従って選択する処理を行う。

次に、Ｓ３０７では、意識的アクション選択部５４は、Ｓ３０６の処理により選択された意識的アクションをロボット装置１に実行させる処理を行う。このために、意識的アクション選択部５４は、選択された意識的アクションについての制御情報を意識的アクションＤＢ３３から読み出してアクション選択部２４を介してロボット装置１に送付する。

その後、意識的アクション選択部５４は、Ｓ３０７の処理を終えると、Ｓ３０１へ処理を戻して上述した処理を繰り返す。
以上の意識的アクション選択部５４による次の意識的アクションの選択動作について、更に説明する。

前掲した［数１３］式及び［数１４］式より、意識的アクションｘについての選択確率Ｐ（ｘ）は、距離Ｄ（ｘ）が短いほど高くなることが分かる。また、［数１２］式より、距離Ｄ（ｘ）が短くなる場合とは、センサ情報相関期待値Ｒｄとセンサ情報相関値Ｒｉ（ｘ）とが近い場合であることが分かる。

ここで、センサ情報相関期待値Ｒｄが１．０に近い場合において距離Ｄ（ｘ）が短くなるのは、センサ情報相関値Ｒｉ（ｘ）も１．０に近い場合である。この場合とは、すなわち、意識的アクションＤＢ３３に格納されている意識的アクションｘのリアクション予測パラメータと、センサ１１によってこの時点で取得されているセンサ情報との相関が高い場合である。従って、センサ情報相関期待値Ｒｄが１．０に近い場合には、リアクション予測パラメータと、センサ１１によってこの時点で取得されているセンサ情報との相関が高い意識的アクションｘが、高い選択確率で選択されて、ロボット装置１で実行される。

一方、センサ情報相関期待値Ｒｄが０．０に近い場合では、距離Ｄ（ｘ）が短くなるのは、センサ情報相関値Ｒｉ（ｘ）も０．０に近い場合である。この場合とは、すなわち、意識的アクションＤＢ３３に格納されている意識的アクションｘのリアクション予測パラメータと、センサ１１によってこの時点で取得されているセンサ情報との相関が低い場合である。従って、センサ情報相関期待値Ｒｄが０．０に近い場合には、リアクション予測パラメータと、センサ１１によってこの時点で取得されているセンサ情報との相関が低い意識的アクションｘが、高い確率で選択されて、ロボット装置１で実行される。

以上までの処理が意識的アクション種別選択処理である。
なお、前述した意識的アクション選択部５４の動作では、ロボット装置１に次に行わせる意識的アクションの選択確率に基づく選択を、意識的アクションＤＢ３３に格納されている全ての意識的アクションから行うようにしていた。この代わりに、まず、意識的アクションＤＢ３３に格納されている全ての意識的アクションから、距離算出部５３が算出した距離が短い順に所定数個を抽出する。そして、抽出された所定数個の意識的アクションから１つを選択する選択確率を当該距離に基づいて算出し、その算出された選択確率に従って意識的アクションを１つ選択するようにしてもよい。

意識的アクション種別選択部４２の各部は以上のように動作する。この結果、前述したように、ユーザ２がロボット装置１とのインタラクションに熱中していて盛り上がっているときには、意識的アクション制御部２３は、同じような現実リアクションが期待される意識的アクションをロボット装置１に実行させる。その一方で、ユーザ２がロボット装置１とのインタラクションの盛り上がりを感じられないような場合は、意識的アクション制御部２３は、別の現実リアクションを引き出すような意識的アクションをロボット装置１に実行させる。

図３のロボットシステムのロボット制御装置２０は、以上のように動作する。従って、ロボット装置１の意識的アクションに対し、開発者が当初想定していた期待リアクションと異なる現実リアクションをユーザ２が行っても、この現実リアクションが繰り返されると期待リアクションが更新されて現実リアクションに近づけられる。従って、開発者の意図とは異なっていても、ロボット装置１とユーザ２との間での良好なインタラクションの成立が可能になる。また、開発者が当初想定していた期待リアクションをユーザが行えないような場合（例えば、開発者が想定していた期待リアクションは“握手の要求”であったのに対し、ユーザ２が身体的理由のためロボット装置１に触れることが難しい場合など）が考えられる。このような場合でも、ユーザ２からの現実リアクション（例えば、“笑顔を見せて応える”など）を学習して期待リアクションを更新することで、ロボット装置１とユーザ２との間での良好なインタラクションの成立が可能になる。また、ユーザ２に適応した期待リアクションを用いることで、ロボット装置１が次に行う意識的アクションとして、ロボット装置１側で期待するリアクションをユーザ２に行ってもらうことができるような意識的アクションを選択することも可能になる。

なお、前述の説明では、アクション予測適応部２１によるリアクション判定処理（図５のＳ１０６）において、現実リアクションと、それまでの現実リアクションに応じて更新された期待リアクションとの相関の高さに基づいて両アクションの一致判定を行っていた。ここで、このリアクション判定処理における一致判定を、更に、現実リアクションと、期待リアクションの初期値（現実リアクションに応じた更新を行わない固定値）との相関の高さにも基づいて行うようにしてもよい。そして、このようにする場合には、２つの一致判定のうちの少なくとも一方が一致した場合には、その判定結果を一致とし、２つの一致判定の両方ともが不一致の場合には、その判定結果を不一致とする。

より具体的には、図５に処理手順を図解した予測適応処理におけるＳ１０８の処理の直前に、図１１に図解したＳ４０１の処理を挿入して、このＳ４０１の処理を、アクション予測適応部２１が更に行うようにする。

すなわち、図５のＳ１０６の処理において、現実リアクションが期待リアクションとは不一致であるとの判定を下したときには、アクション予測適応部２１は、図１１のＳ４０１に処理を進める。なお、この場合には、アクション予測適応部２１は、このＳ１０６の判定結果の結果アクション制御部２２及び意識的アクション制御部２３への通知は行わない。

そして、Ｓ４０１において、初期値とのリアクション判定処理をリアクション予測適応部２１が行う。
この処理では、まず、図５のＳ１０２の処理でロボット装置１に実行させた意識的アクションについてのリアクション予測パラメータの初期値と、センサ１１により得られたセンサ情報ｓとの相関の高さの算出が、図５のＳ１０６の処理と同様にして行われる。そして、算出された正規化相互相関値Ｒと、Ｓ１０５の処理で設定された相関閾値Ｔｈとの大小比較が行われる。ここで、リアクション予測適応部２１は、正規化相互相関値Ｒが相関閾値Ｔｈ以上であるときには、現実リアクションが期待リアクションに一致しているとの判定を下し、この判定結果を結果アクション制御部２２に伝えてＳ１０７に処理を進める。一方、リアクション予測適応部２１は、ここで、正規化相互相関値Ｒが相関閾値Ｔｈ未満であるときには、現実リアクションは期待リアクションとは不一致であるとの判定を下し、この判定結果を結果アクション制御部２２に伝えてＳ１０８に処理を進める。なお、リアクション予測適応部２１は、このリアクションの判定結果を、意識的アクション制御部２３にも通知する。

以上の処理をアクション予測適応部２１が行うようにすると、現実リアクションが更新後の期待リアクションと異なっていても、開発者が当初想定していたものと一致すれば、好意的な感情を表現している結果リアクションをロボット装置１に実行させるようになる。従って、ロボット装置１とユーザ２との間での良好なインタラクションの成立が可能になる。

なお、図１に図解したロボット制御装置１０や図３に図解したロボット制御装置２０を、標準的な構成のコンピュータを用いて構成してもよい。

ここで図１２について説明する。図１２には、コンピュータの構成の一例が図解されている。
このコンピュータ６０は、ＭＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ハードディスク装置６４、入力装置６５、表示装置６６、インタフェース装置６７、及び記録媒体駆動装置６８を備えている。なお、これらの構成要素はバスライン６９を介して接続されており、ＭＰＵ６１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）６１は、このコンピュータ６０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）６２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ６１は、この基本制御プログラムをコンピュータ６０の起動時に読み出して実行することにより、このコンピュータ６０の各構成要素の動作制御が可能になる。

ＲＡＭ（Random Access Memory）６３は、ＭＰＵ６１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

ハードディスク装置６４は、ＭＰＵ６１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ６１は、ハードディスク装置６４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。

入力装置６５は、例えばキーボード装置やマウス装置であり、例えば図１や図３のロボットシステムの管理者により操作されると、その操作内容に対応付けられている管理者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ６１に送付する。

表示装置６６は例えば液晶ディスプレイであり、ＭＰＵ６１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置６７は、このコンピュータ６０に接続される各種機器との間での各種情報の授受の管理を行う。

記録媒体駆動装置６８は、可搬型記録媒体７０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ６１は、可搬型記録媒体７０に記録されている所定の制御プログラムを、記録媒体駆動装置６８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体７０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリなどがある。

このようなコンピュータ６０を用いて図１や図３のロボット制御装置１０及び２０を構成するには、例えば、これらを構成している各構成要素において行われる前述した各種の処理をＭＰＵ６１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置６４若しくは可搬型記録媒体７０に予め格納しておく。また、このプログラムでは、例えば、ハードディスク装置６４を、記憶部１６、結果アクションＤＢ３１、アクション予測パラメータＤＢ３２、及び意識的アクションＤＢ３３などとして機能させるようにしておく。また、コンピュータ６０のインタフェース装置６７にはセンサ１１を接続して、センサ１１から出力されるセンサ情報をコンピュータ４０に取り込めるようにしておく。更に、このインタフェース装置６７にはロボット装置１を接続して、コンピュータ６０から制御情報を送付することで各種の意識的アクションや結果アクションをロボット装置１が実行できるようにしておく。そして、ＭＰＵ６１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１や図３のロボット制御装置１０及び２０を構成している各構成要素が有している機能のコンピュータ６０での提供が可能となり、コンピュータ６０をロボット制御装置１０及び２０として機能させることができるようになる。

１ ロボット装置
２ ユーザ
１０、２０ ロボット制御装置
１１ センサ
１２ 第一行動制御部
１３ 適応部
１４ 相関検出部
１５ 第二行動制御部
１６ 記憶部
１７ 第三行動制御部
２１ リアクション予測適応部
２２ 結果アクション制御部
２３ 意識的アクション制御部
２４ アクション選択部
３１ 結果アクションＤＢ
３２ アクション予測パラメータＤＢ
３３ 意識的アクションＤＢ
４１ 意識的アクション発生頻度演算部
４２ 意識的アクション種別選択部４２
５１ センサ情報相関計算部
５２ センサ情報相関期待値算出部
５３ 距離計算部
５４ 意識的アクション選択部
６０ コンピュータ
６１ ＭＰＵ
６２ ＲＯＭ
６３ ＲＡＭ
６４ ハードディスク装置
６５ 入力装置
６６ 表示装置
６７ インタフェース装置
６８ 記録媒体駆動装置
６９ バスライン
７０ 可搬型記録媒体

Claims (11)

1. ロボット装置の行動制御を行うロボット制御装置であって、
   ユーザの現実の反応に対応する物理量を検出するセンサ、
   前記ロボット装置による前記ユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせる第一行動制御部、
   前記意識的アクションに対して前記ユーザに期待されていた反応を、前記第一行動制御部が前記ロボット装置に行わせた前記意識的アクションに伴って前記センサにより検出された前記物理量に基づいて適応させる適応部、
   前記意識的アクションに対して期待されていた前記反応と前記第一行動制御部が前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出する相関検出部、及び
   前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関検出部による前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる第二行動制御部、
   を備えることを特徴とするロボット制御装置。
2. 前記適応部は、前記意識的アクションに対する過去の適応の結果と前記第一行動制御部が前記ロボット装置に新たに行わせた前記意識的アクションに伴って検出された前記物理量との重み付け加算によって、前記適応を行うことを特徴とする請求項１に記載のロボット制御装置。
3. 前記ユーザは複数であり、
   前記ロボット制御装置は、前記ユーザ毎に前記ロボット装置により行われる行動と該行動に対する前記適応の結果とを対応付けて記憶する記憶部を更に備え、
   前記適応部は、前記センサによる前記物理量の検出対象であるユーザ、及び、前記ロボット装置が行った前記意識的アクションに対応付けて前記記憶部に記憶されている前記適応の結果を用いて、前記適応を行う、
   ことを特徴とする請求項１又は２に記載のロボット制御装置。
4. 前記相関検出部による前記相関の高さの検出結果に基づいて、前記ロボット装置に次に行わせる意識的アクションである新規意識的アクションを決定し、該決定された新規意識的アクションを該ロボット装置に行わせる第三行動制御部を更に備え、
   前記適応部は、更に、前記新規意識的アクションに対して前記ユーザに期待されていた反応を、前記第三行動制御部が前記ロボット装置に行わせた前記新規意識的アクションに伴って前記センサにより検出された前記物理量に基づいて適応させる、
   ことを特徴とする請求項１又は２に記載のロボット制御装置。
5. 前記第三行動制御部は、前記センサによる前記物理量の検出値が所定値以上となる単位時間当たりの頻度に応じた頻度で、前記新規意識的アクションを前記ロボット装置に行わせることを特徴とする請求項４に記載のロボット制御装置。
6. 前記ロボット装置により行われる行動と該行動に対する前記適応の結果とを対応付けて記憶する記憶部を更に備え、
   前記相関検出部は、更に、前記記憶部に記憶されている前記適応の結果の各々と前記意識的アクションに対して期待されていた前記反応との相関の高さを検出し、
   前記第三行動制御部は、前記意識的アクションについての前記相関の高さの検出結果が所定の閾値よりも高い相関を表している場合には、該検出結果が該所定の閾値よりも低い相関を表している場合よりも高い確率で、前記記憶部に記憶されている前記ロボット装置により行われる行動のうちから該行動に対する前記適応の結果と前記意識的アクションに対して期待されていた前記反応との相関の高さが高い行動を選択して、前記新規意識的アクションに決定する、
   ことを特徴とする請求項４又は５に記載のロボット制御装置。
7. 前記相関検出部は、更に、前記ロボット装置により行われる行動に対して予め設定されている前記ユーザに期待されていた反応の初期値と該ユーザの現実の反応との相関の高さを検出し、
   前記第二行動制御部は、前記意識的アクションに対応付けられている前記結果アクションのうちから、前記期待されていた反応と前記現実の反応との相関の高さと、前記期待されていた反応の初期値と前記現実の反応との相関の高さとのうちの高い相関を表しているものに応じた結果アクションを選択して前記ロボット装置に行わせる、
   ことを特徴とする請求項１から６のうちのいずれか一項に記載のロボット制御装置。
8. 前記第二行動制御部は、前記結果アクションの選択を、更に、前記センサによる前記物理量の検出値が所定値以上となる単位時間当たりの頻度にも応じて行うことを特徴とする請求項１から７のうちのいずれか一項に記載のロボット制御装置。
9. ロボット装置と、
   前記ロボット装置の行動制御を行う、請求項１から８に記載のロボット制御装置と、
   を備えることを特徴とするロボットシステム。
10. ロボット装置の行動の制御方法であって、
    前記ロボット装置によるユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせ、
    前記ユーザの現実の反応に対応する物理量を検出するセンサにより、前記ロボット装置に行わせた前記意識的アクションに伴って検出された物理量に基づいて、前記意識的アクションに対して該ユーザに期待されていた反応を適応させ、
    前記意識的アクションに対して期待されていた前記反応と前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出し、
    前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる、
    ことを特徴とするロボット装置の行動制御方法。
11. ロボット装置の行動の制御をコンピュータに実行させるプログラムであって、
    前記ロボット装置によるユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせ、
    前記ユーザの現実の反応に対応する物理量を検出するセンサにより、前記ロボット装置に行わせた前記意識的アクションに伴って検出された物理量に基づいて、前記意識的アクションに対して該ユーザに期待されていた反応を適応させ、
    前記意識的アクションに対して期待されていた前記反応と前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出し、
    前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる、
    処理を前記コンピュータに実行させるプログラム。

Images