JP5526942B2 - ロボット装置、ロボット装置の制御方法およびプログラム - Google Patents

Description

本発明は、ロボット装置、ロボット装置の制御方法およびプログラムに関する。

近年、ユーザとともに行動し、ユーザの指令に応じて動作するロボット装置（以下、ロボットとも称する。）が普及しつつある。このようなロボットでは、ユーザとの間で同じ対象（物体や位置）に注意を払うために、共同注意を成立させることを要求される場合がある。

例えば、ユーザが対象を指示して動作を指令する場合、ユーザが指示した対象と、ユーザの指示に応じてロボットが特定した対象が同一である必要がある。この場合、ユーザとロボットの間では、対象に関して共同注意を成立させることが要求されるが、共同注意を確実に成立させることが困難となる場合がある。

従来、対象に関する共同注意の成立には、レーザーポインタ認識、ジェスチャー認識、タッチパネル操作、加速度センサ等が利用されてきた。

例えば、下記特許文献１には、加速度センサを伴うリモコンを用いてロボットを制御する制御方法が開示されている。この制御方法では、ユーザがリモコンのポインタにより対象を指示すると、リモコンが加速度センサの検出結果に基づき、ポインタによる指示位置を算出し、算出結果をロボットに送信する。これにより、ロボットは、算出結果に基づき、ポインタによる指示位置を次の移動位置として特定することができる。

特開２００５−３４９４９７号公報

しかし、レーザーポインタ認識を利用する場合、ユーザが高強度レーザーで対象を指示し、ロボットが高輝度の点や領域を検出して認識することになる。この場合、カメラに専用フィルタを装着しなければ、照明環境の影響を受けて検出のロバスト性が低下する。一方、専用フィルタを装着すると、高強度レーザーの検出以外の用途にカメラを利用することができない。また、レーザーポインタ認識のみを利用する場合、ユーザが指示した対象以外に高輝度の点や領域が存在すると、認識の精度を十分に確保することができない。

また、ジェスチャー認識を利用する場合、ジェスチャー認識以外の用途にカメラを利用することができるが、ジェスチャー認識では認識の精度を十分に確保することができない。また、ユーザが指示したと考えている対象と、ユーザにより指示されたと客観的に認識される対象が相違し、意図の相違が生じてしまう場合もある。

また、タッチパネル操作を利用する場合、ロボットの周辺の実空間とタッチパネル上の表示空間の間でマッピングが必要となり、インターフェイスが不自然となる。また、表示の解像度が低いと対象を指示する精度が低くなり、解像度が高いとマッピングが困難となる場合もある。

また、加速度センサを利用する場合、特許文献１の制御方法では、加速度センサを頻繁にリセットしなければ、検出誤差が蓄積されてしまい、次の移動位置を精度よく特定できなくなる場合がある。

以上説明したように、ユーザとロボットの間では、対象に関する共同注意を確実に成立させることが困難であった。そこで、本発明は、ユーザとロボットの間で対象に関する共同注意の成立を補助可能な、ロボット装置、ロボット装置の制御方法およびプログラムを提供しようとするものである。

本発明のある観点によれば、対象に関する共同注意の成立をロボット装置に促すための指令をユーザから取得する指示取得部と、指令の取得に応じて、光束の照射により対象を指示するためにユーザにより操作される光指示装置の位置および姿勢を推定する位置姿勢推定部と、位置および姿勢の推定結果に基づき、光束の照射により指示されている対象の方向を特定し、方向の特定結果に基づき、周辺環境を表す環境地図上で対象を特定する対象特定部とを備えるロボット装置が提供される。

上記ロボット装置は、ユーザとの間で共同注意の成立に関して行われるインタラクションの成立を確認するためのインタラクション処理部をさらに備えてもよい。

上記インタラクション処理部は、対象の特定を完了した後に、ユーザとの間でインタラクションの成立を確認してもよい。

上記インタラクション処理部は、対象の特定を完了する前に、ユーザとの間でインタラクションの成立を確認してもよい。

上記位置姿勢推定部は、ユーザが把持する光指示装置を認識することで、光指示装置の位置および姿勢を推定してもよい。

また、本発明の別の観点によれば、ロボット装置との間で対象に関する共同注意の成立を促すための指令をユーザから取得するステップと、指令の取得に応じて、光束の照射により対象を指示するためにユーザにより操作される光指示装置の位置および姿勢を推定するステップと、位置および姿勢の推定結果に基づき、光束の照射により指示されている対象の方向を特定し、方向の特定結果に基づき、周辺環境を表す環境地図上で対象を特定するステップとを含むロボット装置の制御方法が提供される。

また、本発明の別の観点によれば、上記ロボット装置の制御方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。

以上説明したように本発明によれば、ユーザとロボットの間で対象に関する共同注意の成立を補助可能な、ロボット装置、ロボット装置の制御方法およびプログラムを提供することができる。

本発明の実施形態に係るロボットシステムの構成を示す図である。 ロボットの外観を示す斜視図である。 ロボットの制御システムの構成を示すブロック図である。 ロボットの主要な機能構成を示すブロック図である。 ポインタの外観を示す斜視図である。 ポインタの主要な機能構成を示すブロック図である。 ロボットの制御方法の手順を示すフロー図である。 図７に示した制御方法を説明する図（１／６）である。 図７に示した制御方法を説明する図（２／６）である。 図７に示した制御方法を説明する図（３／６）である。 図７に示した制御方法を説明する図（４／６）である。 図７に示した制御方法を説明する図（５／６）である。 図７に示した制御方法を説明する図（６／６）である。 ロボットの他の制御方法の手順を示すフロー図である。 ユーザ−ロボット間のインタラクションを説明する図（１／７）である。 ユーザ−ロボット間のインタラクションを説明する図（２／７）である。 ユーザ−ロボット間のインタラクションを説明する図（３／７）である。 ユーザ−ロボット間のインタラクションを説明する図（４／７）である。 ユーザ−ロボット間のインタラクションを説明する図（５／７）である。 ユーザ−ロボット間のインタラクションを説明する図（６／７）である。 ユーザ−ロボット間のインタラクションを説明する図（７／７）である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本明細書では、本発明の好適な実施の形態について、以下の項目に沿って説明する。
１．ロボットシステムの構成
２．ロボットの構成
３．ポインタの構成
４．ロボットの制御方法
５．インタラクションの例
６．まとめ

［１．ロボットシステムの構成］
まず、図１を参照しながら、本発明の実施形態に係るロボットシステムの構成について説明する。図１には、ロボットシステムの構成が示されている。

図１に示すように、ロボットシステムでは、レーザーポインタ等のポインタ２００（光指示装置）を用いて、ユーザ１０とロボット装置１００（以下、ロボット１００とも称する。）の間で対象Ｏに関する共同注意の成立が補助される。

ロボット１００は、例えば、日常生活上の様々な場面における人的活動を支援する２足歩行型のロボットであり、内部状態（喜び、怒り、哀しみ、楽しみ等）に応じて行動可能であり、人間が行う基本的な動作を表出することができる。

ロボット１００は、画像入力装置１２１、音声入力装置１２２および音声出力装置１２３を内蔵しており（図３参照）、画像入力装置１２１を通じて周辺の画像データを入力し、音声入力装置１２２を通じて音声データを入力し、音声出力装置１２３を通じて音声データを出力する。また、ロボット１００は、通信インターフェイス（ＩＦ）１２４を内蔵しており（図３参照）、ユーザ操作に応じてポインタ２００等から送出される指令コマンドＣを受信し、ポインタ２００等に応答を送信する。

ポインタ２００は、指向性の高い光束Ｌの照射により対象Ｏを指示するために用いられる。ポインタ２００の光強度は、対象Ｏに照射されている光束Ｌの輝点Ｐがユーザ１０により視認可能な程度であればよく、ロボット１００により検出可能である必要はない。ここで、ポインタ２００の光は、共同注意を成立させる対象Ｏをロボット１００が認識するためではなく、ユーザ１０が確認するために利用される。

ユーザ１０は、ロボット１００との間で対象Ｏに関する共同注意の成立を欲すると、共同注意の成立を促すための指令（共同注意指令）コマンドＣをロボット１００に行うとともに、光束Ｌの照射により対象Ｏを指示するためにポインタ２００を操作する。ロボット１００は、指令コマンドＣの取得に応じて、ユーザ１０により操作されるポインタ２００の位置および姿勢を推定する。そして、ロボット１００は、位置および姿勢の推定結果に基づき、光束Ｌの照射により指示されている対象Ｏの方向（指示方向）を特定し、指示方向の特定結果に基づき、周辺環境を表す環境地図ＥＭ上で対象Ｏを特定する。

ここで、ユーザ１０とロボット１００の間では、画像や音声の認識結果、指令コマンドＣの検出結果に基づき、共同注意の成立に関して行われるインタラクションＩの成立が確認されてもよい。

［２．ロボット１００の構成］
次に、図２〜図４を参照しながら、本発明の実施形態に係るロボット１００について説明する。図２には、ロボット１００の外観が示され、図３には、ロボット１００の制御システムの構成が示されている。図４には、ロボット１００の主要な機能構成が示されている。

図２に示すように、ロボット１００は、体幹部ユニット１０２の所定の位置に、頭部ユニット１０１が連結されるとともに、左右で対をなす腕部ユニット１０３Ｌ、１０３Ｒと、左右で対をなす脚部ユニット１０４Ｌ、１０４Ｒが連結されて構成される。

図３に示すように、ロボット１００は、例えば体幹部ユニット１０２に制御システムを有している。制御システムは、ユーザ入力等に動的に反応して情緒判断や感情表現を司る思考制御モジュール１１０と、アクチュエータ１４０の駆動等、ロボット１００の全身協調運動を制御する運動制御モジュール１３０により構成される。

思考制御モジュール１１０は、情緒判断や感情表現に関する演算処理を実行するＣＰＵ１１１や、ＲＡＭ１１２、ＲＯＭ１１３および外部記憶装置１１４等により構成される。思考制御モジュール１１０は、画像入力装置１２１から入力される画像データや音声入力装置１２２から入力される音声データ、通信ＩＦ１２４から入力される指令コマンドＣ等、外界からの刺激に応じてロボット１００の現在の感情や意思を決定する。思考制御モジュール１１０は、意思決定に基づいた動作や行動を実行するように、運動制御モジュール１３０に指令を伝達する。

運動制御モジュール１３０は、ロボット１００の全身協調運動を制御するＣＰＵ１３１や、ＲＡＭ１３２、ＲＯＭ１３３および外部記憶装置１３４等により構成される。外部記憶装置１３４には、例えば、オフラインで算出された歩行パターンや目標とするＺＭＰ（ゼロモーメントポイント）軌道、その他の動作パターンが蓄積される。

運動制御モジュール１３０には、アクチュエータ１４０、距離計測センサ（不図示）、姿勢センサ１４１、接地確認センサ１４２Ｌ、１４２Ｒ、荷重センサ（不図示）、電源制御装置１４３等の各種の装置がバスインターフェイス（ＩＦ）３１０を介して接続されている。ここで、アクチュエータ１４０はロボット１００の各関節部の動きを実現し、距離測定センサはユーザ１０や対象Ｏとの距離を計測し、姿勢センサ１４１は体幹部ユニット１０２の姿勢や傾斜を計測するために用いられる。接地確認センサ１４２Ｌ，１４２Ｒは左右の足底の離床または着床を検出し、荷重センサは左右の足底に作用する荷重を検出し、電源制御装置１４３はバッテリ等の電源を管理するために用いられる。

思考制御モジュール１１０と運動制御モジュール１３０は、共通のプラットフォーム上に構築され、両者は、バスインターフェイス（ＩＦ）１１５、１３５を介して相互接続されている。

運動制御モジュール１３０は、思考制御モジュール１１０から指示された行動を実行するように、各アクチュエータ１４０による全身協調運動を制御する。つまり、ＣＰＵ１３１は、思考制御モジュール１１０から指示された行動に応じた動作パターンを外部記憶装置１３４から読出し、または内部的に動作パターンを生成する。そして、ＣＰＵ１３１は、指定された動作パターンに従って、足部運動、ＺＭＰ軌道、体幹運動、上肢運動、腰部水平位置・高さ等を設定し、設定内容に従った動作を指示する指令を各アクチュエータ１４０に伝達する。

また、ＣＰＵ１３１は、姿勢センサ１４１の出力信号によりロボット１００の体幹部ユニット１０２の姿勢や傾きを検出するとともに、各接地確認センサ１４２Ｌ、１４２Ｒの出力信号により各脚部ユニット１０４Ｌ、１０４Ｒが遊脚または立脚のいずれの状態であるかを検出することで、ロボット１００の全身協調運動を適応的に制御する。さらに、ＣＰＵ１３１は、ＺＭＰ位置が常にＺＭＰ安定領域の中心に向かうように、ロボット１００の姿勢や動作を制御する。

また、運動制御モジュール１３０は、思考制御モジュール１１０により決定された意思通りの行動がどの程度実現されたか、つまり処理の状況を思考制御モジュール１１０にフィードバックする。このように、ロボット１００は、制御プログラムに基づいて自己および周囲の状況を判断し、自律的に行動することができる。また、ロボット１００は、制御プログラムに基づいて、後述する共同注意の成立を補助するための制御方法を実行する。

図４に示すように、ロボット１００は、ユーザ１０との間で対象Ｏに関する共同注意を成立させるために各種の機能構成を有している。ロボット１００の主要な機能構成は、コマンド受信部１５１、画像入力部１５２、音声入力部１５３、音声出力部１５４、画像認識部１５５、音声認識部１５６、環境地図作成部１５７、インタラクション処理部１５８、位置姿勢推定部１５９、対象特定部１６０、環境地図格納部１６１、および特徴量格納部１６２を含む。

なお、コマンド受信部１５１、画像入力部１５２、音声入力部１５３および音声出力部１５４は、図３に示した通信ＩＦ１２４、画像入力装置１２１、音声入力装置１２２および音声出力装置１２３に各々に対応する。また、他の機能構成は、例えば思考制御モジュール１１０のＣＰＵ１１１、ＲＡＭ１１２、外部記憶装置１１４等により実現される。

コマンド受信部１５１は、ポインタ２００に対する操作に応じて、共同注意指令を含む指令コマンドＣを有線／無線でポインタ２００から受信する。コマンド受信部１５１は、例えば頭部ユニット１０１に設けられた１以上の受信装置（不図示）からなる。指令コマンドＣが無線信号である場合、複数の受信装置が相異なる方向に設けられ、各受信装置による受信強度の差異に基づき、ユーザ１０の位置する概略の方向が推定されてもよい。コマンド受信部１５１は、指示取得部として機能する。

画像入力部１５２は、ロボット１００の周辺の画像を画像データとして入力し、画像認識部１５５および環境地図作成部１５７に供給する。画像データは、ロボット１００の周辺に位置するユーザ１０や物体を表すデータ、ポインタ２００の位置および姿勢を表すデータを含む。また、画像データは、インタラクションＩの成立を確認するために用いる、ユーザ１０の表情やジェスチャーを表すデータも含む。

音声入力部１５３は、ロボット１００の周辺の音声を音声データとして入力し、音声認識部１５６に供給する。音声データは、ロボット１００の周辺に位置するユーザ１０や物体が発する音声のデータを含む。また、音声データは、インタラクションＩの成立を確認するために用いる、ユーザ１０からの音声指令を表すデータも含む。

音声出力部１５４は、所定の音声データに対応する音声を外部に出力する。音声データは、インタラクションＩの成立を確認するために用いる音声応答を表すデータも含む。なお、音声応答は、外部記憶装置１１４等に格納されているデータに基づき生成される。

画像認識部１５５は、画像データに含まれる特徴量に基づき、ロボット１００の周辺に位置するユーザ１０や物体、ポインタ２００の位置および姿勢、ユーザ１０の表情やジェスチャーを認識する。なお、ユーザ１０や物体、ポインタ２００、ユーザ１０の表情やジェスチャーの特徴量等は、特徴量格納部１６２に予め格納されている。

音声認識部１５６は、音声データに含まれる特徴量に基づき、ロボット１００の周辺に位置するユーザ１０や物体が発する音声、ユーザ１０からの音声指令を認識する。なお、音声指令の特徴量等も、特徴量格納部１６２に予め格納されている。

環境地図作成部１５７は、ステレオビジョン等により得られた距離情報から抽出した複数の平面により、物体や段差等の環境を認識して環境地図ＥＭを作成し、環境地図格納部１６１に格納する。環境地図作成部１５７は、環境地図ＥＭを更新するとともに、位置姿勢推定部１５９に供給する。ステレオビジョンは、画像入力部１５２を構成する２台のカメラ（不図示）から入力される画像をステレオ画像処理して得られる。

環境地図作成部１５７は、ステレオビジョンシステムにより外界を観測し、ステレオ視カメラの視差画像により算出される３次元距離情報であるステレオデータを画像として出力する。つまり、人間の両眼に相当する左右２つのカメラからの画像入力を各画素近傍で比較し、その視差から対象Ｏまでの距離を推定し、３次元距離情報を画像として出力する。

環境地図作成部１５７は、ステレオデータから平面検出器（不図示）により平面を検出することで、環境内に存在する複数の平面を認識する。また、環境地図作成部１５７は、平面データからステレオビジョンシステムで取得された周辺の環境を水平方向および垂直方向に所定の大きさのグリッドに分割された環境地図ＥＭを作成する。環境地図作成部１５７は、さらに環境地図ＥＭをステレオデータおよび平面データにより更新し、３次元グリッドの障害物存在確率を参照することで環境地図ＥＭを作成する。

インタラクション処理部１５８は、画像や音声の認識結果、指令コマンドＣの検出結果に基づき、ユーザ１０との間で共同注意の成立に関して行われるインタラクションＩの成立を確認する。なお、インタラクション処理の詳細については、後述する。インタラクション処理部１５８は、画像認識部１５５、音声認識部１５６等と協働して、インタラクション処理部として機能する。

位置姿勢推定部１５９は、ユーザ１０が操作するポインタ２００の位置および姿勢を推定し、推定結果を対象特定部１６０に供給する。対象特定部１６０は、ポインタ２００の位置および姿勢の推定結果に基づき、ポインタ２００により指示されている対象Ｏの方向を特定し、環境地図ＥＭ上で対象Ｏを特定する。なお、ポインタ２００の位置および姿勢の推定処理、および対象Ｏの特定処理の詳細については、後述する。

［３．ポインタ２００の構成］
次に、図５および図６を参照しながら、本発明の実施形態に係るポインタ２００について説明する。図５には、ポインタ２００の外観が示され、図６には、ポインタ２００の主要な機能構成が示されている。

図５に示すように、ポインタ２００は、光束Ｌの照射により対象Ｏを指示するレーザーポインタ等の光指示装置である。ポインタ２００には、レーザー光等の光束Ｌを照射する照射孔２０１が先端に設けられ、光束照射の切替スイッチ２０２、指令コマンドＣの操作スイッチ２０３、発光素子等の点灯装置２０４が設けられている。ポインタ２００は、ユーザ１０が把持可能な程度の大きさで構成される。図５では、ポインタ２００が扁平な矩形状で構成されているが、他の形状で構成されてもよい。

図６に示すように、ポインタ２００は、照射操作部２５１、光束照射部２５２、点灯部２５３、コマンド操作部２５４、コマンド送信部２５５、およびアンテナ２５６を含む。

照射操作部２５１は、切替スイッチ２０２等の操作子であり、ユーザ１０の操作に応じて光束照射のオン／オフを切替える。光束照射部２５２は、光束照射がオンの状態で、ポインタ２００の照射孔２０１から一定の方向に光束Ｌを照射する。点灯部２５３は、ＬＥＤ等の発光素子であり、光束照射がオンの状態で点灯する。点灯部２５３は、所定の点滅パターン等に従って点灯するように構成されてもよい。点灯部２５３は、ポインタ２００の中央部に設けられてもよく、各端部に分散して設けられてもよい。

コマンド操作部２５４は、操作スイッチ２０３等の操作子であり、ユーザ１０の操作に応じて所定の指令コマンドＣをロボット１００に送信する。指令コマンドＣは、共同注意の成立を促すための指令コマンドＣや、インタラクションＩの成立の確認に用いる指令コマンドＣを含む。コマンド送信部２５５は、コマンド入力に応じた指令コマンドＣを、アンテナ２５６を介してロボット１００に送信する。なお、以下では、指令コマンドＣが無線で送信される場合を想定するが、有線で送信されてもよい。

ユーザ１０は、共同注意を成立させる対象Ｏの方向にポインタ２００の照射孔２０１を向けて光束照射をオンにする。ポインタ２００は、光束Ｌを対象Ｏに照射し、光束Ｌの輝点Ｐにより対象Ｏが指示される。また、ポインタ２００は、所定の点滅パターン等に従って点灯する。

ここで、光束Ｌの光強度は、光束Ｌの輝点Ｐがユーザ１０により視認可能な程度であればよく、ロボット１００により検出可能である必要はない。一方、発光素子の光強度は、所定の点滅パターン等がロボット１００により検出可能な程度であればよい。光束Ｌは、共同注意を成立させる対象Ｏをユーザ１０が確認するために利用され、発光素子は、ポインタ２００の位置および姿勢をロボット１００が推定するために利用される。

なお、点灯部２５３は、ポインタ２００の空間的な位置および姿勢の推定精度を向上させるために設けられる。このため、推定精度を向上させるために、点灯部２５３に代えて、または点灯部２５３とともに、ポインタ２００が特徴的な形状、模様や色彩を有するように構成されてもよい。あるいは、ポインタ２００の全体にランダムなドットパターンが形成されてもよい。ここで、ポインタ２００の各所に分布する３点以上の特徴を検出することで、ポインタ２００の空間的な位置および姿勢を推定することができる。

［４．ロボット１００の制御方法］
つぎに、図７および図８Ａ〜８Ｆを参照しながら、ロボット１００の第１の制御方法の手順について説明する。図７には、第１の制御方法の手順が示され、図８Ａ〜８Ｆには、図７に示した制御方法が示されている。

図７に示すように、ロボット１００は、思考制御モジュール１１０および運動制御モジュール１３０による制御に基づき自律動作または待機動作を行っている（ステップＳ１０１）。なお、自律動作とは、周囲の外部状態やロボット１００の内部状態に応じて自律的に行われる動作であり、待機動作とは、ユーザ１０の指令を待機するために行われる動作である。

図８Ａに示すように、ユーザ１０は、共同注意の成立を促すための共同注意指令をロボット１００に対して行うとともに、ロボット１００を視認する（Ｓ１０３、Ｓ１０５）。なお、共同注意指令を行う動作（Ｓ１０３）とロボット１００を視認する動作（Ｓ１０５）は、逆の順序で、または並列して行われてもよい。

共同注意指令は、ポインタ２００に対する所定の操作により行われる。この場合、所定の操作に応じて、共同注意指令を示す指令コマンドＣがポインタ２００からロボット１００に送信される。なお、共同注意指令は、例えば、ポインタ２００以外の操作入力装置に対する所定の操作、または音声入力部１５３に対する所定の音声指令により行われてもよい。なお、共同注意指令は、後述する対象Ｏの指示と同時に行われてもよい。

一方、ロボット１００は、自律動作または待機動作の途中で、コマンド受信部１５１による指令コマンドＣの受信状況により、共同注意指令の有無を確認している（Ｓ１０７）。そして、共同注意指令を確認すると、図８Ｂに示すように、ロボット１００は、動作Ｍ１によりユーザ１０の方向に向く（Ｓ１０９）。

具体的に、ロボット１００は、画像入力部１５２による撮影方向（例えば顔面部）をユーザ１０の方向、特にユーザ１０により操作されるポインタ２００を検出可能な方向に調整する。これにより、ロボット１００がユーザ１０の方向を向くので、インタラクション感が表出され、後続する共同注意の成立を自然な状況で行うことができる。

撮影方向は、画像入力部１５２に入力される画像データからユーザ１０またはポインタ２００の特徴量を検出し、ユーザ１０またはポインタ２００を認識することで特定される。撮影方向は、運動制御モジュール１３０により、ロボット１００の全身を回転させ、または頭部ユニット１０１のみを回転させることで調整される。なお、ロボット１００の全身または頭部ユニット１０１の位置を回転させながら、ユーザ１０またはポインタ２００の特徴量を検出してもよい。

ユーザ１０とロボット１００が向き合うと、図８Ｃに示すように、ロボット１００は、インタラクションＩの成立の有無を確認する（Ｓ１１１）。インタラクションＩの成立は、詳細は後述するが、画像や音声の認識結果、指令コマンドＣの検出結果に基づき確認される。ロボット１００は、所定時間内にインタラクションＩの成立を確認できた場合に後続の処理（Ｓ１１３）を行い、確認できなかった場合に自律動作または待機動作に復帰する（Ｓ１０１）。

ここで、ユーザ１０とロボット１００が向き合うので、ロボット１００は、インタラクションＩの成立の確認を通じて、共同注意指令が行われたことを確認することができる。このため、インタラクションＩの成立を確認しない場合と比べて、共同注意指令の誤検出に伴う誤動作の発生を抑制することができる。

ロボット１００は、ユーザ１０により操作されるポインタ２００の位置および姿勢を推定する（Ｓ１１３）。ここで、ポインタ２００の位置および姿勢を推定する時点で、図８Ｄに示すように、ユーザ１０は、ポインタ２００を操作して光束Ｌの照射により対象Ｏを指示しているものとする。

対象Ｏは、静止した光束Ｌの輝点Ｐにより表される点として指示されてもよく、所定範囲を移動する光束Ｌの輝点Ｐにより表される領域として指示されてもよい。前者の場合、輝点Ｐにより表される点が対象Ｏとして特定され、後者の場合、輝点Ｐにより表される範囲が対象Ｏとして特定される。ユーザ１０は、光束Ｌの輝点Ｐを視認することで、指示した対象Ｏを確認することができる。ロボット１００は、光束Ｌの輝点Ｐではなく、ポインタ２００の位置及び姿勢に基づき対象Ｏを特定する。

ポインタ２００の位置および姿勢は、画像入力部１５２に入力される画像データからポインタ２００の特徴量を検出することで推定される。特に、ポインタ２００に設けられた発光素子の点灯状況、ポインタ２００の形状、色彩や模様を特徴量として検出することで、ポインタ２００の位置および姿勢を精度よく推定することができる。ここで、ポインタ２００の特徴量は、特徴量格納部１６２等に予め格納されているものとする。

なお、ポインタ２００の位置および姿勢は、特開２００４−３２６６９３号公報において出願人等が提案する物体認識技術を用いて、またはステレオ認識やハフ変換等の技術を用いて推定されてもよい。また、ポインタ２００の位置および姿勢は、画像データに代えて、または画像データとともに、ポインタ２００に設けられた加速度センサや磁気センサ（不図示）の検出データを用いて推定されてもよい。

ここで、特にロボット１００がユーザ１０の近くに位置すれば、共同注意を成立させる対象Ｏが遠くに位置しても、ポインタ２００の位置および姿勢を高い精度で推定可能であり、結果として対象Ｏを高い精度で特定することができる。また、ロボット１００がユーザ１０の近くに位置すれば、ポインタ２００の位置および姿勢を高い精度で推定するために、ユーザ１０は、ロボット１００からの要求に応じて、または自発的に、推定精度を向上させるための手段を容易に行うことができる。例えば、ユーザ１０は、対象Ｏの方向を指示した状態で、ポインタ２００の認識が容易となるように、ポインタ２００の姿勢を変化させることができる。

ポインタ２００の位置および姿勢を推定すると、ロボット１００は、推定結果に基づき、光束Ｌの照射により指示されている対象Ｏの方向（指示方向）を特定する（Ｓ１１５）。つまり、指示方向は、対象Ｏに照射されている光束Ｌの輝点Ｐの認識ではなく、ポインタ２００の位置および姿勢の認識に基づき特定される。指示方向は、ポインタ２００の位置および姿勢から照射孔２０１の位置および向きを推定することで特定される。なお、ポインタ２００に対する照射孔２０１の位置および向きは、ロボット１００に既知の情報として設定されている。

対象Ｏの方向を特定すると、ロボット１００は、指示方向の特定結果に基づき、環境地図ＥＭ上で対象Ｏを特定する（Ｓ１１７）。対象Ｏは、環境地図ＥＭ上におけるポインタ２００の位置および姿勢を特定し、さらに指示方向と環境地図ＥＭ上のデータを照合することで、例えば特定の物体や位置として特定される。

図８Ｅには、環境地図ＥＭ上における対象Ｏの特定結果が示されている。環境地図ＥＭ上では、３次元座標を用いて対象Ｏが特定される。ポインタ２００の位置および姿勢は、例えばポインタ２００に存在する３以上の特徴量を画像データから検出することで推定される。これにより、ポインタ２００の位置および姿勢が環境地図ＥＭ上の３次元座標を用いて推定される。

指示方向は、ポインタ２００の位置および姿勢から照射孔２０１の位置および向きを推定することで特定される。これにより、照射孔２０１の位置および向きが環境地図ＥＭ上の３次元座標を用いて推定される。そして、指示方向は、照射孔２０１の位置Ｐｐを基点として照射孔２０１の向いている方向に延びる直線を定義するパラメータ（３次元の角度情報等）として特定される。そして、対象Ｏは、環境地図ＥＭ上において、定義された直線上でポインタ２００側から見て手前側に存在する物体や位置として特定される。

図８Ｆに示すように、ロボット１００は、対象Ｏを特定すると、特定した対象Ｏに関する所定の動作を開始する（Ｓ１１９）。例えば、ロボット１００は、図８Ｄに示す動作Ｍ２により対象Ｏの方向を向き、図８Ｆに示す動作Ｍ３により対象Ｏの方向に移動する。そして、所定の動作を完了すると（Ｓ１２１）、自律動作または待機動作に復帰する（Ｓ１０１）。

これにより、ユーザ１０とロボット１００の間で対象Ｏに関する共同注意の成立を補助することができる。なお、インタラクションＩの成立を確認する処理（Ｓ１１１）と、ポインタ２００の位置および姿勢の推定〜対象Ｏの方向を特定する処理（Ｓ１１３、Ｓ１１５）は、逆の順序で、または並列して行われてもよい。ここで、ポインタ２００の位置および姿勢を推定した後にインタラクションＩの成立を確認する場合、位置および姿勢の推定が完了しているので、共同注意の成立を確実に補助することができる。

つぎに、図９を参照しながら、ロボット１００の第２の制御方法について説明する。なお、第１の制御方法と重複する説明は省略する。

ロボット１００は、自律動作または待機動作を行っている（Ｓ１５１）。ユーザ１０は、ロボット１００を視認すると（Ｓ１５３）、インタラクションＩの成立の有無を確認し（Ｓ１５７）、ロボット１００がユーザ１０の方向を向くと（Ｓ１５５）、インタラクションＩの成立を確認する（Ｓ１５７で「Ｙｅｓ」）。また、ロボット１００は、ユーザ１０の方向を向くと（Ｓ１５５）、インタラクションＩの成立の有無を確認し（Ｓ１５９）、ユーザ１０がロボット１００を視認すると（Ｓ１５３）、インタラクションＩの成立を確認する（Ｓ１５９で「Ｙｅｓ」）。

ロボット１００またはユーザ１０の少なくともいずれかがインタラクションＩの成立を確認（Ｓ１５７、Ｓ１５９）した場合に、ロボット１００は、共同注意指令の有無を確認する（Ｓ１６３）。そして、ロボット１００は、共同注意指令を確認できた場合に後続の処理（Ｓ１６５）を行い、確認できなかった場合に自律動作または待機動作に復帰する（Ｓ１５１）。

共同注意指令を確認すると、ロボット１００は、ユーザ１０により操作されるポインタ２００の位置および姿勢を推定する（Ｓ１６５）。ここで、ユーザ１０は、ポインタ２００の位置および姿勢を推定する時点で、ポインタ２００を操作して光束Ｌの照射により対象Ｏを指示しているものとする。

ポインタ２００の位置および姿勢を推定すると、ロボット１００は、推定結果に基づき、光束Ｌの照射により指示されている対象Ｏの方向（指示方向）を特定する（Ｓ１６７）。対象Ｏの方向を特定すると、ロボット１００は、指示方向の特定結果に基づき、環境地図ＥＭ上で対象Ｏを特定する（Ｓ１６９）。

そして、ロボット１００は、特定した対象Ｏに関する所定の動作を開始し（Ｓ１７１）、所定の動作を終了すると、自律動作または待機動作に復帰する（Ｓ１５１）。

これにより、ユーザ１０とロボット１００の間で対象Ｏに関する共同注意の成立を補助することができる。なお、インタラクションＩの成立を確認する処理（Ｓ１５１）と、ポインタ２００の位置および姿勢の推定〜対象Ｏの方向を特定する処理（Ｓ１６５、Ｓ１６７）は、逆の順序で、または並列して行われてもよい。

第２の制御方法では、インタラクションＩの成立が確認された後に、共同注意指令の有無が確認されるので、第１の制御方法よりも、共同注意指令を確実に確認することができる。

［５．インタラクションＩの例］
つぎに、図１０Ａ〜１０Ｇを参照しながら、ユーザ１０とロボット１００の間で共同注意の成立に関して行われるインタラクションＩの例について説明する。インタラクションＩは、例えば、画像や音声の認識結果、指令コマンドＣの検出結果、およびこれらの組合せを用いて行われる。

ユーザ１０の顔認識を利用する場合、図１０Ａに示すように、ロボット１００は、画像入力部１５２の画像データからユーザ１０の顔特徴Ｃ１を検出し、ユーザ１０の顔として認識してもよい。この場合、ユーザ１０の顔を認識すると、ロボット１００は、画像入力部１５２の撮影方向をユーザ１０の顔の方向に調整する動作Ｍ１を行う。ユーザ１０は、動作Ｍ１を確認することで、インタラクションＩの成立を確認することができる。なお、ユーザ１０の顔は、ユーザ１０の顔の正面や側面の特徴を検出して認識されてもよく、ユーザ１０の身体特徴を検出した後に顔面の位置を推定して認識されてもよい。

さらに、インタラクションＩの成立を確実にするために、図１０Ｂに示すように、ロボット１００は、画像データからユーザ１０の顔特徴Ｃ２を検出し、顔の方向や視線の方向を推定してもよい。なお、画像データからユーザ１０の顔特徴Ｃ１を検出できない場合、ロボット１００は、視覚的または聴覚的な手段（「こっち向いて！」という音声Ｖ１等）を用いて、自らの方向に顔を向けることをユーザ１０に促してもよい。

さらに、インタラクションＩの成立を確実にするために、ロボット１００は、ユーザ１０と対面した状態でユーザ１０が所定の動作を行ったことを検出することで、インタラクションＩの成立を確認してもよい。

例えば、ロボット１００は、図１０Ｃに示すように、画像データからユーザ１０の顔特徴Ｃ３、Ｃ４を検出し、ユーザ１０による頷きＭ３やウィンクを検出してもよい。また、ロボット１００は、図１０Ｄに示すように、所定の音声指令の発令（「行け」、「取ってこい」という音声Ｖ２等）や所定のジェスチャー（「行け」、「取ってこい」という動作等）を検出してもよい。また、ロボット１００は、ロボット１００による「取ってきます」という音声等の出力の後に、図１０Ｅに示すように、ユーザ１０による「ＯＫ」という応答Ｍ４を検出したり、所定時間内に応答が行われないこと（暗黙の了解）を検出したりしてもよい。

ユーザ１０の顔認識を利用しない場合、ロボット１００は、図１０Ｆに示すように、対象Ｏを特定した後に、「行くよ！」、「取ってくるよ！」という音声Ｖ３等を出力する。そして、ロボット１００は、所定時間内にユーザ１０が応答するかを確認し、「行け！」、「取ってこい！」という応答Ｖ４が確認されると、特定した対象Ｏに関する所定の動作を開始してもよい。この場合、ロボット１００は、ポインタ２００に対する所定の操作を応答として検出してもよく、所定の音声指令を応答として検出してもよい。

また、ロボット１００は、図１０Ｇに示すように、対象Ｏを特定した後に、身体の一部に設けられた発光素子等を点灯Ｍ５させることで、自らの方向へ視線を向ける動作Ｍ６をユーザ１０に促してもよい。そして、ロボット１００は、所定時間内にユーザ１０が応答するかを確認し、応答が確認されると、特定した対象Ｏに関する所定の動作を開始してもよい。この場合、ロボット１００は、ポインタ２００に対する所定の操作を応答として検出してもよく、所定の音声指令、ジェスチャー等を応答として検出してもよい。

また、対象Ｏの特定精度を向上するために、ロボット１００による処理結果に応じてポインタ２００の動作を変化させることで、ロボット１００からユーザ１０に処理結果をフィードバックしてもよい。

例えば、ロボット１００は、ポインタ２００の位置および姿勢を推定するとともに、推定結果に伴う誤差を算出してポインタ２００に送信する。ポインタ２００は、推定誤差が所定の閾値未満である場合に推定精度が十分であると判定し、閾値以上である場合に推定精度が十分ではないと判定する。なお、推定精度の判定は、ポインタ２００に代えてロボット１００により行われてもよい。

ポインタ２００は、判定結果に応じて、対象Ｏに照射される光束Ｌの指向性、色等の態様を変更する。例えば、光束Ｌの態様は、推定精度が高いほど指向性が強く、色が濃く、および／または連続的に照射され、推定精度が低いほど指向性が弱く、色が薄く、および／または間欠的に照射されてもよい。

ユーザ１０は、対象Ｏに照射される光束Ｌの態様を視認することで、推定結果に伴う誤差を確認することができる。そして、ユーザ１０は、推定精度を十分であると判断した場合、例えば「ＯＫ」という応答を行う。これにより、ロボット１００は、ユーザ１０により十分な推定精度が確認された状態で、対象Ｏを特定することができる。

一方、ユーザ１０は、推定精度を十分ではないと判断した場合、対象Ｏを指示した状態でポインタ２００の姿勢等を調整する。ここで、ポインタ２００の姿勢等が調整されると、ロボット１００は、ポインタ２００の位置および姿勢を再び推定し、ポインタ２００は、判定結果に応じて光束Ｌの態様を変更する。これにより、ロボット１００は、処理結果のフィードバックに基づき、対象Ｏの特定精度を向上することができる。

［６．まとめ］
以上説明したように、本発明の実施形態に係るロボット１００の制御方法によれば、ユーザ１０は、ポインタ２００を用いて光束Ｌの照射により対象Ｏを指示するので、指示した対象Ｏを確認することができる。また、ロボット１００は、ポインタ２００の位置および姿勢を推定して対象Ｏを特定するので、光束Ｌの照射を検出しなくても、指示された対象Ｏを特定することができる。さらに、ロボット１００がユーザ１０により操作されるポインタ２００を認識するためにユーザ１０の方向を向くので、ユーザ１０とロボット１００の間でインタラクション感を表出することができる。これにより、ユーザ１０とロボット１００の間で対象Ｏに関する共同注意の成立を補助することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ ユーザ
１００ ロボット
１５１ コマンド受信部
１５２ 画像入力部
１５３ 音声入力部
１５４ 音声出力部
１５５ 画像認識部
１５６ 音声認識部
１５７ 環境地図作成部
１５８ インタラクション処理部
１５９ 位置姿勢推定部
１６０ 対象特定部
１６１ 環境地図格納部
１６２ 特徴量格納部
２００ ポインタ
２５１ 照射操作部
２５２ 光束照射部
２５３ 点灯部
２５４ コマンド操作部
２５５ コマンド送信部
２５６ アンテナ
Ｏ 対象
Ｌ 光束
Ｐ 輝点
ＥＭ 環境地図
Ｉ インタラクション

Claims (7)

1. 対象に関する共同注意の成立をロボット装置に促すための指令をユーザから取得する指示取得部と、
   前記指令の取得に応じて、光束の照射により前記対象を指示するために前記ユーザにより操作される光指示装置の位置および姿勢を推定する位置姿勢推定部と、
   前記位置および姿勢の推定結果に基づき、前記光束の照射により指示されている指示方向を特定し、周辺環境を表す環境地図上で前記指示方向に存在する物体または位置を前記対象として特定する対象特定部と
   を備えるロボット装置。
2. 前記ユーザとの間で共同注意の成立に関して行われるインタラクションの成立を確認するためのインタラクション処理部をさらに備える、請求項１に記載のロボット装置。
3. 前記インタラクション処理部は、前記指令が取得された後に、前記インタラクションの成立を確認する、請求項２に記載のロボット装置。
4. 前記インタラクション処理部は、前記指令が取得される前に、前記インタラクションの成立を確認する、請求項２に記載のロボット装置。
5. 前記位置姿勢推定部は、前記ユーザが把持する前記光指示装置を認識することで、前記光指示装置の位置および姿勢を推定する、請求項１〜４のいずれか１項に記載のロボット装置。
6. ロボット装置との間で対象に関する共同注意の成立を促すための指令をユーザから取得するステップと、
   前記指令の取得に応じて、光束の照射により前記対象を指示するために前記ユーザにより操作される光指示装置の位置および姿勢を推定するステップと、
   前記位置および姿勢の推定結果に基づき、前記光束の照射により指示されている指示方向を特定し、周辺環境を表す環境地図上で前記指示方向に存在する物体または位置を前記対象として特定するステップと
   を含むロボット装置の制御方法。
7. 請求項６に記載のロボット装置の制御方法をコンピュータに実行させるためのプログラム。

Images