JP2007226634A - 人物状況認識装置、方法、プログラム、ロボットおよび生活支援システム - Google Patents

Abstract

【課題】人物からの指示の有無にかかわらず、人物の状況を認識する。
【解決手段】人物を監視する複数のセンサからなる物理センサ５１と、物理センサ５１からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する論理センサ５２と、各要素の内容の組合せに基づいて人物の状況を認識する認識部５３とを備える。
【選択図】図１

Description

本発明は、人物の状況を認識する技術、および、その認識結果を用いてユーザの生活を支援する生活支援システムに関するものである。

従来、一般家庭でユーザの生活を補助、支援、介護するロボットや、愛玩用のロボット等が開発されている。
例えば、特開２００５−１０３６７８号公報（特許文献１）には、在宅時モードと留守番モードとを有し、在宅時モードの実行時においては、ユーザが在宅中である動的環境に対応する監視動作を行い、留守番モードの実行時においてはユーザが非在宅中である静的環境に対応する監視動作を行うロボットが開示されている。この特許文献１では、ロボットがユーザの音声を認識する音声処理部を備えており、音声認識されたユーザの音声に応じて上記動作モードの切り替えが行われる。

また、特許第３５５８２２２号公報（特許文献２）には、視覚や聴覚などの外部環境の認識結果や本能や感情などの内部状態を示すパラメータを有しており、パラメータ値に応じた行動を実行するロボットが開示されている。
また、特開２００２−２３３９７９号公報（特許文献３）には、ユーザによる拍手の回数によって、実行する動作モードを切り替えることにより、多様なサービスをユーザに提供することのできる愛玩用ロボットが開示されている。

特開２００５−１０３６７８号公報 特許第３５５８２２２号公報 特開２００２−２３３９７９号公報

ところで、近年、ロボットの開発分野では、人とのコミュニケーションを自然に行い、人間とロボットとが違和感なく共存できる生活空間を実現させることが大きな目標の一つとして掲げられている。そのためには、人からの指示などがなくても、人がどのような状況にあるのかをロボットが自発的に認識し、認識結果に応じた対応をすることが求められる。
しかしながら、従来のロボットでは、「拍手をする」、「呼びかける」などのユーザからの所定の指示がない状態で、ユーザがおかれている状況を認識することは難しく、ユーザの状況に応じた対応をすることができないという問題があった。

本発明は、上記問題を解決するためになされたもので、人物からの指示の有無にかかわらず、人物の状況を認識することのできる人物状況認識装置、方法、プログラム、および人物状況認識装置により認識された状況に応じた対応をとることのできるロボット、並びに生活支援システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、人物を監視する監視手段と、前記人物からの所定の指示を得ることなく、前記監視手段からの情報に基づいて前記人物の状況を認識する人物状況認識手段とを具備する人物状況認識装置を提供する。

このような構成によれば、例えば、ビデオカメラ、マイクロフォンなどの監視手段によって取得された人物に関する情報は、人物状況認識手段に転送される。人物状況認識手段では、人物からの所定の指示を得ることなく、監視手段からの情報に基づいて人物の状況が認識される。これにより、人物からの「拍手」、「呼びかけ」などの特定の指示の有無にかかわらず、人物の状況を認識することが可能となる。

上述の人物状況認識装置において、前記人物状況認識手段は、前記監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定手段と、各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識手段とを備えていても良い。

このような構成によれば、例えば、ビデオカメラ、マイクロフォンなどの監視手段によって取得された人物に関する情報は、人物状況認識手段内の要素内容特定手段に転送される。要素内容特定手段では、監視手段からの情報に基づいて複数の要素に対する内容が特定される。例えば、人物の様子が単に撮影されている画像情報等から人物の状況を認識するために有効な複数の要素を検出し、各要素の内容を特定する。例えば、「場所」、「人物の姿勢」などの各要素について、「台所」、「立っている」等の内容が特定される。
このようにして、各要素の内容が特定されると、認識手段により、これら各要素の内容の組合せに基づいて人物の状況が認識される。例えば、「要素：場所」−「内容：ダイニング」、「要素：人物の姿勢」−「内容：座っている」という各要素の内容の組合せから「食事中」という人物の状況を認識する。このように、監視手段からの情報を人物の状況を認識するのに有効な各要素に分類し、この各要素の内容に基づいて人物の状況を認識するので、少ない情報で、かつ、効率よく人物の状況を認識することが可能となる。

本発明は、人物を監視する監視手段と、前記監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定手段と、各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識手段とを具備する人物状況認識装置を提供する。

このような構成によれば、例えば、ビデオカメラ、マイクロフォンなどの監視手段によって取得された人物に関する情報は、要素内容特定手段に転送される。要素内容特定手段では、監視手段からの情報に基づいて複数の要素に対する内容が特定される。例えば、「場所」、「人物の姿勢」などの各要素について、「台所」、「立っている」等の内容が特定される。このようにして、各要素の内容が特定されると、認識手段により、これら各要素の内容の組合せに基づいて人物の状況が認識される。例えば、「要素：場所」−「内容：ダイニング」、「要素：人物の姿勢」−「内容：座っている」という各要素の内容の組合せから「食事中」という人物の状況を認識する。これにより、人物からの「拍手」、「呼びかけ」などの特定の指示の有無にかかわらず、人物の状況を認識することが可能となる。

上述の人物状況認識装置は、人物の状況と各前記要素の内容とが対応付けられている情報蓄積手段を有し、前記認識手段は、前記要素内容特定手段により特定された各前記要素の内容の組み合わせに一致する人物の状況を前記情報蓄積手段から取得することにより、前記人物の状況を認識することとしても良い。

このような構成によれば、効率よく人物の状況を認識することができるとともに、認識精度を高めることが可能となる。また、情報蓄積手段を学習により更新する機能を備えることで、認識精度を更に高めることができる。

上述の人物状況認識装置において、前記認識手段は、前記人物の過去の状況履歴を参照して、前記人物の状況を認識することとしても良い。

このような構成によれば、人物の過去の状況履歴も参照して現在における人物の状況を認識するので、人物の状況認識の精度を更に高めることが可能となる。

本発明は、人物を監視する監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定過程と、各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識過程とを具備する人物状況認識方法を提供する。

本発明は、人物を監視する監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定処理と、各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識処理とをコンピュータに実行させるための人物状況認識プログラムを提供する。

本発明は、上述の人物状況認識装置によって認識された人物の状況に応じた対応をするロボットを提供する。
本発明は、上述の人物状況認識装置と、上述のロボットとを具備する生活支援システムを提供する。

本発明の人物状況認識装置、人物状況認識方法、および人物状況認識プログラムによれば、ユーザからの指示の有無にかかわらず、ユーザの状況を認識することができるという効果を奏する。
本発明のロボットおよび生活支援システムによれば、ユーザの状況に適した対応をとることができるという効果を奏する。

以下に、本発明に係る生活支援システムの一実施形態について、図面を参照して説明する。

〔第１の実施形態〕
以下、本発明の第１の実施形態に係る生活支援システムについて説明する。本実施形態に係る生活支援システムは、住居などのように、比較的狭い居住空間を対象としたものであり、ロボット１と、人物状況認識装置５０とを主な構成要素として備えている。また、本実施形態では、住宅などの居住空間を生活支援の場としているため、ロボット１によるサービスを受ける人物（ユーザ）は特定の者に限られることとなる。

図２は、本発明の一の実施形態に係るロボットの正面図、図３は、図２に示したロボットの左側面図である。
図２および図３に示すように、ロボット１の本体には、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とが設けられている。

頭部２には、頭頂部近傍に全方位カメラ１１が一つ設けられている。この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図２に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。

胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１８が左右に一つずつ設けられている。また、図３に示すように、胸部３の背面には、荷物を収納することができるランドセル部３３が設けられている。ランドセル部３３には、上部に設けたヒンジ周りに回動可能な開閉扉３３ａが設けられている。図２に示すように、胸部３の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ１９がそれぞれ一つずつ設けられている。肩スイッチ１９には、例えば、タッチセンサが採用されている。

右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図２に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。

腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外線センサ２３が配列されたセンサ領域２４が設けられている。これら赤外線センサ２３は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図２および図３に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図３に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。

スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図３に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。

図２に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。図３に示すように、脚部７の背面には、充電ステーションにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。

このようなロボット１は、ロボット本体に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボット１の所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。
そのため、ロボット１は、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。このような機能は、例えば、ロボット１の本体に内蔵されたマイクロコンピュータ等からなる制御装置により実現されるものである。制御装置には、上述した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。なお、ロボット１の形状としては、図２および図３に示した形状に限られず、愛玩用に動物を模したものなど、種々のものを採用することが可能である。

人物状況認識装置５０は、図１に示すように、人物を監視する監視手段としての各種物理センサ５１と、人物からの所定の指示を得ることなく、物理センサからの情報に基づいて人物の状況を認識する人物状況認識部６０とを備えている。人物状況認識部６０は、物理センサ５１からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する論理センサ（要素内容特定手段）５２と、人物の状況と各前記要素の内容とが対応付けられている情報蓄積部（情報蓄積手段）５３と、各要素の内容の組合せに基づいて人物の状況を認識する認識部(認識手段)５４とを備えている。

物理センサ５１は、例えば、人物の状態をさまざまな角度から捉えるビデオカメラ等であり、本実施形態では、住居の天井や壁等に設置され、人物の様子を上方から或いは側方から捕らえるビデオカメラ５５や、ロボット１に設けられ、人物の顔の表情や姿勢などを捕らえるカメラなどが一例として挙げられる。具体的には、ロボット１に設けられた前方カメラ１３、超音波距離センサ１６、および超音波距離センサ２２等が物理センサ５１として機能する。また、ロボット１は、時計機能を有しており、これらセンサにより取得された各種情報とともに、時刻情報を後述の論理センサ５２に出力する。上記物理センサ５１と論理センサ５２とは無線或いは有線の通信回線を介して接続されている。

論理センサ５２は、物理センサ５１により検出された人物の情報を受信する機能を備えている。また、論理センサ５２は、例えば、マイクロコンピュータなどを備えており、物理センサ５１から受信した情報に基づいて人物の状況を認識するための複数の要素の内容を特定する。ここでいう要素とは、１つ１つの要素は短時間あるいは瞬間的に行われるものであり、これ自体に明確な目的は無いものをいう。

上記要素としては、図１および図４に示すように、「場所」、「移動状況」、「姿勢」、「手の状態」、「顔の状態」などが一例として挙げられる。また、図４に示すように、「場所」に対応する内容として「寝室」、「リビング」、「台所」、「電話周辺」、「洗面所」などが挙げられ、「移動状況」に対応する内容として「静止」、「歩いている」、「歩き出す」、「立ち止まる」、「速く歩く」、「ゆっくり歩く」、「一方向」、「戻ってくる」などが挙げられ、「姿勢」に対応する内容として「立つ」、「椅子に座っている」「床に座っている」、「仰向けに寝る」、「立ち上がる」、「床に座る」、「椅子に座る」、「横になる」などが挙げられる。また、「手の状態」に対応する内容として、手の位置および手の動作が挙げられ、具体的には、手の位置として「下方」、「耳の横」、「頭の上」、「静止」、また、動作として「動きあり」、「上下の動き」、「左右の動き」などが挙げられる。また、「顔の状態」に対応する内容として、顔の位置および顔の動作が挙げられ、具体的には、顔の位置として、「正面」、「斜め下」、「斜め上」、「上」、「下」「横」などが挙げられ、顔の動作として「静止」、「動作あり」などが挙げられる。なお、これら内容については一例であり、これらに限られることはない。

論理センサ５２は、「場所」の内容特定については、以下の手法により特定することが可能である。
例えば、天井や壁などに設けられたカメラ５５の設置位置は既知であるので、人物が捉えられた画像の送信元であるカメラ５５を特定することにより、人物がどの位置にいるのかを特定することが可能である。また、ロボット１が、自己位置を検出する機能、周囲にいる人物までの方位、距離を検出する機能を備えている場合には、ロボット１からロボットの位置情報および人物までの距離と方位とを受け取ることにより、これら情報から人物の位置を特定することができる。

論理センサ５２は、「移動状況」の内容特定については、以下の手法により特定することが可能である。例えば、カメラにより撮影された画像フレームの差分をとることにより、人物が移動しているか静止しているのかを判定する。また、カメラ５５により人の位置を連続的に追尾することにより、移動速度、移動経路を追跡する。なお、この移動状況の特定についても、上述の手法は一例であり、この手法に限られない。

論理センサ５２は、「姿勢」、「手の状態」、「顔の状態」の内容特定については、以下の手法により特定することが可能である。例えば、ロボット１が備える前方カメラ１３により取得された画像を画像処理することにより、人物の姿勢、手の状態、顔の状態を特定する。例えば、「姿勢」については、前方カメラ１３により検出された人物の高さによって、立っているか座っているかを判定することができる。また、仰向けに寝ていることは、天井に設置されたカメラ５５からの画像情報に基づいて全身、上半身を認識することにより行われる。更に、「立ち上がる」、「床に座る」、「椅子に座る」については、加速度センサを併用することにより、各動作を認識することが可能である。

また、手の状態、顔の状態については、画像情報から肌色検出を行うことにより手の位置を抽出し、頭部との位置関係において手の位置を特定する。また、顔の状態については、目や鼻など顔の特徴部分を画像処理により抽出し、更に、これら目や鼻の状態により顔の方向などを特定する。

なお、人物の姿勢、手の状態、顔の状態を特定する機能をロボット１が備えている場合には、ロボット１からその姿勢情報、手の状態情報、顔の状態情報を受信することにより、人物の姿勢等を特定することとしても良い。また、手の動き検出等については、特開２００５−２１５９２７号公報に開示されている技術を採用することも可能である。

情報蓄積部５３は、人物の状況と各要素の内容とを対応付けて記憶している。例えば、図５に示すように、「場所」に対して「ダイニング」、「移動状況」に対して「静止」、「姿勢」に対して「椅子に座っている」、「手の状態」に対して「上下の動き」、「顔の状態」に対して「斜め下方、かつ、動きあり」の組み合わせには、「食事中」という人物状況が対応付けられている。このように、人物の状況、例えば、「料理をする」、「電話中」、「読書中」、「居眠り中」などの各状況に対応して各要素の内容の組み合わせが対応付けられている。

認識部５４は、論理センサ５２により特定された各要素の内容の組み合わせに一致する人物の状況を情報蓄積部５３から取得することにより人物の状況を認識し、この認識結果を通信回線を介してロボット１に出力する。ロボット１は、例えば、各動作プログラムと人物の状況とが対応付けられたデータベースを保有しており、このデータベースを参照して、人物の状況に対応する動作プログラムを読み出し、この動作プログラムを実行することにより、人物の状況に適した対応を実現させる。

次に、上述した構成を備える生活支援システムの作用について説明する。
ここでは、一例として、人物が食事をしている場合について説明する。
まず、住居内に設けられた複数のカメラ５５およびロボット１の前方カメラ１３、超音波距離センサ１６、および超音波距離センサ２２などから構成される物理センサ５１から取得された画像情報などが通信回線を介して論理センサ５２に入力されると、論理センサ５２は、これらの画像情報を画像処理することにより、「場所」、「移動状況」、「姿勢」、「手の状態」、「顔の状態」などから構成される各要素の内容を特定する。この結果、論理センサ５２により、「場所」の内容として「ダイニング」が、「移動状態」の内容として「静止」が、「姿勢」の内容として「椅子に座っている」が、「手の状態」として「上下の動き」が、「顔の状態」として「正面斜め下方かつ動きあり」が特定される。この特定結果は、認識部５４に出力される。

認識部５４は、上述した各要素の内容の組み合わせと一致する人物の状況を情報蓄積部５３から取得する。この結果、「食事中」という人物の状況が取得されることとなる。認識部５４は、人物の状況が「食事中」であると認識すると、この認識結果を通信回線を介してロボット１へ送信する。これにより、ロボット１の制御装置により「食事中」に対応する動作プログラムが実行されることにより、人物の状況に適した対応がなされることとなる。

以上説明してきたように、本実施形態に係る生活支援システムによれば、物理センサ５１により取得された人物の画像に基づいて、人物の状況を認識するための各要素の内容を特定し、この要素の内容の組み合わせに基づいて人物状況を認識するので、非常に容易に人物の状況を認識することが可能となる。また、この認識結果に応じた対応をロボット１が行うことにより、ユーザからの指示の有無にかかわらずに、自主的に行動することが可能となる。

なお、上述の実施形態においては、人物の状況を認識する際に、時間的概念を考慮していなかったが、時間的概念を含めて人物の状況を認識することとしても良い。また、時間的概念を含めた場合には、より人物の状況認識が容易となるため、その他の要素に関する特定を省略することとしても良い。例えば、人物が「電話機の周辺で２分程度停止している」という状況にある場合、「電話中」と判断することができる。一方、「電話中」と判断する際に、「手の状況」や「顔の状態」などは有効な判断材料にならない。このような場合には、「電話機の周辺」という「場所」の要素と、「停止」という「移動状況」の要素、および「２分以上」という「時間」の要素からなる３つの要素を特定することにより、「電話中」であるという状況を十分認識することが可能となる。

また、人は通常、「朝」、「昼」、「晩」の時間帯に、「ダイニング」で「椅子に座って」食事をするので、「場所」、「姿勢」、「時間帯」という３つの有効な要素に基づいて「食事中」という人物状態を認識することとしても良い。
このように、図４および図５に示した５つの要素について全てを特定するのではなく、人物の状況を認識するのに有効な要素のみを限定して特定することにより、更に容易に人物の状況を認識することが可能となる。

また、上記情報蓄積部５４は、随時更新可能に構成されていても良い。例えば、人物が連続的に長時間滞在する場所、一日のうちに何度も訪れる場所、大体一定の時間に訪れる場所、略一定の間隔で訪れる場所などについて、これら場所が何を行う場所なのかを事後的に登録することにより、人物の状態認識の精度を更に高めることが可能となる。

例えば、人物が一定の場所に長時間滞在していることがロボット１により検出された場合、ロボット１が人物に対して「何をしているの？」と問いかけるようにプログラムしておき、この問いかけに対応する人物からの回答と、このときの各要素の内容を対応付けて情報蓄積部５４に蓄積することにより、情報蓄積部５４を更新することとしても良い。

具体的には、人物がリビングに長時間滞在している場合、ロボット１は人物に対して「何をしているの？」と問いかける。この問いかけに対して「テレビを見ている」という回答があった場合、この「テレビを見ている」という回答と、現在、論理センサ５２により特定されている各要素の内容、例えば、「場所」の内容として「リビング」、「移動状況」として「静止」、「姿勢」として「ソファに寝ている」、「手の状態」として「静止」、「顔の状態」として「斜め横かつ動きあり」の内容の組み合わせを対応付けて情報蓄積部５４に蓄積することとしても良い。

更に、情報蓄積部５４に情報を蓄積する際に、人物の状況と各要素の内容とが適切であるかを人物に対してロボット１が確認することとしても良い。このように、確認することで、より精度の高い情報を情報蓄積部５４に蓄積することが可能となる。例えば、「テレビを見ている」という状況を判断するのに、「手の状態」は有効な要素に含まれないので、「手の状態は削除する」という指示を人物がすることにより、「手の状態」以外の要素の内容の組み合わせから「テレビを見ている」という人物状況が認識されることとなる。

更に、上述した情報蓄積部５４に蓄積されている情報は、人物ごとにカスタマイズされていても良い。このように、カスタマイズされていることにより、人物の行動特性に応じた状況認識を実施することが可能となり、状況認識の精度を更に高めることが可能となる。この場合、人物の識別については、例えば、画像処理により顔の照合を行うことによって識別を行うこととしても良いし、人物の識別情報が記録されたＩＣタグ５６を人物が携帯し、このＩＣタグ５６の情報を読み取ることにより、人物の識別を容易に行うこととしても良い。

更に、人物状況認識装置は、人物の過去の履歴（状況）に基づいて、現在の状況を認識することとしても良い。このように、過去の履歴に基づいて、現在の状況を認識することによって、より高い精度で人物の状況を認識することが可能となる。

〔第２の実施形態〕
次に、本発明の第２の実施形態に係る生活支援システムについて図を参照して説明する。本実施形態に係る生活支援システムは、上述した第１の実施形態のように、住居などの比較的狭い屋内の居住空間を対象としたものではなく、不特定の複数の人物が行き来する比較的広い範囲、例えば、テーマパーク、商店街、美術館内などを生活支援の対象エリアとしている。このため、本実施形態に係る生活支援システムが備えるロボット１の台数や、物理センサ５１の台数も行動範囲に応じて多数設置されることとなる。

更に、本実施形態では、情報蓄積部５３に蓄積される情報が上述した第１の実施形態と異なる。つまり、上述した第１の実施形態では、狭い居住空間内で、人物の生活に密着した形態での生活支援であったが、本実施形態では、比較的広い範囲内に存在する不特定多数の人物の中からロボット１等の支援を必要とする人物、例えば、「道に迷っている」、「立ち入り禁止区域に入ろうとしている」、「ロボットを呼んでいる」等の人物の状況を認識する。
以下、本実施形態に係る生活支援システムについて、上述した第１の実施形態と共通する構成要素については同一符号を付して説明を省略し、異なる構成要素について説明する。

図６に、本実施形態に係る情報蓄積部５３の内容を示す。本実施形態において論理センサ５２により取り扱われる要素は、上述と同様に、「場所」、「移動状況」、「姿勢」、「手の状態」、「顔の状態」とされている。また、人物の状況としては、例えば、「道に迷う」、「ロボットを呼ぶ」、「立ち入り禁止区域への進入」などがある。
「道に迷う」という人物行動に対応する各要素の内容の組み合わせは、図６に示すように、複数存在している。
例えば、「移動状況」として「同じ場所を行き来する」という１つの要素に対する内容と「道に迷う」という人物状況が対応付けられている。また、「場所」として「案内板前」、「移動状況」として「静止」、「顔の状態」として「前方かつ上方」という３つの要素の内容の組み合わせと「道に迷う」という状況とが対応付けられている。

「ロボットを呼ぶ」という状況については、「移動状況」として「静止」、「手の状態」として「頭上で左右移動」、「顔の状態」として「ロボットの方向」という３つの要素の内容の組み合わせと「ロボットを呼ぶ」という状況とが対応付けられている。
また、「立ち入り禁止区域への進入」という状況については、要素内容の組み合わせが以下のように、複数存在している。
１つは、「場所」として「禁止エリアの位置」、「移動状況」として「静止」という２つの要素の内容の組み合わせが「立ち入り禁止区域への進入」という状況に対応付けられており、もう１つは、「場所」として「禁止エリアの位置」、「移動状況」として「静止」、「手の状態」として「顔の前で静止」、「顔の状態」として「正面」という４つの要素の内容の組み合わせが「立ち入り禁止区域への進入」という状況に対応付けられている。

論理センサ５２は、物理センサ５１から送られてくる画像情報等に写っている各人物について、各要素「場所」、「移動状況」、「姿勢」、「手の状態」、「顔の状態」の内容をそれぞれ特定し、これら要素の内容をその人物の識別情報に対応付けて認識部５４に出力する。なお、人物の識別情報については、各人物が識別情報を記憶したＩＣタグ５６を携帯している場合には、このＩＣタグ５６から識別情報を読み取ることにより人物を識別してもよく、或いは、このような識別情報が割り当てられていない場合には、各人物について個別の識別情報を論理センサ５２が自動的に付すことにより、各人物を識別する。

認識部５４は、論理センサ５２により各人物の各要素に対応する内容が特定すると、これらの内容の組み合わせに一致する状況を情報蓄積部５３から取得する。このとき、該当する状況がない人物については、今回の認識は行わないこととする。この結果、情報蓄積部５３に、各要素の内容の組み合わせと一致する状況がある人物については、その人物の識別情報、および、その人物の状況を対応付けてロボット１に出力する。このとき、人物状況認識装置は、各ロボット１の位置を認識しているため、対象となる人物に最も近い位置にいるロボット１に対して、認識結果等を送信する。

人物状況認識装置５０から認識結果および人物の識別情報を受信したロボット１は、この人物の識別情報に基づいて不特定多数の人物の中から所望の人物を見つけ出し、この人物に対して認識結果に適した対応をとる。
例えば、認識結果が「道に迷う」であれば、ロボット１は、「どこにいきたいですか？」などのように問いかけ、この問いかけに対する回答に応じて、現在地や目的地への道順を案内するサービスを提供する。
また、認識結果が「ロボットを呼ぶ」であれば、ロボット１は、「どうしましたか？」などのように問いかけ、この問いかけに対する回答に応じて対話や動作を実行することにより、この人物の要望にあった行動を行う。
更に、認識結果が「立ち入り禁止区域への進入」であった場合には、ロボット１は、「そこへ入ってはいけません」などのように、進入を阻止するような行動をとることにより、人物の安全性を確保する。

以上、説明してきたように、本実施形態に係る生活支援システムでは、テーマパークやアーケード街などのように、比較的広大な範囲においても人物の行動を認識でき、人物の行動に適した対応をとることが可能となる。

なお、上述した第１の実施形態および第２の実施形態では、人物状況認識装置はロボット１と個別に設置されていたが、この構成例に限られること無く、例えば、ロボット１に人物状況認識装置５０が搭載される構成としても良い。
また、上述した第１の実施形態および第２の実施形態では、人物状況認識装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、各物理センサからの検出信号に基づいて別途ソフトウェアにて処理する構成も可能である。この場合、人物状況認識装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の人物状況認識装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

なお、上述のように、ソフトウェアにて処理するのではなく、論理センサ５２と認識部５４という２つのハードウェアにより人物状況認識装置を構成することにより、例えば、各要素に対応する内容の特定処理を並列に実行することができる、論理センサの１つがだめになっても残りの論理センサによってバックアップすることができるなどの利点を得ることが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態に係る生活支援システムの概略構成を模式的に示したブロック図である。 図１に示したロボットの正面図の一例を示した図である。 図３は、図２に示したロボットの左側面図である。 本発明の第１の実施形態に係る論理センサにより分類される要素の種類、および、各要素における内容の一例を示した図である。 本発明の第１の実施形態に係る情報蓄積部に蓄積される情報の一例を示した図である。 本発明の第２の実施形態に係る情報蓄積部に蓄積される情報の一例を示した図である。

符号の説明

１ ロボット
５０ 人物状況認識装置
５１ 物理センサ
５２ 論理センサ
５３ 情報蓄積部
５４ 認識部
６０ 人物状況認識部

Claims (9)

1. 人物を監視する監視手段と、
   前記人物からの所定の指示を得ることなく、前記監視手段からの情報に基づいて前記人物の状況を認識する人物状況認識手段と
   を具備する人物状況認識装置。
2. 前記人物状況認識手段は、
   前記監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定手段と、
   各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識手段と
   を備える請求項１に記載の人物状況認識装置。
3. 人物を監視する監視手段と、
   前記監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定手段と、
   各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識手段と
   を具備する人物状況認識装置。
4. 人物の状況と各前記要素の内容とが対応付けられている情報蓄積手段を有し、
   前記認識手段は、前記要素内容特定手段により特定された各前記要素の内容の組み合わせに一致する人物の状況を前記情報蓄積手段から取得することにより、前記人物の状況を認識する請求項２または請求項３に記載の人物状況認識装置。
5. 前記認識手段は、前記人物の過去の状況履歴を参照して、前記人物の状況を認識する請求項２から請求項４のいずれかに記載の人物状況認識装置。
6. 人物を監視する監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定過程と、
   各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識過程と
   を具備する人物状況認識方法。
7. 人物を監視する監視手段からの情報に基づいて、人物の状況を認識するための複数の要素の内容を特定する要素内容特定処理と、
   各前記要素の内容の組合せに基づいて前記人物の状況を認識する認識処理と
   をコンピュータに実行させるための人物状況認識プログラム。
8. 請求項１から請求項３のいずれかに記載の人物状況認識装置によって認識された人物の状況に応じた対応をするロボット。
9. 請求項１から請求項５のいずれかに記載の人物状況認識装置と、
   請求項８に記載のロボットと
   を具備する生活支援システム。

Images