JP2004029908A - サポートシステムおよびプログラム - Google Patents
サポートシステムおよびプログラム Download PDFInfo
- Publication number
- JP2004029908A JP2004029908A JP2002181212A JP2002181212A JP2004029908A JP 2004029908 A JP2004029908 A JP 2004029908A JP 2002181212 A JP2002181212 A JP 2002181212A JP 2002181212 A JP2002181212 A JP 2002181212A JP 2004029908 A JP2004029908 A JP 2004029908A
- Authority
- JP
- Japan
- Prior art keywords
- support
- robot
- supportee
- location
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Abstract
【課題】サポートを必要とする被支援者の存在を探索し、この被支援者が必要とするサポート動作を自律的に実行するサポートロボットを迅速に派遣可能なサポートシステムを提供できるようにする。
【解決手段】パトロールロボット２は、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識してサポートセンタ１に対して支援要請を送信する。サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に対応付けられている複数のサポートロボット３のうち、被支援者の居場所に近いサポートロボット３に対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請する。
【選択図】 図１
【解決手段】パトロールロボット２は、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識してサポートセンタ１に対して支援要請を送信する。サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に対応付けられている複数のサポートロボット３のうち、被支援者の居場所に近いサポートロボット３に対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、手助けを必要とする被支援者をサポートするサポートシステムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、動物／ペットの擬似的行動を行う動物ロボット／ペットロボットは、現在の外界情報および内界情報を認識しながら動作パターンを選択的に呼び出して、人間からのコミュニケーションに対応した応答動作を行うようにしている。すなわち、この種のロボットには、外界感覚機能として、視覚系のカメラ、聴覚系のマイクロフォーン、触覚系の接触センサ等が備えられており、人間のアクション（身振り、話し掛け、接触等）に応じた対応動作（音声／表示による会話、行動等）を実行するようにしている。
【０００３】
【発明が解決しようとする課題】
このように人間からのコミュニケーションに対応した応答動作を行う為に、感覚機能や認識機能を備えた知能ロボットは、動物ロボット等の娯楽用ロボットの他、例えば、屋内を移動しながら掃除する掃除ロボット、留守番役を行う警備ロボット、老人介護を行う介護ロボット等、人間の手助けを行う作業ロボット、更には、２足走行で階段の上り下りも可能な人間型ロボットも多数開発されており、その高機能化や多機能化によって益々人間の能力や動作に近づきつつある。
【０００４】
第１の発明の課題は、サポートを必要とする被支援者の存在を探索し、この被支援者が必要とするサポート動作を自律的に実行するサポートロボットを迅速に派遣可能なサポートシステムを提供できるようにすることである。
第２の発明の課題は、サポートを必要とする被支援者の存在を探索し、この被支援者が必要とする支援活動を行う支援者を迅速に派遣可能なサポートシステムを提供できるようにすることである。
【０００５】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣するサポートシステムであって、サポートを必要とする被支援者の存在を探索する探索手段と、この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、この認識手段によって認識されたサポート種に対応付けられている複数のサポートロボットのうち、前記認識手段によって認識された被支援者の居場所に近いサポートロボットを選択する選択手段と、この選択手段によって選択されたサポートロボットに対し、前記認識手段によって認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するサポート派遣手段とを備えたことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項７記載の発明）。
【０００６】
したがって、請求項１、７記載の発明は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に対応付けられている複数のサポートロボットのうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボットを迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
【０００７】
請求項２記載の発明（第２の発明）は、手助けを必要とする被支援者をサポートする支援者を派遣するサポートシステムであって、サポートを必要とする被支援者の存在を探索する探察手段と、この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、この認識手段によって認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識手段によって認識された被支援者の居場所に近い支援者を選択する選択手段と、この選択手段によって選択された支援者所持の端末に対して、前記認識手段によって認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請するサポート派遣手段とを備えたことを特徴とする。
更に、コンピュータに対して、上述した請求項２記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項８記載の発明）。
【０００８】
したがって、請求項２、８記載の発明は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に応じた支援活動を行う複数の支援者のうち、被支援者の居場所に近い支援者が所持している端末に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート活動を行う適切な支援者を迅速に派遣することができる。
【０００９】
なお、請求項１あるいは２記載の発明は次のようなものであってもよい。
前記探察手段は、サポートを必要とする被支援者の存在をその被支援者所持の発信装置から発信出力された信号に基づいて探索する（請求項３記載の発明）。したがって、請求項３記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、被支援者にあっては、発信装置（例えば、被支援者用の電子カード、携帯端末）を所持するだけで、希望するサポートを受けることができる。
【００１０】
前記探察手段は、サポートを必要とする被支援者の存在を、その周囲を連続撮影した撮影画像を解析することによって探索する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、周囲を撮影した画像に基づいて被支援者の存在を探索することができ、携帯端末を所持していない被支援者であっても、その被支援者が必要とするサポートを提供することができる。
【００１１】
サポートを必要とする被支援者の存在を自律的に探索する移動可能な探索ロボットを設け、この探索ロボットは、被支援者の居場所を認識して装置本体を当該発信位置付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識する（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、サポートを必要とする被支援者の存在を自律的に探索する移動可能な探索ロボットは、被支援者の居場所をを認識して装置本体を当該支援者の居場所付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識するようにしたから、サポートを必要とする被支援者を見つけ出して近づくことができ、被支援者にあっては、例えば、案内掲示板あるいは係員等を探し回ったり、その位置まで出向かなくてもよく、歩行が困難な老人や障害者にあっては一層効果的なものとなる。
【００１２】
サポートを必要とする被支援者の存在を自律的に探索する探索ロボットと、このサポートロボットにネットワークを介して接続されているサポートセンタとを備えたサポートシステムであって、前記探索ロボットは、被支援者をサポートする為のサポート動作を自律的に実行可能なロボットであり、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、前記サポートセンタに対して被支援者の居場所および必要とするサポート種を送信して支援要請を行う（請求項６記載の発明）。
【００１３】
したがって、請求項６記載の発明によれば、請求項５記載の発明と同様の効果を有する他に、探索ロボットは、被支援者をサポートする為のサポート動作を自律的に実行可能なロボットであり、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタに対して被支援者の居場所および必要とするサポート種を送信して支援要請を行うようにしたから、サポートロボットや支援者の出動を要請しなくても、例えば、化粧室、売場等への施設案内を行う簡易なサポートの場合には、サポートロボットあるいは支援者の出動を要請しなくても、探索ロボット自身がその場で実行することができる。
【００１４】
【発明の実施の形態】
以下、図１〜図６を参照してこの発明の一実施形態を説明する。
図１は、この実施形態におけるサポートシステムの全体構成を示したブロック図である。
このサポートシステムは、例えば、イベント会場、大型店舗内、駅構内等において、手助けを必要とする被支援者をサポートする為に構築された構内通信システムであり、このサポートシステムの中核となるサポートセンタ１には、サポートを必要とする被支援者の存在を自律的に探索するパトロールロボット２と、被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボット３とがネットワーク網（構内移動体通信網）４を介して接続されている。
更に、サポートセンタ１には、被支援者であるユーザ所持の携帯端末（ユーザ端末）５と、被支援者が必要とする支援活動を行う支援者（係員）が所持の携帯端末（係員端末）６とがネットワーク網４（構内移動体通信網、インターネット）を介して接続されている。
【００１５】
サポートセンタ１は、サーバ機能を有するコンピュータシステムであり、非稼動中のパトロールロボット２およびサポートロボット３を保管する倉庫を有し、パトロールロボット２およびサポートロボット３を保管している間、ロボット２、３への充電を行う。そして、サポートセンタ１は、パトロールロボット２からネットワーク網４を介して支援要請を受けた場合あるいはユーザ端末５からネットワーク網４を介して支援要請を受けた場合に、サポートロボット３あるいは係員に対してその被支援者が居る場所まで出向いてサポートを行うべきことを指令する出動要請を行う。
【００１６】
その際、サポートセンタ１は、支援要請を受けたサポート種がサポートロボット３でも対応可能なものであれば、サポートロボット３に対して出動要請を送信し、サポートロボット３では対応不可能であれば、係員端末６に対して出動要請を送信する。更に、サポートセンタ１は、サポートロボット３が現在作業中か否かを監視しており、サポートロボット３に対して出動要請を送信する場合に、非作業中であることを条件として、サポートロボット３に対して出動要請を送信するが、サポートロボット３が作業中であれば、係員端末６に対して出動要請を送信する。
【００１７】
パトロールロボット２は、構内を自律的に巡回移動しながら被支援者の存在を探索する探索ロボットであり、例えば、半径５０メートル以内に居る被支援者を独自に探し出して、被支援者の居る場所まで走行移動し、その被支援者の近傍に到着した場合に、被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合には、サポートセンタ１に対して支援要請を発信する。この場合、パトロールロボット２は、必要とするサポート種別を認識し、被支援者の居場所および必要とするサポート種を含む支援要請を行う。
ここで、被支援者とは、障害者、健常者を問わないが、被支援者が障害者の場合には、赤外線や微弱無線等の近距離通信を介して障害者ＩＤバッチ（障害者用の携帯発信装置）７から送信されて来た障害内容を示す障害種別（障害者ＩＤ）を受信し、この障害者ＩＤに基づいて障害種別（サポート種別）を認識するようにしている。
【００１８】
また、パトロールロボット２は、被支援者の存在を探索する機能の他に、被支援者をサポートする為のサポート動作を自律的に実行可能な機能を有し、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタ１に対して被支援者の居場所および必要とするサポート種を送信して支援要請を行う。この場合、自己が実行可能なサポートとは、サポートセンタ１に対して支援要請を行わなくても、パトロールロボット２自身がその場で実行可能なサポート、例えば、化粧室等への施設案内を行う簡易なサポートである。
【００１９】
サポートロボット３は、被支援者をサポートする為の各種のサポート動作を自律的に実行するロボットであり、サポート種に応じた独自のサポート動作を実行する。つまり、サポートロボット３は、そのサポート機能に応じて「歩行支援ロボット」、「運搬代行ロボット」、「誘導案内ロボット」に分類されている。
「歩行支援ロボット」は、歩行が困難な障害者、老人等に対して歩行を支援するサポート動作を行うサポートロボット３である。「運搬代行ロボット」は、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行うサポートロボット３である。「誘導案内ロボット」は、被支援者に付き添って目的地まで誘導案内するサポートロボット３である。この歩行支援ロボット、運搬代行ロボット、誘導案内ロボットのうち、サポートセンタ１は、支援要請を受けたサポート種に対応するサポートロボット３を選択して出動要請を行う。
【００２０】
一方、ユーザ端末５は、例えば、カード型／ステック型の小型通信装置（例えば、電子ネームプレート）、携帯電話、通信機能付きＰＤＡ等のような携帯型のパーソナル端末であり、赤外線や微弱無線等の近距離通信あるいは移動体通信網を利用して、サポートロボット１との間でデータ信号の送受信を実行可能なものである。そして、ユーザ端末５および障害者ＩＤバッチ（障害者用の携帯発信装置）７は、構内移動体通信網（構内基地局）を介して現在の居場所を特定すると共に、サポートロボット１に対して現在の居場所を通知する位置測定通知機能を有している。
【００２１】
係員端末６は、イベント会場、大型店舗内、駅構内等に配属され、顧客からの要望に応じた支援活動を行う係員が所持している携帯電話、通信機能付きＰＤＡ等のような携帯型のパーソナル端末である。この場合、サポートセンタ１側では、各係員が担当する支援活動毎に、その係員端末６をアクセスする端末情報を記憶管理しており、支援要請のあったサポート種対応の支援活動を行う係員を特定し、その係員端末６に対して出動要請を行う。この場合、各係員は、例えば、「急患に対して応急処置を行う担当班」、「迷子の世話を行う担当班」、「構内を掃除する担当班」、「その他の担当班」に分かれている。
【００２２】
図２は、パトロールロボット２、サポートロボット３の基本的な構成要素を示したブロック図である。
パトロールロボット２、サポートロボット３は、外界感覚機能として、視覚系のカメラ、聴覚系のマイクロフォーン、触覚系の接触センサ等を備え、外界情報および内界情報を認識しながら２足走行可能な人間型の高知能ロボットである。ＣＰＵ１０１は、記憶部１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのロボットの全体動作を制御する中央演算処理装置である。記憶部１０２は、磁気的、光学的、半導体メモリ等によって構成されている記録媒体やその駆動系を有している。この記録媒体はハードディスク等の固定的な媒体若しくは着脱自在に装着可能なＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード、磁気カード等の可搬型の媒体である。また、ＣＰＵ１０１は記録媒体内に格納されるその一部あるいは全部を他の機器側から取り込み、記録媒体に新規登録あるいは追加登録することもできる。
【００２３】
一方、このロボットには、外界感覚機能として、聴覚系の音声入力部１０３、視覚系の画像入力部１０４、触覚系の接触検出部１０５を有し、それらは入力周辺デバイスとしてＣＰＵ１０１に接続されている。
音声入力部１０３は、Ａ／Ｄ変換器、マイクロフォーン、エコーキャンセラ回路からなり、外界音声を入力し、その音声波形をＡ／Ｄ変換するもので、人間からのアクション（話し掛け）あるいは構内放送等の周囲音を外界情報として検出する聴覚系感覚機能を構成する。音声入力部１０３からの入力音声は、ＣＰＵ１０１に取り込まれて音声解析される。ここで、ＣＰＵ１０１は、音声解析の結果、その話し掛けの内容を言語認識する。
【００２４】
画像入力部１０４は、デジタルスチールカメラによって構成され、周囲を連続撮影し、その撮影画像をデジタル画像に変換するもので、例えば、歩行移動中にその歩行方向を撮影しながら障害物を認識したり、被支援者の動作を外界情報として検出する視覚系感覚機能を構成する。この画像入力部１０４によって自動撮影されたデジタル画像は、ＣＰＵ１０１に取り込まれて画像解析される。この場合、ＣＰＵ１０１は、その解析結果にしたがって障害物の有無、被支援者の身振りや行動を認識する。
接触検出部１０５は、本体に配置された感圧式センサや人体容量検出型センサ等を有し、人間のアクション（接触）を外界情報として検出する触覚系感覚機能を構成するもので、人間の接触を感知したセンサ出力をデジタル信号としてＣＰＵ１０１に与える。ここで、ＣＰＵ１０１は、その検出結果に応じてどの位置が接触されたかの接触位置を認識する。
【００２５】
また、ＣＰＵ１０１には、音声応答部１０６、可動動作部１０７、駆動機構部１０８、信号発信／受信部１０９の他、充電端子１１０、バッテリ１１１、位置測定装置１１２が接続されている。
音声応答部１０６は、被支援者との間で会話応答を行う場合に、スピカーから音声を発声出力させるものであり、ＣＰＵ１０１は、会話応答する音声情報を生成して音声応答部１０６から出力させる。可動動作部１０７は、ロボット本体の可動部（手足、腰、首、顎等の関節系の他に、口、目を含む）を動作させる機構部である。
駆動機構部１０８は、モータ、電源、駆動機構を備え、可動動作部１０７に対する駆動源である。信号発信／受信部１０９は、ユーザ端末５、障害者ＩＤバッチ７あるいは構内基地局との間でデータ信号の送受信を行う。位置測定装置１１２は、構内基地局の位置を検出しながらロボット本体の現在位置を測定する。
【００２６】
そして、このロボットの全体動作を制御するプログラム等は、記憶部１０２に格納されている。すなわち、システムプログラムＰ１、言語認識プログラムＰ２、手話認識プログラムＰ３、画像認識プログラムＰ４、接触認識プログラムＰ５が格納されている。
システムプログラムＰ１は、サポートロボット１の全体動作を制御する基本プログラムであり、言語認識プログラムＰ２は、人間からの話し掛けに応答してその入力音声を解析して言語認識（例えば、連続音声認識）するためのプログラムである。また、手話認識プログラムＰ３は、視覚障害者からの手話を画像解析（動画処理）して言語認識するためのプログラムであり、画像認識プログラムＰ４は、人間の身振りや行動、周囲環境の撮影画像を解析し、その身振りや行動、障害物の有無等を認識するためのプログラムであり、更に、接触認識プログラムＰ５は、装置本体の所定位置に配置されている接触センサがタッチされた接触状態を認識するためのプログラムである。
【００２７】
一方、図示しないが、パトロールロボット２には、化粧室、売場等への施設案内を行う簡易なサポートを実行するサポートプログラムが組み込まれている。
このサポートプログラムとして、例えば、構内の電子掲示板に表示されている案内情報、構内施設に関する情報、陳列商品に関する情報等を音声で伝達するプログラム（音声案内サポート）が含まれている。この音声案内サポートは、特に、視覚障害者に対して有効であり、この音声案内中においては、言語認識プログラムＰ２および接触認識プログラムＰ５も合わせて起動させ、視覚障害者からのアクション応答を検知し、その応答内容に応じて例えば、案内情報を変更する等の応答動作も行う。この音声案内は、視覚障害者に限らず、その他の障害者や健常者に対しても有効である。
【０００２８】
更に、パトロールロボット２内のサポートプログラムには、例えば、構内放送に関する情報、構内施設に関する情報、陳列商品に関する情報等を表示で伝達するプログラム（表示案内サポート）が含まれている。この表示案内サポートは、特に、聴覚障害者に対して有効であり、この表示案内中においては、手話認識プログラムＰ３および接触認識プログラムＰ５も合わせて起動させ、聴覚障害者からのアクション応答を検知し、その応答内容に応じて例えば、案内情報を変更する等の応答動作も行う。この表示案内は、視覚障害者に限らず、その他の障害者や健常者に対しても有効である。
【００２９】
一方、サポートロボット３としての「歩行支援ロボット」には、歩行が困難な障害者や老人等に付き添って手を支えながら歩行の手助けを行う動作プログラムが組み込まれている。この歩行サポート中において、画像認識プログラムＰ４も合わせて起動させ、歩行方向を撮影しながら移動し、障害物を発見した場合には、歩行を一時停止してその旨を報知したり、障害物を避ける迂回歩行を行わせたり、階段の上り下り時においては、段差に合わせて歩行移動する制御を行わせる。更に、歩行サポート中においては、接触認識プログラムＰ５および言語認識プログラムＰ２も合わせて起動させ、被支援者からのアクション応答を検知し、その応答内容に応じて例えば、歩行を一時中止する等の応答動作も行う。
【００３０】
その他、サポートロボット３としての「運搬代行ロボット」には、被支援者の近くまで出向き、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行う動作プログラムが組み込まれている。また、「誘導案内ロボット」には、要求された会場施設の場所まで付き添って誘導案内する為の動作プログラムが組み込まれている。
この「運搬代行ロボット」および「誘導案内ロボット」においても、障害物を発見した場合には、歩行を一時停止してその旨を報知したり、障害物を避ける迂回歩行を行わせたり、階段の上り下り時においては、段差に合わせて歩行移動する制御を行わせる。更に、被支援者からのアクション応答を検知し、その応答内容に応じて例えば、歩行を一時中止する等の応答動作も行う。
【００３１】
図３は、サポートセンタ１の基本的な構成要素を示したブロック図である。
サポートセンタ１は、ＣＰＵ２０１、記憶装置２０２、ＲＡＭ２０３、通信装置２０４、入力装置２０５、表示装置２０６を有している。ＣＰＵ２０１は、記憶装置２０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのサポートセンタ１の全体動作を制御する中央演算処理装置である。記憶装置２０２は、磁気的、光学的、半導体メモリ等によって構成されている記録媒体やその駆動系を有している。この記録媒体はハードディスク等の固定的な媒体若しくは着脱自在に装着可能なＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード、磁気カード等の可搬型の媒体である。また、ＣＰＵ２０１は記録媒体内に格納されるその一部あるいは全部を他の機器側から取り込み、記録媒体に新規登録あるいは追加登録することもできる。
【００３２】
次に、この第１実施形態におけるサポートシステムの動作アルゴリズムを図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３３】
図４および図５は、パトロールロボット２の動作を示したフローチャートである。
パトロールロボット２は、その電源投入に伴って予め決められている範囲内を移動しながらパトロール巡回する動作を行っている（ステップＡ１）。この場合、例えば、半径５０メートル以内に居る被支援者を独自に探し出す為に、障害者ＩＤバッチ７から発信される障害者ＩＤあるいはユーザ端末５から発信されるサポート要求を探索しながらパトロール巡回を行い（ステップＡ２）、その発信有無をチェックする（ステップＡ３）。
【００３４】
ここで、障害者ＩＤあるいはサポート要求の何れも受信しない場合には、周囲に居る人間を撮影しながらそれらの動作観察を行う（ステップＡ４）。すなわち、画像認識プログラムＰ４を起動させ、周囲の人間を連続撮影しながらその動作観察を行い、その結果、例えば、“一箇所に留まっている”、“しゃがみ込んでいる”等の不自然な動作を行っている人間が居るかを判別する（ステップＡ５）。ここで、不自然な動作を行っている人間が居ないことを認識した場合には、ステップＡ１に戻り、パトロール巡回を行いながら上述の動作を繰り返す。
【００３５】
いま、障害者ＩＤあるいはサポート要求を受信した場合には（ステップＡ３）、その障害者ＩＤあるいはサポート要求内に含まれている発信位置と現在のロボット位置とを比較して、その発信方向と移動距離を推定し（ステップＡ６）、その発信方向へ移動距離分だけロボット本体を走行移動させる（ステップＡ７）。この場合、発信位置の近傍まで達したかをチェックし（ステップＡ８）、近傍ではない場合には、該当する発信者の再探索を行った後（ステップＡ９）、発信方向と移動距離を推定しながらロボット本体を発信位置近傍まで走行移動させる（ステップＡ６〜Ａ９）。
【００３６】
これによって、ロボット本体が発信位置の近傍まで達した場合には（ステップＡ８）、画像入力部１０４を駆動させ、その発信者を撮影してその撮影画像から特徴抽出を行う（ステップＡ１０）。また、上述のステップＡ６で不自然な動作を行っている人間が居ることを認識した場合にも、その人間を撮影して特徴抽出を行う（ステップＡ１０）。この場合、撮影画像を解析して、背丈、衣服、性別、メガネ着用等の特徴を抽出する。
【００３７】
そして、図５のステップＡ１１に移り、発信者は、障害者であるかを認識する為に障害者ＩＤの有無をチェックし、障害者でなければ、例えば、“どうかしましたか”、“何か問題はありませんか”、“何か手助けできますか”等のメッセージを音声／表示によって問い合わせるが（ステップＡ１２）、障害者ＩＤを受信した場合には（ステップＡ１１）、この障害者ＩＤに基づいて障害種別を認識し、視覚障害者であれば、表示による問い合わせを行い、その他の障害者であれば、音声および表示によって問い合わせを行う（ステップＡ１３）。
【００３８】
そして、この問合せに応答して、被支援者からの回答を受信した場合には、その回答内容の解析を行う（ステップＡ１４）。いま、発信者が視覚障害者の場合には、手話認識プログラムＰ３を起動させ、手話を画像解析（動画処理）して言語認識し、その他の障害者の場合には、入力された音声回答内容を解析して言語認識（例えば、連続音声認識）する。そして、その回答内容に基づいてサポート種を認識して、自己が対処可能なサポートかを判別する（ステップＡ１５）。
【００３９】
この場合、自己でも対応可能であれば、その要求内容に基づいて簡易サポートプログラムを起動させ、その場でサポート動作を行うが（ステップＡ１６）、自己では対処できない特別なサポートが要求された場合には、回答内容から要求されたサポート種別を更に認識し（ステップＡ１７）、このサポート種別と共に、ユーザが居る現在の位置およびユーザの特徴情報をサポートセンタ１へ送信して支援要請を行う（ステップＡ１８）。これに応答してサポートセンタ１から送信されて来る手配済み通知を受信すると共に（ステップＡ１９）、サポート隊（サポートロボット３あるいは係員）が現地に到着するまで待機状態（移動停止状態）となる（ステップＡ２０）。
【００４０】
図６は、サポートセンタ１の動作を示したフローチャートである。
サポートセンタ１は、パトロールロボット２からの支援要請（ステップＢ１）あるいはユーザ端末５からの支援要請（ステップＢ２）があるまで待機状態となっている。ここで、パトロールロボット２あるいはユーザ端末５からの支援要請を受信した場合には、その受信内容に含まれているサポート種別および被支援者の現在位置を取得した後（ステップＢ３）、サポート種別は、サポートロボット３によって対応可能かを判別する（ステップＢ４）。
【００４１】
いま、要求されたサーポート種がサポートロボット３でも対応可能な場合には、被支援者の現在位置近傍で、要求されたサポート種対応のサポートロボット３を検索する（ステップＢ５）。つまり、サポートセンタ１は、各サポートロボット３の現在位置を常時監視しており、要求されたサポート種に対応するサポート動作を行う各サポートロボット３（歩行支援ロボット／運搬代行ロボット／誘導案内ロボット）の現在位置と、被支援者の居場所とを比較することによって、被支援者の居場所に近いサポートロボット３を検索する。
【００４２】
そして、被支援者の居場所に近いサポートロボット３は、非作業中か（他の被支援者に対してサポート中か）を判別し（ステップＢ６）、非作業中であれば、そのサポートロボット３を出動対象として選択指定し（ステップＢ７）、その選択ロボットに対して、被支援者の居場所を送信して（ステップＢ９）、出動要請を行う（ステップＢ９）。
この場合、サポートロボット３は、サポートセンタ１から送信されて来た被支援者の居場所を受信すると、このロボットの現在位置と被支援者の居場所とを比較して、被支援者の居る場所へ走行移動すると共に、被支援者の近傍に到着した場合には、実行するサポート内容や手順等を被支援者に対して音声／表示によって通知した後に、独自のサポート動作を開始する。この場合、サポートロボット３（歩行支援ロボット）は、歩行が困難な障害者、老人等に対して歩行を支援するサポート動作を行い、運搬代行ロボットは、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行い、誘導案内ロボットは、被支援者に付き添って目的地まで誘導案内する。
【００４３】
一方、サポートセンタ１は、要求されたサーポート種がサポートロボット３で対応不可能な場合（ステップＢ４）あるいは対応可能であっても被支援者の居場所に近いサポートロボット３が全て作業中である場合には（ステップＢ６でＮＯ）、要求されたサポート種に応じた支援活動を行う係員を選択指定する（ステップＢ１０）。この場合、サポートセンタ１は、サポート種毎に独自の支援活動を行う係員を管理しており、その中から要求されたサポート種に応じた支援活動を行う係員を選択する。そして、その係員端末６に対して被支援者の居場所および特徴情報を記した電子メール送信して出動要請を行う（ステップＢ１１）。
【００４４】
このようにサポートロボット３あるいは係員端末６に対して出動要請を行った後、サポートセンタ１は、その支援元は、パトロールロボット２かユーザ端末５かを判別し（ステップＢ１２）、支援元がパトロールロボット２であれば、そのパトロールロボット２に対して手配済み通知を行い（ステップＢ１３）、支援元がユーザ端末５であれば、そのユーザ端末５に対して手配済み通知を行う（ステップＢ１４）。
その後、パトロールロボット２からの支援要請（ステップＢ１）あるいはユーザ端末５からの支援要請（ステップＢ２）があるまで待機状態となり、以下、上述の動作を繰り返す。
【００４５】
以上のように、この実施形態においてパトロールロボット２は、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識してサポートセンタ１に対して支援要請を送信し、サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に対応付けられている複数のサポートロボット３のうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボット３（歩行支援ロボット、運搬代行ロボット、誘導案内ロボット）を迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
【００４６】
また、サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に応じた支援活動を行う複数の支援者（係員）のうち、被支援者の居場所に近い係員端末６に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、被支援者にとって必要なサポート活動を行う適切な係員（急患に対して応急処置を行う担当班、迷子の世話を行う担当班、構内を掃除する担当班、その他の担当班）を迅速に派遣することができる。
【００４７】
パトロールロボット２は、被支援者の存在をその被支援者所持のユーザ端末５、障害者ＩＤバッチ７から発信出力された信号に基づいて探索するようにしたから、被支援者にあっては、ユーザ端末５、障害者ＩＤバッチ７を所持するだけで、希望するサポートを受けることができる。
また、パトロールロボット２は、周囲を連続撮影した撮影画像を解析することによって被支援者の存在を探索するようにしたから、携帯端末等を所持していない被支援者であっても、その被支援者が必要とするサポートを提供することができる。
【００４８】
パトロールロボット２は、被支援者の居場所を認識してロボット本体を当該位置付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識するようにしたから、サポートを必要とする被支援者を見つけ出して近づくことができ、被支援者にあっては、例えば、案内掲示板あるいは係員等を探し回ったり、その位置まで出向かなくてもよく、歩行が困難な老人や障害者にあっては一層効果的なものとなる。
【００４９】
また、パトロールロボット２は、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタ１に対して被支援者の居場所および必要とするサポート種を送信して支援要請を行うようにしたから、簡易なサポート種であれば、サポートロボット３や係員の出動を要請しなくても、パトロールロボット２自身がその場で実行することができる。
【００５０】
なお、上述した実施形態においては、サポートシステムをイベント会場、大型店舗内、駅構内等の屋内に適用した場合を示したが、例えば、イベント会場の出入口付近、道路の交差点、繁華街等の屋外に適用し、静止衛星、ＧＰＳ基地局、ＰＨＳ基地局等の広域移動体通信網を介してデータ信号の送受信を行うようにしてもよい。この場合、聴覚障害者用の屋外対策として、例えば、自動車のクラクションを警告表示によって報知する等、各種の対策が講じればよい。
【００５１】
一方、サポートセンタ１は、インターネット等を利用して、支援活動を行うボランティアを募集し、その参加申込のあったボランティアをサポート種別毎に登録管理しておき、パトロールロボット２やユーザ端末５から支援要請を受けた場合に、要求されたサポート種別に対応付けられている各登録ボランティアのうち、被支援者の居場所に近い登録ボランティアを選択して、そのボランティア所持の端末へ支援依頼を通知した後、その許諾を得たことを条件に出動要請を行うようにしてもよい。
【００５２】
また、上述した実施形態においては、パトロールロボット２がサポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識するようにしたが、サポートセンタ１側でサポート種を認識するようにしてもよい。すなわち、パトロールロボット２は、被支援者への問合せに対する回答内容を取得した際に、この回答内容をサポートセンタ１へ送信し、サポートセンタ１は、この回答内容に基づいてサポート種を認識するようにしてもよい。
【００５３】
同様に、被支援者の居場所もサポートセンタ１側で認識するようにしてもよい。この場合、被支援者の近くに居るパトロールロボット２の現在位置を受信取得することによって、サポートセンタ１側で被支援者の居場所を認識することができる。また、サポートセンタ１がパトロールロボット２の現在位置を常時監視するようにすれば、パトロールロボット２から支援要請を受けた際に、パトロールロボット２の現在位置、つまり、被支援者の居場所を認識することもできる。
【００５４】
また、構内を巡回するパトロールロボット２に代わって、電子カメラ付き監視ロボットを構内の複数個所（天井、壁面等）に装着しておくと共に、複数個所に設置されている各監視ロボットを構内あるいは広域ネットワーク網を介してサポートセンタ１に接続するようにしてもよい。
この場合、監視ロボットは、電子カメラ（スチールカメラあるいはビデオカメラ）によって周囲を常時撮影しながら撮影画像を解析することによって、人間の有無を認識すると共に、人間の不自然な行動、例えば、“倒れている”、“しゃがみ込んでいる”等を時間的要素をも加味してパターン認識し、その結果、予め決められている不自然な行動（パターン）を行っている人間を発見した場合に、監視ロボットは、その「撮影画像」および「ロボットＩＤ」を付加した警告通知をサポートセンタ１に対してネットワークを介して送信する。
【００５５】
この場合、サポートセンタ１は、監視ロボットから「撮影画像」および「ロボットＩＤ」が付加された警告通知を受信すると、この「撮影画像」を更に詳細に解析して、サポート種を認識すると共に、送信元である監視ロボットを特定する「ロボットＩＤ」に基づいてその設備位置を認識し、サポート種に応じた支援活動を行うサポートロボット３あるいは係員端末６に対して、監視ロボットの設置位置まで出向いてサポート種に応じた支援を行うべきことを要請するようにすればよい。
【００５６】
また、上述した監視ロボットは、電子カメラと共に、集音マイクおよび音声認識機能等を備えたものであってもよい。すなわち、監視ロボットによって、人間の不自然な行動を他に、その音声を集音して言語認識するようにすれば、サポートを必要とする人間の特定を人間の不自然な言動に基づいて認識することができ、サポートを必要とする被支援者を一層確実に特定することが可能となる。
【００５７】
しかも、この監視ロボットの利用法を更に発展させれば、サポートを必要とする被支援者を、例えば、「一人暮しの老人／病人」あるいは「留守番を任せている子供」としてもよい。
すなわち、一人暮しの老人／病人宅あるいは留守番宅に、電子カメラおよび集音マイク付きの監視ロボットを設置しておき、この監視ロボットが人間の不自然な言動を認識した際に、その「撮影画像」、「音声認識情報」、「ロボットＩＤ」を付加した警告通知をサポートセンタ１へネットワークを介して送信するようにしてもよい。この場合、サポートセンタ１側では、そのサポート種を認識し、それに必要な支援者（例えば、介護者、近所の支援登録者等）を選択して緊急派遣させれば、一人暮しの老人／病人や留守番を任せている子供に対して適切な支援を即座に行うことができる。
この場合においても、基本的には、上述したロボットおよびサポートセンタの構成および各フローチャートにしたがって実現可能である。
【００５８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、サポートを必要とする被支援者の存在を探索する機能と、探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に対応付けられ、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能な複数のサポートロボットのうち、前記認識された被支援者の居場所に近いサポートロボットを選択する機能と、選択されたサポートロボットに対し、前記認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、サポートを必要とする被支援者の存在を探索する機能と、探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識された被支援者の居場所に近い支援者を選択する機能と、選択された支援者所持の端末に対して、前記認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６０】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に対応付けられている複数のサポートロボットのうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボットを迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
第２の発明（請求項２記載の発明）によれば、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に応じた支援活動を行う複数の支援者のうち、被支援者の居場所に近い支援者が所持している端末に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート活動を行う適切な支援者を迅速に派遣することができる。
【図面の簡単な説明】
【図１】サポートシステムの全体構成を示したブロック図。
【図２】パトロールロボット２、サポートロボット３の基本的な構成要素を示したブロック図。
【図３】サポートセンタ１の基本的な構成要素を示したブロック図。
【図４】パトロールロボット２の動作を示したフローチャート。
【図５】図４に続く、パトロールロボット２の動作を示したフローチャート。
【図６】サポートセンタ１の動作を示したフローチャート。
【符号の説明】
１ サポートセンタ
２ パトロールロボット
３ サポートロボット
４ ネットワーク網
５ ユーザ端末
６ 係員端末
７ 障害者ＩＤバッチ
１０１、２０１ ＣＰＵ
１０２ 記憶部
１０３ 音声入力部
１０４ 画像入力部
１０５ 接触検出部
１０６ 音声応答部
１０７ 可動動作部
１０８ 駆動機構部
１０９ 信号発信／受信部
１１２ 位置測定装置
２０２ 記憶装置
２０４ 通信装置
Ｐ１ システムプログラム
Ｐ２ 言語認識プログラム
Ｐ３ 手話認識プログラム
Ｐ４ 画像認識プログラム
【発明の属する技術分野】
この発明は、手助けを必要とする被支援者をサポートするサポートシステムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、動物／ペットの擬似的行動を行う動物ロボット／ペットロボットは、現在の外界情報および内界情報を認識しながら動作パターンを選択的に呼び出して、人間からのコミュニケーションに対応した応答動作を行うようにしている。すなわち、この種のロボットには、外界感覚機能として、視覚系のカメラ、聴覚系のマイクロフォーン、触覚系の接触センサ等が備えられており、人間のアクション（身振り、話し掛け、接触等）に応じた対応動作（音声／表示による会話、行動等）を実行するようにしている。
【０００３】
【発明が解決しようとする課題】
このように人間からのコミュニケーションに対応した応答動作を行う為に、感覚機能や認識機能を備えた知能ロボットは、動物ロボット等の娯楽用ロボットの他、例えば、屋内を移動しながら掃除する掃除ロボット、留守番役を行う警備ロボット、老人介護を行う介護ロボット等、人間の手助けを行う作業ロボット、更には、２足走行で階段の上り下りも可能な人間型ロボットも多数開発されており、その高機能化や多機能化によって益々人間の能力や動作に近づきつつある。
【０００４】
第１の発明の課題は、サポートを必要とする被支援者の存在を探索し、この被支援者が必要とするサポート動作を自律的に実行するサポートロボットを迅速に派遣可能なサポートシステムを提供できるようにすることである。
第２の発明の課題は、サポートを必要とする被支援者の存在を探索し、この被支援者が必要とする支援活動を行う支援者を迅速に派遣可能なサポートシステムを提供できるようにすることである。
【０００５】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣するサポートシステムであって、サポートを必要とする被支援者の存在を探索する探索手段と、この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、この認識手段によって認識されたサポート種に対応付けられている複数のサポートロボットのうち、前記認識手段によって認識された被支援者の居場所に近いサポートロボットを選択する選択手段と、この選択手段によって選択されたサポートロボットに対し、前記認識手段によって認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するサポート派遣手段とを備えたことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項７記載の発明）。
【０００６】
したがって、請求項１、７記載の発明は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に対応付けられている複数のサポートロボットのうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボットを迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
【０００７】
請求項２記載の発明（第２の発明）は、手助けを必要とする被支援者をサポートする支援者を派遣するサポートシステムであって、サポートを必要とする被支援者の存在を探索する探察手段と、この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、この認識手段によって認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識手段によって認識された被支援者の居場所に近い支援者を選択する選択手段と、この選択手段によって選択された支援者所持の端末に対して、前記認識手段によって認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請するサポート派遣手段とを備えたことを特徴とする。
更に、コンピュータに対して、上述した請求項２記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項８記載の発明）。
【０００８】
したがって、請求項２、８記載の発明は、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に応じた支援活動を行う複数の支援者のうち、被支援者の居場所に近い支援者が所持している端末に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート活動を行う適切な支援者を迅速に派遣することができる。
【０００９】
なお、請求項１あるいは２記載の発明は次のようなものであってもよい。
前記探察手段は、サポートを必要とする被支援者の存在をその被支援者所持の発信装置から発信出力された信号に基づいて探索する（請求項３記載の発明）。したがって、請求項３記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、被支援者にあっては、発信装置（例えば、被支援者用の電子カード、携帯端末）を所持するだけで、希望するサポートを受けることができる。
【００１０】
前記探察手段は、サポートを必要とする被支援者の存在を、その周囲を連続撮影した撮影画像を解析することによって探索する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、周囲を撮影した画像に基づいて被支援者の存在を探索することができ、携帯端末を所持していない被支援者であっても、その被支援者が必要とするサポートを提供することができる。
【００１１】
サポートを必要とする被支援者の存在を自律的に探索する移動可能な探索ロボットを設け、この探索ロボットは、被支援者の居場所を認識して装置本体を当該発信位置付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識する（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１あるいは２記載の発明と同様の効果を有する他に、サポートを必要とする被支援者の存在を自律的に探索する移動可能な探索ロボットは、被支援者の居場所をを認識して装置本体を当該支援者の居場所付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識するようにしたから、サポートを必要とする被支援者を見つけ出して近づくことができ、被支援者にあっては、例えば、案内掲示板あるいは係員等を探し回ったり、その位置まで出向かなくてもよく、歩行が困難な老人や障害者にあっては一層効果的なものとなる。
【００１２】
サポートを必要とする被支援者の存在を自律的に探索する探索ロボットと、このサポートロボットにネットワークを介して接続されているサポートセンタとを備えたサポートシステムであって、前記探索ロボットは、被支援者をサポートする為のサポート動作を自律的に実行可能なロボットであり、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、前記サポートセンタに対して被支援者の居場所および必要とするサポート種を送信して支援要請を行う（請求項６記載の発明）。
【００１３】
したがって、請求項６記載の発明によれば、請求項５記載の発明と同様の効果を有する他に、探索ロボットは、被支援者をサポートする為のサポート動作を自律的に実行可能なロボットであり、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタに対して被支援者の居場所および必要とするサポート種を送信して支援要請を行うようにしたから、サポートロボットや支援者の出動を要請しなくても、例えば、化粧室、売場等への施設案内を行う簡易なサポートの場合には、サポートロボットあるいは支援者の出動を要請しなくても、探索ロボット自身がその場で実行することができる。
【００１４】
【発明の実施の形態】
以下、図１〜図６を参照してこの発明の一実施形態を説明する。
図１は、この実施形態におけるサポートシステムの全体構成を示したブロック図である。
このサポートシステムは、例えば、イベント会場、大型店舗内、駅構内等において、手助けを必要とする被支援者をサポートする為に構築された構内通信システムであり、このサポートシステムの中核となるサポートセンタ１には、サポートを必要とする被支援者の存在を自律的に探索するパトロールロボット２と、被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボット３とがネットワーク網（構内移動体通信網）４を介して接続されている。
更に、サポートセンタ１には、被支援者であるユーザ所持の携帯端末（ユーザ端末）５と、被支援者が必要とする支援活動を行う支援者（係員）が所持の携帯端末（係員端末）６とがネットワーク網４（構内移動体通信網、インターネット）を介して接続されている。
【００１５】
サポートセンタ１は、サーバ機能を有するコンピュータシステムであり、非稼動中のパトロールロボット２およびサポートロボット３を保管する倉庫を有し、パトロールロボット２およびサポートロボット３を保管している間、ロボット２、３への充電を行う。そして、サポートセンタ１は、パトロールロボット２からネットワーク網４を介して支援要請を受けた場合あるいはユーザ端末５からネットワーク網４を介して支援要請を受けた場合に、サポートロボット３あるいは係員に対してその被支援者が居る場所まで出向いてサポートを行うべきことを指令する出動要請を行う。
【００１６】
その際、サポートセンタ１は、支援要請を受けたサポート種がサポートロボット３でも対応可能なものであれば、サポートロボット３に対して出動要請を送信し、サポートロボット３では対応不可能であれば、係員端末６に対して出動要請を送信する。更に、サポートセンタ１は、サポートロボット３が現在作業中か否かを監視しており、サポートロボット３に対して出動要請を送信する場合に、非作業中であることを条件として、サポートロボット３に対して出動要請を送信するが、サポートロボット３が作業中であれば、係員端末６に対して出動要請を送信する。
【００１７】
パトロールロボット２は、構内を自律的に巡回移動しながら被支援者の存在を探索する探索ロボットであり、例えば、半径５０メートル以内に居る被支援者を独自に探し出して、被支援者の居る場所まで走行移動し、その被支援者の近傍に到着した場合に、被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合には、サポートセンタ１に対して支援要請を発信する。この場合、パトロールロボット２は、必要とするサポート種別を認識し、被支援者の居場所および必要とするサポート種を含む支援要請を行う。
ここで、被支援者とは、障害者、健常者を問わないが、被支援者が障害者の場合には、赤外線や微弱無線等の近距離通信を介して障害者ＩＤバッチ（障害者用の携帯発信装置）７から送信されて来た障害内容を示す障害種別（障害者ＩＤ）を受信し、この障害者ＩＤに基づいて障害種別（サポート種別）を認識するようにしている。
【００１８】
また、パトロールロボット２は、被支援者の存在を探索する機能の他に、被支援者をサポートする為のサポート動作を自律的に実行可能な機能を有し、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタ１に対して被支援者の居場所および必要とするサポート種を送信して支援要請を行う。この場合、自己が実行可能なサポートとは、サポートセンタ１に対して支援要請を行わなくても、パトロールロボット２自身がその場で実行可能なサポート、例えば、化粧室等への施設案内を行う簡易なサポートである。
【００１９】
サポートロボット３は、被支援者をサポートする為の各種のサポート動作を自律的に実行するロボットであり、サポート種に応じた独自のサポート動作を実行する。つまり、サポートロボット３は、そのサポート機能に応じて「歩行支援ロボット」、「運搬代行ロボット」、「誘導案内ロボット」に分類されている。
「歩行支援ロボット」は、歩行が困難な障害者、老人等に対して歩行を支援するサポート動作を行うサポートロボット３である。「運搬代行ロボット」は、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行うサポートロボット３である。「誘導案内ロボット」は、被支援者に付き添って目的地まで誘導案内するサポートロボット３である。この歩行支援ロボット、運搬代行ロボット、誘導案内ロボットのうち、サポートセンタ１は、支援要請を受けたサポート種に対応するサポートロボット３を選択して出動要請を行う。
【００２０】
一方、ユーザ端末５は、例えば、カード型／ステック型の小型通信装置（例えば、電子ネームプレート）、携帯電話、通信機能付きＰＤＡ等のような携帯型のパーソナル端末であり、赤外線や微弱無線等の近距離通信あるいは移動体通信網を利用して、サポートロボット１との間でデータ信号の送受信を実行可能なものである。そして、ユーザ端末５および障害者ＩＤバッチ（障害者用の携帯発信装置）７は、構内移動体通信網（構内基地局）を介して現在の居場所を特定すると共に、サポートロボット１に対して現在の居場所を通知する位置測定通知機能を有している。
【００２１】
係員端末６は、イベント会場、大型店舗内、駅構内等に配属され、顧客からの要望に応じた支援活動を行う係員が所持している携帯電話、通信機能付きＰＤＡ等のような携帯型のパーソナル端末である。この場合、サポートセンタ１側では、各係員が担当する支援活動毎に、その係員端末６をアクセスする端末情報を記憶管理しており、支援要請のあったサポート種対応の支援活動を行う係員を特定し、その係員端末６に対して出動要請を行う。この場合、各係員は、例えば、「急患に対して応急処置を行う担当班」、「迷子の世話を行う担当班」、「構内を掃除する担当班」、「その他の担当班」に分かれている。
【００２２】
図２は、パトロールロボット２、サポートロボット３の基本的な構成要素を示したブロック図である。
パトロールロボット２、サポートロボット３は、外界感覚機能として、視覚系のカメラ、聴覚系のマイクロフォーン、触覚系の接触センサ等を備え、外界情報および内界情報を認識しながら２足走行可能な人間型の高知能ロボットである。ＣＰＵ１０１は、記憶部１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのロボットの全体動作を制御する中央演算処理装置である。記憶部１０２は、磁気的、光学的、半導体メモリ等によって構成されている記録媒体やその駆動系を有している。この記録媒体はハードディスク等の固定的な媒体若しくは着脱自在に装着可能なＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード、磁気カード等の可搬型の媒体である。また、ＣＰＵ１０１は記録媒体内に格納されるその一部あるいは全部を他の機器側から取り込み、記録媒体に新規登録あるいは追加登録することもできる。
【００２３】
一方、このロボットには、外界感覚機能として、聴覚系の音声入力部１０３、視覚系の画像入力部１０４、触覚系の接触検出部１０５を有し、それらは入力周辺デバイスとしてＣＰＵ１０１に接続されている。
音声入力部１０３は、Ａ／Ｄ変換器、マイクロフォーン、エコーキャンセラ回路からなり、外界音声を入力し、その音声波形をＡ／Ｄ変換するもので、人間からのアクション（話し掛け）あるいは構内放送等の周囲音を外界情報として検出する聴覚系感覚機能を構成する。音声入力部１０３からの入力音声は、ＣＰＵ１０１に取り込まれて音声解析される。ここで、ＣＰＵ１０１は、音声解析の結果、その話し掛けの内容を言語認識する。
【００２４】
画像入力部１０４は、デジタルスチールカメラによって構成され、周囲を連続撮影し、その撮影画像をデジタル画像に変換するもので、例えば、歩行移動中にその歩行方向を撮影しながら障害物を認識したり、被支援者の動作を外界情報として検出する視覚系感覚機能を構成する。この画像入力部１０４によって自動撮影されたデジタル画像は、ＣＰＵ１０１に取り込まれて画像解析される。この場合、ＣＰＵ１０１は、その解析結果にしたがって障害物の有無、被支援者の身振りや行動を認識する。
接触検出部１０５は、本体に配置された感圧式センサや人体容量検出型センサ等を有し、人間のアクション（接触）を外界情報として検出する触覚系感覚機能を構成するもので、人間の接触を感知したセンサ出力をデジタル信号としてＣＰＵ１０１に与える。ここで、ＣＰＵ１０１は、その検出結果に応じてどの位置が接触されたかの接触位置を認識する。
【００２５】
また、ＣＰＵ１０１には、音声応答部１０６、可動動作部１０７、駆動機構部１０８、信号発信／受信部１０９の他、充電端子１１０、バッテリ１１１、位置測定装置１１２が接続されている。
音声応答部１０６は、被支援者との間で会話応答を行う場合に、スピカーから音声を発声出力させるものであり、ＣＰＵ１０１は、会話応答する音声情報を生成して音声応答部１０６から出力させる。可動動作部１０７は、ロボット本体の可動部（手足、腰、首、顎等の関節系の他に、口、目を含む）を動作させる機構部である。
駆動機構部１０８は、モータ、電源、駆動機構を備え、可動動作部１０７に対する駆動源である。信号発信／受信部１０９は、ユーザ端末５、障害者ＩＤバッチ７あるいは構内基地局との間でデータ信号の送受信を行う。位置測定装置１１２は、構内基地局の位置を検出しながらロボット本体の現在位置を測定する。
【００２６】
そして、このロボットの全体動作を制御するプログラム等は、記憶部１０２に格納されている。すなわち、システムプログラムＰ１、言語認識プログラムＰ２、手話認識プログラムＰ３、画像認識プログラムＰ４、接触認識プログラムＰ５が格納されている。
システムプログラムＰ１は、サポートロボット１の全体動作を制御する基本プログラムであり、言語認識プログラムＰ２は、人間からの話し掛けに応答してその入力音声を解析して言語認識（例えば、連続音声認識）するためのプログラムである。また、手話認識プログラムＰ３は、視覚障害者からの手話を画像解析（動画処理）して言語認識するためのプログラムであり、画像認識プログラムＰ４は、人間の身振りや行動、周囲環境の撮影画像を解析し、その身振りや行動、障害物の有無等を認識するためのプログラムであり、更に、接触認識プログラムＰ５は、装置本体の所定位置に配置されている接触センサがタッチされた接触状態を認識するためのプログラムである。
【００２７】
一方、図示しないが、パトロールロボット２には、化粧室、売場等への施設案内を行う簡易なサポートを実行するサポートプログラムが組み込まれている。
このサポートプログラムとして、例えば、構内の電子掲示板に表示されている案内情報、構内施設に関する情報、陳列商品に関する情報等を音声で伝達するプログラム（音声案内サポート）が含まれている。この音声案内サポートは、特に、視覚障害者に対して有効であり、この音声案内中においては、言語認識プログラムＰ２および接触認識プログラムＰ５も合わせて起動させ、視覚障害者からのアクション応答を検知し、その応答内容に応じて例えば、案内情報を変更する等の応答動作も行う。この音声案内は、視覚障害者に限らず、その他の障害者や健常者に対しても有効である。
【０００２８】
更に、パトロールロボット２内のサポートプログラムには、例えば、構内放送に関する情報、構内施設に関する情報、陳列商品に関する情報等を表示で伝達するプログラム（表示案内サポート）が含まれている。この表示案内サポートは、特に、聴覚障害者に対して有効であり、この表示案内中においては、手話認識プログラムＰ３および接触認識プログラムＰ５も合わせて起動させ、聴覚障害者からのアクション応答を検知し、その応答内容に応じて例えば、案内情報を変更する等の応答動作も行う。この表示案内は、視覚障害者に限らず、その他の障害者や健常者に対しても有効である。
【００２９】
一方、サポートロボット３としての「歩行支援ロボット」には、歩行が困難な障害者や老人等に付き添って手を支えながら歩行の手助けを行う動作プログラムが組み込まれている。この歩行サポート中において、画像認識プログラムＰ４も合わせて起動させ、歩行方向を撮影しながら移動し、障害物を発見した場合には、歩行を一時停止してその旨を報知したり、障害物を避ける迂回歩行を行わせたり、階段の上り下り時においては、段差に合わせて歩行移動する制御を行わせる。更に、歩行サポート中においては、接触認識プログラムＰ５および言語認識プログラムＰ２も合わせて起動させ、被支援者からのアクション応答を検知し、その応答内容に応じて例えば、歩行を一時中止する等の応答動作も行う。
【００３０】
その他、サポートロボット３としての「運搬代行ロボット」には、被支援者の近くまで出向き、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行う動作プログラムが組み込まれている。また、「誘導案内ロボット」には、要求された会場施設の場所まで付き添って誘導案内する為の動作プログラムが組み込まれている。
この「運搬代行ロボット」および「誘導案内ロボット」においても、障害物を発見した場合には、歩行を一時停止してその旨を報知したり、障害物を避ける迂回歩行を行わせたり、階段の上り下り時においては、段差に合わせて歩行移動する制御を行わせる。更に、被支援者からのアクション応答を検知し、その応答内容に応じて例えば、歩行を一時中止する等の応答動作も行う。
【００３１】
図３は、サポートセンタ１の基本的な構成要素を示したブロック図である。
サポートセンタ１は、ＣＰＵ２０１、記憶装置２０２、ＲＡＭ２０３、通信装置２０４、入力装置２０５、表示装置２０６を有している。ＣＰＵ２０１は、記憶装置２０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのサポートセンタ１の全体動作を制御する中央演算処理装置である。記憶装置２０２は、磁気的、光学的、半導体メモリ等によって構成されている記録媒体やその駆動系を有している。この記録媒体はハードディスク等の固定的な媒体若しくは着脱自在に装着可能なＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード、磁気カード等の可搬型の媒体である。また、ＣＰＵ２０１は記録媒体内に格納されるその一部あるいは全部を他の機器側から取り込み、記録媒体に新規登録あるいは追加登録することもできる。
【００３２】
次に、この第１実施形態におけるサポートシステムの動作アルゴリズムを図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３３】
図４および図５は、パトロールロボット２の動作を示したフローチャートである。
パトロールロボット２は、その電源投入に伴って予め決められている範囲内を移動しながらパトロール巡回する動作を行っている（ステップＡ１）。この場合、例えば、半径５０メートル以内に居る被支援者を独自に探し出す為に、障害者ＩＤバッチ７から発信される障害者ＩＤあるいはユーザ端末５から発信されるサポート要求を探索しながらパトロール巡回を行い（ステップＡ２）、その発信有無をチェックする（ステップＡ３）。
【００３４】
ここで、障害者ＩＤあるいはサポート要求の何れも受信しない場合には、周囲に居る人間を撮影しながらそれらの動作観察を行う（ステップＡ４）。すなわち、画像認識プログラムＰ４を起動させ、周囲の人間を連続撮影しながらその動作観察を行い、その結果、例えば、“一箇所に留まっている”、“しゃがみ込んでいる”等の不自然な動作を行っている人間が居るかを判別する（ステップＡ５）。ここで、不自然な動作を行っている人間が居ないことを認識した場合には、ステップＡ１に戻り、パトロール巡回を行いながら上述の動作を繰り返す。
【００３５】
いま、障害者ＩＤあるいはサポート要求を受信した場合には（ステップＡ３）、その障害者ＩＤあるいはサポート要求内に含まれている発信位置と現在のロボット位置とを比較して、その発信方向と移動距離を推定し（ステップＡ６）、その発信方向へ移動距離分だけロボット本体を走行移動させる（ステップＡ７）。この場合、発信位置の近傍まで達したかをチェックし（ステップＡ８）、近傍ではない場合には、該当する発信者の再探索を行った後（ステップＡ９）、発信方向と移動距離を推定しながらロボット本体を発信位置近傍まで走行移動させる（ステップＡ６〜Ａ９）。
【００３６】
これによって、ロボット本体が発信位置の近傍まで達した場合には（ステップＡ８）、画像入力部１０４を駆動させ、その発信者を撮影してその撮影画像から特徴抽出を行う（ステップＡ１０）。また、上述のステップＡ６で不自然な動作を行っている人間が居ることを認識した場合にも、その人間を撮影して特徴抽出を行う（ステップＡ１０）。この場合、撮影画像を解析して、背丈、衣服、性別、メガネ着用等の特徴を抽出する。
【００３７】
そして、図５のステップＡ１１に移り、発信者は、障害者であるかを認識する為に障害者ＩＤの有無をチェックし、障害者でなければ、例えば、“どうかしましたか”、“何か問題はありませんか”、“何か手助けできますか”等のメッセージを音声／表示によって問い合わせるが（ステップＡ１２）、障害者ＩＤを受信した場合には（ステップＡ１１）、この障害者ＩＤに基づいて障害種別を認識し、視覚障害者であれば、表示による問い合わせを行い、その他の障害者であれば、音声および表示によって問い合わせを行う（ステップＡ１３）。
【００３８】
そして、この問合せに応答して、被支援者からの回答を受信した場合には、その回答内容の解析を行う（ステップＡ１４）。いま、発信者が視覚障害者の場合には、手話認識プログラムＰ３を起動させ、手話を画像解析（動画処理）して言語認識し、その他の障害者の場合には、入力された音声回答内容を解析して言語認識（例えば、連続音声認識）する。そして、その回答内容に基づいてサポート種を認識して、自己が対処可能なサポートかを判別する（ステップＡ１５）。
【００３９】
この場合、自己でも対応可能であれば、その要求内容に基づいて簡易サポートプログラムを起動させ、その場でサポート動作を行うが（ステップＡ１６）、自己では対処できない特別なサポートが要求された場合には、回答内容から要求されたサポート種別を更に認識し（ステップＡ１７）、このサポート種別と共に、ユーザが居る現在の位置およびユーザの特徴情報をサポートセンタ１へ送信して支援要請を行う（ステップＡ１８）。これに応答してサポートセンタ１から送信されて来る手配済み通知を受信すると共に（ステップＡ１９）、サポート隊（サポートロボット３あるいは係員）が現地に到着するまで待機状態（移動停止状態）となる（ステップＡ２０）。
【００４０】
図６は、サポートセンタ１の動作を示したフローチャートである。
サポートセンタ１は、パトロールロボット２からの支援要請（ステップＢ１）あるいはユーザ端末５からの支援要請（ステップＢ２）があるまで待機状態となっている。ここで、パトロールロボット２あるいはユーザ端末５からの支援要請を受信した場合には、その受信内容に含まれているサポート種別および被支援者の現在位置を取得した後（ステップＢ３）、サポート種別は、サポートロボット３によって対応可能かを判別する（ステップＢ４）。
【００４１】
いま、要求されたサーポート種がサポートロボット３でも対応可能な場合には、被支援者の現在位置近傍で、要求されたサポート種対応のサポートロボット３を検索する（ステップＢ５）。つまり、サポートセンタ１は、各サポートロボット３の現在位置を常時監視しており、要求されたサポート種に対応するサポート動作を行う各サポートロボット３（歩行支援ロボット／運搬代行ロボット／誘導案内ロボット）の現在位置と、被支援者の居場所とを比較することによって、被支援者の居場所に近いサポートロボット３を検索する。
【００４２】
そして、被支援者の居場所に近いサポートロボット３は、非作業中か（他の被支援者に対してサポート中か）を判別し（ステップＢ６）、非作業中であれば、そのサポートロボット３を出動対象として選択指定し（ステップＢ７）、その選択ロボットに対して、被支援者の居場所を送信して（ステップＢ９）、出動要請を行う（ステップＢ９）。
この場合、サポートロボット３は、サポートセンタ１から送信されて来た被支援者の居場所を受信すると、このロボットの現在位置と被支援者の居場所とを比較して、被支援者の居る場所へ走行移動すると共に、被支援者の近傍に到着した場合には、実行するサポート内容や手順等を被支援者に対して音声／表示によって通知した後に、独自のサポート動作を開始する。この場合、サポートロボット３（歩行支援ロボット）は、歩行が困難な障害者、老人等に対して歩行を支援するサポート動作を行い、運搬代行ロボットは、顧客の荷物を係員の居る場所等、所定の場所まで運ぶ手助けを行い、誘導案内ロボットは、被支援者に付き添って目的地まで誘導案内する。
【００４３】
一方、サポートセンタ１は、要求されたサーポート種がサポートロボット３で対応不可能な場合（ステップＢ４）あるいは対応可能であっても被支援者の居場所に近いサポートロボット３が全て作業中である場合には（ステップＢ６でＮＯ）、要求されたサポート種に応じた支援活動を行う係員を選択指定する（ステップＢ１０）。この場合、サポートセンタ１は、サポート種毎に独自の支援活動を行う係員を管理しており、その中から要求されたサポート種に応じた支援活動を行う係員を選択する。そして、その係員端末６に対して被支援者の居場所および特徴情報を記した電子メール送信して出動要請を行う（ステップＢ１１）。
【００４４】
このようにサポートロボット３あるいは係員端末６に対して出動要請を行った後、サポートセンタ１は、その支援元は、パトロールロボット２かユーザ端末５かを判別し（ステップＢ１２）、支援元がパトロールロボット２であれば、そのパトロールロボット２に対して手配済み通知を行い（ステップＢ１３）、支援元がユーザ端末５であれば、そのユーザ端末５に対して手配済み通知を行う（ステップＢ１４）。
その後、パトロールロボット２からの支援要請（ステップＢ１）あるいはユーザ端末５からの支援要請（ステップＢ２）があるまで待機状態となり、以下、上述の動作を繰り返す。
【００４５】
以上のように、この実施形態においてパトロールロボット２は、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識してサポートセンタ１に対して支援要請を送信し、サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に対応付けられている複数のサポートロボット３のうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボット３（歩行支援ロボット、運搬代行ロボット、誘導案内ロボット）を迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
【００４６】
また、サポートセンタ１は、パトロールロボット２から送信されて来たサポート種に応じた支援活動を行う複数の支援者（係員）のうち、被支援者の居場所に近い係員端末６に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、被支援者にとって必要なサポート活動を行う適切な係員（急患に対して応急処置を行う担当班、迷子の世話を行う担当班、構内を掃除する担当班、その他の担当班）を迅速に派遣することができる。
【００４７】
パトロールロボット２は、被支援者の存在をその被支援者所持のユーザ端末５、障害者ＩＤバッチ７から発信出力された信号に基づいて探索するようにしたから、被支援者にあっては、ユーザ端末５、障害者ＩＤバッチ７を所持するだけで、希望するサポートを受けることができる。
また、パトロールロボット２は、周囲を連続撮影した撮影画像を解析することによって被支援者の存在を探索するようにしたから、携帯端末等を所持していない被支援者であっても、その被支援者が必要とするサポートを提供することができる。
【００４８】
パトロールロボット２は、被支援者の居場所を認識してロボット本体を当該位置付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識するようにしたから、サポートを必要とする被支援者を見つけ出して近づくことができ、被支援者にあっては、例えば、案内掲示板あるいは係員等を探し回ったり、その位置まで出向かなくてもよく、歩行が困難な老人や障害者にあっては一層効果的なものとなる。
【００４９】
また、パトロールロボット２は、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、サポートセンタ１に対して被支援者の居場所および必要とするサポート種を送信して支援要請を行うようにしたから、簡易なサポート種であれば、サポートロボット３や係員の出動を要請しなくても、パトロールロボット２自身がその場で実行することができる。
【００５０】
なお、上述した実施形態においては、サポートシステムをイベント会場、大型店舗内、駅構内等の屋内に適用した場合を示したが、例えば、イベント会場の出入口付近、道路の交差点、繁華街等の屋外に適用し、静止衛星、ＧＰＳ基地局、ＰＨＳ基地局等の広域移動体通信網を介してデータ信号の送受信を行うようにしてもよい。この場合、聴覚障害者用の屋外対策として、例えば、自動車のクラクションを警告表示によって報知する等、各種の対策が講じればよい。
【００５１】
一方、サポートセンタ１は、インターネット等を利用して、支援活動を行うボランティアを募集し、その参加申込のあったボランティアをサポート種別毎に登録管理しておき、パトロールロボット２やユーザ端末５から支援要請を受けた場合に、要求されたサポート種別に対応付けられている各登録ボランティアのうち、被支援者の居場所に近い登録ボランティアを選択して、そのボランティア所持の端末へ支援依頼を通知した後、その許諾を得たことを条件に出動要請を行うようにしてもよい。
【００５２】
また、上述した実施形態においては、パトロールロボット２がサポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識するようにしたが、サポートセンタ１側でサポート種を認識するようにしてもよい。すなわち、パトロールロボット２は、被支援者への問合せに対する回答内容を取得した際に、この回答内容をサポートセンタ１へ送信し、サポートセンタ１は、この回答内容に基づいてサポート種を認識するようにしてもよい。
【００５３】
同様に、被支援者の居場所もサポートセンタ１側で認識するようにしてもよい。この場合、被支援者の近くに居るパトロールロボット２の現在位置を受信取得することによって、サポートセンタ１側で被支援者の居場所を認識することができる。また、サポートセンタ１がパトロールロボット２の現在位置を常時監視するようにすれば、パトロールロボット２から支援要請を受けた際に、パトロールロボット２の現在位置、つまり、被支援者の居場所を認識することもできる。
【００５４】
また、構内を巡回するパトロールロボット２に代わって、電子カメラ付き監視ロボットを構内の複数個所（天井、壁面等）に装着しておくと共に、複数個所に設置されている各監視ロボットを構内あるいは広域ネットワーク網を介してサポートセンタ１に接続するようにしてもよい。
この場合、監視ロボットは、電子カメラ（スチールカメラあるいはビデオカメラ）によって周囲を常時撮影しながら撮影画像を解析することによって、人間の有無を認識すると共に、人間の不自然な行動、例えば、“倒れている”、“しゃがみ込んでいる”等を時間的要素をも加味してパターン認識し、その結果、予め決められている不自然な行動（パターン）を行っている人間を発見した場合に、監視ロボットは、その「撮影画像」および「ロボットＩＤ」を付加した警告通知をサポートセンタ１に対してネットワークを介して送信する。
【００５５】
この場合、サポートセンタ１は、監視ロボットから「撮影画像」および「ロボットＩＤ」が付加された警告通知を受信すると、この「撮影画像」を更に詳細に解析して、サポート種を認識すると共に、送信元である監視ロボットを特定する「ロボットＩＤ」に基づいてその設備位置を認識し、サポート種に応じた支援活動を行うサポートロボット３あるいは係員端末６に対して、監視ロボットの設置位置まで出向いてサポート種に応じた支援を行うべきことを要請するようにすればよい。
【００５６】
また、上述した監視ロボットは、電子カメラと共に、集音マイクおよび音声認識機能等を備えたものであってもよい。すなわち、監視ロボットによって、人間の不自然な行動を他に、その音声を集音して言語認識するようにすれば、サポートを必要とする人間の特定を人間の不自然な言動に基づいて認識することができ、サポートを必要とする被支援者を一層確実に特定することが可能となる。
【００５７】
しかも、この監視ロボットの利用法を更に発展させれば、サポートを必要とする被支援者を、例えば、「一人暮しの老人／病人」あるいは「留守番を任せている子供」としてもよい。
すなわち、一人暮しの老人／病人宅あるいは留守番宅に、電子カメラおよび集音マイク付きの監視ロボットを設置しておき、この監視ロボットが人間の不自然な言動を認識した際に、その「撮影画像」、「音声認識情報」、「ロボットＩＤ」を付加した警告通知をサポートセンタ１へネットワークを介して送信するようにしてもよい。この場合、サポートセンタ１側では、そのサポート種を認識し、それに必要な支援者（例えば、介護者、近所の支援登録者等）を選択して緊急派遣させれば、一人暮しの老人／病人や留守番を任せている子供に対して適切な支援を即座に行うことができる。
この場合においても、基本的には、上述したロボットおよびサポートセンタの構成および各フローチャートにしたがって実現可能である。
【００５８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、サポートを必要とする被支援者の存在を探索する機能と、探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に対応付けられ、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能な複数のサポートロボットのうち、前記認識された被支援者の居場所に近いサポートロボットを選択する機能と、選択されたサポートロボットに対し、前記認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、サポートを必要とする被支援者の存在を探索する機能と、探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識された被支援者の居場所に近い支援者を選択する機能と、選択された支援者所持の端末に対して、前記認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６０】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に対応付けられている複数のサポートロボットのうち、被支援者の居場所に近いサポートロボットに対し、被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート動作を行う適切なサポートロボットを迅速に派遣することができ、被支援者にあっては、例えば、イベント会場、大型店舗内、駅構内等において、他人に頼らなくても、自分が必要とするポートを受けることが可能となる。
第２の発明（請求項２記載の発明）によれば、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣する場合に、サポートを必要とする被支援者の存在を探索すると共に、探索された被支援者の居場所および必要とするサポート種を認識し、このサポート種に応じた支援活動を行う複数の支援者のうち、被支援者の居場所に近い支援者が所持している端末に対して、被支援者の居場所まで出向いて当該サポート種に対応のサポートを行うべきことを要請するようにしたから、サポートを必要とする被支援者を見つけ出して、その被支援者にとって必要なサポート活動を行う適切な支援者を迅速に派遣することができる。
【図面の簡単な説明】
【図１】サポートシステムの全体構成を示したブロック図。
【図２】パトロールロボット２、サポートロボット３の基本的な構成要素を示したブロック図。
【図３】サポートセンタ１の基本的な構成要素を示したブロック図。
【図４】パトロールロボット２の動作を示したフローチャート。
【図５】図４に続く、パトロールロボット２の動作を示したフローチャート。
【図６】サポートセンタ１の動作を示したフローチャート。
【符号の説明】
１ サポートセンタ
２ パトロールロボット
３ サポートロボット
４ ネットワーク網
５ ユーザ端末
６ 係員端末
７ 障害者ＩＤバッチ
１０１、２０１ ＣＰＵ
１０２ 記憶部
１０３ 音声入力部
１０４ 画像入力部
１０５ 接触検出部
１０６ 音声応答部
１０７ 可動動作部
１０８ 駆動機構部
１０９ 信号発信／受信部
１１２ 位置測定装置
２０２ 記憶装置
２０４ 通信装置
Ｐ１ システムプログラム
Ｐ２ 言語認識プログラム
Ｐ３ 手話認識プログラム
Ｐ４ 画像認識プログラム
Claims (8)
- 手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能なサポートロボットを派遣するサポートシステムであって、
サポートを必要とする被支援者の存在を探索する探索手段と、
この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、
この認識手段によって認識されたサポート種に対応付けられている複数のサポートロボットのうち、前記認識手段によって認識された被支援者の居場所に近いサポートロボットを選択する選択手段と、
この選択手段によって選択されたサポートロボットに対し、前記認識手段によって認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請するサポート派遣手段と、
を具備したことを特徴とするサポートシステム。 - 手助けを必要とする被支援者をサポートする支援者を派遣するサポートシステムであって、
サポートを必要とする被支援者の存在を探索する探察手段と、
この探索手段によって探索された被支援者の居場所および必要とするサポート種を認識する認識手段と、
この認識手段によって認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識手段によって認識された被支援者の居場所に近い支援者を選択する選択手段と、
この選択手段によって選択された支援者所持の端末に対して、前記認識手段によって認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請するサポート派遣手段と、
を具備したことを特徴とするサポートシステム。 - 前記探察手段は、サポートを必要とする被支援者の存在をその被支援者所持の発信装置から発信出力された信号に基づいて探索する、
ようにしたことを特徴とする請求項１あるいは２記載のサポートシステム。 - 前記探察手段は、サポートを必要とする被支援者の存在を、その周囲を連続撮影した撮影画像を解析することによって探索する、
ようにしたことを特徴とする請求項１あるいは２記載のサポートシステム。 - サポートを必要とする被支援者の存在を自律的に探索する移動可能な探索ロボットを設け、
この探索ロボットは、被支援者の居場所を認識して装置本体を当該被支援者の居場所付近まで移動させた際に、その被支援者に対してサポートの必要有無を問い合わせ、その結果、被支援者からサポート要求を受けた場合に、この要求内容に基づいてサポート種を認識する、
ようにしたことを特徴とする請求項１あるいは２記載のサポートシステム。 - サポートを必要とする被支援者の存在を自律的に探索する探索ロボットと、このサポートロボットにネットワークを介して接続されているサポートセンタとを備えたサポートシステムであって、
前記探索ロボットは、被支援者をサポートする為のサポート動作を自律的に実行可能なロボットであり、被支援者が必要とするサポート種を認識した際に、自己が実行可能なサポート種であれば、そのサポート種対応のサポート動作を自律的に実行し、自己が実行不可能なサポート種であれば、前記サポートセンタに対して被支援者の居場所および必要とするサポート種を送信して支援要請を行う、
ようにしたことを特徴とする請求項３記載のサポートシステム。 - コンピュータに対して、
サポートを必要とする被支援者の存在を探索する機能と、
探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に対応付けられ、手助けを必要とする被支援者をサポートする為のサポート動作を自律的に実行可能な複数のサポートロボットのうち、前記認識された被支援者の居場所に近いサポートロボットを選択する機能と、
選択されたサポートロボットに対し、前記認識された被支援者の居場所まで移動して当該サポート種対応のサポート動作を実行すべきことを要請する機能と、
を実現させるためのプログラム。 - コンピュータに対して、
サポートを必要とする被支援者の存在を探索する機能と、
探索された被支援者の居場所および必要とするサポート種を認識する機能と、認識されたサポート種に応じた支援活動を行う複数の支援者のうち、前記認識された被支援者の居場所に近い支援者を選択する機能と、
選択された支援者所持の端末に対して、前記認識された被支援者の居場所まで出向いて当該サポート種対応のサポートを行うべきことを要請する機能と、
を実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002181212A JP2004029908A (ja) | 2002-06-21 | 2002-06-21 | サポートシステムおよびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002181212A JP2004029908A (ja) | 2002-06-21 | 2002-06-21 | サポートシステムおよびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004029908A true JP2004029908A (ja) | 2004-01-29 |
Family
ID=31178102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002181212A Pending JP2004029908A (ja) | 2002-06-21 | 2002-06-21 | サポートシステムおよびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004029908A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170504A (ja) * | 2009-01-26 | 2010-08-05 | Univ Of Tsukuba | 服用者を見守る服薬確認システム |
| JP2011227809A (ja) * | 2010-04-22 | 2011-11-10 | Airport Intelligent Communications Service Co Ltd | スタッフ支援システム |
| JP6209292B1 (ja) * | 2017-01-20 | 2017-10-04 | ヤフー株式会社 | 提供装置、提供方法および提供プログラム |
| JP2017221991A (ja) * | 2016-06-14 | 2017-12-21 | 富士ゼロックス株式会社 | ロボット制御システム |
| JP2018077599A (ja) * | 2016-11-08 | 2018-05-17 | 富士ゼロックス株式会社 | 情報処理装置 |
| JP2018116676A (ja) * | 2017-07-13 | 2018-07-26 | ヤフー株式会社 | 提供装置、提供方法および提供プログラム |
| WO2019171917A1 (ja) * | 2018-03-05 | 2019-09-12 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN110471392A (zh) * | 2019-09-26 | 2019-11-19 | 重庆宽仁企业管理有限公司 | 医用护理车控制*** |
| JP2020046791A (ja) * | 2018-09-18 | 2020-03-26 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 予約装置、予約方法及び予約システム |
| JP2021092727A (ja) * | 2019-12-12 | 2021-06-17 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 独り暮らし支援ロボット |
-
2002
- 2002-06-21 JP JP2002181212A patent/JP2004029908A/ja active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170504A (ja) * | 2009-01-26 | 2010-08-05 | Univ Of Tsukuba | 服用者を見守る服薬確認システム |
| JP2011227809A (ja) * | 2010-04-22 | 2011-11-10 | Airport Intelligent Communications Service Co Ltd | スタッフ支援システム |
| CN107498553B (zh) * | 2016-06-14 | 2021-10-15 | 富士胶片商业创新有限公司 | 机器人控制***和机器人控制方法 |
| JP2017221991A (ja) * | 2016-06-14 | 2017-12-21 | 富士ゼロックス株式会社 | ロボット制御システム |
| CN107498553A (zh) * | 2016-06-14 | 2017-12-22 | 富士施乐株式会社 | 机器人控制***和机器人控制方法 |
| JP2018077599A (ja) * | 2016-11-08 | 2018-05-17 | 富士ゼロックス株式会社 | 情報処理装置 |
| JP6209292B1 (ja) * | 2017-01-20 | 2017-10-04 | ヤフー株式会社 | 提供装置、提供方法および提供プログラム |
| JP2018116659A (ja) * | 2017-01-20 | 2018-07-26 | ヤフー株式会社 | 提供装置、提供方法および提供プログラム |
| JP2018116676A (ja) * | 2017-07-13 | 2018-07-26 | ヤフー株式会社 | 提供装置、提供方法および提供プログラム |
| WO2019171917A1 (ja) * | 2018-03-05 | 2019-09-12 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JPWO2019171917A1 (ja) * | 2018-03-05 | 2021-03-11 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP7040597B2 (ja) | 2018-03-05 | 2022-03-23 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP2020046791A (ja) * | 2018-09-18 | 2020-03-26 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 予約装置、予約方法及び予約システム |
| WO2020059493A1 (ja) * | 2018-09-18 | 2020-03-26 | Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 | 予約装置、予約方法及び予約システム |
| CN112703516A (zh) * | 2018-09-18 | 2021-04-23 | 远程连接株式会社 | 预约装置、预约方法以及预约*** |
| CN110471392A (zh) * | 2019-09-26 | 2019-11-19 | 重庆宽仁企业管理有限公司 | 医用护理车控制*** |
| JP2021092727A (ja) * | 2019-12-12 | 2021-06-17 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 独り暮らし支援ロボット |
| JP7210024B2 (ja) | 2019-12-12 | 2023-01-23 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 独り暮らし支援ロボット |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Doukas et al. | Digital cities of the future: Extending@ home assistive technologies for the elderly and the disabled | |
| Gross et al. | Further progress towards a home robot companion for people with mild cognitive impairment | |
| US7098788B2 (en) | Remote surveillance and assisted care using a mobile communication device | |
| CA3102300A1 (en) | System and method for managing a defibrillator | |
| JP4178846B2 (ja) | 自律駆動式支援装置およびプログラム | |
| JP2004029908A (ja) | サポートシステムおよびプログラム | |
| Bäck et al. | Remote monitoring of nursing home residents using a humanoid robot | |
| JP2004042148A (ja) | 移動ロボット | |
| US20220331973A1 (en) | Critical care system, critical care system control method, transportation means determination system, transportation means determination method, and non-transitory computer-readable recording medium recording program | |
| Biswas et al. | Prototype development of an assistive smart-stick for the visually challenged persons | |
| JP5304870B2 (ja) | ロボット | |
| JP6958711B2 (ja) | 自走型装置およびシステム | |
| JP2007226634A (ja) | 人物状況認識装置、方法、プログラム、ロボットおよび生活支援システム | |
| JP2007152444A (ja) | 自走式ロボットおよび情報管理システム | |
| JP4862734B2 (ja) | セキュリティシステム | |
| JP2002163760A (ja) | 誘導案内システム、誘導案内装置、誘導案内方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR20150048329A (ko) | 모바일 사용자의 위급상황 오신호 알림을 방지하는 위급상황 알림 서비스 제공방법 | |
| KR101598466B1 (ko) | 청각장애인용 안전보조시스템 | |
| JP7264065B2 (ja) | 被監視者監視支援システムおよび被監視者監視支援方法 | |
| JP7130230B2 (ja) | 協力補助システム及び協力補助方法 | |
| US20200157875A1 (en) | System and Method to Remotely Operate a Door | |
| WO2023017588A1 (ja) | 制御装置、制御方法、及びコンピュータ読み取り可能な記憶媒体 | |
| Dias et al. | First Aid and Emergency Assistance Robot for Individuals at Home using IoT and Deep Learning | |
| JP2005230998A (ja) | ロボットシステム | |
| US20240203576A1 (en) | System and method for managing a defibrillator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060208 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080226 |