JP4220857B2 - 携帯端末機器を用いた移動ロボットの画像撮影装置 - Google Patents

Description

本発明は、携帯端末機器を用いた移動ロボットの画像撮影装置に関するものである。

従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがあり、また、携帯端末機器によりロボットを遠隔制御するようにしたものもある。

上記携帯端末機器から移動ロボットを操作するものとして、ロボットコントロールサーバと移動ロボット携帯端末機器とをネットワークに接続し、ユーザが携帯端末機器からロボットコントロールサーバを介して移動ロボットに指示を与えるようにしたものがある（例えば、特許文献１参照。）。

特開２００３−６５３２号公報（第２−３頁、図１）

上記した携帯端末機器から移動ロボットを操作可能にしたものにあっては、上記したようにネットワークに接続されたロボットコントロールサーバを介してロボットを制御するものであり、ロボットに対する動作の制御は、サーバ上でサービス業者が操作用プログラムを用意して行うものである。また、ユーザの端末（自宅のパーソナルコンピュータなど）で各移動ロボットを操作する例も記載されているが、この場合にはステージの上方からカメラで全体を撮影し、これをユーザの端末に表示するように構成されている。したがって、移動ロボット自体のカメラが、上記操作で使用される訳ではない。また、上記ロボットにはカメラが付いており、そのカメラにより撮影可能にされているが、その画像は、ユーザがロボットの作業の結果を確認するためのものである。

それに対して、例えば遊園地やイベント会場においてキャラクターのぬいぐるみを着た者が園内などを動き回ったり、立ち止まって子供達と遊んだりするイベントがあり、そのようなイベント場所は不定なため、探すのに手間が掛かるということがある。そのような場合に、移動ロボットにぬいぐるみ等を追従させ、さらに撮影することにより、その撮影画像を確認することによりイベントが行わせている場所を知ったり、ぬいぐるみの撮影画像をその場所まで行かなくても手に入れたりすることが可能になる。

しかしながら、上記ロボット装置では、ユーザがロボットの移動位置などを指示するものであり、ユーザが直接ぬいぐるみを見つけたり、イベントが行われる場所を事前に調べておいたりする必要があるなど、移動するぬいぐるみを容易に撮影することができない、という欠点がある。

このような課題を解決して、移動ロボットにより移動体を追従しかつ撮影すると共にその撮影画像を送信することを容易に実現するために本発明に於いては、撮影要求者が画像表示可能な携帯端末機器（１４）を操作し、撮像装置（２・３）を備える移動ロボット（１）が、移動体に近付いて撮影しかつ当該撮影された撮影画像を前記携帯端末機器（１４）へ送信する携帯端末機器を用いた移動ロボットの画像撮影装置であって、前記移動ロボット（１）が、前記移動体を検出する移動体検出手段（２・３・７・８）と、前記移動体に近付く制御を行う移動制御手段（１０・１２）と、撮影の可否を判断する撮影可否判断手段（１０・２２）と、撮影対象となる移動体の撮影対象リストと、前記移動体を追従しかつ近付いて前記撮像装置（２・３）で撮影を実行する撮影実行手段（２・３・１０）と、撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として送信する画像信号送信手段（１０・１３・１５）とを有し、かつ前記撮影要求者が操作する前記携帯端末機器（１４）からの撮影要求信号を受けて前記撮影可否判断手段（１０・２２）により前記撮影を行うと判断した場合に、前記撮影対象リストを前記携帯端末機器（１４）に送信し、前記撮影要求者により前記撮影対象リストから選択された移動体に近付いて撮影し、当該撮影された撮影画像を前記画像信号送信手段により前記携帯端末機器（１４）に送信するものとした。

特に、前記移動ロボット（１）が、バッテリ（３１）をエネルギ源とすると共に前記バッテリ（３１）の充電残量を検出する充電量検出手段（３２）と、前記バッテリ（３１）の充電残量から前記移動体を追従しかつ撮影するのに要する追従撮影時間を算出しかつ前記追従撮影時間から撮影の可否を判定する追従撮影判定手段（１０・３２）とを有すると良い。さらに、前記移動ロボット（１）が、前記充電残量の不足を検出した場合には所定の充電場所まで移動して充電を実行すると良い。また、前記移動体が予め登録された移動体であり、さらに前記登録された移動体が複数ある場合には追従の優先順位を前記携帯端末機器（１４）で設定すると良い。また、前記撮影の可否の判断が、予め前記携帯端末機器をサーバに登録すると共に前記撮影要求撮影可否判断手段と当該サーバとの信号授受により前記携帯端末機器に対応する前記撮影指示者が前記サーバに登録されているか否かを判断して行うものであり、また、前記携帯端末機器（１４）に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器（１４）に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段（１０）をさらに有すると良い。

このように本発明によれば、移動体を検出することができる移動ロボットに移動体の撮影を要求することにより、ロボットが撮影要求信号に対して撮影を行うと判断した場合には移動体を追従して撮影することから、撮影要求者が画面を見ながら細かく調整する手間を省くことができ、ロボットによる移動体の撮影を容易に行うことができる。また、撮影画像を携帯端末機器で確認したり、例えばサーバに送信して保存して撮影要求者が後でサーバにアクセスして撮影画像を取得したり、プリントしたりすることを自由に行うことができる。

特に、移動ロボットがバッテリの残量から追従撮影時間を算出しかつ追従して撮影することができるか否かを判定することにより、不用意に移動体を追従して、その途中で移動不可能になることを未然に防ぐことができる。さらに、充電不足を検出した場合には所定の充電場所まで移動して充電を実行することにより、ロボットが自ら判断して充電を実行することができ、オペレータによる制御を何ら必要とせず、移動ロボットによる撮影を好適に行うことができる。また、登録された移動体が複数ある場合には追従の優先順位を設定することにより、優先順位の低い移動体を追従している時に優先順位のより高い移動体を発見した場合に追従対象を変更することができ、できるだけユーザの要求に合わせた撮影を実施することが可能になる。

また、予め撮影指示者をサーバに登録し、撮影要求した撮影指示者がサーバに登録されているか否かを判断して撮影の可否の判断を行うことにより、登録した者だけが撮影指示可能になり、不特定多数の者がロボットに対して撮影指示命令を出して、ロボットの動作が煩雑化してしまうことを防止し得る。

さらに、選択画像を決定した場合に携帯端末機器に対して撮影に応じた課金信号を送信すると共に課金処理を行う課金手段を設けることにより、ロボットにより撮影したその場で撮影結果及びそれに伴う課金を確認することができ、特に複数枚選択した場合などの課金状態を容易に知ることができ、取り扱い性が良い。

以下、本発明の実施の形態を、図面を参照しながら説明する。図１は、本発明が適用された全体システム図である。なお、本図示例における移動ロボット１にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式や車輪式であっても良い。図に示されるように、本移動ロボット１には、撮像装置として左右一対のカメラ２及びそれらに接続された画像処理部３と、左右一対のマイク４及びスピーカ５と接続された音声処理部６と、センサ７に接続された個人認証部８と、それら画像処理部３・音声処理部６・個人認証部８と障害物センサ９とが接続された制御部１０と、制御部１０と接続されたマップデータベース部１１と、頭や腕や脚を駆動制御するべく制御部１０と接続された駆動部１２と、無線ＬＡＮの送受信用のＬＡＮ送受信部１３と、携帯端末機器１４と送受信を行うための携帯用送受信部１５とが設けられている。ＬＡＮ送受信部１３と携帯用送受信部１５とは画像信号送信手段として設けられている。

また、ロボット１には、そのエネルギ源としてバッテリ３１が装備されている。そして、バッテリ３１の充電残量を検出するための充電センサ３２が設けられており、その充電センサ３２で検出された充電残量値が制御部１０に入力され、制御部１０により任意のタイミングで充電残量を確認することができるようになっている。なお、充電スタンド３３を設置しておき、その場所で充電するようにすると良い。

カメラ２及び画像処理部３、またマイク４及び音声処理部６とにより人物を検出することができる人物検出手段が構成されている。また、人物検出手段としては、センサ７としてＲＦセンサを用い、撮影要求者に対応する発信器などを渡しておくことで構成しても良い。この人物検出手段は、移動体検出手段として用いられる。移動体として例えば役者が着たぬいぐるみとした場合には、そのぬいぐるみに発信器を装着しておけば良い。

ロボットに対する人からの呼びかけがあれば音量の変化として捉えることができるため、音声処理部６で、マイク４で集音された音量の変化を検出すると共に音源の方向を認識する。例えば左右のマイク４間の音量変化の時間差や音圧差で音源方向を求めることができる。次に、例えば音素の分割やテンプレートマッチングで特定の言葉を音声として認識する。ぬいぐるみの場合には、そのキャラクターに合わせた言葉（鳴き声）を設定しておくと良い。音量変化時の音素が言葉のいずれにも該当しなかったり、テンプレートで用意されている言葉（鳴き声）と一致しなかったりした場合には音声ではないとして良い。

カメラ２は例えばＣＣＤカメラであって良く、フレームグラバにより画像をデジタル化して取り込んだものを画像処理部３に出力する。このカメラ２及び画像処理部３により移動体検出手段が構成されて良く、画像処理部３で移動体抽出を行う。例えば、音声認識処理により認識された音源の方向にカメラ２を向け、または音声が認識されない場合には任意の方向に首振り運動をして、図２に示されるような移動体を認識したらその抽出を行う。図２（ａ）ではカメラ２ａでの画角１６内に人形のぬいぐるみが挨拶として手を振っている状態が撮影された場合であり、図２（ｂ）では手招きしている状態が撮影された場合である。これらの場合には手を動かしているぬいぐるみが移動体として認識される。

ここで、移動体抽出処理の一例を示す。例えば動きのあるエッジ点を最も多く含む部分を対象部分としてステレオ視による距離ｄの検出を行う。この場合、例えば、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の２フレーム間の差分から動いているものを抽出することができる。

次に、画角（図２の１６）内での移動体探索領域を設定する。例えば、距離ｄを基準に処理対象距離範囲（ｄ±Δｄ）を設定し、その処理対象距離範囲内に存在する画素を抽出し、図２（ａ）における縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線Ｃａとする。その中央線Ｃａから距離ｄに応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定する。これにより、図２（ａ）の破線で示されるような移動体探索領域１７が設定される。

次に、特徴の抽出を行う。この特徴抽出では、パターンマッチングなどを用いて特定のマークや注目点を探索することである。例えば、認識容易な特定のマークを記したワッペンなどをロボットが追従する移動体に付けておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、移動体としてのぬいぐるみがロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、追従対象の移動体を認識することができる。

また、輪郭の抽出を行う。なお、画像情報から対象物（移動体）を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギを最小化するように閉曲線を変形させる動的輪郭モデル（Snakes）などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向（角度）を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角１６内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。

次に、顔画像切り出しの一例を示す。この処理は、カメラ２・画像処理部３・制御部１０により行うことができる。例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報（ぬいぐるみの該当部分の色）を抽出し、その色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。この場合のカメラ２により撮影された初期画面の一例を図３（ａ）に示す。

図３（ａ）に基づき例えば図３（ｂ）に示されるように輪郭１８が抽出されたとすると、その輪郭１８の画面上での最上部となる位置データ（頂部）を頭頂部１８ａとして位置設定する。これを画像処理部３により行うようにして良い。その頭頂部１８ａを基準点として探索範囲を設定する。探索範囲は、ロボット１からの距離に応じて予め設定されている顔の大きさに相当するサイズを設定しておくと良く、また奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。

なお、移動体が検出されない場合には、マップデータベース部１１に保存されている地図データの参照を行う。それにより、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定する。

上記したように構成された自立移動可能なロボット１に対して、信号の授受を行うためのＬＡＮ送受信機２１がロボット１の上記した移動範囲内の適所に設けられ、そのＬＡＮ送受信機２１が管理サーバ２２と接続されている。

また、携帯端末機器１４とロボット１の携帯送受信部１５との信号の授受を可能にする携帯基地局２３が上記と同様にロボット１の移動範囲内の適所に設けられている。その携帯基地局２３には、送受信機２３ａと制御部２３ｂとが互いに接続されて設けられており、各ユーザがパーソナルコンピュータ２４でアクセス可能なインターネットに制御部２３ｂが接続されている。

また、上記管理サーバ２２とは別個にサーバ２５が設けられており、そのサーバ２５にはコンテンツ用データベース部２５ａと制御部２５ｂとが互いに接続されて設けられている。その制御部２５ｂもインターネットと接続されている。

次に、本発明に基づくロボット１による撮影要領について示す。例えば遊園地やイベント会場において、ロボット１によりカメラ２で撮像した撮影画像をデジタル写真として入園者や入場者に提供する場合を示す。なお、カメラ２はロボット１における目に相当するものであり、それとは別に手持ちの外部カメラで撮影するようにしても良い。その場合には、外部カメラのデータ出力端子をロボット１に接続し、その画像データを画像処理部３で処理するようにすれば良い。

また、ロボット１への撮影指示を携帯端末機器１４で行うものであり、ロボット１に撮影を指示して撮影してもらうことを希望する撮影要求者（ユーザ）は貸与される画像表示機能付き携帯端末機器１４または自身が所有する画像表示機能付き携帯電話のＩＤコードなどを管理サーバ２２に予め登録しておく。ユーザはロボット１と交信可能な範囲（予め特定しておく）に行き、そこで図４に示されるように携帯端末機器１４を用いてロボット１に指示を出す。

なお、図５に専用の携帯端末機器１４の例を示す。この携帯端末機器１４には、ロボット１による撮影画像及び文字を表示するための画面１４ａと、複数の操作用キー１４ｂとが設けられている。キー１４ｂのそれぞれには、ロボット１に対して前方や右前方などの移動指示や、画面１４ａに表示された項目に対して選択するものなどが割り当てられている。なお、携帯端末機器１４に一般の携帯電話を用いる場合には、そのテンキーなどに上記各指示ためのキーの割り当てを決めておく。

図６(ａ)・(ｂ)は、ロボット１による撮影要領を示すフロー図である。まず、ロボット１にあっては、ステップＳＴ１でバッテリ３１の残量を検出し、次のステップＳＴ２では移動体（ぬいぐるみ等）を追従するのに十分なバッテリ残量があるか否かを判別する。この場合のバッテリ残量のしきい値は、ロボット１が行動し得る範囲と充電スタンド３３の位置とから算出して設定した一定値であって良い。また、マップデータベース部１１のマップデータを参照してロボット１の現在地を求め、その現在地から充電スタンド３３までの距離を常時算出するようにし、その距離だけ移動可能なバッテリ残量値を上記しきい値としても良い。

ステップＳＴ２でバッテリ残量が一定以上あると判別された場合にはステップＳＴ３に進む。そのステップＳＴ３では、バッテリ残量から移動体を追従することができる時間を算出し、その時間をタイマにセットする。移動体を追従可能な時間としては、ロボット１が移動体の画像処理を行いつつ移動可能な時間であって良い。

ユーザは、ロボット１と交信可能な場所で、ユーザの携帯端末機器１４からロボット１ａに対する接続要求（撮影要求信号）を送信する（Ｕ１）。この接続要求信号は、携帯基地局２３を介してロボット１の携帯送受信部１５で受信したり、または携帯基地局２３から管理サーバ２２を経由してＬＡＮ送受信機２１を介してロボット１のＬＡＮ送受信部１３で受信したりすることができる。ロボット１は、その接続要求信号を携帯送受信部１５またはＬＡＮ送受信部１３で受信したら、その携帯端末機器１４に対応する個人データを照会するべく、ＬＡＮ送受信部１３から個人データ要求信号を送信する（ＳＴ４）。その個人データ要求信号をＬＡＮ送受信機２１を介して管理サーバ２２が受信したら、管理サーバ２２は、例えば携帯端末機器１４からの送信信号のヘッダに含まれるＩＤコードに対応する個人データを、サーバに登録されている個人データベースの中から検索し、その結果を返す。管理サーバ２２からの個人データ検索結果は、ＬＡＮ送受信機２１を介して送信され、ロボット１のＬＡＮ送受信部１３により受信されるようになっている。

ロボット１では、上記個人データ検索結果が管理サーバ２２に登録されている個人データであると認識（認証ＯＫ）できるか否かを判別し（ＳＴ５）、認識できた場合には次のステップＳＴ６に進み、不登録個人データであると判断（認識ＮＧ）した場合には本フローを終了し、ステップＳＴＳＴ１に戻る。これら管理サーバ２２とロボット１の制御部１０における認証判断とにより撮影可否判断手段が構成されている。

認証ＯＫの場合には、ロボット１からサービス開始及び撮影対象リストの通知を送信する（ＳＴ６）。この送信信号は、携帯端末機器１４で受信可能な信号として送信され、携帯基地局２３を介して携帯端末機器１４で受信することができる。そのサービス開始の通知及び撮影対象リストが携帯端末機器１４の画面上に表示され（Ｕ２）、ユーザは、ロボット１に対して撮影要求可能な状態になったことを確認し得る。なお、接続要求（Ｕ１）以降は、携帯端末機器１４を携帯基地局２３と常時接続可能にしておくものとする。また、送受信信号には認証された個人データを例えばヘッダに含める。これにより、認証された関係が維持され、他の者からのアクセスによる誤動作を防止し得る。

上記撮影対象リストにあっては、例えば園内に出ているキャラクターのぬいぐるみの全種あるいは所定のものであり、複数用意しておくと良い。ユーザは、表示されたリストの中から撮影したいぬいぐるみを選択し、それを送信する。なお、複数のぬいぐるみに対して優先順位を付けて選択できるようにしても良い。

ロボット１では、ステップＳＴ６の次のステップＳＴ７で、選択されたものまたは優先順位を付けられた場合にはその優先順位で移動体を登録する。なお、追従可能な移動体の種類を予めロボット１のメモリに記憶しておき、それに対して選択されたマークや優先順位を設定するようにすれば良い。

次のステップＳＴ８では移動体の登録が終了したか否かを判別する。例えば、優先順位を付ける場合に優先順位付けが終了したら決定ボタンを押すなどのようにしておく場合には、その決定ボタンが押されたか否かを確認する。登録が終了したと判断された場合にはステップＳＴ９に進み、登録が終了されていないと判断された場合にはステップＳＴ７に戻り、登録処理を続行する。

そして、登録された移動体の追従を実行するべく、まず上記した移動体の認識により移動体の検出を行い（ＳＴ９）、移動体が検出されたら移動体を追従する（ＳＴ１０）。次のステップＳＴ１１では追従対象の移動体が登録されたものであるか否かを判別する。この判定には、上記した顔の抽出を行い、登録された移動体の特徴と合致するか否かを判別するなどして行うことができる。なお、ぬいぐるみ等に予め発信器を装着しておき、それをＲＦセンサ（７）により検出するようにしても良い。

登録移動体であると判断された場合にはステップＳＴ１２に進み、登録移動体では無いと判断された場合にはステップＳＴ９に戻り、他の移動体の検出を行う。ステップＳＴ１２では、移動体の追従を続行し、次のステップＳＴ１３で優先順位のより高い登録移動体を発見したか否かを判別し、発見した場合にはステップＳＴ１４に進む。ステップＳＴ１４では追従する移動体の変更を行い、ステップＳＴ１５に進む。また、上記ステップＳＴ１３で優先順位のより高い登録移動体が発見されないと判断された場合にはステップＳＴ１５に進む。

ステップＳＴ１５では移動体に接近し、次のステップＳＴ１６でユーザに対する撮影する旨の発話を行う。次のステップＳＴ１７では、撮影を実行し、その撮影画像を例えばサーバ２２に送信する。この撮影時には、上記輪郭や顔の抽出処理を行って、ぬいぐるみ及び回りの人物（子供など）を含めた撮影を行う。

このようにして、登録された移動体が１つの場合にはそのものだけを追従し、登録された移動体が複数の場合には優先順位のより高いものを移動中に発見したら追従対象を変更していき、発見可能な限りにおいて優先度の１番高い移動体を追従して撮影する。これにより、可能な限りユーザの満足感が得られる撮影を行うことができる。

次のステップＳＴ１８では、撮影画像と、予め設定された撮影料金に基づいた課金データとを送信する。この課金処理を行う課金手段は制御部１０内のプログラムとして設けられている。ユーザの携帯端末機器１４の画面１４ａには選択画像及びそれに伴う課金が表示される（Ｕ４）。ユーザは、それに対して取消／繰返し／終了の最終的な判断を選択してロボット１に指示する（Ｕ５）。なお、「取消。」または「繰返し。」または「終了。」という言葉を発して、音声により指示するようにしても良い。

ロボット１では、ステップＳＴ１９で、取消／繰返し／終了のいずれかが指示されたかを判別する。繰返しが選択された判断した場合には、ステップＳＴ２０に進み、そこで選択画像を保存し、ステップＳＴ１に戻って次の撮影に対処する。この場合には課金が確定する。取消が選択されたと判断した場合にはステップＳＴ１に戻る。この場合には画像の保存は行われず、課金もされない。

そして、終了が選択されたと判断した場合にはステップＳＴ２１に進む。そのステップＳＴ２１では、画像処理部３及び制御部１０により選択画像をユーザが取り扱い可能なファイル形式などに加工し、そのように加工された最終的な画像を管理サーバ２２に送信し、本撮影モードを終了する。この選択画像の決定処理を行う選択画像決定手段は制御部１０内のプログラムとして設けられている。

次のステップＳＴ２２では、移動体の撮影を行うことができたことから、再度バッテリの残量が一定以上あるか否かを判別する。バッテリ残量が一定以上あると判断された場合にはステップＳＴ２３に進み、そこでステップＳＴ３で設定したタイマにおいてタイムアップしたか否かを判別する。タイムアップしていないと判断された場合にはステップＳＴ１に戻り、次の移動体の撮影に備える。

ステップＳＴ２２でバッテリ残量が一定以上無いと判断された場合、またステップＳＴ２３でタイムアップしたと判断された場合には、追従移動可能な程度に充電量が残っていないことになることから、再充電するべく充電スタンド３３に向かい、そこで充電する（ＳＴ２４）。移動ロボット１は、自ら移動できることから、自分で充電スタンド３３まで行き、さらに充電ケーブルをボディのコネクタに結合するまで可能であり、そのようにして全自動的に充電することができる。充電が完了したらステップＳＴ１に戻り、撮影要求を待つことになる。

なお、ユーザは、携帯端末機器１４からサーバ２２にアクセスして撮影画像を要求することができる（Ｕ６）。それに対して、サーバ２２はロボット１により撮影された撮影画像のリストを送信し、携帯端末機器１４にその撮影画像のリストが表示される（Ｕ７）。画像が複数ある場合には画面１４ａに連続表示させたり、１画面に多数の画像を表示するサムネール表示させたりすることができる。

ユーザは、撮影画像リストから欲しいと思われる撮影画像を選択して画像選択を送信する（Ｕ８）。サーバは選択されたものに対応する撮影画像を送信し、携帯端末機器１４にその撮影画像が表示される（Ｕ９）。また、選択画像をプリントアウトしてもらうことも可能であり、例えばユーザが所定のプリント受け取り所に行って写真を受け取るようにすることができる。なお、ユーザによるこれらの作業（Ｕ６〜９）は、課金処理されたものに対してであり、現地に限られず、例えば帰宅後や他の場所からでもアクセス可能であって良い。

また、最終的な画像は個人データと共に管理サーバ２２に保存しておいたり、管理サーバ２２からインターネットを介してサーバ２５のデータベース２５ａに送信して移しておいたりすることができる。これにより、ユーザは、例えば自宅のパーソナルコンピュータ２４からインターネットを介して管理サーバ２２またはサーバ２３にアクセスすることにより、自分の最終的な画像をダウンロードしてプリントアウトすることができる。また、個人データ情報として事前にメールアドレスが登録されていた場合には、そのメールアドレス宛に画像を送信するようにしても良い。なお、選択画像決定により、ロボット１内での撮影画像の保存は必要なくなり、次の撮影指示に対する連続撮影によるメモリ不足になることを心配することなく対処し得る。

本発明にかかる携帯端末機器を用いた移動ロボットの画像撮影装置は、携帯端末機器を用いて移動ロボットにぬいぐるみなどの移動体の撮影を要求する場合に、その要求を受けてロボットが移動体を認識して追従して撮影することができ、携帯端末機器と信号の授受を行う移動ロボットにより撮影を行う分野等に有用である。

本発明が適用された全体システム図である。 （ａ）は移動体の動作の一例を示す説明図であり、（ｂ）は他の例を示す（ａ）に対応する図である。 （ａ）は人物を検出した状態を示す撮影画面の例を示す図であり、（ｂ）は（ａ）の画像から人物の輪郭を抽出した状態を示す図である。 ロボットとユーザとの位置関係を示す図である。 携帯端末機器を示す図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。

符号の説明

１ 移動ロボット
２ カメラ（撮像装置、移動体検出手段、撮影実行手段）
３ 画像処理部（撮像装置、移動体検出手段、撮影実行手段）
７ センサ（移動体検出手段）
８ 個人認証部（移動体検出手段）
１０ 制御部（移動制御手段、撮影可否判断手段、撮影実行手段、画像信号送信手段、追従撮影判定手段、課金手段）
１２ 駆動部（移動制御手段）
１３ ＬＡＮ送受信部（画像信号送信手段）
１４ 携帯端末機器
１５ 携帯送受信部（画像信号送信手段）
２２ 管理サーバ（撮影可否判断手段）
３１ バッテリ
３２ 充電センサ（充電量検出手段、追従撮影判定手段）

Claims (7)

1. 撮影要求者が画像表示可能な携帯端末機器を操作し、
   撮像装置を備える移動ロボットが、移動体に近付いて撮影しかつ当該撮影された撮影画像を前記携帯端末機器へ送信する携帯端末機器を用いた移動ロボットの画像撮影装置であって、
   前記移動ロボットが、
   前記移動体を検出する移動体検出手段と、前記移動体に近付く制御を行う移動制御手段と、撮影の可否を判断する撮影可否判断手段と、撮影対象となる移動体の撮影対象リストと、前記移動体を追従しかつ近付いて前記撮像装置で撮影を実行する撮影実行手段と、撮影画像を前記携帯端末機器で表示可能な画像信号として送信する画像信号送信手段とを有し、かつ
   前記撮影要求者が操作する前記携帯端末機器からの撮影要求信号を受けて前記撮影可否判断手段により前記撮影を行うと判断した場合に、前記撮影対象リストを前記携帯端末機器に送信し、前記撮影要求者により前記撮影対象リストから選択された移動体に近付いて撮影し、当該撮影された撮影画像を前記画像信号送信手段により前記携帯端末機器に送信することを特徴とする携帯端末機器を用いた移動ロボットの画像撮影装置。
2. 前記移動ロボットが、バッテリをエネルギ源とすると共に前記バッテリの充電残量を検出する充電量検出手段と、前記バッテリの充電残量から前記移動体を追従しかつ撮影するのに要する追従撮影時間を算出しかつ前記追従撮影時間から撮影の可否を判定する追従撮影判定手段とを有することを特徴とする請求項１に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
3. 前記移動ロボットが、前記充電残量の不足を検出した場合には所定の充電場所まで移動して充電を実行することを特徴とする請求項２に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
4. 前記移動体が予め登録された移動体であることを特徴とする請求項１乃至請求項３のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
5. 前記登録された移動体が複数ある場合には追従の優先順位を前記携帯端末機器で設定することを特徴とする請求項４に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
6. 前記撮影の可否の判断が、予め前記携帯端末機器をサーバに登録すると共に前記撮影要求撮影可否判断手段と当該サーバとの信号授受により前記携帯端末機器に対応する前記撮影指示者が前記サーバに登録されているか否かを判断して行うことを特徴とする請求項１乃至請求項５のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
7. 前記携帯端末機器に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段をさらに有することを特徴とする請求項１乃至請求項６のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。

Images