JP2006146551A - ロボット - Google Patents

Abstract

【課題】ロボットを移動体に追従走行させるために、ロボットが移動体を特定し、高速に移動体までの距離および方向を検知する。
【解決手段】オプティカルフローによる移動体を検出するための対応点位置を算出し配置して、移動体の画像を時系列に取得し、その複数画像間にて対応点の移動量を算出し、移動体の移動に合致する対応点を判断し、得られた対応点群より移動体領域を抽出し、移動体を追従対象として特定し、抽出した移動体領域から特定領域を抽出し、特定領域位置より移動体までの距離と方向を検出するロボットである。
【選択図】図１

Description

本発明は、テレビカメラなどの撮像装置により得られる画像に基づいて接近する移動体を検知し、以降継続してトラッキングして、追従走行させるロボットに関するものである。

従来の移動ロボットにおいては、人間（移動体）の持つ高周波発信源からの高周波信号によって人間の存在を検出して、発信源の方向にロボットの向きを変更し、そのロボットの向きが変更されたとき人間を撮像し、その撮像画像に基づいて人間の顔の向きを判定している（例えば、特許文献１参照）。このロボットは、人間の方向を検知することが可能である。

また人間（移動体）を検出する方法としては、赤外線カメラにより得られた画像から人間と推定される領域を切り出し、その切り出した人間推定領域の面積を特徴量として算出し、その算出した統計量が判定閾値より大きいとき、人間推定領域に対応する像が人間であると判定し検出している（例えば、特許文献２参照）。
特開２００１−１２９７７７号公報 特開２００１−２８０５０号公報

しかしながら、従来の技術を適応する場合、以下のような課題がある。

移動ロボットの構成では、移動体の方向は検知されるが、移動体までの距離は検出されず、ロボットが移動体に追従走行する場合、移動体の敏速な動きについていけないおそれを有している。

また、移動体を検出する方法では、背景画像を道路とし赤外線カメラによる移動体の画像撮影などを条件としており、一般風景を背景とし、一般カメラを用いたロボットでの移動体候補領域の特定への適用は難しい。さらに、ロボットを移動体に追従走行させるには、ロボットが移動体をいかに特定するかが課題であり、加えて継続して高速に移動体までの距離および方向を検知することも課題である。

本発明は、このような課題を解決するもので、ロボットが移動体を特定し、高速に移動体までの距離および方向を検知できるロボットを提供することを目的とする。

上記課題を解決するために、本発明のロボットは、オプティカルフローによる移動体を検出するための対応点位置を算出し配置する手段と、移動体の画像を時系列に取得する画像取得手段と、取得された移動体の複数画像にて対応点を検出し、対応点の複数画像間での移動量を算出する手段と、算出した移動量より移動体の移動に合致する対応点を判断する手段と、得られた対応点群より移動体領域を抽出する手段と、移動体を追従対象として特定する手段と、抽出された移動体領域より移動体の特定領域を抽出する手段とを備えることを特徴とする。

本発明のロボットによれば、移動体を特定し、継続して移動体の距離と方向を検出することにより、その検出した情報を用いてロボットが移動体への追従を迅速に行うことができる。

以下に本発明の実施の形態について、図面を参照しながら説明を行う。

（実施の形態１）
図１は、本発明の実施の形態１におけるロボット１００の構成図である。図１において、１０１は対応点を算出し配置する手段であり、１０２は移動体の画像を時系列に取得する画像取得手段、１０３は対応点の複数画像間での移動量を算出する手段、１０４は算出した移動量より移動体の移動に合致する対応点を判断する手段、１０５は得られた対応点群より移動体領域を抽出する手段、１０６は移動体を追従対象として特定する手段、１０７は抽出された移動体領域より移動体の特定領域を抽出する手段ある。なおロボット１００が、移動体に追従走行するための動力伝達手段や車輪などその他の構成の図示は省略する。

本発明のロボット１００が、移動体を検出する方法としてオプティカルフローを用いている。オプティカルフローの説明を図２に示す。図２ａは２画像間の物体の移動を模式的に示した図であり、図２ｂは２画像間の対応点で算出した結果を示した図である。通常オプティカルフローは図２ｂの対応点２０１に示すように、カメラで撮像する全画面に、格子点状にフローを算出する対応点２０１を配置し、時系列に継続する画像上で各対応点２０１に対応する点２０１を検出し、対応する点２０１間の移動量を検出して、対応点２０１毎のフローを得る。２０２はフロー算出対応点の中で物体の移動が認められた点群である。

このため、対応点２０１は、全画面に等間隔に格子点状に配置し、その点毎にフロー算出するため膨大な演算量となる。また、対応点２０１が多いほど、ノイズフロー検出の可能性が高まり誤検出しやすくなる。本発明の１実施例である全方位光学系を用いた場合、図３で見ると、足元（床に近い）領域となる中央部分の対応点３０１、および、全方位光学系外となる四隅の領域の対応点３０１では移動体および物体の移動により発生するオプティカルフロー以外のノイズフローが発生しやすい。

更に、本発明のロボット１００では、対応点２０１を移動体または移動体の特定領域に限定し、演算コストを削減する。全方位カメラを用いた場合の一実施例（対応点配置例）を図３に示す。全方位カメラを用いた画像３０２の場合、移動体は画像３０２の外側円周上に現れる。このため、図３に示すように、対応点２０１は外側円周上に配置する。また、内側円周上は移動体の足元が現れ位置検出には不適切なノイズフローが現れやすい。さらに、全方位画像の場合、画像四隅は、有意な画像範囲外となり対応点によるフロー演算不要である。従って、図３のように、外側円周上にフロー対応点２０１を配置すると、演算コストおよびノイズ対策両面で有利となる。

以上の方法を利用し、ロボット１００の各手段についてさらに詳細に説明する。対応点を算出し配置する手段１０１は、全方位時系列画像を図３に示すように、円周上に有意な対応点３０１位置を算出する手段である。手段１０１で算出した対応点３０１毎に、移動量を算出する手段１０３においてオプティカルフローを算出する。

画像取得手段１０２とは、オプティカルフロー演算向けに適切な時間間隔で画像を取り込む手段である。例えば、図３の全方位カメラ画像３０２を数百ｍｓ毎に画像入力する。全方位カメラ画像３０２を用いた場合、周囲３６０度の接近物を検知可能であり、接近物検知のためにカメラ移動および回転の必要がない。時間遅延なく追従対象となる、接近する移動体の検知が可能となる。

時系列に画像間の対応点毎の移動量算出手段１０３とは、手段１０１で算出された対応点３０１毎に、画像取得手段１０２で取得した時系列画像間で対応点３０１の位置関係を検知する。通常は時系列画像の古い方の対応点ブロックをテンプレートとし、新しい方の時系列画像上でテンプレートマッチングを行う。得られた一致点と古い方の画像の対応点ブロック位置の位置ズレをフローとして算出する。テンプレートマッチング時の一致度等もフロー演算情報として算出する。対応点毎に算出移動量を移動体の移動に合致か判断する手段１０４において、位置ズレおよび、フロー演算情報等を用いて、移動体の移動かどうかを判断する。

対応点毎に算出移動量を移動体の移動に合致か判断する手段１０４とは、前記のごとく移動量算出手段１０３において算出した位置ズレおよび、フロー演算情報等を用いて、移動体の移動かどうかを判断する手段である。この場合、全画面の同じ判断基準を用いると、例えば移動体の下方部と上方部の場合、移動体の上方部をフローとして検出する可能性が高くなる。また移動体下方部（画像内側）のフローは比較的小さいため移動体上方部（画像外側）に発生するノイズフローと混同しやすい。さらに、実際には、移動体の上方部を優先してフロー検知する必要がある。このため、本発明では、手段１０１で配置した対応点毎に異なる判断基準を用いた。一実施例として、全方位画像のフロー判断基準として、画像内側では放射方向フローを残し、画像外側では、放射と同心円両方向フローを残す。

合致した対応点群を統合し移動体領域を抽出する手段１０５とは、手段１０４にて合格判定した対応点を統合し、移動体領域として抽出する手段である。図４に示すように、合格判定した対応点群４０１を囲む領域を検出する。その抽出した移動体領域が４０２の例である。

移動体が追従対象として特定する手段１０６とは、最も接近し、ロボット１００と接触する移動体が移動体追従対象者であるとの知見に基づき、複数対象者混在の場合の識別手段として組み込む。ロボット１００の特定位置に設置したスイッチを押す、音声を発声させ音原位置推定する等の方法例がある。これにより、ロボット追従対象者を特定し、同時にロボット移動体追従動作開始のトリガとして利用する。

移動体領域より移動体の特定領域を抽出する手段１０７とは、合致した対応点群を統合し移動体領域を抽出する手段１０５にて抽出した移動体領域において、移動体の特徴点、たとえば上方部を抽出する手段である。図５は抽出方法の一例を示す。全方位画像にて移動体領域を抽出した場合、移動体領域は中心部と周辺部で歪む。このため、５０２に示すように移動体領域をパノラマ展開した。この場合、パノラマ展開画像５０２の特定濃淡値をタテ方向５０３およびヨコ方向５０４に射像し、射像結果の分布を判定し上方部領域を検出した。

事前に教示した特定領域テンレートにて特定領域位置を検出する手段１０８および検出した移動体の特定領域位置を中心に近接領域を連続して移動体の特定領域位置をトラッキング検出する手段１０９とは、移動体領域より移動体の特定領域を抽出する手段１０７にて得られた、例えば上方部領域をテンプレートとし、時系列に上方部を継続してテンプレートマッチングする手段である。本発明では、上方部の特定領域は、既に移動体領域検出にて特定範囲に限定されているため、最初に検出した位置の周囲を検出毎に範囲修正しながらテンプレートマッチングする。

得られた移動体の特定領域位置より移動体の距離と方向を検出する手段１１０とは、例えば手段１０８にて得られた上方部の特定領域の位置より、対象者の距離と方向を算出する手段である。一例として、全方位画像の場合、上方部の高さが一定との条件を当てはめると、全方位画像中心点より上方部までの距離より対象者までの距離が換算できる。また、全方位画像中心点より上方部への方向が対象者までの方向である。

図６にロボット１００から移動体までの距離と方向の検出方法を示す。図４は、移動体領域を含む全方位画像をパノラマ展開したものである。移動体を全方位光学系より距離５０ｃｍの地点に立たせた図６０１、距離１５０ｃｍの地点を図６０２として５０ｃｍ毎に離れて距離３００ｃｍの地点に立たせた図６０６を上下に並べた。図６０１から図６０６の図が示すように、全方位光学系から距離が離れると移動体の上方部の位置が下がる。通常のカメラ画像より顕著に移動体の上下位置の差が出現する。このため、本発明のロボット１００では、移動体の特徴位置を基準に移動体との距離を算出する。具体的には、事前に画像上移動体の頭頂のｙ座標位置を距離毎に教示し、距離−頭ｙ座標の対応表（距離＝Ｔ（ｙ））を作成する。移動体追従走行時に得られた移動体の頭頂のｙ座標位置にて、対応表に算入し移動体との距離を得る。

また、パノラマ展開時のｘ座標は移動体への方向に対応する。以上より移動体への方向と距離が得られる。

また、ロボット１００が移動体の距離と方向を検出し、移動体への追従走行においての経路生成を次のように行っている。図７に示すように、移動体の位置をそのまま追いかけた場合、正しい経路生成ができない場合を回避できる。これは移動体の方向のみを検出した場合で、例えば図７ａのごとく移動体の経路が直角コーナとなった時、ロボットは直角に移動体を後追いせず、近道を経路として生成することがある。本発明では、移動体の方向と距離を得ることにより直角コーナの移動体の経路の実現を図る（図７ｂ参照）。経路の生成手順を下記する。ロボットが自分の進行経路と移動体の現在の相対位置を見て、移動体の絶対経路を生成し、これを保存する（図７ｂ参照）。その保存したオペレータ経路を現在の自分の経路と比較して進行方向を決め、後追いを行う。

本発明のロボットは、追従走行する移動体に対して、移動体を特定し継続して移動体までの距離と方向を検知することができることにより、ロボットの分野に利用可能である。

本発明の一実施形態によるロボットの構成図 オプティカルフローを示す図 本発明の一実施形態による、全方位カメラを用いた場合の対応点を示す図 本発明の一実施形態による、合格判定した対応点群より移動体領域抽出した結果を示す図 本発明の一実施形態による、移動体領域のパノラマ展開画像を用い、移動体領域パノラマ展開画像の特定濃淡値射像より上方部を抽出した結果の説明図 移動体との距離を測定する説明図 ロボットの一例の経路を示す図

符号の説明

１００ ロボット
１０１ 対応点位置を算出し配置する手段
１０２ 移動体の画像を時系列に取得する画像取得手段
１０３ 対応点の複数画像間での移動量を算出する手段
１０４ 移動体の移動に合致する対応点を判断する手段
１０５ 対応点群より移動体領域を抽出する手段
１０６ 移動体を追従対象として特定する手段
１０７ 移動体領域より移動体の特定領域を抽出する手段
１０８ 事前に教示した特定領域テンプレートにて特定領域位置を検出する手段
１０９ 移動体の特定領域位置を中心に、近接領域を連続してトラッキングする手段
１１０ 特定領域位置より前記移動体の距離と方向を検出する手段
２０１ 対応点
２０２ 対応点の中で物体の移動が認められた点群
３０１ 対応点
３０２ 全方位カメラ画像
４０１ 合格判定した対応点群
４０２ 抽出した移動体領域
５０１ 移動体領域より上方部を抽出した部分
５０２ 移動体領域のパノラマ展開画像
５０３ 移動体領域パノラマ展開画像の特定濃淡値射像（タテ）
５０４ 移動体領域パノラマ展開画像の特定濃淡値射像（ヨコ）
６０１ 移動体までの距離が５０ｃｍの全方位カメラ画像
６０２ 移動体までの距離が１００ｃｍの全方位カメラ画像
６０３ 移動体までの距離が１５０ｃｍの全方位カメラ画像
６０４ 移動体までの距離が２００ｃｍの全方位カメラ画像
６０５ 移動体までの距離が２５０ｃｍの全方位カメラ画像
６０６ 移動体までの距離が３００ｃｍの全方位カメラ画像

Claims (3)

1. オプティカルフローによる移動体を検出するための対応点位置を算出し配置する手段と、
   前記移動体の画像を時系列に取得する画像取得手段と、
   取得された前記移動体の複数画像にて、対応点を検出し、前記対応点の複数画像間での移動量を算出する手段と、
   前記算出した移動量より前記移動体の移動に合致する対応点を判断する手段と、
   得られた対応点群より移動体領域を抽出する手段と、
   前記移動体を追従対象として特定する手段と、
   前記抽出された移動体領域より移動体の特定領域を抽出する手段とを備えたロボット。
2. 前記画像取得手段は、全方位カメラであることを特徴とする請求項１に記載のロボット。
3. 前記移動体の特定領域を抽出する手段は、
   事前に教示した特定領域テンプレートにて特定領域位置を検出する手段と、
   前記検出した移動体の特定領域位置を中心に、近接領域を連続してトラッキングする手段と、
   得られた移動体の特定領域位置より前記移動体の距離と方向を検出する手段とを備えた請求項１または２に記載のロボット。