JP2005157779A - 測距装置 - Google Patents

Abstract

【課題】物体の検出効率を向上させることができ、物体までの距離を精度良く求めることができる測距装置を提供すること。
【解決手段】測距装置Ｓは、移動体１０に搭載され、移動体１０が移動する移動面を含む直接画像及び移動面を排除し対象物体を含む反射画像を取得する画像入力部１１と、画像入力部１１により取得される直接画像から得られるオプティカルフローに基づいて移動体１０の移動量を算出する移動量算出部１２と、反射画像から得られるオプティカルフロー及び移動量算出部１２により算出された移動量に基づいて対象物体までの距離を算出する距離算出部１３とを備えている。
【選択図】 図１

Description

本発明は測距装置に係り、詳しくはロボット等の移動体に搭載され、障害物等の物体を検出し、その物体までの距離を測定する測距装置に関するものである。

従来、電波、超音波、光などの波動を物体に放射して、この波動が戻ってくるまでの伝播時間を測定して物体までの距離を算出する方法が知られている。しかし、物体に波動を放射して距離を測定する方法は、物体が波動を吸収してしまう場合には使用できないという問題があった。

そこで、近年、ＣＣＤカメラ等により撮影した画像に基づいて物体までの距離を算出する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載された物体検出装置は、ＣＣＤカメラ等の撮像手段によって時間的に連続する２枚以上の画像を取得し、これら画像のオプティカルフローに基づいて物体の存在する領域と物体の存在しない領域とを分離している。すなわち、物体検出装置は、撮影した画像から物体の存在する領域を切り出している。そして、物体検出装置は、求められた物体の存在する領域に対して所定の処理（例えば、パターンマッチング）を実行して物体がその領域に存在するか否かを判断することで物体を検出している。この種の物体検出装置によれば、波動を吸収し易い等の物体の性質に影響されることなく物体を検出することができる。また、物体を検出した後、三角測量の原理等を用いて物体までの距離を求める測距装置が提案されている。
特開２００３−１９６６６４号公報

しかし、従来の物体検出装置は、例えば物体に影がある場合には該影を物体の一部として認識してしまうため、撮像手段によって得られた画像から物体の存在する領域を精度よく分離できないことがある。そして、これに伴い物体までの距離を精度よく算出できないといった問題があった。また、従来の物体検出装置にあっては、得られた画像から物体の存在する領域と物体の存在しない領域とを分離する必要があり、物体の検出効率が非常に悪いものとなっていた。

本発明は、こうした実情に鑑みてなされたものであって、その目的は、物体の検出効率を向上させることができ、物体までの距離を精度よく求めることができる測距装置を提供することにある。

上記課題を解決するため、請求項１に記載の発明は、移動体に搭載され、該移動体が移動する移動面を含む第１の画像及び前記移動面を排除した対象物体を含む第２の画像を取得する画像取得手段と、前記画像取得手段により取得される前記第１の画像から得られるオプティカルフローに基づいて前記移動体の移動量を算出する移動量算出手段と、前記第２の画像から得られるオプティカルフロー及び前記移動量算出手段により算出された移動量に基づいて対象物体までの距離を算出する距離算出手段とを備えたことを要旨とする。

この発明によれば、画像取得手段により移動面を含む第１の画像及び移動面を排除した対象物体を含む第２の画像を取得し、移動量算出手段及び距離算出手段により対象物体までの距離を算出する。すなわち、第２の画像からは移動面が排除されているため、距離算出手段が対象物体までの距離を算出するに際して、画像取得手段により得られた画像から対象物体の存在する領域を分離する必要がない。よって、物体の検出効率を向上させることができる。また、第２の画像は対象物体の影を含まないため、得られた画像から対象物体を精度よく検出することができる。従って、対象物体までの距離を精度よく求めることができる。

請求項２に記載の発明は、前記画像取得手段は、反射面を備える反射手段と該反射手段の反射面に対向するように配置される撮像手段とを備え、前記反射面が前記移動面となす角度をθ１、前記撮像手段の光軸が前記移動面となす角度をθ２とした場合、θ２＝θ１×２の関係を有することを要旨とする。

この発明によれば、撮像手段の光軸及び反射手段の反射面がθ２＝θ１×２の関係で配置されることで、その反射面で反射される画像を上記第２の画像として得ることができる。すなわち、１つの撮像手段によって移動面を含む第１の画像及び移動面が排除された第２の画像を得ることができ、測距装置の構成を簡単にすることができる。

請求項３に記載の発明は、前記角度θ１が４５度であるとともに、前記角度θ２が９０度であることを要旨とする。
この発明によれば、撮像手段により得られる上記第１の画像が移動面を正視した画像となる。このため、移動量算出手段により求められるオプティカルフローが単に移動面上の変化として表され、移動量を容易に算出することができる。

請求項４に記載の発明は、前記移動量算出手段は、前記第１の画像の少なくとも２つのオプティカルフローの始点及び終点の座標に基づいてハフ変換を行うことにより前記移動体の移動量を求めることを要旨とする。

この発明によれば、移動量算出手段は、ハフ変換という既存の方法を用いて移動量を求める。一般に、時間的に異なる複数の第１の画像からは、複数のオプティカルフローが得られ、これらオプティカルフローの中には移動量と相関のないものが存在する場合がある。そこで、これらオプティカルフローの始点と終点の座標に対してハフ変換を行うことにより、移動量と相関のないオプティカルフローの影響を受けずに移動体の移動量を推定することが可能となる。よって、オプティカルフローから移動体の移動量を推定するための新たなアルゴリズム等を開発することなく、移動体の移動量を求めることができる。従って、測距装置の開発費を抑制することができる。

本発明によれば、物体の検出効率を向上させることができ、物体までの距離を精度よく求めることができる測距装置を提供できる。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、本実施形態における測距装置Ｓは、移動体１０に搭載されており、画像取得手段としての画像入力部１１、移動量算出手段としての移動量算出部１２及び距離算出手段としての距離算出部１３を備えている。

図２に示すように、画像入力部１１は、撮像手段としてのカメラ（例えばＣＣＤカメラやＣＭＯＳカメラ）１４及び反射手段としての平板状の鏡１５により構成されている。
カメラ１４は、撮像した画像を電気信号に変換し、画像データとして移動量算出部１２及び距離算出部１３に出力する。また、カメラ１４は、鏡１５の上方において移動体１０に固定され、カメラ１４の撮像レンズが有する光軸Ｌ１が移動面Ｍに対して所定の角度θ２をなすように配置されている。なお、本実施形態では、角度θ２＝９０°となるようにカメラ１４が配置されている。また、同図に示す二点鎖線は、カメラ１４の撮像範囲を示す。

鏡１５は、その反射面１５ａが図２において上方を向き、且つ反射面１５ａが移動面Ｍに対して所定の角度θ１をなすように配置されている。この反射面１５ａにおける移動面Ｍとの境界上には、カメラ１４の光軸Ｌ１が位置しており、その結果、反射面１５ａにおける移動面Ｍとの境界から対象物体Ｂまでは移動面Ｍを這うように光軸Ｌ２が位置する。なお、鏡１５は、移動体１０が移動する移動面Ｍに対して若干の隙間が空くように固定されている。また、本実施形態では、角度θ１＝４５°となるように鏡１５が配置されている。すなわち、鏡１５の反射面１５ａが移動面Ｍとなす角度θ１と、カメラ１４の光軸Ｌ１が移動面Ｍとなす角度θ２とには、角度θ２＝角度θ１×２なる関係がある。

このような構成のもとでカメラ１４が撮像した画像例を図３に示す。画像１６は、移動面Ｍのみが撮像された（移動面Ｍを正視した）第１の画像としての直接画像１６ａ及び移動面Ｍが排除され対象物体Ｂが撮像された第２の画像としての反射画像１６ｂの２つの画像から構成されている。本実施形態では、反射面１５ａにおける移動面Ｍとの境界を基準に、画像１６の上半分を反射画像１６ｂが、画像１６の下半分を直接画像１６ａが占めている。

画像入力部１１は、カメラ１４を介して所定時間毎に画像１６を取得する。画像入力部１１は、カメラ１４により得られた画像１６を移動量算出部１２及び距離算出部１３に出力する。詳しくは、画像入力部１１は、画像データの下半分の画像データ、即ち直接画像１６ａの画像データ（以下、直接画像データという）を移動量算出部１２のテンプレート作成部１７及びオプティカルフロー検出部１９に出力する。一方、画像入力部１１は、画像データのうち上半分の画像データ、即ち反射画像１６ｂの画像データ（以下、反射画像データという）を距離算出部１３のテンプレート作成部２１及びオプティカルフロー検出部２３に出力する。

移動量算出部１２は、テンプレート作成部１７、データ保存部１８、オプティカルフロー検出部１９及び移動量演算部２０により構成されている。
テンプレート作成部１７は、取得した時間ｔ１における直接画像データに基づきその直接画像を所定の領域毎に分割して複数のテンプレートＴ（ｎ）を作成する。ここで、ｎは直接画像１６ａにおけるテンプレートの総数とする。なお、本実施形態におけるテンプレートＴ（ｎ）は、対応する所定領域内の輝度パターンを示すものである。そして、テンプレート作成部１７は、作成したテンプレートＴ（ｎ）のデータをデータ保存部１８に出力する。

データ保存部１８は、図示しないメモリを備えている。データ保存部１８は、テンプレート作成部１７から入力されたテンプレートＴ（ｎ）をメモリに記録する。このため、データ保存部１８には、所定時間毎に直接画像１６ａにおける複数のテンプレートＴ（ｎ）が記録される。

オプティカルフロー検出部１９は、上記時間ｔ１から所定時間経過後の時間ｔ２における直接画像１６ａの画像データが画像入力部１１から入力されると、その１つ前の時間ｔ１におけるテンプレートＴ（ｎ）をデータ保存部１８から読み出す。そして、その読み出したテンプレートＴ（ｎ）と時間ｔ２における直接画像１６ａの画像データとを比較（テンプレートマッチング）してオプティカルフローを求める。

以下、直接画像１６ａにおいて、オプティカルフローを求める場合について説明する。
まず、オプティカルフロー検出部１９は、テンプレートＴ（ｎ）の代表点（例えば、テンプレートＴ（ｎ）の中心点）の座標をオプティカルフローの始点の座標（Ｘ_i，Ｙ_i）（ただし、１≦ｉ≦ｎ）として記録する。

次に、オプティカルフロー検出部１９は、テンプレートＴ（ｎ）を時間ｔ２における直接画像１６ａの所定領域内で移動させて、輝度パターンが類似または一致する領域を検出する。そして、テンプレートＴ（ｎ）の輝度パターンと類似または一致する領域（マッチ領域）を検出した場合、オプティカルフロー検出部１９は、そのマッチ領域における代表点（例えば、マッチ領域の中心点）をオプティカルフローの終点の座標（Ｘ_i’，Ｙ_i’）として記録する。なお、オプティカルフロー検出部１９は、全てのテンプレートＴ（ｎ）に対して上記始点及び終点の座標を算出する。そして、オプティカルフロー検出部１９は、上記態様により求めた各オプティカルフローの始点及び終点の座標を移動量演算部２０に出力する。

移動量演算部２０は、入力された各オプティカルフローの始点の座標（Ｘ_i，Ｙ_i）及び終点の座標（Ｘ_i’，Ｙ_i’）を用いてハフ（Hough）変換を行うことで移動体１０の移動量を算出する。

具体的には、図４に示すように、移動面ＭをＸ−Ｙ平面と仮定し、Ｘ−Ｙ平面に垂直なＺ軸回りの回転量をｄθ、移動面Ｍからカメラ１４までの距離を距離ｈとすると、Ｘ軸方向の移動量ｄｘ、Ｙ軸方向の移動量ｄｙは下記（式１）、（式２）として導出される。なお、同図ではｄθを時間ｔ１における上記光軸Ｌ２に対しての時間ｔ２における光軸Ｌ２の回転量として示す。また、同図に示す二点鎖線は、カメラ１４の撮像範囲を示す。このため、移動量演算部２０は、上記テンプレートマッチングで求められた各オプティカルフローの始点の座標（Ｘ_i，Ｙ_i）、終点の座標（Ｘ_i’，Ｙ_i’）を（式１）及び（式２）に代入し、その代入した状態の（式１）、（式２）それぞれのｄθに０〜３６０°の値を代入することで、各オプティカルフローに対応した複数のハフ曲線を求める。そして、移動量演算部２０は、これらハフ曲線が最も交差する点におけるｄｘ、ｄｙ、ｄθをアフィン変換パラメータ（ｄｘ、ｄｙ、ｄθ）、すなわち移動体１０の移動量として算出する。そして、移動量演算部２０は、その算出した移動量（ｄｘ，ｄｙ，ｄθ）を三角測量演算部２４に出力する。

なお、上記（式１）及び（式２）におけるｆ₁₁、ｆ₁₃．ｆ₂₂，ｆ₂₃はカメラ１４の内部パラメータであり、例えばＣＣＤカメラの場合、光学設計により求まるＣＣＤの搭載位置と製造過程により決まるＣＣＤの搭載位置との乖離量を示す。すなわち、製造時に、設計上の位置よりもスライドした位置にＣＣＤが搭載されると、これら内部パラメータが変化する。

距離算出部１３は、テンプレート作成部２１、データ保存部２２、オプティカルフロー検出部２３及び三角測量演算部２４により構成されている。
テンプレート作成部２１は、画像入力部１１から入力された時間ｔ１における反射画像データに基づき上記移動量算出部１２におけるテンプレート作成部１７と同様にしてテンプレートＴ（ｍ）を作成する。ここで、ｍは反射画像１６ｂにおけるテンプレートの総数とする。そして、作成したテンプレートＴ（ｍ）をデータ保存部２２に出力する。データ保存部２２は、テンプレート作成部２１から入力されたそのテンプレートＴ（ｍ）を図示しないメモリに記録する。

オプティカルフロー検出部２３は、時間ｔ２における反射画像１６ｂの画像データが入力されると、その１つ前の時間ｔ１におけるテンプレートＴ（ｍ）をデータ保存部２２から読み出す。そして、その読み出したテンプレートＴ（ｍ）と時間ｔ２における反射画像１６ｂの画像データとを比較（テンプレートマッチング）し、上述したオプティカルフロー検出部１９と同様にしてオプティカルフローを求める。そして、オプティカルフロー検出部２３は、求めた各オプティカルフローの始点の座標（Ｕ_k，Ｖ_k）（ただし、１≦ｋ≦ｍ）及び終点の座標（Ｕ_k’，Ｖ_k’）を三角測量演算部２４に出力する。

三角測量演算部２４は、オプティカルフロー検出部２３から入力された各オプティカルフローの始点及び終点の座標と、上記移動量演算部２０から入力された移動量（ｄｘ，ｄｙ，ｄθ）とに基づき三角測量の原理を用いて対象物体Ｂまでの距離Ｄを算出する。

具体的には、三角測量演算部２４は、オプティカルフロー検出部２３から入力されたオプティカルフローの始点の座標（Ｕ_k，Ｖ_k）及び終点の座標（Ｕ_k’，Ｖ_k’）と、移動量演算部２０から入力された移動量（ｄｘ、ｄｙ、ｄθ）とから以下に示す数式に従って距離Ｄを算出する。

なお、本実施形態において三角測量演算部２４は、｜Ｕ_k−Ｕ_k’｜≧｜Ｖ_k−Ｖ_k’｜の場合には（式３）により距離Ｄを求め、｜Ｕ_k−Ｕ_k’｜＜｜Ｖ_k−Ｖ_k’｜の場合には（式４）により距離Ｄを求めている。そして、三角測量演算部２４は、算出した距離Ｄのデータを移動体１０に設けられたモータ駆動部に出力する。

モータ駆動部は、例えば、タイヤ（キャタピラ等でもよい）を駆動するモータ及びそのドライバ回路で構成されている。そして、このモータ駆動部は、移動体１０と対象物体Ｂとが接触しないよう入力された距離Ｄのデータを用いてモータを制御する。

なお、本実施形態における移動体１０として、例えば自律型の掃除ロボットを適用することにより、ごみ等の障害物を検知しながらごみ等を収集することが可能となる。
上述したように、本実施形態によれば、以下の効果を得ることができる。

（１）画像入力部１１により移動面Ｍの直接画像１６ａ及び移動面Ｍを排除した対象物体Ｂの反射画像１６ｂを取得し、移動量算出部１２及び距離算出部１３により対象物体Ｂまでの距離Ｄを算出する。反射画像１６ｂからは移動面Ｍが排除されているため、距離算出部１３が対象物体Ｂまでの距離を算出するに際して、画像入力部１１により得られた画像から対象物体Ｂの存在する領域を分離する必要がない。よって、対象物体Ｂの検出効率を向上させることができる。また、反射画像１６ｂは対象物体Ｂの影を含まないため、得られた画像から対象物体Ｂを精度よく検出することができる。従って、対象物体Ｂまでの距離を精度よく求めることができる。

（２）鏡１５の反射面１５ａが移動面Ｍとなす角度θ１と、カメラ１４の光軸Ｌ１が移動面Ｍとなす角度θ２とには、角度θ２＝角度θ１×２なる関係、すなわち、角度θ２が角度θ１の２倍となるように配置されている。このため、鏡１５の反射面１５ａで反射される画像を移動面Ｍが排除された対象物体Ｂを含む反射画像１６ｂとして得ることができる。すなわち、１つのカメラ１４によって移動面Ｍの直接画像１６ａ及び移動面Ｍが排除された反射画像１６ｂを得ることができ、測距装置の構成を簡単にすることができる。

（３）鏡１５の反射面１５ａが移動面Ｍと４５度の角度をなすように、カメラ１４の光軸Ｌ１が移動面Ｍと９０度の角度をなすようにそれぞれ配置した。このため、カメラ１４により移動面Ｍを正視した画像を直接画像１６ａとして得ることができ、直接画像１６ａのオプティカルフローが単に移動面上の変化として表される。従って、直接画像１６ａのオプティカルフローに基づいて移動体１０の移動量を容易に求めることができる。

（４）移動量演算部２０は、入力された各オプティカルフローの始点の座標及び終点の座標を用いてハフ変換という既存の方法により移動量を求める。一般に、時間的に異なる複数の直接画像１６ａからは、複数のオプティカルフローが得られ、これらオプティカルフローの中には移動量と相関のないものが存在する場合がある。そこで、これらオプティカルフローの始点と終点の座標に対してハフ変換を行うことにより、移動量と相関のないオプティカルフローの影響を受けずに移動体１０の移動量を推定することが可能となる。よって、オプティカルフローから移動体１０の移動量を推定するための新たなアルゴリズム等を開発することなく、移動体１０の移動量を求めることができる。従って、測距装置の開発費を抑制することができる。

尚、本発明の実施形態は、以下のように変更してもよい。
・上記実施形態では、カメラ１４は、角度θ２＝９０°となるように配置され、鏡１５は、角度θ１＝４５°となるように配置されていた。しかし、角度θ２＝角度θ１×２なる関係が保たれるならば、角度θ１及び角度θ２の値は上記実施形態における４５°や９０°に限定されない。例えば、角度θ１＝３０°、角度θ２＝６０°に設定されてもよい。また、角度θ２は９０°以上の値に設定されてもよい。例えば、角度θ１＝６０°、角度θ２＝１２０°に設定されてもよい。これらの場合も、移動面Ｍを排除した反射画像１６ｂを取得することができる。

・上記実施形態では、画像入力部１１は反射手段としての鏡１５を備え、この鏡１５を移動面Ｍに対して角度θ１で傾斜させることで直接画像１６ａ及び反射画像１６ｂを一つの画像１６として取得していた。しかし、直接画像１６ａ及び反射画像１６ｂを取得するための画像入力部１１の構成は上記実施形態の構成に限られない。例えば、図５に示すように、鏡１５，２５を用いて画像入力部１１を構成してもよい。この場合、鏡１５の上方に鏡２５を反射面２５ａが下面で、且つ鏡１５と平行になるように配置し、その側方にカメラ１４を配置する。これにより、上記実施形態と同様に直接画像１６ａ及び反射画像１６ｂの取得が可能となるとともに、カメラ１４の配置態様を変えたことにより測距装置Ｓの小型化を図ることも可能となる。また、反射手段として鏡１５に代えて光軸を屈折させるプリズム等の他の反射手段を用いてもよい。

・上記実施形態において、移動量算出部１２は、各オプティカルフローを検出した後、ハフ変換を行うことによって移動量（ｄｘ、ｄｙ、ｄθ）を求めていたが、移動量を算出する方法はハフ変換に限定されない。例えば、移動量を算出するにあたってクラスタリング法を用いることもできる。このクラスタリング法では、オプティカルフロー検出部１９によるテンプレートマッチングにより求められた２つのオプティカルフローの始点及び終点の座標に基づき下記（式５）のようにして回転量ｄθを算出する。ここでは、この２つのオプティカルフローの始点及び終点の座標を（Ｘ_i，Ｙ_i）→（Ｘ_i’，Ｙ_i’）、（Ｘ_j，Ｙ_j）→（Ｘ_j’，Ｙ_j’）として説明する。なお、１≦ｉ≦ｎ，１≦ｊ≦ｎであり、この２つのオプティカルフローの座標は任意に選択可能である。そして、算出した回転量ｄθ及びオプティカルフローの始点及び終点の座標（Ｘ_i，Ｙ_i）→（Ｘ_i’，Ｙ_i’）、（Ｘ_j，Ｙ_j）→（Ｘ_j’，Ｙ_j’）を上記（式１），（式２）に代入することでそれぞれのオプティカルフローにおけるｄｘ、ｄｙの値を得る。そして、算出した２つの（ｄｘ、ｄｙ、ｄθ）をｄｘ−ｄｙ−ｄθ空間に点としてプロットする。この操作をオプティカルフローから得られる２つの組み合わせ全てに対して行うと、ｄｘ−ｄｙ−ｄθ空間には多数の点集合が生成される。そして、この中からある一定数以上かつ最大点数を包含する任意サイズの方形を抽出してその重心を求め、これをアフィン変換パラメータ（ｄｘ，ｄｙ，ｄθ）、すなわち移動量として算出する。

・上記実施形態において、鏡１５の反射面１５ａは平面であった。しかし、鏡１５の反射面１５ａは、目的によっては横方向または縦方向に湾曲する鏡面でもよい。

次に、上記各実施形態から把握できる技術的思想を以下に記載する。
（１）前記第１の画像が入力される領域と前記第２の画像が入力される領域とは同じ大きさであることを特徴とする請求項１〜４のいずれか一項に記載の測距装置。

本実施形態における測距装置の電気的な構成を示すブロック図。 同じく、測距装置における画像入力部の構成を示した模式図。 同じく、測距装置における画像入力部により取得される画像を説明する図。 同じく、測距装置において、距離Ｄの算出を説明する図。 他の実施形態における測距装置における画像入力部の構成を示した模式図。

符号の説明

１０…移動体、１１…画像取得手段としての画像入力部、１２…移動量算出手段としての移動量算出部、１３…距離算出手段としての距離算出部、１４…撮像手段としてのカメラ、１５…反射手段としての鏡、１５ａ…反射面、Ｓ…測距装置、Ｂ…対象物体、Ｍ…移動面、Ｌ１，Ｌ２…光軸。

Claims (4)

1. 移動体に搭載され、該移動体が移動する移動面を含む第１の画像及び前記移動面を排除した対象物体を含む第２の画像を取得する画像取得手段と、
   前記画像取得手段により取得される前記第１の画像から得られるオプティカルフローに基づいて前記移動体の移動量を算出する移動量算出手段と、
   前記第２の画像から得られるオプティカルフロー及び前記移動量算出手段により算出された移動量に基づいて対象物体までの距離を算出する距離算出手段とを備えたことを特徴とする測距装置。
2. 前記画像取得手段は、反射面を備える反射手段と該反射手段の反射面に対向するように配置される撮像手段とを備え、
   前記反射面が前記移動面となす角度をθ１、前記撮像手段の光軸が前記移動面となす角度をθ２とした場合、θ２＝θ１×２の関係を有することを特徴とする請求項１に記載の測距装置。
3. 前記角度θ１が４５度であるとともに、前記角度θ２が９０度であることを特徴とする請求項２に記載の測距装置。
4. 前記移動量算出手段は、前記第１の画像の少なくとも２つのオプティカルフローの始点及び終点の座標を用いてハフ変換を行うことにより前記移動体の移動量を求めることを特徴とする請求項１〜３のいずれか１項に記載の測距装置。

Images