JP2007322357A - 距離測定プログラム、距離測定装置、距離測定方法 - Google Patents

Abstract

【課題】移動する車両と障害物との距離の測定の精度を向上させる距離測定プログラム、距離測定装置、距離測定方法を提供する。
【解決手段】連続して複数のフレームの撮像を行うと共に撮像位置姿勢を検出し、フレームと撮像位置姿勢を記録する撮像ステップと、参照フレームに含まれる障害物の参照特徴点を抽出するフレーム決定ステップと、参照フレームより後の時刻に撮像された探索フレームにおいて参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、参照特徴点と探索特徴点と撮像位置姿勢に基づいてステレオ視を実行し、移動体と特徴点の間の距離の算出を行う距離算出ステップと、距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、距離算出ステップにより算出された距離を出力する誤差判定ステップとをコンピュータに実行させる。
【選択図】図１

Description

本発明は、移動体と障害物との距離を測定する距離測定プログラム、距離測定装置、距離測定方法に関するものである。

移動車両に固定された単眼の撮像部を用いて、移動車両と障害物の間の距離を測定するステレオ視による距離測定方法について説明する。図１３は、従来のステレオ視による距離測定方法の一例を示す平面図である。２地点において互いに異なる時間に撮像を行い、同一特徴点の対応関係から三角測量を行う。ここで、視差をｘ、撮像部の焦点距離をｆ、撮像地点間の距離をＢＬ、焦点から特徴点までの距離をＬとすると、これらの値の関係は次式で表される。

また、数１により、Ｌは、次式で表される。

更に、数２により、視差の変化に伴うＬの変化ΔＬは、次式で表される。

ここで、ｆは撮像部固有の値であり、ここでは単眼の撮像部を用いる場合の考察であるため一定である。また、特徴点探索の情報源に画像を用いるため、量子化誤差Δｘが生じる。Δｘは撮像部の分解能と撮像素子サイズに依存する値であ
り、一定である。

なお、本発明の関連ある従来技術として、移動車両に備えた単一のカメラで時系列の画像を撮像し、視差付けされた異なる地点での画像に基づき、立体物を検出し、移動車両から立体物への距離を算出する駐車支援装置がある（例えば、特許文献１参照）。また、移動車両の周辺を少なくとも２地点で撮像した画像に基づき３次元環境を構築し、移動車両の周辺に駐車可能な大きさ以上の領域があるか否かを判定する移動体周辺監視装置がある（例えば、特許文献２参照）。
特開２００１−１８７５５３号公報 特開２００４−１１４９７７号公報

図１４は、従来のステレオ視による距離測定方法の問題点を示す表である。この表に示すように、数２により、２つの撮像地点間の距離ＢＬが短い場合には視差ｘが小さくなるため、視差に占める誤差の割合（視差の相対誤差）が大きくなる。一方、２つの撮像地点間の距離ＢＬが長い場合には視差ｘが大きくなるため、視差の相対誤差が小さくなる。しかし、使用する２枚の画像間における同一特徴点の探索範囲が広くなるため、局所解に陥りやすい。更に、視差が大きくなることにより、計算コストが増大するという問題がある。

また、数３によれば、求める距離Ｌの誤差｜ΔＬ｜を小さくするにはＢＬを大
きくする必要があり、｜ΔＬ｜を一定とするには、Ｌに対して適切なＢＬを設定
する必要がある。

また、特許文献１において、単一のカメラによって異なる２地点でのみ撮像された画像から視差を算出しているため、前述の通り、２地点のカメラ間の距離が短い場合には、算出される距離（視差）の相対誤差が大きくなる。一方、２地点のカメラ間の距離が長い場合には、特徴点探索範囲が広くなるため同一特徴点探索が局所解に陥りやすく距離（視差）の信頼性に欠ける。また、特許文献１では車両の移動データを用いて２枚の画像中の同一特徴点の位置を予想することにより、探索コストを削減しようとしている。しかし、当然、視差はわかっていないため、予想が外れる可能性も大きく、信頼性に欠ける。また、特許文献２において、特許文献１と同様、十分な視差が得られない場合についての対応を考慮していない。

図１５は、従来のステレオ視による駐車スペースの奥行き測定方法の一例を示す平面図である。この図は、駐車スペースｒの奥行き（移動車両ｔから点ｐまでの距離Ｌｐと移動車両ｔから点ｑまでの距離Ｌｑ）を、移動車両ｔに固定された撮像部ｓを用いて測定する方法を示している。また、ここでは、特許文献１や特許文献２のように十分な視差を得られない場合についての対応を考慮していない従来手法により、奥行きを算出する場合を考える。

ここで、Ｌｐ＝１．５［ｍ］、Ｌｑ＝６．５［ｍ］、ｆ＝３．６ｅ−３［ｍ］、ＢＬ＝１．０ｅ−１［ｍ］とする。また、撮像部ｓの分解能を６４０×４８０画素、撮像素子サイズを１／２インチとすると、Δｘ＝０．８ｅ−３／６４０と
なる。数３により、駐車スペースの奥行きＬｐ、Ｌｑのそれぞれの誤差｜ΔＬｐ
｜、｜ΔＬｑ｜は、次式で表される。

一般的に、駐車スペースは、図１５の例のように凹凸がある形状（駐車スペースの両脇の壁と奥の壁との３方を囲まれた形状）である場合が多く、車両と測距特徴点との間の距離は一定ではない。このように凹凸がある形状の駐車スペースに従来手法を用いると、手前の測距特徴点ｐでは誤差が小さいが、奥の測距特徴点ｑでは誤差が非常に大きくなり、駐車の支援を実現することはできない。

撮像地点間の距離をより大きくすることにより誤差｜ΔＬｐ｜と｜ΔＬｑ｜を
ともに小さくすることができる。しかし、点ｐの測距では同一特徴点探索範囲が広くなるため対応点計算が局所解に陥りやすく距離（視差）の信頼性に欠けるという問題が起きる。このように従来手法を用いると、距離が一定ではない移動車両と測距のための特徴点との間の距離を高精度に算出することは困難である。

本発明は上述した問題点を解決するためになされたものであり、移動体と障害物との距離の測定の精度を向上させる距離測定プログラム、距離測定装置、距離測定方法を提供することを目的とする。

上述した課題を解決するため、本発明は、移動体と障害物の間の距離の測定をコンピュータに実行させる距離測定プログラムであって、前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップとをコンピュータに実行させるものである。

この距離測定プログラムによれば、距離の誤差が所定の条件を満たす２つのフレームを用いてステレオ視を行うことにより、移動体と障害物との距離に関わらず測定の精度を向上させることができる。

また、本発明に係る距離測定プログラムにおいて、更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップとをコンピュータに実行させることを特徴とするものである。

この距離測定プログラムによれば、移動体と障害物との距離に関わらず所定の探索範囲で特徴点の探索を行い、距離の誤差が所定の条件を満たすまで繰り返すことから、測定の精度を向上させることができる。

また、本発明に係る距離測定プログラムにおいて、前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とするものである。

この距離測定プログラムによれば、移動体と障害物との距離に関わらず距離の誤差を所定の閾値以下に抑えることができる。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

本発明によれば、移動体と障害物との距離の測定の精度を向上させることができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

本実施の形態においては、本発明の距離測定装置を適用した駐車支援装置について説明する。

まず、本実施の形態に係る駐車支援装置の構成について説明する。

図１は、実施の形態１に係る駐車支援装置の構成の一例を示すブロック図である。この駐車支援装置は、移動車両（移動体）に設けられるコンピュータまたはそれに接続された装置によって実現される。また、この駐車支援装置は、移動車両の位置と移動車両の運動を検出する車両状態検出部２１と、移動車両の周辺を撮像し時間的に連続したフレーム（画像）を取得すると共に単眼の撮像部１１（カメラ）と、撮像部１１により撮像されたフレームとそのフレームが撮像された時点の車両状態検出部２１により検出された位置である撮像地点（撮像位置）を記憶するメモリ１２と、各フレームから特徴点を抽出する特徴点抽出部１３と、特徴点に基づき移動車両と目標駐車スペース周辺の障害物との位置姿勢や前記目標駐車スペースの幅や奥行きを算出する距離算出部１４と、距離算出部１４（フレーム決定部、探索部、距離算出部、誤差判定部）が算出した移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きとから目標駐車スペースの３次元モデルを生成する３次元モデル生成部１５（障害物形状生成部）と、予め移動車両の外形寸法を記憶する車両外形寸法記憶部１６と、３次元モデルと判定部から駐車可能かどうかを判定する判定部１７（接触判定部）と、判定部１７による判定結果などを表示することにより運転者に伝達する表示部１８とを備えている。

ここで、車両状態検出部２１は、例えば、車速パルス、操舵角あるいはジャイロセンサ等を用いて、移動車両の位置姿勢を検出する。

次に、本実施の形態に係る駐車支援装置の動作について説明する。

図２は、実施の形態１に係る駐車支援装置の動作の一例を示すフローチャートである。まず、移動車両の運転者により本駐車判定装置が起動される（Ｓ１１１）。その後、運転者は、移動車両の駐車（車庫入れ駐車や縦列駐車など）動作を行う。図３は、実施の形態１に係る移動車両の車庫入れ駐車動作の一例を示す平面図である。図４は、実施の形態１に係る移動車両の縦列駐車動作の一例を示す平面図である。なお、移動車両は、図３、図４ともに、図に示す位置に到達した後、バックして駐車目標位置に駐車するものである。そして、その際に、移動車両の運転者は、後に説明する本装置の出力結果を参考にして、駐車操作を行うことになる。

次に、移動車両が図３と図４に示すような状態となり、車両状態検出部２１は、移動車両の車速が低速を示す所定の範囲になったか否かの判断を行う（Ｓ１１２）。移動車両が低速になっていない場合（Ｓ１１２，ＮＯ）、処理Ｓ１１２へ戻る。一方、移動車両が低速になると（Ｓ１１２，ＹＥＳ）、車両状態検出部２１は、移動車両が目標駐車スペースを低速で通過（駐車のための準備行動）すると判断し、撮像部１１で時系列として連続する複数のフレームを撮像し、撮像した複数のフレームをメモリ１２に格納すると共に、車両状態検出部２１は、フレームを撮像した時点の位置姿勢を示す撮像地点（撮像位置姿勢）をフレームに対応付けてメモリ１２に格納する（Ｓ１１３）（撮像ステップ）。次に、特徴点抽出部１３は、メモリ１２に記憶された各フレームにおける特徴点を抽出し、特徴点の座標をメモリ１２に格納する（Ｓ１２１）。

ここで、撮像部１１が全てのフレームをメモリ１２に格納するのではなく、特徴点抽出部１３が抽出した特徴点の平面座標をメモリ１２に格納するようにしても良い。これにより、メモリ１２は、撮像部１１で撮像したフレームを全て記憶する必要はなく、同一特徴点の対応関係を記憶しておけばよいため、メモリ１２の容量を低減することができる。

次に、距離算出部１４は、撮像時の移動車両の位置姿勢と複数のフレームの特徴点とに基づいて、移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きを算出する（Ｓ１２２）。次に、３次元モデル生成部１５は、距離算出部１４が算出した移動車両と駐車スペース周辺の障害物との位置姿勢や目標駐車スペースの幅や奥行きから目標駐車スペースの３次元モデルを生成する（Ｓ１２３）（障害物形状生成ステップ）。次に、この結果と予め車両外形寸法記憶部１６に格納された移動車両の外形とから判断部１７において駐車可能かどうかを判定する（Ｓ１３１）（接触判定ステップ）。次に、表示部１８は、この判定結果に従って駐車の可否を表示し、運転者に伝達する（Ｓ１３２）。

なお、本実施の形態において、表示部１８（形状表示部）は、判定結果を表示するとしたが、３次元モデル生成部１５により生成された３次元モデルを表示し（形状表示ステップ）ても良いし、更に、表示部１８は、前記車両状態検出部２１による車両の位置姿勢に従って、車両外形寸法記憶部１６に格納された移動車両の外形を、３次元モデルに重ねて表示しても良い。

次に、距離算出部１４の動作の詳細について説明する。

図５は、実施の形態１に係る距離算出部１４の動作の一例を示すフローチャートである。まず、距離算出部１４は、特徴点番号ｎ＝１とし（Ｓ１０）、メモリ１２における特徴点と対応する撮像地点に基づいて、特徴点Ｐｎが最初に出現する（撮像された）撮像地点をｔｋとし、その撮像地点で撮像されたフレームである出現開始位置フレーム（基準フレーム、参照フレーム）を第１の画像Ｆ０とする（Ｓ１１）（フレーム決定ステップ）。また、時系列においてフレームＦ０に続くフレームをＦ１、Ｆ２、Ｆ３・・・とする。

ここで、距離算出部１４の動作の説明のための駐車動作の具体例を示す。図６は、実施の形態１に係る駐車動作の一例を示す平面図である。この図は、凹凸のある目標駐車スペースへ移動車両が駐車する車庫入れ駐車動作を示す。ここで、画像が撮像された地点である撮像地点をｔ１、ｔ２、ｔ３、ｔ４、・・・ｔ８、ｔ９とする。また、特徴点抽出部１３により抽出された特徴点をＰ１、Ｐ２、Ｐ３、Ｐ４とする。図７は、実施の形態１に係る特徴点と撮像地点の関係の一例を示すグラフである。図６の例において、特徴点Ｐ１が撮像される撮像地点はｔ１〜ｔ３、特徴点Ｐ２が撮像される撮像地点はｔ３〜ｔ９、特徴点Ｐ３が撮像される撮像地点はｔ２〜ｔ８、特徴点Ｐ４が撮像される撮像地点はｔ８〜ｔ９である。

次に、距離算出部１４は、フレーム番号ｍ＝１とし（Ｓ１２）、第１の画像Ｆ０における特徴点（基準特徴点、参照特徴点）に対して第２の画像Ｆｍ（探索フレーム）における同一特徴点（探索特徴点）を探索し（探索ステップ、再探索ステップ）、第１の画像Ｆ０（基準フレーム）と第２の画像Ｆｍ（探索フレーム）における同一特徴点間（基準特徴点と探索特徴点の間）の距離Ｌｍ（視差Ｘｍ）を算出する（距離算出ステップ、距離再算出ステップ）（Ｓ１３）。ここで、特徴点Ｐ１については撮像地点ｔ１と撮像地点ｔ２の画像から、特徴点Ｐ２については撮像地点ｔ３と撮像地点ｔ４の画像から、特徴点Ｐ３については撮像地点ｔ２と撮像地点ｔ３の画像から、特徴点Ｐ４については撮像地点ｔ８と撮像地点ｔ９の画像からそれぞれ距離Ｌｍ（視差Ｘｍ）を算出する。

その後、距離算出部１４は、数３より求まる距離の誤差｜ΔＬ｜が予め設定し
た閾値以下か否かを判断する（Ｓ１４）（誤差判定ステップ、誤差再判定ステップ）。距離算出部１４は、｜ΔＬ｜が上記閾値以下の場合（Ｓ１４，ＹＥＳ）、
処理Ｓ１６に進み、｜ΔＬ｜が上記閾値より大きい場合（Ｓ１４，ＮＯ）、第２
の画像を新たな参照フレームとし、参照フレーム中で探索された特徴点を参照特徴点とし、ｍ＝ｍ＋１として第２の画像Ｆｍを次の探索フレームとし、参照特徴点と同一特徴点（探索特徴点）を探索し（Ｓ１５）、｜ΔＬ｜が上記閾値以下に
なるまで処理Ｓ１３からのフローを繰り返す。

図８は、実施の形態１に係る処理Ｓ１３〜Ｓ１５の動作の一例を示す図である。まず、距離算出部１４は、異なる撮像地点で撮像された連続する複数枚（Ｎ枚）の画像のうち、撮像地点の距離が最も近い（視差が最も小さい）２枚の画像（Ｆ０とＦ１）における同一特徴点の距離Ｌ１（視差）を算出する。次に、距離算出部１４は、数３における｜ΔＬ｜が所定の閾値より大きければ視差に占める誤
差の割合が下がるように、次に撮像地点間の距離が離れた２枚の画像（Ｆ０とＦ２）から同一特徴点間（基準特徴点と探索特徴点の間）の視差を算出する、という処理を｜ΔＬ｜が所定の閾値以下になるまで複数回（ｍ回）繰り返す。その結
果、距離算出部１４は、距離の測定に利用する第１の画像（Ｆ０）と第２の画像（Ｆｍ）とを決定し、これらの画像を利用して特徴点と車両との距離（Ｌｍ）を求める。また、駐車スペースは凹凸がある形状である場合が多いため、第１の画像と第２の画像は、測距対象とする特徴点ごとに選定する。

ここで、従来技術の同一特徴点探索と本実施の形態の同一特徴点探索との違いについて説明する。

図９は、従来の同一特徴点探索の一例を示す図である。この図は、第１の画像における特徴点と同一の特徴点を第２の画像において探索する場合を示す。第２の画像中の網掛け部は、同一特徴点の探索範囲であり、第１の画像における特徴点を中心に、一辺の長さが３ｘの正方形の探索範囲を設定する。このように、従来手法においては大きい視差を得ようとすると探索範囲が広くする必要があるため、誤認識する可能性のある特徴点が多くなり、同一特徴点探索が局所解に陥りやすい。

図１０は、実施の形態１に係る同一特徴点探索の一例を示す図である。この図は、上から順に、フレームＦ０（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ１（探索フレーム）において探索する場合、フレームＦ１（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ２（探索フレーム）において探索する場合、フレームＦ２（参照フレーム）における特徴点（参照特徴点）と同一の特徴点（探索特徴点）を次のフレームＦ３（探索フレーム）において探索する場合を示す。各フレーム中の網掛け部は、同一特徴点の探索範囲であり、一つ前のフレームにおける特徴点を中心に、一辺の長さがｘの正方形の探索範囲を設定する。結果として、３ｘの視差（基準特徴点と最新の探索特徴点の間の距離）を得ることができる。

つまり、同じ３ｘの視差を得るために、従来の同一特徴点探索である図９では、一辺が３ｘの探索範囲を設定するのに対して、本実施の形態の同一特徴点探索である図１０では、一辺が小さいｘの探索範囲を設定し、３回に分けて行うため、より小さい探索範囲で済むことになり、従来の課題を解決し、算出される距離（視差）の信頼性が高くなる。

図１１は、実施の形態１に係る駐車動作中に撮像された複数の画像と同一特徴点の視差の一例を示す図である。この図は、図６の例において、撮像地点ｔ１、ｔ２、ｔ３、ｔ４、ｔ８、ｔ９で撮像されたフレームのうち、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４のそれぞれの視差を求めるために選択されるフレームの組を表す。上述した処理Ｓ１３〜Ｓ１５の動作により、距離算出部１４は、特徴点毎に適切な視差を求めるのに最適なフレームの組を選択することができる。

図６の例において、距離算出部１４は、特徴点Ｐ１の距離測定に撮像地点ｔ１と撮像地点ｔ２の画像を利用すると視差が十分大きい（距離精度が高い）ため、処理Ｓ１６に進む。また、距離算出部１４は、特徴点Ｐ２の距離測定に撮像地点ｔ３と撮像地点ｔ４の画像を利用すると距離精度が低いため、処理Ｓ１５へ進み、十分な視差が得られる撮像地点ｔ３と撮像地点ｔ９の画像を利用する。また、距離算出部１４は、特徴点Ｐ３の距離測定に撮像地点ｔ２と撮像地点ｔ３の画像を利用すると距離精度が低いため、処理Ｓ１５へ進み、十分な視差が得られる撮像地点ｔ２と撮像地点ｔ８の画像を利用する。また、距離算出部１４は、特徴点Ｐ４の距離測定は撮像地点ｔ８と撮像地点ｔ９の画像で視差が十分大きい（距離精度が高い）ため、処理Ｓ１６へ進む。

処理Ｓ１６において、距離算出部１４は、上述のようにして算出された距離Ｌｍを移動車両と特徴点Ｐｎ間の距離として出力する。そして処理Ｓ１７では撮像地点ｔｋ中の全ての特徴点に関して距離（視差）を算出したか否かを判断する（Ｓ１７）。全てを算出した場合（Ｓ１７，ＹＥＳ）、このフローは終了する。一方、全てを算出していない場合（Ｓ１７，ＮＯ）、距離算出部１４は、ｎ＝ｎ＋１とし（Ｓ１８）、処理Ｓ１１からのフローを繰り返す。

本実施の形態によれば、移動車両に設けられた撮像部１１により時系列に従って連続して撮像された複数枚の画像の中から、距離算出に十分な視差を持つ２枚の画像を、測距特徴点ごとに選定することを特徴としているため、距離が一定ではない車両と測距特徴点の間の測距を高精度に行うことが可能となり、算出される距離の信頼性も向上させることができる。

実施の形態２．
本実施の形態においては、撮像部１１のフレームレートを制御する駐車支援装置について説明する。

まず、本実施の形態に係る駐車支援装置の構成について説明する。

図１２は、実施の形態２に係る駐車支援装置の構成の一例を示すブロック図である。この図において、図１と同一符号は図１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図１と比較すると、新たに撮像指示部２２を備える。撮像指示部２２は、車両状態検出部２１により検出された移動車両の車速に応じて撮像部１１のフレームレート（撮像タイミング）を設定し、撮像部１１へ指示する。撮像部１１は、撮像指示部２２からの指示に応じて移動車両周辺を撮像する。

撮像指示部２２は、撮像地点間の距離（例えばＢＬ）を車速等に因らずある一定の値以上に保つようにフレームレートを制御する。または、撮像した連続する複数枚の画像のうち決定したフレームレートに対して不要な画像を間引く。

ここで、撮像指示部２２による移動車両の車速と撮像部１１のフレームレートの対応付けについて説明する。

図１３において、高い精度で算出する必要がある距離Ｌの最小値をＬｍｉｎ、その精度での視差ｘをｘｍｉｎとすると、撮像地点間の距離ＢＬの最小値ＢＬｍｉｎは数１により、以下の式で表される。

したがって、ＢＬｍｉｎより短いＢＬを持つ画像（基準となるフレームからＢＬｍｉｎより短い距離にある撮像地点で撮像された画像）は不要である。また、車速をｖ（ｍ／ｓ）、撮像部１１のフレームレートをＲ（フレーム／ｓ）とすると、この条件での取り得る最小の撮像地点間（１フレーム間）の距離Ｂｍｉｎは、以下の式で表される。

従って、ｎフレーム（ｎは１以上の整数）離れた撮像地点間の距離は、以下の式で表される。

更に、数５と数７により以下の式が得られる。

従って、数８を満たす最小のｎとなるようにｎをコントロールさせればよい。つまり、数８を満たすようにフレームレートをＲ／ｎ（フレーム／ｓ）とするか、あるいはフレームレートＲ（フレーム／ｓ）で撮像した時系列的に連続な複数枚の画像のうちのｎ＝１，２，・・・ｎ−１のフレームを間引き、視差算出に用いる撮像地点間の距離をｖ／Ｒ×ｎになるようにすればよい。

本実施の形態によれば、撮像指示部２２が指示するフレームレートに応じて撮像部１１が撮像することにより撮像地点間の距離をある値以上に保つようにできたり、あるいは、撮像指示部２２の指示に応じて撮像した連続する複数枚の画像のうち必要な精度に対して不要な画像を間引いたりすることが出来る。

また、本実施の形態に係る距離測定装置は、車載情報処理装置に容易に適用することができ、車載情報処理装置の性能をより高めることができる。ここで、車載情報処理装置には、例えばカーナビゲーションシステム、ＥＣＵ（Electric Control Unit）等が含まれ得る。

更に、距離測定装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、距離測定プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、距離測定装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

（付記１） 移動体と障害物の間の距離の測定をコンピュータに実行させる距離測定プログラムであって、
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
をコンピュータに実行させる距離測定プログラム。
（付記２） 付記１に記載の距離測定プログラムにおいて、
更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
をコンピュータに実行させることを特徴とする距離測定プログラム。
（付記３） 付記１または付記２に記載の距離測定プログラムにおいて、
前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定プログラム。
（付記４） 付記３に記載の距離測定プログラムにおいて、
前記距離の誤差は、該距離、該距離の算出に用いた基準フレームが撮像された位置と該距離の算出に用いた探索フレームが撮像された位置と間の距離である撮像地点間距離、前記ステレオ視における視差の量子化誤差、前記撮像部の焦点距離を用いて算出されることを特徴とする距離測定プログラム。
（付記５） 付記１乃至付記４のいずれかに記載の距離測定プログラムにおいて、
更に、複数の特徴点について得られた前記確定した距離に基づいて、前記障害物の形状情報を生成する障害物形状生成ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記６） 付記５に記載の距離測定プログラムにおいて、
更に、前記障害物形状生成ステップにより生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報と、前記移動体から検出される前記移動体の位置姿勢とに基づいて、前記障害物と前記移動体の位置関係を表示する形状表示ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記７） 付記５に記載の距離測定プログラムにおいて、
更に、前記障害物形状生成ステップにより生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報とに基づいて、移動体が前記障害物に接触するか否かを判定し、判定結果を前記移動体の運転者に通知する接触判定ステップをコンピュータに実行させることを特徴とする距離測定プログラム。
（付記８） 付記１乃至付記７のいずれかに記載の距離測定プログラムにおいて、
前記撮像ステップは、前記移動体の位置と姿勢の変化に基づいて、前記フレームを撮像する位置の間隔を所定の値以上に保つことを特徴とする距離測定プログラム。
（付記９） 付記１乃至付記７のいずれかに記載の距離測定プログラムにおいて、
前記撮像ステップは、前記移動体の位置と姿勢の変化に基づいて、前記フレームが撮像された位置の間隔が所定の値以上となるように、前記フレームを間引くことを特徴とする距離測定プログラム。
（付記１０） 移動体と障害物の間の距離の測定を行う距離測定装置であって、
前記移動体に設けられ、連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像部と、
前記撮像部により撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定部と、
前記フレーム決定部により決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索部と、
前記探索部により決定された基準特徴点と前記探索部により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出部と、
前記距離算出部により算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出部により算出された距離を確定した距離として出力する誤差判定部と
を備える距離測定装置。
（付記１１） 付記１０に記載の距離測定装置において、
前記フレーム決定部は、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定処理を行い、
前記探索部は、前記フレーム再決定処理により決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索処理を行い、
前記距離算出部は、前記再探索処理により決定された基準特徴点と前記再探索処理により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出処理を行い、
前記誤差判定部は、前記距離再算出処理により算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定処理と前記再探索処理と前記距離再算出処理とを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出処理により算出された距離を確定した距離として出力することを特徴とする距離測定装置。
（付記１２） 付記１０または付記１１に記載の距離測定装置において、
前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定装置。
（付記１３） 付記１２に記載の距離測定装置において、
前記距離の誤差は、該距離、該距離の算出に用いた基準フレームが撮像された位置と該距離の算出に用いた探索フレームが撮像された位置と間の距離である撮像地点間距離、前記ステレオ視における視差の量子化誤差、前記撮像部の焦点距離を用いて算出されることを特徴とする距離測定装置。
（付記１４） 付記１０乃至付記１３のいずれかに記載の距離測定装置において、
更に、複数の特徴点について得られた前記確定した距離に基づいて、前記障害物の形状情報を生成する障害物形状生成部を備えることを特徴とする距離測定装置。
（付記１５） 付記１４に記載の距離測定装置において、
更に、前記障害物形状生成部により生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報と、前記移動体から検出される前記移動体の位置姿勢とに基づいて、前記障害物と前記移動体の位置関係を表示する形状表示部を備えることを特徴とする距離測定装置。
（付記１６） 付記１４に記載の距離測定装置において、
更に、前記障害物形状生成部により生成された前記障害物の形状情報と、予め記録された前記移動体の外形情報とに基づいて、移動体が前記障害物に接触するか否かを判定し、判定結果を前記移動体の運転者に通知する接触判定部を備えることを特徴とする距離測定装置。
（付記１７） 付記１０乃至付記１６のいずれかに記載の距離測定装置において、
前記撮像部は、前記移動体の位置と姿勢の変化に基づいて、前記フレームを撮像する位置の間隔を所定の値以上に保つことを特徴とする距離測定装置。
（付記１８） 付記１０乃至付記１６のいずれかに記載の距離測定装置において、
前記撮像部は、前記移動体の位置と姿勢の変化に基づいて、前記フレームが撮像された位置の間隔が所定の値以上となるように、前記フレームを間引くことを特徴とする距離測定装置。
（付記１９） 移動体と障害物の間の距離の測定を行う距離測定方法であって、
前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
を実行する距離測定方法。
（付記２０） 付記１９に記載の距離測定方法において、
更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
を実行することを特徴とする距離測定方法。

実施の形態１に係る駐車支援装置の構成の一例を示すブロック図である。 実施の形態１に係る駐車支援装置の動作の一例を示すフローチャートである。 実施の形態１に係る移動車両の車庫入れ駐車動作の一例を示す平面図である。 実施の形態１に係る移動車両の縦列駐車動作の一例を示す平面図である。 実施の形態１に係る駐車動作の一例を示す平面図である。 実施の形態１に係る特徴点と撮像地点の関係の一例を示すグラフである。 実施の形態１に係る距離算出部１４の動作の一例を示すフローチャートである。 実施の形態１に係る処理Ｓ１３〜Ｓ１５の動作の一例を示す図である。 従来の同一特徴点探索の一例を示す図である。 実施の形態１に係る同一特徴点探索の一例を示す図である。 実施の形態１に係る駐車動作中に撮像された複数の画像と同一特徴点の視差の一例を示す平面図である。 実施の形態２に係る駐車支援装置の構成の一例を示すブロック図である。 従来のステレオ視による距離測定方法の一例を示す平面図である。 従来のステレオ視における問題点を示す表である。 従来のステレオ視による駐車スペースの奥行き測定方法の一例を示す平面図である。

符号の説明

１１ 撮像部、１２ メモリ、１３ 特徴点抽出部、１４ 距離算出部、１５ ３次元モデル生成部、１６ 外形寸法記憶部、１７ 判定部、１８ 表示部、２１ 車両状態検出部、２２ 撮像指示部。

Claims (5)

1. 移動体と障害物の間の距離の測定をコンピュータに実行させる距離測定プログラムであって、
   前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
   前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
   前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
   前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
   前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
   をコンピュータに実行させる距離測定プログラム。
2. 請求項１に記載の距離測定プログラムにおいて、
   更に、最後に算出された距離の誤差が前記条件を満たさない場合、最新の探索フレームを新たな参照フレームとすると共に最新の探索特徴点を新たな参照特徴点とするフレーム再決定ステップと、
   前記フレーム再決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームを新たな探索フレームとし、該探索フレームにおいて前記参照特徴点に対応する探索特徴点を探索する再探索ステップと、
   前記再探索ステップにより決定された基準特徴点と前記再探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離再算出ステップと、
   前記距離再算出ステップにより算出された距離の誤差が前記条件を満たすか否かの判定を行い、該誤差が前記条件を満たすまで、前記フレーム再決定ステップと前記再探索ステップと前記距離再算出ステップとを繰り返し、該誤差が前記条件を満たす場合、最新の前記距離再算出ステップにより算出された距離を確定した距離として出力する誤差再判定ステップと
   をコンピュータに実行させることを特徴とする距離測定プログラム。
3. 請求項１または請求項２に記載の距離測定プログラムにおいて、
   前記条件は、前記距離の誤差が所定の閾値以下となることであることを特徴とする距離測定プログラム。
4. 移動体と障害物の間の距離の測定を行う距離測定装置であって、
   前記移動体に設けられ、連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像部と、
   前記撮像部により撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定部と、
   前記フレーム決定部により決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索部と、
   前記探索部により決定された基準特徴点と前記探索部により決定された探索特徴点と前記撮像部により記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出部と、
   前記距離算出部により算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出部により算出された距離を確定した距離として出力する誤差判定部と
   を備える距離測定装置。
5. 移動体と障害物の間の距離の測定を行う距離測定方法であって、
   前記移動体に設けられた撮像部により連続して複数のフレームの撮像を行うと共に該撮像を行った位置と姿勢である撮像位置姿勢を検出し、前記フレームと撮像位置姿勢を対応付けて記録する撮像ステップと、
   前記撮像ステップにより撮像されたフレームに含まれる前記障害物の特徴点を抽出して該フレームを基準フレームおよび参照フレームとすると共に該特徴点を基準特徴点および参照特徴点とするフレーム決定ステップと、
   前記フレーム決定ステップにより決定された参照フレームより後の時刻に撮像されたフレームである探索フレームにおいて前記参照特徴点に対応する特徴点である探索特徴点を探索する探索ステップと、
   前記探索ステップにより決定された基準特徴点と前記探索ステップにより決定された探索特徴点と前記撮像ステップにより記録された撮像位置姿勢に基づいてステレオ視を実行し、前記移動体と特徴点の間の距離の算出を行う距離算出ステップと、
   前記距離算出ステップにより算出された距離の誤差が所定の条件を満たすか否かの判定を行い、該誤差が前記条件を満たす場合、前記距離算出ステップにより算出された距離を確定した距離として出力する誤差判定ステップと
   を実行する距離測定方法。

Images