JP3956817B2 - 変位データ抽出方法及び物体検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置にて連続的に撮影された複数の入力画像を用いて、その入力画像に撮像された物体の画面内での変位を表す変位データを抽出する変位データ抽出方法、及びその方法を用いて撮像された物体の位置や移動量を検出する物体検出装置に関する。
【０００２】
【従来の技術】
従来より、図１３（ａ）に示すように、車両等に搭載した単眼の撮像装置１０２を用いて移動しながら異なる２地点にて撮影し、その撮影により得られた二つの入力画像に基づいて、立体物の特定や立体物までの距離の算出などを行う、いわゆる移動単眼ステレオ視や移動単眼立体視による計測方法（例えば、特許文献１，２参照。）が知られている。
【０００３】
これらの方法では、撮像された同一の物体を、移動により生じる視差から三角測量の原理で対象物までの距離を測定するものである。具体的には、図１３（ｂ）に示すように、第１の撮影地点Ｐ１、及び第２の撮影地点Ｐ２間の距離（移動距離）をｓ、二つの入力画像に撮像された物体上の同一撮像点Ｍの画面内での移動距離（視差）をｔ、撮像装置の焦点距離をｆとすると、撮像点Ｍと撮像装置の取付位置との高低差ｄは、（１）式にて求めることができる。
【０００４】
ｄ＝ｓ×ｆ／ｔ （１）
但し、図１３（ａ）に示すように、撮像装置１０２が斜め下方に光軸を向けた状態で設置されている場合には、その光軸の傾斜の影響を受け、実際に検出される撮像点Ｍの画面内での移動距離はｔ’となるため、これを補正する必要があるが、光軸の傾斜角度に基づいて簡単に補正することができる。
【０００５】
（１）式からわかるように、これらの計測方法では、入力画像に撮像された物体の画面内での移動距離ｔを正確に求めることが必要であり、そのためには、二つの入力画像間で同一の撮像点Ｍを正確に対応づけることが重要である。その対応づけに使用する手法としては、一般的に、テンプレートマッチングが用いられている。
【０００６】
即ち、第１の入力画像から抽出された撮像点Ｍに対応する画素を中心とするウインドウ（テンプレートブロックとも言う）と、第２の入力画像から抽出された対応候補画素を中心とするウインドウとのパターンマッチングにより両ウインドウの相関を求め、すべての対応候補画素の中で、最も相関の強いものを対応点として特定する（例えば、特許文献３参照。）。
【０００７】
また、このように相関を求めることで対応点を特定する場合、画像の状態によっては（例えば、輪郭のぼやけ、低コントラスト）、誤った対応候補画素にて最も相関が高くなり、誤った対応付けが行われてしまう可能性があるため、パターンマッチングの対象となる画像の特徴を、エッジの抽出やコントラストの調整といった前処理により強調して、対応画素の特定精度を向上させる手法が知られている（例えば、特許文献３参照。）。
【０００８】
また、撮像装置の移動履歴から対応点（エッジ）を予測したり（例えば、特許文献２参照。）、計測に使用する２地点Ｐ１，Ｐ２の間の１〜複数地点でも撮影を行い、隣接する各画像間で対応づけ（パターンマッチング）を行うことにより対応づけの検索範囲を小さくしたり（例えば、特許文献１参照。）することで、対応づけ処理の処理量を削減する手法も知られている。
【０００９】
【特許文献１】
特開平７−７８２５２号公報（段落「０００３」「０００８」）
【特許文献２】
特開２００１−１８７５５３号公報（段落「００５３」、図６）
【特許文献３】
特開平１１−２４８４３３号公報（段落「００８０」「００８４」）
【００１０】
【発明が解決しようとする課題】
しかし、これらの手法を利用しても、最終的には、パターンマッチングにて対応づけを行っていたため、相関を求めるための演算量が膨大なものとなるという問題があった。
【００１１】
本発明は、上記問題点を解決するために、異なる画像に示された同一撮像点を少ない演算量にて対応づけることができ、その変位を表す変位データを精度良く求めることが可能な変位データ抽出方法、及び物体検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するための発明である請求項１記載の変位データ抽出方法では、連続的に撮影された複数の入力画像に基づき、これら入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成し、合成開始時の入力画像に撮像された物体のエッジを始点として抽出する。また、該始点と前記入力画像における動きの無限遠点（ＦＯＥ： Focus of Expansion ）とを結ぶ注目ラインを設定する。そして、前記始点から前記注目ラインに沿って画素値が急激に減少する地点を終点として抽出し、撮像された物体の前記画面内での前記始点及び終点の座標並びに該座標間の軌跡長からなる変位データを抽出する。
【００１３】
つまり、計測に使用する２地点間以外でも撮影を行う特許文献１に記載の方法では、例えば、図１１（ａ）に示すように、対応づけをすべき撮像点（例えば物体のエッジ等）間の距離は短くなるが、対応関係を特定するためには、結局のところ、各入力画像間で、膨大な演算量を必要とするパターンマッチングを行わなければならない。ところが、本発明では、図１１（ｂ）に示すように、合成画像には、対応づけをすべき撮像点の軌跡が示され、その軌跡から、各入力画像間における撮像点の対応関係を明確に把握できるため、パターンマッチングを行う必要がないのである。
【００１４】
次に、請求項２記載の物体検出装置では、撮像装置により連続的に撮像された複数の入力画像に基づき、画像合成手段が、これら入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、これら代表値からなる合成画像を生成する。該画像合成手段による合成開始時の入力画像に撮像された物体のエッジを始点として抽出し、該始点と前記入力画像における動きの無限遠点（ＦＯＥ： Focus of Expansion ）とを結ぶ注目ラインを設定する。そして、前記始点から前記注目ラインに沿って画素値が急激に減少する地点を終点として抽出し、合成画像処理手段が、撮像された物体の前記画面内での前記始点及び終点の座標並びに該座標間の軌跡長からなる変位データを抽出する。
【００１５】
つまり、本発明の物体検出装置は、請求項１記載の方法を実現するものであり、従って、これと同様の効果を得ることができる。
なお、撮像装置は、定位置に固定しても移動体に取り付けてもよく、これを定位置に固定した場合には、位置算出部が、請求項３記載のように、合成画像処理手段にて抽出された変位データから、移動物体の位置を求めることができ、一方、これを移動体に取り付けた場合には、位置算出部が、請求項４記載のように、合成画像の生成に使用した入力画像の撮影中における移動体の移動距離を表す距離データと、合成画像処理手段にて抽出された変位データと、撮像装置の取付位置を表す取付位置データとに基づき、静止物体の位置を求めることができる。
【００１７】
また、この場合、請求項５記載のように、画像合成手段は、変位データを得るために必要な、注目ライン上の画素についてのみ、合成を行うように構成すれば、画像合成手段での処理量を大幅に削減できる。
【００１８】
次に、画像合成手段は、例えば、請求項６記載のように、合成画像を記憶する合成画像記憶手段を備え、画素更新手段が、撮像装置から得られる入力画像の画素値と合成画像記憶手段に記憶された合成画像の画素値とを逐次比較し、入力画像の画素値が合成画像の画素値より大きい場合に、入力画像の画素値にて合成画像記憶手段の記憶内容を更新するように構成すればよい。
【００１９】
この場合、撮像装置から得られる入力画像の画素値を一時的に保存するための記憶容量の削減、及び合成処理の高速化を図ることができる。
ところで、移動体の挙動に基づいて、移動体の移動方向や、移動体の姿勢（ひいては移動体に取り付けられた撮像装置の姿勢）が変化すると、合成画像の生成に使用する各入力画像間で、動きの無限遠点にずれが生じる。このずれが生じると、合成画像中の軌跡は、注目ラインから外れてしまい、軌跡長等の変位データを求める際の手間が増大する。そこで、請求項７記載のように、画像合成手段には、この動きの無限遠点にずれが生じた場合、そのずれを、撮像装置から得られる入力画像の画素と、合成画像記憶手段に記憶された合成画像の画素との対応関係を変化させることで補償する補償手段を備えることが望ましい。
【００２０】
なお、補償手段は、請求項８記載のように、移動体の挙動として、移動体の進行方向の変化を検出してもよいし、特に移動体が車両である場合には、請求項９記載のように、車両姿勢の変化を検出してもよい。
そして、車両姿勢の変化は、具体的には請求項１０記載のように、車両の進行方向への加速度に基づく前後方向への傾斜及び車両の旋回方向への角速度の基づく左右方向への傾斜のうち少なくともいずれか一方を検出するように構成することができる。
【００２１】
また、上述の車両姿勢の変化や、重量物の積載による車体の沈み込みにより、撮像装置の路面からの取付高さｈ（図１３（ｂ）参照）が変化する。このため、変位データに基づいて、撮像点Ｍの路面からの高さＨ（＝ｈ−ｄ）を求める必要がある場合には、取付高さｈの変化分を相殺する補正を行うことが望ましい。
【００２２】
ところで、入力画像における動きの無限遠点が画面内に位置するように撮像装置が配置されている場合、無限遠にある物体も検出可能となり検出範囲が広がる。しかし、この動きの無限遠点が画面の中心付近に位置すると、動きの無限遠点に至る注目ラインが短くなることにより、入力画像の持つ距離分解能を、十分に引き出すことができなくなる。
【００２３】
このため、撮像装置は、請求項１１記載のように、動きの無限遠点が画面の周縁に位置するように設置されていることが望ましい。
但し、無限遠にある物体まで検出可能とする必要はなく、物体の検出範囲を制限してもよい場合には、動きの無限遠点が画面外に位置するように、撮像装置を配置すればよい。そして、請求項１２記載のように、撮像装置は、光軸を鉛直方向に一致させ、動きの無限遠点（ＦＯＥ）が画面上方の無限遠に位置するように設置されている場合には、入力画像の持つ距離分解能を最大限に引き出すことができる。
【００２４】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
図１は、車両の後方を連続的に撮影した複数の入力画像（濃淡画像）に基づいて、車両の後方の路上に存在する物体や路上に描かれたマーク等を検出する車載用物体検出装置の全体構成を示すブロック図である。
【００２５】
図１に示すように、本実施形態の物体検出装置１は、車両後部に取り付けられ、車両後方を撮影する撮像装置２と、撮像装置２が連続的に撮影した複数の入力画像を合成する画像合成手段としての画像合成部３と、合成開始時の入力画像から、その入力画像に撮像された物体の特徴点（撮像点ともいう）を始点として抽出する始点抽出部３１、及び、始点抽出部３１にて抽出された始点と画像合成部３にて合成された合成画像とに基づいて、入力画像に撮像された静止物体の画面内での変位を表す変位データ（ここでは軌跡の始点及び終点の座標、軌跡長）を求める変位データ生成部２１からなる合成画像処理手段としての合成画像処理部４と、撮像装置２が画像合成部３にて合成すべき画像を撮影している間に車両が移動した距離を検出する移動距離算出部５と、合成画像処理部４にて求められた変位データ、移動距離算出部５での検出結果である移動データ、撮像装置２の特性や取付状態を表す取付データ（焦点距離、取付高さ、取付角度など）に基づいて、撮像された静止物体の位置を求める位置算出部６とを備えている。
【００２６】
このうち、撮像装置２は、ＣＣＤカメラ等からなり、図２（ａ）に示すように、光軸Ｐが斜め下方を向き、撮像した画像における動きの無限遠点（ＦＯＥ）が、図２（ｂ）に示すように、水平方向の画面幅の中央、且つ垂直方向の上部画面外に位置するように配置されている。
【００２７】
また、画像合成部３は、合成画像を１画面分だけ記憶する合成画像記憶手段としての合成画像用メモリ１３と、合成画像用メモリ１３に記憶された合成画像と、撮像装置２からの濃淡画像（以下「入力画像」という）を、画面内で同一位置にある画素毎に、画素値の大小比較をし、入力画像の画素値の方が大きい場合に、合成画像の画素値を更新する画素値更新手段としての比較器１１とを備えている。但し、比較器１１は、合成開始時の入力画像については、そのまま合成画像用メモリ１３に格納するように構成されている。
【００２８】
そして、合成画像処理部４を構成する始点抽出部３１は、合成開始時の入力画像のエッジを抽出するエッジ抽出フィルタ３３と、このエッジ抽出フィルタ３３にて抽出されたエッジ（撮像点群）に対応する各画素を始点とし、これら始点の画面内での座標を始点情報として記憶する始点情報データベース３５とからなる。
【００２９】
一方、変位データ生成部２１は、始点情報データベース３５に記憶された始点と入力画像におけるＦＯＥとを結ぶラインのそれぞれを、注目ラインとして設定する注目ライン設定部２７と、合成を終了した合成画像用メモリ１３に記憶されている合成画像に基づき、合成画像のエッジに対応し且つ注目ライン上にある画素を終点として抽出するエッジ抽出フィルタ２３と、同一注目ライン上にある始点及び終点の座標を組み合わせると共に、組み合わせた始点及び終点間の距離を軌跡長として求め、これら座標と軌跡長とからなる変位データを生成する軌跡長算出部２５とを備えている。
【００３０】
ここで、図３（ａ）は、駐車場にて後向きに駐車する際に撮像装置２にて撮影される画像の一例を示すものであり、ここでは、駐車スペースの仕切ラインと、コンクリートブロックからなるタイヤ止めとが示されている。
この画像が合成開始時の入力画像として始点抽出部３１に供給されると、エッジ抽出フィルタ３３により、図３（ｂ）に示すように、他の部分とのコントラストの大きい仕切ラインの輪郭とタイヤ止めの輪郭とが抽出され、この輪郭に対応する各画素の座標が始点情報として始点情報データベース３５に記憶される。
【００３１】
そして、車両の後退と共に撮像装置２が連続的に撮影した複数の入力画像（図４（ａ）参照）を、画像合成部３が逐次合成することにより、図４（ｂ）に示す合成画像が得られる。この合成画像には、階調度の高い撮像点の軌跡が示され、その軌跡はＦＯＥに向かう注目ラインに沿ったものとなる。
【００３２】
ここで、図４（ｂ）中に示された注目ラインＬ上の各画素の画素値の分布図を図４（ｃ）に示す。なお、注目ラインＬ上に、二つの始点Ａ，Ｂが存在するものとする。
エッジ抽出フィルタ２３は、各始点Ａ，Ｂから注目ラインＬに沿って、エッジ（即ち画素値が急激に減少する地点）の抽出を行うと、この注目ラインＬ上では、地点Ｃ，Ｄが軌跡の終点として抽出される。
【００３３】
そして、軌跡長算出部２５は、始点Ａ，終点Ｃ間の軌跡長ＴＡ、及び始点Ｂ，終点Ｄ間の軌跡長ＴＢを求め、始点Ａ，終点Ｃの各座標、及び軌跡長ＴＡからなる変位データと、始点Ｂ，終点Ｄの各座標、及び軌跡長ＴＢからなる変位データとを生成する。
【００３４】
これと同様の処理を、変位データ生成部２１は、始点情報データベース３５に記憶された始点を含む総ての注目ラインについて行い、このようにして求めた総ての変位データを、位置算出部６に供給する。
なお、ここでは、注目ラインに沿って合成画像のエッジを抽出することで、軌跡の終点を抽出しているが、注目ラインに沿った画素値の分布図（図４（ｃ）参照）から、始点情報データベース３５に記憶された始点を含み、且つ予め設定されたしきい値より大きな画素値を有する領域を抽出し、その抽出した領域の長さを軌跡長として求めてもよい。
【００３５】
次に、位置算出部６では、このようにして求めた変位データ（軌跡の始点及び終点の座標、軌跡長）、移動距離算出部５にて求められた車両（即ち撮像装置２）の移動データ、予め設定された撮像装置２に関する取付データ（焦点距離、取付高さ、取付角度）に基づき、三角測量を利用した公知の方法（図１３（ｂ）参照）を利用して、入力画像に撮像された静止物体の位置（相対距離，方角，路面からの高さ等）を算出する。
【００３６】
以上説明したように、本実施形態の物体検出装置１では、連続的に撮影した入力画像を合成し、その合成画像に示された撮像点の軌跡と、合成開始時の入力画像から抽出された始点とに基づいて、入力画像に撮像された静止物体の画面内での変位を表す変位データを得るようにされている。
【００３７】
つまり、本実施形態の物体検出装置１によれば、膨大な処理量を必要とするパターンマッチングを一切必要とすることなく、異なる画像に示された同一撮像点を、少ない演算量にて容易に対応づけることができ、その変位を表す変位データを精度良く求めることができる。その結果、入力画像に撮像された静止物体の位置を短時間で検出でき、しかも信頼性の高い検出を行うことができる。
［第２実施形態］
次に、第２実施形態について説明する。
【００３８】
本実施形態の物体検出装置は、第１実施形態のものとは、画像合成部の構成が一部異なるだけであるため、この相違する部分を中心に説明する。
即ち、本実施形態において、画像合成部３ａは、図５に示すように、車両の進行方向の変化を検出するステアリングセンサ４１、車両の進行方向の速度変化を検出する加速度センサ、車両の旋回方向の角速度の変化を検出するヨーレートセンサ４５からの検出信号に基づいて、撮像装置２から供給された各入力画像間に生じるＦＯＥの位置ずれを補償する補償手段としてのＦＯＥずれ補償部１５を備えており、このＦＯＥずれ補償部１５にてずれが補償された入力画像を、比較器１１に供給するように構成されている。
【００３９】
このように構成された本実施形態の物体検出装置では、図６（ａ）に示すように、入力画像の合成中に車両の進行方向が変化した場合、入力画像のＦＯＥ（以下「現ＦＯＥ」という）は、合成開始時の入力画像のＦＯＥ（以下「初期ＦＯＥ」）に対して、水平面に沿って左右方向にずれる。このずれを、ＦＯＥずれ補償部１５では、ステアリングセンサ４１からの検出信号によって検出し、図６（ｃ）に示すように、現ＦＯＥが初期ＦＯＥと一致するよう、合成画像と入力画像との画素の対応関係を、ＦＯＥのずれを相殺する左右方向にシフトさせる。
【００４０】
また、急激な加減速により車両姿勢が前傾又は後傾した場合、現ＦＯＥは初期ＦＯＥに対して垂直（上下）方向にずれる。このずれを、ＦＯＥずれ補償部１５では、加速度センサ４３からの検出信号によって検出し、現ＦＯＥが初期ＦＯＥと一致するよう、合成画像と入力画像との画素の対応関係を、ＦＯＥのずれを相殺する上下方向にシフトさせる。
【００４１】
更に、図７（ａ）に示すように路面の幅員方向への傾斜や、車両の旋回により、車両がロール方向に傾斜した場合、入力画像は、合成開始時の入力画像に対して回転する方向にずれる。このずれを、ＦＯＥずれ補償部１５では、ヨーレートセンサ４５からの検出信号によって検出し、図７（ｂ）に示すように、現ＦＯＥが初期ＦＯＥと一致し、且つ、画面内の水平，垂直方向が一致するように、合成画像と入力画像との画素の対応関係を、上下左右，回転方向にシフトさせる。
【００４２】
このような補償を行うことにより、撮像点の軌跡は、例えば図６（ｂ）に示すように、屈曲したものとなってしまうことがなく、図６（ｃ）や図７（ｂ）に示すように、注目ラインに沿った直線となるため、車両が直進している時と同様に合成画像を処理して変位データを抽出することが可能となる。つまり、車両の挙動や姿勢の変化によらず、入力画像に撮像された静止物体の位置を安定した精度で簡単に求めることができる。
［他の実施形態］
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施可能である。
【００４３】
例えば、上記実施形態では、撮像装置２を、ＦＯＥが水平方向の画面幅の中央、且つ垂直方向の上部画面外に位置するように配置したが、例えば、図８（ａ）に示すように、光軸ＰとＦＯＥの方向に一致させ、図８（ｂ）に示すように、画面の中央にＦＯＥが位置するように配置してもよい。
【００４４】
但し、この場合、撮像物の高さ方向や撮像物までの距離方向の分解能が限定され、算出精度が低くなってしまう。このため、少なくとも、図９（ａ）に示すように、撮像装置２の撮像範囲の上端とＦＯＥの方向とを一致させ、図９（ｂ）及び（ｃ）に示すように、画面の上縁にＦＯＥが位置するように撮像装置２を配置して、解像度を最大限に利用できるようにすることが望ましい。
【００４５】
また、このように画像内にＦＯＥが位置する場合には、遠く離れた物体まで画像に収めることができるが、検知範囲を限定してもよい場合には、図１０（ａ）に示すように、光軸を鉛直方向に一致させ、図１０（ｂ）に示すように、注目ラインが平行となる（ＦＯＥが画面上方の無限遠に位置する）ように、撮像装置２を設置してもよい。
【００４６】
更に、上記実施形態では、画像合成部３，３ａにおいて、総ての画素を用いて合成画像を生成しているが、注目ライン設定部２７が設定した注目ライン上の画素のみを用いて合成画像を生成するように構成してもよい。この場合、画像合成部３，３ａでの処理量を大幅に削減することができる。
【００４７】
但し、同一注目ライン上に複数の始点が存在する可能性があるため、比較器１１は、始点の異なる軌跡が互いに連結されることのないように、始点毎に合成を終了するタイミングを制御することが望ましい。
また更に、上記実施形態では、位置算出部６では、予め設定された取付データを用いているが、重量物を積載する等して、車体の沈み込みが生じた場合に、これを検出して、取付データの一つである取付高さを補正するように構成してもよい。
【００４８】
また、上記実施形態では、撮像装置２を車両に取り付け、その撮像装置２にて連続的に撮影された入力画像の合成画像に基づいて求めた変位データから、静止物体の位置を検出するように構成されているが、撮像装置２を定位置に固定し、その撮像装置２にて連続的に撮影された入力画像の合成画像に基づいて求めた変位データから、移動物体の位置や移動量を求めるように構成してもよい。
【図面の簡単な説明】
【図１】 第１実施形態の物体検出装置の全体構成を示すブロック図である。
【図２】 撮像装置の設置方法を示す説明図である。
【図３】 合成開始時の入力画像、及びその画像から軌跡の始点となるエッジを抽出した画像の一例である。
【図４】 入力画像，合成画像の一例、及び軌跡抽出方法を示す説明図である。
【図５】 第２実施形態における画像厚生部の構成を示すブロック図である。
【図６】 車両の進行方向が変化した場合のＦＯＥずれ補償部の動作を示す説明図である。
【図７】 車両の姿勢がロール方向に傾斜した場合のＦＯＥずれ補償部の動作を示す説明図である。
【図８】 撮像装置の設置方法の一例を示す説明図である。
【図９】 撮像装置の設置方法の一例を示す説明図である。
【図１０】 撮像装置の設置方法の一例を示す説明図である。
【図１１】 従来装置との本発明の作用効果の相違点を示す説明図である
【図１２】 軌跡長の検出方法を示す説明図である。
【図１３】 移動ステレオ視の原理を示す説明図である。
【符号の説明】
１…物体検出装置、２…撮像装置、３，３ａ…画像合成部、４…合成画像処理部、５…移動距離算出部、６…位置算出部、１１…比較器、１３…合成画像用メモリ、１５…ＦＯＥずれ補償部、２１…変位データ生成部、２３，３３…エッジ抽出フィルタ、２５…軌跡長算出部、２７…注目ライン設定部、３１…始点抽出部、３５…始点情報データベース、４１…ステアリングセンサ、４３…加速度センサ、４５…ヨーレートセンサ、Ｌ…注目ライン、Ｍ…撮像点、Ｐ…光軸。

Claims (12)

1. 連続的に撮影された複数の入力画像に基づき、該入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成し、
   合成開始時の入力画像に撮像された物体のエッジを始点として抽出し、
   該始点と前記入力画像における動きの無限遠点（ＦＯＥ： Focus of Expansion ）とを結ぶ注目ラインを設定し、
   前記始点から前記注目ラインに沿って画素値が急激に減少する地点を終点として抽出し、
   撮像された物体の前記画面内での前記始点及び終点の座標並びに該座標間の軌跡長からなる変位データを抽出することを特徴とする変位データ抽出方法。
2. 連続的な撮影が可能な撮像装置と、
   該撮像装置により連続的に撮影された複数の入力画像に基づき、該入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成する画像合成手段と、
   該画像合成手段による合成開始時の入力画像に撮像された物体のエッジを始点として抽出し、
   該始点と前記入力画像における動きの無限遠点（ＦＯＥ： Focus of Expansion ）とを結ぶ注目ラインを設定し、
   前記始点から前記注目ラインに沿って画素値が急激に減少する地点を終点として抽出し、
   撮像された物体の前記画面内での前記始点及び終点の座標並びに該座標間の軌跡長からなる変位データを抽出する合成画像処理手段と、
   を備えることを特徴とする物体検出装置。
3. 前記撮像装置は定位置に固定され、
   前記合成画像処理手段にて抽出された変位データから、移動物体の位置を求める位置算出部を備えたことを特徴とする請求項２記載の物体検出装置。
4. 前記撮像装置は移動体に取り付けられ、
   前記合成画像の生成に使用した入力画像の撮影中における前記移動体の移動距離を表す距離データと、前記合成画像処理手段にて抽出された変位データと、前記撮像装置の取付位置を表す取付位置データとに基づき、静止物体の位置を求める位置算出部を備えたことを特徴とする請求項２記載の物体検出装置。
5. 前記画像合成手段は、前記注目ライン上の画素についてのみ、合成を行うことを特徴とする請求項４記載の物体検出装置。
6. 前記画像合成手段は、
   前記合成画像を記憶する合成画像記憶手段と、
   前記撮像装置から得られる入力画像の画素値と前記合成画像記憶手段に記憶された合成画像の画素値とを逐次比較し、前記入力画像の画素値が前記合成画像の画素値より大きい場合に、前記入力画像の画素値にて前記合成画像記憶手段の記憶内容を更新する画素値更新手段と、
   を備えることを特徴とする請求項４又は請求項５記載の物体検出装置。
7. 前記画像合成手段は、
   前記移動体の挙動に基づいて、前記合成画像の生成に使用する各入力画像間で動きの無 限遠点にずれが生じた場合、該動きの無限遠点のずれを、前記撮像装置から得られる入力画像の画素と、前記合成画像記憶手段に記憶された合成画像の画素との対応関係を変化させることで補償する補償手段を備えることを特徴とする請求項６記載の物体検出装置。
8. 前記補償手段は、前記移動体の挙動として、前記移動体の進行方向の変化を検出することを特徴とする請求項７記載の物体検出装置。
9. 前記移動体は車両であり、
   前記補償手段は、前記移動体の挙動として、車両姿勢の変化を検出することを特徴とする請求項７又は請求項８記載の物体検出装置。
10. 前記補償手段は、車両姿勢の変化として、車両の進行方向への加速度に基づく前後方向への傾斜及び車両の旋回方向への角速度に基づく左右方向への傾斜のうち少なくともいずれか一方を検出することを特徴とする請求項９記載の物体検出装置。
11. 前記撮像装置は、動きの無限遠点が前記画面の周縁に位置するように設置されていることを特徴とする請求項２乃至請求項１０いずれか記載の物体検出装置。
12. 前記撮像装置は、光軸を鉛直方向に一致させ、無限遠点（ＦＯＥ）が画面上方の無限遠に位置するように設置されていることを特徴とする請求項２乃至請求項１０いずれか物体検出装置。

Images