JP4682816B2

JP4682816B2 - 障害物位置検出装置

Info

Publication number: JP4682816B2
Application number: JP2005333122A
Authority: JP
Inventors: 秀幸相京; 宗志峠
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2005-11-17
Filing date: 2005-11-17
Publication date: 2011-05-11
Anticipated expiration: 2025-11-17
Also published as: JP2007140852A

Description

本発明は、車両周辺の障害物の位置を検出する障害物位置検出装置に関し、特に、超音波センサと撮像画像とを用いて障害物の位置を検出する障害物位置検出装置に関する。

自動車等の安全対策として、前方の障害物を検出して、ドライバ等に報知したり車両を制御する等の技術が提案されている。

例えば、特許文献１には、超音波センサの出力と、カメラで撮像した画像から検出したオプティカルフローと、で障害物の位置を検出する技術が提案されている。

しかし、特許文献１に開示される技術では、静止画像からはオプティカルフローを検出できず、障害物及び自車両が共に静止していると障害物の位置を検出することができなかった。

また、複数の超音波センサを配置して、障害物の位置（方向と距離）を検出することも考えられる。しかし、超音波センサの特性として、複数の障害物が存在するときに、複数の障害物が実在するのか、あるいは、虚像の位置に存在する障害物が存在するのかを、判別することができない。このため、障害物の位置を正確に判別することができない。

また、スキャニングレーザレーダを用いた測距センサと、カメラで撮像した画像を画像処理する画像センサと、を用いて自車両の前方の先行車の位置を検出する先行車認識装置が提案されている（例えば、特許文献２）。この、先行車認識装置よれば、障害物の位置を正確に判別することができる。

スキャニングレーザレーダは数百メートルの範囲で物体の位置を正確に判別することができる。しかし、駐車支援装置のような車両周辺監視に適用した場合、障害物を検出するためには自車両から数メートルの距離にある物体を検出できればよい。また、スキャニングレーザレーダは高価であるため障害物の検出手段としては好適でない。そこで、比較的安価で構成が簡単な超音波センサ等を用いて、正確に障害物の位置を検出できるようにすることが望まれる。
特開２０００−１２３２９８号公報特開２００５−９０９７４号公報

本発明は、上記問題点を鑑みてなされたものであり、超音波センサを用いた構成で、障害物の位置を正確に検出することができる障害物位置検出装置を提供することを目的とする。
また、本発明は、超音波センサを用いた位置検出で発生する虚像の影響を除去できる障害物位置検出装置を提供することを目的とする。

上記目的を達成するため、本発明の障害物位置検出装置は、車両に設けられた撮像手段と、前記撮像手段の撮像方向に向けて前記撮像手段の周囲に配設された複数の超音波センサと、前記超音波センサの出力に基づいて、障害物の位置を判別する第１の障害物検出手段と、前記撮像手段が撮像した画像に基づいて、前記撮像手段の撮像範囲内に存在する障害物の該撮像画像内における位置を検出する第２の障害物検出手段と、前記第１の障害物検出手段の検出結果より複数の障害物候補が検出された場合、前記第１の障害物検出手段の検出結果と前記第２の障害物検出手段の検出結果とを重ね合わせて、検出結果が一致した障害物候補の位置を障害物が実在する位置であると判別する障害物判別手段と、を備えることを特徴とする。

前記障害物判別手段は、例えば、前記第１の障害物検出手段が、第１の位置と第２の位置に存在する第１の障害物の組合せと、第３の位置と第４の位置に存在する第２の障害物の組合せと、のいずれかが存在することを検出したときに、この検出結果に前記第２の障害物検出手段の検出結果を重ね合わせて、前記第１の障害物の組合せと前記第２の障害物の組合せのいずれが実在するかを判別するようにしてもよい。

また、前記第２の障害物検出手段は、例えば、車両が移動中か否かを判断する手段を備え、車両が移動中である場合には、前記撮像手段が撮像した画像からオプティカルフローを検出する第１の障害物検出手法により障害物の位置を検出し、車両が移動中でない場合には、前記撮像手段が撮像した複数の画像から差分を抽出する第２の障害物検出手法、または、前記撮像手段が撮像した画像から障害物のエッジを抽出する第３の障害物検出手法により障害物の位置を検出するようにしてもよい。

また、例えば、画像を表示する表示手段と、前記撮像手段が撮像した画像の、前記障害物判別手段によって判別した障害物の位置に、所定の画像を合成し、合成した画像を、前記表示手段に表示させる表示制御手段と、をさらに備えてもよい。

また、例えば、前記超音波センサは、少なくとも１つの超音波発信素子と、前記超音波発信素子から発信された超音波の反射波を受信する少なくとも２つの超音波受信素子と、を備え、前記超音波発信素子と超音波受信素子は、前記撮像手段の光軸の周囲に配置されていてもよい。

本発明によれば、超音波センサで検出された障害物の位置の候補が複数ある場合でも、撮像手段の撮像画像に基づく障害物の検出を合わせてすることで、障害物の実在する位置を判別することができる。

以下、本発明の実施形態に係る障害物位置検出装置について説明する。

本実施の形態の障害物位置検出装置は、図１に示すように、車両１に配置されるもので、コンピュータ２と、センサユニット３と、車速センサ４と、表示装置５などで構成されている。

センサユニット３は、カメラ３１と超音波センサ３２、３３とを一体化した構成をしており、車両１の後部のライセンスプレートのガーニッシュ部分等に搭載されている。

センサユニット３は、図２（ａ）に平面図で示すように、中央にカメラ３１（レンズ）が配置され、その周囲に超音波センサ３２、３３と、温度センサ３４が配置された構成を有する。

カメラ３１は、図２（ｂ）に断面で示すように、超広角レンズ等を含む光学ユニット３１１、ＣＣＤ（Charge Coupled Device）素子等の撮像素子３１２、鏡筒３１３などから構成されている。

カメラ３１は、センサユニット３のプレート３１５に固定され、車両１の進行方向（この場合、バック方向）の画像を取得し、コンピュータ２に供給する。

なお、コンピュータ２に出力される映像は、ルームミラーで後方を見た場合と同じになるように表示装置５で表示するため、反転させている。

超音波センサ３２は、超音波発信素子の機能と超音波受信素子の機能とを兼ね備える。具体的には、超音波センサ３２は、図２（ｃ）に断面で示すように、圧電素子３２１とカバー３２２等から構成され、圧電素子３２１にパルス電圧を印加することにより、発振して、共振器として機能するカバー３２２を介して超音波を発信する。一方、共振器として機能するカバー３２２を介して超音波を受けると、超音波に対応する圧力が圧電素子３２１に加わり、圧電素子３２１が起電力を生じ、この起電力を検出することにより、超音波を受信したことを検出することができる。

超音波センサ３３は、超音波の受信専用器であり、図２（ｃ）に示す構成を有する。但し、圧電素子３２１に高周波信号を供給する構成を備えていない。

超音波センサ３２、３３は、カメラ３１のレンズ（光学ユニット）３１１の光軸（視野中心）Ｃの周囲に光軸を挟むように一体的に配置されており、超音波センサ３２が発信した超音波が、障害物で反射された反射波を超音波センサ３２、３３で受信する。図２（ａ）において、超音波センサ３２と３３の中心を結ぶ線分の中点は、光軸Ｃと一致している。

なお、ここでいう障害物とは、車両１の周辺に存在する物体で、障害物になる可能性のある全てのものをいう。静止物に限らず、移動する人間や、自動車もこれに該当する。

温度センサ３４は、超音波の伝播速度を特定するために、外気温度を測定する。

具体的構成においては、図３（ａ）に示すように、超音波センサ３２と超音波センサ３３とは、水平方向に並んで配置されている。超音波センサ３２と超音波センサ３３の中間の位置がカメラ３１の中心に一致する。

図３（ｂ）に模式的に示すように、超音波センサ３２と超音波センサ３３とが、超音波センサ３２から発信され、障害物Ｂで反射された反射波を受信するまでの時間を測定することにより、三角測量の要領で障害物ＢのＸ軸方向の位置ｘ（座標値）とＹ軸方向の位置ｙを判別することができる。ｘはこの場合、同一面に設けられた超音波センサ３２、３３から障害物Ｂまでの距離に相当する。

この場合、一般的には、超音波センサ３２と超音波センサ３３とは、図５（ａ）に示すような反射波を受信する。即ち、超音波センサ３２は、超音波の発信からＴ１時間後に、障害物Ｂからの反射波を受信し、超音波センサ３３は、超音波の発信からＴ２時間後に、障害物Ｂからの反射波を受信する。この場合、次式が成立する。

Ｌ１＝Ｃ・Ｔ１／２
Ｌ２＝Ｃ・Ｔ２−Ｌ１

Ｌ１：図３（ｂ）に示す超音波センサ３２と障害物Ｂとの距離
Ｌ２：図３（ｂ）に示す超音波センサ３３と障害物Ｂとの距離
Ｃ：超音波の速度（＝３３１＋０．６Ｆ（ｍ／ｓ））
Ｆ：温度センサ３４で測定した外気の摂氏温度）
Ｔ１：超音波センサ３２が超音波を発信から、超音波センサ３２が反射波を受信するまでの時間
Ｔ２：超音波センサ３２が超音波を発信から、超音波センサ３３が反射波を受信するまでの時間

ここで、Ｄを超音波センサ３２と超音波センサ３３との距離とすると、ｙとｘは次式で表される。
ｙ＝Ｄ／２−（Ｄ^２＋Ｌ２^２−Ｌ１^２）／（２・Ｄ）
ｘ＝√｛Ｌ２^２−（Ｄ２＋Ｌ２^２−Ｌ１^２）／（２・Ｄ）^２｝

なお、Ｘ軸の原点は、超音波センサ３２、３３の位置であり、ほぼ、カメラ３１の撮像素子の位置（光軸のｃ位置）である。

また、Ｙ軸の原点は、超音波センサ３２と超音波センサ３３との中間位置であり、ほぼ、カメラ３１のレンズの位置（光軸ｃの位置）である。

このように、障害物Ｂが単一でさらに超音波センサ３２，３３で受信する反射波が明確な場合には、障害物Ｂの存在の有無やその位置の判定は比較的容易である。しかしながら、実際には、超音波センサ３２，３３の出力から障害物Ｂの有無・位置などを特定することは容易ではない。

例えば、障害物Ｂが複数存在する場合、その位置の同定は極めて困難なものとなる。理解を容易にするため、例えば図４に示すように２個の障害物Ｂ１、Ｂ２が存在する場合を想定する。この場合、超音波センサ３２と超音波センサ３３は、図５（ｂ）に示すように、主に、障害物Ｂ１とＢ２からのそれぞれの２個ずつの反射波を受信する。

しかし、超音波センサ３２は、受信した反射波Ｗ１、Ｗ２が障害物Ｂ１、Ｂ２どちらからの反射波であるかを判別できない。同様に、超音波センサ３３は、受信した反射波Ｗ３、Ｗ４が障害物Ｂ１、Ｂ２どちらからの反射波であるかを判別できない。

すなわち、超音波センサ３２が時刻Ｔ１１に受信したＷ１と、超音波センサ３３が時刻Ｔ２１に受信したＷ３と、が同じ障害物からの反射波であって、かつ、超音波センサ３２が時刻Ｔ１２に受信したＷ２と、超音波センサ３３が時刻Ｔ２２に受信したＷ４と、が同じ障害物からの反射波である場合がある。
また、超音波センサ３２が時刻Ｔ１１に受信したＷ１と、超音波センサ３３が時刻Ｔ２２に受信したＷ４と、が同じ障害物からの反射波であって、かつ、超音波センサ３２が時刻Ｔ１２に受信したＷ２と、超音波センサ３３が時刻Ｔ２１に受信したＷ３と、が同じ障害物からの反射波である場合がある。

この組み合わせそれぞれについて、反射波を受信した時間（Ｔ１１、Ｔ１２、Ｔ２１、Ｔ２２）から上記計算式を用いて物体の位置を判別すると、障害物が実在する位置の組み合わせ（Ｂ１、Ｂ２）と、障害物が実在しない障害物の虚像の位置の組み合わせ（Ｂ３、Ｂ４）が判別される。

なお、図４において、Ｌ１は超音波センサ３２から障害物Ｂ１までの実際の距離である。Ｌ２は超音波センサ３２から障害物Ｂ２までの実際の距離である。Ｌ３は超音波センサ３３から障害物Ｂ２までの実際の距離である。Ｌ４は超音波センサ３３から障害物Ｂ１までの実際の距離である。

障害物Ｂ１はＬ１とＬ４の組み合わせで検出することができ、障害物Ｂ２はＬ２とＬ３との組み合わせで検出することができる。しかしながら、この際、Ｌ１とＬ３との組み合わせにより、超音波センサ３２、３３の中間位置に障害物Ｂ３があると見なしたり、Ｌ２とＬ４との組み合わせにより、超音波センサ３２、３３の中間位置に障害物Ｂ４があると見なしたりすることが起こり得る。このようにして、図４に示すＢ３、Ｂ４の位置に虚像を判別してしまう。

このように、超音波センサ３２、３３による障害物の位置検出だけでは、障害物が複数ある場合等に、障害物が実在する位置の組み合わせを判別できないことがある。そこで、本実施の形態においては、後述するように、超音波センサによる障害物の位置検出に加えて、カメラ３１で撮像した画像を画像処理し、該画像処理によって障害物が実在する位置を特定する。

図１に戻って、車速センサ４は、車速を検出し、検出された車速は、車速信号として、コンピュータ２に出力する。

また、表示装置５は、コンピュータ２を介して、カメラ３１で撮影された映像などを表示するものである。

コンピュータ２は、超音波センサ３２、３３の出力検出信号に基づいて検出した障害物とその位置及びカメラ３１が取得した画像を処理することにより取得した障害物とその位置に基づいて、障害物とその位置を確定する。

コンピュータ２は、カメラ３１が取得した画像の、確定した障害物の位置に障害物を強調表示するための画像を合成し、合成画像を表示装置５に表示する。

コンピュータ２は、図６に示すように、画像キャプチャ４１と、超音波センサドライバ４２と、Ａ／Ｄ（アナログ／ディジタル）変換器４３と、画像メモリ２２と、ＲＯＭ（Read Only Memory）２３と、ＣＰＵ（Central Processing Unit）２４と、ＲＡＭ（Random Access Memory）２５と、表示制御装置２６と、を備える。

画像キャプチャ４１は、カメラ３１で撮影された画像をディジタル画像データに変換する。

超音波センサドライバ４２は、ＣＰＵ２４からの指示に応答して、超音波センサ３２の圧電素子３２１に高周波をパルスに印加して、超音波を発信させると共に内部タイマを起動し、超音波センサ３２，３３が反射波を受信するまでの各時間を求めて、ＣＰＵ２４に供給する。

Ａ／Ｄ（アナログ／ディジタル）変換器４３は、温度センサ３４からの温度信号をディジタル信号に変換する。

画像メモリ２２は、カメラ３１により生成され、画像キャプチャ４１で取得された画像データを記憶する。ＣＰＵ２４は、画像メモリ２２に記憶された画像データを操作・処理できる。

ＲＯＭ２３は、ＣＰＵ２４の動作を制御するためのプログラムを記憶する。また、ＲＯＭ２３は、後述する画像処理を実行するための様々な固定データを記憶する。

ＣＰＵ２４は、ＲＯＭ２３に格納されているプログラムを実行することにより、カメラ３１により取得した画像を表示装置５に表示し、超音波センサ３２、３３と、カメラ３１により取得した画像の画像処理と、により障害物を検出し、さらに、この画像上に障害物位置を示す表示を合成する。

ＣＰＵ２４の画像処理による障害物の検出には、複数の手法がある。本実施の形態では、ＣＰＵ２４は、複数の手法を状況毎に使い分け、状況に合った手法を用いることでより正確かつ高速で障害物を検出する。

即ち、車両１が走行中であるか停車中で場合分けする。

ＣＰＵ２４は、車両１が走行中である場合、例えば、カメラ３１で取得した画像（動画）からオプティカルフローを検出し、障害物を検出する手法を用いる。

オプティカルフローとは、画像上の各点の速度ベクトルである。画像上で速度の大きい部分は大きい値が検出され、速度の小さい部分は小さい値が検出される。

車両１が走行中、平面である地面の上に立体である障害物が存在すると、カメラ３１から障害物までの距離は地面に比べて障害物の方が近いため、画像上での障害物部分の動きは地面に対して相対的に大きくなり、オプティカルフローは、他の部分と比べ相対的に大きい値として検出される。

相対的にオプティカルフローの値が大きく検出される部分を抽出することで、障害物を検出することができる。

また、車両１が停車中である場合には、ＣＰＵ２４は、カメラ３１で取得した画像のフレーム間差分を取ることによって動きのある障害物を検出する。オプティカルフローによる障害物検出も可能であるが、フレーム間差分を用いることにより、より容易に障害物を検出できる。

フレーム間差分による障害物の検出とは、画像フレームを２枚連続で取得し、連続したフレームの画像の差分をとり、差分があった部分を抽出する検出手法である。この手法では、平易な処理で動きのある障害物を検出できる。

次に、静止している障害物を検出するため、ＣＰＵ２４は、カメラ３１で取得した画像をソーベルフィルタ等を用いた輝度微分法にて障害物のエッジを検出する手法を用いて障害物を検出する。

具体的には、カメラ３１で取得した画像をソーベルフィルタ処理し、障害物の縦方向のエッジ（障害物の左右両側端）、横方向のエッジ（障害物の上下両側端）を検出し、縦方向のエッジと横方向のエッジに囲まれた部分を抽出することで、障害物の位置を判別する。

ＲＡＭ２５は、ＣＰＵ２４のワークエリアとして機能する。

表示制御装置２６は、ＣＰＵ２４の制御下に、表示装置５を制御する。
なお、車速センサ４もバスを介してＣＰＵ２４に測定データを供給する。

次に、上記構成の障害物位置検出装置の動作を説明する。
まず、車両１のギアがバックに入れられると、コンピュータ２が起動される。コンピュータ２は、車両１のギアがバックに入れられている間、一定の割込周期で、図７の障害物検出処理を実行する。

まず、コンピュータ２（特にＣＰＵ２４）は、超音波センサドライバ４２を制御して、超音波センサ３２に、超音波を発信させると共に内部タイマを起動させる（ステップＳ１）。超音波センサドライバ４２は、ＣＰＵ２４からの指示に応答して、超音波センサ３２に発振信号を供給して、超音波を発信させると共に超音波センサ３２、３３が反射を受信するまでの時間を測定する。

続いて、ＣＰＵ２４は、超音波センサドライバ４２から、超音波センサ３２、３３が反射波を受信したか否か、受信している場合には、受信までの時間を示す情報を受信する（ステップＳ２）。

続いて、ＣＰＵ２４は、超音波センサ３２、３３が反射波を受信したか否かを示している情報、及び、受信までの時間を示す情報に基づいて、図３（ｂ）、図４、図５を参照して説明したように、障害物の有無、障害物が存在する場合には、その位置（（ｘ，ｙ）座標位置）を判別する。判別した障害物の位置情報はＲＡＭ２５に記憶する（ステップＳ３）。

ＣＰＵ２４は、超音波センサ３２、３３が受信した反射波が複数あったか否かを判別する（ステップＳ４）。

ステップＳ３で判別した反射波が複数あった場合、障害物の複数の位置の組み合わせが検出される。この障害物の複数の位置の組み合わせから、障害物が実在する位置の組み合わせを判別する必要がある。そこで、ステップＳ４で反射波が複数あると判別された場合（ステップＳ４；Ｙｅｓ）、障害物検出画像処理（ステップＳ５）に処理を移す。

ステップＳ３で判別した反射波の数が一つである場合（ステップＳ４；Ｎｏ）、障害物は一つということなので、超音波センサによる障害物の検出ができるので、画像処理による障害物検出はせず、障害物検出処理を終了する。

障害物検出画像処理（ステップＳ５）の内容を図８に示す。

障害物検出画像処理（ステップＳ５）では、まず、ＣＰＵ２４は、車速センサ４からデータを取得し、車両１が移動しているか否かを判別する（ステップＳ５１）。

車両１が移動中であると判別すると（ステップＳ５１；Ｙｅｓ）、ＣＰＵ２４は、画像キャプチャ４１を介してカメラ３１が取得した車両１の後方の画像を取り込み、画像メモリ２２上に記憶する。そして、連続して取り込んだ画像からオプティカルフローを検出し、障害物の位置を判別する。判別した障害物の位置情報を画像処理による検出結果としてＲＡＭ２５に記憶する（ステップＳ５２）。
ステップＳ５２の処理が終わると図７の障害物検出処理に戻る。

車両１が移動中でないと判別すると（ステップＳ５１；Ｎｏ）、障害物が移動中か否かを判別するため、まず、ＣＰＵ２４は、画像キャプチャ４１を介してカメラ３１が取得した車両１の後方の画像を連続して２枚取り込み、画像メモリ２２上に記憶する。（ステップＳ５３）。

続いて、ＣＰＵ２４は、ステップＳ５３で画像メモリ２２上に記憶した２枚の画像を比較し、両者に差分があるか否かを判別する（ステップＳ５４）。

ステップＳ５３で画像メモリ２２上に記憶した２枚の画像に差分があると判別すると（ステップＳ５４；Ｙｅｓ）、動きのある障害物を検出するために、２枚の画像から差分のある部分を抽出する。そして、その部分を障害物の位置と判別する。判別した障害物の位置情報を画像処理による検出結果としてＲＡＭ２５に記憶する（ステップＳ５５）。

ステップＳ５５で動きのある障害物を検出した後、又は、ステップＳ５３で画像メモリ２２上に記憶した２枚の画像に差分がないと判別すると（ステップＳ５４；Ｎｏ）、静止している障害物を検出する。画像メモリ２２上に記憶した画像を、ソーベルフィルタ処理等し、障害物のエッジを検出することで障害物の位置を判別する。判別した障害物の位置情報を画像処理による検出結果としてＲＡＭ２５に記憶する（ステップＳ５６）。
ステップＳ５６の処理が終わると図７の障害物検出処理に戻る。

図８の障害物検出画像処理が終わり、図７の障害物検出処理に戻ると、超音波センサ３２、３３により求めた検出結果と、カメラ３１で取得した画像の画像処理により求めた検出結果を相関処理して、障害物の組み合わせ候補から正しい障害物の位置の組み合わせを判別する（ステップＳ６）。

具体的には、ＲＡＭ２５に記憶された超音波センサ３２、３３による障害物の検出位置の候補の中から、ＲＡＭ２５に記憶された画像処理による障害物の検出位置を、障害物の実在する位置として特定する。

特定した位置を、最終的な障害物の位置としてＲＡＭ２５に記憶する。

なお、このとき、カメラ３１で得られた画像上の座標の原点（光軸位置）と超音波センサ３２、３３により求められる障害物のｘ，ｙ座標の原点とは一致する。このため、視点変換などの特段の処理は必要なく、座標位置の重ね合わせが容易である。

ＣＰＵ２４は、上述の処理を定期的に実行し、障害物の有無及びその位置の最新情報を適宜取得する。

また、コンピュータ２は、車両１のギアがバックに入れられると、表示装置５にそれまで行っていた表示を中断させ、車両１の後方の画像を表示させる処理を実行する。
この後方画像表示処理を図９を参照して説明する。

まず、コンピュータ２（特にＣＰＵ２４）は、画像キャプチャ４１を介してカメラ３１が取得した車両１の後方の画像を取り込み画像メモリ２２上に記憶する（ステップＳ２１）。

続いて、ＣＰＵ２４は、図７及び図８を参照して説明した障害物検出処理で検出した障害物の有無を判別し、障害物が存在する場合には、その障害物の位置（（ｘ，ｙ）座標位置）を特定する（ステップＳ２２）。

さらに、ＣＰＵ２４は、障害物を示す半透明の顕在化画像、例えば、図１０（ａ）に示すような画像Ｍを、障害物までの距離の表示と共にカメラ３１からの後方の画像の、ステップＳ２２で特定された（ｘ，ｙ）座標位置に重ねて、画像メモリ２２上に展開する（ステップＳ２３）。これにより、例えば、図１０（ｂ）に示すように、検出された障害物と、この障害物の存在を強調する画像Ｍと、障害物までの距離の表示と、を含む後方の画像が生成される。

なお、このとき、カメラ３１で得られた画像上の座標の原点（光軸位置）と超音波センサ３２、３３により求められる障害物のｘ，ｙ座標の原点とは一致する。このため、視点変換などの特段の処理は必要なく、画像の合成が容易である。

続いて、ＣＰＵ２４は、画像メモリ２２上に記憶した画像を表示制御装置２６を介して表示装置５に表示する（ステップＳ２４）。

ＣＰＵ２４は、周期的割込処理等で図９の後方画像表示処理を実行する。従って、表示装置５には、刻一刻と変化する車両１の後方の画像と、その画像内に存在する障害物の位置に配置された顕在化画像Ｍと、障害物までの距離の表示と、が表示される。即ち、障害物等は強調表示され、障害物等までの距離が表示されている。従って、ドライバは表示装置５の画面上で容易に障害物等を識別して車両１を操作することができる。

以上のように、上記実施の形態に係る障害物位置検出装置によれば、超音波センサ３２、３３による障害物の検出結果と、カメラ３１が取得した画像を画像処理することにより検出した障害物の検出結果と、を重ね合わせることで、正確な障害物の位置を検出することができる。

なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。

上記実施の形態では、センサユニット３上に、三角測量による位置検出が可能な最小限の台数である２台の超音波センサ３２、３３を配置したが、超音波センサの数を増やし、障害物の位置をより正確に判別するようにしてもよい。
また、２台の超音波センサ３２、３３をカメラ３１の光軸Ｃを中心に水平方向に並んで配置したが、光軸Ｃを中心に鉛直方向に並んで配置してもよい。

また、上記実施の形態では、カメラ３１で取得した画像の画像処理による障害物検出を、車両１が移動しているか否かで場合分けして複数の手法を用いたが、障害物の検出が可能であれば単一の手法あるいは他の手法によって検出してもよい。

上述したシステム構成やフローチャートは一例であり、任意に変更可能である。例えば、カメラで取得した画像の画像処理による障害物の検出精度を上げるために、複数台のカメラにより違う角度から画像を取得し、該画像を画像処理することで、障害物の位置を検出してもよい。

上記実施の形態では、車両１のバック時に後方を監視する場合に、この発明を適用したが、センサユニット３を車両１の前方や、ドア、ハッチバックドアなどにも配置し、通常の走行時、停止時、バック時等の任意のタイミングで、前方向、側方向、などの任意の方向を監視するために使用することも可能である。

表示装置５に表示する、障害物の位置を示すマークの種類や形状、さらに、表示の仕方は任意である。例えば、前述したように検出した障害物に重ねて表示してもよく、或いは、検出した障害物の脇に添えて表示するようにしてもよい。
また、障害物までの距離のみを表示していたが、図１１に示す、障害物Ｂ５までの距離ｄと、カメラ３１の画角θ１と、障害物Ｂ５の部分の角度θ２と、から三角関数を用いて障害物Ｂ５の大きさ判別して、障害物Ｂ５の大きさを表示してもよい。

また、上記実施の形態では、ＣＰＵ１４が実行するプログラムを、ＲＯＭ１３に記憶していたが、予め任意の記憶媒体に記憶したり、ネットワークを介して任意の記憶媒体に記憶するようにしてもよい。

本発明の実施形態に係る障害物位置検出装置を搭載した車両の構成を説明するための図である。センサユニットの構成を説明するための図で、（ａ）はセンサユニット全体の平面図、（ｂ）はカメラの断面図、（ｃ）は超音波センサの断面図である。（ａ）は図２（ａ）に示すセンサユニットに配置された超音波センサの配置を示す図、（ｂ）は障害物までの距離測定手法を説明するための図である。障害物が２つの場合の障害物までの距離測定手法及び虚像の検出を説明するための図である。超音波センサによる反射波の受信を示す図で、（ａ）は障害物が１つの場合を示す図、（ｂ）は障害物が２つの場合を示す図である。コンピュータの構成を説明するためのブロック図である。障害物検出処理を説明するためのフローチャートである。図７のフローチャートにおける障害物検出画像処理を説明するためのフローチャートである。後方画像表示処理を説明するためのフローチャートである。（ａ）は、障害物を強調表示するための付加記号の例を示す図、（ｂ）は、車両の後方の画像内の障害物を強調表示した表示の例である。障害物の大きさ判別方法を説明するための図である。

符号の説明

２コンピュータ（第１の障害物検出手段、第２の障害物検出手段、障害物判別手段、表示制御手段）
３センサユニット
４車速センサ
５表示装置（表示手段）
２２画像メモリ
２３ＲＯＭ
２４ＣＰＵ（第１の障害物検出手段、第２の障害物検出手段、障害物判別手段）
２６表示制御装置（表示制御手段）
３１カメラ（撮像手段、第２の障害物検出手段）
３２、３３超音波センサ（第１の障害物検出手段）
３４温度センサ
４１画像キャプチャ（撮像手段、第２の障害物検出手段）
４２超音波センサドライバ（第１の障害物検出手段）

Claims

車両に設けられた撮像手段と、
前記撮像手段の撮像方向に向けて前記撮像手段の周囲に配設された複数の超音波センサと、
前記超音波センサの出力に基づいて、障害物の位置を判別する第１の障害物検出手段と、
前記撮像手段が撮像した画像に基づいて、前記撮像手段の撮像範囲内に存在する障害物の該撮像画像内における位置を検出する第２の障害物検出手段と、
前記第１の障害物検出手段の検出結果より複数の障害物候補が検出された場合、前記第１の障害物検出手段の検出結果と前記第２の障害物検出手段の検出結果とを重ね合わせて、検出結果が一致した障害物候補の位置を障害物が実在する位置であると判別する障害物判別手段と、
を備えることを特徴とする障害物位置検出装置。
前記障害物判別手段は、
前記第１の障害物検出手段が、第１の位置と第２の位置に存在する第１の障害物の組合せと、第３の位置と第４の位置に存在する第２の障害物の組合せと、のいずれかが存在することを検出したときに、
この検出結果に前記第２の障害物検出手段の検出結果を重ね合わせて、前記第１の障害物の組合せと前記第２の障害物の組合せのいずれが実在するかを判別する、
ことを特徴とする請求項１に記載の障害物位置検出装置。
前記第２の障害物検出手段は、車両が移動中か否かを判断する手段を備え、車両が移動中である場合には、前記撮像手段が撮像した画像からオプティカルフローを検出する第１の障害物検出手法により障害物の位置を検出し、車両が移動中でない場合には、前記撮像手段が撮像した複数の画像から差分を抽出する第２の障害物検出手法、または、前記撮像手段が撮像した画像から障害物のエッジを抽出する第３の障害物検出手法により障害物の位置を検出することを特徴とする請求項１に記載の障害物位置検出装置。
画像を表示する表示手段と、
前記撮像手段が撮像した画像の、前記障害物判別手段によって判別した障害物の位置に、所定の画像を合成し、合成した画像を、前記表示手段に表示させる表示制御手段と、
をさらに備えることを特徴とする請求項１に記載の障害物位置検出装置。
前記超音波センサは、少なくとも１つの超音波発信素子と、前記超音波発信素子から発信された超音波の反射波を受信する少なくとも２つの超音波受信素子と、を備え、
前記超音波発信素子と超音波受信素子は、前記撮像手段の光軸の周囲に配置されている、ことを特徴とする請求項１に記載の障害物位置検出装置。