JP2004038877A - 車両用周辺監視装置及び画像処理装置 - Google Patents
車両用周辺監視装置及び画像処理装置 Download PDFInfo
- Publication number
- JP2004038877A JP2004038877A JP2002198777A JP2002198777A JP2004038877A JP 2004038877 A JP2004038877 A JP 2004038877A JP 2002198777 A JP2002198777 A JP 2002198777A JP 2002198777 A JP2002198777 A JP 2002198777A JP 2004038877 A JP2004038877 A JP 2004038877A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- monitoring area
- feature point
- danger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を提供する。
【解決手段】予測進路算出手段５２ａが、車両の予測進路を算出する。第１監視領域設定手段５２ｂが、予測進路に基づき、監視領域を設定する。危険判断手段１００が、車両周辺の物体を監視し、監視領域内に存在する物体と車両との接触の危険性を判断する。また、白線検出手段５２ｃが、撮像手段１０により撮像された画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する。第２監視領域設定手段５２ｄが、検出した白線に基づき、監視領域を設定する。切替手段５２ｅが、危険判断手段１００によって危険性の判断に用いられる監視領域を、第１監視領域設定手段５２ｂが設定した監視領域と、第２監視領域設定手段５２ｄが設定した監視領域との間で切り替える。
【選択図】 図１
【解決手段】予測進路算出手段５２ａが、車両の予測進路を算出する。第１監視領域設定手段５２ｂが、予測進路に基づき、監視領域を設定する。危険判断手段１００が、車両周辺の物体を監視し、監視領域内に存在する物体と車両との接触の危険性を判断する。また、白線検出手段５２ｃが、撮像手段１０により撮像された画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する。第２監視領域設定手段５２ｄが、検出した白線に基づき、監視領域を設定する。切替手段５２ｅが、危険判断手段１００によって危険性の判断に用いられる監視領域を、第１監視領域設定手段５２ｂが設定した監視領域と、第２監視領域設定手段５２ｄが設定した監視領域との間で切り替える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、車両用周辺監視装置及び画像処理装置に係わり、特に、物体と車両との接触の危険度を検出する車両用周辺監視装置及び、例えば、車両用周辺監視装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
従来、上述した車両用周辺監視装置として、車両に搭載したカメラ、レーザ光源、超音波発振器などを用いて、車両周辺の物体の位置や、自車両に対する接近度を検出し、自車両に非常に近い位置に物体が存在したり、自車両に対して急接近してくる物体が存在したとき、接触の危険性があると判断して、警報を与えるものが知られている。
【０００３】
しかしながら、上記した車両用周辺監視装置のように、自車両に非常に近い位置に物体が存在する、自車両に対して物体が急接近してきたということで、接触の危険性があると判断すると、以下に示すような問題が生じる。つまり、進路変更の意志がないとき、隣接車線上を自車両と接近して走行する他車両が存在したり、隣接車線から他車両が急接近してきた場合など、危険でないにも拘わらず、危険と判断してしまい、正確に物体との接触の危険性を判断することができないという問題があった。
【０００４】
そこで、このような事態を防止するため、カメラを用いた車両用周辺監視装置の中には、カメラによって撮像した道路画像を用いて車線区画ラインである白線を検出して、検出した白線に基づき、自車線領域と、隣接車線領域とを識別するものがある。
【０００５】
このような車両用周辺監視装置は、ウインカの操作が行われてなく、進路変更の意志がないときは、自車線領域に存在する物体について、接触の危険性の判断を行っている。一方、ウインカの操作が行われ、進路変更の意志があるときは、その操作方向の隣接車線領域に存在する物体について、接触の危険性の判断を行っている。
【０００６】
【発明が解決しようとする課題】
上述した白線検出を行う車両用周辺監視装置は、走行環境が比較的シンプルな高速道路では、正確に物体との接触の危険性を判断することができた。しかしながら、市街地道路などの一般道路では、歩行者や電柱のような物体が多数存在すること、白線が必ずしも存在しないこと、走行レーン維持に対する運転者の意識が希薄であることから、正確に物体との接触の危険性を判断することができないという第１の問題があった。また、白線検出を行う車両用周辺監視装置は、レーザ光源や、超音波発振器を用いて周辺監視を行うものには適用することができないという問題もある。
【０００７】
また、カメラを用いた車両用周辺監視装置としては、互いに所定距離、離れて配置した２台のカメラから構成され、一方のカメラが撮像した物体と、他方のカメラが撮像した物体との視差に基づき、物体の相対位置を検出して、接触の危険性の判断を行うステレオカメラ式のものがある。また、１台のカメラから、所定時間前後して得た２枚の画像中の物体の移動量に基づき、車両周辺の物体の自車両に対する接近度を検出し、接触の危険性の判断を行うオプティカルフロー式のものもある。
【０００８】
しかしながら、カメラを用いた車両用監視装置は、カメラが撮像した画像を画像処理して、接触の危険性の判断を行う必要があり、一般に、計算量が膨大となり、実時間（リアルタイム）での接触危険性の判断を行うは困難であったり、実現するためには、高速度の演算処理装置を必要とするため装置自体が高価格化してしまうというような第２の問題もある。
【０００９】
そこで、本発明は、上記のような問題点に着目し、白線が存在せず、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を提供することを第１の課題とする。また、撮像手段が撮像した車両周辺画像の画像処理を簡略にすることによって、安価に、実時間での接触危険性の判断を行うことを可能にする画像処理装置を提供することを第２の課題とする。
【００１０】
【課題を解決するための手段】
上記した第１の課題を解決するためになされた請求項１記載の発明は、図１の基本構成図に示すように、車両周辺の物体を監視し、前記物体と前記車両との接触の危険性を判断する危険判断手段１００と、前記車両の予測進路を算出する予測進路算出手段５２ａと、前記予測進路に基づき、監視領域を設定する第１監視領域設定手段５２ｂとを備え、前記危険判断手段は、前記監視領域内に存在する物体について、前記危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００１１】
請求項１記載の発明によれば、予測進路算出手段が、車両の予測進路を算出する。第１監視領域設定手段が、予測進路に基づき、監視領域を設定する。危険判断手段が、車両周辺の物体を監視し、監視領域内に存在する物体と車両との接触の危険性を判断する。従って、予測進路に基づき監視領域を設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域を設定することができる。しかも、レーザ光源や、超音波発振器を用いて周辺監視を行うものにも適用することができる。
【００１２】
請求項２記載の発明は、請求項１記載の車両用周辺監視装置であって、前記危険判断手段は、前記車両前方にある物体を監視して、前記車両前方にある物体と前記車両との接触の危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００１３】
請求項２記載の発明によれば、危険判断手段が、車両前方にある物体を監視して、車両前方にある物体と車両との接触の危険性を判断する。従って、車両前方について、最適な監視領域を設定することができる。
【００１４】
請求項３記載の発明は、請求項１又は２記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記予測進路を含んだ領域を、前記監視領域として設定することを特徴とする車両用周辺監視装置に存する。
【００１５】
請求項３記載の発明によれば、予想進路外であれば、物体が存在したとしても接触の危険性が少なくことに着目し、第１監視領域設定手段が、予測進路を含んだ領域を、監視領域として設定する。従って、一般道路を走行する場合であっても、より一層、最適な監視領域を設定することができる。
【００１６】
請求項４記載の発明は、請求項３記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記予測進路を車幅方向に拡大した領域を、前記監視領域として設定することを特徴とする車両用周辺監視装置に存する。
【００１７】
請求項４記載の発明によれば、第１監視領域設定手段が、予測進路を車幅方向に拡大した領域を、監視領域として設定する。従って、運転者がハンドルを操作して、予想進路が多少、変化してしまった場合や、予測進路周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域を設定することができる。
【００１８】
請求項５記載の発明は、請求項１〜４何れか１項記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記車両から、前記予測進路に沿って、前記車両速度に応じて定めた距離より遠方にある範囲を、前記監視領域から除外することを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項５記載の発明によれば、運転者が危険を察知してから、ブレーキを踏み、実際に停止するまでの間に、車両が進む距離（以下、停止距離）より、遠方にある物体については接触の危険性がないことに着目し、第１監視領域設定手段が、車両から、予測進路に沿って、車両速度に応じて定めた距離（例えば停止距離）より遠方にある範囲を、監視領域から除外する。従って、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域を設定することができる。
【００２０】
請求項６記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、前記車両周辺を撮像する撮像手段１０を有し、前記撮像手段が撮像した画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する白線検出手段５２ｃと、前記検出した白線に基づき、監視領域を設定する第２監視領域設定手段５２ｄと、前記危険判断手段が、前記危険性の判断に用いる監視領域を、前記第１監視領域設定手段が設定した監視領域と、前記第２監視領域設定手段が設定した監視領域との間で切り替える切替手段５２ｅとをさらに備えることを特徴とする車両用周辺監視装置に存する。
【００２１】
請求項６記載の発明によれば、危険判断手段において、撮像手段が、車両周辺を撮像する。白線検出手段が、撮像手段により撮像された画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する。第２監視領域設定手段が、検出した白線に基づき、監視領域を設定する。切替手段が、危険判断手段によって危険性の判断に用いられる監視領域を、第１監視領域設定手段が設定した監視領域と、第２監視領域設定手段が設定した監視領域との間で切り替える。従って、白線が存在し、走行環境が比較的シンプルな高速道路では、第２監視領域設定手段が設定した監視領域に切り替え、白線が存在せず、歩行者や電柱のような物体が多数存在する一般道路では、第２監視領域設定手段が設定した監視領域に切り替えれば、走行環境に適応した最適な監視領域を設定することができる。
【００２２】
上記した第２の課題を解決するためになされた請求項７記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、車両の周辺を撮像する撮像手段１０と、前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段５２ｆと、前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段５２ｇとを有し、前記特徴点から構成される画像を画像処理して、前記危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００２３】
上記した第２の課題を解決するためになされた請求項９記載の発明は、車両に搭載された撮像手段が撮像した画像を画像処理して、前記画像中の特徴点を検出する画像処理装置であって、前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段と、前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段とを備えたことを特徴とする画像処理装置に存する。
【００２４】
請求項７及び９記載の発明によれば、危険判断手段において、撮像手段が、車両の周辺を撮像する。濃度変化量検出手段が、撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する。特徴点検出手段が、検出した濃度変化量の走査方向における極大点を特徴点として検出する。危険判断手段が、特徴点から構成される画像を画像処理して、危険性を判断する。従って、濃度変化量の極大点を特徴点として検出することにより、物体のエッジがはっきりと撮像されていない場合であっても、エッジに沿ってある程度の幅を有する領域が特徴点として検出されることがなく、幅を細くすることができる。
【００２５】
上記した第２の課題を解決するためになされた請求項８記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、互いに所定距離、離れて配置された車両周辺を撮像する２つの撮像手段１０と、前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する同一点検出手段５２ｈとを有し、前記同一点検出手段は、前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線であるエピポラー線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出することを特徴とする車両用周辺監視装置に存する。
【００２６】
上記した第２の課題を解決するためになされた請求項１０記載の発明は、車両に搭載され、互いに所定距離、離れて配置された２つの撮像手段が撮像した２枚の画像を画像処理して、前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する画像処理装置であって、前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出することを特徴とする画像処理装置に存する。
【００２７】
請求項８及び１０記載の発明によれば、互いに所定距離、離れて配置された２つの撮像手段により撮像された２枚の画像中の同一点の差に基づき、危険性を判断する場合において、同一点検出手段が、２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定する。また、他方の画像中において、上記窓を設定した特徴点に対する同一点が現れる直線であるエピポラー線上に存在する特徴点を中心とした窓を設定する。そして、他の画像中に設定した窓内の画像のうち、一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出する。以上の構成によれば、一方の画像中の特徴点と同一点を、他の画像中から検出する際に、一方の画像中の特徴点に対して設定した窓を、他方の画像中のエピポラー線上に沿って、しかも、エピポラー線上に存在する特徴点毎に上記窓を移動して、相違度を求めることにより、上記窓を他の画像全体に亘って走査したり、他の画像中のエピポラー線上を一画素づつ窓を移動して走査することなく、同一点を求めることができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図２は、本発明の画像処理装置を組み込んだ車両用周辺監視装置の一実施の形態を示すブロック図である。同図において、車両用周辺監視装置は、車両前方に搭載され、車両前方を撮像する撮像手段としての撮像部１０と、画像を蓄える記憶部２０と、ハンドル舵角に応じた舵角信号を出力する舵角センサ３０と、車両速度に応じた速度信号を検出する速度センサ４０と、各種演算処理を実行するマイクロコンピュータ（μＣＯＭ）５０と、警報を発生する警報発生部６０とを備えている。
【００２９】
上記撮像部１０は、車両に搭載された右側ＣＣＤ１１Ｒ及び左側ＣＣＤ１１Ｌと、右側ＣＣＤ１１Ｒにより撮像された画像が投影される右側イメージプレーン１２Ｒと、左側ＣＣＤ１１Ｌにより撮像された画像が投影される左側イメージプレーン１２Ｌとを有している。そして撮像部１０は、車両前方が撮像領域となるように取り付けられている。また、撮像部１０を構成する一対のＣＣＤ１１Ｒ及び１１Ｌは、水平方向に所定距離、離れて取り付けられている。
【００３０】
記憶部２０は、右側イメージプレーン１２Ｒに投影された画像を一時的に蓄える右側フレームメモリ２１Ｒと、左側イメージプレーン１２Ｌに投影された画像を一時的に蓄える左側フレームメモリ２１Ｌと、ＣＣＤ１１Ｒ及び１１Ｌにより撮像された画像を画像処理して、物体との接触の危険性を判断する過程で用いられるフレームメモリ２２とを有している。
【００３１】
μＣＯＭ５０は、車両と物体との接触の危険性を判断するための動作プログラムを記録したＲＯＭ５１と、この動作プログラムに従って動作するＣＰＵ５２と、ＣＰＵ５２の動作時において必要な情報を一時格納するＲＡＭ５３とを有している。警報発生部６０は、例えば、ディスプレイ（図示せず）やスピーカ（図示せず）から構成され、μＣＯＭ５０によって、物体との接触の危険性があると判断されたとき、その旨を伝える警報音を発生したり、メッセージを表示して、運転者に対して警報を与える。
【００３２】
上述した構成の車両用周辺監視装置の動作を図３のフローチャートを参照して以下説明する。ＣＰＵ５２は、例えば、図示しないイグニッションスイッチのオンによって動作を開始し、図示しない初期ステップにおいて、μＣＯＭ５０内のＲＡＭ５３に形成した各種エリアの初期設定を行ってからその最初のステップＳ１に進む。
【００３３】
ステップＳ１において、ＣＰＵ５２は、イメージプレーン１２Ｒ及び１２Ｌに投影されている画像を、右側フレームメモリ２１Ｒ及び２１Ｌにそれぞれ格納して、ＣＣＤ１１Ｒ及び１１Ｌにより撮像された撮像画像を取得する（ステップＳ１）。次に、ＣＰＵ５２は、上記取得した各撮像画像中に映っている物体のエッジ（輪郭）上の点を特徴点として検出し、特徴点のみから構成される特徴点画像を作成して、フレームメモリ２２内に一時格納する（ステップＳ２）。
【００３４】
上述した特徴点画像作成の詳細な動作について説明する。まず、ＣＰＵ５２は、濃度変化量検出手段として働き、右側フレームメモリ２１Ｒ及び２１Ｌに格納された各画像について、ｘ軸方向（＝画像水平方向）に走査して、ｘ軸方向近傍に存在する画素の濃度変化量を求める。この濃度変化量を求める方法の代表的な一例として、Ｓｏｂｅｌオペレータがある。次に、ＣＰＵ５２は、特徴点検出手段として働き、図４に示すように、ｘ軸方向において、求めた濃度変化量が極大となる点を特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４…として検出して、特徴点画像を作成する。
【００３５】
ところで、従来では、濃度変化量が閾値以上となる点を特徴点として検出するのが一般的であった。しかし、この従来の特徴点検出方法では、図４に示すように、物体のエッジがはっきりと撮像されておらず、エッジでの濃度変化がなだらかな場合、閾値Ａ以上のある程度の幅Ｗを持った領域内の全ての点が特徴点として検出されてしまう。
【００３６】
そこで、上述した本発明のように、濃度変化量の極大点を特徴点として検出すれば、エッジに沿ってある程度の幅Ｗを有する領域内の全ての点が特徴点として検出されることがなく、エッジに沿った一点（＝特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４…）が特徴点として検出される。つまり、エッジがはっきりと撮像されない部分で、特徴点が抽出されすぎることがなく、後述する特徴点画像について行われる画像処理を簡略にすることができる。
【００３７】
次に、ＣＰＵ５２は、上述したように、右側ＣＣＤ１１Ｒ及び左側ＣＣＤ１１Ｌで撮像した２枚の撮像画像及びこの２枚の撮像画像について各々作成した特徴点画像を用いて、視差画像を作成して、フレームメモリ２２に格納する（ステップＳ３）。
【００３８】
具体的には、ＣＰＵ５２は、まず、同一点検出手段として働き、一方の特徴点画像（例えば、左側特徴点画像）内に存在する特徴点と同一の点を、他方の特徴点画像（例えば、右側特徴点画像）中から検出する。上記同一点検出は、左側特徴点画像内に存在する全ての特徴点について行われる。そして、全ての同一点同士の位置差、つまり、視差を求める。次に、視差が発生する特徴点を、その視差値に応じた輝度に変換することにより、視差画像を作成する。
【００３９】
このとき、視差値が大きくなるほど輝度が明るくなるように変換すれば、視差画像は、車両付近に存在する物体の特徴点ほど明るくなり（近くにある物体ほど視差が大きいため）、車両遠方に存在する物体の特徴点ほど暗くなる（画像となる遠くにある物体ほど視差が小さいため）。
【００４０】
次に、上述した視差画像作成の過程で行われる同一点検出の詳細な動作について、図５を参照して説明する。まず、ＣＰＵ５２は、例えば左側ＣＣＤ１１Ｌで撮像した撮像画像上に、注目する一特徴点Ｐ５を中心としたＮ×Ｎの窓Ｗ１を設定する。次に、右側撮像画像の中から、特徴点Ｐ５の同一点が現れる直線であるエピポラー線Ｌ１上に存在する特徴点Ｐ６、Ｐ７、Ｐ８を検出する。本発明のように、２台のＣＣＤ１１Ｒ及び１１Ｌを水平に配置した場合、エピポラー線Ｌ１は、水平方向の１ラインとなる。
【００４１】
次に、ＣＰＵ５２は、エピポラー線Ｌ１上に存在する特徴点Ｐ６、Ｐ７、Ｐ８を中心としたＮ×Ｎの窓Ｗ２１、Ｗ２２、Ｗ２３内の画像のうち、窓Ｗ１内の画像との相違度が最も低い窓に設定された特徴点を、特徴点Ｐ５の同一点として検出する。
【００４２】
上述したように、左側撮像画像中の特徴点と同一点を、右側撮像画像中から検出することにより、窓Ｗ１を右側撮像画像全体に亘って走査したり、右側撮像画像中のエピポラー線Ｌ１上を一画素づつ窓Ｗ１を移動して走査することなく、同一点を求めることができる。このため、同一点検出に関する画像処理を簡略にすることができる。
【００４３】
上述したように作成した視差画像には路面に描かれた文字など接触の危険性が全くない物体の視差情報まで含まれているため、次に、ＣＰＵ５２は、路面と同じ高さの物体の視差情報を視差画像から除去する（ステップＳ４）。撮像画像中に撮像されている路面までの距離（視差）は下式（１）で表される。
ｄ＝Ａ・ｙ＋Ｂ・ｘ＋Ｃ …（１）
【００４４】
上式（１）のｄは、視差であり、ｘは視差画像のｘ軸方向の位置、ｙは視差画像のｙ軸方向（画像垂直方向）の位置、Ａ、Ｂ、Ｃは路面パラメータである。路面パラメータＡ、Ｂ、Ｃは、路面に対するＣＣＤ１１Ｒ及び１１Ｌの設置パラメータから定まるものである。この式（１）で求めた視差ｄに対応する輝度値を有する点を、視差画像中から除去することにより、路面と同じ高さの物体の視差情報を視差画像から除去することができる。
【００４５】
次に、ＣＰＵ５２は、作成した視差画像を用い、補間視差画像を作成する（ステップＳ５）。作成した視差画像は、上述したように、画像内の全ての画素に対して視差を算出しているわけではない。従って、特徴点以外の画素、すなわち濃度の平坦な領域に関しては、近傍の特徴点から算出した視差値から推測し、補間することが必要となる。
【００４６】
そこで、視差画像中においてｘ軸方向に同じ視差をもつエッジが連続した場合、それらを同一の車両から生じたエッジとする。そして、同一のエッジ間の水平方向を、両エッジを持つ視差値（輝度）で埋めることにより、特徴点が存在しない部位の視差を補間して補間視差画像を作成する。これにより、撮像された物体の輪郭だけでなく、物体全体（輪郭内）についても、視差に応じた輝度を有した視差画像を得ることができる。
【００４７】
次に、ＣＰＵ５２は、作成した補間視差画像を用いて、投影視差画像を作成する（ステップＳ６）。具体的には、補間視差画像からｘ軸をそのままとし、ｙ軸は補間視差画像のｙ方向に視差ｄの度数分布を求め、横軸ｘ、縦軸ｄなる投影視差画像を作成する。
【００４８】
例えば、前方に他車両Ｆ及び他車両Ｇが走行しているとする。このときの補間視差画像は、図６（ａ）に示すようになる。同図において、他車両Ｆは他車両Ｇより自車両近くを走行しているため、当然、他車両Ｆから発生する視差は、他車両Ｇから発生する視差より大きくなる。
【００４９】
従って、図６（ａ）に示すような補間視差画像を、上述したように、投影視差画像に変換したとき、その投影視差画像は、図６（ｂ）に示すように、他車両Ｆが手前の一直線Ｌ３に変換され、他車両Ｇが奥側の直線Ｌ２に変換される（ただし、視差ｄは手前になるほど大きな値を表すものとする）。つまり、同一の物体から発生する視差は、ほぼ同じであるため、物体は、発生する視差、つまり、車両からの距離に応じた一直線に変換される。そして、自車両近くに存在する物体から変換された直線ほど、手前側に位置する（近くにある物体ほど視差が大きいため）。これは、丁度真上から物体を見たときの位置を表すようになる。
【００５０】
次に、ＣＰＵ５２は、予測進路算出手段として働き、図７に示すような、路面のＸＺ平面上における予測進路Ｍを算出する（ステップＳ７）。この予測軌跡Ｍは、ハンドル舵角に応じた回転半径Ｒを持つ円弧から車幅を考慮して求めたものである。なお、回転半径Ｒは、次式（２）によって、算出する。
Ｒ＝ＬＷＢ／ｔａｎθｓｔｅｅｒ …（２）
ＬＷＢは車両のホイールベース、θｓｔｅｅｒはハンドル舵角から算出したタイヤの切れ角を表している。ハンドル舵角は、舵角センサ３０からの舵角信号に基づき求める。
【００５１】
次に、ＣＰＵ５２は、第１監視領域設定手段として働き、監視領域を設定する（ステップＳ８）。まず、一般道路において、運転者が注視しなければならない範囲は、自車両の進行方向に依存して変動していることに着目し、ステップＳ７で求めた予想進路Ｍを車幅方向にΔＤ拡大した領域内を、監視領域として設定する。
【００５２】
また、運転者が注視しなければならない範囲は、自車両の走行速度に依存しても変動している。つまり、渋滞時や交差点前などかなりスピードを落として運転している際には、近距離だけを注意して見ればよい。逆に交通の流れに沿ってスピードを出しているときはかなり遠方まで注視する必要がある。このことに着目し、予測進路Ｍに沿って、車両速度（速度センサ４０からの速度信号に基づき求める）に応じて定めた距離ＬＱより遠方にある範囲を監視領域から除外する。
【００５３】
なお、車両速度に応じて定めた距離ＬＱとは、具体的には、運転者が危険を察知してから、ブレーキを踏み、実際に停止するまでの間に、車両が進む距離（＝停止距離）などが考えられる。以上の動作により、路面のＸＺ平面上において、監視領域Ｅを設定することができる。
【００５４】
次に、上記設定したＸＺ平面上の監視領域Ｅ内の点を、予め定めた変換式を用いて、イメージプレーン１２Ｒ及び１２Ｌ上のｘｙ平面に変換する。この変換により、図８に示すように、路面上に描かれた監視領域Ｅを、ＣＣＤ１１Ｒ及び１１Ｌによって撮像した監視領域画像を得ることができる。
【００５５】
次に、ＣＰＵ５２は、監視領域画像を、上述したような投影視差画像に変換して、フレームメモリ２２に格納する（ステップＳ９）。その後、ＣＰＵ５２は、監視領域の投影視差画像と、ステップＳ６で作成した撮像画像の投影視差画像とを比べ、図６（ｂ）において、直線Ｌ２、Ｌ３で表される物体が、監視領域内に存在したとき、物体との接触の危険性があると判断して（ステップＳ１０でＹ）、警報発生部６０を用いて運転者に警報を与えた後（ステップＳ１１）、ステップＳ１に戻る。
【００５６】
一方、監視領域内に物体が存在しなければ、物体との接触の危険性がないと判断して（ステップＳ１０でＮ）、直ちにステップＳ１に戻る。以上のことから、撮像部１０及びＣＰＵ５２が、請求項中の危険判断手段１００を構成することがわかる。
【００５７】
以上のように、予測進路Ｍを含んだ監視領域Ｅを設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域Ｅを設定することができるので、一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる。
【００５８】
また、予測進路Ｍを車幅方向にΔＤ拡大した領域を、監視領域として設定することにより、運転者がハンドルを操作して、予想進路Ｍが多少、変化してしまった場合や、予測進路Ｍ周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域Ｅを設定することができる。
【００５９】
また、車両から、予測進路Ｍに沿って、車両速度に応じて定めた距離（例えば停止距離）より遠方にある範囲を、監視領域Ｅから除外することにより、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域Ｅを設定することができる。
【００６０】
なお、上述した実施形態では、予測軌跡に基づいて、監視領域を設定していた。しかしながら、例えば、走行環境が比較的シンプルな高速道路では、従来のように、白線に基づいて監視領域を設定し、一般道路では、上述したように予測進路に基づいて監視領域を設定するようにしてもよい。この場合、ＣＰＵ５３が、白線検出手段、第２監視領域設定手段、切替手段として働く。この白線に基づいた監視領域と、予測進路に基づいた監視領域との切替は、以下に示すように行うことが考えられる。
【００６１】
車両速度が一定以上であり、高速道路を走行していると判断できるときは、白線に基づいた監視領域を用い、車両速度が一定未満であり、一般道路を走行していると判断できるときは、予測進路に基づいた監視領域を用いて危険判断を行う。また、カーナビゲーション装置からの情報に基づき、一般道路及び高速道路の何れを走行しているか判断して切り替えることも考えられる。さらに、白線が検出できないときに、一般道路を走行していると判断し、白線が検出できるとき、高速道路を走行していると判断して切り替えることも考えられる。
【００６２】
また、上述した実施形態では、舵角センサ３０に基づき、予測進路を算出していたが、例えば、ジャイロなどを用いて予測進路を算出するようにしてもよい。
【００６３】
さらに、上述した実施形態では、自車両周辺を監視するための手段として、２台のＣＣＤ１１Ｒ及び１１Ｌを用いていた。しかしながら、例えば、監視領域の設定については、１台のＣＣＤを用いて周辺監視を行うものや、レーザ光源、超音波発振器を用いて周辺監視を行うものにも適用することができる。また、ステップＳ２で述べた特徴点検出は、１台のＣＣＤを用いて周辺監視を行うものにも適用することができる。
【００６４】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、予測進路に基づき監視領域を設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる。しかも、レーザ光源や、超音波発振器を用いて周辺監視を行うものにも適用することができる車両用周辺監視装置を得ることができる。
【００６５】
請求項２記載の発明によれば、車両前方について、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、正確に前方に存在する物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６６】
請求項３記載の発明によれば、一般道路を走行する場合であっても、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６７】
請求項４記載の発明によれば、運転者がハンドルを操作して、予想進路が多少、変化してしまった場合や、予測進路周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６８】
請求項５記載の発明によれば、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６９】
請求項６記載の発明によれば、白線が存在し、走行環境が比較的シンプルな高速道路では、第２監視領域設定手段が設定した監視領域に切り替え、白線が存在せず、歩行者や電柱のような物体が多数存在する一般道路では、第２監視領域設定手段が設定した監視領域に切り替えれば、走行環境に適応した最適な監視領域を設定することができるので、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００７０】
請求項７及び９記載の発明によれば、輝度差の極大点を特徴点として検出することにより、物体のエッジがはっきりと撮像されていない場合であっても、エッジに沿ってある程度の幅を有する領域が特徴点として検出されることがなく、幅を細くすることができるので、無駄な特徴点を除去することにより、特徴点から構成される画像について行われる画像処理を簡略にすることができ、安価に、実時間での接触危険性の判断を行うことを可能にする車両用周辺監視装置及び画像処理装置を得ることができる。
【００７１】
請求項８及び１０記載の発明によれば、一方の画像中の特徴点と同一点を、他の画像中から検出する際に、一方の画像中の特徴点に対して設定した窓を、他方の画像中のエピポラー線上に沿って、しかも、エピポラー線上に存在する特徴点毎に上記窓を移動して、相違度を求めることにより、上記窓を他の画像全体に亘って走査したり、他の画像中のエピポラー線上を一画素づつ窓を移動して走査することなく、同一点を求めることができるので、同一点検出に関する画像処理を簡略にすることができ、安価に、実時間での接触危険性の判断を行うことを可能とする車両用周辺監視装置及び画像処理装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の車両用周辺監視装置の基本構成図である。
【図２】本発明の画像処理装置を組み込んだ車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するＣＰＵ５２の処理手順を示すフローチャートである。
【図４】図３中の特徴点画像作成作成におけるＣＰＵ５２の動作を説明するための図である。
【図５】図３中の視差画像作成におけるＣＰＵ５２の動作を説明するための図である。
【図６】図３中の投影視差画像作成におけるＣＰＵ５２の動作を説明するための図である。
【図７】図３中の予測進路算出及び監視領域設定におけるＣＰＵ５２の動作を説明するための図である。
【図８】図７に示す路面上に描かれた監視領域Ｅを、ＣＣＤ１１Ｒ及び１１Ｌによって撮像したとき得られる監視領域画像を示す。
【符号の説明】
１０ 撮像手段
５２ａ 予測進路算出手段
５２ｂ 第１監視領域設定手段
５２ｃ 白線検出手段
５２ｄ 第２監視領域設定手段
５２ｅ 切替手段
５２ｆ 濃度変化量検出手段
５２ｇ 特徴点検出手段
５２ｈ 同一点検出手段
１００ 危険判断手段
【発明の属する技術分野】
この発明は、車両用周辺監視装置及び画像処理装置に係わり、特に、物体と車両との接触の危険度を検出する車両用周辺監視装置及び、例えば、車両用周辺監視装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
従来、上述した車両用周辺監視装置として、車両に搭載したカメラ、レーザ光源、超音波発振器などを用いて、車両周辺の物体の位置や、自車両に対する接近度を検出し、自車両に非常に近い位置に物体が存在したり、自車両に対して急接近してくる物体が存在したとき、接触の危険性があると判断して、警報を与えるものが知られている。
【０００３】
しかしながら、上記した車両用周辺監視装置のように、自車両に非常に近い位置に物体が存在する、自車両に対して物体が急接近してきたということで、接触の危険性があると判断すると、以下に示すような問題が生じる。つまり、進路変更の意志がないとき、隣接車線上を自車両と接近して走行する他車両が存在したり、隣接車線から他車両が急接近してきた場合など、危険でないにも拘わらず、危険と判断してしまい、正確に物体との接触の危険性を判断することができないという問題があった。
【０００４】
そこで、このような事態を防止するため、カメラを用いた車両用周辺監視装置の中には、カメラによって撮像した道路画像を用いて車線区画ラインである白線を検出して、検出した白線に基づき、自車線領域と、隣接車線領域とを識別するものがある。
【０００５】
このような車両用周辺監視装置は、ウインカの操作が行われてなく、進路変更の意志がないときは、自車線領域に存在する物体について、接触の危険性の判断を行っている。一方、ウインカの操作が行われ、進路変更の意志があるときは、その操作方向の隣接車線領域に存在する物体について、接触の危険性の判断を行っている。
【０００６】
【発明が解決しようとする課題】
上述した白線検出を行う車両用周辺監視装置は、走行環境が比較的シンプルな高速道路では、正確に物体との接触の危険性を判断することができた。しかしながら、市街地道路などの一般道路では、歩行者や電柱のような物体が多数存在すること、白線が必ずしも存在しないこと、走行レーン維持に対する運転者の意識が希薄であることから、正確に物体との接触の危険性を判断することができないという第１の問題があった。また、白線検出を行う車両用周辺監視装置は、レーザ光源や、超音波発振器を用いて周辺監視を行うものには適用することができないという問題もある。
【０００７】
また、カメラを用いた車両用周辺監視装置としては、互いに所定距離、離れて配置した２台のカメラから構成され、一方のカメラが撮像した物体と、他方のカメラが撮像した物体との視差に基づき、物体の相対位置を検出して、接触の危険性の判断を行うステレオカメラ式のものがある。また、１台のカメラから、所定時間前後して得た２枚の画像中の物体の移動量に基づき、車両周辺の物体の自車両に対する接近度を検出し、接触の危険性の判断を行うオプティカルフロー式のものもある。
【０００８】
しかしながら、カメラを用いた車両用監視装置は、カメラが撮像した画像を画像処理して、接触の危険性の判断を行う必要があり、一般に、計算量が膨大となり、実時間（リアルタイム）での接触危険性の判断を行うは困難であったり、実現するためには、高速度の演算処理装置を必要とするため装置自体が高価格化してしまうというような第２の問題もある。
【０００９】
そこで、本発明は、上記のような問題点に着目し、白線が存在せず、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を提供することを第１の課題とする。また、撮像手段が撮像した車両周辺画像の画像処理を簡略にすることによって、安価に、実時間での接触危険性の判断を行うことを可能にする画像処理装置を提供することを第２の課題とする。
【００１０】
【課題を解決するための手段】
上記した第１の課題を解決するためになされた請求項１記載の発明は、図１の基本構成図に示すように、車両周辺の物体を監視し、前記物体と前記車両との接触の危険性を判断する危険判断手段１００と、前記車両の予測進路を算出する予測進路算出手段５２ａと、前記予測進路に基づき、監視領域を設定する第１監視領域設定手段５２ｂとを備え、前記危険判断手段は、前記監視領域内に存在する物体について、前記危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００１１】
請求項１記載の発明によれば、予測進路算出手段が、車両の予測進路を算出する。第１監視領域設定手段が、予測進路に基づき、監視領域を設定する。危険判断手段が、車両周辺の物体を監視し、監視領域内に存在する物体と車両との接触の危険性を判断する。従って、予測進路に基づき監視領域を設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域を設定することができる。しかも、レーザ光源や、超音波発振器を用いて周辺監視を行うものにも適用することができる。
【００１２】
請求項２記載の発明は、請求項１記載の車両用周辺監視装置であって、前記危険判断手段は、前記車両前方にある物体を監視して、前記車両前方にある物体と前記車両との接触の危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００１３】
請求項２記載の発明によれば、危険判断手段が、車両前方にある物体を監視して、車両前方にある物体と車両との接触の危険性を判断する。従って、車両前方について、最適な監視領域を設定することができる。
【００１４】
請求項３記載の発明は、請求項１又は２記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記予測進路を含んだ領域を、前記監視領域として設定することを特徴とする車両用周辺監視装置に存する。
【００１５】
請求項３記載の発明によれば、予想進路外であれば、物体が存在したとしても接触の危険性が少なくことに着目し、第１監視領域設定手段が、予測進路を含んだ領域を、監視領域として設定する。従って、一般道路を走行する場合であっても、より一層、最適な監視領域を設定することができる。
【００１６】
請求項４記載の発明は、請求項３記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記予測進路を車幅方向に拡大した領域を、前記監視領域として設定することを特徴とする車両用周辺監視装置に存する。
【００１７】
請求項４記載の発明によれば、第１監視領域設定手段が、予測進路を車幅方向に拡大した領域を、監視領域として設定する。従って、運転者がハンドルを操作して、予想進路が多少、変化してしまった場合や、予測進路周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域を設定することができる。
【００１８】
請求項５記載の発明は、請求項１〜４何れか１項記載の車両用周辺監視装置であって、前記第１監視領域設定手段は、前記車両から、前記予測進路に沿って、前記車両速度に応じて定めた距離より遠方にある範囲を、前記監視領域から除外することを特徴とする車両用周辺監視装置に存する。
【００１９】
請求項５記載の発明によれば、運転者が危険を察知してから、ブレーキを踏み、実際に停止するまでの間に、車両が進む距離（以下、停止距離）より、遠方にある物体については接触の危険性がないことに着目し、第１監視領域設定手段が、車両から、予測進路に沿って、車両速度に応じて定めた距離（例えば停止距離）より遠方にある範囲を、監視領域から除外する。従って、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域を設定することができる。
【００２０】
請求項６記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、前記車両周辺を撮像する撮像手段１０を有し、前記撮像手段が撮像した画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する白線検出手段５２ｃと、前記検出した白線に基づき、監視領域を設定する第２監視領域設定手段５２ｄと、前記危険判断手段が、前記危険性の判断に用いる監視領域を、前記第１監視領域設定手段が設定した監視領域と、前記第２監視領域設定手段が設定した監視領域との間で切り替える切替手段５２ｅとをさらに備えることを特徴とする車両用周辺監視装置に存する。
【００２１】
請求項６記載の発明によれば、危険判断手段において、撮像手段が、車両周辺を撮像する。白線検出手段が、撮像手段により撮像された画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する。第２監視領域設定手段が、検出した白線に基づき、監視領域を設定する。切替手段が、危険判断手段によって危険性の判断に用いられる監視領域を、第１監視領域設定手段が設定した監視領域と、第２監視領域設定手段が設定した監視領域との間で切り替える。従って、白線が存在し、走行環境が比較的シンプルな高速道路では、第２監視領域設定手段が設定した監視領域に切り替え、白線が存在せず、歩行者や電柱のような物体が多数存在する一般道路では、第２監視領域設定手段が設定した監視領域に切り替えれば、走行環境に適応した最適な監視領域を設定することができる。
【００２２】
上記した第２の課題を解決するためになされた請求項７記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、車両の周辺を撮像する撮像手段１０と、前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段５２ｆと、前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段５２ｇとを有し、前記特徴点から構成される画像を画像処理して、前記危険性を判断することを特徴とする車両用周辺監視装置に存する。
【００２３】
上記した第２の課題を解決するためになされた請求項９記載の発明は、車両に搭載された撮像手段が撮像した画像を画像処理して、前記画像中の特徴点を検出する画像処理装置であって、前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段と、前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段とを備えたことを特徴とする画像処理装置に存する。
【００２４】
請求項７及び９記載の発明によれば、危険判断手段において、撮像手段が、車両の周辺を撮像する。濃度変化量検出手段が、撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する。特徴点検出手段が、検出した濃度変化量の走査方向における極大点を特徴点として検出する。危険判断手段が、特徴点から構成される画像を画像処理して、危険性を判断する。従って、濃度変化量の極大点を特徴点として検出することにより、物体のエッジがはっきりと撮像されていない場合であっても、エッジに沿ってある程度の幅を有する領域が特徴点として検出されることがなく、幅を細くすることができる。
【００２５】
上記した第２の課題を解決するためになされた請求項８記載の発明は、図１の基本構成図に示すように、請求項１〜５何れか１項記載の車両用周辺監視装置であって、前記危険判断手段は、互いに所定距離、離れて配置された車両周辺を撮像する２つの撮像手段１０と、前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する同一点検出手段５２ｈとを有し、前記同一点検出手段は、前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線であるエピポラー線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出することを特徴とする車両用周辺監視装置に存する。
【００２６】
上記した第２の課題を解決するためになされた請求項１０記載の発明は、車両に搭載され、互いに所定距離、離れて配置された２つの撮像手段が撮像した２枚の画像を画像処理して、前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する画像処理装置であって、前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出することを特徴とする画像処理装置に存する。
【００２７】
請求項８及び１０記載の発明によれば、互いに所定距離、離れて配置された２つの撮像手段により撮像された２枚の画像中の同一点の差に基づき、危険性を判断する場合において、同一点検出手段が、２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定する。また、他方の画像中において、上記窓を設定した特徴点に対する同一点が現れる直線であるエピポラー線上に存在する特徴点を中心とした窓を設定する。そして、他の画像中に設定した窓内の画像のうち、一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出する。以上の構成によれば、一方の画像中の特徴点と同一点を、他の画像中から検出する際に、一方の画像中の特徴点に対して設定した窓を、他方の画像中のエピポラー線上に沿って、しかも、エピポラー線上に存在する特徴点毎に上記窓を移動して、相違度を求めることにより、上記窓を他の画像全体に亘って走査したり、他の画像中のエピポラー線上を一画素づつ窓を移動して走査することなく、同一点を求めることができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図２は、本発明の画像処理装置を組み込んだ車両用周辺監視装置の一実施の形態を示すブロック図である。同図において、車両用周辺監視装置は、車両前方に搭載され、車両前方を撮像する撮像手段としての撮像部１０と、画像を蓄える記憶部２０と、ハンドル舵角に応じた舵角信号を出力する舵角センサ３０と、車両速度に応じた速度信号を検出する速度センサ４０と、各種演算処理を実行するマイクロコンピュータ（μＣＯＭ）５０と、警報を発生する警報発生部６０とを備えている。
【００２９】
上記撮像部１０は、車両に搭載された右側ＣＣＤ１１Ｒ及び左側ＣＣＤ１１Ｌと、右側ＣＣＤ１１Ｒにより撮像された画像が投影される右側イメージプレーン１２Ｒと、左側ＣＣＤ１１Ｌにより撮像された画像が投影される左側イメージプレーン１２Ｌとを有している。そして撮像部１０は、車両前方が撮像領域となるように取り付けられている。また、撮像部１０を構成する一対のＣＣＤ１１Ｒ及び１１Ｌは、水平方向に所定距離、離れて取り付けられている。
【００３０】
記憶部２０は、右側イメージプレーン１２Ｒに投影された画像を一時的に蓄える右側フレームメモリ２１Ｒと、左側イメージプレーン１２Ｌに投影された画像を一時的に蓄える左側フレームメモリ２１Ｌと、ＣＣＤ１１Ｒ及び１１Ｌにより撮像された画像を画像処理して、物体との接触の危険性を判断する過程で用いられるフレームメモリ２２とを有している。
【００３１】
μＣＯＭ５０は、車両と物体との接触の危険性を判断するための動作プログラムを記録したＲＯＭ５１と、この動作プログラムに従って動作するＣＰＵ５２と、ＣＰＵ５２の動作時において必要な情報を一時格納するＲＡＭ５３とを有している。警報発生部６０は、例えば、ディスプレイ（図示せず）やスピーカ（図示せず）から構成され、μＣＯＭ５０によって、物体との接触の危険性があると判断されたとき、その旨を伝える警報音を発生したり、メッセージを表示して、運転者に対して警報を与える。
【００３２】
上述した構成の車両用周辺監視装置の動作を図３のフローチャートを参照して以下説明する。ＣＰＵ５２は、例えば、図示しないイグニッションスイッチのオンによって動作を開始し、図示しない初期ステップにおいて、μＣＯＭ５０内のＲＡＭ５３に形成した各種エリアの初期設定を行ってからその最初のステップＳ１に進む。
【００３３】
ステップＳ１において、ＣＰＵ５２は、イメージプレーン１２Ｒ及び１２Ｌに投影されている画像を、右側フレームメモリ２１Ｒ及び２１Ｌにそれぞれ格納して、ＣＣＤ１１Ｒ及び１１Ｌにより撮像された撮像画像を取得する（ステップＳ１）。次に、ＣＰＵ５２は、上記取得した各撮像画像中に映っている物体のエッジ（輪郭）上の点を特徴点として検出し、特徴点のみから構成される特徴点画像を作成して、フレームメモリ２２内に一時格納する（ステップＳ２）。
【００３４】
上述した特徴点画像作成の詳細な動作について説明する。まず、ＣＰＵ５２は、濃度変化量検出手段として働き、右側フレームメモリ２１Ｒ及び２１Ｌに格納された各画像について、ｘ軸方向（＝画像水平方向）に走査して、ｘ軸方向近傍に存在する画素の濃度変化量を求める。この濃度変化量を求める方法の代表的な一例として、Ｓｏｂｅｌオペレータがある。次に、ＣＰＵ５２は、特徴点検出手段として働き、図４に示すように、ｘ軸方向において、求めた濃度変化量が極大となる点を特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４…として検出して、特徴点画像を作成する。
【００３５】
ところで、従来では、濃度変化量が閾値以上となる点を特徴点として検出するのが一般的であった。しかし、この従来の特徴点検出方法では、図４に示すように、物体のエッジがはっきりと撮像されておらず、エッジでの濃度変化がなだらかな場合、閾値Ａ以上のある程度の幅Ｗを持った領域内の全ての点が特徴点として検出されてしまう。
【００３６】
そこで、上述した本発明のように、濃度変化量の極大点を特徴点として検出すれば、エッジに沿ってある程度の幅Ｗを有する領域内の全ての点が特徴点として検出されることがなく、エッジに沿った一点（＝特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４…）が特徴点として検出される。つまり、エッジがはっきりと撮像されない部分で、特徴点が抽出されすぎることがなく、後述する特徴点画像について行われる画像処理を簡略にすることができる。
【００３７】
次に、ＣＰＵ５２は、上述したように、右側ＣＣＤ１１Ｒ及び左側ＣＣＤ１１Ｌで撮像した２枚の撮像画像及びこの２枚の撮像画像について各々作成した特徴点画像を用いて、視差画像を作成して、フレームメモリ２２に格納する（ステップＳ３）。
【００３８】
具体的には、ＣＰＵ５２は、まず、同一点検出手段として働き、一方の特徴点画像（例えば、左側特徴点画像）内に存在する特徴点と同一の点を、他方の特徴点画像（例えば、右側特徴点画像）中から検出する。上記同一点検出は、左側特徴点画像内に存在する全ての特徴点について行われる。そして、全ての同一点同士の位置差、つまり、視差を求める。次に、視差が発生する特徴点を、その視差値に応じた輝度に変換することにより、視差画像を作成する。
【００３９】
このとき、視差値が大きくなるほど輝度が明るくなるように変換すれば、視差画像は、車両付近に存在する物体の特徴点ほど明るくなり（近くにある物体ほど視差が大きいため）、車両遠方に存在する物体の特徴点ほど暗くなる（画像となる遠くにある物体ほど視差が小さいため）。
【００４０】
次に、上述した視差画像作成の過程で行われる同一点検出の詳細な動作について、図５を参照して説明する。まず、ＣＰＵ５２は、例えば左側ＣＣＤ１１Ｌで撮像した撮像画像上に、注目する一特徴点Ｐ５を中心としたＮ×Ｎの窓Ｗ１を設定する。次に、右側撮像画像の中から、特徴点Ｐ５の同一点が現れる直線であるエピポラー線Ｌ１上に存在する特徴点Ｐ６、Ｐ７、Ｐ８を検出する。本発明のように、２台のＣＣＤ１１Ｒ及び１１Ｌを水平に配置した場合、エピポラー線Ｌ１は、水平方向の１ラインとなる。
【００４１】
次に、ＣＰＵ５２は、エピポラー線Ｌ１上に存在する特徴点Ｐ６、Ｐ７、Ｐ８を中心としたＮ×Ｎの窓Ｗ２１、Ｗ２２、Ｗ２３内の画像のうち、窓Ｗ１内の画像との相違度が最も低い窓に設定された特徴点を、特徴点Ｐ５の同一点として検出する。
【００４２】
上述したように、左側撮像画像中の特徴点と同一点を、右側撮像画像中から検出することにより、窓Ｗ１を右側撮像画像全体に亘って走査したり、右側撮像画像中のエピポラー線Ｌ１上を一画素づつ窓Ｗ１を移動して走査することなく、同一点を求めることができる。このため、同一点検出に関する画像処理を簡略にすることができる。
【００４３】
上述したように作成した視差画像には路面に描かれた文字など接触の危険性が全くない物体の視差情報まで含まれているため、次に、ＣＰＵ５２は、路面と同じ高さの物体の視差情報を視差画像から除去する（ステップＳ４）。撮像画像中に撮像されている路面までの距離（視差）は下式（１）で表される。
ｄ＝Ａ・ｙ＋Ｂ・ｘ＋Ｃ …（１）
【００４４】
上式（１）のｄは、視差であり、ｘは視差画像のｘ軸方向の位置、ｙは視差画像のｙ軸方向（画像垂直方向）の位置、Ａ、Ｂ、Ｃは路面パラメータである。路面パラメータＡ、Ｂ、Ｃは、路面に対するＣＣＤ１１Ｒ及び１１Ｌの設置パラメータから定まるものである。この式（１）で求めた視差ｄに対応する輝度値を有する点を、視差画像中から除去することにより、路面と同じ高さの物体の視差情報を視差画像から除去することができる。
【００４５】
次に、ＣＰＵ５２は、作成した視差画像を用い、補間視差画像を作成する（ステップＳ５）。作成した視差画像は、上述したように、画像内の全ての画素に対して視差を算出しているわけではない。従って、特徴点以外の画素、すなわち濃度の平坦な領域に関しては、近傍の特徴点から算出した視差値から推測し、補間することが必要となる。
【００４６】
そこで、視差画像中においてｘ軸方向に同じ視差をもつエッジが連続した場合、それらを同一の車両から生じたエッジとする。そして、同一のエッジ間の水平方向を、両エッジを持つ視差値（輝度）で埋めることにより、特徴点が存在しない部位の視差を補間して補間視差画像を作成する。これにより、撮像された物体の輪郭だけでなく、物体全体（輪郭内）についても、視差に応じた輝度を有した視差画像を得ることができる。
【００４７】
次に、ＣＰＵ５２は、作成した補間視差画像を用いて、投影視差画像を作成する（ステップＳ６）。具体的には、補間視差画像からｘ軸をそのままとし、ｙ軸は補間視差画像のｙ方向に視差ｄの度数分布を求め、横軸ｘ、縦軸ｄなる投影視差画像を作成する。
【００４８】
例えば、前方に他車両Ｆ及び他車両Ｇが走行しているとする。このときの補間視差画像は、図６（ａ）に示すようになる。同図において、他車両Ｆは他車両Ｇより自車両近くを走行しているため、当然、他車両Ｆから発生する視差は、他車両Ｇから発生する視差より大きくなる。
【００４９】
従って、図６（ａ）に示すような補間視差画像を、上述したように、投影視差画像に変換したとき、その投影視差画像は、図６（ｂ）に示すように、他車両Ｆが手前の一直線Ｌ３に変換され、他車両Ｇが奥側の直線Ｌ２に変換される（ただし、視差ｄは手前になるほど大きな値を表すものとする）。つまり、同一の物体から発生する視差は、ほぼ同じであるため、物体は、発生する視差、つまり、車両からの距離に応じた一直線に変換される。そして、自車両近くに存在する物体から変換された直線ほど、手前側に位置する（近くにある物体ほど視差が大きいため）。これは、丁度真上から物体を見たときの位置を表すようになる。
【００５０】
次に、ＣＰＵ５２は、予測進路算出手段として働き、図７に示すような、路面のＸＺ平面上における予測進路Ｍを算出する（ステップＳ７）。この予測軌跡Ｍは、ハンドル舵角に応じた回転半径Ｒを持つ円弧から車幅を考慮して求めたものである。なお、回転半径Ｒは、次式（２）によって、算出する。
Ｒ＝ＬＷＢ／ｔａｎθｓｔｅｅｒ …（２）
ＬＷＢは車両のホイールベース、θｓｔｅｅｒはハンドル舵角から算出したタイヤの切れ角を表している。ハンドル舵角は、舵角センサ３０からの舵角信号に基づき求める。
【００５１】
次に、ＣＰＵ５２は、第１監視領域設定手段として働き、監視領域を設定する（ステップＳ８）。まず、一般道路において、運転者が注視しなければならない範囲は、自車両の進行方向に依存して変動していることに着目し、ステップＳ７で求めた予想進路Ｍを車幅方向にΔＤ拡大した領域内を、監視領域として設定する。
【００５２】
また、運転者が注視しなければならない範囲は、自車両の走行速度に依存しても変動している。つまり、渋滞時や交差点前などかなりスピードを落として運転している際には、近距離だけを注意して見ればよい。逆に交通の流れに沿ってスピードを出しているときはかなり遠方まで注視する必要がある。このことに着目し、予測進路Ｍに沿って、車両速度（速度センサ４０からの速度信号に基づき求める）に応じて定めた距離ＬＱより遠方にある範囲を監視領域から除外する。
【００５３】
なお、車両速度に応じて定めた距離ＬＱとは、具体的には、運転者が危険を察知してから、ブレーキを踏み、実際に停止するまでの間に、車両が進む距離（＝停止距離）などが考えられる。以上の動作により、路面のＸＺ平面上において、監視領域Ｅを設定することができる。
【００５４】
次に、上記設定したＸＺ平面上の監視領域Ｅ内の点を、予め定めた変換式を用いて、イメージプレーン１２Ｒ及び１２Ｌ上のｘｙ平面に変換する。この変換により、図８に示すように、路面上に描かれた監視領域Ｅを、ＣＣＤ１１Ｒ及び１１Ｌによって撮像した監視領域画像を得ることができる。
【００５５】
次に、ＣＰＵ５２は、監視領域画像を、上述したような投影視差画像に変換して、フレームメモリ２２に格納する（ステップＳ９）。その後、ＣＰＵ５２は、監視領域の投影視差画像と、ステップＳ６で作成した撮像画像の投影視差画像とを比べ、図６（ｂ）において、直線Ｌ２、Ｌ３で表される物体が、監視領域内に存在したとき、物体との接触の危険性があると判断して（ステップＳ１０でＹ）、警報発生部６０を用いて運転者に警報を与えた後（ステップＳ１１）、ステップＳ１に戻る。
【００５６】
一方、監視領域内に物体が存在しなければ、物体との接触の危険性がないと判断して（ステップＳ１０でＮ）、直ちにステップＳ１に戻る。以上のことから、撮像部１０及びＣＰＵ５２が、請求項中の危険判断手段１００を構成することがわかる。
【００５７】
以上のように、予測進路Ｍを含んだ監視領域Ｅを設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域Ｅを設定することができるので、一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる。
【００５８】
また、予測進路Ｍを車幅方向にΔＤ拡大した領域を、監視領域として設定することにより、運転者がハンドルを操作して、予想進路Ｍが多少、変化してしまった場合や、予測進路Ｍ周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域Ｅを設定することができる。
【００５９】
また、車両から、予測進路Ｍに沿って、車両速度に応じて定めた距離（例えば停止距離）より遠方にある範囲を、監視領域Ｅから除外することにより、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域Ｅを設定することができる。
【００６０】
なお、上述した実施形態では、予測軌跡に基づいて、監視領域を設定していた。しかしながら、例えば、走行環境が比較的シンプルな高速道路では、従来のように、白線に基づいて監視領域を設定し、一般道路では、上述したように予測進路に基づいて監視領域を設定するようにしてもよい。この場合、ＣＰＵ５３が、白線検出手段、第２監視領域設定手段、切替手段として働く。この白線に基づいた監視領域と、予測進路に基づいた監視領域との切替は、以下に示すように行うことが考えられる。
【００６１】
車両速度が一定以上であり、高速道路を走行していると判断できるときは、白線に基づいた監視領域を用い、車両速度が一定未満であり、一般道路を走行していると判断できるときは、予測進路に基づいた監視領域を用いて危険判断を行う。また、カーナビゲーション装置からの情報に基づき、一般道路及び高速道路の何れを走行しているか判断して切り替えることも考えられる。さらに、白線が検出できないときに、一般道路を走行していると判断し、白線が検出できるとき、高速道路を走行していると判断して切り替えることも考えられる。
【００６２】
また、上述した実施形態では、舵角センサ３０に基づき、予測進路を算出していたが、例えば、ジャイロなどを用いて予測進路を算出するようにしてもよい。
【００６３】
さらに、上述した実施形態では、自車両周辺を監視するための手段として、２台のＣＣＤ１１Ｒ及び１１Ｌを用いていた。しかしながら、例えば、監視領域の設定については、１台のＣＣＤを用いて周辺監視を行うものや、レーザ光源、超音波発振器を用いて周辺監視を行うものにも適用することができる。また、ステップＳ２で述べた特徴点検出は、１台のＣＣＤを用いて周辺監視を行うものにも適用することができる。
【００６４】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、予測進路に基づき監視領域を設定することにより、歩行者や電柱などの多数の物体が存在する、又は、走行レーン維持に対する運転者の意識が希薄である一般道路を走行する場合であっても、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、正確に物体との接触の危険性を判断することができる。しかも、レーザ光源や、超音波発振器を用いて周辺監視を行うものにも適用することができる車両用周辺監視装置を得ることができる。
【００６５】
請求項２記載の発明によれば、車両前方について、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、正確に前方に存在する物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６６】
請求項３記載の発明によれば、一般道路を走行する場合であっても、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６７】
請求項４記載の発明によれば、運転者がハンドルを操作して、予想進路が多少、変化してしまった場合や、予測進路周辺を走行している他車両が急に近づいてきた場合を考慮した、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６８】
請求項５記載の発明によれば、渋滞などが発生して、低速で走行したり、交通の流れに沿ってスピードを出して走行したりを繰り返す場合であっても、より一層、最適な監視領域を設定することができるので、一般道路を走行する場合であっても、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００６９】
請求項６記載の発明によれば、白線が存在し、走行環境が比較的シンプルな高速道路では、第２監視領域設定手段が設定した監視領域に切り替え、白線が存在せず、歩行者や電柱のような物体が多数存在する一般道路では、第２監視領域設定手段が設定した監視領域に切り替えれば、走行環境に適応した最適な監視領域を設定することができるので、より一層、正確に物体との接触の危険性を判断することができる車両用周辺監視装置を得ることができる。
【００７０】
請求項７及び９記載の発明によれば、輝度差の極大点を特徴点として検出することにより、物体のエッジがはっきりと撮像されていない場合であっても、エッジに沿ってある程度の幅を有する領域が特徴点として検出されることがなく、幅を細くすることができるので、無駄な特徴点を除去することにより、特徴点から構成される画像について行われる画像処理を簡略にすることができ、安価に、実時間での接触危険性の判断を行うことを可能にする車両用周辺監視装置及び画像処理装置を得ることができる。
【００７１】
請求項８及び１０記載の発明によれば、一方の画像中の特徴点と同一点を、他の画像中から検出する際に、一方の画像中の特徴点に対して設定した窓を、他方の画像中のエピポラー線上に沿って、しかも、エピポラー線上に存在する特徴点毎に上記窓を移動して、相違度を求めることにより、上記窓を他の画像全体に亘って走査したり、他の画像中のエピポラー線上を一画素づつ窓を移動して走査することなく、同一点を求めることができるので、同一点検出に関する画像処理を簡略にすることができ、安価に、実時間での接触危険性の判断を行うことを可能とする車両用周辺監視装置及び画像処理装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の車両用周辺監視装置の基本構成図である。
【図２】本発明の画像処理装置を組み込んだ車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するＣＰＵ５２の処理手順を示すフローチャートである。
【図４】図３中の特徴点画像作成作成におけるＣＰＵ５２の動作を説明するための図である。
【図５】図３中の視差画像作成におけるＣＰＵ５２の動作を説明するための図である。
【図６】図３中の投影視差画像作成におけるＣＰＵ５２の動作を説明するための図である。
【図７】図３中の予測進路算出及び監視領域設定におけるＣＰＵ５２の動作を説明するための図である。
【図８】図７に示す路面上に描かれた監視領域Ｅを、ＣＣＤ１１Ｒ及び１１Ｌによって撮像したとき得られる監視領域画像を示す。
【符号の説明】
１０ 撮像手段
５２ａ 予測進路算出手段
５２ｂ 第１監視領域設定手段
５２ｃ 白線検出手段
５２ｄ 第２監視領域設定手段
５２ｅ 切替手段
５２ｆ 濃度変化量検出手段
５２ｇ 特徴点検出手段
５２ｈ 同一点検出手段
１００ 危険判断手段
Claims (10)
- 車両周辺の物体を監視し、前記物体と前記車両との接触の危険性を判断する危険判断手段と、
前記車両の予測進路を算出する予測進路算出手段と、
前記予測進路に基づき、監視領域を設定する第１監視領域設定手段とを備え、
前記危険判断手段は、前記監視領域内に存在する物体について、前記危険性を判断する
ことを特徴とする車両用周辺監視装置。 - 請求項１記載の車両用周辺監視装置であって、
前記危険判断手段は、前記車両前方にある物体を監視して、前記車両前方にある物体と前記車両との接触の危険性を判断する
ことを特徴とする車両用周辺監視装置。 - 請求項１又は２記載の車両用周辺監視装置であって、
前記第１監視領域設定手段は、前記予測進路を含んだ領域を、前記監視領域として設定する
ことを特徴とする車両用周辺監視装置。 - 請求項３記載の車両用周辺監視装置であって、
前記第１監視領域設定手段は、前記予測進路を車幅方向に拡大した領域を、前記監視領域として設定する
ことを特徴とする車両用周辺監視装置。 - 請求項１〜４何れか１項記載の車両用周辺監視装置であって、
前記第１監視領域設定手段は、前記車両から、前記予測進路に沿って、前記車両速度に応じて定めた距離より遠方にある範囲を、前記監視領域から除外する
ことを特徴とする車両用周辺監視装置。 - 請求項１〜５何れか１項記載の車両用周辺監視装置であって、
前記危険判断手段は、前記車両周辺を撮像する撮像手段を有し、
前記撮像手段が撮像した画像を画像処理し、自車両が走行する自車線の両側に位置する一対の白線を検出する白線検出手段と、
前記検出した白線に基づき、監視領域を設定する第２監視領域設定手段と、
前記危険判断手段が、前記危険性の判断に用いる監視領域を、前記第１監視領域設定手段が設定した監視領域と、前記第２監視領域設定手段が設定した監視領域との間で切り替える切替手段と
をさらに備えることを特徴とする車両用周辺監視装置。 - 請求項１〜５何れか１項記載の車両用周辺監視装置であって、
前記危険判断手段は、
車両の周辺を撮像する撮像手段と、
前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段と、
前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段とを有し、
前記特徴点から構成される画像を画像処理して、前記危険性を判断する
ことを特徴とする車両用周辺監視装置。 - 請求項１〜５何れか１項記載の車両用周辺監視装置であって、
前記危険判断手段は、
互いに所定距離、離れて配置された車両周辺を撮像する２つの撮像手段と、
前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する同一点検出手段とを有し、
前記同一点検出手段は、前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線であるエピポラー線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出する
ことを特徴とする車両用周辺監視装置。 - 車両に搭載された撮像手段が撮像した画像を画像処理して、前記画像中の特徴点を検出する画像処理装置であって、
前記撮像手段が撮像した画像を走査して、走査方向近傍に存在する画素同士の濃度変化量を検出する濃度変化量検出手段と、
前記検出した濃度変化量の前記走査方向における極大点を特徴点として検出する特徴点検出手段と
を備えたことを特徴とする画像処理装置。 - 車両に搭載され、互いに所定距離、離れて配置された２つの撮像手段が撮像した２枚の画像を画像処理して、前記２つの撮像手段が撮像した２枚の画像中の同一点を検出する画像処理装置であって、
前記２つの撮像手段により撮像された２枚の画像中の特徴点を検出し、前記２枚の画像のうち、一方の画像中の特徴点を略中心とした窓を設定し、他の画像中において、前記特徴点に対する同一点が現れる直線上に存在する特徴点を中心とした窓を設定し、前記他の画像中に設定した窓内の画像のうち、前記一方の画像中に設定した窓の画像との相違度が最も低い窓の略中心を構成する特徴点を同一点として検出する
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198777A JP2004038877A (ja) | 2002-07-08 | 2002-07-08 | 車両用周辺監視装置及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198777A JP2004038877A (ja) | 2002-07-08 | 2002-07-08 | 車両用周辺監視装置及び画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004038877A true JP2004038877A (ja) | 2004-02-05 |
Family
ID=31706139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002198777A Abandoned JP2004038877A (ja) | 2002-07-08 | 2002-07-08 | 車両用周辺監視装置及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004038877A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119090A (ja) * | 2004-10-25 | 2006-05-11 | Mitsubishi Electric Corp | ナビゲーション装置 |
| JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
| JP2008186236A (ja) * | 2007-01-30 | 2008-08-14 | Mazda Motor Corp | 車両の物体検知装置 |
| JP2009271766A (ja) * | 2008-05-08 | 2009-11-19 | Hitachi Ltd | 自動車用障害物検知装置 |
| JP2011215974A (ja) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 画像処理システム |
| KR101212342B1 (ko) | 2005-08-23 | 2012-12-18 | 주식회사 현대오토넷 | 차량의 충돌 경보 장치 및 방법 |
| JP2014216016A (ja) * | 2013-04-22 | 2014-11-17 | 株式会社リコー | 疎視差画像処理方法及び装置、並びに物体検出方法及び装置 |
| WO2020085101A1 (ja) * | 2018-10-23 | 2020-04-30 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置と画像処理方法およびプログラム |
| JP2021124786A (ja) * | 2020-01-31 | 2021-08-30 | ダイハツ工業株式会社 | 運転支援装置 |
| CN113870616A (zh) * | 2020-06-30 | 2021-12-31 | 丰田自动车株式会社 | 判定装置、判定方法及记录有程序的记录介质 |
| US20220307231A1 (en) * | 2021-03-25 | 2022-09-29 | Grazper Technologies ApS | Utility Vehicle and Corresponding Apparatus, Method and Computer Program for a Utility Vehicle |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05101299A (ja) * | 1990-07-05 | 1993-04-23 | Fiat Spa | 自動車と障害物の間の衝突を回避するための方法及び手段 |
| JPH05172535A (ja) * | 1991-12-24 | 1993-07-09 | Kawasaki Steel Corp | ピーク点検出方法及びキャリブレーション方法 |
| JPH06215138A (ja) * | 1993-01-20 | 1994-08-05 | Aisin Seiki Co Ltd | 画像処理装置 |
| JPH0757182A (ja) * | 1993-08-19 | 1995-03-03 | Mazda Motor Corp | 車両の安全装置 |
| JPH09223227A (ja) * | 1996-02-15 | 1997-08-26 | Honda Motor Co Ltd | 車両用環境認識装置 |
| JP2001067484A (ja) * | 1999-08-30 | 2001-03-16 | Fuji Heavy Ind Ltd | ステレオ式車外監視装置 |
| JP2002008047A (ja) * | 2000-06-26 | 2002-01-11 | Nachi Fujikoshi Corp | エッジ検出方法 |
-
2002
- 2002-07-08 JP JP2002198777A patent/JP2004038877A/ja not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05101299A (ja) * | 1990-07-05 | 1993-04-23 | Fiat Spa | 自動車と障害物の間の衝突を回避するための方法及び手段 |
| JPH05172535A (ja) * | 1991-12-24 | 1993-07-09 | Kawasaki Steel Corp | ピーク点検出方法及びキャリブレーション方法 |
| JPH06215138A (ja) * | 1993-01-20 | 1994-08-05 | Aisin Seiki Co Ltd | 画像処理装置 |
| JPH0757182A (ja) * | 1993-08-19 | 1995-03-03 | Mazda Motor Corp | 車両の安全装置 |
| JPH09223227A (ja) * | 1996-02-15 | 1997-08-26 | Honda Motor Co Ltd | 車両用環境認識装置 |
| JP2001067484A (ja) * | 1999-08-30 | 2001-03-16 | Fuji Heavy Ind Ltd | ステレオ式車外監視装置 |
| JP2002008047A (ja) * | 2000-06-26 | 2002-01-11 | Nachi Fujikoshi Corp | エッジ検出方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119090A (ja) * | 2004-10-25 | 2006-05-11 | Mitsubishi Electric Corp | ナビゲーション装置 |
| KR101212342B1 (ko) | 2005-08-23 | 2012-12-18 | 주식회사 현대오토넷 | 차량의 충돌 경보 장치 및 방법 |
| JP2007235414A (ja) * | 2006-02-28 | 2007-09-13 | Toyota Motor Corp | 画像認識システムおよび画像認識方法 |
| JP2008186236A (ja) * | 2007-01-30 | 2008-08-14 | Mazda Motor Corp | 車両の物体検知装置 |
| JP2009271766A (ja) * | 2008-05-08 | 2009-11-19 | Hitachi Ltd | 自動車用障害物検知装置 |
| JP2011215974A (ja) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 画像処理システム |
| JP2014216016A (ja) * | 2013-04-22 | 2014-11-17 | 株式会社リコー | 疎視差画像処理方法及び装置、並びに物体検出方法及び装置 |
| WO2020085101A1 (ja) * | 2018-10-23 | 2020-04-30 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置と画像処理方法およびプログラム |
| JP2021124786A (ja) * | 2020-01-31 | 2021-08-30 | ダイハツ工業株式会社 | 運転支援装置 |
| JP7139080B2 (ja) | 2020-01-31 | 2022-09-20 | ダイハツ工業株式会社 | 運転支援装置 |
| CN113870616A (zh) * | 2020-06-30 | 2021-12-31 | 丰田自动车株式会社 | 判定装置、判定方法及记录有程序的记录介质 |
| JP2022011933A (ja) * | 2020-06-30 | 2022-01-17 | トヨタ自動車株式会社 | 判定装置及びプログラム |
| JP7380449B2 (ja) | 2020-06-30 | 2023-11-15 | トヨタ自動車株式会社 | 判定装置及びプログラム |
| US20220307231A1 (en) * | 2021-03-25 | 2022-09-29 | Grazper Technologies ApS | Utility Vehicle and Corresponding Apparatus, Method and Computer Program for a Utility Vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2700635C1 (ru) | Способ и устройство обнаружения мест для парковки | |
| US10755116B2 (en) | Image processing apparatus, imaging apparatus, and device control system | |
| JP6257989B2 (ja) | 運転支援装置 | |
| US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
| JP4223320B2 (ja) | 車両用運転支援装置 | |
| JPH1166494A (ja) | 車両用運転支援装置 | |
| JP2012527681A (ja) | 車両周辺映像を用いた車線離脱感知方法および装置 | |
| JP2014006885A (ja) | 段差認識装置、段差認識方法及び段差認識用プログラム | |
| JP2007164671A (ja) | 障害物接近判断装置および障害物衝突警告システム | |
| JP2004038877A (ja) | 車両用周辺監視装置及び画像処理装置 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JPH10283592A (ja) | 車両用運転支援装置 | |
| JP2011100174A (ja) | 車線内車両検出装置及び車線内車両検出方法 | |
| JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
| JP2022086516A (ja) | 撮像システム及び撮像装置 | |
| CN109895697B (zh) | 一种行车辅助提示***及方法 | |
| JP2017129543A (ja) | ステレオカメラ装置及び車両 | |
| JP4930432B2 (ja) | 車両用周辺監視装置 | |
| JP2004280194A (ja) | 前方監視装置及びその方法 | |
| JP5477394B2 (ja) | 車両周辺監視装置 | |
| JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
| JPH06162398A (ja) | 車線検出装置と車線逸脱警報装置と衝突警報装置 | |
| JP2013250694A (ja) | 画像処理装置 | |
| JP3226699B2 (ja) | 車両用周辺監視装置 | |
| JP2005267331A (ja) | 車両周囲監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20070208 |