JP4311861B2

JP4311861B2 - 車両用物体検出装置

Info

Publication number: JP4311861B2
Application number: JP2000152695A
Authority: JP
Inventors: 謙治岡
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2000-05-18
Filing date: 2000-05-18
Publication date: 2009-08-12
Anticipated expiration: 2020-05-18
Also published as: JP2001330665A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載され、レーダと画像処理を用いて車両の前方にある物体の検出を行う車載用物体検出装置に関するものである。
【０００２】
【従来の技術】
従来より、レーダと画像処理を用いた渋滞走行支援システムを車両に搭載して、車両の前方にある物体を検出することが行われている。
画像処理では、複眼カメラを用いて物体の測距を行う。まず、一方のカメラから取得した画像からエッジ抽出をし、その抽出したエッジに対応するエッジをもう一方のカメラから取得した画像から検出し、両エッジの視差を算出することにより測距を行う。画像処理は、広い幅で測距が可能であるが、遠距離の物体検出は精度が低くなるという特徴がある。
【０００３】
レーダは、電波を用いて前方の物体の測距を行い、遠距離まで精度の高い測距ができるが、近距離の物体の測距精度は低いという特徴がある。レーダは、近距離で物体を検出したときは、近距離に何か物体があるということを示す近距離フラグを出力する。
図１は、車載用物体検出装置１における検知エリア区分を示す。
【０００４】
画像処理により物体検出が可能なエリア２は幅が広く、ミリ波レーダにより物体検出が可能なエリア３は、遠距離まで達する。また、画像処理とミリ波レーダの両方で物体検出が可能なエリアでは、レーダの出力データと画像処理の出力データとの融合（フュージョン）処理により物体の認識を行い、このエリアをフュージョンエリア４という。
【０００５】
【発明が解決しようとする課題】
画像処理による物体の測距には以下の問題がある。
１．（誤認識）エッジ抽出処理は、単純に縦方向のエッジを抽出する処理であるため、ターゲット以外の路面文字や影等の立体物ではない物についても濃淡差によりエッジを抽出する場合がある。この場合、物体が存在していないのにエッジを出力することとなる。
【０００６】
２．（誤測距）エッジを見つけたときは、２つのカメラから取得した画像についてパターンマッチング処理により測距を行う。この処理では、偶然でも似たパターンが存在すると対応を間違えることがある。
本発明は、レーダからの出力データと画像認識部からの出力データとに基づいて、処理部にて物体の検出を行う車載用物体検出装置において、画像認識における誤認識、誤測距を防止することで、信頼性を向上させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明は、レーダからの出力データと、画像認識部からの出力データとに基づいて、処理部にて物体の検出を行う車載用物体検出装置において、レーダの近距離フラグ、画像認識部の文字フラグ、路面フラグを用いることにより、上記の画像認識部の誤認識、誤測距を融合処理の前段階で防止する。
【０００８】
本発明においては、画像認識部が近距離で物体を検知しても、レーダの近距離フラグの状態によっては、画像認識部が検知したエッジデータを融合処理に使用しない。また、画像認識部が路面上の文字などの濃度差を検知した場合は、路面フラグ又は文字フラグを付して、そのエッジデータを融合処理に使用しないようにする。
【０００９】
【発明の実施の形態】
図２は、本発明を適用した車載用物体検出装置の基本的なシステム構成を示す。
車載用物体検出装置１は、ミリ波レーダ１１と、左カメラ１２と右カメラ１３と、画像処理用ＥＣＵ１４とから構成される。ＥＣＵ１４は、２つのカメラ１２，１３から入力される画像を処理してエッジデータを出力する画像認識部１５と、ミリ波レーダ１１と画像認識部１５から入力されるエッジデータを融合処理して物体の存在検知と測距を行う処理部１６を含む。
【００１０】
以上説明した構成は、従来の物体検出装置と同様である。ただし、従来の物体検出装置では、画像認識部１５から処理部１６へ結果を出力するだけの単方向通信であったが、図２に示す物体検出装置では、処理部１６と画像認識部１５とが双方向通信となる場合がある点が従来と異なる。
ミリ波レーダ１１は、ミリ波の電波を車両の前方に向けて放射し、物体により反射された電波から物体の存在の検知と測距を行う。ミリ波レーダ１１は、近距離での測距の精度は低く、近距離で物体を検出した場合は、近距離フラグを出力する。近距離フラグは、ターゲットが至近距離（例えば５ｍ以下）に存在する場合、時系列的に安定した状態で出力され、近距離（例えば５〜１０ｍ程度）に存在する場合は不安定な状態で間欠的に出力される。また、遠距離（例えば１０ｍ以上）に存在する場合は出力されないという特性を持つ。
【００１１】
図３を用いて画像認識部１５の処理について説明する。画像認識部１５では、まず、一方のカメラ１２の入力画像（図３（Ａ））についてエッジ抽出を行う。その結果、図３（Ｂ）に示すエッジが得られる。次にそのエッジ抽出の結果から、縦に連続しているエッジを強い順にＮ個（例、１６個）抽出する（ピーク抽出、図３（Ｃ））。
【００１２】
Ｎ個のエッジのそれぞれから、図３（Ｅ）に示すように、Ｍ×Ｍ（例、９×９）の画素から構成されるマッチングパターン１７を取り出し、もう一方のカメラ１３からの入力画像（図３（Ｄ））に対し、パターンマッチングを行い、対応するエッジを検出する。そして、両方のエッジの視差から、各エッジまでの距離を算出し、その結果をエッジデータとして処理部１６に出力する。
【００１３】
図３（Ｂ）にも示したように、画像認識部１５では、ターゲット以外の白線等の路面上の立体物ではない濃度差に対してもエッジを抽出し、距離を出力してしまうことがある。また、パターンマッチングに用いるパターンは図３（Ｅ）に示したように、Ｍ×Ｍ画素の大きさのパターン１７を用いるのであるが、偶然にマッチングエリアにそのパターンに似たパターンが存在すると、対応を間違い、誤測距してしまうことがある。
【００１４】
そこで、本発明では、ミリ波レーダ１１が出力する近距離フラグ、画像認識部１５が出力する文字フラグ、路面フラグを用いることにより、フュージョンエリアに関して上記の画像認識システムの誤認識、誤測距を処理部１６による融合処理の前段階で防止する。
（実施例１）
以下に、各実施例ごとに、具体的な処理について示す。なお、以下の各図においては、同一機能の部分については同一の参照符号を付して、重複する説明は省略する。
【００１５】
図４は、本発明の第１の実施例の構成を示す。なお、前述の図２を用いて説明済みの部分については説明を省略する。
画像認識部１５からエッジデータが出力されると、処理部１６では、前段階処理部１８で、ミリ波レーダ１１から出力される近距離フラグにより、エッジデータを選択処理する。そして、有効であると判定したエッジデータを採用して融合処理部１９へ出力する。
【００１６】
図５のフローチャートを用いて、上記処理の詳細を説明する。
画像認識部１５では、カメラ１２，１３から画像を入力し（ステップＳ１）、一方の画像からエッジを抽出する（ステップＳ２）。抽出したエッジの中から、強いピークのエッジを所定数抽出（ステップＳ３）する。各エッジごとに他方の画像についてパターンマッチングを行い（ステップＳ４）、測距を行う（ステップＳ５）。
【００１７】
処理部１６の前段階処理部１８では、ミリ波レーダ１１から近距離フラグが出力されているか否かを判定し（ステップＳ６）、出力されていれば近距離フラグが安定して出力されているか否かを判定する（ステップＳ７）。
その結果、近距離フラグが安定して（時系列的に連続して）出力されていると判断した場合は、物体が至近距離（例、０〜５ｍ）に存在すると判断し、至近距離（例、５ｍ以下）の距離情報を持つエッジデータを採用する（ステップＳ８）。また、近距離フラグが不安定に（間欠的に）出力されていると判断した場合、物体が近距離（例、５〜１０ｍ）に存在すると判定し、近距離（例、５〜１０ｍ）の距離情報を持つエッジを採用する（ステップＳ９）。さらに、近距離フラグが出力されていない場合は、遠距離（例、１０ｍ以上）にあると判定し、フュージョンエリア４にある遠距離（例、１０ｍ以上）の距離情報を持つエッジを採用する（ステップＳ１０）。
【００１８】
融合処理部１９では、採用されたエッジデータとミリ波レーダ１１からの出力データに基づいて、融合処理を実行して、物体の存在の認識と測距を行い（ステップＳ１１）、結果を出力する（ステップＳ１２）。
本例によれば、エッジデータを画像認識部１５が誤認識又は誤測距した場合であっても、誤測距したエリアでミリ波レーダ１１が物体を検出しなければ、そのエッジデータは除去される。したがって、物体の誤認識又は誤測距を防止できる。また、融合処理を行う前に無効なエッジデータが除去されるので、処理時間を短縮することができる。
【００１９】
（実施例２）
図６は、本発明の第２の実施例の構成を示す。
処理部１６の連続性判定部２０で、ミリ波レーダ１１から出力される近距離フラグの状態を判定し、その結果のデータを画像認識部１５の無効エッジ除去部２１に送る。無効エッジ除去部２１では、近距離フラグの状態に応じて無効なエッジデータを除去した上で、エッジデータを融合処理部１９に出力する。
【００２０】
図７のフローチャートを用いて、上記処理の詳細を説明する。
画像認識部１５において、上記実施例１のステップＳ１〜３と同様に、画像入力（ステップＳ２１）と、エッジ抽出（ステップＳ２２）と、ピーク抽出（２３）が行われる。
画像認識部１５は、除去されなかったエッジデータを用いて、上記実施例のステップＳ４、５と同様に、パターンマッチングを行い（ステップＳ２４）、測距を行う（ステップＳ２５）。
【００２１】
続いて、連続性判定部２０で、上記実施例１のステップＳ６，７と同様に、ミリ波レーダ１１からの近距離フラグの出力の有無が判定（ステップＳ２６）され、近距離フラグが安定しているか否かが判定され（ステップＳ２７）、その結果が無効エッジ除去部２１に出力される。
無効エッジ除去部２１では、近距離フラグが安定して出力されていれば、至近距離以外の距離情報を持つエッジデータを除去する（ステップＳ２８）。また、不安定に出力されているというデータを受けると、近距離以外の距離情報を持つエッジを除去する（ステップＳ２９）。さらに、近距離フラグが出力されていない場合は、遠距離以外の距離情報を持つエッジデータを除去する（ステップＳ３０）。
【００２２】
そして、その結果のエッジデータを融合処理部１９に出力する。
融合処理部１９では、上記実施例１のステップＳ１１、１２と同様に、融合処理を実行して（ステップＳ３１）、結果を出力する（ステップＳ３２）。
本例においても、前述の実施例１と同様の効果が得られる。
（実施例３）
図８は、本発明の第３の実施例の構成を示す。
【００２３】
処理部１６の連続性判定部２０でミリ波レーダ１１から出力される近距離フラグの状態を判定し、その結果のデータを画像認識部１５に送る。画像認識部１５では、エリア優先付け部２２により、入力された結果のデータに対応するパターンマッチングエリアを優先付けし、そのエリアを優先してパターンマッチング処理を行う。
【００２４】
図９は、パターンマッチングを行うエリアを示す。
一方の画像でエッジが抽出されると、前述の図３（Ａ）に示したように、エッジ部に対応してマッチングパターンを取り出して、図３（Ｄ）に示すように、他方の画像についてパターンマッチングを行う。このとき、連続性判定部２０から入力されたデータに基づいて、エッジ抽出位置を基準として、エリアの優先付けを行う。
【００２５】
画像認識部１５では、近距離フラグが安定して出力されているというデータを受けると、例えば、エッジ抽出位置から第２６〜第８０画素のエリアを至近距離エリアとして、他のエリアに優先してパターンマッチングを行う。近距離フラグが不安定に出力されているというデータを受けると、例えば、第１０〜第２５画素のエリアを近距離エリアとして優先してパターンマッチングを行う。さらに、近距離フラグが出力されないというデータを受けると、例えば、第０〜第９画素のエリアを遠距離エリアとして優先してパターンマッチングを行う。
【００２６】
図１０のフローチャートを用いて、上記処理の詳細を説明する。
画像認識部１５で、画像入力（ステップＳ４１）と、エッジ抽出（ステップＳ４２）と、ピーク抽出（４３）が行われ、連続性判定部２０で、近距離フラグの出力の有無の判定（ステップＳ４４）と近距離フラグが安定しているか否かが判定される（ステップＳ４５）。その結果がエッジ優先付け部２２に出力される。
【００２７】
エッジ優先付け部２２では、近距離フラグが安定して出力されていれば、パターンマッチングエリアを至近距離に優先付けする（ステップＳ４６）。また、不安定に出力されているというデータを受けると、近距離に優先付けする（ステップＳ４７）。さらに、近距離フラグが出力されていない場合は、遠距離に優先付けをする（ステップＳ４８）。
【００２８】
画像認識部１５は、優先付けされたエリアについてパターンマッチングを行い（ステップＳ４９）、測距を行う（ステップＳ５０）。そして、その結果のエッジデータを融合処理部１９に出力する。
融合処理部１９では、上記実施例１のステップＳ１１、１２と同様に、融合処理を実行して（ステップＳ５１）、結果を出力する（ステップＳ５２）。
【００２９】
本例によれば、パターンマッチングを行う際、最もマッチングする可能性の高いエリアから開始をするので、マッチングが得られるまでの時間を短縮することができる。また、偶然に似たマッチングパターンに対応する可能性を低下させて、誤測距を防止できる。
（実施例４）
図１１は、本発明の第４の実施例の構成を示す。
【００３０】
画像認識部１５の路面、文字エッジ判定部２３で、抽出したエッジが路面上のものか、又は路面上の文字であるか否かを判定して、その結果を、処理部１６の無効エッジ除去部２４に出力する。無効エッジ除去部２４は、画像認識部１５から入力されたエッジデータから、無効エッジを除去して、残りのエッジデータを融合処理部１９に出力する。
【００３１】
画像認識部１５では、画像上の濃度差によりエッジを抽出する。したがって、路面上の文字、影などは、物体ではないが、濃度差によりエッジが抽出されてしまう。
路面、文字エッジ判定部２３は、抽出した濃度差の距離情報と高さ情報から、路面上の濃度差か物体かを判定する。そして、路面上の濃度差であると判定すると、その濃度差に対応するエッジデータに、路面フラグを付与して無効エッジ除去部２４に出力する。
【００３２】
また、路面上に描かれた路面文字は、エッジの近辺で、路面の色から白又は黄色に、若しくは、白又は黄色から路面の色に変化する。路面、文字エッジ判定部２３は、抽出したエッジの近辺の濃度情報を用いて、上述の変化があれば路面文字が検出されたと判定する。そして、路面文字であると判定すると、そのエッジデータに文字フラグを付与して無効エッジ除去部２４に出力する。
【００３３】
無効エッジ除去部２４では、エッジデータに路面フラグ又は文字フラグが付与されており、距離情報が近距離（例、１０ｍ以下）を示していれば、ミリ波レーダ１１からの近距離フラグの有無を判定する。そして、近距離フラグが出力されていなければそのエッジは路面上の濃度差又は文字として除去して、残りのエッジデータを融合処理部１６に出力する。
【００３４】
図１２のフローチャートを用いて、上記処理の詳細を説明する。
画像認識部１５は、上記実施例１のステップＳ１〜５と同様に、画像を入力し（ステップＳ６１）、エッジを抽出し（ステップＳ６２）、ピークを抽出し（ステップＳ６３）、パターンマッチングを行い（ステップＳ６４）、測距を行う（ステップＳ６５）。そして、上述の手法にて、所定のエッジデータに路面フラグ又は文字フラグを付与する（ステップＳ６６）。
【００３５】
無効エッジ除去部２４では、路面フラグ又は文字フラグの有無を判定し（ステップＳ６７）、エッジの距離情報が近距離を示すか否かを判定し（ステップＳ６８）、ミリ波レーダ１１からの近距離フラグが出力されているか否かを判定する（ステップＳ６９）。そして、路面フラグ又は文字フラグが付与され、エッジの距離情報が近距離を示し、近距離フラグが出力されていない場合は、路面フラグ又は文字フラグありのエッジデータを除去し（ステップＳ７０）、残りのエッジデータを融合処理部１９に渡す。
【００３６】
融合処理部１９では、上記実施例４のステップＳ５１、５２と同様に、融合処理を実行して（ステップＳ７１）、結果を出力する（ステップＳ７２）。
本実施例４は、以下の変形が可能である。
路面、文字エッジ判定部２３は、路面の濃度差の距離及び高さから路面フラグのみを出力するようにしても良いし、逆に、路面の濃度差の変化から文字フラグのみを出力するようにしても良い。
【００３７】
また、図１３のフローチャートに示すように変更することができる。すなわち、無効エッジ除去部２４は、エッジデータに路面フラグ又は文字フラグが付与されており、かつ、ステップＳ６８で、距離情報が遠距離（例、１０ｍ以上）を示しているか否かを判定し、示していれば、ステップＳ６９で、ミリ波レーダ１１から出力される距離データが、エッジデータの距離情報の許容誤差範囲内にあるか否かを判定する。そして、許容誤差範囲内になければ、ステップＳ７０で、その路面フラグ又は文字フラグが付与されたエッジデータを除去する。
【００３８】
本実施例では、画像認識システムの文字フラグ、路面フラグを用いることにより、画像認識システムの誤認識、誤測距を、融合処理の前段階で防止することができる。
【００３９】
【発明の効果】
本発明によれば、レーダからの出力データと画像認識部からの出力データとに基づいて、処理部にて物体の検出を行う車載用物体検出装置において、レーダからの近距離フラグ又は、画像認識部からの路面フラグ若しくは文字フラグを用いることにより、画像認識における誤認識、誤測距を防止することで、信頼性を向上させることができる。
【図面の簡単な説明】
【図１】車載用物体検出装置における検知エリア区分を示す図。
【図２】本発明を適用した車載用物体検出装置の基本システム構成を示す図。
【図３】図２における画像認識部の処理を説明する図。
【図４】本発明の第１の実施例の構成を示す図。
【図５】図４の装置の動作を示すフローチャート。
【図６】本発明の第２の実施例の構成を示す図。
【図７】図６の装置の動作を示すフローチャート。
【図８】本発明の第３の実施例の構成を示す図。
【図９】図８におけるパターンマッチングエリアを示す図。
【図１０】図８の装置の動作を示すフローチャート。
【図１１】本発明の第４の実施例の構成を示す図。
【図１２】図１１の装置の動作を示すフローチャート（その１）。
【図１３】図１１の装置の動作を示すフローチャート（その２）。
【符号の説明】
１…車載用物体検出装置
２…画像処理で検出可能なエリア
３…レーダで検出可能なエリア
４…フュージョンエリア
１１…ミリ波レーダ
１２，１３…カメラ
１４…画像処理用ＥＣＵ
１５…画像認識部
１６…処理部
１７…パターン
１８…前段階処理部
１９…融合処理部
２０…連続性判定部
２１…無効エッジ除去部
２２…エリア優先付け部
２３…路面、文字エッジ判定部
２４…無効エッジ除去部

Claims

レーダからの出力データと、画像認識部からの出力データとに基づいて、処理部にて物体の検出を行う車載用物体検出装置において、
前記レーダは、既定された近距離領域においてターゲットが存在すると判断すると近距離フラグを出力し、
前記画像認識部は、各エッジまでの距離情報を有するエッジデータを出力し、
前記処理部は、前記近距離フラグの状態を判定し、前記画像認識部から出力されるエッジデータの中から、前記近距離フラグの状態に応じた距離情報を有するエッジデータを採用して前記物体検出処理を行うこと、
を特徴とする車載用物体検出装置。