JP5471195B2 - 物体検出装置 - Google Patents

Description

本発明は、レーダ及びカメラによって取得される情報に基づいて物体を検出する物体検出装置に関する。

近年、ＰＣＳ（Pre-crash safety system）等の衝突回避又は衝突による被害の低減の
ための安全システムが開発されている。このような安全システムを好適に実現させるためには、自車両以外の車両や障害物、歩行者等の位置及び大きさ、これらと自車との距離を正確に把握する必要がある。これらを把握するための技術として、レーダによって取得されるレーダ物標情報とカメラの画像から取得される画像物標情報とをフュージョンさせることで物体を検出する物体検出装置が知られている。

レーダによって取得されるレーダ物標情報によれば自車両と物標間の距離を算出することができる。しかしながら、レーダ物標情報からは物標の横位置や横幅を高精度で算出することが困難である。一方、カメラの画像から取得される画像物標情報によれば、レーダ物標情報よりも高い精度で物標の横位置や横幅を算出することができる。そのため、レーダ物標情報と画像物標情報とをフュージョンさせることで、物体の位置や大きさ、自車両との距離をより正確に把握することが可能となる。

特許文献1には、測距レーダと画像センサとのセンサフュージョンで認識した自車前方
の車外物標の横幅が長くなる程衝突回避制御の安全システムを介入し易くする車両の物体認識装置が開示されている。この特許文献１に係る物体認識装置においては、レーダを用いて得られた車外物標の横幅であるレーダ幅と画像センサを用いて得られた車外物標の横幅である画像幅とのうち短い方がセンサフュージョンの認識幅として選択される。

また、特許文献２及び３にも、レーダによって取得されるレーダ物標情報とカメラの画像から取得される画像物標情報とをフュージョンさせることで物体を認識又は検出する技術についての開示がある。

特開２００６−２４０４５４号公報 特開２００５−３２９７７９号公報 特開２００６−２６６９２７号公報

物体検出装置においては、画像物標情報を取得するためのカメラとしてステレオカメラ又は単眼カメラを用いることができる。単眼カメラを用いた場合、ステレオカメラを用いた場合に比べてコストを低減することができる。しかしながら、単眼カメラの画像からは正確な奥行き方向の物標情報を取得することが困難である。そのため、単眼カメラの画像から取得された画像物標情報においては、実際には自車両から見て物標よりも奥に存在する物体又は模様が、物標と同一物体として認識される場合がある。この場合、物標の横幅が実際の幅よりも大きく検出される。

このような誤検出により、検出された物体が自車線上にはみ出していると判断されると、ＰＣＳ等の安全システムの誤作動を招く虞がある。

本発明は、上記のような問題に鑑みてなされたものであって、レーダによって取得されるレーダ物標情報とカメラによって取得される画像物標情報とをフュージョンさせることで物体を検出する物体検出装置において、物体の検出精度をより向上させることが可能な技術を提供することを目的とする。

本発明は、レーダによって認識された物標の位置から、レーダの受信波の強度に応じて設定された所定の横幅の範囲内にある画像物標情報のみを用いて、レーダ物標情報と画像物標情報とをフュージョンさせるものである。

より詳しくは、本発明に係る物体検出装置は、
レーダによって取得されるレーダ物標情報と単眼カメラの画像から取得される画像物標情報とをフュージョンさせることで物体を検出する物体検出装置であって、
前記レーダによって認識された物標の位置と前記単眼カメラによって認識された物標の横端との間の横方向の距離が、前記レーダの受信波の強度に応じて設定された所定の横幅を超えている場合、その間の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせることを特徴とする。

レーダの受信波の強度は物標に応じて変化する。ここで、所定の横幅は、レーダの受信波の強度に対応する物標の横幅の最大値又はそれにある程度のマージンを加算した値として設定される。

本発明によれば、信頼性の低い部分を除いた画像物標情報がレーダ物標情報とフュージョンされる。これにより、物標の横幅が誤検出されることが抑制される。従って、物体の検出精度をより向上させることができる。

尚、レーダは物標を電磁波の反射点として認識するものであってもよい。また、単眼カメラは物標を画像として認識するものであってもよい。

本発明においては、レーダの受信波の強度が属する閾値レベル毎に前記所定の横幅が設定されてもよい。つまり、レーダの受信波の強度が第一の閾値以上の場合、前記所定の横幅が第一の所定の横幅に設定され、レーダの受信波の強度が第一の閾値より低く且つ第二の閾値以上の場合、前記所定の横幅が第一の所定の横幅よりも小さい第二の所定の横幅に設定されてもよい。これによれば、所定の横幅を、レーダによって認識された物標に応じた値として設定することができる。

上記の場合、第一の閾値を、物標が車両程度の大型の物体であることを想定して定められた値としてもよい。また、第二の閾値を、物標が人体程度の小型の物体であることを想定して定められた値としてもよい。

本発明によれば、物体の検出精度をより向上させることができる。その結果、ＰＣＳ等の安全システムの誤作動を抑制することができる。

実施例に係るＰＣＳの一部の概略構成を示すブロック図である。 実施例において、道路沿いに壁がある幅の狭い道路を車両が走行したときにおける壁の物標として認識のされ方を説明するための図である。 実施例に係るレーダ物標情報と画像物標情報とのフュージョンの方法を説明するための図である。 実施例に係るレーダ物標情報と画像物標情報とのフュージョンのフローを示すフローチャートである。

以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。

（システムの概略構成）
ここでは、本発明に係る物体検出装置をＰＣＳに適用した場合の実施例について説明する。図１は、本実施例に係るＰＣＳの一部の概略構成を示すブロック図である。本実施例においては、ＰＣＳ１が車両１００に搭載されている。ＰＣＳ１は、ミリ波レーダ２、単眼カメラ３、カメラＥＣＵ４、ＰＣＳ ＥＣＵ５を備えている。また、ＰＣＳ ＥＣＵ５は、フュージョン演算部６、物理値演算部７及び衝突判定部８を有している。

ＰＣＳ１は、ミリ波レーダ２及び単眼カメラ３によって取得した情報に基づいて自車両以外の車両や障害物、歩行者等を検出する。そして、これらの物体（歩行者含む）と衝突する可能性が高いと判断した場合、運転者へ警報を発信すると共に衝突被害低減制御を実施する。ここで、衝突被害低減制御としては、シートベルトの巻き取りやプリクラッシュブレーキによる衝突速度の低減等を例示することができる。

ミリ波レーダ２は、車両１００の前側中央部に取り付けられている。ミリ波レーダ２は、車両１００の前方及び斜め前方をミリ波帯の電磁波によって水平方向にスキャンすると共に車外の物体の表面で反射された電磁波を受信する。これにより、ミリ波レーダ２は物標を電磁波の反射点として認識する。さらに、ミリ波レーダ２は、ミリ波の送受信データから物標情報（レーダ物標情報）を取得する。ここでのレーダ物標情報は、物標の横位置、自車両１００と物標間の距離及び自車両１００と物標との相対速度である。該レーダ物標情報がカメラＥＣＵ４及びＰＣＳ ＥＣＵ５のフュージョン演算部６に入力される。

単眼カメラ３は、ＣＣＤカメラであって、車両１００の前側中央部に取り付けられている。単眼カメラ３は、車両１００の前方及び斜め前方の画像を撮影する。これにより、単眼カメラ３は物標を画像として認識する。単眼カメラ３によって撮影された画像は画像信号としてカメラＥＣＵ４に入力される。カメラＥＣＵ４は、入力された画像信号から物標情報（画像物標情報）を取得する。ここでの画像物標情報は、物標の横位置、物標の横幅及び高さである。該画像物標情報がＰＣＳ ＥＣＵ５のフュージョン演算部６に入力される。

このとき、画像物標情報は、同一の物標についてのレーダ物標情報と関連付けられてフュージョン演算部６に入力される。ミリ波レーダ２によって認識された物標と単眼カメラ３によって認識された物標とが同一の物標であるか否かは、レーダ物標情報及び画像物標情報における物標の横位置等に基づいて判断される。例えば、ミリ波レーダ２によって認識された物標と単眼カメラ３によって認識された物標とが重なっている場合、両物標は同一であると判断される。

尚、ミリ波レーダ２及び単眼カメラ３の取り付け位置は車両の前側中央部に限られるものではない。例えば、これらを車両の後側に取り付けてもよい。

フュージョン演算部６は、ミリ波レーダ２から入力されたレーダ物標情報とカメラＥＣＵ４から入力された画像物標情報とをフュージョンする。フュージョンの方法については
後述する。フュージョン演算部６による演算結果が物理値演算部７に入力される。

物理値演算部７は、フュージョン演算部６の演算結果に基づいて、物標の横位置、物標の横幅及び高さ、自車両１００と物標間の距離及び自車両１００と物標との相対速度を算出する。物理値演算部７による演算結果が衝突判定部８に入力される。

衝突判定部８は、物理値演算部７の演算結果に基づいて、自車両１００と物標とが衝突する可能性が高いか否かを判別する。衝突判定部８によって自車両１００と物標とが衝突する可能性が高いと判定された場合、ＰＣＳ ＥＣＵ５は、シートベルト巻き取り用アクチュエータやプリクラッシュブレーキアクチュエータ等（図示略）に制御信号を発信することで衝突被害低減制御を実施する。さらに、この場合、ＰＣＳ ＥＣＵ５は、運転者への警報装置（図示略）に警報ＯＮの信号を発信する。

本実施例においては、ミリ波レーダ２、単眼カメラ３、カメラＥＣＵ４、フュージョン演算部６及び物理値演算部７が本発明に係る物体検出装置を構成する。

（フュージョン方法）
以下、フュージョン演算部６における、ミリ波レーダ２から入力されたレーダ物標情報とカメラＥＣＵ４から入力された画像物標情報とのフュージョンの方法について図２及び３に基づいて説明する。本実施例に係る画像物標情報は、単眼カメラ３の画像から取得される。しかし、単眼カメラ３の画像からは正確な奥行き方向の物標情報を取得することが困難である。そのため、単眼カメラ３の画像から取得された画像物標情報においては、実際には自車両１００から見て物標よりも奥に存在する物体又は模様が、物標と同一物体として認識される場合がある。この場合、物標の横幅が実際の幅よりも大きく検出される。

ここで、ミリ波レーダ２によって電磁波の反射点として認識された物標をレーダ物標と称し、単眼カメラ３によって画像として認識された物標を画像物標と称する。例えば、図２に示すように、道路沿いに壁２０１がある幅の狭い道路２００を車両１００が走行したときに、ミリ波レーダ２によってＡ地点の壁がレーダ物標として認識されたとする。このとき、単眼カメラ３によってもＡ地点の壁が画像物標として認識される。しかしながら、単眼カメラ３によれば、Ａ地点よりも奥の壁もＡ地点にあるものとして認識される場合がある。その結果、画像物標情報においては、Ａ地点における壁の横幅が実際の幅よりも大きい値となる。

上記のように物標の横幅が実際の幅よりも大きいものとして誤検出された画像物標情報がレーダ物標情報とフュージョンされ、その結果に基づいて物体検出が行なわれると、検出された物体が自車線上にはみ出していると判断される（図２の場合、Ａ地点の壁が自車線上にはみ出していると判断される。）。この場合、ＰＣＳ１が誤作動する虞がある。

そこで、本実施例では、ミリ波レーダ２の受信波の強度に応じた所定の横幅を設定する。ミリ波レーダ２の受信波の強度は物標に応じて変化する。該所定の横幅は、ミリ波レーダ２の受信波の強度に対応する物標の横幅の最大値にある程度のマージンを加算した値として設定される。そして、ミリ波レーダ２によって認識されたレーダ物標の位置と単眼カメラ３によって認識された画像物標の横端との間の横方向の距離が所定の横幅を超えている場合、その間の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせる。

図３（１）は、ミリ波レーダ２及び単眼カメラ３によって実際に認識されたレーダ物標及び画像物標を表している。図３（２）は、フュージョン演算部６においてフュージョンされるレーダ物標及び画像物標を表している。

図３（１）においては、ミリ波レーダ２によって認識されたレーダ物標の位置と単眼カメラ３によって認識された画像物標の右横端との間の横方向の距離Ｌｉが所定の横幅αを超えている。この場合、画像物標におけるレーダ物標の位置より右側は誤検出である可能性が高い。そのため、図３（２）に示すように、レーダ物標の位置より右側の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせる。

上記のようなフュージョン方法によれば、信頼性の低い部分を除いた画像物標情報がレーダ物標情報とフュージョンされる。これにより、物標の横幅が誤検出されることが抑制される。その結果、ＰＣＳ１の誤作動を抑制することができる。

（フュージョンのフロー）
本実施例に係るフュージョン演算部でのレーダ物標情報と画像物標情報とのフュージョンのフローについて図４に示すフローチャートに基づいて説明する。本フローはフュージョン演算部６において繰り返し実行されるフローである。

本フローでは、先ずステップＳ１０１において、レーダ物標情報及び画像物標情報が読み込まれる。

次に、ステップＳ１０２において、レーダ物標情報とフュージョン可能な画像物標情報があるか否かが判別される。つまり、ミリ波レーダ２によって認識された物標と同一の物標についての画像物標情報があるか否かが判別される。ステップＳ１０２において、肯定判定された場合、次にステップＳ１０３の処理が実行され、否定判定された場合、本フローの実行が一旦終了される。

ステップＳ１０３においては、ミリ波レーダ２の受信波の強度Ｉｒが所定の高閾値Ｉｒ１以上であるか否かが判別される。ここで、高閾値Ｉｒ１は、物標が車両程度の大型の物体であることを想定して定められた値である。例えば、高閾値Ｉｒ１は、車両が反射する反射波の強度の最小値として設定されてもよい。ステップＳ１０３において、肯定判定された場合、次にステップＳ１０４の処理が実行され、否定判定された場合、次にステップＳ１０７の処理が実行される。

ステップＳ１０４においては、ミリ波レーダ２によって認識されたレーダ物標の位置と単眼カメラ３によって認識された画像物標の横端との間の横方向の距離Ｌｉが第一の所定の横幅α１を超えているか否かが判別される。この判別は、画像物標の左右両端について行なわれる。

ここで、第一の所定の横幅α１は、高閾値Ｉｒ１に対応する物標、即ち車両程度の大型の物体の横幅の最大値にある程度のマージンを加算して設定された値である。高閾値Ｉｒ１が、車両が反射する反射波の強度の最小値として設定された場合、第一の所定の横幅α１は車両の横幅にマージンを加算した値（例えば、２ｍ）として設定される。ステップＳ１０４において、肯定判定された場合、次にステップＳ１０５の処理が実行され、否定判定された場合、次にステップＳ１０６の処理が実行される。

ステップＳ１０５においては、レーダ物標の位置からの距離Ｌｉが第一の所定の横幅α１を超えていると判定された方の横端からレーダ物標の位置までの間の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせる。

ステップＳ１０６においては、左右両端間の画像物標情報（即ち、画像物標についての全ての画像物標情報）を用いてレーダ物標情報と画像物標情報とをフュージョンさせる。

一方、ステップＳ１０７においては、ミリ波レーダ２の受信波の強度Ｉｒが所定の低閾値Ｉｒ２以上であるか否かが判別される。ここで、低閾値Ｉｒ２は、物標が人体程度の小型の物体であることを想定して定められた値である。例えば、低閾値Ｉｒ２は、人体（歩行者）が反射する反射波の強度の最小値として設定されてもよい。ステップＳ１０７において、肯定判定された場合、次にステップＳ１０７の処理が実行され、否定判定された場合、本フローの実行が一旦終了される。

ステップＳ１０８においては、レーダ物標の位置と画像物標の横端との間の横方向の距離Ｌｉが、第一の所定の横幅α１よりも小さい第二の所定の横幅α２を超えているか否かが判別される。この判別は、画像物標の左右両端について行なわれる。

ここで、第二の所定の横幅α２は、低閾値Ｉｒ２に対応する物標、即ち人体程度の小型の物体の横幅の最大値にある程度のマージンを加算して設定された値である。低閾値Ｉｒ２が、人体が反射する反射波の強度の最小値として設定された場合、第二の所定の横幅α２は人体の横幅にマージンを加算した値（例えば、１ｍ）として設定される。ステップＳ１０８において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。

ステップＳ１０９においては、レーダ物標の位置からの距離Ｌｉが第二の所定の横幅α２を超えていると判定された方の横端からレーダ物標の位置までの間の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせる。

ステップＳ１１０においては、左右両端間の画像物標情報（即ち、画像物標についての全ての画像物標情報）を用いてレーダ物標情報と画像物標情報とをフュージョンさせる。

上記のように、本実施例においては、物標が車両程度の大型の物体である場合と人体程度の小型の物体である場合とを区別して、画像物標情報の信頼性の判断基準となる所定の横幅が設定される。そのため、物標に応じた画像物標情報の信頼性の判断を行なうことができる。

本実施例では、ミリ波レーダ２の受信波の強度が属する閾値レベル（高閾値Ｉｒ１、低閾値Ｉｒ２）毎に第一及び第二の所定の横幅α１、α２を設定したが、ミリ波レーダ２の受信波の強度に応じて三つ以上の所定の横幅を設定してもよい。

１・・・ＰＣＳ（Pre-crash safety system）
２・・・ミリ波レーダ
３・・・単眼カメラ
４・・・カメラＥＣＵ
５・・・ＰＣＳ ＥＣＵ
６・・・フュージョン演算部
７・・・物理地演算部
８・・・衝突判定部
１００・・車両
２００・・道路
２０１・・壁

Claims (4)

1. レーダによって取得されるレーダ物標情報と単眼カメラの画像から取得される画像物標情報とをフュージョンさせるフュージョン演算部を備え、フュージョン演算部による演算結果に基づいて物体を検出する物体検出装置であって、
   前記フュージョン演算部は、前記レーダによって認識された物標の位置と前記単眼カメラによって認識された物標の横端との間の横方向の距離が、前記レーダの受信波の強度に応じて設定された所定の横幅を超えている場合、その間の画像物標情報を用いずにレーダ物標情報と画像物標情報とをフュージョンさせることを特徴とする物体検出装置。
2. 前記レーダは物標を電磁波の反射点として認識し、前記単眼カメラは物標を画像として認識することを特徴とする請求項１に記載の物体検出装置。
3. 前記レーダの受信波の強度が第一の閾値以上の場合、前記所定の横幅が第一の所定の横幅に設定され、
   前記レーダの受信波の強度が前記第一の閾値より低く且つ第二の閾値以上の場合、前記所定の横幅が前記第一の所定の横幅よりも小さい第二の所定の横幅に設定されることを特徴とする請求項１又は２に記載の物体検出装置。
4. 前記第一の閾値が、物標が車両程度の大型の物体であることを想定して定められた値であり、前記第二の閾値が、物標が人体程度の小型の物体であることを想定して定められた値であることを特徴とする請求項３に記載の物体検出装置。

Images