JP6252549B2 - 物体検出装置 - Google Patents

Description

本発明は、レーダおよびカメラを用いて物体を検出する技術に関する。

車両の衝突軽減システムでは、他の車両や車両以外の歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体を検出する技術が提案されている（例えば、特許文献１参照）。

特許文献１に記載の技術では、レーダにより検出された物体の検出点と、カメラの撮像画像により検出された物体の検出点とのそれぞれに対し、検出誤差を考慮して検出点を含む領域を設定している。そして、レーダにより検出された物体の検出点を含む領域と、カメラの撮像画像により検出された物体の検出点を含む領域とに重複部が存在すると、レーダとカメラとによりそれぞれ検出された物体は同一の物体であると判定している。

特開２０１４−１２２８７３号公報

レーダにより検出された物体の検出点を含む一つの領域に着目すると、例えば、その物体の周囲に他の物体が存在する場合、カメラの撮像画像により検出された複数の物体の検出点を含む複数の領域がレーダにより検出された物体の一つの領域と重複部を有することがある。

同様に、カメラの撮像画像により検出された物体の検出点を含む一つの領域に着目すると、レーダにより検出された複数の物体の検出点を含む複数の領域がカメラの撮像画像により検出された物体の一つの領域と重複部を有することがある。

このように、レーダまたはカメラの一方により検出された物体の検出点を含む一つの領域に対し、レーダまたはカメラの他方により検出された物体の検出点を含む複数の領域が重複部を有する場合、どの物体が同一であると判定するかについて、特許文献１に記載の技術では考慮されていない。

本発明は上記問題を解決するためになされたものであり、レーダまたはカメラの一方により検出された物体の検出点を含む一つの領域に対し、レーダまたはカメラの他方により検出された物体の検出点を含む複数の領域が重複部を有する場合、どの物体が同一であるかを判定する技術を提供することを目的とする。

本発明の物体検出装置は、車両に搭載される物体検出装置であって、第１特定手段と、第２特定手段と、判定手段と、領域選択手段と、を備えている。
第１特定手段は、レーダによる検出情報に基づいて検出された第１の物体について、第１の物体の位置を表す第１の検出点を含む第１の領域を特定する。第２特定手段は、カメラによる撮像画像に基づいて検出された第２の物体について、第２の物体の位置を表す第２の検出点を含む第２の領域を特定する。

判定手段は、一つの第１の領域と一つの第２の領域とに領域の重なる重複部が存在することを条件として、第１の物体と第２の物体とは同一の物体であると判定する。
領域選択手段は、一つの第１の領域に対し複数の第２の領域が重複部を有するか、あるいは一つの第２の領域に対し複数の第１の領域が重複部を有する場合、第１特定手段が検出情報に基づいて検出する第１の物体の対地速度、ならびに第１特定手段が検出情報に基づいて検出する第１の物体の反射波の強度の少なくとも一方と、第２特定手段が撮像画像に基づいて検出する第２の物体の種類との対応関係に基づいて、判定手段が同一の物体であると判定するための条件である重複部が存在する一つの第１の領域と一つの第２の領域とを選択する。

この構成において、第１の物体の対地速度と第１の物体の反射波の強度とは、第１の物体の種類に応じて変化するので、第１の物体の対地速度と第１の物体の反射波の強度との少なくとも一方に基づいて、第１の物体の種類を検出できる。また、カメラによる撮像画像に基づいて、例えばパターンマッチ等により第２の物体の種類を検出できる。

物体の種類とは、例えば四輪自動車、二輪自動車、自転車、歩行者等のことである。物体の種類として、例えば四輪自動車と四輪自動車以外とのように二分類に分けてもよい。
そして、第１の物体と第２の物体とが同一の物体であるなら、第１の物体の対地速度と第１の物体の反射波の強度との少なくとも一方に基づいて検出される第１の物体の種類と、撮像画像に基づいて検出される第２の物体の種類とは対応関係にある筈である。

したがって、第１の物体の対地速度と第１の物体の反射波の強度との少なくとも一方と、第２の物体の種類との対応関係に基づいて、判定手段が同一の物体であると判定するための条件である重複部が存在する一つの第１の領域と一つの第２の領域とを選択できる。

尚、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

第１実施形態による衝突軽減システムを示すブロック図。 第１実施形態による衝突軽減処理を示すフローチャート。 第１実施形態による物体検出処理を示すフローチャート。 第１実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図。 第２実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図。 第２実施形態による物体検出処理を示すフローチャート。 第２実施形態による他の物体検出処理を示すフローチャート。 他の実施形態による物体に対するレーダとカメラとのそれぞれの検出結果を示す説明図。

以下、本発明が適用された実施形態を図に基づいて説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す衝突軽減システム２は、乗用車等の車両に搭載されており、衝突軽減ＥＣＵ（Electronic Control Unit）１０と、ミリ波レーダ２０と、単眼カメラ２２と、ブレーキＥＣＵ３０と、エンジンＥＣＵ３２と、報知装置３４とを備えている。

物体検出装置として機能する衝突軽減ＥＣＵ１０は、ミリ波レーダ２０と、単眼カメラ２２と、ブレーキＥＣＵ３０と、エンジンＥＣＵ３２と、報知装置３４とのそれぞれと通信可能に接続されている。尚、通信を実現するための構成は特に限定されない。

衝突軽減ＥＣＵ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えており、衝突軽減システム２を統括制御する。衝突軽減ＥＣＵ１０は、ＣＰＵのマスタクロックに基づく一定時間ごとに、ミリ波レーダ２０からのレーダ信号および単眼カメラ２２からの画像信号を取り入れる。

ミリ波レーダ２０は、ミリ波を利用して他車両や他車両以外の歩行者等の物体を検出するためのレーダであって、例えば、衝突軽減システム２が搭載された自車両の前側のフリントグリルの中央に取り付けられている。ミリ波レーダ２０は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを検出情報として衝突軽減ＥＣＵ１０に送信する。

単眼カメラ２２は、１台のＣＣＤカメラを備え、例えば、自車両の車室内のウィンドウシールドのミラーの中央付近に取り付けられている。単眼カメラ２２は、ＣＣＤカメラで撮像した撮像画像のデータを、画像信号として衝突軽減ＥＣＵ１０送信する。

ブレーキＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えており、自車両の制動を制御する。具体的には、ブレーキＥＣＵ３０は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキＡＣＴ（Actuator）を、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキＥＣＵ３０は、衝突軽減ＥＣＵ１０からの指示に従い、自車両の制動力を増加させるようにブレーキＡＣＴを制御する。

エンジンＥＣＵ３２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えており、エンジンの始動、停止、燃料噴射量、点火時期等を制御する。具体的には、エンジンＥＣＵ３２は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルＡＣＴを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンＥＣＵ３２は、衝突軽減ＥＣＵ１０からの指示に従い、内燃機関の駆動力を減少させるようにスロットルＡＣＴを制御する。

報知装置３４は、衝突軽減ＥＣＵ１０から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
［１−２．処理］
（１）衝突軽減処理
次に、衝突軽減ＥＣＵ１０による衝突軽減処理について説明する。衝突軽減ＥＣＵ１０には、物体との衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ＥＣＵ１０が実行する衝突軽減処理について、図２のフローチャートを用いて説明する。尚、図２に示す処理は、所定サイクルで繰り返し実行される。

図２のＳ４００において、衝突軽減ＥＣＵ１０は、ミリ波レーダ２０から送信されるミリ波の電波と、検出対象の物体から反射される反射波とを検出情報として、検出対象の物体を検出情報に基づいて検出する。具体的には、衝突軽減ＥＣＵ１０は、検出情報に基づいて、自車両から物体までの直線距離と、自車両の前方方向を基準とした場合の対象物体の角度位置（θ）により表わされる水平方位位置とを算出して特定する。

そして、これらの算出値に基づき、図４に示すように、ＸＹ平面における物体の位置座標を、ＸＹ平面における物体の検出点Ｐｒとして算出して特定する。ミリ波レーダ２０により検出された検出点Ｐｒは、特許請求の範囲に記載された第１の検出点に相当する。ＸＹ平面は、自車両１００の車幅方向を横方向としたＸ軸と自車両１００の車長方向を前方方向としたＹ軸とにより規定される。

また、このＸＹ平面では、ミリ波レーダ２０が設けられた自車両の先端位置が基準点Ｐｏとして設定され、物体の検出点Ｐｒの位置は基準点Ｐｏに対する相対位置により表される。尚、図４は、自車両の前方かつ右寄りに位置する物体の例である。

さらに、Ｓ４００において、物体の検出点Ｐｒに加え、物体との相対速度と自車両の速度とから物体の対地速度を算出する。以下の説明では、Ｓ４００でミリ波レーダ２０による検出情報に基づいて検出した物体を「レーダ物体」という。

図２のＳ４０２において、衝突軽減ＥＣＵ１０は、Ｓ４００で検出したレーダ物体の検出点Ｐｒを中心とする検出領域２００を特定する。検出領域２００は、特許請求の範囲に記載された第１の領域に相当する。

具体的には、衝突軽減ＥＣＵ１０は、レーダ物体の検出点ＰｒのＹ座標と水平方位位置とを基準として、Ｙ座標と水平方位位置とのそれぞれについて、ミリ波レーダ２０の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を検出領域２００として特定する。

例えば、検出点Ｐｒを（Ｙｒ、θｒ）、Ｙ座標の想定誤差を±ＥＹｒ、水平方位位置（θ）の想定誤差を±Ｅθｒとすると、検出領域２００は、Ｙ座標の範囲がＹｒ−ＥＹｒ≦Ｙ≦Ｙｒ＋ＥＹｒ、水平方位位置（θ）の範囲がθｒ−Ｅθｒ≦θ≦θｒ＋Ｅθｒで表わされる。

つまり、検出領域２００の水平方位の範囲は、基準点Ｐｏに対する水平方位位置θｒを含む２Ｅθｒの方位範囲において設定される。また、検出領域２００のＹ軸方向の範囲は、ＸＹ平面におけるレーダ物体の検出点ＰｒのＹ座標であるＹｒを含むＹ軸方向における２ＥＹｒのＹ座標範囲として設定される。

Ｓ４０４において、衝突軽減ＥＣＵ１０は、単眼カメラ２２が撮像した撮像画像に基づいて物体を検出する。具体的には、衝突軽減ＥＣＵ１０は、撮像画像を解析して物体を識別する。この識別は、例えば、予め記憶されている物体モデルの辞書を用いたパターンマッチング処理を実行することにより行われる。

物体モデルは、車両、歩行者等の物体の種類ごとに用意されているため、パターンマッチング処理により物体の種類が特定される。そして、衝突軽減ＥＣＵ１０は、撮像画像における物体の上下方向の位置に基づいて、前述したＸＹ平面におけるＹ座標を特定し、撮像画像における物体の左右方向の位置に基づいて、自車両の前方方向を基準とした場合の対象物体の角度位置により表わされる水平方位位置を特定する。

すなわち、自車両の前方方向における物体の位置のＹ座標が大きい、つまり物体が遠いほど、撮像画像における物体の下端位置は、撮像画像の上端側に位置する傾向がある。このため、撮像画像における物体の下端位置が分れば、Ｙ座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Ｙ座標の検出精度が下がるという特性がある。

また、Ｘ＝０の直線で表わされる自車両の前方方向を基準とする物体の角度方向のずれ、つまり傾きが大きいほど、単眼カメラ２２の無限遠点（ＦＯＥ：Focus of Expansion）を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、Ｘ＝０の直線を基準としたときのＰｏおよび物体を通る直線の角度、ならびに物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。

つまり、Ｓ４０４においては、図４に示すように、ＸＹ平面における物体のＹ座標および水平方位位置を、ＸＹ平面における物体の検出点Ｐｉの位置として特定する。物体の検出点Ｐｉの位置は基準点Ｐｏに対する相対位置により表される。図４では、単眼カメラ２２により検出された２個の検出点Ｐｉ１、Ｐｉ２を示している。単眼カメラ２２により検出された検出点Ｐｉ１、Ｐｉ２は、特許請求の範囲に記載された第２の検出点に相当する。

以下の説明では、Ｓ４０４において単眼カメラ２２による撮像画像に基づいて検出した物体を「画像物体」という。
次に、図２のＳ４０４で検出した画像物体の検出点Ｐｉ１、Ｐｉ２、後述する第２実施形態では検出点Ｐｉ、を中心とする検出領域２１０、２１２を設定する（Ｓ４０６）。

具体的には、衝突軽減ＥＣＵ１０は、検出点Ｐｉ１、Ｐｉ２のＹ座標および水平方位位置を基準として、Ｙ座標および水平方位位置のそれぞれについて、単眼カメラ２２の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を、検出領域２１０、２１２として設定する。検出領域２１０、２１２は、特許請求の範囲に記載された第２の領域に相当する。

単眼カメラ２２による検出点Ｐｉ１、Ｐｉ２を中心とする検出領域２１０、２１２の設定は、前述したミリ波レーダ２０による検出領域２００の設定と同様に行われる。
図４に示す検出点Ｐｉ１の検出領域２１０を例にすると、検出点Ｐｉ１を（Ｙｉ１、θｉ１）、Ｙ座標の想定誤差を±ＥＹｉ１、水平方位位置θの想定誤差を±Ｅθｉ１とすると、検出領域２１０は、Ｙ座標の範囲がＹｉ１−ＥＹｉ１≦Ｙ≦Ｙｉ１＋ＥＹｉ１、水平方位位置（θ）の範囲がθｉ１−Ｅθｉ１≦θ≦θｉ１＋Ｅθｉ１で表わされる。

次に、図２のＳ４０８において、衝突軽減ＥＣＵ１０は、ミリ波レーダ２０により検出されたレーダ物体と、単眼カメラ２２により検出された画像物体とに基づいて、物体の検出処理を実行する。Ｓ４０８の物体検出処理については後述する。

Ｓ４０８の物体検出処理が実行されると、衝突軽減ＥＣＵ１０は、Ｓ４１０において、検出した物体の位置および物体の検出結果の信頼度に応じた衝突軽減制御を行う。例えば、衝突軽減ＥＣＵ１０は、物体と衝突する可能性がある場合、報知装置３４に警報信号を送信して運転者に対する報知を行わせる。また、衝突軽減ＥＣＵ１０は、物体と衝突する可能性が高い場合には、エンジンＥＣＵ３２に内燃機関の駆動力を減少させる指示を行い、また、ブレーキＥＣＵ３０に自車両の制動力を増加させる指示行う。

そして、衝突軽減ＥＣＵ１０は、信頼度に応じて制御態様を異ならせる。例えば、信頼度が高い場合には、信頼度が低い場合と比較して、制御のタイミングを早くする。ここで、物体の検出結果の信頼度は、ミリ波レーダ２０により検出されたレーダ物体と、単眼カメラ２２により検出された画像物体とを同一の物体であるとする判定結果に対する信頼度である。判定結果に対する信頼度については、後述する物体検出処理で説明する。

（２）物体検出処理
図２のＳ４０８において実行される物体検出処理について説明する。
図３のＳ４２０において、衝突軽減ＥＣＵ１０は、レーダ物体と画像物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合（Ｓ４２０：Ｎｏ）、衝突軽減ＥＣＵ１０は、レーダ物体と画像物体との距離が離れすぎているので同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図２のＳ４１０において、レーダ物体と画像物体とに対し、別々の衝突軽減制御が実行される。

重複部が存在する場合（Ｓ４２０：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有するか否かを判定する（Ｓ４２２）。一つのレーダ物体の検出領域に対し、複数ではなく一つの画像物体の検出領域が重複部を有する場合（Ｓ４２２：Ｎｏ）、衝突軽減ＥＣＵ１０は、レーダ物体と画像物体とは同一の物体であると判断し、Ｓ４３４に処理を移行する。

一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有する場合（Ｓ４２２：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、パターンマッチングにより特定された複数の画像物体の種類が同じであるか否かを判定する（Ｓ４２４）。画像物体の種類は、図２のＳ４０４に処理において特定される。

図４に示す例では、一つのレーダ物体の検出点Ｐｒを含む検出領域２００に対し、二つの画像物体の検出点Ｐｉ１、Ｐｉ２をそれぞれ含む検出領域２１０、２１２が重複部２２０、２２２を有している。一つのレーダ物体の検出領域に対し、三つ以上の画像物体の検出領域が重複部を有してもよい。

複数の画像物体に異なる種類が存在する場合（Ｓ４２４：Ｎｏ）、衝突軽減ＥＣＵ１０は、送信したミリ波に対し今回の検出対象であるレーダ物体からの反射波の強度が、レーダ物体が４輪自動車であることを示す強度閾値以上であるか否かを判定する（Ｓ４２６）。

レーダ物体からの反射波の強度は、レーダ物体の反射面が広いほど強く、レーダ物体の反射面が滑らかで硬いほど強い。したがって、強度閾値を適切に設定すれば、レーダ物体を４輪自動車と４輪自動車以外との２種類に分類できる。

反射波の強度が強度閾値以上の場合（Ｓ４２６：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、複数の画像物体のうち種類が４輪自動車である検出領域を選択し（Ｓ４２８）、Ｓ４２２に処理を移行する。Ｓ４２８で選択される４輪自動車の検出領域は複数でもよい。

反射波の強度が強度閾値未満の場合（Ｓ４２６：Ｎｏ）、衝突軽減ＥＣＵ１０は、複数の画像物体のうち種類が４輪自動車以外の検出領域を選択し（Ｓ４３０）、Ｓ４２２に処理を移行する。Ｓ４３０で選択される４輪自動車以外の検出領域は複数でもよい。

Ｓ４２６の判定結果に基づいてＳ４２８またはＳ４３０の処理を実行することにより、レーダ物体からの反射波の強度に対応したレーダ物体と同じ種類の画像物体の検出領域が選択される。

そして、Ｓ４２８またはＳ４３０で選択された画像物体の検出領域が一つであれば、Ｓ４２８またはＳ４３０からＳ４２２に処理を移行するとＳ４２２の判定が「Ｎｏ」になるので、Ｓ４３４に処理が移行される。また、選択された画像物体の検出領域が複数であれば、Ｓ４２２およびＳ４２４の判定は「Ｙｅｓ」になるので、Ｓ４３２に処理が移行される。

ここで、一つのレーダ物体の検出領域と、このレーダ物体と同じ種類の複数の画像物体の検出領域とが重複部を有する場合、レーダ物体との距離が最短の画像物体がレーダ物体と同一の物体の筈である。そこで、Ｓ４３２において、衝突軽減ＥＣＵ１０は、レーダ物体との距離が最短の画像物体の検出領域を選択することにより、レーダ物体と同一の物体である画像物体を選択できる。

レーダ物体と画像物体との距離は、図４に示すように、ミリ波レーダ２０による検出点Ｐｒと、単眼カメラ２２による検出点Ｐｉ１、Ｐｉ２との距離Ｌ１、Ｌ２として算出される。そして、距離Ｌ１、Ｌ２のうち短い方の画像物体の検出領域が選択される。画像物体が三つ以上の場合には、レーダ物体との距離が最短の画像物体の検出領域が選択される。

Ｓ４３４において、衝突軽減ＥＣＵ１０は、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを同一の物体であると判定する。

Ｓ４３６において、衝突軽減ＥＣＵ１０は、Ｓ４３４においてレーダ物体と画像物体とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、以下の（１）〜（３）のいずれかの基準に基づいて算出される。
（１）結合したレーダ物体と画像物体との検出点の距離が短いほど信頼度は高い。
（２）結合したレーダ物体と画像物体との検出領域の重複部の面積が大きいほど信頼度は高い。
（３）所定の検出サイクルにおいて、レーダ物体と画像物体とが同一の物体であると判定された回数が多いほど信頼度は高い。

Ｓ４３８において、衝突軽減ＥＣＵ１０は、今回算出した判定結果の信頼度が前回設定された信頼度以上であるか否かを判定する。
今回算出した判定結果の信頼度が前回設定された信頼度以上の場合（Ｓ４３８：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、今回の判定結果を今回の判定結果として設定し、今回算出した判定結果の信頼度を今回の信頼度として設定する（Ｓ４４０）。

今回算出した判定結果の信頼度が前回設定された信頼度よりも低い場合（Ｓ４３８：Ｎｏ）、衝突軽減ＥＣＵ１０は、前回の判定結果を今回の判定結果として設定し、前回設定された信頼度を今回の信頼度として設定する（Ｓ４４２）。

［１−３．効果］
第１実施形態では、レーダ物体と画像物体とが同一の物体であるなら、レーダ物体の対地速度とレーダ物体の反射波の強度との少なくとも一方に基づいて検出されるレーダ物体の種類と、撮像画像に基づいて検出される画像物体の種類とは対応関係にあることに着目している。

そこで、一つのレーダ物体の検出領域２００に対し、複数の画像物体の検出領域、例えば第１実施形態では、二つの画像物体の検出領域２１０、２１２、が重複部を有している場合、レーダ物体からの反射波の強度に対応する種類の画像物体の検出領域を選択する。選択された画像物体がさらに複数ある場合には、レーダ物体との距離が最短の画像物体の検出領域が選択される。

これにより、一つのレーダ物体の検出領域に対し、複数の画像物体の検出領域が重複部を有していても、レーダ物体の種類に対応した適切な一つの画像物体の検出領域を選択できる。その結果、一つのレーダ物体の検出領域に対し複数の画像物体の検出領域が重複部を有していても、一つのレーダ物体と選択された一つの画像物体とを同一の物体であると判定できる。

［２．第２実施形態］
［２−１．処理］
第２実施形態の衝突軽減システムの構成は第１実施形態の衝突軽減システム２と実質的に同一であるので、説明を省略する。第２実施形態では、図２のＳ４０８において実行される物体検出処理が第１実施形態と異なっている。

第２実施形態では、図５に示すように、単眼カメラ２２により検出される一つの画像物体の検出点Ｐｉを含む検出領域２３０に対し、ミリ波レーダ２０により検出される複数のレーダ物体の検出点Ｐｒ１、Ｐｒ２を含む検出領域２４０、２４２が重複部２５０、２５２を有している場合の物体検出処理を実行する。画像物体およびレーダ物体の検出領域は、第１実施形態と同様に設定される。

［２−２．物体検出処理］
（１）画像物体が４輪自動車以外
まず、図２のＳ４０８において実行される第２実施形態の物体検出処理を、画像物体が４輪自動車以外（以下、画像物体が４輪自動車以外の物体を「画像非車両」とも言う。）の場合に実行する例について説明する。

図５に示す例では、画像物体が４輪自動車（以下、画像物体が４輪自動車の物体を「画像車両」とも言う。）または画像非車両の場合に、検出点Ｐｉを含む検出領域２３０に対し、二つのレーダ物体の検出点Ｐｒ１、Ｐｒ２をそれぞれ含む検出領域２４０、２４２が重複部２５０、２５２を有している。一つの画像物体の検出領域に対し、三つ以上のレーダ物体の検出領域が重複部を有してもよい。

図６のＳ４５０において、衝突軽減ＥＣＵ１０は、画像非車両とレーダ物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合（Ｓ４５０：Ｎｏ）、衝突軽減ＥＣＵ１０は、画像非車両とレーダ物体とは同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図２のＳ４１０において、画像非車両とレーダ物体とに対し、別々の衝突軽減制御が実行される。

重複部が存在する場合（Ｓ４５０：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、一つの画像非車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有するか否かを判定する（Ｓ４５２）。一つの画像非車両の検出領域に対し、複数ではなく一つのレーダ物体の検出領域が重複部を有する場合（Ｓ４５２：Ｎｏ）、衝突軽減ＥＣＵ１０は、画像非車両とレーダ物体とは同一の物体であると判断し、Ｓ４６４に処理を移行する。

一つの画像非車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有する場合（Ｓ４５２：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、複数のレーダ物体の対地速度が誤差を考慮した範囲で同じであるか否かを判定する（Ｓ４５４）。レーダ物体の対地速度は、図２のＳ４００に処理において算出される。

複数のレーダ物体の対地速度に異なるものが存在する場合（Ｓ４５４：Ｎｏ）、衝突軽減ＥＣＵ１０は、対地速度が、画像非車両に対応して物体が４輪自動車以外であることを示す速度閾値未満であるレーダ物体を選択し（Ｓ４５６）、Ｓ４５２に処理を移行する。Ｓ４５６で選択される４輪以外のレーダ物体は複数でもよい。

レーダ物体の対地速度は、本実施形態では、４輪自動車であれば４輪自動車以外よりも速いものとする。したがって、速度閾値を適切に設定すれば、レーダ物体を４輪自動車と４輪自動車以外との２種類に識別できる。

複数のレーダ物体の対地速度が同じ場合（Ｓ４５４：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、複数のレーダ物体の反射波の強度が誤差を考慮した範囲で同じであるか否かを判定する（Ｓ４５８）。複数のレーダ物体の反射波の強度が同じ場合（Ｓ４５８：Ｙｅｓ）、衝突軽減ＥＣＵ１０はＳ４６２に処理を移行する。

複数のレーダ物体の反射波の強度に異なるものが存在する場合（Ｓ４５８：Ｎｏ）、衝突軽減ＥＣＵ１０は、反射波の強度が、物体が４輪自動車以外であることを示す強度閾値未満であるレーダ物体を選択し（Ｓ４６０）、Ｓ４５２に処理を移行する。Ｓ４６０で選択される４輪自動車以外のレーダ物体は複数でもよい。

Ｓ４５４の判定結果に基づいてＳ４５６の処理を実行し、Ｓ４５８の判定結果に基づいてＳ４６０の処理を実行することにより、画像非車両に対応した対地速度または反射波の強度のレーダ物体の検出領域が選択される。

そして、Ｓ４５６またはＳ４６０で選択されたレーダ物体の検出領域が一つであれば、Ｓ４５６またはＳ４６０からＳ４５２に処理を移行するとＳ４５２の判定が「Ｎｏ」になるので、Ｓ４６４に処理が移行される。また、選択されたレーダ物体の検出領域が複数であれば、Ｓ４５２、Ｓ４５４およびＳ４５８の判定は「Ｙｅｓ」になるので、Ｓ４６２に処理が移行される。

ここで、一つの画像非車両の検出領域と、この画像非車両と同じ種類の複数のレーダ物体の検出領域とが重複部を有する場合、画像非車両との距離が最短のレーダ物体が画像非車両と同一の物体の筈である。そこで、Ｓ４６２において、衝突軽減ＥＣＵ１０が画像非車両との距離が最短のレーダ物体の検出領域を選択することにより、画像非車両と同一の物体であるレーダ物体を選択できる。

画像非車両とレーダ物体との距離は、図５に示すように、ミリ波レーダ２０による検出点Ｐｒ１、Ｐｒ２と、単眼カメラ２２による検出点Ｐｉとの距離Ｌ１、Ｌ２として算出される。そして、距離Ｌ１、Ｌ２のうち短い方のレーダ物体の検出領域が選択される。レーダ物体が三つ以上の場合には、画像非車両との距離が最短のレーダ物体の検出領域が選択される。

Ｓ４６４において、衝突軽減ＥＣＵ１０は、検出領域に重複部を有する一つのレーダ物体と一つの画像物体とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像非車両とを同一の物体であると判定する。

Ｓ４６６において、衝突軽減ＥＣＵ１０は、Ｓ４６４においてレーダ物体と画像非車両とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、第１実施形態で説明した基準（１）〜（３）と同じである。

Ｓ４６８〜Ｓ４７２の処理は、前述した第１実施形態の図３のＳ４３８〜Ｓ４４２の処理と実質的に同一であるから説明を省略する。
（２）画像物体が４輪自動車
次に、図２のＳ４０８において実行される第２実施形態の物体検出処理を、画像物体が４輪自動車である画像車両の場合に実行する例について説明する。

図７のＳ４８０において、衝突軽減ＥＣＵ１０は、画像車両とレーダ物体との検出領域に重複部が存在するか否かを判定する。重複部が存在しない場合（Ｓ４８０：Ｎｏ）、衝突軽減ＥＣＵ１０は、画像車両とレーダ物体とは同一の物体ではなく異なる物体であると判断し、本処理を終了する。この場合、図２のＳ４１０において、画像車両とレーダ物体とに対し、別々の衝突軽減制御が実行される。

重複部が存在する場合（Ｓ４８０：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、一つの画像車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有するか否かを判定する（Ｓ４８２）。一つの画像車両の検出領域に対し、複数ではなく一つのレーダ物体の検出領域が重複部を有する場合（Ｓ４８２：Ｎｏ）、衝突軽減ＥＣＵ１０は、画像車両とレーダ物体とは同一の物体であると判断し、Ｓ４９４に処理を移行する。

一つの画像車両の検出領域に対し、複数のレーダ物体の検出領域が重複部を有する場合（Ｓ４８２：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、複数のレーダ物体の対地速度が誤差を考慮した範囲で同じであるか否かを判定する（Ｓ４８４）。レーダ物体の対地速度は、図２のＳ４００に処理において算出される。

複数のレーダ物体の対地速度に異なるものが存在する場合（Ｓ４８４：Ｎｏ）、衝突軽減ＥＣＵ１０は、対地速度が、画像車両に対応して物体が４輪自動車であることを示す速度閾値以上であるレーダ物体を選択し（Ｓ４８６）、Ｓ４８２に処理を移行する。速度閾値を適切に設定すれば、レーダ物体を４輪自動車と４輪自動車以外との２種類に識別できる。Ｓ４８６で選択される４輪自動車のレーダ物体は複数でもよい。

複数のレーダ物体の対地速度が同じ場合（Ｓ４８４：Ｙｅｓ）、衝突軽減ＥＣＵ１０は、複数のレーダ物体の反射波の強度が誤差を考慮した範囲で同じであるか否かを判定する（Ｓ４８８）。複数のレーダ物体の反射波の強度が同じ場合（Ｓ４８８：Ｙｅｓ）、衝突軽減ＥＣＵ１０はＳ４９２に処理を移行する。

複数のレーダ物体の反射波の強度に異なるものが存在する場合（Ｓ４８８：Ｎｏ）、衝突軽減ＥＣＵ１０は、反射波の強度が、物体が４輪自動車であることを示す強度閾値以上であるレーダ物体を選択し（Ｓ４９０）、Ｓ４８２に処理を移行する。Ｓ４９０で選択される４輪自動車のレーダ物体は複数でもよい。

Ｓ４８４の判定結果に基づいてＳ４８６の処理を実行し、Ｓ４８８の判定結果に基づいてＳ４９０の処理を実行することにより、画像車両に対応した対地速度または反射波の強度のレーダ物体の検出領域が選択される。

そして、Ｓ４８６またはＳ４９０で選択されたレーダ物体の検出領域が一つであれば、Ｓ４８６またはＳ４９０からＳ４８２に処理を移行するとＳ４８２の判定が「Ｎｏ」になるので、Ｓ４９４に処理が移行される。また、選択されたレーダ物体の検出領域が複数であれば、Ｓ４８２、Ｓ４８４およびＳ４８８の判定は「Ｙｅｓ」になるので、Ｓ４９２に処理が移行される。

ここで、一つの画像車両の検出領域と、この画像車両と同じ種類の複数のレーダ物体の検出領域とが重複部を有する場合、画像車両との距離が最短のレーダ物体が画像車両と同一の物体の筈である。

そこで、Ｓ４９２において、衝突軽減ＥＣＵ１０が画像車両との距離が最短のレーダ物体の検出領域を選択することにより、画像車両と同一の物体であるレーダ物体を選択できる。画像車両とレーダ物体との距離は、前述した画像非車両とレーダ物体との距離と同様に算出される。

Ｓ４９４において、衝突軽減ＥＣＵ１０は、検出領域に重複部を有する一つのレーダ物体と一つの画像車両とを結合する。つまり、検出領域に重複部を有する一つのレーダ物体と一つの画像車両とを同一の物体であると判定する。

Ｓ４９６において、衝突軽減ＥＣＵ１０は、Ｓ４９４においてレーダ物体と画像車両とが同一の物体であると判定した今回の判定結果の確からしさを示す信頼度を算出する。判定結果の信頼度は、第１実施形態で説明した基準（１）〜（３）と同じである。

Ｓ４９８〜Ｓ５０２の処理は、前述した第１実施形態の図３のＳ４６８〜Ｓ４７２の処理と実質的に同一であるから説明を省略する。
［２−２．効果］
以上説明した第２実施形態によると、以下の効果を得ることができる。

第２実施形態でも、第１実施形態と同様に、レーダ物体と画像物体とが同一の物体であるなら、レーダ物体の対地速度とレーダ物体の反射波の強度との少なくとも一方に基づいて検出されるレーダ物体の種類と、撮像画像に基づいて検出される画像物体の種類とは対応関係にあることに着目している。

そこで、一つの画像物体の検出領域２３０に対し、複数のレーダ物体の検出領域、例えば第２実施形態では二つのレーダ物体の検出領域２４０、２４２が重複部を有している場合、画像物体の種類に対応する対地速度または反射波の強度を有するレーダ物体を選択する。選択されたレーダ物体がさらに複数ある場合には、画像物体との距離が最短のレーダ物体の検出領域が選択される。

これにより、一つの画像物体の検出領域に対し、複数のレーダ物体の検出領域が重複部を有していても、画像物体の種類に対応した適切な一つのレーダ物体の検出領域を選択できる。その結果、一つの画像物体の検出領域に対し複数のレーダ物体の検出領域が重複部を有していても、一つの画像物体と選択された一つのレーダ物体とを同一の物体であると判定できる。

［３．他の実施形態］
（１）一つのレーザ物体の検出領域に対し複数の画像物体の検出領域が重複部を有するか、あるいは一つの画像物体の検出領域に対し複数のレーザ物体の検出領域が重複部を有する場合、レーザ物体と画像物体との対応する種類に基づいて、一つのレーザ物体の検出領域と一つの画像物体の検出領域とを選択して同一の物体であると判定する本発明の技術は、他の物体との衝突を軽減する分野に限らず、どのような分野に適用してもよい。

（２）図３のＳ４２６において、レーザ物体の反射波の強度が強度閾値以上であるか否かの判定に代えて、レーザ物体の対地速度が速度閾値以上であるか否かの判定を採用し、レーザ物体の種類に対応する画像物体の種類を選択してもよい。

（３）図７のＳ４８４とＳ４８６、あるいはＳ４８８とＳ４９０の処理のうち一方を省略してもよい。
（４）図３のＳ４３８〜Ｓ４４２、図６のＳ４６８〜Ｓ４７２、および図７のＳ４９８〜Ｓ５０２の処理に代えて、常に今回の判定結果を採用してもよい。

（５）電波を送信して対象物体からの反射波を検出情報として対象物体を検出できるのであれば、ミリ波に限らずどのような波長の電波を使用してもよい。
（６）対象物体を検出する撮像画像を撮像するのであれば、単眼カメラに限らずステレオカメラを使用してもよい。

（７）図８に示すように、一つのレーダ物体の検出領域２００に着目した場合に二つの画像物体の検出領域２１０、２１２が重複部２２０、２２２を有し、一つの画像物体の検出領域２１２に着目した場合に二つのレーダ物体の検出領域２００、２０２が重複部２２２、２２４を有している場合、以下の物体検出処理を実行してもよい。

検出領域２００と検出領域２１０、２１２、ならびに検出領域２１２と検出領域２００、２０２について、両方ともに検出領域２００のレーダ物体と検出領域２１２の画像物体とが同一の物体であると判定される場合は、判定結果が一致しているので、検出領域２００のレーダ物体と検出領域２１２の画像物体とは同一の物体であると判定される。

これに対し、検出領域２００と検出領域２１０、２１２について検出領域２００のレーダ物体と検出領域２１２の画像物体とが同一の物体であると判定され、検出領域２１２と検出領域２００、２０２について検出領域２０２のレーダ物体と検出領域２１２の画像物体とが同一の物体であると判定される場合は、判定結果が一致しないので、いずれの検出領域のレーダ物体と画像物体も異なる物体であると判定される。

（８）上記実施形態では、レーダ物体と画像物体との種類を、４輪自動車と４輪自動車以外との２種類に分類した。これ以外にも、レーダとカメラによる物体の識別精度に応じて、レーダ物体と画像物体との種類を３種類以上に分類してもよい。例えば、レーダ物体と画像物体との種類を、４輪自動車と２輪自動車と自転車と歩行者とに分類してもよい。

（９）上記実施形態における一つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。尚、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（１０）上述した衝突軽減ＥＣＵ１０が実現する物体検出装置の他、当該物体検出装置を構成要素とするシステム、当該物体検出装置としてコンピュータを機能させるための物体検出プログラム、この物体検出プログラムを記録した記録媒体、物体検出方法など、種々の形態で本発明を実現することもできる。

２：衝突軽減システム、１０：衝突軽減ＥＣＵ（物体検出装置、第１特定手段、第２特定手段、判定手段、領域選択手段、信頼度取得手段、結果選択手段）、２００、２４０、２４２：検出領域（第１の領域）、２１０、２１２、２３０：検出領域（第２の領域）、２２０、２２２、２５０、２５２：重複部、Ｐｒ、Ｐｒ１、Ｐｒ２：検出点（第１の検出点）、Ｐｉ、Ｐｉ１、Ｐｉ２：検出点（第２の検出点）

Claims (6)

1. 車両に搭載される物体検出装置（１０）であって、
   レーダ（２０）による検出情報に基づいて検出された第１の物体について、前記第１の物体の位置を表す第１の検出点（Ｐｒ、Ｐｒ１、Ｐｒ２）を含む第１の領域（２００、２４０、２４２）を特定する第１特定手段（Ｓ４０２）と、
   カメラ（２２）による撮像画像に基づいて検出された第２の物体について、前記第２の物体の位置を表す第２の検出点（Ｐｉ、Ｐｉ１、Ｐｉ２）を含む第２の領域（２３０、２１０、２１２）を特定する第２特定手段（Ｓ４０６）と、
   一つの前記第１の領域と一つの前記第２の領域とに領域の重なる重複部が存在することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定する判定手段（Ｓ４３４、Ｓ４６４、Ｓ４９４）と、
   一つの前記第１の領域に対し複数の前記第２の領域が前記重複部（２２０、２２２）を有するか、あるいは一つの前記第２の領域に対し複数の前記第１の領域が前記重複部（２５０、２５２）を有する場合、前記第１特定手段が前記検出情報に基づいて検出する前記第１の物体の対地速度と前記第２特定手段が前記撮像画像に基づいて検出する前記第２の物体の種類との対応関係に基づいて、前記判定手段が前記同一の物体であると判定するための前記条件である前記重複部が存在する一つの前記第１の領域と一つの前記第２の領域とを選択する領域選択手段（Ｓ４２２〜Ｓ４３２、Ｓ４５２〜Ｓ４６２、Ｓ４８２〜Ｓ４９２）と、
   を備えることを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記領域選択手段（Ｓ４２２、Ｓ４２４、Ｓ４３２）は、一つの前記第１の領域に対し複数の前記第２の領域が前記重複部を有し、複数の前記第２の領域において前記第２の物体の種類が同じ場合、複数の前記第２の検出点のうち前記第１の検出点との距離が最短の前記第２の検出点を含む一つの前記第２の領域を、一つの前記第１の領域と前記重複部を有する領域として選択する、
   ことを特徴とする物体検出装置。
3. 請求項１または２に記載の物体検出装置において、
   前記領域選択手段（Ｓ４２２〜Ｓ４３２）は、前記対地速度に基づいて前記第１の物体の種類を検出し、一つの前記第１の領域に対し複数の前記第２の領域が前記重複部を有し、複数の前記第２の領域において前記第２の物体の種類に異なるものが存在する場合、前記第１の物体の種類と対応する一つ以上の前記第２の物体の前記第２の領域を一つの前記第１の領域と前記重複部を有する領域として選択し、選択した前記第２の領域が複数の場合、選択した複数の前記第２の領域に含まれる複数の前記第２の検出点のうち前記第１の検出点との距離が最短の前記第２の検出点を含む一つの前記第２の領域を選択する、
   ことを特徴とする物体検出装置。
4. 請求項１から３のいずれか一項に記載の物体検出装置において、
   前記領域選択手段（Ｓ４５２、Ｓ４５４、Ｓ４５８、Ｓ４６２、Ｓ４８２、Ｓ４８４、Ｓ４８８、Ｓ４９２）は、前記対地速度に基づいて前記第１の物体の種類を検出し、一つの前記第２の領域に対し複数の前記第１の領域が前記重複部を有し、複数の前記第１の領域において前記第１の物体の種類が同じ場合、複数の前記第１の検出点のうち前記第２の検出点との距離が最短の前記第１の検出点を含む一つの前記第１の領域を、一つの前記第２の領域と前記重複部を有する領域として選択する、
   ことを特徴とする物体検出装置。
5. 請求項１から４のいずれか一項に記載の物体検出装置において、
   前記領域選択手段（Ｓ４５２〜Ｓ４６２、Ｓ４８２〜Ｓ４９２）は、前記対地速度に基づいて前記第１の物体の種類を検出し、一つの前記第２の領域に対し複数の前記第１の領域が前記重複部を有し、複数の前記第１の領域において前記第１の物体の種類に異なるものが存在する場合、前記第２の物体の種類と対応する一つ以上の前記第１の物体の前記第１の領域を一つの前記第２の領域と前記重複部を有する領域として選択し、選択した前記第１の領域が複数の場合、選択した複数の前記第１の領域に含まれる複数の前記第１の検出点のうち前記第２の検出点との距離が最短の前記第１の検出点を含む一つの前記第１の領域を選択する、
   ことを特徴とする物体検出装置。
6. 請求項１から５のいずれか一項に記載の物体検出装置において、
   前記判定手段が判定する前記第１の物体と前記第２の物体とが前記同一の物体であると前記判定手段が判定する判定結果の確からしさを示す信頼度を取得する信頼度取得手段（Ｓ４３６、Ｓ４６６、Ｓ４９６）と、
   今回の前記判定結果と今回の前記信頼度として、前記信頼度取得手段が取得する今回の前記判定手段による前記判定結果の前記信頼度が前回の前記信頼度以上の場合、今回の前記判定結果と今回の前記信頼度とを採用し、前記信頼度取得手段が取得する今回の前記判定手段による前記判定結果の前記信頼度が前回の前記信頼度よりも低い場合、前回の前記判定結果と前記信頼度とを採用する結果選択手段（Ｓ４３８〜Ｓ４４２、Ｓ４６８〜Ｓ４７２、Ｓ４９８〜Ｓ５０２）と、
   を備えることを特徴とする物体検出装置。

Images