JP5974178B2

JP5974178B2 - 物体認識装置

Info

Publication number: JP5974178B2
Application number: JP2015526202A
Authority: JP
Inventors: 洋治笹渕; 克也水谷
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2013-07-08
Filing date: 2014-05-22
Publication date: 2016-08-23
Anticipated expiration: 2034-05-22
Also published as: JPWO2015005001A1; CN105264587B; CN105264587A; BR112015031832A2; WO2015005001A1; DE112014003177T5

Description

本発明は、物体認識装置に関する。
本願は、２０１３年７月８日に出願された日本国特願２０１３−１４２７７０号に基づき優先権を主張し、その内容をここに援用する。

従来、車両に搭載されたレーダ装置およびカメラを用いて歩行者を検知する装置が知られている（例えば、特許文献１参照）。

日本国特開２００５−１５７７６５号公報

ところで、上記従来技術に係る装置においては、レーダ装置により検知した物体とカメラにより検知した物体とが同一であるか否かを判断するために、複数回に亘って検知が継続されているか否かを判定する方法が知られている。しかしながら、この方法によれば、レーダ装置による物体の検知が途切れて同一物体の認識がリセットされた場合に、その後に再度検知が開始された場合にも、複数回に亘って検知が継続されているか否かを判定するので、制御に遅れが生じるという問題が生じる。

本発明に係る態様は上記事情に鑑みてなされたもので、自車両の外界に存在する物体を迅速かつ的確に検知することが可能な物体認識装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明は以下の態様を採用した。
（１）本発明に係る一態様の物体認識装置は、車両の周辺の物体を検知するレーダと、前記車両の周辺を撮像して物体を検知するカメラと、前記レーダにより検知された前記物体と前記カメラにより検知された前記物体とが互いに所定位置範囲内に存在する場合に、互いの前記物体を同一物体であると認識する同一物体認識手段と、を備え、前記同一物体認識手段は、前記レーダまたは前記カメラによる検知が途切れ、その後に再度検知が開始された場合には、前記所定位置範囲を小さくして互いの前記物体が同一物体であるか否かを判定する。

（２）上記（１）の態様において、前記同一物体認識手段は、前記所定位置範囲を小さくした後に前記同一物体が存在しない場合は、徐々に前記所定位置範囲を拡大してもよい。

（３）上記（１）または（２）の態様において、前記同一物体認識手段は、前記レーダにより検知された前記物体と前記カメラにより検知された前記物体とが互いに前記所定位置範囲内に所定時間に亘って存在する場合には、互いの前記物体を同一物体であると認識し、前記レーダまたは前記カメラによる検知が途切れた後に再度検知が開始された場合には、前記所定時間を短くして互いの前記物体が同一物体であるか否かを判定してもよい。

（４）上記（３）の態様において、前記同一物体認識手段は、前記所定位置範囲を小さくした後に前記同一物体が存在しない場合は、徐々に前記所定位置範囲を拡大するとともに、前記所定位置範囲の拡大に伴って前記所定時間を延長傾向に変化させてもよい。

（５）本発明に係る一態様の物体認識装置は、車両の周辺の物体を検知するレーダと、前記車両の周辺を撮像して物体を検知するカメラと、前記レーダにより検知された前記物体と前記カメラにより検知された前記物体とが互いに所定位置範囲内に所定時間に亘って存在する場合に、互いの前記物体を同一物体であると認識する同一物体認識手段と、を備え、前記同一物体認識手段は、前記レーダまたは前記カメラによる検知が途切れ、その後に再度検知が開始された場合には、前記所定時間を短くして互いの前記物体が同一物体であるか否かを判定する。

上記（１）の態様によれば、過去にレーダおよびカメラにより検知された互いの物体が同一物体であると認識された状態が継続していることから、レーダまたはカメラで一時的に検知が中断されたとしても、再度検知が開始されれば、同一の物体を検知している可能性が高いと判断することができる。これにより、再度検知された物体に対して同一物体か否かを判定するための所定位置範囲を小さくしても認識精度を確保することができ、認識処理を迅速に行なうことができ、車両挙動の制御などを早期に作動させることができる。

上記（２）の場合、小さくした所定位置範囲を既定の所定位置範囲まで徐々に拡大することにより、同一物体を認識可能である。

上記（３）の場合、過去にレーダおよびカメラにより検知された互いの物体が同一物体であると認識された状態が継続していることから、レーダまたはカメラで一時的に検知が中断されたとしても、再度検知が開始されれば、同一の検知物体を検知している可能性が高いと判断することができる。これにより、再度検知された物体に対して同一物体か否かを判定するための所定時間を短くしても認識精度を確保することができ、認識処理を迅速に行なうことができ、車両挙動の制御などを早期に作動させることができる。

上記（４）の場合、小さくした所定位置範囲を既定の所定位置範囲まで徐々に拡大することに伴い、所定時間を延長傾向に変化させることにより、同一物体を認識可能である。

上記（５）の態様によれば、過去にレーダおよびカメラにより検知された物体が同一物体であると認識された状態が継続していることから、レーダまたはカメラで一時的に検知が中断されたとしても、再度検知が開始されれば、同一の検知物体を検知している可能性が高いと判断することができる。これにより、再度検知された物体に対して同一物体か否かを判定するための所定時間を短くしても認識精度を確保することができ、認識処理を迅速に行なうことができ、車両挙動の制御などを早期に作動させることができる。

本発明に係る実施形態の物体認識装置の構成図である。本発明に係る実施形態の物体認識装置のマッチング範囲においてレーダ装置によって検知された物体と撮像装置によって検知された物体とを示す図である。本発明に係る実施形態の物体認識装置の探索範囲においてレーダ装置によって検知された物体と撮像装置によって検知された物体との位置補正およびマッチングを示す図である。本発明に係る実施形態の物体認識装置の小さくされたマッチング範囲においてレーダ装置によって検知された物体と撮像装置によって検知された物体とを示す図である。本発明に係る実施形態の物体認識装置の動作を示すフローチャートである。本発明に係る実施形態の物体認識装置によって用いられるマッチング範囲および確定時間の対応関係を示す図である。

以下、本発明に係る一実施形態の物体認識装置について添付図面を参照しながら説明する。
本実施形態による物体認識装置１０は、例えば車両１に搭載され、車両１の外界に存在する物体（例えば、歩行者、他車両、および構造物など）を認識可能である。物体認識装置１０、図１に示すように、レーダ装置１１と、撮像装置１２と、処理装置１３と、を備えている。

レーダ装置１１は、車両１の外界に設定された検出対象領域を複数の角度領域に分割し、各角度領域を走査するようにして、電磁波のレーダ電波を送信する。そして、各送信波が車両１の外部の物体（例えば、歩行者、他車両など）によって反射されることで生じた反射波を受信する。レーダ装置１１は、送信波および反射波に応じた検知信号、例えばレーダ装置１１から外部の物体までの距離、ドップラー効果による外部の物体の相対的な速度、およびレーダ装置１１に対する外部の物体の相対的な位置または方位などに係る検知信号を生成し、生成した検知信号を処理装置１３に出力する。例えば、レーダ装置１１がミリ波レーダであれば、レーダ装置１１は検知信号として、送信波および反射波を混合して得られるビート信号を出力する。

撮像装置１２は、カメラを備え、車両１の外界に設定された撮像領域を撮像する。撮像装置１２は、撮像によって得られた画像に所定の画像処理を行なうことによって画像データを生成し、生成した画像データを処理装置１３に出力する。

処理装置１３は、レーダ装置１１から出力された検知信号と、撮像装置１２から出力された画像データと、を用いて、車両１の周辺に存在する物体を検知する。処理装置１３は、撮像装置１２から出力された画像データに所定の認識処理を行なうことによって、画像データ上の物体を認識する。より詳細には、処理装置１３は物体の属性を認識し、例えば、車両１の周辺の物体として、歩行者、他車両、および構造物などを識別する。処理装置１３は、認識した物体の撮像装置１２に対する相対的な位置、速度、および加速度などを算出する。

処理装置１３は、レーダ装置１１により検知された物体と撮像装置１２により検知された物体とが所定時間（確定時間）に亘って互いに所定位置範囲（マッチング範囲）内に存在する場合に互いの物体を同一物体であると認識する。例えば図２Ａに示すように、処理装置１３は、既定の第１確定回数ＮＡ以上の継続した処理回数（つまり、確定時間に相当）に亘って、既定の大きさの第１マッチング範囲ＭＡ内にレーダ装置１１により検知された物体Ｐ０と撮像装置１２により検知された物体Ｑ０とが存在することを検出した場合に、互いの物体Ｐ０，Ｑ０を同一物体であると認識する。処理装置１３は、例えば図２Ｂに示すように、同一物体であると認識した互いの物体Ｐ０，Ｑ０の位置を一致させるように補正することによって、互いの物体Ｐ０，Ｑ０をマッチングさせる。

なお、処理装置１３は、マッチング範囲の位置を、レーダ装置１１により検知された物体または撮像装置１２により検知された物体の位置を基準として設定してもよいし、レーダ装置１１および撮像装置１２により検知された互いの物体の位置が含まれるように適宜に設定してもよい。
また、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体をマッチングさせる場合に、互いの物体の何れか一方の位置を基準としてもよいが、好ましくは、レーダ装置１１により検知された物体の位置を基準として、撮像装置１２により検知された物体の位置を補正する。

なお、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体が同一物体であると認識してマッチングを確定させた場合に、例えば、レーダ装置１１によって検知された物体の距離、位置、速度、および加速度などの情報に、撮像装置１２によって検知された物体に対して認識した属性などの情報を付加してもよい。処理装置１３は、マッチングが確定した物体に対応付けられた各種の情報に基づき、車両１の各種の制御動作（例えば、物体に対する接触回避、先行車両に対する自動的な追従など）を実行可能である。

処理装置１３は、レーダ装置１１または撮像装置１２による検知が途切れ、その後に再度検知が開始された場合には、マッチング範囲を小さくして互いの物体が同一物体であるか否かを判定する。例えば図２Ｃに示すように、レーダ装置１１による検知が途切れた後に再度検知が開始された場合に、処理装置１３は、既定の大きさの第１マッチング範囲ＭＡを、より小さな第２マッチング範囲ＭＢへと小さくする。処理装置１３は、既定の大きさの第１マッチング範囲ＭＡを第２マッチング範囲ＭＢへと小さくすることに伴い、既定の第１確定回数ＮＡを、より小さな第２確定回数ＮＢへと減少させる。処理装置１３は、減少させた第２確定回数ＮＢ以上の継続した処理回数に亘って、第２マッチング範囲ＭＢ内にレーダ装置１１により新たに検知された物体Ｐ１と撮像装置１２により検知された物体Ｑ０とが存在するか否かを判定する。

なお、処理装置１３は、既定の第１確定回数ＮＡをより小さな第２確定回数ＮＢへと減少させる場合に、レーダ装置１１または撮像装置１２による検知が途切れる前（つまり、検知が継続されていた期間）における物体の位置、速度、および加速度などの履歴に基づく位置推定によって物体の現在の位置を推定してもよい。処理装置１３は、推定した物体の現在の位置が、再度検知が開始された場合にレーダ装置１１により新たに検知された物体の位置に近いほど、第２確定回数ＮＢをより小さく減少させてもよい。

さらに、処理装置１３は、既定の大きさの第１マッチング範囲ＭＡを、より小さな第２マッチング範囲ＭＢへと小さくした後に、この第２マッチング範囲ＭＢ内に同一物体が存在しない場合は、第２マッチング範囲ＭＢを徐々により大きな第３マッチング範囲ＭＣへと拡大する。処理装置１３は、第２マッチング範囲ＭＢを徐々により大きな第３マッチング範囲ＭＣへと拡大することに伴い、第２確定回数ＮＢをより大きな第３確定回数ＮＣへと増大傾向に変化させる。処理装置１３は、増大させた第３確定回数ＮＣ以上の継続した処理回数に亘って、第３マッチング範囲ＭＣ内にレーダ装置１１により新たに検知された物体Ｐ２と撮像装置１２により検知された物体Ｑ０とが存在するか否かを判定する。

なお、処理装置１３は、レーダ装置１１または撮像装置１２による検知が一時的に途切れた後に再度検知が開始された場合のマッチング範囲の位置を、例えば、レーダ装置１１または撮像装置１２による検知が途切れる前（つまり、検知が継続されていた期間）における物体の位置、速度、および加速度などの履歴に基づく位置推定によって設定する。さらに、処理装置１３は、マッチング範囲の位置を、画像データ上の物体に対して認識した属性（例えば、歩行者と他車両とで異なる移動速度など）に基づく位置推定によって設定してもよい。

本実施形態による物体認識装置１０は上記構成を備えており、次に、この物体認識装置１０の動作について説明する。

なお、以下に示すステップＳ０１からステップＳ１４の処理は、例えば所定周期などで繰り返し実行される。
先ず、例えば図３に示すステップＳ０１において、処理装置１３は、レーダ装置１１によって検知された物体の位置、速度、および加速度などを検出する。
次に、ステップＳ０２において、処理装置１３は、撮像装置１２によって検知された物体の認識処理を行なうとともに、物体の位置、速度、および加速度などを検出する。
次に、ステップＳ０３において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングが確定した状態が継続中であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０４に進む。

次に、ステップＳ０４において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングが行なわれた履歴があるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ０８に進む。
そして、ステップＳ０５において、処理装置１３は、例えば図４に示すような第１マッチング範囲ＭＡの電磁波を検索する。

次に、ステップＳ０６において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングが既定の第１確定回数ＮＡに亘って継続したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングを確定させ、エンドに進む。

また、ステップＳ０８において、処理装置１３は、第１マッチング範囲ＭＡよりも小さく、第１マッチング範囲ＭＡの第１確定回数ＮＡよりも小さな第２確定回数ＮＢが対応付けられた第２マッチング範囲ＭＢの電磁波を検索する。
次に、ステップＳ０９において、処理装置１３は、第２マッチング範囲ＭＢにおいてマッチング可能な物体が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１２に進む。

そして、ステップＳ１０において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングが第２確定回数ＮＢに亘って継続したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１１に進み、このステップＳ１１においては、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングを確定させ、エンドに進む。

そして、ステップＳ１２において、処理装置１３は、第１確定回数ＮＡよりも小さく、かつ第２確定回数ＮＢよりも大きい第３確定回数ＮＣが対応付けられ、さらに、第１マッチング範囲ＭＡよりも小さく、かつ第２マッチング範囲ＭＢよりも大きい第３マッチング範囲ＭＣの電磁波を検索する。
そして、ステップＳ１３において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングが第３確定回数ＮＣに亘って継続したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、レーダ装置１１および撮像装置１２により検知された互いの物体のマッチングを確定させ、エンドに進む。

上述したように、本実施の形態による物体認識装置１０によれば、過去にレーダ装置１１および撮像装置１２により検知された互いの物体が同一物体であると認識された状態が継続していることから、レーダ装置１１または撮像装置１２で一時的に検知が中断されたとしても、再度検知が開始されれば、同一の物体を検知している可能性が高いと判断することができる。これにより、再度検知された物体に対して同一物体か否かを判定するための所定位置範囲を小さくしても認識精度を確保することができ、認識処理を迅速に行なうことができ、車両挙動の制御などを早期に作動させることができる。
さらに、再度検知された物体に対して同一物体か否かを判定するための所定時間を短くしても認識精度を確保することができ、認識処理を迅速に行なうことができ、車両挙動の制御などを早期に作動させることができる。
さらに、再度検知が開始された後に同一物体が存在しない場合において、小さくした所定位置範囲を既定の所定位置範囲まで徐々に拡大するとともに、短縮した所定時間を延長傾向に変化させることにより、同一物体を的確に認識可能である。

（第１変形例）
なお、上述した実施形態において、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体が所定時間（確定時間）に亘って互いに所定位置範囲（マッチング範囲）内に存在する場合に互いの物体を同一物体であると認識するとしたが、これに限定されない。例えば、処理装置１３は、レーダ装置１１および撮像装置１２により検知された互いの物体が所定位置範囲内に存在する場合に互いの物体を同一物体であると認識してもよい。

（第２変形例）
なお、上述した実施形態において、処理装置１３は、レーダ装置１１または撮像装置１２による検知が一時的に途切れた前後、および再度検知が開始された後に同一物体が存在しない場合において、マッチング範囲および確定回数を変化させるとしたが、これに限定されない。例えば、処理装置１３は、マッチング範囲または確定回数のみを変化させてもよい。

以上、説明した本実施形態は、本発明を実施するうえでの一例を示すものであり、本発明が前記した実施形態に限定して解釈されるものではないことは言うまでもない。
例えば、上述した実施の形態では、レーダ装置１１による検知が途切れた場合について説明したが、これに限定されず、撮像装置１２による検知が途切れ場合についても、同様の対応が可能である。

１車両１０物体認識装置１１レーダ装置（レーダ）１２撮像装置（カメラ）１３処理装置（同一物体認識手段）

Claims

車両の周辺の物体を検知するレーダと、
前記車両の周辺を撮像して物体を検知するカメラと、
前記レーダにより検知された前記物体と前記カメラにより検知された前記物体とが互いに所定位置範囲内に存在する場合に、互いの前記物体を同一物体であると認識する同一物体認識手段と、を備え、
前記同一物体認識手段は、前記レーダまたは前記カメラによる検知が途切れ、その後に再度検知が開始された場合には、前記所定位置範囲を小さくして互いの前記物体が同一物体であるか否かを判定する、ことを特徴とする物体認識装置。
前記同一物体認識手段は、前記所定位置範囲を小さくした後に前記同一物体が存在しない場合は、徐々に前記所定位置範囲を拡大する、ことを特徴とする請求項１に記載の物体認識装置。
前記同一物体認識手段は、前記レーダにより検知された前記物体と前記カメラにより検知された前記物体とが互いに前記所定位置範囲内に所定時間に亘って存在する場合には、互いの前記物体を同一物体であると認識し、前記レーダまたは前記カメラによる検知が途切れた後に再度検知が開始された場合には、前記所定時間を短くして互いの前記物体が同一物体であるか否かを判定する、ことを特徴とする請求項１または請求項２に記載の物体認識装置。
前記同一物体認識手段は、前記所定位置範囲を小さくした後に前記同一物体が存在しない場合は、徐々に前記所定位置範囲を拡大するとともに、前記所定位置範囲の拡大に伴って前記所定時間を延長傾向に変化させる、ことを特徴とする請求項３に記載の物体認識装置。