JP6084192B2 - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
JP6084192B2
JP6084192B2 JP2014210381A JP2014210381A JP6084192B2 JP 6084192 B2 JP6084192 B2 JP 6084192B2 JP 2014210381 A JP2014210381 A JP 2014210381A JP 2014210381 A JP2014210381 A JP 2014210381A JP 6084192 B2 JP6084192 B2 JP 6084192B2
Authority
JP
Japan
Prior art keywords
camera
vehicle
runway
radar
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014210381A
Other languages
English (en)
Other versions
JP2016081202A (ja
Inventor
克也 水谷
克也 水谷
真也 丸尾
真也 丸尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014210381A priority Critical patent/JP6084192B2/ja
Priority to DE102015219780.8A priority patent/DE102015219780A1/de
Priority to US14/881,360 priority patent/US9797734B2/en
Priority to CN201510666153.4A priority patent/CN105522998B/zh
Publication of JP2016081202A publication Critical patent/JP2016081202A/ja
Application granted granted Critical
Publication of JP6084192B2 publication Critical patent/JP6084192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318Controlling the steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321Velocity regulation, e.g. cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)

Description

本発明は、車両の進行方向に存在する物体を認識する物体認識装置に関する。
特許文献1では、レーダ(ミリ波)による障害物検出結果と、画像認識による障害物検出結果を照合して、両者で検出した場合とそれぞれのみで検出した場合に分岐する(要約)。そして、分岐結果に応じて走行支援制御の開始条件を変更することで、運転者の注意に応じた支援制御を実行する(要約)。レーダ(ミリ波)及び画像認識それぞれで障害物が検出できた場合、障害物を正しく検知している可能性が高いため、通常のタイミングで走行支援制御を実行する([0075])。
ここにいう走行支援制御に関し、障害物の位置・速度情報と自車の推定進路から自車と障害物が接触・衝突する可能性があると判定した場合、図示しない表示装置やスピーカ等を用いて、映像・音声により運転者に対して障害物との接触・衝突を回避するよう警報を行う([0055])。
また、回避行動をとっても障害物との衝突が不可避であると判定した場合、各衝突衝撃軽減手段を制御して所定の衝突衝撃軽減動作を行わせることで、乗員及び歩行者・衝突車両の乗員の衝撃による衝撃を低減する([0056])。
特開2005−239114号公報
上記のように、特許文献1では、レーダ及び画像認識それぞれにより障害物が検出されたか否かに基づいて走行支援制御の開始条件を変更する(要約)。しかしながら、レーダ又は画像認識により障害物が誤検出される場合については検討されていない。
例えば、レーダと比較して、画像認識による前後方向の距離の検出精度が低い場合、レーダによる検出位置と画像認識による検出位置の間にずれが生じることがある。また、画像認識では、横向き車両の前後エッジ(画像上の左右エッジ)を検出して横向き車両を検出することがあるが、そのような検出を行う場合、例えば、路側の柱状物体(ポール等)のエッジと走路上の白線のエッジにより横向き車両を誤検出する可能性がある。このような誤検出が発生した場合、レーダが検出した路側の柱状物体の位置と、画像認識により検出した先行車の位置とをマッチングすることで、走行制御が過剰に作動するおそれがある(図3を参照して後述する比較例を参照)。
上記のような誤検出は、物体検出部としてレーダ及びカメラを組み合わせる構成のみならず、複数の物体検出部を有するその他の構成においても発生し得る。
本発明は上記のような課題を考慮してなされたものであり、複数の物体検出部を有する構成において物体検出部のいずれかでの誤検出を考慮して物体認識を行うことが可能な物体認識装置を提供することを目的とする。
本発明に係る物体認識装置は、カメラが取得した車両の周辺画像を用いて前記車両の進行方向に存在する第1物体を検出するカメラ情報処理部と、レーダが検出した反射波に基づいて前記進行方向に存在する第2物体を検出するレーダ情報処理部と、前記第1物体の位置と前記第2物体の位置とを比較して、前記第1物体と前記第2物体の同一性を判断する同一性判定部とを備えるものであって、前記同一性判定部は、前記第1物体と前記第2物体とが同一であるか否かを判定するための前記第1物体と前記第2物体の相対距離の閾値を設定し、前記第1物体の少なくとも一部が前記車両の走路上に存在し且つ前記第2物体が前記走路外に存在する場合、前記相対距離が前記閾値以下であっても、前記第1物体と前記第2物体とは別の物体であると判定することを特徴とする。
本発明によれば、カメラ情報処理部が検出した第1物体の少なくとも一部が車両の走路上に存在し、レーダ情報処理部が検出した第2物体が走路外に存在する場合、第1物体と第2物体の相対距離が閾値以下であっても、第1物体と第2物体とは別の物体であると判定する。これにより、カメラ情報処理部が第1物体の位置を誤検出している場合でも、誤検出の結果に基づく過剰な走行制御の作動を防止することが可能となる。
少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離がそれぞれ前記閾値以下である前記走路外の前記第2物体及び前記走路上の前記第2物体を検出した場合、前記同一性判定部は、前記走路外の前記第2物体の方が、前記走路上の前記第2物体よりも前記相対距離が短くても、前記走路上の前記第2物体に対して走行制御を行うことが可能となる
上記によれば、走路外の第2物体の方が、走路上の第2物体よりも相対距離が短くても、走路上の第2物体に対して走行制御を行う。これにより、カメラ情報処理部が第1物体の位置を誤検出している場合でも、第1物体に対して所定距離内にある走路上の第2物体に対して適切に走行制御を行うことが可能となる。
少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離が前記閾値以下である前記走路外の前記第2物体と、前記第1物体との前記相対距離が前記閾値以下でない前記走路上の前記第2物体とを前記レーダ情報処理部が検出した場合、前記同一性判定部は、前記走路上の前記第2物体に対して走行制御を行うことが可能となる
上記によれば、少なくとも一部が走路上にある第1物体の近傍に走路外の第2物体が存在するとしても、走路上の第2物体に対して走行制御を行う。これにより、カメラ情報処理部が第1物体の位置を誤検出している場合でも、第1物体に対して所定距離外にある走路上の第2物体に対して適切に走行制御を行うことが可能となる。
なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離がそれぞれ前記閾値以下である前記走路外の前記第2物体及び前記走路上の前記第2物体を検出した場合、前記同一性判定部は、前記走路外の前記第2物体の方が、前記走路上の前記第2物体よりも前記相対距離が短くても、前記第1物体と前記走路上の前記第2物体とが同一であると判定することが可能となる
上記によれば、走路外の第2物体の方が、走路上の第2物体よりも相対距離が短くても、第1物体と走路上の第2物体とが同一であると判定する。これにより、カメラ情報処理部が第1物体の位置を誤検出している場合でも、第1物体の情報と、第1物体に対して所定距離内にある走路上の第2物体の情報とを用いて適切に走行制御を行うことが可能となる。
少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離が前記閾値以下である前記走路外の前記第2物体と、前記第1物体との前記相対距離が前記閾値以下でない前記走路上の前記第2物体とを前記レーダ情報処理部が検出した場合、前記同一性判定部は、前記第1物体と前記走路上の前記第2物体とが同一であると判定することが可能となる
上記によれば、少なくとも一部が走路上にある第1物体の近傍に走路外の第2物体が存在するとしても、第1物体と走路上の第2物体とが同一であると判定する。これにより、カメラ情報処理部が第1物体の位置を誤検出している場合でも、第1物体の情報と、第1物体に対して所定距離外にある走路上の第2物体の情報とを用いて適切に走行制御を行うことが可能となる。
本発明によれば、複数の物体検出部を有する構成において物体検出部のいずれかでの誤検出を考慮して物体認識を行うことが可能となる。
本発明の第1実施形態に係る物体認識装置を搭載した車両の構成を示すブロック図である。 第1実施形態における運転支援制御のフローチャートである。 第1実施形態において解決しようとする課題を有する比較例としてのマッチング処理と、第1実施形態におけるマッチング処理とを説明するための図である。 第1実施形態のマッチング処理のフローチャート(図2のS3の詳細)である。 第1実施形態のマッチング解除条件の成否判定のフローチャート(図4のS14の詳細)である。 第2実施形態のマッチング処理のフローチャート(図2のS3の詳細)である。
A.第1実施形態
A1.構成
[A1−1.全体構成]
図1は、本発明の第1実施形態に係る物体認識装置12を搭載した車両10(以下「自車10」ともいう。)の構成を示すブロック図である。車両10は、物体認識装置12に加え、駆動力制御システム14、車両挙動安定システム16(以下「VSAシステム16」という。)、衝突被害軽減ブレーキシステム18(以下「CMBS18」という。)(CMBS:Collision Mitigation Brake System)及び電動パワーステアリングシステム20(以下「EPSシステム20」という。)、車速センサ22及び警報装置24を有する。
物体認識装置12は、自車10の周囲に現れる各種の周辺物体100(例えば、他車102(図3)並びに図示しない歩行者及び壁)を検出する。そして、物体認識装置12は、周辺物体100(以下「検出物体100」ともいう。)のうち自車10の制御に関連するものを対象物体100tarとして選択又は特定する。物体認識装置12は、自車10から対象物体100tarまでの距離Lを算出すると共に、対象物体100tarの属性Prtarを判別する。ここでの属性Prtarには、例えば、対象物体100tarの種類Ca(例えば、車両、歩行者(ヒト)又は壁)等が含まれる。
駆動力制御システム14の電子制御装置30(以下「駆動ECU30」又は「ECU30」という。)は、車両10の駆動力制御を実行する。駆動力制御に際し、駆動ECU30は、図示しないエンジン等の制御を介して車両10の駆動力を制御する。第1実施形態の駆動力制御には、自動クルーズ制御を含む。自動クルーズ制御は、車速V[km/h]を目標車速Vtarに一致させるように車両10を走行させる制御である。
VSAシステム16の電子制御装置32(以下「VSA ECU32」又は「ECU32」という。)は、車両挙動安定化制御を実行する。車両挙動安定化制御に際し、VSA ECU32は、図示しないブレーキシステム等の制御を介してカーブ路の旋回時、自車10に対する他車102の接近時等における車両10の挙動を安定化させる。
CMBS18の電子制御装置34(以下「CMBS ECU34」又は「ECU34」という。)は、衝突被害軽減ブレーキ制御を実行する。衝突被害軽減ブレーキ制御に際し、CMBS ECU34は、前記ブレーキシステム等の制御を介して、自車10に対する検出物体100の接近時等において自動的にブレーキを制御する。
EPSシステム20の電子制御装置36(以下「EPS ECU36」又は「ECU36」という。)は、操舵アシスト制御を実行する。操舵アシスト制御に際し、EPS ECU36は、電動パワーステアリング装置の構成要素{電動モータ、トルクセンサ及び舵角センサ(いずれも図示せず)等}の制御を介して運転者による操舵をアシストする。
車速センサ22は、車両10の車速Vを検出して物体認識装置12等に出力する。警報装置24は、物体認識装置12等からの指令に基づき、運転者に対する警報を行う。警報装置24は、例えば、図示しない表示装置及びスピーカを有する。
[A1−2.物体認識装置12]
図1に示すように、物体認識装置12は、カメラ40、レーダ42及び物体認識電子制御装置44(以下「物体認識ECU44」又は「ECU44」という。)を有する。
(A1−2−1.カメラ40)
カメラ40(撮像手段)は、車両10の周囲(対象物体100tarを含む。)の画像Imc(以下「周辺画像Imc」又は「撮像画像Imc」ともいう。)を取得する。そして、画像Imcに対応する信号(以下「画像信号Sic」又は「信号Sic」という。)をECU44に出力する。以下では、カメラ40が検出した検出物体100を「第1物体100c」又は「カメラ物標100c」ともいう。
第1実施形態では、1つのカメラ40を用いるが、2つのカメラ40を左右対称に配置させてステレオカメラを構成してもよい。カメラ40は、1秒間に15フレーム以上(例えば30フレーム)で画像Imcを取得する。カメラ40は、主に可視光領域の波長を有する光を利用するモノクロカメラであるが、カラーカメラ又は赤外線カメラであってもよい。カメラ40は、例えば、車両10の車室内の前方部分における車幅方向中心部(例えば、バックミラー周辺)に配置されている。或いは、カメラ40は、車両10の前部バンパー部における車幅方向中心部に配置されてもよい。
(A1−2−2.レーダ42)
レーダ42は、電磁波(ここではミリ波)である送信波Wtを車両10の外部に出力し、送信波Wtのうち検出物体100(例えば、図示しない歩行者、他車102(図3))に反射して戻って来る反射波Wrを受信する。そして、反射波Wrに対応する検出信号(以下「反射波信号Swr」又は「信号Swr」という。)をECU44に出力する。以下では、レーダ42が検出した検出物体100を「第2物体100r」又は「レーダ物標100r」ともいう。
レーダ42は、車両10の前側(例えば、フロントバンパ及び/又はフロントグリル)に配置される。前側に加えて又は前側に代えて、車両10の後ろ側(例えば、リアバンパ及び/又はリアグリル)又は側方(例えば、フロントバンパの側方)に配置してもよい。
また、後述するように、ミリ波を出力するレーダ42の代わりに、レーザレーダ、超音波センサ等のセンサを用いることもできる。
(A1−2−3.物体認識ECU44)
物体認識ECU44は、物体認識装置12の全体を制御するものであり、図1に示すように、入出力部50、演算部52及び記憶部54を有する。
カメラ40からの画像信号Sic及びレーダ42からの反射波信号Swrは、入出力部50を介して物体認識ECU44に供給される。また、物体認識ECU44と、駆動ECU30、VSA ECU32、CMBS ECU34及びEPS ECU36との間の通信は、入出力部50及び通信線56を介して行われる。入出力部50は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路を備える。
演算部52は、カメラ40及びレーダ42からの各信号Sic、Swrに基づく演算を行い、演算結果に基づき、駆動ECU30、VSA ECU32、CMBS ECU34及びEPS ECU36に対する信号を生成する。
図1に示すように、演算部52は、カメラ情報処理部60、レーダ情報処理部62及び対象物体情報処理部64を有する。各処理部60、62、64は、記憶部54に記憶されているプログラムを実行することにより実現される。前記プログラムは、図示しない無線通信装置(携帯電話機、スマートフォン等)を介して外部から供給されてもよい。前記プログラムの一部をハードウェア(回路部品)で構成することもできる。
カメラ情報処理部60は、カメラ40が取得した周辺画像Imcを用いて検出物体100(第1物体100c)の情報(以下「カメラ情報Ic」、「第1物体情報Ic」又は「情報Ic」という。)を算出する。第1実施形態において、カメラ情報処理部60は、横向き車両(図示せず)を検出する場合、横向き車両の前エッジ及び後ろエッジ(周辺画像Imc上は左右エッジとなる。)に基づいて当該横向き車両を検出する。或いは、前エッジ及び後ろエッジの少なくとも一方に加えて又はこれに代えて、その他の部分(例えば、車輪)を用いて横向き車両を検出してもよい。
レーダ情報処理部62は、レーダ42が検出した反射波Wr(反射波信号Swr)に基づいて検出物体100(第2物体100r)の情報(以下「レーダ情報Ir」、「第2物体情報Ir」又は「情報Ir」という。)を算出する。
対象物体情報処理部64(以下「処理部64」ともいう。)は、カメラ情報処理部60が算出したカメラ情報Icと、レーダ情報処理部62が算出したレーダ情報Irとを用いて、運転支援のための情報を算出する。図1に示すように、処理部64は、マッチング部70及びTTC算出部72(以下「算出部72」ともいう。)を備える。
マッチング部70は、カメラ情報処理部60が算出したカメラ情報Icと、レーダ情報処理部62が算出したレーダ情報Irとを組み合わせた情報(以下「対象物体情報It」又は「情報It」という。)を算出する。換言すると、処理部64は、いわゆるフュージョン処理を行う。情報Itは、カメラ40が検出した検出物体100(第1物体100c)と、レーダ42が検出した検出物体100(第2物体100r)とに基づいて特定する対象物体100tarの情報である。
TTC算出部72は、自車10が対象物体100tarに接触(又は衝突)するまでの時間を示すTTC(Time to Collision)を算出する。
記憶部54は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、及び実行プログラム、テーブル又はマップ等を記憶するROM(Read Only Memory)等で構成される。
A2.運転支援制御
[A2−1.運転支援制御の全体的な流れ]
図2は、第1実施形態における運転支援制御のフローチャートである。運転支援制御は、物体認識ECU44の演算部52(処理部60、62、64)及びその他のECU30、32、34、36の演算部(図示せず)が実行する。各ECU30、32、34、36、44は、図2に示す処理を所定の演算周期(例えば、数μsec〜数百msecのいずれかの周期)で繰り返す。
ステップS1において、物体認識ECU44(カメラ情報処理部60)は、カメラ40の画像信号Sic(撮像画像Imc)に基づいて、検出物体100(カメラ物標100c)のカメラ情報Icを算出する。カメラ情報Icには、カメラ物標100cの位置Poc、横方向速度Vlc、加速度ac、属性Prc等が含まれる。
第1実施形態の位置Pocは、例えば、カメラ物標100cの中心位置を示すが、その他の位置(例えば重心)を示してもよい。以下では、位置Pocを中心位置Pocともいう。また、属性Prcとしては、カメラ物標100cの種類Ca(歩行者、車両等)、大きさ等が含まれる。また、撮像画像Imc内に複数のカメラ物標100cが存在する場合、ECU44は、各カメラ物標100cについて位置Poc、横方向速度Vlc、加速度ac、属性Prc等を算出する。
ステップS2において、ECU44(レーダ情報処理部62)は、レーダ42からの反射波信号Swrに基づいて、検出物体100(レーダ物標100r)のレーダ情報Irを算出する。レーダ情報Irには、レーダ物標100rの位置Por、速度Vr、加速度ar等が含まれる。第1実施形態の位置Porは、レーダ物標100rの中心位置を示すが、その他の位置(例えば重心)を示してもよい。以下では、位置Porを中心位置Porともいう。なお、レーダ42の検出範囲内に複数のレーダ物標100rが存在する場合、ECU44は、各レーダ物標100rについて位置Por、速度Vr、加速度ar等を算出する。
ステップS3において、ECU44(マッチング部70)は、カメラ情報Ic(カメラ物標100c)とレーダ情報Ir(レーダ物標100r)とをマッチングするマッチング処理を行う。マッチング処理では、カメラ情報処理部60で認識された第1物体100cの位置Poc及びレーダ情報処理部62で認識された第2物体100rの位置Porが一致する又は所定距離Lx内にあるときに同一の対象物体100tarであると判定する。換言すると、カメラ物標100cの位置Pocとレーダ物標100rの位置Porとの相対距離Dxが閾値Lx内であるか否かを判定する。そして、ECU44(TTC算出部72)は、自車10が対象物体100tarに接触(又は衝突)するまでの時間を示すTTCを算出する。
ステップS4において、ECU44、30、32、34、36は、TTCに応じて運転支援を行う。例えば、駆動ECU30は、TTCを用いて自動クルーズ制御を実行する。例えば、自車10と同一の車線110(図3)上に先行車としての他車102(以下「先行車102」ともいう。)が存在する場合、TTCを用いて先行車102との接触を回避しつつ、車速Vを目標車速Vtarに一致させるように自車10を走行させる。
VSA ECU32は、TTCを用いて車両挙動安定化制御を実行する。CMBS ECU34は、TTCを用いて衝突被害軽減ブレーキ制御を実行する。EPS ECU36は、TTCを用いて操舵アシスト制御を実行する。物体認識ECU44は、TTCに応じた所定の警告(例えば、警告音の出力又は警告表示)を、警報装置24を介して行う。
[A2−2.マッチング処理]
(A2−2−1.マッチング処理の考え方)
上記のように、第1実施形態では、カメラ物標100cとレーダ物標100rとをマッチング(紐付け)して対象物体100tarを特定する。第1実施形態では、カメラ40及びレーダ42の誤検出を防止するようにマッチングを行う。
図3は、第1実施形態において解決しようとする課題を有する比較例としてのマッチング処理と、第1実施形態におけるマッチング処理とを説明するための図である。図3では、自車10の前方に先行車102(検出物体100)が存在すると共に、路側にポール104が存在する。
図3において、点Por1は、レーダ42からの出力(反射波信号Swr)に基づいてレーダ情報処理部62が検出したレーダ物標100rとして先行車102の位置を示す。点Por2は、レーダ42が検出したレーダ物標100rとしてポール104の位置を示す。以下では、点Por1、Por2を位置Por1、Por2ともいう。図3からわかるように、位置Por1、Por2は、比較的正確に検出されている。
図3の枠106は、カメラ40からの出力(画像信号Sic)に基づいてカメラ情報処理部60が「誤検出」したカメラ物標100cとして横向き車両(図3では、実際には存在しない。)の位置を示す。また、点Pocは、誤検出した横向き車両の中心位置を示す。以下では、点Pocを位置Pocともいう。
上記のように、第1実施形態のカメラ情報処理部60は、前エッジ及び後ろエッジに基づいて横向き車両を検出する。図3の例では、処理部60は、ポール104の垂直エッジと、車線110、112を区切る白線114のエッジに基づいて横向き車両を誤検出している。
そして、物体認識ECU44のマッチング部70は、カメラ物標100cとして誤検出した横向き車両の位置Pocから所定距離Lx内に存在するレーダ物標100rとしてポール104の位置Por2を検出する。そして、マッチング部70は、位置Poc及び位置Por2に基づいてカメラ物標100cとレーダ物標100rとをマッチングする。ここまでは、比較例及び第1実施形態におけるマッチング処理のいずれでも行う処理である。
比較例のマッチング処理では、位置Poc及び位置Por2に基づくマッチング結果をそのまま用いる。その結果、実際には存在しない横向き車両が存在するものとしてTTCを算出し、不要な(又は過度の)運転支援を行ってしまう。一方、第1実施形態のマッチング処理では、位置Poc及び位置Por2に基づくマッチング結果を用いない。代わりに、第1実施形態の対象物体情報処理部64(マッチング部70)では、先行車102の実際の位置(点Por1)に基づいて運転支援を行う(詳細は、図4及び図5を用いて後述する。)。これにより、不要な運転支援を回避することが可能となる。
(A2−2−2.第1実施形態のマッチング処理の詳細)
図4は、第1実施形態のマッチング処理のフローチャート(図2のS3の詳細)である。ステップS11において、物体認識ECU44(カメラ情報処理部60)は、カメラ物標100cとしての前方車両を検出したか否かを判定する。ここにいう前方車両は、先行車(自車10の走行車線110に沿って走行中の車両)及び横向き車両(自車10の走行車線110に入ってくる又は走行車線110から出て行く車両)を含む。さらに、前方車両には、対向車(自車10と反対の車線112に沿って走行中の車両)を含んでもよい。
カメラ物標100cとしての前方車両が検出されている場合(S11:YES)、ステップS12に進む。カメラ物標100cとしての前方車両が検出されていない場合(S11:NO)、今回の処理を終える。
ステップS12において、ECU44は、検出されたカメラ物標100cの位置Pocから所定距離Lx内にレーダ物標100rが存在するか否かを判定する(図3の円120参照)。検出されたカメラ物標100cの位置Pocから所定距離Lx内にレーダ物標100rが存在する場合(S12:YES)、ステップS13に進む。
ステップS13において、ECU44は、所定距離Lx内にあるレーダ物標100rの中でカメラ物標100cに最も近いものをカメラ物標100cとマッチングする。図3の例では、所定距離Lx内にあるレーダ物標100rとしては位置Por2のレーダ物標100rのみであるので、位置Por2のレーダ物標100rを、位置Pocのカメラ物標100cとマッチングする。
続くステップS14において、ECU44は、マッチング解除条件の成否を判定する。ここにいうマッチング解除条件は、図3を参照して説明した誤検出の場合に対応するための条件である。ステップS14の詳細は、図5を参照して後述する。
ステップS15において、ECU44は、マッチング解除条件が成立したか否かを判定する。マッチング解除条件が不成立の場合(S15:NO)、ステップS16において、ECU44は、ステップS13のマッチングをそのまま利用する。そして、ECU44は、自車10からレーダ物標100rまでの前後方向距離Lrと、自車10からカメラ物標100cまでの左右方向距離Dcとを用いてTTCを算出する。すなわち、ECU44は、前後方向距離Lr及び左右方向距離Dcに基づいて対象物体100tarの移動方向及び移動速度を特定した上、対象物体100tarが自車10と接触するまでの時間を算出する。
第1実施形態では、自車10の先端からレーダ物標100rの位置Porまでの前後方向の距離を前後方向距離Lrとしているが、前後方向距離Lrの基準となる自車10の位置は、その他の位置であってもよい。図3の例では、位置Por1のレーダ物標100r(他車102)までの前後方向距離LrをLr1で示し、位置Por2のレーダ物標100r(ポール104)までの前後方向距離LrをLr2で示している。
また、第1実施形態では、自車10の中心軌跡130からレーダ物標100rの位置Porまでの左右方向の距離を左右方向距離Dcとしているが、左右方向距離Dcの基準となる自車10の位置は、その他の位置であってもよい。また、中心軌跡130は、自車10が走行する際、左右方向(車幅方向)における自車10の中心が通過する見込みの軌跡である。ECU44は、カメラ情報処理部60が検出した走行車線110等の情報に基づいて中心軌跡130を算出する。
マッチング解除条件が成立した場合(S15:YES)又はステップS12においてカメラ物標100cの位置Pocから所定距離Lx内にレーダ物標100rが存在しない場合(S12:NO)、ステップS17に進む。
ステップS17において、ECU44は、ステップS13のマッチングを解除する。そして、ECU44は、自車10の走路140上のレーダ物標100rまでの前後方向距離Lr及び左右方向距離Drを用いてTTCを算出する。すなわち、ECU44は、前後方向距離Lr及び左右方向距離Drに基づいて対象物体100tarの移動方向及び移動速度を特定した上、対象物体100tarが自車10と接触するまでの時間を算出する。
上記の通り、前後方向距離Lrは、自車10からレーダ物標100rまでの前後方向の距離である。また、左右方向距離Drは、自車10の中心軌跡130からレーダ物標100rまでの横方向(車幅方向)の距離である。図3の例では、位置Por1のレーダ物標100r(他車102)までの左右方向距離DrをDr1で示し、位置Por2のレーダ物標100r(ポール104)までの左右方向距離DrをDr2で示している。
また、第1実施形態において、自車10の走路140は、自車10の走行車線110が取り得る平均的な幅からなる仮想的な車線に相当するものである。走路140は、自車10の中心軌跡130を基準として左右方向(車幅方向)に閾値−THpor〜閾値THporの範囲内とする。閾値THporは、例えば、1.5〜2.0mのいずれかの値である。なお、図3の線142l、142rは、閾値−THpor〜閾値THporの範囲を示す仮想線である。
或いは、走路140は、自車10の走行車線110そのものを用いることもできる。その場合、走路140は、カメラ40からの画像Imcに基づいて特定することも可能である。第1実施形態において、走路140上のレーダ物標100rには、カメラ物標100cの中心位置Pocから所定距離Lx内のものと所定距離Lx外のものの両方を含み得る。
(A2−2−3.マッチング解除条件の成否判定)
図5は、第1実施形態のマッチング解除条件の成否判定のフローチャート(図4のS14の詳細)である。ステップS21において、物体認識ECU44は、カメラ物標100cまでの前後方向距離Lcが閾値THlc1〜THlc2内であるか否かを判定する。閾値THlc1は、マッチング解除を行う距離Lcの最低値を示し、例えば5〜15mのいずれかの値である。閾値THlc2は、マッチング解除を行う距離Lcの最大値を示し、例えば20〜50mのいずれかの値である。
前後方向距離Lcが閾値THlc1〜THlc2内である場合(S21:YES)、ステップS22において、ECU44は、カメラ物標100cの中心位置Pocが、自車10の中心軌跡130から閾値−THpoc〜THpoc内であるか否かを判定する。閾値±THpocは、カメラ物標100cの少なくとも一部が走路140上に存在するか否かを判定するための閾値である。閾値THpocは、例えば、0.8〜1.1mのいずれかの値である。これにより、カメラ物標100cの少なくとも一部が走路140上にあること(例えば、路上駐車等により、カメラ物標100cが走路140上及び走路140外に跨っていること)を判定することが可能となる。なお、図3の線144l、144rは、閾値−THpo〜閾値THpoの範囲を示す仮想線である。
中心位置Pocが中心軌跡130から閾値−THpoc〜THpoc内である場合(S22:YES)、ステップS23において、ECU44は、レーダ物標100rまでの前後方向距離Lrが閾値THlr1〜THlr2内であるか否かを判定する。閾値THlr1は、マッチング解除を行う距離Lrの最低値を示し、例えば、例えば5〜15mのいずれかの値である。閾値THlr2は、マッチング解除を行う距離Lrの最大値を示し、例えば、例えば20〜50mのいずれかの値である。第1実施形態において、閾値THlr1、THlr2は、閾値THlc1、THlc2に等しい。
前後方向距離Lrが閾値THlr1〜THlr2内である場合(S23:YES)、ステップS24において、ECU44は、レーダ物標100rの中心位置Porが、自車10の中心軌跡130から閾値−THpor〜THpor外であるか否かを判定する。図4のステップS17に関連して上述した通り、閾値±THporは、自車10の走路140を特定するための値である。ステップS24の判定により、レーダ物標100rが走路140外にあることを判定することが可能となる。
レーダ物標100rの中心位置Porが中心軌跡130から閾値−THpor〜THpor外である場合(S24:YES)、ステップS25において、ECU44は、マッチング解除条件が成立したと判定する。
ステップS21〜S24のいずれかにおいてNOである場合、ステップS26において、ECU44は、マッチング解除条件が不成立であると判定する。
ECU44は、上記のような図5の処理によりマッチング解除条件の成否を判定した上で、当該判定に応じた処理を、図4のステップS15〜S17において行う。
A3.第1実施形態の効果
以上のように、第1実施形態によれば、カメラ情報処理部60(第1物体検出部)が検出したカメラ物標100c(第1物体)の少なくとも一部が車両10の走路140上に存在し(図5のS22:YES)、レーダ情報処理部62(第2物体検出部)が検出したレーダ物標100r(第2物体)が走路140外に存在する場合(S24:YES)、カメラ物標100cとレーダ物標100rの相対距離Dxが閾値Lx以下(図4のS12:YES)であっても、カメラ物標100cとレーダ物標100rとは別の物体であると判定する(S25、S15:YES)。これにより、カメラ40がカメラ物標100cの位置Pocを誤検出している場合でも、誤検出の結果に基づく過剰な走行制御の作動を防止することが可能となる。
第1実施形態において、少なくとも一部が走路140上にあるカメラ物標100c(第1物体)をカメラ情報処理部60(第1物体検出部)が検出し(図4のS11:YES、図5のS22:YES)且つカメラ物標100cとの相対距離Dxが閾値Lx以下である(S12:YES)走路140外のレーダ物標100r(第2物体)と、カメラ物標100cとの相対距離Dxが閾値Lx以下でない(S12:NO)走路140上のレーダ物標100rとをレーダ情報処理部62(第2物体検出部)が検出した場合(図3参照)、マッチング部70(同一性判定部)は、走路140上のレーダ物標100rに対して走行制御を行う(S15:YES→S17)。
上記によれば、少なくとも一部が走路140上にあるカメラ物標100cの近傍に走路140外のレーダ物標100rが存在するとしても(図4のS12:YES)、所定距離Lx外における走路140上のレーダ物標100rに対して走行制御を行う(S15:YES→S17)。例えば、図3のように、点Por1が所定距離Lx外にあり且つ点Por2よりも点Por1が点Pocから遠い場合、点Por1のレーダ物標100rに対して走行制御を行う。これにより、カメラ情報処理部60がカメラ物標100cの位置Pocを誤検出している場合でも、カメラ物標100cに対して所定距離Lx外にある走路140上のレーダ物標100rに対して適切に走行制御を行うことが可能となる。
図3では、点Por1が所定距離Lx外にあり且つ点Por2よりも点Por1が点Pocから遠い。しかしながら、例えば、点Por1(先行車102)の位置が所定距離Lx内にあり且つ点Por2よりも点Por1が点Pocから遠い場合もあり得る。例えば、先行車102が自車10に接近した場合又は所定距離Lxを相対的に長くした場合(又は円120を大きくした場合)である。
そのような場合には、少なくとも一部が走路140上にあるカメラ物標100c(第1物体)をカメラ情報処理部60(第1物体検出部)が検出し(図5のS22:YES)且つカメラ物標100cとの相対距離Dxがそれぞれ閾値Lx以下である走路140外のレーダ物標100r(第2物体)及び走路140上のレーダ物標100rを検出した場合(図4のS12:YES)、マッチング部70(同一性判定部)は、走路140外のレーダ物標100r(例えば、図3の位置Por2のレーダ物標100r)の方が、走路140上のレーダ物標100r(例えば、図3の位置Por1のレーダ物標100r)よりも相対距離Dxが短くても(S13)、走路140上のレーダ物標100rに対して走行制御を行う(S15:YES→S17)。
上記によれば、走路140外のレーダ物標100rの方が、走路140上のレーダ物標100rよりも相対距離Dxが短くても、走路140上のレーダ物標100rに対して走行制御を行う。これにより、カメラ情報処理部60がカメラ物標100cの位置Pocを誤検出している場合でも、カメラ物標100cに対して所定距離Lx内にある走路140上のレーダ物標100rに対して適切に走行制御を行うことが可能となる。
B.第2実施形態
B1.構成(第1実施形態との相違)
第2実施形態のハードウェアの構成は、第1実施形態(図1)と同様である。以下では、同様の構成要素に対して同一の参照符号を付して、詳細な説明を省略する。第2実施形態では、物体認識ECU44が行うマッチング処理(図6)が第1実施形態のマッチング処理(図4)と異なる。
B2.マッチング制御
上記のように、第2実施形態では、物体認識ECU44が行うマッチング処理(図6)が第1実施形態のマッチング処理(図4)と異なる。より具体的には、第1実施形態では、マッチング解除条件が不成立である場合(S15:NO)を除き、マッチングを用いずに、レーダ物標100rを対象物体100tarとした(S17)。これに対し、第2実施形態では、第1実施形態であればマッチング解除条件が成立するような場合、新たなマッチング(マッチングの変更)を行って対象物体100tarを特定する。
図6は、第2実施形態のマッチング処理のフローチャート(図2のS3の詳細)である。図6のステップS31〜S33は、図4のステップS11〜S13と同様である。
ステップS34において、ECU44は、マッチング変更条件の成否を判定する。ここにいうマッチング変更条件は、図3を参照して説明した誤検出の場合に対応するための条件であり、図4のステップS14及び図5の各ステップと同様である。
すなわち、ステップS34では、図5のステップS21〜S24と同様の処理を行う。そして、図5のステップS21〜S24の全てがYESである場合、マッチング変更条件が成立したと判定する。また、図5のステップS21〜S24のいずれかがNOである場合、マッチング変更条件が不成立であると判定する。換言すると、図5のステップS25の「解除条件成立」を「変更条件成立」と、ステップS26の「解除条件不成立」を「変更条件不成立」と置き換えたものが、ステップS34の処理である。
図6のステップS35において、ECU44は、マッチング変更条件が成立したか否かを判定する。マッチング変更条件が不成立の場合(S35:NO)、ステップS36において、ECU44は、ステップS33のマッチングをそのまま利用する。そして、ECU44は、レーダ物標100rまでの前後方向距離Lrと、カメラ物標100cまでの左右方向距離Dcを用いてTTCを算出する。ステップS36は、図4のステップS16と同様に行うことができる。
マッチング変更条件が成立した場合(S35:YES)、ステップS37において、ECU44は、ステップS33のマッチングを変更する。具体的には、カメラ物標100cに最も近く且つ走路140外にあるレーダ物標100rの代わりに、走路140上にあるレーダ物標100rのうち最もカメラ物標100cに近いものを選択してカメラ物標100cとマッチングする。
続くステップS38において、ステップS37のマッチングを利用する。そして、ECU44は、新たなマッチングに含まれるレーダ物標100rまでの前後方向距離Lrと、カメラ物標100cまでの左右方向距離Dcを用いてTTCを算出する。
ステップS32に戻り、検出されたカメラ物標100cの中心位置Pocから所定距離Lx内にレーダ物標100rが存在しない場合(S32:NO)、ステップS39に進む。
ステップS39において、ECU44は、自車10の走路140上にレーダ物標100rが存在するか否かを判定する。自車10の走路140上にレーダ物標100rが存在する場合(S39:YES)、ステップS40に進む。自車10の走路140上にレーダ物標100rが存在しない場合(S39:NO)、今回の処理を終了する。この場合、対象物体100tarを特定しない。
ステップS40において、ECU44は、走路140上にあるレーダ物標100rのうち最もカメラ物標100cに近いものを選択してカメラ物標100cとマッチングする。
続くステップS41において、ステップS40のマッチングを利用する。そして、ECU44は、当該マッチングに含まれるレーダ物標100rまでの前後方向距離Lrと、カメラ物標100cまでの左右方向距離Dcを用いてTTCを算出する。
B3.第2実施形態の効果
上記のような第2実施形態によれば、第1実施形態の効果に加え又はこれに代えて以下の効果を奏することができる。
第2実施形態によれば、少なくとも一部が走路140上にあるカメラ物標100c(第1物体)をカメラ情報処理部60(第1物体検出部)が検出し(図6のS31:YES、図5のS22:YES)且つカメラ物標100cとの相対距離Dxが閾値Lx以下である走路140外のレーダ物標100r(第2物体)と、カメラ物標100cとの相対距離Dxが閾値Lx以下でない走路140上のレーダ物標100rとをレーダ情報処理部62(第2物体検出部)が検出した場合(図3参照)、マッチング部70(同一性判定部)は、カメラ物標100cと走路140上のレーダ物標100rとが同一であると判定する(S35:YES→S37)。
上記によれば、少なくとも一部が走路140上にあるカメラ物標100cの近傍に走路140外のレーダ物標100rが存在するとしても、カメラ物標100cと走路140上のレーダ物標100rとが同一であると判定する。これにより、カメラ情報処理部60がカメラ物標100cの位置Pocを誤検出している場合でも、カメラ物標100cの情報と、カメラ物標100cに対して所定距離Lx外にある走路140上のレーダ物標100rの情報とを用いて適切に走行制御を行うことが可能となる。
第1実施形態でも言及したように、図3では、点Por1が所定距離Lx外にあり且つ点Por2よりも点Por1が点Pocから遠いが、例えば、点Por1(先行車102)の位置が所定距離Lx内にあり且つ点Por2よりも点Por1が点Pocから遠い場合もあり得る。
そのような場合には、少なくとも一部が走路140上にあるカメラ物標100c(第1物体)をカメラ情報処理部60(第1物体検出部)が検出し(図5のS22:YES参照)且つカメラ物標100cとの相対距離Dxがそれぞれ閾値Lx以下である走路140外のレーダ物標100r(第2物体)及び走路140上のレーダ物標100rを検出した場合(図6のS32:YES)、マッチング部70(同一性判定部)は、走路140外のレーダ物標100rの方が、走路140上のレーダ物標100rよりも相対距離Dxが短くても(S13)、カメラ物標100cと走路140上のレーダ物標100rとが同一であると判定する(S35:YES→S37)。
上記によれば、走路140外のレーダ物標100rの方が、走路140上のレーダ物標100rよりも相対距離Dxが短くても(図6のS33)、カメラ物標100cと走路140上のレーダ物標100rとが同一であると判定する(S35:YES→S37)。これにより、カメラ情報処理部60がカメラ物標100cの位置Pocを誤検出している場合でも、カメラ物標100cの情報と、カメラ物標100cに対して所定距離Lx内にある走路140上のレーダ物標100rの情報とを用いて適切に走行制御を行うことが可能となる。
C.変形例
なお、本発明は、上記各実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
C1.適用対象
上記各実施形態では、物体認識装置12を車両10に適用したが(図1)、これに限らず、別の対象に適用してもよい。例えば、物体認識装置12を船舶や航空機等の移動物体に用いることもできる。或いは、物体認識装置12を、ロボット、セキュリティ用監視装置又は家電製品に適用してもよい。また、物体認識装置12を車両10(移動物体)自体に搭載するのではなく、車両10の外部(例えば、光ビーコン等の路側装置)に配置してもよい。この場合、車両10と物体認識装置12の間で通信を行い、物体認識装置12の認識結果を車両10に送信することも可能である。
C2.物体認識装置12の構成
上記各実施形態では、物体認識装置12の演算結果(TTC)を、物体認識装置12、駆動ECU30、VSA ECU32、CMBS ECU34及びEPS ECU36で用いた(図2のS4)。しかしながら、物体認識装置12の演算結果(TTC)を、それ以外の用途で用いることも可能である。例えば、車両10の駐車支援にも用いることができる。
上記各実施形態では、ミリ波である送信波Wt及び反射波Wrを使用するレーダ42を用いたが、例えば、電磁波としての送信波Wtの反射波Wrを用いて第2物体100rの情報Irを取得する観点からすれば、レーザレーダ、超音波センサ等のセンサを用いることもできる。
上記各実施形態では、カメラ40とレーダ42を組み合わせて用いた(図1)。しかしながら、例えば、複数の物体検出部(少なくとも第1物体検出部及び第2物体検出部)を用いる観点からすれば、2台のカメラ40(画像Imc)を用いる構成又は2台のレーダ42を用いる構成にも本発明を適用可能である。
C3.物体認識ECU44の制御
[C3−1.マッチングの基準]
上記各実施形態では、カメラ物標100cを基準としてカメラ物標100cとレーダ物標100rとのマッチングを行った。すなわち、カメラ物標100cの中心位置Pocから所定距離Lx内にあるレーダ物標100rの中でカメラ物標100cに最も近いものをカメラ物標100cとマッチングした(図4のS13、図6のS33)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、レーダ物標100rを基準としてカメラ物標100cとレーダ物標100rとのマッチングを行うことも可能である。
[C3−2.誤ったマッチングが起こる場合]
第1実施形態において、カメラ情報処理部60は、ポール104と白線114に基づいて横向き車両が存在すると誤検出する場合を回避するための制御を行った(図3〜図5)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、自車10の走行車線110の路側に駐車車両が存在し、当該駐車車両の左脇と白線114に基づいて横向き車両が存在すると誤検出する場合を回避することも可能である。或いは、前記駐車車両の右脇とポール104に基づいて横向き車両が存在すると誤検出する場合を回避することも可能である。第2実施形態についても同様である。
[C3−3.マッチングの解除又は変更]
第1実施形態では、一旦、マッチングを行った後(図4のS13)、マッチング解除条件が成立する場合(S15:YES)、マッチングを解除した(S17)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、ステップS12:YESの場合、マッチング解除条件が不成立であること(S15:NO)を条件に、ステップS13のマッチングを行うことも可能である。
同様に、第2実施形態では、一旦、マッチングを行った後(図6のS33)、マッチング変更条件が成立する場合(S35:YES)、マッチングを変更した(S37)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、ステップS32:YESの場合、マッチング変更条件が不成立であること(S35:NO)を条件に、ステップS33のマッチングを行うことも可能である。
第1実施形態では、マッチング解除条件の1つとして、カメラ物標100cまでの前後方向距離Lcが閾値THlc1〜THlc2内であることを含めた(図5のS21)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、図5のステップS21において、前後方向距離Lcが閾値THlc1以上であること又は閾値THlc2以下であることのいずれか一方のみを判定してもよい。或いは、図5のステップS21の判定自体を省略することも可能である。第2実施形態についても同様である。
第1実施形態では、マッチング解除条件の1つとして、レーダ物標100rまでの前後方向距離Lrが閾値THlr1〜THlr2内であることを含めた(図5のS23)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上に存在し、レーダ物標100rが走路140外に存在する場合、これらのカメラ物標100cとレーダ物標100rとのマッチングを行わないとの観点からすれば、これに限らない。例えば、図5のステップS23において、前後方向距離Lrが閾値THlr1以上であること又は閾値THlr2以下であることのいずれか一方のみを判定してもよい。或いは、図5のステップS23の判定自体を省略することも可能である。第2実施形態についても同様である。
[C3−4.カメラ物標100cの少なくとも一部が走路140上にあることの判定(図5のS22)]
第1実施形態では、カメラ物標100cの少なくとも一部が走路140上にあるか否かを判定するために、カメラ物標100cの中心位置Pocが自車10の中心軌跡130から±THpoc内であるか否かを判定した(図5のS22)。しかしながら、例えば、カメラ物標100cの少なくとも一部が走路140上にあるか否かを判定する観点からすれば、これに限らない。例えば、周辺画像Imcに基づいて自車10が走行している車線110を検出し、カメラ物標100cの少なくとも一部が車線110上にあるか否かにより、カメラ物標100cの少なくとも一部が走路140上にあるか否かを判定してもよい。第2実施形態についても同様である。
[C3−5.レーダ物標100rが走路140外にあることの判定(図5のS24)]
第1実施形態では、レーダ物標100rが走路140外にあるか否かを判定するために、レーダ物標100rの中心位置Porが自車10の中心軌跡130から±THpor外であるか否かを判定した(図5のS24)。しかしながら、例えば、レーダ物標100rが走路140外にあるか否かを判定する観点からすれば、これに限らない。例えば、周辺画像Imcに基づいて自車10が走行している車線110を検出し、レーダ物標100rが車線110外にあるか否かにより、レーダ物標100rが走路140外にあるか否かを判定してもよい。第2実施形態についても同様である。
10…車両 12…物体認識装置
60…カメラ情報処理部(第1物体検出部)
62…レーダ情報処理部(第2物体検出部)
70…マッチング部(同一性判定部)
100c…カメラ物標(第1物体)
100r…レーダ物標(第2物体) 140…走路
Dx…相対距離 Lx…相対距離の閾値
Poc…カメラ物標の位置 Por…レーダ物標の位置

Claims (4)

  1. カメラが取得した車両の周辺画像を用いて前記車両の進行方向に存在する第1物体を検出するカメラ情報処理部と、
    レーダが検出した反射波に基づいて前記進行方向に存在する第2物体を検出するレーダ情報処理部と、
    前記第1物体の位置と前記第2物体の位置とを比較して、前記第1物体と前記第2物体の同一性を判断する同一性判定部と
    を備える物体認識装置であって、
    前記同一性判定部は、
    前記第1物体と前記第2物体とが同一であるか否かを判定するための前記第1物体と前記第2物体の相対距離の閾値を設定し、
    前記第1物体の少なくとも一部が前記車両の走路上に存在し且つ前記第2物体が前記走路外に存在する場合、前記相対距離が前記閾値以下であっても、前記第1物体と前記第2物体とは別の物体であると判定し、
    少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離がそれぞれ前記閾値以下である前記走路外の前記第2物体及び前記走路上の前記第2物体を検出した場合、前記同一性判定部は、前記走路外の前記第2物体の方が、前記走路上の前記第2物体よりも前記相対距離が短くても、前記走路上の前記第2物体に対して走行制御を行う
    ことを特徴とする物体認識装置。
  2. カメラが取得した車両の周辺画像を用いて前記車両の進行方向に存在する第1物体を検出するカメラ情報処理部と、
    レーダが検出した反射波に基づいて前記進行方向に存在する第2物体を検出するレーダ情報処理部と、
    前記第1物体の位置と前記第2物体の位置とを比較して、前記第1物体と前記第2物体の同一性を判断する同一性判定部と
    を備える物体認識装置であって、
    前記同一性判定部は、
    前記第1物体と前記第2物体とが同一であるか否かを判定するための前記第1物体と前記第2物体の相対距離の閾値を設定し、
    前記第1物体の少なくとも一部が前記車両の走路上に存在し且つ前記第2物体が前記走路外に存在する場合、前記相対距離が前記閾値以下であっても、前記第1物体と前記第2物体とは別の物体であると判定し、
    少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離が前記閾値以下である前記走路外の前記第2物体と、前記第1物体との前記相対距離が前記閾値以下でない前記走路上の前記第2物体とを前記レーダ情報処理部が検出した場合、前記同一性判定部は、前記走路上の前記第2物体に対して走行制御を行う
    ことを特徴とする物体認識装置。
  3. カメラが取得した車両の周辺画像を用いて前記車両の進行方向に存在する第1物体を検出するカメラ情報処理部と、
    レーダが検出した反射波に基づいて前記進行方向に存在する第2物体を検出するレーダ情報処理部と、
    前記第1物体の位置と前記第2物体の位置とを比較して、前記第1物体と前記第2物体の同一性を判断する同一性判定部と
    を備える物体認識装置であって、
    前記同一性判定部は、
    前記第1物体と前記第2物体とが同一であるか否かを判定するための前記第1物体と前記第2物体の相対距離の閾値を設定し、
    前記第1物体の少なくとも一部が前記車両の走路上に存在し且つ前記第2物体が前記走路外に存在する場合、前記相対距離が前記閾値以下であっても、前記第1物体と前記第2物体とは別の物体であると判定し、
    少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離がそれぞれ前記閾値以下である前記走路外の前記第2物体及び前記走路上の前記第2物体を検出した場合、前記同一性判定部は、前記走路外の前記第2物体の方が、前記走路上の前記第2物体よりも前記相対距離が短くても、前記第1物体と前記走路上の前記第2物体とが同一であると判定する
    ことを特徴とする物体認識装置。
  4. カメラが取得した車両の周辺画像を用いて前記車両の進行方向に存在する第1物体を検出するカメラ情報処理部と、
    レーダが検出した反射波に基づいて前記進行方向に存在する第2物体を検出するレーダ情報処理部と、
    前記第1物体の位置と前記第2物体の位置とを比較して、前記第1物体と前記第2物体の同一性を判断する同一性判定部と
    を備える物体認識装置であって、
    前記同一性判定部は、
    前記第1物体と前記第2物体とが同一であるか否かを判定するための前記第1物体と前記第2物体の相対距離の閾値を設定し、
    前記第1物体の少なくとも一部が前記車両の走路上に存在し且つ前記第2物体が前記走路外に存在する場合、前記相対距離が前記閾値以下であっても、前記第1物体と前記第2物体とは別の物体であると判定し、
    少なくとも一部が前記走路上にある前記第1物体を前記カメラ情報処理部が検出し且つ前記第1物体との前記相対距離が前記閾値以下である前記走路外の前記第2物体と、前記第1物体との前記相対距離が前記閾値以下でない前記走路上の前記第2物体とを前記レーダ情報処理部が検出した場合、前記同一性判定部は、前記第1物体と前記走路上の前記第2物体とが同一であると判定する
    ことを特徴とする物体認識装置。
JP2014210381A 2014-10-15 2014-10-15 物体認識装置 Active JP6084192B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014210381A JP6084192B2 (ja) 2014-10-15 2014-10-15 物体認識装置
DE102015219780.8A DE102015219780A1 (de) 2014-10-15 2015-10-13 Objekterkennungsvorrichtung
US14/881,360 US9797734B2 (en) 2014-10-15 2015-10-13 Object recognition apparatus
CN201510666153.4A CN105522998B (zh) 2014-10-15 2015-10-15 物体识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014210381A JP6084192B2 (ja) 2014-10-15 2014-10-15 物体認識装置

Publications (2)

Publication Number Publication Date
JP2016081202A JP2016081202A (ja) 2016-05-16
JP6084192B2 true JP6084192B2 (ja) 2017-02-22

Family

ID=55638218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014210381A Active JP6084192B2 (ja) 2014-10-15 2014-10-15 物体認識装置

Country Status (4)

Country Link
US (1) US9797734B2 (ja)
JP (1) JP6084192B2 (ja)
CN (1) CN105522998B (ja)
DE (1) DE102015219780A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015217386A1 (de) * 2015-09-11 2017-03-16 Robert Bosch Gmbh Verfahren und System zum Betreiben eines Kraftfahrzeugs
JP6252576B2 (ja) * 2015-09-30 2017-12-27 トヨタ自動車株式会社 車両の運転支援装置
JP6600271B2 (ja) * 2016-03-31 2019-10-30 株式会社デンソー 物体認識装置及び物体認識方法
JP6747269B2 (ja) * 2016-12-06 2020-08-26 トヨタ自動車株式会社 物体認識装置
WO2018134941A1 (ja) * 2017-01-19 2018-07-26 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN110582428A (zh) * 2017-03-31 2019-12-17 空中客车A^3有限责任公司 用于感测外部对象的交通工具监控***和方法
US10914110B2 (en) * 2017-11-02 2021-02-09 Magna Closures Inc. Multifunction radar based detection system for a vehicle liftgate
US11555913B2 (en) * 2017-11-13 2023-01-17 Mitsubishi Electric Corporation Object recognition device and object recognition method
DE112017008157T5 (de) * 2017-11-20 2020-09-10 Mitsubishi Electric Corporation Hinderniserkennungsvorrichtung und Hinderniserkennungsverfahren
KR102391205B1 (ko) * 2018-03-20 2022-04-27 주식회사 에이치엘클레무브 객체 검출 기반 거리 추정 장치 및 그 방법
US11066067B2 (en) * 2018-06-29 2021-07-20 Baidu Usa Llc Planning parking trajectory for self-driving vehicles
CN110874925A (zh) 2018-08-31 2020-03-10 百度在线网络技术(北京)有限公司 智能路侧单元及其控制方法
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
JP7107125B2 (ja) * 2018-09-19 2022-07-27 トヨタ自動車株式会社 車両制御装置
CN109581358B (zh) * 2018-12-20 2021-08-31 奇瑞汽车股份有限公司 障碍物的识别方法、装置及存储介质
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN109901156A (zh) * 2019-01-25 2019-06-18 中国汽车技术研究中心有限公司 一种车辆毫米波雷达和摄像头的目标融合方法和装置
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
CN110347273B (zh) * 2019-07-12 2023-04-28 哈尔滨工业大学(威海) 基于激光的人机交互方法
CN110633625A (zh) * 2019-07-31 2019-12-31 北京木牛领航科技有限公司 识别方法和***
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
KR20220052616A (ko) * 2020-10-21 2022-04-28 현대자동차주식회사 운전자 보조 장치, 차량 및 그 제어 방법
US11808882B2 (en) * 2020-11-20 2023-11-07 Bae Systems Information And Electronic Systems Integration Inc. Radar electronic countermeasures without a threat database
US11634152B2 (en) 2021-06-23 2023-04-25 Rivian Ip Holdings, Llc Systems and methods for providing a suggested steering action indicator to user interface of vehicle

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109625B2 (ja) * 1985-04-17 1995-11-22 株式会社日立製作所 三次元立体視方法
JP3016047B2 (ja) * 1991-12-27 2000-03-06 本田技研工業株式会社 車両における対照障害物の位置推定方法
JP2952796B2 (ja) * 1991-12-27 1999-09-27 本田技研工業株式会社 車両用衝突判断装置
DE19537129A1 (de) 1994-10-05 1996-04-11 Mazda Motor Hinderniserfassungssystem für Fahrzeuge
JP4011711B2 (ja) * 1998-01-13 2007-11-21 本田技研工業株式会社 車両走行安全装置
AU6894100A (en) * 1999-08-06 2001-03-05 Roadrisk Technologies, Llc Methods and apparatus for stationary object detection
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
JP3770189B2 (ja) * 2002-03-19 2006-04-26 株式会社デンソー 物体認識装置、物体認識方法、レーダ装置
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
US7136753B2 (en) * 2002-12-05 2006-11-14 Denso Corporation Object recognition apparatus for vehicle, inter-vehicle control apparatus, and distance measurement apparatus
JP4193765B2 (ja) 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
JP2005227947A (ja) * 2004-02-12 2005-08-25 Alpine Electronics Inc ナビゲーション装置及び障害物表示方法
DE102004046873A1 (de) * 2004-09-28 2006-04-13 Robert Bosch Gmbh Radarsensor und Verfahren zur Abstands- und Geschwindigkeitsregelung
JP4304517B2 (ja) 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
JP4173901B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
DE102010037163B4 (de) * 2009-08-27 2017-12-21 Fujitsu Ten Ltd. Signalverarbeitungsvorrichtung, Radarvorrichtung, Fahrzeugsteuersystem, Signalverarbeitungsverfahren und computerlesbares Medium
JP5537491B2 (ja) * 2011-05-12 2014-07-02 富士重工業株式会社 環境認識装置
JP5727356B2 (ja) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 物体検知装置
JP5849040B2 (ja) 2012-11-28 2016-01-27 富士重工業株式会社 車両の運転支援制御装置
JP5842862B2 (ja) * 2013-05-14 2016-01-13 株式会社デンソー 衝突緩和装置

Also Published As

Publication number Publication date
US20160107643A1 (en) 2016-04-21
DE102015219780A1 (de) 2016-04-21
CN105522998B (zh) 2018-04-17
CN105522998A (zh) 2016-04-27
US9797734B2 (en) 2017-10-24
JP2016081202A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
JP6084192B2 (ja) 物体認識装置
JP6190758B2 (ja) 物体認識装置及び車両
US10501122B2 (en) Driving assistance device
US10503985B2 (en) Pedestrian determination method and determination device
CN109204311B (zh) 一种汽车速度控制方法和装置
US9731717B2 (en) Driver assistance apparatus and method for operating the same
JP5952862B2 (ja) 車両の運転支援装置
CN107004368B (zh) 车辆的行驶控制装置以及行驶控制方法
JP6327708B2 (ja) 車両の運転支援装置
WO2016158944A1 (ja) 車両制御装置及び車両制御方法
JP6787157B2 (ja) 車両制御装置
JP6166249B2 (ja) 交通支援装置
US20170240177A1 (en) Driving assistance device
JP6348785B2 (ja) 車両の運転支援装置
JP6174644B2 (ja) 画像処理装置
JP2017047765A (ja) 走行制御装置
JP6412346B2 (ja) 車両の運転支援装置
CN105121246A (zh) 用于超车辅助的方法和装置
CN107004367B (zh) 车辆的行驶控制装置以及行驶控制方法
JP2018067102A (ja) 車両制御装置
JP2017068461A (ja) 車両の運転支援装置
JP2019018733A (ja) 運転支援装置
JP6193177B2 (ja) 動作支援システム及び物体認識装置
JP2016011088A (ja) 車両制御装置、車両制御方法、及び、車両制御用プログラム
JP6317986B2 (ja) 物体認識装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170124

R150 Certificate of patent or registration of utility model

Ref document number: 6084192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150