JP6717240B2 - 物標検出装置 - Google Patents

物標検出装置 Download PDF

Info

Publication number
JP6717240B2
JP6717240B2 JP2017044244A JP2017044244A JP6717240B2 JP 6717240 B2 JP6717240 B2 JP 6717240B2 JP 2017044244 A JP2017044244 A JP 2017044244A JP 2017044244 A JP2017044244 A JP 2017044244A JP 6717240 B2 JP6717240 B2 JP 6717240B2
Authority
JP
Japan
Prior art keywords
target
vehicle
determination
unit
traveling speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017044244A
Other languages
English (en)
Other versions
JP2018147399A (ja
Inventor
祐輔 横井
祐輔 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017044244A priority Critical patent/JP6717240B2/ja
Priority to US15/913,304 priority patent/US10539418B2/en
Publication of JP2018147399A publication Critical patent/JP2018147399A/ja
Application granted granted Critical
Publication of JP6717240B2 publication Critical patent/JP6717240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、物標を検出する物標検出装置に関する。
例えば、特許文献1には、以下の技術が開示されている。画像から認識された複数の物標のうち、自車両からの距離及び方位が、ミリ波レーダにより検出された物標と同一又は近似している物標を、同一物標として検出する。そして、検出した同一物標が自車両の前方を横断する歩行者(以下、横断歩行者と呼称)であるか否かを、横断歩行者であることの確からしさを表すパラメータから判断する。このパラメータの一つとして、オプティカルフロー尤度が挙げられている。同一物標において設定された特徴点のオプティカルフローが、画像上での横方向の動きである場合、オプティカルフロー尤度を高い値に設定する。なお、オプティカルフロー尤度は、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きいことを示している。
特開2016−197278号公報
ところで、物標の自車両に対する横位置に実際の変化がなくても、物標と自車両との距離が短くなるにつれ、画像上では、物標の自車両に対する横位置は自車両から離間する方向に移動することになる。このとき、物標の自車両に対する横位置が離間しているほど、物標と自車両との距離が短くなることで、物標の自車両に対する横位置が自車両から離間する方向に移動する単位時間当たりの移動量(以降、離間移動量と呼称)は多くなることになる。このため、物標と自車両との距離が縮まりつつある状況で、物標が自車両の前方を横断する方向に移動した場合に、物標の自車両に対する横位置が離間しているほど、画像上における物標の横断する方向への単位時間当たりの移動量(以降、横断移動量と呼称)は離間移動量により相殺されることで少なく算出される傾向にある。この場合、物標のオプティカルフローに基づいて横断歩行者であるか否かを正確に判定することが困難となることから、特許文献1において、オプティカルフロー尤度の横断歩行者判定に対する寄与度は、他のパラメータと比較して低く設定せざるを得ない。
本発明は上記課題を解決するためになされたものであり、その主たる目的は、物標のオプティカルフローに基づいて物標が横断物標であることを精度高く判定可能な状況であるか否かを判定することが可能な判定装置を提供することにある。
本発明は、車両の進行方向前方を撮像する撮像装置から画像情報を取得する物標検出装置であって、前記画像情報に基づいて前記車両の進行方向前方に存在する物標を検出する物標検出部と、前記物標の位置に基づいて、前記物標が将来的に前記車両に衝突する位置である衝突予測位置を算出する衝突予測位置算出部と、前記衝突予測位置算出部により算出された前記衝突予測位置に基づいて、前記物標が前記車両の進行方向前方を横切る方向に移動する横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であるか否かを判定する第一判定部と、を備える。
物標の自車両に対する横位置に実際の変化がなくても、物標と自車両との距離が短くなるにつれ、画像上では、物標の自車両に対する横位置は自車両から離間する方向に移動するという現象が生じる。このとき、物標の自車両に対する横位置が離間しているほど、物標と自車両との距離が短くなることで、物標の自車両に対する横位置が自車両から離間する方向に移動する単位時間当たりの移動量(以降、離間移動量と呼称)は多くなることになる。この現象により、物標が車両の進行方向前方を横切る方向に移動する横断物標であるか否かの判定を、物標のオプティカルフローから判定する場合に判定精度を確保することが出来ない状況が生じる懸念がある。
例えば、物標が車両の進行方向前方を横切る方向に移動しており、物標の位置に基づいて算出される衝突予測位置が、車両において車幅方向における中点よりも物標が存在する側に位置している場合を想定する。この場合、衝突予測位置が、車両において車幅方向における中点よりも物標が存在する側とは反対側に位置している場合と比較して、衝突予測位置が算出された時点の物標の横位置は自車両から大きく離間していることが考えられる。この場合、物標の離間移動量が多くなり、画像上における物標の横断する方向への単位時間当たりの移動量(以降、横断移動量と呼称)が離間移動量により相殺されることで少なくなる度合いが大きくなることが考えられる。そして画像上における物標の横断移動量が少ない状況では、物標のオプティカルフローに基づいて横断物標であるか否かを正確に判定することができない。
この対策として、物標検出装置は第一判定部を備えており、衝突予測位置に基づいて、物標が横断物標であることを物標のオプティカルフローから判定することが可能な状況であるか否かが判定される。これにより、物標のオプティカルフローに基づいて物標が横断物標であることを精度高く判定可能な状況であるか否かを判定することができる。
制御ECUと、それに関連する構成とを表すブロック図である。 制御ECUが実行する処理を表すフローチャートである。 物標群の例を表す説明図である。 オプティカルフローの取得例を表す説明図である。 物標の横方向での移動速度を表す説明図である。 物標が自車両に近づくにつれ、物標の自車両に対する横位置は自車両から離間する方向に移動することを説明する説明図である。 物標の衝突予測位置次第で、フロー尤度算出処理の算出精度を確保できないことを説明する説明図である。 図2に記載のステップS7のサブルーチン処理である。
制御ECU1と、それに関連する構成とを図1に基づき説明する。制御ECU1は歩行者判定装置の一例である。制御ECU1は車両に搭載される車載装置である。以下では、制御ECU1を搭載する車両を自車両とする。制御ECU1は、CPU、RAM、ROM等を備える公知のコンピュータである。制御ECU1は、ROMに記憶したプログラムにより、後述する処理を実行する。
制御ECU1は、機能的に、物標検出ユニット3、歩行者らしさ算出ユニット5、歩行者判定ユニット7、画像取得ユニット9、画像認識ユニット11、一致度取得ユニット13、状況判定ユニット40、オプティカルフロー取得ユニット15、移動速度取得ユニット17、移動量取得ユニット19、ブレーキ実行条件設定ユニット21、及びブレーキ実行判断ユニット22を備える。各ユニットの機能は後述する。なお、画像認識ユニット11は物標検出部に該当する。
自車両は、制御ECU1に加えて、画像センサ(撮像装置に該当)23、ミリ波レーダ25、ブレーキECU27、及び走行速度センサ28を備える。
画像センサ23は、自車両の前方(進行方向)の風景を所定の周期ごとに撮影し、画像データを生成する。ミリ波レーダ25は、周波数変調されたミリ波帯のレーダ波を送受信することにより、自車両前方の物標(例えば、他の車両、歩行者、路側物、障害物等)を検出する。また、ミリ波レーダ25は、自車両から物標までの車間距離、自車両を基準とする物標の方位、及び自車両を基準とする物標の相対速度を取得可能である。走行速度センサ28は、車両の走行速度(車速)を検出することが可能である。
ブレーキECU27は、CPU、RAM、ROM等を備える公知のコンピュータである。ブレーキECU27は、ROMに記憶されたプログラムにより、種々の処理を実行する。その処理の1つとして、ブレーキECU27は、後述する実行指示を制御ECU1から受信したとき、自動ブレーキの処理を行う。
制御ECU1が所定時間ごとに繰り返し実行する処理を図2〜図5に基づき説明する。図2のステップS1では、物標検出ユニット3が、ミリ波レーダ25を用いて、自車両の前方に存在する物標を検出する。また、自車両から物標までの車間距離、自車両を基準とする物標の方位、及び自車両を基準とする物標の相対速度を取得する。
ステップS2では、歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにして反射波に関する、歩行者である尤度(以下では反射波尤度とする)を算出する。
歩行者らしさ算出ユニット5は、前記ステップS1で物標を検出したときの反射波(ミリ波レーダ25が送出したレーダ波が物標で反射した電波)の強度、及び反射波のゆらぎ(時間の経過にともない反射波の強度が変動する程度)の大きさを取得する。
歩行者らしさ算出ユニット5は、反射波の強度、及びゆらぎの大きさを入力すると反射波尤度を出力するマップを予め備えている。このマップに、上記のように取得した反射の強度及びゆらぎの大きさを入力し、反射波尤度を算出する。
上記のように算出される、反射波尤度は、反射波の強度が予め設定された閾値以下である場合は、それ以外の場合よりも大きい。また、反射波尤度は、反射波におけるゆらぎの大きさが予め設定された閾値以上である場合は、それ以外の場合よりも大きい。
なお、反射波尤度は、物標が自車両の前方を横断する歩行者であることの確からしさ(尤度)を表すパラメータである。反射波尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS3では、歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにして配列に関する、歩行者である尤度(以下では配列尤度とする)を算出する。
歩行者らしさ算出ユニット5は、前記ステップS1において、一定間隔で配列されている複数の物標(以下、物標群とする)を検出し、配列尤度を算出しようとしている物標が、その物標群の一部であるか否かを判断する。物標群の例を図3に示す。この例では、自車両29の前方に、一定間隔で配列された複数の物標31から成る物標群33が存在している。物標群33としては、例えば、道路に沿って一定間隔で設けられたポールの列等が挙げられる。
配列尤度を算出しようとしている物標が物標群の一部である場合、歩行者らしさ算出ユニット5は、その物標における、配列尤度の値をA1とする。一方、配列尤度を算出しようとしている物標が物標群の一部ではない場合、歩行者らしさ算出ユニット5は、その物標における、配列尤度の値をA2とする。ここで、A1、A2は定数であり、それらの大小関係は、0<A1<A2である。
なお、配列尤度は、物標が自車両の前方を横断する歩行者であることの確からしさを表すパラメータである。配列尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS4では、画像取得ユニット9が、画像センサ23を用いて、自車両前方の画像を取得する。
ステップS5では、画像認識ユニット11が、前記ステップS4で取得した画像において、周知の画像認識技術により、物標を認識する。物標の認識は、物標の種類ごとに予め用意された辞書とのマッチングにより行われる。辞書には、歩行者用の辞書、車両用の辞書、路側物用の辞書等がある。
ステップS6では、一致度取得ユニット13及び歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにして一致度に関する、歩行者である尤度(以下では一致度尤度とする)を算出する。
まず、一致度取得ユニット13は、前記ステップS5で認識された物標のうち、前記ステップS1で検出した物標と同一のもの(以下では同一物標とする)を特定する。このとき、一致度取得ユニット13は、前記ステップS5で認識された物標のうち、自車両からの車間距離及び方位が前記ステップS1で検出された物標と同一又は近似している物標を、同一物標とすることができる。そして、一致度取得ユニット13は、同一物標と歩行者用の辞書とのマッチングにおける一致度を取得する。ここで、一致度とは、物標と辞書とのマッチングにおける一致の程度を意味する。同一物標と辞書とが共通する特徴を多く有するほど、一致度は高くなる。
次に、歩行者らしさ算出ユニット5は、上記のように取得された一致度から、一致度尤度を算出する。すなわち、歩行者らしさ算出ユニット5は、一致度を入力すると一致度尤度を出力するマップを予め備えており、このマップに、上記のように取得した一致度を入力し、一致度尤度を算出する。このように算出される、一致度尤度は、一致度が高いほど大きい。
なお、一致度尤度は、物標が自車両の前方を横断する歩行者であることの確からしさを表すパラメータである。一致度尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS7では、状況判定ユニット40が、物標のオプティカルフローに基づいて同一物標が自車両の前方を横断する歩行者であることの確からしさ(以降、オプティカルフロー尤度と呼称)を算出する場合の、算出精度を確保することが可能な状況であるか否かを判定する。フロー尤度算出処理(後述のステップS8及び9に該当)の算出精度を確保可能な状況であるか否かの判定処理については後述する。フロー尤度算出処理の算出精度を確保可能な状況ではないと判定した場合には(S7:NO)、後述のステップS10に進む。フロー尤度算出処理の算出精度を確保可能な状況であると判定した場合には(S7:YES)、ステップS8に進む。
ステップS8では、オプティカルフロー取得ユニット15が、前記ステップS4で取得した画像上で同一物標における特徴点を設定し、その特徴点のオプティカルフロー(画像上での見かけの動き)を取得する。オプティカルフローは、時間差をおいて取得された複数の画像において、特徴点を追跡することで得られる。特徴点は、画像における物標のエッジ(隣接する画素間で輝度の差が所定値以上となる部位)とすることができる。
オプティカルフローの取得例を図4に示す。この例では、画像35において、同一物標(歩行者)37が認識されている。そして、同一物標37における特徴点39のオプティカルフロー41が取得されている。
ステップS9では、歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにしてオプティカルフロー尤度を算出する。
歩行者らしさ算出ユニット5は、前記ステップS8で取得したオプティカルフローが、画像上での横方向の動きであるか否かを判断する。オプティカルフローが画像上での横方向の動きである場合、歩行者らしさ算出ユニット5は、前記ステップS1で検出した物標におけるオプティカルフロー尤度の値をB1とする。一方、オプティカルフローが画像上での横方向の動きではない場合、歩行者らしさ算出ユニット5は、その物標におけるオプティカルフロー尤度の値をB2とする。ここで、B1、B2は定数であり、それらの大小関係は、0<B2<B1である。
なお、オプティカルフロー尤度は、物標が自車両の前方を横断する歩行者であることの確からしさを表すパラメータである。オプティカルフロー尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS10では、移動速度取得ユニット17が、前記ステップS1で検出した物標について横方向での移動速度を取得するとともに、移動量取得ユニット19が、前記ステップS1で検出した物標について横方向での移動量を取得する。
ここで、図5に基づき、横方向での移動速度と横方向での移動量を説明する。前記ステップS1で検出した物標38の相対速度がVであるとする。横方向での移動速度V1は、相対速度Vのうち、自車両29の車幅方向における成分である。また、横方向での移動量は、移動速度V1の、所定の期間における積分量である。
移動速度取得ユニット17は、ミリ波レーダ25の検出結果から、横方向での移動速度と横方向での移動量を取得することができる。また、移動速度取得ユニット17は、画像センサ23により取得した複数の画像から、横方向での移動速度と横方向での移動量を取得してもよい。
ステップS11では、歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにして横方向での移動速度に関する、歩行者である尤度(以下では移動速度尤度とする)を算出する。
歩行者らしさ算出ユニット5は、前記ステップS10で取得した横方向での移動速度が、予め設定された範囲内であるか否かを判断する。なお、この範囲は、自車両の前方を横断する歩行者の一般的な速度を含む範囲である。
横方向での移動速度が上記の範囲内である場合、歩行者らしさ算出ユニット5は、前記ステップS1で検出した物標における移動速度尤度の値をC1とする。一方、横方向での移動速度が上記の範囲外である場合、歩行者らしさ算出ユニット5は、その物標における移動速度尤度の値をC2とする。ここで、C1、C2は定数であり、それらの大小関係は、0<C2<C1である。
なお、移動速度尤度は、物標が自車両の前方を横断する歩行者であることの確からしさを表すパラメータである。移動速度尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS12では、歩行者らしさ算出ユニット5が、前記ステップS1で検出した物標について、以下のようにして横方向での移動量に関する、歩行者である尤度(以下では移動量尤度とする)を算出する。
歩行者らしさ算出ユニット5は、前記ステップS10で取得した横方向での移動量が、予め設定された範囲内であるか否かを判断する。なお、この範囲は、自車両の前方を横断する歩行者の一般的な移動量を含む範囲である。
横方向での移動量が上記の範囲内である場合、歩行者らしさ算出ユニット5は、前記ステップS1で検出した物標における移動量尤度の値をD1とする。一方、横方向での移動量が上記の範囲外である場合、歩行者らしさ算出ユニット5は、その物標における移動量尤度の値をD2とする。ここで、D1、D2は定数であり、それらの大小関係は、0<D2<D1である。
なお、移動量尤度は、物標が自車両の前方を横断する歩行者であることの確からしさを表すパラメータである。移動量尤度は正の数であり、その値が大きいほど、物標が自車両の前方を横断する歩行者であることの確からしさが大きい。
ステップS13では、歩行者らしさ算出ユニット5が、前記ステップS2で算出した反射波尤度と、前記ステップS3で算出した配列尤度と、前記ステップS6で算出した一致度尤度と、前記ステップS9で算出したオプティカルフロー尤度と、前記ステップS11で算出した移動速度尤度と、前記ステップS12で算出した移動量尤度とを乗算し、総合した、歩行者である尤度(以下では総合尤度とする)を算出する。
この総合尤度は、物標をミリ波レーダ25で検出したときの反射波の強度が予め設定された閾値以下である場合は、それ以外の場合よりも大きく、反射波におけるゆらぎの大きさが予め設定された閾値以上である場合は、それ以外の場合よりも大きい。
また、総合尤度は、物標が物標群の一部である場合は、それ以外の場合より小さい。また、総合尤度は、同一物標のマッチングにおける一致度が高いほど大きい。また、総合尤度は、同一物標の特徴点におけるオプティカルフローが画像上での横方向の動きである場合は、それ以外の場合よりも大きい。また、総合尤度は、物標の横方向での移動速度が予め設定された範囲内である場合は、それ以外の場合よりも大きい。また、総合尤度は、物標の横方向での移動量が予め設定された範囲内である場合は、それ以外の場合よりも大きい。
ステップS14では、前記ステップS13で算出した、総合尤度が、予め設定された閾値以上であるか否かを歩行者判定ユニット7が判定する。総合尤度が閾値以上であると判定した場合は(S14:YES)、ステップS15に進む。
ステップS15では、歩行者判定ユニット7が、前記ステップS1で検出した物標を、自車両の前方を横断する歩行者と判定する。
ステップS16では、ブレーキ実行条件設定ユニット21が、第1のブレーキ実行条件を設定する。この第1のブレーキ実行条件とは、前記ステップS1で検出した物標がその条件を充足していれば、ブレーキECU27に対し、自動ブレーキの実行指示を出力するというものである。第1のブレーキ実行条件は、例えば、衝突余裕時間(TTC)、自車両から物標までの車間距離、自車両を基準とする物標の方位等に関する条件とすることができる。第1のブレーキ実行条件は、物標が自車両の前方を横断する歩行者である場合に好適な条件である。例えば、第1のブレーキ実行条件は、後述する第2のブレーキ実行条件よりも、充足しにくい条件とすることができる。
ステップS17では、前記ステップS1で検出した物標が、ブレーキ実行条件(前記ステップS16に進んだ場合は第1のブレーキ実行条件、後述するステップS19に進んだ場合は第2のブレーキ実行条件)を充足するか否かを判断し、充足する場合は自動ブレーキの実行指示をブレーキECU27に出力し、充足しない場合は本処理を終了する。
総合尤度が閾値未満であると判定した場合には(S14:NO)、ステップS18に進み、歩行者判定ユニット7が、前記ステップS1で検出した物標を、自車両の前方を横断する歩行者ではないと判定する。
ステップS19では、ブレーキ実行条件設定ユニット21が、第2のブレーキ実行条件を設定する。この第2のブレーキ実行条件とは、前記第1のブレーキ実行条件と同様に、前記ステップS1で検出した物標がその条件を充足していれば、ブレーキECU27に対し、自動ブレーキの実行指示を出力するというものである。第2のブレーキ実行条件は、例えば、TTC、自車両から物標までの車間距離、自車両を基準とする物標の方位等に関する条件とすることができる。第2のブレーキ実行条件は、自車両の前方を横断する歩行者以外の物標(例えば他の車両等)に対し好適な条件である。
なお、前記ステップS1で複数の物標を検出した場合は、それぞれの物標について前記ステップS2以降の処理を実行する。
なお、ステップS5の処理が物標検出部としての処理に該当する。
ところで、図6に示されるように、物標の自車両に対する横位置に実際の変化がなくても、物標と自車両との車間距離が短くなるにつれ、画像上では、物標の自車両に対する横位置は自車両から離間する方向に移動するという現象が生じる。このとき、物標の自車両に対する横位置が離間しているほど、物標と自車両との車間距離が短くなることで、物標の自車両に対する横位置が自車両から離間する方向に移動する単位時間当たりの移動量(以降、離間移動量と呼称)は多くなることになる。この現象により、オプティカルフロー尤度を算出する場合にその算出精度を確保することが出来ない状況が生じる懸念がある。
例えば、物標が自車両の進行方向前方を横切る方向に移動しており、物体が将来的に自車両に衝突する位置である衝突予測位置が、自車両において車幅方向における中点よりも物標が存在する側に位置している場合(図7のα参照)を想定する。この場合、衝突予測位置が、自車両において車幅方向における中点よりも物標が存在する側とは反対側に位置している場合(図7のβ参照)と比較して、衝突予測位置が算出された時点の物標の横位置は自車両から大きく離間していることが考えられる。この場合、物標の離間移動量が多くなり、画像上における物標の横断する方向への単位時間当たりの移動量(以降、横断移動量と呼称)が離間移動量により相殺されることで少なくなる度合いが大きくなることが考えられる。
あるいは、自車両の走行速度が高い場合、自車両と物標との車間距離の単位時間当たりの縮まる度合いは大きくなり、それに伴って、画像上における、物標の単位時間当たりの離間移動量は多くなる。このため、自車両の走行速度によっては、物標が自車両の前方を横断する方向に移動していたとしても、物標の横断移動量以上に、車間距離が縮まることによる物標の離間移動量が多くなる状況が生じることがある。
上記のように、画像上における物標の横断移動量が少なくなる状況では、オプティカルフロー尤度の算出精度を確保することができない。この対策として、制御ECU1に備わる状況判定ユニット40が、オプティカルフロー尤度の算出精度を確保することが可能な状況であるか否かを判定する(図2のステップS7参照)。状況判定ユニット40は、距離取得ユニット41、走行速度取得ユニット42、判定距離設定ユニット43、衝突予測位置演算ユニット44、及び判定ユニット45を備える。各ユニットの機能は後述する。なお、距離取得ユニット41は距離取得部に該当し、走行速度取得ユニット42は走行速度取得部に該当し、判定距離設定ユニット43は判定距離設定部に該当し、判定ユニット45は第一判定部に該当する。
図8を参照して、フロー尤度算出処理が可能な状況であるか否かの状況判定処理を説明する。図8に示す状況判定処理は、図2に記載のステップS7に相当するサブルーチン処理である。
まず、ステップS71では、距離取得ユニット41がミリ波レーダ25より自車両から物標までの車間距離を取得する。ステップS72では、走行速度取得ユニット42が走行速度センサ28により検出された自車両の走行速度を取得する。ステップS73では、判定距離設定ユニット43が取得した自車両の走行速度に基づいて、判定距離を設定する。
この判定距離は、自車両と物標との車間距離が、フロー尤度算出処理を実施するために適した距離であるか否かを判定するために設けられた閾値である。仮に自車両の走行速度が高くい場合に判定距離が短く設定されていると、自車両の走行速度が高いにも関わらず物標と自車両との車間距離が短い状況でフロー尤度算出処理が行われることが生じることが考えられる。物標が横断物標である場合、制御ECU1がブレーキECU27に自動ブレーキの実行指示を出力し、自動ブレーキを実施したとしても、物標と自車両との衝突回避が間に合わない場合が生じることが懸念される。このため、自車両の走行速度が高いほど判定距離は大きく設定される。しかし、自車両の走行速度が過剰に高い場合には、物標の離間移動量が大きくなり、フロー尤度算出処理の精度が低くなることが考えられる。また、自車両の走行速度が過剰に低く、且つ、物標の速度が低い場合には、画像上における物標の横断移動量が少なく算出されることが想定される。この場合、物標のオプティカルフローに基づいて横断物標であるか否かを正確に判定することができない。
以上を考慮し、自車両の走行速度が第二所定範囲内に収まる場合に、走行速度が高いほど判定距離を大きく設定し、自車両の走行速度が第二所定範囲内に収まらない場合に、自車両の走行速度は過剰に高い、あるいは過剰に低いとして、判定距離を0に設定する。
ステップS74では、判定ユニット45が自車両と物標との車間距離が判定距離よりも短いか否かを判定する。自車両と物標との車間距離が判定距離よりも短いと判定した場合には(S74:YES)、ステップS75に進む。
ステップS75では、衝突予測位置演算ユニット44が、ミリ波レーダ25より検出された物標の位置に基づいて、衝突予測位置を演算する。衝突予測位置の演算方法は周知であるため、説明は省略する。ステップS76では、判定ユニット45が、衝突予測位置演算ユニット44により演算された衝突予測位置が予め定められる判定範囲A(図7参照)内に収まっているか否かを判定する。
衝突予測位置が車両幅の範囲内に収まる物標は、将来的に自車両と衝突する可能性が高い物標である。このため、判定範囲Aは車両幅に設定される。これにより、将来的に自車両と衝突する可能性が高い物標が横断物標であるか否かを判定することができる。ところで、衝突予測位置が、車幅方向における物標が存在する側の自車両の端部周辺に位置していた場合(図7のβ参照)を想定する。この場合、衝突予測位置が算出された時点での物標の横位置は自車両から大きく離間しているなど、画像上において物標の単位時間あたりの横断移動量が少なくなる状況が考えられ、このような状況ではオプティカルフローを演算するには適していない状況であることが考えられる。このため、判定範囲Aは、車幅方向における物標が存在する側の自車両の端部を含めた第一所定範囲Bを除いた、車両幅に設定される。また、第一所定範囲Bは、自車両において車幅方向における中点から物標が存在する側の自車両の端部までの範囲に設定される。つまり、判定範囲Aは、自車両において車幅方向における中点から物標が存在する側とは反対側の自車両の端部までの範囲に設定される。
衝突予測位置が予め定められる判定範囲A内に収まっていると判定した場合には(S76:YES)、ステップS77に進み、判定ユニット45がフロー尤度算出処理が実施可能な状況であると判定し、本判定処理を終了する。
自車両と物標との車間距離が判定距離よりも短くないと判定した場合(S74:NO)、あるいは、衝突予測位置が予め定められる判定範囲A内に収まっていないと判定した場合には(S76:NO)、ステップS78に進み、判定ユニット45が、フロー尤度算出処理が実施可能な状況ではないと判定し、本判定処理を終了する。
なお、ステップS71の処理が距離取得部としての処理に該当し、ステップS72の処理が走行速度取得部としての処理に該当し、ステップS73の処理が判定距離設定部としての処理に該当し、ステップS75の処理が衝突予測位置算出部に該当し、ステップS74,76〜78の処理が第一判定部としての処理に該当する。
上記構成により、本実施形態は、以下の効果を奏する。
・衝突予測位置と、走行速度と、に基づいて、物標が横断物標であることを物標のオプティカルフローから判定することが可能な状況であるか否かが判定される。これにより、物標のオプティカルフローに基づいて物標が横断物標であることを精度高く判定可能な状況であるか否かを判定することができる。
・判定範囲Aは、車幅方向における物標が存在する側の自車両の端部を含めた第一所定範囲Bを除いた、車両幅に設定される。これにより、将来的に自車両と衝突する可能性が高い物標のうち、オプティカルフローを用いての横断物標判定を実施可能な物標はどれか判定することが可能となる。また、自車両から離れる方向へ移動する物標は衝突の可能性が低いため、ステップS76の判定処理を実施することで自車両から離れる方向へ移動する物標を、オプティカルフローの判定処理の実施対象から除外することができる。
・走行速度が第二所定範囲内に収まる場合に、走行速度が高いほど判定距離が大きく設定され、走行速度が第二所定範囲内に収まらない場合に、判定距離が0に設定される。これにより、自車両の走行速度に応じた適切な判定距離を設定することができる。
・フロー尤度算出処理を実施可能な状況であると判定されたことを条件として、フロー尤度算出処理が実施されることで、算出精度の低下を抑制することができる。
上記実施形態を、以下のように変更して実施することもできる。
・上記実施形態では、ミリ波レーダ25より検出された物標の位置に基づいて、衝突予測位置を演算していた。このことについて、画像センサ23により撮影された画像データに基づいて取得された物標の位置に基づいて、衝突予測位置を演算してもよい。
・図8に係るステップS74の判定処理に用いられる車間距離は、ミリ波レーダ25より取得していた。このことについて、画像センサ23により撮影された画像データに基づいて車間距離が取得されてもよい。
・上記実施形態において、状況判定処理にて肯定判定された場合に(図2のステップS7の判定処理にてYES判定だった場合に)実施されるフロー尤度算出処理では、物標が自車両の前方を横断する歩行者であることの確からしさ(オプティカルフロー尤度)を算出していた。このことについて、状況判定処理にて肯定判定された場合に実施される処理はフロー尤度算出処理のみに限らず、例えば物標が自車両の前方を通過する(進行方向前方を横切る)車両であることの確からしさを算出する処理であってもよい。あるいは、制御ECU1は、歩行者らしさ算出ユニット5,歩行者判定ユニット7,画像認識ユニット11,一致度取得ユニット13,移動速度取得ユニット17,移動量取得ユニット19を備える代わりに、第二判定ユニット20を備えた構成としてもよい。この場合、第二判定ユニット20は、オプティカルフロー取得ユニット15により取得された物標のオプティカルフローに基づいて、物標が自車両の前方を横切る横断物標であるか否かを判定する判定処理(第二判定部としての判定処理に該当)を行う。したがって、第二判定ユニット20は第二判定部に該当する。
・上記実施形態では、走行速度が第二所定範囲に収まらない場合に、判定距離を0に設定していた。このことについて、第二所定範囲を設けず、走行速度が高いほど判定距離を大きく設定するように構成してもよい。
・上記実施形態では、衝突予測位置と、走行速度と、に基づいて、物標が横断物標であることを物標のオプティカルフローから判定することが可能な状況であるか否かを判定していた。このことについて、衝突予測位置に基づいて、物標が横断物標であることを物標のオプティカルフローから判定することが可能な状況であるか否かを判定してもよい。
・上記実施形態において、判定範囲Aは、第一所定範囲Bを除いた車両幅に設定されていた。このことについて、判定範囲Aは、第一所定範囲Bを除いていれば、車幅方向における物標が存在する側とは反対側に車両幅よりも所定幅広く設定されてもよい。
1…制御ECU、11…画像認識ユニット、23…画像センサ、44…衝突予測位置演算ユニット、45…判定ユニット。

Claims (7)

  1. 車両の進行方向前方を撮像する撮像装置(23)から画像情報を取得する物標検出装置(1)であって、
    前記画像情報に基づいて前記車両の進行方向前方に存在する物標を検出する物標検出部(11)と、
    前記物標の位置に基づいて、前記物標が将来的に前記車両に衝突する位置である衝突予測位置を算出する衝突予測位置算出部(44)と、
    前記衝突予測位置算出部により算出された前記衝突予測位置に基づいて、前記物標が前記車両の進行方向前方を横切る方向に移動する横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であるか否かを判定する第一判定部(45)と、
    を備える物標検出装置。
  2. 前記第一判定部は、前記衝突予測位置算出部により算出された前記衝突予測位置が、前記車両の車幅方向において設定された判定範囲(A)内に収まる場合に、前記横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であると判定する請求項1に記載の物標検出装置。
  3. 前記判定範囲は、車幅方向における前記物標が存在する側の前記自車両の端部を含めた第一所定範囲(B)を除いた、車両幅を含むように設定される請求項2に記載の物標検出装置。
  4. 前記車両の走行速度を取得する走行速度取得部(42)を備え、
    前記第一判定部は、走行速度取得部により取得された前記走行速度と、前記衝突予測位置算出部により算出された前記衝突予測位置と、に基づいて、前記物標が前記横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であるか否かを判定する請求項1乃至3のいずれか1項に記載の物標検出装置。
  5. 前記車両から前記物標検出部により検出された前記物標までの距離を取得する距離取得部(41)と、
    前記走行速度取得部により取得された前記走行速度に基づいて、判定距離を設定する判定距離設定部(43)と、
    を備え、
    前記第一判定部は、前記距離取得部により取得された前記距離が前記判定距離設定部により設定された前記判定距離よりも短いと判定した場合に、前記横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であると判定する請求項4に記載の物標検出装置。
  6. 前記判定距離設定部は、前記走行速度取得部により取得された前記走行速度が第二所定範囲内に収まる場合に、前記走行速度が高いほど前記判定距離を大きく設定し、前記走行速度取得部により取得された前記走行速度が第二所定範囲内に収まらない場合に、前記判定距離を0に設定する請求項5に記載の物標検出装置。
  7. 前記第一判定部により前記物標が前記横断物標であることを前記物標のオプティカルフローから判定することが可能な状況であると判定されたことを条件として、前記物標のオプティカルフローに基づいて前記物標が前記横断物標であるか否かを判定する第二判定部(20)を備える請求項1乃至6のいずれか1項に記載の物標検出装置。
JP2017044244A 2017-03-08 2017-03-08 物標検出装置 Active JP6717240B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017044244A JP6717240B2 (ja) 2017-03-08 2017-03-08 物標検出装置
US15/913,304 US10539418B2 (en) 2017-03-08 2018-03-06 Target detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017044244A JP6717240B2 (ja) 2017-03-08 2017-03-08 物標検出装置

Publications (2)

Publication Number Publication Date
JP2018147399A JP2018147399A (ja) 2018-09-20
JP6717240B2 true JP6717240B2 (ja) 2020-07-01

Family

ID=63444854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017044244A Active JP6717240B2 (ja) 2017-03-08 2017-03-08 物標検出装置

Country Status (2)

Country Link
US (1) US10539418B2 (ja)
JP (1) JP6717240B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6534609B2 (ja) * 2015-12-04 2019-06-26 クラリオン株式会社 追跡装置
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP7188894B2 (ja) * 2018-03-16 2022-12-13 株式会社デンソーテン レーダ装置及び信号処理方法
CN109727273B (zh) * 2018-12-29 2020-12-04 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
JP7069061B2 (ja) * 2019-01-31 2022-05-17 株式会社デンソー 物体判定装置
JP7156195B2 (ja) 2019-07-17 2022-10-19 トヨタ自動車株式会社 物体認識装置
JP7347405B2 (ja) * 2020-11-30 2023-09-20 トヨタ自動車株式会社 運転支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
JP2014139756A (ja) * 2013-01-21 2014-07-31 Toyota Motor Corp 運転支援装置
JP5905846B2 (ja) 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
JP6413898B2 (ja) 2015-04-02 2018-10-31 株式会社デンソー 歩行者判定装置
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
JP6595966B2 (ja) * 2016-11-17 2019-10-23 株式会社デンソー 衝突判定装置、及び衝突判定方法

Also Published As

Publication number Publication date
JP2018147399A (ja) 2018-09-20
US10539418B2 (en) 2020-01-21
US20180259329A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
JP6717240B2 (ja) 物標検出装置
US10569767B2 (en) Vehicle control apparatus and vehicle control method
US10780884B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
US10345443B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
JP6404722B2 (ja) 車両の走行制御装置
JP6747269B2 (ja) 物体認識装置
CN107209997B (zh) 车辆的行驶控制装置以及行驶控制方法
JP6413898B2 (ja) 歩行者判定装置
CN110194162B (zh) 用于基于可用空间信号来检测靠近切入车辆的***和方法
JP5363921B2 (ja) 車両用白線認識装置
JP6654923B2 (ja) 地図情報出力装置
US10960877B2 (en) Object detection device and object detection method
US10339393B2 (en) Demarcation line recognition apparatus
JP2009237898A (ja) 画像認識装置
CN111052201B (zh) 碰撞预测装置、碰撞预测方法以及存储介质
JP6722084B2 (ja) 物体検出装置
US10996317B2 (en) Object detection apparatus and object detection method
JP4937844B2 (ja) 歩行者検出装置
US10442430B2 (en) Collision avoidance assistance device
JP5783163B2 (ja) 物標検出装置
JP6879881B2 (ja) 車両用白線認識装置
EP2720211B1 (en) Other-vehicle detection device and other-vehicle detection method
WO2023145723A1 (ja) 物標認識装置および物標認識方法
JP2018018215A (ja) 物体特徴点検知装置
JP2022545513A (ja) オブジェクトを捕捉するための方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R151 Written notification of patent or utility model registration

Ref document number: 6717240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250