JP2021508387A - 先行車との距離の検出方法及びシステム - Google Patents
先行車との距離の検出方法及びシステム Download PDFInfo
- Publication number
- JP2021508387A JP2021508387A JP2019563448A JP2019563448A JP2021508387A JP 2021508387 A JP2021508387 A JP 2021508387A JP 2019563448 A JP2019563448 A JP 2019563448A JP 2019563448 A JP2019563448 A JP 2019563448A JP 2021508387 A JP2021508387 A JP 2021508387A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- distance
- target
- frame
- rgb image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 38
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
自車の前方視野のRGB画像と深度画像とを取得すること、
前記RGB画像において目標領域枠を設定すること、
前記RGB画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む先行車との距離の検出方法を提供する。
自車に取り付けた深度カメラを利用して前記RGB画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた2Dカメラを利用して前記RGB画像を採集し、自車に取り付けたミリ波レーダー/距離センサを利用して前記深度画像を採集すること、を含む。
前記RGB画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記RGB画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記RGB画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む。
Intersection Over Union(IOU)の数式である
正規化距離の数式である
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
(外4)
は前記約束枠の中心点の横座標値を表し、
(外5)
は前記約束枠の中心点の縦座標値を表し、
(外6)
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
(外7)
は前記ターゲット点の縦座標値を表し、
(外8)
は前記車両の幅データを表し、
(外9)
は前記車両の高データを表すこと、を含む。
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む。
現在時刻を中心とする予定長さの時間ウィンドウにおける、先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを更に含む。
自車の前方視野のRGB画像と深度画像とを取得するように配置された画像取得手段と、
前記RGB画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と、
前記RGB画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む、先行車との距離の検出システムを提供する。
自車に取り付けた深度カメラを利用して前記RGB画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた2Dカメラを利用して前記RGB画像を採集し、自車に取り付けたミリ波レーダー/距離センサを利用して前記深度画像を採集するように配置されている。
前記RGB画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記RGB画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記RGB画像において前記車両を含む矩形状の約束枠をレンダリングするように配置されている。
IOUの数式である
を採用して前記車両の約束枠と前記目標領域枠との
(外10)
を計算し、前記重畳率とし、
但し、
(外11)
は前記車両の約束枠の面積を表し、
(外12)
は前記目標領域枠の面積を表すように配置されている。
正規化距離の数式である
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
(外13)
は前記約束枠の中心点の横座標値を表し、
(外14)
は前記約束枠の中心点の縦座標値を表し、
(外15)
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
(外16)
は前記ターゲット点の縦座標値を表し、
(外17)
は前記車両の幅データを表し、
(外18)
は前記車両の高データを表すように配置されている。
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置されている。
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得え、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段を更に含む。
自車の前方視野のRGB画像と深度画像とを取得すること、
前記RGB画像において目標領域枠を設定すること、
前記RGB画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータ、前記車両の約束枠の前記RGB画像における位置と前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる、コンピュータが読み取り可能な記憶媒体を提供する。
幾つかの実施例において、車両の約束枠の面積と目標領域枠の面積とに基づいて、車両と目標領域とのIOUを計算して、重畳率とすることができる。
を採用して、前記車両と前記目標領域枠との正規化距離を計算することができ、但し、
(外22)
は約束枠の中心点の横座標値を表し、
(外23)
は約束枠の中心点の縦座標値を表し、
(外24)
はターゲット点の横座標値を表し、
(外25)
はターゲット点の縦座標値を表し、
(外26)
は前記車両の幅データを表し、
(外27)
は前記車両の高データを表す。
上記第一の重畳率閾値、第二の重畳率閾値及び距離閾値は、実際の経験に基づいて任意に選定することができ、本開示は、閾値の選定を限定しない。
事前トレーニングによってラベリング付けトレーニングサンプルセットS={xi, yi}を生成して先行車目標車両を選別し、但し、xiは車両特徴を表し、それぞれ重畳率
(外28)
、正規化距離
(外29)
及び自車との車距である三つの次元のベクターを含み、yiは先行車目標車両の選別結果を表し、yiは、xiにおける三つの次元のベクター値に応じて、自動的に識別結果を出力する。例えば、yiの出力が1であると、該車両が先行車目標車両であると表し、yiの出力が0であると、該車両が先行車目標車両でないと表す。分類器は、異なるニューラルネットワーク組立てを選択してサンプルセットに対してトレーニングを行うことができ、ニューラルネットワーク組立ては、AlexNet、VGG等であることができる。
X(k)はk時刻でのシステムの状態変数を表し、即ち本実施例における先行車目標車両と自車との車距及び先行車目標車両のスピードを表し、Aは状態移行マトリックスであり、1次定速モデルを採用して得ることができ、BU(k)は周辺制御項を表し、W(k)は他の不明干渉による状態変化であり、更に多い情報がない場合に、分散既知のガウスノイズで代替することができ、分散が大きいほど、該状態方程式に対する自信が小さいことを代表し、即ち先行車との距離の運動のランダムレベルが高いと見ることができる。
図3に示すように、計算設備300は、一つ又は複数のインターフェースを介してバス302と接続又は通信することができる一つ又は複数の部品を含むことができる。バス302は、業界標準アーキテクチャ(Industry Standard Architecture,ISA)バス、マイクロチャネルアーキテクチャ(Micro Channel Architecture,MCA)バス、強化ISA(EISA)バス、ビデオエレクトロニクス標準化協会(VESA)ローカルバス、及び周辺機器の相互接続(PCI)バス等を含むことができるが、これに限定されない。計算設備300は、例えば一つ又は複数のプロセッサ304、一つ又は複数の入力設備306、及び一つ又は複数の出力設備308を含むことができる。一つ又は複数のプロセッサ304は、いずれかの種類のプロセッサであることができ、且つ一つ又は複数の通用プロセッサ又は専用プロセッサ(例えば専用処理チップ)を含むことができるが、これに限定されない。プロセッサ304は、例えば図2中の処理回路201に対応することができ、本開示の先行車との距離の検出システムの各手段の機能を実現するように配置されている。入力設備306は、計算設備へ情報を入力することができるいずれかのタイプの入力設備であることができ、且つマウス、キーボード、タッチスクリーン、マイク及び/又は遠隔コントローラを含むことができるが、これに限定されない。出力設備308は、情報を表すことができるいずれかのタイプの設備であることができ、且つディスプレイ、スピーカー、ビデオ/オーディオ出力端末、バイブレーター及び/又はプリンターを含むことができるが、これに限定されない。
先行車との距離の検出装置であって、
一つ又は複数のプロセッサと、
コンピュータが実行可能な指令を記憶しているメモリと、を含み、
前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車の前方視野のRGB画像と深度画像とを取得すること、
前記RGB画像において目標領域枠を設定すること、
前記RGB画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車に取り付けた深度カメラを利用して前記RGB画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた2Dカメラを利用して前記RGB画像を採集し、自車に取り付けたミリ波レーダー/距離センサを利用して前記深度画像を採集すること、を実行させる。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記RGB画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記RGB画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記RGB画像において前記車両を含む矩形状の約束枠をレンダリングすること、を実行させる。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
Intersection Over Union(IOU)の数式である
を採用して前記車両の約束枠と前記目標領域枠との
(外30)
を計算し、前記重畳率とし、
但し、
(外31)
は前記車両の約束枠の面積を表し、
(外32)
は前記目標領域枠の面積を表すこと、を実行させる。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
正規化距離の数式である
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
(外33)
は前記約束枠の中心点の横座標値を表し、
(外34)
は前記約束枠の中心点の縦座標値を表し、
(外35)
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
(外36)
は前記ターゲット点の縦座標値を表し、
(外37)
は前記車両の幅データを表し、
(外38)
は前記車両の高データを表すこと、を実行させる。
技術案5に記載された先行車との距離の検出装置において、前記目標領域枠は、前記RGB画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を実行させる。
技術案1に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを、実行させる。
Claims (17)
- 先行車との距離の検出方法であって、
自車の前方視野のRGB画像と深度画像とを取得すること、
前記RGB画像において目標領域枠を設定すること、
前記RGB画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む
ことを特徴とする先行車との距離の検出方法。 - 前記の自車の前方視野のRGB画像と深度画像とを取得することは、
自車に取り付けた深度カメラを利用して前記RGB画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた2Dカメラを利用して前記RGB画像を採集し、自車に取り付けたミリ波レーダー/距離センサを利用して前記深度画像を採集すること、を含む
ことを特徴とする請求項1に記載された方法。 - 前記の前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定することは、
前記RGB画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記RGB画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記RGB画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む
ことを特徴とする請求項1に記載された方法。 - 前記の前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算することは、
正規化距離の数式である
を採用して前記車両と前記目標領域枠との正規化距離を計算すること、を含み
但し、
(外42)
は前記約束枠の中心点の横座標値を表し、
(外43)
は前記約束枠の中心点の縦座標値を表し、
(外44)
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
(外45)
は前記ターゲット点の縦座標値を表し、
(外46)
は前記車両の幅データを表し、
(外47)
は前記車両の高データを表す
ことを特徴とする請求項1に記載された方法。 - 前記目標領域枠は、前記RGB画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
ことを特徴とする請求項5に記載された方法。 - 前記の前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ることは、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む
ことを特徴とする請求項1に記載された方法。 - 現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替すること、を更に含む
ことを特徴とする請求項1に記載された方法。 - 先行車との距離の検出システムであって、
自車の前方視野のRGB画像と深度画像とを取得するように配置された画像取得手段と、
前記RGB画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と
前記RGB画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む
ことを特徴とする先行車との距離の検出システム。 - 前記画像取得手段は、
自車に取り付けた深度カメラを利用して前記RGB画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた2Dカメラを利用して前記RGB画像を採集し、自車に取り付けたミリ波レーダー/距離センサを利用して前記深度画像を採集するように配置された
ことを特徴とする請求項9に記載されたシステム。 - 前記約束枠確定手段は、
前記RGB画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記RGB画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記RGB画像において前記車両を含む矩形状の約束枠をレンダリングするように配置された
ことを特徴とする請求項9に記載されたシステム。 - 前記目標領域枠は、前記RGB画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
請求項13に記載されたシステム。 - 前記先行車目標車両確定手段は、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置された
ことを特徴とする請求項9に記載されたシステム。 - 現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段、を更に含む
ことを特徴とする請求項9に記載されたシステム。 - コンピュータプログラムを記憶しているコンピュータが読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行される時、前記プロセッサに、
自車の前方視野のRGB画像と深度画像とを取得すること、
前記RGB画像において目標領域枠を設定すること、
前記RGB画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記RGB画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記RGB画像における位置と、前記目標領域枠の前記RGB画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる
ことを特徴とするコンピュータが読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811359075.3A CN109541583B (zh) | 2018-11-15 | 2018-11-15 | 一种前车距离检测方法及*** |
CN201811359075.3 | 2018-11-15 | ||
PCT/CN2019/095980 WO2020098297A1 (zh) | 2018-11-15 | 2019-07-15 | 一种前车距离检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021508387A true JP2021508387A (ja) | 2021-03-04 |
JP6851505B2 JP6851505B2 (ja) | 2021-03-31 |
Family
ID=65847562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563448A Active JP6851505B2 (ja) | 2018-11-15 | 2019-07-15 | 先行車との距離の検出方法及びシステム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6851505B2 (ja) |
CN (1) | CN109541583B (ja) |
SG (1) | SG11202010955SA (ja) |
WO (1) | WO2020098297A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154523A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社Subaru | 車外環境検出装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109541583B (zh) * | 2018-11-15 | 2020-05-01 | 众安信息技术服务有限公司 | 一种前车距离检测方法及*** |
CN110401786A (zh) * | 2019-04-24 | 2019-11-01 | 解晗 | 数字设备开关控制机构 |
CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其***、车辆、介质 |
CN110794397B (zh) * | 2019-10-18 | 2022-05-24 | 北京全路通信信号研究设计院集团有限公司 | 一种基于相机和雷达的目标检测方法及*** |
CN111009166B (zh) * | 2019-12-04 | 2021-06-01 | 上海市城市建设设计研究总院(集团)有限公司 | 基于bim和驾驶模拟器的道路三维视距验算方法 |
CN111369824B (zh) * | 2020-01-22 | 2020-12-15 | 星汉智能科技股份有限公司 | 一种基于图像识别定位的引导泊车方法及*** |
CN111746545A (zh) * | 2020-06-29 | 2020-10-09 | 中国联合网络通信集团有限公司 | 车距检测方法及装置,和车距提醒方法及装置 |
CN113781665A (zh) * | 2020-07-28 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种标注信息的审核方法和装置 |
CN111931864B (zh) * | 2020-09-17 | 2020-12-25 | 南京甄视智能科技有限公司 | 基于顶点距离与交并比多重优化目标检测器的方法与*** |
CN112241717B (zh) * | 2020-10-23 | 2021-11-16 | 北京嘀嘀无限科技发展有限公司 | 前车检测方法、前车检测模型的训练获取方法及装置 |
CN112567439B (zh) * | 2020-11-09 | 2022-11-29 | 驭势(上海)汽车科技有限公司 | 一种交通流信息的确定方法、装置、电子设备和存储介质 |
CN112949544A (zh) * | 2021-03-17 | 2021-06-11 | 上海大学 | 一种基于3d卷积网络的动作时序检测方法 |
CN113421298A (zh) * | 2021-06-17 | 2021-09-21 | 深圳市高格通讯技术有限公司 | 车辆测距方法、车辆控制装置、车辆及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010262665A (ja) * | 2010-06-25 | 2010-11-18 | Aisin Aw Co Ltd | 車載装置及び車両認識方法 |
CN105469052A (zh) * | 2015-11-25 | 2016-04-06 | 东方网力科技股份有限公司 | 一种车辆检测跟踪方法和装置 |
JP2016191988A (ja) * | 2015-03-30 | 2016-11-10 | 富士重工業株式会社 | 車外環境認識装置 |
JP2017016194A (ja) * | 2015-06-26 | 2017-01-19 | 富士重工業株式会社 | 車外環境認識装置 |
CN107202983A (zh) * | 2017-05-19 | 2017-09-26 | 深圳佑驾创新科技有限公司 | 基于图像识别和毫米波雷达融合的自动刹车方法和*** |
JP2018142268A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社東芝 | 車両画像処理装置、及び、車両画像処理システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100588902C (zh) * | 2006-12-19 | 2010-02-10 | 北京中星微电子有限公司 | 一种车距检测方法及装置 |
US9406145B2 (en) * | 2014-01-31 | 2016-08-02 | Applied Concepts, Inc. | Mobile radar and visual tracking coordinate transformation |
CN104837007B (zh) * | 2014-02-11 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 一种数字图像质量分级的方法和装置 |
US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
US10145951B2 (en) * | 2016-03-30 | 2018-12-04 | Aptiv Technologies Limited | Object detection using radar and vision defined image detection zone |
CN107463890B (zh) * | 2017-07-20 | 2019-11-29 | 浙江零跑科技有限公司 | 一种基于单目前视相机的前车检测与跟踪方法 |
CN108764108A (zh) * | 2018-05-22 | 2018-11-06 | 湖北省专用汽车研究院 | 一种基于贝叶斯统计决策的前车检测方法 |
CN109541583B (zh) * | 2018-11-15 | 2020-05-01 | 众安信息技术服务有限公司 | 一种前车距离检测方法及*** |
-
2018
- 2018-11-15 CN CN201811359075.3A patent/CN109541583B/zh active Active
-
2019
- 2019-07-15 WO PCT/CN2019/095980 patent/WO2020098297A1/zh active Application Filing
- 2019-07-15 SG SG11202010955SA patent/SG11202010955SA/en unknown
- 2019-07-15 JP JP2019563448A patent/JP6851505B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010262665A (ja) * | 2010-06-25 | 2010-11-18 | Aisin Aw Co Ltd | 車載装置及び車両認識方法 |
JP2016191988A (ja) * | 2015-03-30 | 2016-11-10 | 富士重工業株式会社 | 車外環境認識装置 |
JP2017016194A (ja) * | 2015-06-26 | 2017-01-19 | 富士重工業株式会社 | 車外環境認識装置 |
CN105469052A (zh) * | 2015-11-25 | 2016-04-06 | 东方网力科技股份有限公司 | 一种车辆检测跟踪方法和装置 |
JP2018142268A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社東芝 | 車両画像処理装置、及び、車両画像処理システム |
CN107202983A (zh) * | 2017-05-19 | 2017-09-26 | 深圳佑驾创新科技有限公司 | 基于图像识别和毫米波雷达融合的自动刹车方法和*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154523A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社Subaru | 車外環境検出装置 |
JP7291505B2 (ja) | 2019-03-19 | 2023-06-15 | 株式会社Subaru | 車外環境検出装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109541583A (zh) | 2019-03-29 |
WO2020098297A1 (zh) | 2020-05-22 |
JP6851505B2 (ja) | 2021-03-31 |
SG11202010955SA (en) | 2020-12-30 |
CN109541583B (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6851505B2 (ja) | 先行車との距離の検出方法及びシステム | |
RU2694154C2 (ru) | Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения | |
US9052393B2 (en) | Object recognition system having radar and camera input | |
US20180025640A1 (en) | Using Virtual Data To Test And Train Parking Space Detection Systems | |
JP6794436B2 (ja) | 非障害物エリア検出のためのシステムおよび方法 | |
JP2021523443A (ja) | Lidarデータと画像データの関連付け | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
CN110286389B (zh) | 一种用于障碍物识别的栅格管理方法 | |
US20140205139A1 (en) | Object recognition system implementing image data transformation | |
CN110867132B (zh) | 环境感知的方法、装置、电子设备和计算机可读存储介质 | |
Dey et al. | VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles | |
Zhao et al. | A cooperative vehicle-infrastructure based urban driving environment perception method using a DS theory-based credibility map | |
CN113228040A (zh) | 多级对象行进方向估计 | |
US20210331679A1 (en) | Method for Determining a Drivable Area | |
Liu et al. | Stochastic lane shape estimation using local image descriptors | |
Gluhaković et al. | Vehicle detection in the autonomous vehicle environment for potential collision warning | |
CN112115820B (zh) | 车载辅助驾驶方法及装置、计算机装置及可读存储介质 | |
Ray et al. | Dynamic blindspots measurement for construction equipment operators | |
CN111857135A (zh) | 用于车辆的避障方法、装置、电子设备和计算机存储介质 | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
JP6411933B2 (ja) | 車両状態判定装置 | |
WO2022187251A1 (en) | Generating scene flow labels from point clouds using object labels | |
US20220406070A1 (en) | Method and device for recognizing an object for a vehicle including a mono camera, and camera system | |
Dey et al. | Sensing Optimization in Automotive Platforms | |
US20230267749A1 (en) | System and method of segmenting free space based on electromagnetic waves |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6851505 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |