JP7425223B2 - 物体追跡装置及び物体追跡方法 - Google Patents
物体追跡装置及び物体追跡方法 Download PDFInfo
- Publication number
- JP7425223B2 JP7425223B2 JP2022558907A JP2022558907A JP7425223B2 JP 7425223 B2 JP7425223 B2 JP 7425223B2 JP 2022558907 A JP2022558907 A JP 2022558907A JP 2022558907 A JP2022558907 A JP 2022558907A JP 7425223 B2 JP7425223 B2 JP 7425223B2
- Authority
- JP
- Japan
- Prior art keywords
- processor
- detection
- tracking
- object tracking
- kalman
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims description 105
- 238000012545 processing Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 22
- 238000003860 storage Methods 0.000 description 16
- 230000004927 fusion Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
センサデータを取得する入力インターフェイスと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うプロセッサと、
前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
前記プロセッサは、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する。
センサデータを取得することと、
前記センサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うことと、
前記検出対象の検出結果を出力することと、を含み、
前記追跡を行うことは、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定することを含む。
異なるセンシング手法によって得られる複数のセンサデータを取得する入力インターフェイスと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うプロセッサと、を備え、
前記プロセッサは、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する。
異なるセンシング手法によって得られる複数のセンサデータを取得することと、
前記複数のセンサデータから複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うこと、を含み、
前記追跡を行うことは、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定することを含む。
10 撮像装置
11 撮像光学系
12 撮像素子
13 プロセッサ
20 物体追跡装置
21 入力インターフェイス
22 記憶部
23 プロセッサ
24 出力インターフェイス
30 ディスプレイ
40 物体
40A 歩行者
40B 自動車
40C 自転車
41 画像空間
42 物体の像
43 代表点
44 基準面
45 質点
46 仮想空間
100 車両
Claims (10)
- センサデータを取得する入力インターフェイスと、
前記センサデータの検出結果を用いる観測値から複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うプロセッサと、
前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
前記プロセッサは、1つの前記観測値に複数の前記カルマンフィルタの対応付けを許容し、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する、物体追跡装置。 - 前記プロセッサは、前記判定した物体に対応する前記カルマンフィルタを紐付けし、当該カルマンフィルタに対応する前記検出対象の検出結果を紐付けする階層構造で制御を行う、請求項1に記載の物体追跡装置。
- 前記プロセッサは、前記判定した物体に識別子を割り当てて該物体の追跡制御を行う、請求項1又は2に記載の物体追跡装置。
- 前記プロセッサは、異なる時刻における前記グループの類似度によって前記識別子を管理する、請求項3に記載の物体追跡装置。
- 前記プロセッサは、前記グループ化された前記同一物体に対応する前記カルマンフィルタのうち、前記複数の検出対象の位置の確率密度分布による推定範囲が最も小さいものを該グループの代表とする請求項1から4のいずれか一項に記載の物体追跡装置。
- 前記プロセッサは、前記複数の検出対象の追跡過程における検出結果の重複を許容する請求項1から5のいずれか一項に記載の物体追跡装置。
- 前記プロセッサは、実空間のx軸、y軸及びz軸の3軸より成る座標系において、z軸方向の値を所定の固定値とする2次元空間である仮想空間を用いて、前記複数の検出対象のそれぞれを表す質点の位置及び速度を追跡する、請求項1から6のいずれか一項に記載の物体追跡装置。
- センサデータを取得することと、
前記センサデータの検出結果を用いる観測値から複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うことと、
前記検出対象の検出結果を出力することと、を含み、
前記追跡を行うことは、1つの前記観測値に複数の前記カルマンフィルタの対応付けを許容し、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定することを含む、物体追跡方法。 - 異なるセンシング手法によって得られる複数のセンサデータを取得する入力インターフェイスと、
前記複数のセンサデータの検出結果を用いる観測値から複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うプロセッサと、を備え、
前記プロセッサは、1つの前記観測値に複数の前記カルマンフィルタの対応付けを許容し、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する、物体追跡装置。 - 異なるセンシング手法によって得られる複数のセンサデータを取得することと、
前記複数のセンサデータの検出結果を用いる観測値から複数の検出対象を検出し、前記複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行うためのデータ処理を行うこと、を含み、
前記追跡を行うことは、1つの前記観測値に複数の前記カルマンフィルタの対応付けを許容し、複数の前記カルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定することを含む、物体追跡方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020180822 | 2020-10-28 | ||
JP2020180822 | 2020-10-28 | ||
PCT/JP2021/033989 WO2022091620A1 (ja) | 2020-10-28 | 2021-09-15 | 物体追跡装置及び物体追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022091620A1 JPWO2022091620A1 (ja) | 2022-05-05 |
JP7425223B2 true JP7425223B2 (ja) | 2024-01-30 |
Family
ID=81382255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022558907A Active JP7425223B2 (ja) | 2020-10-28 | 2021-09-15 | 物体追跡装置及び物体追跡方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230368402A1 (ja) |
EP (1) | EP4239574A1 (ja) |
JP (1) | JP7425223B2 (ja) |
CN (1) | CN116457854A (ja) |
WO (1) | WO2022091620A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348181A (ja) | 1999-03-26 | 2000-12-15 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
JP2008535038A (ja) | 2005-04-01 | 2008-08-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | カメラによりシーンに関して取得された映像中の移動物体を追跡する方法 |
JP2009089365A (ja) | 2007-09-20 | 2009-04-23 | Delphi Technologies Inc | 物体追跡の方法 |
WO2018105112A1 (ja) | 2016-12-09 | 2018-06-14 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
JP2019168953A (ja) | 2018-03-23 | 2019-10-03 | 株式会社豊田中央研究所 | 状態推定装置及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11321494A (ja) | 1998-05-08 | 1999-11-24 | Yazaki Corp | 後側方監視装置 |
-
2021
- 2021-09-15 CN CN202180073961.3A patent/CN116457854A/zh active Pending
- 2021-09-15 JP JP2022558907A patent/JP7425223B2/ja active Active
- 2021-09-15 US US18/250,420 patent/US20230368402A1/en active Pending
- 2021-09-15 WO PCT/JP2021/033989 patent/WO2022091620A1/ja active Application Filing
- 2021-09-15 EP EP21885739.9A patent/EP4239574A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348181A (ja) | 1999-03-26 | 2000-12-15 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
JP2008535038A (ja) | 2005-04-01 | 2008-08-28 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | カメラによりシーンに関して取得された映像中の移動物体を追跡する方法 |
JP2009089365A (ja) | 2007-09-20 | 2009-04-23 | Delphi Technologies Inc | 物体追跡の方法 |
WO2018105112A1 (ja) | 2016-12-09 | 2018-06-14 | 株式会社日立国際電気 | 水上侵入検知システムおよびその方法 |
JP2019168953A (ja) | 2018-03-23 | 2019-10-03 | 株式会社豊田中央研究所 | 状態推定装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230368402A1 (en) | 2023-11-16 |
JPWO2022091620A1 (ja) | 2022-05-05 |
EP4239574A1 (en) | 2023-09-06 |
WO2022091620A1 (ja) | 2022-05-05 |
CN116457854A (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
US20200217950A1 (en) | Resolution of elevation ambiguity in one-dimensional radar processing | |
US8605947B2 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
US11782158B2 (en) | Multi-stage object heading estimation | |
WO2020185489A1 (en) | Sensor validation using semantic segmentation information | |
JP4956453B2 (ja) | 物体検出装置 | |
US11544940B2 (en) | Hybrid lane estimation using both deep learning and computer vision | |
CN114902070A (zh) | 传感器退化检测和修复 | |
Dey et al. | VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles | |
GB2608201A (en) | Identifying objects using LiDAR | |
US20200133283A1 (en) | Proceedable direction detection apparatus and proceedable direction detection method | |
US20230237783A1 (en) | Sensor fusion | |
EP3555854B1 (en) | A method of tracking objects in a scene | |
CN115705780A (zh) | 关联被感知和映射的车道边缘以进行定位 | |
Faisal et al. | Object detection and distance measurement using AI | |
WO2022091595A1 (ja) | 物体追跡装置及び物体追跡方法 | |
JP7425223B2 (ja) | 物体追跡装置及び物体追跡方法 | |
WO2022230738A1 (ja) | 物体追跡装置及び物体追跡方法 | |
WO2022230739A1 (ja) | 物体追跡装置 | |
CN116229407A (zh) | 用于运载工具的方法、运载工具和存储介质 | |
US20230252638A1 (en) | Systems and methods for panoptic segmentation of images for autonomous driving | |
US20230230257A1 (en) | Systems and methods for improved three-dimensional data association using information from two-dimensional images | |
Murillo | Deep Learning-based Sensor Fusion for Enhanced Perception in Autonomous Vehicle Environments | |
JP2022146384A (ja) | 物体検出装置 | |
CN111665515A (zh) | 多垂直层光检测和测距***、自动泊车辅助以及计算机视觉车道检测与保持 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |