JP2023156963A - オブジェクト追跡統合方法及び統合装置 - Google Patents
オブジェクト追跡統合方法及び統合装置 Download PDFInfo
- Publication number
- JP2023156963A JP2023156963A JP2022141099A JP2022141099A JP2023156963A JP 2023156963 A JP2023156963 A JP 2023156963A JP 2022141099 A JP2022141099 A JP 2022141099A JP 2022141099 A JP2022141099 A JP 2022141099A JP 2023156963 A JP2023156963 A JP 2023156963A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection result
- target object
- target
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010354 integration Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/753—Transform-based matching, e.g. Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
Description
20 撮像装置
30 撮像装置
100 統合装置
110 メモリ
130 通信トランシーバ
150 プロセッサ
S210~S240 ステップ
R1 路側機
R2 路側機
O1 目標物
O2 目標物
O3 目標物
O4 目標物
O5 目標物
O6 目標物
T1 軌跡
T2 軌跡
t1 タイムポイント
t2 タイムポイント
SR 許容範囲
Claims (5)
- オブジェクト追跡統合方法であって、
少なくとも1つの第1の画像及び少なくとも1つの第2の画像を取得するステップであって、ここで、前記少なくとも1つの第1の画像は第1の撮像装置からの画像であり、かつ前記少なくとも1つの第2の画像は第2の撮像装置からの画像である、ステップと、
前記少なくとも1つの第1の画像及び前記少なくとも1つの第2の画像における少なくとも1つのターゲットオブジェクトを検出するステップと、
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトの検出結果と、前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトの検出結果とを照合するステップと、
前記少なくとも1つの第1の画像の検出結果と前記少なくとも1つの第2の画像の検出結果との照合結果に従って、前記少なくとも1つのターゲットオブジェクトの検出結果を更新するステップと、
を備える、オブジェクト追跡統合方法。 - 請求項1に記載のオブジェクト追跡統合方法であって、
前記検出結果はピクセル位置を含み、
前記少なくとも1つの第1の画像及び前記少なくとも1つの第2の画像において前記少なくとも1つのターゲットオブジェクトを検出する前記ステップは、
前記少なくとも1つの第1の画像及び前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトのピクセル位置を、ホモグラフィ変換によって共通空間における位置及び移動速度に変換するステップ、
を備え、
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトの検出結果と、前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトの検出結果とを照合する前記ステップは、
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトと前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトとを結合最適化アルゴリズムを用いてペアリングするステップ、
を備え、又は
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトの前記検出結果と、前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトの前記検出結果とを照合する前記ステップは、
前記少なくとも1つのターゲットオブジェクトのうちの第1のオブジェクトの代表情報を決定するステップと、
前記第1のオブジェクトの前記代表情報に従って、前記第1のオブジェクトが追跡ターゲットであるかを判定するステップと、
前記追跡ターゲットの判定結果に従って、前記少なくとも1つのターゲットオブジェクトの検出結果を照合するステップと、
を備える、オブジェクト追跡統合方法。 - 請求項2に記載のオブジェクト追跡統合方法であって、
前記代表情報は、オブジェクトタイプ、バウンディングボックス、識別コード、及び座標のうち少なくとも1つを含み、又は
前記少なくとも1つのターゲットオブジェクトの検出結果を更新する前記ステップは、
前記第1のオブジェクトが追跡ターゲットであると判定した場合に、前記追跡ターゲットの位置を更新するステップ、
を備え、又は
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトの検出結果と、前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトの検出結果とを照合する前記ステップは、
前記追跡ターゲットでないと判定した場合に、前記少なくとも1つの第1の画像における第1のオブジェクトが、前記少なくとも1つの第2の画像における第2のオブジェクトであるか否かを判定するステップであって、
前記少なくとも1つの第1の画像における前記第1のオブジェクトの軌跡及び移動速度に従って許容範囲を決定し5、
前記第2の画像内の前記第2のオブジェクトが前記許容範囲内にあるかを判断するステップである、
を備える、オブジェクト追跡統合方法。 - 請求項1に記載のオブジェクト追跡統合方法であって、
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトを検出する前記ステップは、
前記第1の画像から着目領域を切り出して、前記着目領域のみを有する切り出し画像を生成するステップと、
前記第1の画像における前記少なくとも1つのターゲットオブジェクトの前記検出結果と、前記切り出し画像における前記少なくとも1つのターゲットオブジェクトの検出結果とを結合するステップと、を備え、又は
前記少なくとも1つの第1の画像において前記少なくとも1つのターゲットオブジェクトを検出する前記ステップは、
オブジェクト追跡によって得られたバウンディングボックスを、オブジェクト検出によって得られたバウンディングボックスに置き換えるステップを備える、オブジェクト追跡統合方法。 - 統合装置であって、
プログラムコードを格納するように構成されたメモリと、
前記メモリに結合されたプロセッサであって、前記プログラムコードをロード及び実行したときに、
少なくとも1つの第1の画像と少なくとも1つの第2の画像を取得し、ここで前記少なくとも1つの第1の画像は第1の撮像装置からの画像であり、前記少なくとも1つの第2の画像は第2の撮像装置からの画像であり、
前記少なくとも1つの第1の画像及び前記少なくとも1つの第2の画像における少なくとも1つのターゲットオブジェクトを検出し、
前記少なくとも1つの第1の画像における前記少なくとも1つのターゲットオブジェクトの検出結果と、前記少なくとも1つの第2の画像における前記少なくとも1つのターゲットオブジェクトの検出結果とを照合し、
前記少なくとも1つの第1の画像の前記検出結果と前記少なくとも1つの第2の画像の前記検出結果との照合結果に従って、前記少なくとも1つのターゲットオブジェクトの前記検出結果を更新するように構成された、プロセッサと、
を備える、統合装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111114105 | 2022-04-13 | ||
TW111114105A TW202341006A (zh) | 2022-04-13 | 2022-04-13 | 物件追蹤整合方法及整合裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7360520B1 JP7360520B1 (ja) | 2023-10-12 |
JP2023156963A true JP2023156963A (ja) | 2023-10-25 |
Family
ID=88242089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022141099A Active JP7360520B1 (ja) | 2022-04-13 | 2022-09-06 | オブジェクト追跡統合方法及び統合装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230334675A1 (ja) |
JP (1) | JP7360520B1 (ja) |
CN (1) | CN116958195A (ja) |
TW (1) | TW202341006A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117854211B (zh) * | 2024-03-07 | 2024-05-28 | 南京奥看信息科技有限公司 | 一种基于智能视觉的目标对象识别方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170148174A1 (en) * | 2015-11-20 | 2017-05-25 | Electronics And Telecommunications Research Institute | Object tracking method and object tracking apparatus for performing the method |
JP2019121019A (ja) * | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 情報処理装置、3次元位置推定方法、コンピュータプログラム、及び記憶媒体 |
JP2020191036A (ja) * | 2019-05-24 | 2020-11-26 | 日本放送協会 | オブジェクト軌跡生成装置及びそのプログラム |
JP2021002152A (ja) * | 2019-06-20 | 2021-01-07 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
JP2021082294A (ja) * | 2019-11-21 | 2021-05-27 | エヌビディア コーポレーション | 自律マシン適用におけるradarセンサを使用する障害物インスタンスの検出のためのディープ・ニューラル・ネットワーク |
KR102282117B1 (ko) * | 2020-01-31 | 2021-07-27 | 엘지전자 주식회사 | 인공지능 디스플레이 장치 |
-
2022
- 2022-04-13 TW TW111114105A patent/TW202341006A/zh unknown
- 2022-05-07 CN CN202210491925.5A patent/CN116958195A/zh active Pending
- 2022-06-29 US US17/852,378 patent/US20230334675A1/en active Pending
- 2022-09-06 JP JP2022141099A patent/JP7360520B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170148174A1 (en) * | 2015-11-20 | 2017-05-25 | Electronics And Telecommunications Research Institute | Object tracking method and object tracking apparatus for performing the method |
JP2019121019A (ja) * | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 情報処理装置、3次元位置推定方法、コンピュータプログラム、及び記憶媒体 |
JP2020191036A (ja) * | 2019-05-24 | 2020-11-26 | 日本放送協会 | オブジェクト軌跡生成装置及びそのプログラム |
JP2021002152A (ja) * | 2019-06-20 | 2021-01-07 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
JP2021082294A (ja) * | 2019-11-21 | 2021-05-27 | エヌビディア コーポレーション | 自律マシン適用におけるradarセンサを使用する障害物インスタンスの検出のためのディープ・ニューラル・ネットワーク |
KR102282117B1 (ko) * | 2020-01-31 | 2021-07-27 | 엘지전자 주식회사 | 인공지능 디스플레이 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN116958195A (zh) | 2023-10-27 |
TW202341006A (zh) | 2023-10-16 |
JP7360520B1 (ja) | 2023-10-12 |
US20230334675A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941887B2 (en) | Scenario recreation through object detection and 3D visualization in a multi-sensor environment | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
WO2021004077A1 (zh) | 一种检测车辆的盲区的方法及装置 | |
US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
CN110264495B (zh) | 一种目标跟踪方法及装置 | |
WO2019129255A1 (zh) | 一种目标跟踪方法及装置 | |
US20220373353A1 (en) | Map Updating Method and Apparatus, and Device | |
CN104935879A (zh) | 用于活动顺序验证的基于视觉的监视*** | |
JP2009064410A (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
JP2014164601A (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
JP7360520B1 (ja) | オブジェクト追跡統合方法及び統合装置 | |
CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
Dinh et al. | Development of a tracking-based system for automated traffic data collection for roundabouts | |
JP2017215743A (ja) | 画像処理装置、外界認識装置 | |
JP2021092996A (ja) | 計測システム、車両、計測方法、計測装置及び計測プログラム | |
Choi et al. | State Machine and Downhill Simplex Approach for Vision‐Based Nighttime Vehicle Detection | |
Ibisch et al. | Towards highly automated driving in a parking garage: General object localization and tracking using an environment-embedded camera system | |
CN112906428A (zh) | 影像侦测区域取得方法及空间使用情况的判定方法 | |
CN115100632A (zh) | 膨胀点云识别方法、装置、计算机设备和存储介质 | |
Tang | Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections | |
CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
Bota et al. | A framework for object detection, tracking and classification in urban traffic scenarios using stereovision | |
KR20200142716A (ko) | 주행 정보 제공 방법, 차량맵 제공 서버 및 방법 | |
KR102067553B1 (ko) | 셀룰러 네트워크 기반 이동통신단말로의 건물cctv 영상 전송을 활용한 상황 전달 시스템 | |
KR102250077B1 (ko) | 차량번호판 인식률을 모니터링 하는 방법, 장치 및 컴퓨터 판독가능 저장 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7360520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |