JP7434394B2 - フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法 - Google Patents
フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法 Download PDFInfo
- Publication number
- JP7434394B2 JP7434394B2 JP2022042128A JP2022042128A JP7434394B2 JP 7434394 B2 JP7434394 B2 JP 7434394B2 JP 2022042128 A JP2022042128 A JP 2022042128A JP 2022042128 A JP2022042128 A JP 2022042128A JP 7434394 B2 JP7434394 B2 JP 7434394B2
- Authority
- JP
- Japan
- Prior art keywords
- tracks
- track
- historical
- determined
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 107
- 238000000034 method Methods 0.000 title claims description 58
- 238000012545 processing Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
10 イメージセンサ
11 イメージ処理パイプライン(IPP)部
12 トラッカ
14 物体検出器
15 メモリ
16 プロセッサ
17 エンコーダ
18 送信機
19 サーバ
34 履歴軌跡
41 建物
42 歩行者
43 サイクリスト
44 車
51 車両
52 歩行者
450 基準トラック
460 基準トラック
470 基準トラック
530 基準トラック
540 基準トラック
Claims (15)
- イメージセンサによって取得されたイメージシーケンス内のフォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法であって、
履歴軌跡のグループを提供することであって、各履歴軌跡が複数の履歴トラックを表す基準トラックを含み、前記複数の履歴トラックに属する履歴物体検出の物体クラスを含む、履歴軌跡のグループを提供することと、
トラッカによって、前記イメージシーケンス内のトラックを決定するための追跡を実施することと、
物体検出器によって、前記イメージシーケンス内の物体検出を決定するための物体検出を実施することと、
どんな決定された物体検出にも合致しない決定されたトラックについて、合致する基準トラックを特定するために、前記決定されたトラックを履歴軌跡の前記グループ内の履歴軌跡の基準トラックと比較することと、
合致する基準トラックを特定したとき、前記決定されたトラックのイメージを、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスについてフォールスネガティブ物体検出を有する可能性があると規定することと、
合致する基準トラックを特定しなかったとき、前記決定されたトラックをフォールスポジティブトラックと規定することと
を含む方法。 - フォールスネガティブ物体検出を有する可能性がある前記イメージと、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスとを含むトレーニングデータで前記物体検出器のトレーニングを実施すること
をさらに含む、請求項1に記載の方法。 - フォールスネガティブ物体検出を有する可能性がある前記イメージを、メモリ上に記憶されたイメージのグループに追加すること
をさらに含む、請求項1または2に記載の方法。 - 前記合致する基準トラックが、前記決定されたトラックのそれぞれ開始点または終点の所定の距離以内のそれぞれ開始点または終点を有する、請求項1から3のいずれか一項に記載の方法。
- 前記合致する基準トラックが、所定のしきい値未満である、前記決定されたトラックからの全偏差距離を有する、請求項1から4のいずれか一項に記載の方法。
- 前記基準トラックが前記複数の履歴トラックの平均である、請求項1から5のいずれか一項に記載の方法。
- 前記複数の履歴トラックが、前記イメージシーケンスと同一のシーンを示すイメージ内で決定されたものである、請求項1から6のいずれか一項に記載の方法。
- 決定された物体検出に合致する決定されたトラックについて、
前記決定された物体検出に合致する前記決定されたトラックをも表すように、前記決定された物体検出の前記物体クラスを含む前記履歴軌跡の前記基準トラックを更新すること
をさらに含む、請求項1から7のいずれか一項に記載の方法。 - 処理能力を有するデバイス上で実行されるとき、請求項1から8のいずれか一項に記載の方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。
- イメージセンサによって取得されたイメージシーケンス内のフォールスネガティブ物体検出を有する可能性があるイメージを決定するように適合されたイメージ処理デバイスであって、
記憶した履歴軌跡のグループへのアクセスを提供するように適合されたメモリであって、各履歴軌跡が複数の履歴トラックを表す基準トラックを含み、前記複数の履歴トラックに属する履歴物体検出の物体クラスを含む、メモリと、
前記イメージシーケンス内のトラックを決定するための追跡を実施するように適合されたトラッカと、
前記イメージシーケンス内の物体検出を決定するための物体検出を実施するように適合された物体検出器と、
プロセッサであって、
どんな決定された物体検出にも合致しない決定されたトラックについて、合致する基準トラックを特定するために、前記決定されたトラックを履歴軌跡の前記グループ内の履歴軌跡の基準トラックと比較し、
合致する基準トラックを特定したとき、前記決定されたトラックのイメージを、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスについてフォールスネガティブ物体検出を有する可能性があると規定し、
合致する基準トラックを特定しなかったとき、前記決定されたトラックをフォールスポジティブトラックと規定する
ように適合されたプロセッサと
を備えるイメージ処理デバイス。 - 前記プロセッサが、フォールスネガティブ物体検出を有する可能性がある前記イメージを、前記メモリ内に記憶されたイメージのグループに追加するようにさらに適合される、請求項10に記載のイメージ処理デバイス。
- 前記プロセッサが、
決定された物体検出に合致する決定されたトラックについて、前記決定された物体検出に合致する前記決定されたトラックをも表すように、前記決定された物体検出を含む前記履歴軌跡の前記基準トラックを更新する
ようにさらに適合される、請求項10または11に記載のイメージ処理デバイス。 - 前記プロセッサが、フォールスネガティブ物体検出を有する可能性がある前記イメージと、前記合致する基準トラックを含む前記履歴軌跡の前記物体クラスとを含むトレーニングデータで前記物体検出器のトレーニングを実施するようにさらに適合される、請求項10から12のいずれか一項に記載のイメージ処理デバイス。
- 請求項10から13のいずれか一項に記載のイメージ処理デバイスを備えるカメラ。
- 同一のシーンを監視するように構成される、複数の、請求項14に記載のカメラを備えるシステムであって、履歴軌跡の前記グループが前記複数のカメラによって共有される、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21164888 | 2021-03-25 | ||
EP21164888.6A EP4064120B1 (en) | 2021-03-25 | 2021-03-25 | Method for determining images plausible to have a false negative object detection |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022151740A JP2022151740A (ja) | 2022-10-07 |
JP2022151740A5 JP2022151740A5 (ja) | 2023-09-19 |
JP7434394B2 true JP7434394B2 (ja) | 2024-02-20 |
Family
ID=75223172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022042128A Active JP7434394B2 (ja) | 2021-03-25 | 2022-03-17 | フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220309792A1 (ja) |
EP (1) | EP4064120B1 (ja) |
JP (1) | JP7434394B2 (ja) |
KR (1) | KR102595676B1 (ja) |
CN (1) | CN115131585A (ja) |
TW (1) | TW202240540A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230237793A1 (en) * | 2022-01-27 | 2023-07-27 | Argo Al, LLC | False track mitigation in object detection systems |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310480A (ja) | 2006-05-16 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2020187389A (ja) | 2019-05-09 | 2020-11-19 | コニカミノルタ株式会社 | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2491987B (en) * | 2008-03-03 | 2013-03-27 | Videoiq Inc | Method of searching data for objects identified by object detection |
US9141196B2 (en) * | 2012-04-16 | 2015-09-22 | Qualcomm Incorporated | Robust and efficient learning object tracker |
JP2014071832A (ja) * | 2012-10-01 | 2014-04-21 | Toshiba Corp | 物体検出装置及びその検出方法 |
KR102164637B1 (ko) * | 2014-09-23 | 2020-10-12 | 현대자동차주식회사 | 고속 객체 추적 시스템 및 그 방법 |
KR101913648B1 (ko) * | 2017-01-23 | 2018-10-31 | 광주과학기술원 | 다중 객체 추적 방법 |
-
2021
- 2021-03-25 EP EP21164888.6A patent/EP4064120B1/en active Active
-
2022
- 2022-02-18 US US17/675,019 patent/US20220309792A1/en active Pending
- 2022-02-23 KR KR1020220023633A patent/KR102595676B1/ko active IP Right Grant
- 2022-03-17 JP JP2022042128A patent/JP7434394B2/ja active Active
- 2022-03-18 TW TW111109992A patent/TW202240540A/zh unknown
- 2022-03-21 CN CN202210280266.0A patent/CN115131585A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310480A (ja) | 2006-05-16 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2020187389A (ja) | 2019-05-09 | 2020-11-19 | コニカミノルタ株式会社 | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220309792A1 (en) | 2022-09-29 |
KR102595676B1 (ko) | 2023-10-27 |
KR20220133768A (ko) | 2022-10-05 |
CN115131585A (zh) | 2022-09-30 |
TW202240540A (zh) | 2022-10-16 |
EP4064120A1 (en) | 2022-09-28 |
JP2022151740A (ja) | 2022-10-07 |
EP4064120B1 (en) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943131B2 (en) | Image based lane marking classification | |
KR102267335B1 (ko) | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 | |
JP5976237B2 (ja) | 映像検索システム及び映像検索方法 | |
KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
US8655078B2 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
CN111666853B (zh) | 实时车辆违章检测方法、装置、设备及存储介质 | |
JP5180733B2 (ja) | 移動物体追跡装置 | |
WO2009004479A2 (en) | System and process for detecting, tracking and counting human objects of interest | |
KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
CN111105437B (zh) | 车辆轨迹异常判断方法及装置 | |
US11373417B2 (en) | Section line recognition device | |
JP7434394B2 (ja) | フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法 | |
CN111914592B (zh) | 多相机联合取证方法、装置及*** | |
CN112733719A (zh) | 一种融合人脸及人体特征的跨境行人轨迹检测方法 | |
CN111881322B (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
Schiopu et al. | Pothole detection and tracking in car video sequence | |
CN106571040A (zh) | 一种可疑车辆确认方法及设备 | |
CN116128360A (zh) | 道路交通拥堵等级评估方法、装置、电子设备及存储介质 | |
CN117115752A (zh) | 一种高速公路视频监控方法及*** | |
KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
KR20170073220A (ko) | 교통 데이터 보정장치 및 방법 | |
JP6558178B2 (ja) | 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム | |
CN114882709A (zh) | 车辆拥堵检测方法、装置及计算机存储介质 | |
CN110400329B (zh) | 人流计数方法及其*** | |
CN111783618A (zh) | 一种基于视频内容分析的园区大脑感知方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230908 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7434394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |