JP2017010224A - 物体追尾装置、物体追尾方法及びプログラム - Google Patents
物体追尾装置、物体追尾方法及びプログラム Download PDFInfo
- Publication number
- JP2017010224A JP2017010224A JP2015124205A JP2015124205A JP2017010224A JP 2017010224 A JP2017010224 A JP 2017010224A JP 2015124205 A JP2015124205 A JP 2015124205A JP 2015124205 A JP2015124205 A JP 2015124205A JP 2017010224 A JP2017010224 A JP 2017010224A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- area
- template
- detected
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 230000008569 process Effects 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 239000002245 particle Substances 0.000 description 8
- 238000004886 process control Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000220010 Rhode Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】物体の検出領域から前景領域を抽出し、物体の検出に利用した認識モデルに対応した前景マスクに基づいて交差を検知する。そして、交差を検知した場合にのみ物体の特徴量を示すテンプレートを更新する。一方、物体を検出できないときは、過去のフレームにおける画像領域に基づいて作成したテンプレートを用いて照合を行って物体を追尾するようにする。テンプレートには、交差前の特徴量に他の物体の情報が混入しにくいため、照合精度を高めることができる。
【選択図】図1
Description
図1は、本実施形態に係る物体追尾装置100の機能構成例を示すブロック図である。
図1において、物体追尾装置100は、画像取得部101と、探索領域設定部102と、物体識別部103と、軌跡結合部104と、交差検知部105とを備えている。さらに、テンプレート更新部106と、テンプレート照合部107と、テンプレート記憶部109と、処理制御部199とを備えている。また、交差検知部105は、さらに前景領域抽出部1051と、前景マスク記憶部1052と、割合計算部1053とを備えている。なお、これらの構成が行う処理については後述する。
図2において、CPU201は、本実施形態の物体追尾装置100における各種制御を実行する。ROM202は、物体追尾装置100の立ち上げ時に実行されるブートプログラムや各種データを格納する。RAM203は、CPU201が処理するための制御プログラムを格納するとともに、CPU201が各種制御を実行する際の作業領域を提供する。キーボード204及びマウス205は、ユーザによる各種入力操作環境を提供する。
まず、ステップS301において、処理制御部199は、画像取得部101から取得した全てのフレーム画像について、ステップS302〜S315までの処理を繰り返し行うように制御する。次に、ステップS302において、処理制御部199は、後述する軌跡結合部104で求めた全ての軌跡について、ステップS303〜S313までの処理を繰り返し行うように制御する。
第1の実施形態においては、探索領域において物体が検出されなかった場合に、テンプレートを用いて画像領域の照合処理を行い、テンプレートは更新しないようにした。これに対して本実施形態では、探索領域において物体が検出されなかった場合も、交差の判断結果によってはテンプレートを更新する。なお、本実施形態に係る物体追尾装置の構成は、第1の実施形態と同様であるため、説明は省略する。
ステップS701においては、物体の検出処理に用いた認識モデルの番号の情報を前景マスク記憶部1052に記憶する。認識モデルが複数利用した場合には、認識モデルの番号と利用した回数との情報を記憶する。
第1の実施形態においては、各ピラミッドレイヤの検出結果を統合した後に物体を検出したか否かを判断した。これに対して本実施形態では、各検出結果を統合する前にこれらの尤度がすべて閾値未満である場合は、テンプレートとの類似度に基づいて統合する。なお、本実施形態に係る物体追尾装置の構成は、第1の実施形態と同様であるため、説明は省略する。
ステップS801においては、処理制御部199は、探索領域における各ピラミッドレイヤの検出結果の尤度を算出し、これらの検出結果の尤度がすべて所定の閾値より小さいかどうかを判断する。この判断の結果、尤度が閾値以上の検出結果が存在する場合は、ステップS802に進み、すべて閾値よりも小さい場合はステップS312に進む。
第1〜第3の実施形態においては、背景差分により抽出した検出領域内の前景領域と、各認識モデルの前景マスクとを利用して、物体の交差を検知するようにした。これに対して本実施形態においては、物体識別部103が検出した検出領域、またはテンプレート照合部107で照合した物体の画像領域を用いて、各軌跡の物体の画像領域の重複する割合により交差を判断する。
図9に示すように、図1に示した構成と比べて、交差検知部105の代わりに軌跡交差検知部905としている。なお、他の構成については図1と同じ符号を付しており、これらの構成については説明を省略する。
まず、ステップS1001において、軌跡交差検知部905は、軌跡結合部104によって更新された前フレームまでの全ての軌跡の物体の画像領域情報を外部記憶装置206から読み出す。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
103 物体識別部
104 軌跡結合部
105 交差検知部
106 テンプレート更新部
107 テンプレート照合部
199 処理制御部
Claims (10)
- 動画の注目するフレームにおける物体の探索領域を過去のフレームにおける追尾結果に基づいて設定する設定手段と、
前記設定手段によって設定された探索領域において前記物体の認識モデルを用いて前記物体を検出する検出手段と、
前記検出手段によって検出された物体の検出領域から前景領域を抽出し、前記抽出した前景領域、及び前記認識モデルに対応するマスクを用いて前記物体の交差を検知する検知手段と、
前記検知手段によって前記物体の交差が検知されなかった場合に、前記検出手段によって検出された物体の検出領域に基づいて、前記物体の特徴量を示すテンプレートを更新するテンプレート更新手段と、
前記検出手段によって前記物体が検出されなかった場合に、前記テンプレート更新手段によって前記過去のフレームにおいて更新されたテンプレートと照合して前記設定手段によって設定された探索領域内から前記物体の画像領域を抽出する照合手段と、
前記検出手段によって検出された物体の検出領域、または前記照合手段によって抽出された画像領域を追尾結果として更新する追尾結果更新手段と、
を備えることを特徴とする物体追尾装置。 - 前記検知手段によって前記物体の交差を検知した場合に、前記テンプレート更新手段は、前記物体のテンプレートを更新しないようにすることを特徴とする請求項1に記載の物体追尾装置。
- 前記検知手段は、前記前景領域のうち、前記マスクと重ならない領域の割合に基づいて前記物体の交差を検知することを特徴とする請求項1又は2に記載の物体追尾装置。
- 前記照合手段により前記物体の画像領域が抽出された場合に、前記検知手段は、前記物体の画像領域から前景領域を抽出し、前記抽出した前景領域、及び前記認識モデルに対応するマスクを用いて前記物体の交差を検知し、
前記検知手段によって前記物体の交差が検知されない場合に、前記テンプレート更新手段は、前記検出手段によって検出された物体の画像領域に基づいて、前記物体のテンプレートを更新することを特徴とする請求項1〜3の何れか1項に記載の物体追尾装置。 - 前記検出手段は、前記探索領域を含む画像をそれぞれ異なる比率で縮小した複数のピラミッド画像を用いて前記複数のピラミッド画像それぞれの検出結果を統合して前記物体を検出することを特徴とする請求項1〜4の何れか1項に記載の物体追尾装置。
- 前記検出手段は、前記探索領域を含む複数のピラミッド画像を用いて前記複数のピラミッド画像それぞれにおいて前記物体を検出し、
前記照合手段は、前記テンプレート更新手段によって前記過去のフレームにおいて更新されたテンプレートと、前記複数のピラミッド画像のそれぞれにおける検出結果との類似度を算出し、前記類似度が所定値以上であるピラミッド画像の検出結果を統合して前記物体の画像領域とすることを特徴とする請求項1〜4の何れか1項に記載の物体追尾装置。 - 前記検知手段は、前記検出手段が複数の認識モデルを用いた場合に、前記物体の検出に最も多く利用された認識モデルのマスクを用いることを特徴とする請求項1〜6の何れか1項に記載の物体追尾装置。
- 前記検知手段は、前記検出手段が複数の認識モデルを用いた場合に、前記複数の認識モデルのマスクを用いることを特徴とする請求項1〜6の何れか1項に記載の物体追尾装置。
- 動画の注目するフレームにおける物体の探索領域を過去のフレームにおける追尾結果に基づいて設定する設定工程と、
前記設定工程において設定された探索領域において前記物体の認識モデルを用いて前記物体を検出する検出工程と、
前記検出工程において検出された物体の検出領域から前景領域を抽出し、前記抽出した前景領域、及び前記認識モデルに対応するマスクを用いて前記物体の交差を検知する検知工程と、
前記検知工程において前記物体の交差が検知されなかった場合に、前記検出工程において検出された物体の検出領域に基づいて、前記物体の特徴量を示すテンプレートを更新するテンプレート更新工程と、
前記検出工程において前記物体が検出されなかった場合に、前記テンプレート更新工程において前記過去のフレームにおいて更新されたテンプレートと照合して前記設定工程において設定された探索領域内から前記物体の画像領域を抽出する照合工程と、
前記検出工程において検出された物体の検出領域、または前記照合工程において抽出された画像領域を追尾結果として更新する追尾結果更新工程と、
を備えることを特徴とする物体追尾方法。 - 動画の注目するフレームにおける物体の探索領域を過去のフレームにおける追尾結果に基づいて設定する設定工程と、
前記設定工程において設定された探索領域において前記物体の認識モデルを用いて前記物体を検出する検出工程と、
前記検出工程において検出された物体の検出領域から前景領域を抽出し、前記抽出した前景領域、及び前記認識モデルに対応するマスクを用いて前記物体の交差を検知する検知工程と、
前記検知工程において前記物体の交差が検知されなかった場合に、前記検出工程において検出された物体の検出領域に基づいて、前記物体の特徴量を示すテンプレートを更新するテンプレート更新工程と、
前記検出工程において前記物体が検出されなかった場合に、前記テンプレート更新工程において前記過去のフレームにおいて更新されたテンプレートと照合して前記設定工程において設定された探索領域内から前記物体の画像領域を抽出する照合工程と、
前記検出工程において検出された物体の検出領域、または前記照合工程において抽出された画像領域を追尾結果として更新する追尾結果更新工程と、
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015124205A JP6532317B2 (ja) | 2015-06-19 | 2015-06-19 | 物体追尾装置、物体追尾方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015124205A JP6532317B2 (ja) | 2015-06-19 | 2015-06-19 | 物体追尾装置、物体追尾方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017010224A true JP2017010224A (ja) | 2017-01-12 |
JP2017010224A5 JP2017010224A5 (ja) | 2018-07-26 |
JP6532317B2 JP6532317B2 (ja) | 2019-06-19 |
Family
ID=57762465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015124205A Active JP6532317B2 (ja) | 2015-06-19 | 2015-06-19 | 物体追尾装置、物体追尾方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6532317B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785358A (zh) * | 2018-11-23 | 2019-05-21 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
WO2019188054A1 (en) * | 2018-03-29 | 2019-10-03 | Nec Corporation | Method, system and computer readable medium for crowd level estimation |
JP2019194857A (ja) * | 2018-05-04 | 2019-11-07 | キヤノン株式会社 | 物体追跡方法および装置 |
CN111354012A (zh) * | 2020-02-18 | 2020-06-30 | 杭州电子科技大学 | 基于子空间投影的复杂场景运动小目标检测前跟踪方法 |
WO2020175818A1 (ko) * | 2019-02-28 | 2020-09-03 | 네이버 주식회사 | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 |
JP2021033426A (ja) * | 2019-08-19 | 2021-03-01 | 東芝情報システム株式会社 | 画像検出装置、画像検出方法及び画像検出用プログラム |
WO2022019076A1 (ja) * | 2020-07-20 | 2022-01-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2022259690A1 (ja) * | 2021-06-11 | 2022-12-15 | パナソニックIpマネジメント株式会社 | 作業分析装置及び方法 |
CN115564803A (zh) * | 2022-12-06 | 2023-01-03 | 腾讯科技(深圳)有限公司 | 一种动画处理方法、装置、设备、存储介质及产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039580A (ja) * | 2008-07-31 | 2010-02-18 | Secom Co Ltd | 移動物体追跡装置 |
JP2010193406A (ja) * | 2009-02-20 | 2010-09-02 | Canon Inc | 画像入力装置及び被写体検出方法、プログラム |
-
2015
- 2015-06-19 JP JP2015124205A patent/JP6532317B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010039580A (ja) * | 2008-07-31 | 2010-02-18 | Secom Co Ltd | 移動物体追跡装置 |
JP2010193406A (ja) * | 2009-02-20 | 2010-09-02 | Canon Inc | 画像入力装置及び被写体検出方法、プログラム |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188054A1 (en) * | 2018-03-29 | 2019-10-03 | Nec Corporation | Method, system and computer readable medium for crowd level estimation |
US11893798B2 (en) | 2018-03-29 | 2024-02-06 | Nec Corporation | Method, system and computer readable medium of deriving crowd information |
US11615626B2 (en) | 2018-03-29 | 2023-03-28 | Nec Corporation | Method, system and computer readable medium for estimating crowd level using image of crowd |
US11270108B2 (en) | 2018-05-04 | 2022-03-08 | Canon Kabushiki Kaisha | Object tracking method and apparatus |
JP2019194857A (ja) * | 2018-05-04 | 2019-11-07 | キヤノン株式会社 | 物体追跡方法および装置 |
CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
CN109785358A (zh) * | 2018-11-23 | 2019-05-21 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
CN109785358B (zh) * | 2018-11-23 | 2023-06-16 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
WO2020175818A1 (ko) * | 2019-02-28 | 2020-09-03 | 네이버 주식회사 | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 |
JP2022521540A (ja) * | 2019-02-28 | 2022-04-08 | ネイバー コーポレーション | オンライン学習を利用した物体追跡のための方法およびシステム |
JP7192143B2 (ja) | 2019-02-28 | 2022-12-19 | ネイバー コーポレーション | オンライン学習を利用した物体追跡のための方法およびシステム |
KR102198920B1 (ko) * | 2019-02-28 | 2021-01-06 | 네이버 주식회사 | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 |
KR20200105157A (ko) * | 2019-02-28 | 2020-09-07 | 네이버 주식회사 | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 |
US11972578B2 (en) | 2019-02-28 | 2024-04-30 | Naver Corporation | Method and system for object tracking using online training |
JP2021033426A (ja) * | 2019-08-19 | 2021-03-01 | 東芝情報システム株式会社 | 画像検出装置、画像検出方法及び画像検出用プログラム |
CN111354012B (zh) * | 2020-02-18 | 2023-03-28 | 杭州电子科技大学 | 基于子空间投影的复杂场景运动小目标检测前跟踪方法 |
CN111354012A (zh) * | 2020-02-18 | 2020-06-30 | 杭州电子科技大学 | 基于子空间投影的复杂场景运动小目标检测前跟踪方法 |
WO2022019076A1 (ja) * | 2020-07-20 | 2022-01-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2022259690A1 (ja) * | 2021-06-11 | 2022-12-15 | パナソニックIpマネジメント株式会社 | 作業分析装置及び方法 |
CN115564803A (zh) * | 2022-12-06 | 2023-01-03 | 腾讯科技(深圳)有限公司 | 一种动画处理方法、装置、设备、存储介质及产品 |
CN115564803B (zh) * | 2022-12-06 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 一种动画处理方法、装置、设备、存储介质及产品 |
Also Published As
Publication number | Publication date |
---|---|
JP6532317B2 (ja) | 2019-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6532317B2 (ja) | 物体追尾装置、物体追尾方法及びプログラム | |
EP3092619B1 (en) | Information processing apparatus and information processing method | |
Lin et al. | Abandoned object detection via temporal consistency modeling and back-tracing verification for visual surveillance | |
US7916944B2 (en) | System and method for feature level foreground segmentation | |
EP3418944A2 (en) | Information processing apparatus, information processing method, and program | |
Pless et al. | Evaluation of local models of dynamic backgrounds | |
US8948450B2 (en) | Method and system for automatic object detection and subsequent object tracking in accordance with the object shape | |
CN110298297B (zh) | 火焰识别方法和装置 | |
JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
KR101449744B1 (ko) | 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법 | |
Noriega et al. | Real Time Illumination Invariant Background Subtraction Using Local Kernel Histograms. | |
Saito et al. | People detection and tracking from fish-eye image based on probabilistic appearance model | |
Gautam et al. | Computer vision based asset surveillance for smart buildings | |
Khanam et al. | Baggage recognition in occluded environment using boosting technique | |
Soundrapandiyan et al. | Robust pedestrian detection in infrared images using rotation and scale invariant-based structure element descriptor | |
Avola et al. | A new descriptor for keypoint-based background modeling | |
Meenatchi et al. | Multiple object tracking and segmentation in video sequences | |
Yildirim et al. | Gender classification based on binary haar cascade | |
Kim et al. | Background modeling using adaptive properties of hybrid features | |
Li et al. | Scene-independent feature-and classifier-based vehicle headlight and shadow removal in video sequences | |
Duan et al. | Detection of hand-raising gestures based on body silhouette analysis | |
Kerdvibulvech | Hybrid model of human hand motion for cybernetics application | |
Pava et al. | Object Detection and Motion Analysis in a Low Resolution 3-D Model | |
JP2016207106A (ja) | 物体検出における誤検出低減方法および装置 | |
Voleti et al. | Simple real-time pattern recognition for industrial automation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190521 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6532317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |