JP7270617B2 - 歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器 - Google Patents
歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器 Download PDFInfo
- Publication number
- JP7270617B2 JP7270617B2 JP2020520032A JP2020520032A JP7270617B2 JP 7270617 B2 JP7270617 B2 JP 7270617B2 JP 2020520032 A JP2020520032 A JP 2020520032A JP 2020520032 A JP2020520032 A JP 2020520032A JP 7270617 B2 JP7270617 B2 JP 7270617B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- shoulder region
- tracking
- shoulder
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
本願は、2017年10月24日に出願された、発明の名称が「歩行者流量ファネル生成方法及び装置、記憶媒体、電子機器」であって、出願番号が201711002265.5である中国特許出願に基づいて優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップと、を含む。
第1のフレームの画像を取得し、且つ、前記頭肩認識モデルに応じて前記第1のフレームの画像における頭肩領域を取得し、前記頭肩領域により前記追跡シーケンスセットの初期化を行うステップをさらに含む。
性別年齢認識モデルに応じて前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識するステップをさらに含む。
前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成するステップを含む。
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップを含む。
前記追跡シーケンスセットにおける各頭肩領域の直前のフレームの画像での位置に基づいて、前記現在のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標をそれぞれ取得するステップと、
各前記頭肩領域に対応するトラッカーに応じて、対応的に各前記頭肩領域に対応する候補追跡目標の応答値をそれぞれ計算するステップと、
各前記頭肩領域に対応する候補追跡目標における最大応答値を持つ候補追跡目標を、対応する頭肩領域の前記現在のフレームの画像での追跡目標として確定するステップと、
各前記頭肩領域の前記現在のフレームの画像での追跡目標に応じて、対応的に前記追跡シーケンスセットにおける各頭肩領域を更新するステップと、を含む。
各前記頭肩領域に対応するトラッカーを計算するステップは、
前記追跡シーケンスセットにおける各頭肩領域の前記直前のフレームの画像での位置に基づいて、前記直前のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する第1のトレーニングサンプルセットをそれぞれ取得するステップと、
各前記頭肩領域に対応する第1のトレーニングサンプルセットに応じて回帰モデルをそれぞれトレーニングして、各前記頭肩領域に対応するトラッカーを得るステップと、を含む。
畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップは、
ImageNet分類データセットに応じてMobileNetネットワークをトレーニングして、前記MobileNetネットワークの重み値を得るステップと、
前記MobileNetネットワークに予め設けられた層数の畳み込み層を追加して、頭肩検出ネットワークを得り、ここで、前記畳み込み層のサイズが層ごとに小さくするステップと、
前記頭肩領域がマークアップされた第2のトレーニングサンプルセットを取得し、前記第2のトレーニングサンプルセットに応じて前記MobileNetネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、前記頭肩認識モデルを得るステップと、を含む。
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップと、
前記類似度に応じて前記追跡シーケンスセットを更新するステップと、を含む。
次の式により、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップを含み、
前記類似度及び類似度の閾値に応じて、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域とをそれぞれマッチングするステップと、
マッチングに成功した場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、
マッチングに失敗した場合、前記現在のフレームの画像におけるマッチングに失敗した頭肩領域を前記追跡シーケンスセットに追加するステップと、を含む。
前記現在のフレームの画像におけるマッチングに成功した頭肩領域及び対応する前記追跡シーケンスセットにおける頭肩領域の信頼度をそれぞれ計算するステップと、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域の信頼度が、対応する前記追跡シーケンスセットにおける頭肩領域の信頼度よりも大きい場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、を含む。
前記追跡シーケンスセットには、第1の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない追跡状態にある頭肩領域がある場合、第1の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない頭肩領域を追跡状態から異常状態に変更するステップと、
前記追跡シーケンスセットには、第2の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域がある場合、追跡シーケンスセットにおいて、第2の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域を削除するステップと、をさらに含む。
前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップと、
各頭肩領域の移動軌跡に応じて、仮想カウントラインを組み合わせて歩行者をカウントするステップと、を含む。
前記性別年齢認識モデルを構築するステップは、
LFWデータセット及びソーシャルネットワーキングサイトにおいて性別及び年齢範囲がマークアップされた第3のトレーニングサンプルセットを取得するステップと、
前記第3のトレーニングサンプルセットにより性別年齢ネットワークをトレーニングして、前記性別年齢認識モデルを得り、ここで、前記性別年齢ネットワークが3つの畳み込み層及び3つの全結合層を含むステップと、を含む。
現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される追跡更新モジュールと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するように構成される検出更新モジュールと、
前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するように構成される技術生成モジュールと、を含む。
本発明の一態様によれば、上記のプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより上記のいずれか1項に記載の歩行者流量ファネル生成方法を実行するように構成される。
追跡更新モジュール101は、現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される。
Claims (18)
- 現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップと、を含み、
前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するステップは、
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップを含み、
前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するステップは、
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算するステップと、
前記類似度に応じて前記追跡シーケンスセットを更新するステップと、を含むことを特徴とする歩行者流量ファネル生成方法。 - 前記現在のフレームの画像を取得する前に、前記方法は、
第1のフレームの画像を取得し、且つ、前記頭肩認識モデルに応じて前記第1のフレームの画像における頭肩領域を取得し、前記頭肩領域により前記追跡シーケンスセットの初期化を行うステップをさらに含む
ことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記方法は、
性別年齢認識モデルに応じて前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を認識するステップをさらに含む
ことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するステップは、
前記歩行者のカウント結果に基づいて、前記追跡シーケンスセットにおける各頭肩領域の年齢範囲及び性別を組み合わせて前記歩行者流量ファネルを生成するステップを含むことを特徴とする請求項2に記載の歩行者流量ファネル生成方法。 - 前記カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新するステップは、
前記追跡シーケンスセットにおける各頭肩領域の直前のフレームの画像での位置に基づいて、前記現在のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する候補追跡目標をそれぞれ取得するステップと、
各前記頭肩領域に対応するトラッカーに応じて、対応的に各前記頭肩領域に対応する候補追跡目標の応答値をそれぞれ計算するステップと、
各前記頭肩領域に対応する候補追跡目標における最大応答値を持つ候補追跡目標を、対応する頭肩領域の前記現在のフレームの画像での追跡目標として確定するステップと、
各前記頭肩領域の前記現在のフレームの画像での追跡目標に応じて、対応的に前記追跡シーケンスセットにおける各頭肩領域を更新するステップと、を含むことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記方法は、各前記頭肩領域に対応するトラッカーを計算するステップをさらに含み、
各前記頭肩領域に対応するトラッカーを計算するステップは、
前記追跡シーケンスセットにおける各頭肩領域の前記直前のフレームの画像での位置に基づいて、前記直前のフレームの画像において前記追跡シーケンスセットにおける各頭肩領域に対応する第1のトレーニングサンプルセットをそれぞれ取得するステップと、
各前記頭肩領域に対応する第1のトレーニングサンプルセットに応じて回帰モデルをそれぞれトレーニングして、各前記頭肩領域に対応するトラッカーを得るステップと、を含むことを特徴とする請求項5に記載の歩行者流量ファネル生成方法。 - 前記方法は、畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップをさらに含み、
畳み込みニューラルネットワークに応じて前記頭肩認識モデルを生成するステップは、
ImageNet分類データセットに応じてMobileNetネットワークをトレーニングして、前記MobileNetネットワークの重み値を得るステップと、
前記MobileNetネットワークに予め設けられた層数の畳み込み層を追加して、頭肩検出ネットワークを得るステップであって、前記畳み込み層のサイズを層ごとに小さくする、前記頭肩検出ネットワークを得るステップと、
前記頭肩領域がマークアップされた第2のトレーニングサンプルセットを取得し、前記第2のトレーニングサンプルセットに応じて前記MobileNetネットワークの重み値を保持する前記頭肩検出ネットワークをトレーニングして、前記頭肩認識モデルを得るステップと、を含むことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記類似度に応じて前記追跡シーケンスセットを更新するステップは、
前記類似度及び類似度の閾値に応じて、前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域とをそれぞれマッチングするステップと、
マッチングに成功した場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、
マッチングに失敗した場合、前記現在のフレームの画像におけるマッチングに失敗した頭肩領域を前記追跡シーケンスセットに追加するステップと、を含むことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップは、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域及び対応する前記追跡シーケンスセットにおける頭肩領域の信頼度をそれぞれ計算するステップと、
前記現在のフレームの画像におけるマッチングに成功した頭肩領域の信頼度が、対応する前記追跡シーケンスセットにおける頭肩領域の信頼度よりも大きい場合、前記追跡シーケンスセットにおける頭肩領域を、前記現在のフレームの画像におけるマッチングに成功した頭肩領域で対応的に置き換えるステップと、を含むことを特徴とする請求項9に記載の歩行者流量ファネル生成方法。 - 前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析する前に、前記方法は、
前記追跡シーケンスセットには、第1の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない追跡状態にある頭肩領域がある場合、第1の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない頭肩領域を追跡状態から異常状態に変更するステップと、
前記追跡シーケンスセットには、第2の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域がある場合、追跡シーケンスセットにおいて、第2の予め設けられたフレーム数の画像において各フレームの画像から取得された頭肩領域により更新されない異常状態にある頭肩領域を削除するステップと、をさらに含むことを特徴とする請求項9に記載の歩行者流量ファネル生成方法。 - 前記歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップは、
前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析するステップと、
各頭肩領域の移動軌跡に応じて、仮想カウントラインを組み合わせて歩行者をカウントするステップと、を含むことを特徴とする請求項1に記載の歩行者流量ファネル生成方法。 - 前記方法は、前記性別年齢認識モデルを構築するステップをさらに含み、
前記性別年齢認識モデルを構築するステップは、
LFWデータセット及びソーシャルネットワーキングサイトにおいて性別及び年齢範囲がマークアップされた第3のトレーニングサンプルセットを取得するステップと、
前記第3のトレーニングサンプルセットにより性別年齢ネットワークをトレーニングして、前記性別年齢認識モデルを得るステップであって、前記性別年齢ネットワークが3つの畳み込み層及び3つの全結合層を含む、前記性別年齢認識モデルを得るステップと、を含むことを特徴とする請求項3に記載の歩行者流量ファネル生成方法。 - 現在のフレームの画像を取得し、多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新するように構成される追跡更新モジュールと、
頭肩認識モデルに応じて前記現在のフレームの画像における頭肩領域を取得し、前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新するように構成される検出更新モジュールと、
歩行者をカウントするように前記追跡シーケンスセットにおける各頭肩領域の移動軌跡を分析し、前記現在のフレームの画像が最後のフレームの画像である場合、前記歩行者のカウント結果に基づいて歩行者流量ファネルを生成するように構成される技術生成モジュールと、を含み、
前記多目標追跡アルゴリズムにより前記現在のフレームの画像において追跡シーケンスセットにおける頭肩領域を追跡及び更新することは、
カーネル相関フィルタに基づく追跡アルゴリズムにより、前記現在のフレームの画像において前記追跡シーケンスセットにおける頭肩領域をそれぞれ追跡及び更新することを含み、
前記現在のフレームの画像における頭肩領域に応じて前記追跡シーケンスセットを更新することは、
前記現在のフレームの画像における各頭肩領域と前記追跡シーケンスセットにおける各頭肩領域との類似度を計算することと、
前記類似度に応じて前記追跡シーケンスセットを更新することと、を含むことを特徴とする歩行者流量ファネルを生成する装置。 - プロセッサにより実行される場合、請求項1~請求項14のいずれか1項に記載の歩行者流量ファネル生成方法を実現することを特徴とするプログラム。
- 請求項16に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
- プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を実行することにより、請求項1~請求項14のいずれか1項に記載の歩行者流量ファネル生成方法を実行するように構成されることを特徴とする電子機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711002265.5 | 2017-10-24 | ||
CN201711002265.5A CN109697499B (zh) | 2017-10-24 | 2017-10-24 | 行人流量漏斗生成方法及装置、存储介质、电子设备 |
PCT/CN2018/111713 WO2019080881A1 (zh) | 2017-10-24 | 2018-10-24 | 行人流量漏斗生成方法及装置、存储介质、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537240A JP2020537240A (ja) | 2020-12-17 |
JP7270617B2 true JP7270617B2 (ja) | 2023-05-10 |
Family
ID=66227762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520032A Active JP7270617B2 (ja) | 2017-10-24 | 2018-10-24 | 歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11210795B2 (ja) |
JP (1) | JP7270617B2 (ja) |
CN (1) | CN109697499B (ja) |
WO (1) | WO2019080881A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368650B (zh) * | 2020-02-18 | 2024-03-12 | 北京交通大学 | 一种基于轨迹数据的人群拥挤行为识别方法 |
US11341650B2 (en) * | 2020-03-19 | 2022-05-24 | At&T Intellectual Property I, L.P. | Method for accelerating three-dimensional object segmentation with point cloud simplifications |
CN112434566B (zh) * | 2020-11-04 | 2024-05-07 | 深圳云天励飞技术股份有限公司 | 客流统计方法、装置、电子设备及存储介质 |
CN112380960A (zh) * | 2020-11-11 | 2021-02-19 | 广东电力信息科技有限公司 | 一种人群计数方法、装置、设备和存储介质 |
CN112270381B (zh) * | 2020-11-16 | 2022-06-03 | 电子科技大学 | 基于深度学习的人流量检测方法 |
CN114677607A (zh) * | 2020-12-10 | 2022-06-28 | 富泰华工业(深圳)有限公司 | 基于人脸识别的实时行人统计方法以及装置 |
CN112464917A (zh) * | 2021-01-06 | 2021-03-09 | 希望银蕨智能科技有限公司 | 一种非接触式测温***的人数统计方法 |
CN112906590A (zh) * | 2021-03-02 | 2021-06-04 | 东北农业大学 | 一种基于FairMOT的多目标跟踪人流量监测方法 |
CN113673342A (zh) * | 2021-07-19 | 2021-11-19 | 浙江大华技术股份有限公司 | 行为检测方法、电子装置和存储介质 |
CN114372994B (zh) * | 2022-01-10 | 2022-07-22 | 北京中电兴发科技有限公司 | 视频浓缩中背景图像的生成方法 |
CN114677651B (zh) * | 2022-05-30 | 2022-09-27 | 山东极视角科技有限公司 | 一种基于低画质低帧率视频的客流统计方法及相关装置 |
CN116330658B (zh) * | 2023-01-12 | 2024-05-28 | 珠海视熙科技有限公司 | 基于深度图像的目标跟踪方法、装置、***及摄像设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017123024A (ja) | 2016-01-06 | 2017-07-13 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7492924B2 (en) * | 2003-07-18 | 2009-02-17 | Intel Corporation | Face tracking |
JP2009211311A (ja) * | 2008-03-03 | 2009-09-17 | Canon Inc | 画像処理装置及び方法 |
CN101777114B (zh) * | 2009-01-08 | 2013-04-24 | 北京中星微电子有限公司 | 视频监控智能分析***和方法及头肩检测跟踪***和方法 |
CN101877058B (zh) * | 2010-02-10 | 2012-07-25 | 杭州海康威视软件有限公司 | 人流量统计的方法及*** |
CN103049787B (zh) * | 2011-10-11 | 2015-11-25 | 汉王科技股份有限公司 | 一种基于头肩特征的人数统计方法和*** |
US9367733B2 (en) * | 2012-11-21 | 2016-06-14 | Pelco, Inc. | Method and apparatus for detecting people by a surveillance system |
CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
CN103425967B (zh) | 2013-07-21 | 2016-06-01 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
KR102474837B1 (ko) * | 2015-09-14 | 2022-12-07 | 주식회사 한화 | 전경 추출 방법 및 장치 |
JP2017097510A (ja) | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
US9911198B2 (en) * | 2015-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
WO2017201638A1 (en) * | 2016-05-23 | 2017-11-30 | Intel Corporation | Human detection in high density crowds |
CN106203513B (zh) * | 2016-07-08 | 2019-06-21 | 浙江工业大学 | 一种基于行人头肩多目标检测及跟踪的统计方法 |
CN106530340B (zh) * | 2016-10-24 | 2019-04-26 | 深圳市商汤科技有限公司 | 一种指定物体跟踪方法 |
CN107066990B (zh) * | 2017-05-04 | 2019-10-11 | 厦门美图之家科技有限公司 | 一种目标跟踪方法及移动设备 |
-
2017
- 2017-10-24 CN CN201711002265.5A patent/CN109697499B/zh active Active
-
2018
- 2018-10-24 US US16/758,958 patent/US11210795B2/en active Active
- 2018-10-24 WO PCT/CN2018/111713 patent/WO2019080881A1/zh active Application Filing
- 2018-10-24 JP JP2020520032A patent/JP7270617B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017123024A (ja) | 2016-01-06 | 2017-07-13 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
Non-Patent Citations (3)
Title |
---|
「CrowdVision - Automated customer analytics for retail stores and malls」、[online]、2017年2月19日、[令和4年11月15日検索]、インターネット<URL:https://web.archive.org/web/20170219135629/https://www.crowdvision.com/solutions-retail/#tab2> |
Kwang-Yong Kim et al., "Multi-object tracker using kemelized correlation filter based on appearance and motion model", Proceedings of the International Conference on Advanced Communication Technology (ICACT 2017), 2017.2.19, Pages 761-764 |
Zhiqiang Li et al., "Deep People Counting with Faster R-CNN and Correlation Tracking", Proceedings of the International Conference on Internet Multimedia Computing and Service (ICIMCS’16), 2016.8.19, Pages 57-60 |
Also Published As
Publication number | Publication date |
---|---|
US20200349720A1 (en) | 2020-11-05 |
CN109697499A (zh) | 2019-04-30 |
JP2020537240A (ja) | 2020-12-17 |
US11210795B2 (en) | 2021-12-28 |
WO2019080881A1 (zh) | 2019-05-02 |
CN109697499B (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270617B2 (ja) | 歩行者流量ファネル生成方法及び装置、プログラム、記憶媒体、電子機器 | |
US11379696B2 (en) | Pedestrian re-identification method, computer device and readable medium | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
Chen et al. | Enhancing detection model for multiple hypothesis tracking | |
WO2022134344A1 (zh) | 目标检测方法、***、设备及存储介质 | |
Angah et al. | Tracking multiple construction workers through deep learning and the gradient based method with re-matching based on multi-object tracking accuracy | |
Wang et al. | Tracklet association by online target-specific metric learning and coherent dynamics estimation | |
CN108447080B (zh) | 基于分层数据关联和卷积神经网络的目标跟踪方法、***和存储介质 | |
Singh et al. | Crowd monitoring: State-of-the-art and future directions | |
Rezaee et al. | An autonomous UAV-assisted distance-aware crowd sensing platform using deep ShuffleNet transfer learning | |
US11270126B2 (en) | Person tracking method, device, electronic device, and computer readable medium | |
WO2020258598A1 (zh) | 图像处理方法、提名评估方法及相关装置 | |
Ottakath et al. | ViDMASK dataset for face mask detection with social distance measurement | |
WO2022134576A1 (zh) | 红外视频时序行为定位方法、装置、设备及存储介质 | |
Geng et al. | Abnormal event detection in tourism video based on salient spatio-temporal features and sparse combination learning | |
Yang et al. | Bird's-eye view social distancing analysis system | |
Ying et al. | Multi-object tracking via MHT with multiple information fusion in surveillance video | |
Nayak et al. | Deep learning based loitering detection system using multi-camera video surveillance network | |
Pi et al. | Deep learning for visual analytics of the spread of COVID-19 infection in crowded urban environments | |
Haq et al. | Implementation of smart social distancing for COVID-19 based on deep learning algorithm | |
CN115033739A (zh) | 搜索方法、模型训练方法、装置、电子设备和介质 | |
CN111783613B (zh) | 异常检测方法、模型的训练方法、装置、设备及存储介质 | |
CN117240632A (zh) | 一种基于知识图谱的攻击检测方法和*** | |
JP7280331B2 (ja) | 車両関連付け方法、車両関連付け装置、電子機器、コンピュータ可読記憶媒体、路側機器、クラウドコントロールプラットフォームおよびプログラム | |
Xie et al. | Dynamic Dual-Peak Network: A real-time human detection network in crowded scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220301 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220629 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220830 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221101 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230307 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230411 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |