JPWO2019087383A1 - Crowd density calculation device, crowd density calculation method, and crowd density calculation program - Google Patents
Crowd density calculation device, crowd density calculation method, and crowd density calculation program Download PDFInfo
- Publication number
- JPWO2019087383A1 JPWO2019087383A1 JP2019550118A JP2019550118A JPWO2019087383A1 JP WO2019087383 A1 JPWO2019087383 A1 JP WO2019087383A1 JP 2019550118 A JP2019550118 A JP 2019550118A JP 2019550118 A JP2019550118 A JP 2019550118A JP WO2019087383 A1 JPWO2019087383 A1 JP WO2019087383A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- unit
- video frame
- density distribution
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 76
- 238000009826 distribution Methods 0.000 claims abstract description 107
- 238000004458 analytical method Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 32
- 238000012937 correction Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 108090000237 interleukin-24 Proteins 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
群集密度を算出する群集密度算出装置(100)において、映像取得部(110)は、人が撮像されている映像ストリーム(22)から映像フレーム(21)を取得する。解析部(120)は、映像フレーム(21)に3次元座標を対応付け、映像フレーム(21)上において3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得する。解析部(120)は、複数の立体領域の各立体領域に存在する人の数に基づいて、映像フレームにおける人の密度分布を群集密度分布(225)として算出する。In the crowd density calculation device (100) for calculating crowd density, a video acquisition unit (110) acquires a video frame (21) from a video stream (22) in which a person is imaged. The analysis unit (120) associates the three-dimensional coordinates with the video frame (21), and creates a plurality of regions representing each three-dimensional space of the plurality of three-dimensional spaces obtained based on the three-dimensional coordinates on the video frame (21). It is acquired as each three-dimensional area of the three-dimensional area. The analysis unit (120) calculates the density distribution of people in the video frame as a crowd density distribution (225) based on the number of people existing in each stereoscopic area of the plurality of stereoscopic areas.
Description
本発明は、群集密度算出装置、群集密度算出方法および群集密度算出プログラムに関する。 The present invention relates to a crowd density calculation device, a crowd density calculation method, and a crowd density calculation program.
人の数あるいは人の密度をカメラ映像から推定する技術がある。カメラ映像から人の数を推定する技術として、人物検出に基づき人数をカウントする手法、または、前景面積から人数を推定する手法といった技術がある。
人物検出に基づく手法では、群集密度が低いと、人の数を高精度に推定できる。しかし、この手法では、人数が増えるに従って演算量が増える。さらに、この手法では、人数が増えるに従い群集密度が高くなるので、人物同士のオクルージョン、すなわち隠蔽の影響により推定精度が低下する。
前景面積から人数を推定する手法では、群集密度が低い場合、人物検出に基づく手法に比較すると推定精度が劣る。しかし、この手法では、群集密度が高い場合でも演算量が変わらない。
なお、人の密度を推定する技術は、映像フレームの任意の領域ごとに人数を推定する技術と等価である。There is a technique for estimating the number of people or the density of people from camera images. As a technique for estimating the number of people from a camera image, there is a technique of counting the number of people based on detection of a person, or a technique of estimating the number of people from a foreground area.
In the method based on person detection, when the crowd density is low, the number of people can be estimated with high accuracy. However, in this method, the amount of calculation increases as the number of people increases. Furthermore, in this method, the crowd density increases as the number of people increases, so that the estimation accuracy decreases due to the effect of occlusion between persons, that is, the effect of concealment.
In the method of estimating the number of people from the foreground area, when the crowd density is low, the estimation accuracy is inferior to the method based on person detection. However, in this method, the amount of calculation does not change even when the crowd density is high.
Note that the technology for estimating the density of people is equivalent to the technology for estimating the number of people for each arbitrary region of a video frame.
特許文献1および特許文献2には、群集を撮影した映像を取得し、背景差分により抽出した前景を人物領域として、人物領域の面積から画面内の人数を推定する技術が開示されている。
特許文献1では、画像中の各画素が人の数にどれだけ寄与するかを数量的に表す荷重値が算出される。荷重値は、画像における対象物の見かけ上の体積から算出される。これにより、奥行きの違いにより単位人数あたりの前景面積の現れ方が異なるという課題を解決し、奥行きのある画像でも人数の推定を可能としている。
また、特許文献2では、予め群集を模したCG(computer graphics)モデルを複数の混雑度で作成し、群集同士のオクルージョンを考慮した前景面積と人数の関係式を導出する。そして、特許文献2では、オクルージョンの影響を抑制した人数の推定を可能としている。
In
In Patent Document 2, a CG (computer graphics) model imitating a crowd is created in advance with a plurality of congestion degrees, and a relational expression between the foreground area and the number of people taking into account the occlusion between the crowds is derived. In Patent Document 2, it is possible to estimate the number of people while suppressing the influence of occlusion.
特許文献1および特許文献2に開示されている技術では、映像フレームに存在する人の数および映像フレーム中の任意の領域における人の密度は算出される。しかし、実世界の物理空間上における人位置の推定は行っていない。これは特許文献1および特許文献2においては物理空間上の点から映像フレーム上の点への対応付けは行われているが、その逆は行われていないためである。
In the techniques disclosed in
本発明は、映像フレームから実世界の物理空間上における群集の存在位置を算出し、群集の密度分布として出力することを目的とする。 An object of the present invention is to calculate the location of a crowd in a physical space in the real world from a video frame and output the calculated location as a density distribution of the crowd.
本発明に係る群集密度算出装置は、
人が撮像されている映像ストリームから映像フレームを取得する映像取得部と、
前記映像フレームに3次元座標を対応付け、前記映像フレーム上において前記3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布を群集密度分布として算出する解析部とを備えた。The crowd density calculation device according to the present invention,
A video acquisition unit that acquires a video frame from a video stream in which a person is being imaged;
Associating three-dimensional coordinates with the video frame, obtaining, on the video frame, a region representing each three-dimensional space of a plurality of three-dimensional spaces obtained based on the three-dimensional coordinates as each three-dimensional region of a plurality of three-dimensional regions; An analysis unit that calculates a density distribution of people in the video frame as a crowd density distribution based on the number of people existing in each of the plurality of three-dimensional regions.
本発明に係る群集密度算出装置では、解析部が、映像フレームに3次元座標を対応付け、映像フレーム上において3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得する。また、解析部が、複数の立体領域の各立体領域に存在する人の数に基づいて、映像フレームにおける群集密度分布を算出する。よって、本発明に係る群集密度算出装置によれば、映像フレームから実世界の物理空間における群集密度分布を定量的に把握することができる。 In the crowd density calculation device according to the present invention, the analysis unit associates three-dimensional coordinates with the video frame, and sets a plurality of regions representing each three-dimensional space of a plurality of three-dimensional spaces obtained based on the three-dimensional coordinates on the video frame. Are obtained as the three-dimensional regions of the three-dimensional region. In addition, the analysis unit calculates a crowd density distribution in the video frame based on the number of people existing in each of the plurality of three-dimensional regions. Therefore, according to the crowd density calculation device of the present invention, the crowd density distribution in the physical space in the real world can be quantitatively grasped from the video frame.
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings, the same or corresponding portions are denoted by the same reference numerals. In the description of the embodiments, the description of the same or corresponding portions will be omitted or simplified as appropriate.
実施の形態1.
***構成の説明***
図1を用いて、本実施の形態に係る群集密度算出装置100の構成を説明する。
群集密度算出装置100は、コンピュータである。群集密度算出装置100は、プロセッサ910を備えるとともに、メモリ921、補助記憶装置922、入力インタフェース930、出力インタフェース940、および通信装置950といった他のハードウェアを備える。プロセッサ910は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
*** Configuration description ***
The configuration of the crowd density calculation device 100 according to the present embodiment will be described with reference to FIG.
The crowd density calculation device 100 is a computer. The crowd density calculation device 100 includes a processor 910 and other hardware such as a memory 921, an
群集密度算出装置100は、機能要素として、映像取得部110と、解析部120と、結果出力部130と、記憶部140とを備える。記憶部140には、解析部120による解析処理で用いられる解析パラメータ141が記憶されている。
The crowd density calculation device 100 includes a
映像取得部110と解析部120と結果出力部130の機能は、ソフトウェアにより実現される。記憶部140は、メモリ921に備えられる。記憶部140は、補助記憶装置922に備えられていてもよい。
The functions of the
プロセッサ910は、群集密度算出プログラムを実行する装置である。群集密度算出プログラムは、映像取得部110と解析部120と結果出力部130の機能を実現するプログラムである。
プロセッサ910は、演算処理を行うIC(Integrated Circuit)である。プロセッサ910の具体例は、CPU、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。The processor 910 is a device that executes a crowd density calculation program. The crowd density calculation program is a program that implements the functions of the
The processor 910 is an IC (Integrated Circuit) that performs arithmetic processing. Specific examples of the processor 910 are a CPU, a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
メモリ921は、データを一時的に記憶する記憶装置である。メモリ921の具体例は、SRAM(Static Random Access Memory)、あるいはDRAM(Dynamic Random Access Memory)である。 The memory 921 is a storage device that temporarily stores data. A specific example of the memory 921 is an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).
補助記憶装置922は、データを保管する記憶装置である。補助記憶装置922の具体例は、HDDである。また、補助記憶装置922は、SD(登録商標)メモリカード、CF、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体であってもよい。なお、HDDは、Hard Disk Driveの略語である。SD(登録商標)は、Secure Digitalの略語である。CFは、CompactFlashの略語である。DVDは、Digital Versatile Diskの略語である。
The
入力インタフェース930は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。また、入力インタフェース930は、カメラ200と接続されるポートであってもよい。入力インタフェース930は、具体的には、USB(Universal Serial Bus)端子である。なお、入力インタフェース930は、LAN(Local Area Network)と接続されるポートであってもよい。群集密度算出装置100は、入力インタフェース930を介して、カメラ200から映像ストリーム21を取得してもよい。
The
出力インタフェース940は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース940は、具体的には、USB端子またはHDMI(登録商標)(High Definition Multimedia Interface)端子である。ディスプレイは、具体的には、LCD(Liquid Crystal Display)である。群集密度算出装置100は、出力インタフェース940を介して、結果出力部130により出力された解析結果をディスプレイに表示する。
The
通信装置950は、ネットワークを介して他の装置と通信する。通信装置950は、レシーバとトランスミッタを有する。通信装置950は、有線または無線で、LAN、インターネット、あるいは電話回線といった通信網に接続している。通信装置950は、具体的には、通信チップまたはNIC(Network Interface Card)である。群集密度算出装置100は、通信装置950を介して、カメラ200から映像ストリーム22を受信してもよい。また、群集密度算出装置100は、通信装置950を介して、結果出力部130により出力された解析結果を外部の装置に送信してもよい。
The
群集密度算出プログラムは、プロセッサ910に読み込まれ、プロセッサ910によって実行される。メモリ921には、群集密度算出プログラムだけでなく、OS(Operating System)も記憶されている。プロセッサ910は、OSを実行しながら、群集密度算出プログラムを実行する。群集密度算出プログラムおよびOSは、補助記憶装置922に記憶されていてもよい。補助記憶装置922に記憶されている群集密度算出プログラムおよびOSは、メモリ921にロードされ、プロセッサ910によって実行される。なお、群集密度算出プログラムの一部または全部がOSに組み込まれていてもよい。
The crowd density calculation program is read by the processor 910 and executed by the processor 910. The memory 921 stores not only a crowd density calculation program but also an OS (Operating System). The processor 910 executes the crowd density calculation program while executing the OS. The crowd density calculation program and the OS may be stored in the
群集密度算出装置100は、プロセッサ910を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、群集密度算出プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ910と同じように、群集密度算出プログラムを実行する装置である。 The crowd density calculation device 100 may include a plurality of processors instead of the processor 910. These processors share execution of the crowd density calculation program. Each processor is a device that executes a crowd density calculation program, similarly to the processor 910.
群集密度算出プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ921、補助記憶装置922、または、プロセッサ910内のレジスタあるいはキャッシュメモリに記憶される。
Data, information, signal values, and variable values used, processed, or output by the crowd density calculation program are stored in the memory 921, the
群集密度算出プログラムは、映像取得部110と解析部120と結果出力部130の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、群集密度算出方法は、群集密度算出装置100が群集密度算出プログラムを実行することにより行われる方法である。
群集密度算出プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、群集密度算出プログラムは、プログラムプロダクトとして提供されてもよい。The crowd density calculation program executes each process, each procedure or each process in which the “unit” of each unit of the
The crowd density calculation program may be provided by being stored in a computer-readable recording medium. Further, the crowd density calculation program may be provided as a program product.
図2を用いて、本実施の形態に係る解析部120の詳細構成について説明する。
解析部120は、前景抽出部121と、暫定密度計算部122と、存在判定部123と、標準化部124と、分布出力部125とを備える。すなわち、映像取得部110と解析部120と結果出力部130の各部とは、映像取得部110と、前景抽出部121と、暫定密度計算部122と、存在判定部123と、標準化部124と、分布出力部125と、結果出力部130の各部である。The detailed configuration of the
The
図1および図2を用いて、群集密度算出装置100の各機能要素の概要について説明する。
群集密度算出装置100は、物体を撮像し、映像ストリーム21として配信するカメラ200と接続される。物体とは、具体的には人である。すなわち、映像ストリーム21は、群集映像である。
映像取得部110は、入力インタフェース930を介して、カメラ200から配信される映像ストリーム21を取得する。映像取得部110は、映像ストリーム21から映像フレーム22を取得する。具体的には、映像取得部110は、映像ストリーム21を復号し、映像フレーム22に変換する。
解析部120は、映像フレーム22に3次元座標を対応付ける。解析部120は、映像フレーム22上において3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得する。そして、解析部120は、複数の立体領域の各立体領域に存在する人の数に基づいて、映像フレーム22における群集密度分布を算出する。すなわち、解析部120は、映像フレーム22を用いて、物理空間上の3次元座標における群集の位置を群集密度分布225として算出する。
結果出力部130は、出力インタフェース940を介して、解析部120から出力された群集密度分布225をディスプレイといった出力装置に出力する。The outline of each functional element of the crowd density calculation device 100 will be described with reference to FIGS. 1 and 2.
The crowd density calculation device 100 is connected to a camera 200 that images an object and distributes the image as a
The
The
The
次に、解析部120が有する各機能要素の概要について説明する。
前景抽出部121は、映像フレーム22から前景の特徴を有する部分を前景画像221として抽出する。暫定密度計算部122は、前景画像221と記憶部140に記憶されている解析パラメータ141とを用いて、物理空間上の各位置に対する見かけ上の群集の密度分布である暫定密度分布222を算出する。存在判定部123は、物理空間上において人が存在しない位置を判定することにより、暫定密度分布222を補正する。存在判定部123は、補正した暫定密度分布222を補正密度分布223として出力する。標準化部124は、映像フレーム22により表される画像に存在する総人数を利用して、補正密度分布223を標準化し、確定密度分布224を出力する。分布出力部125は、確定密度分布224を出力形式に変換し、最終的に群集密度分布225として出力する。Next, an outline of each functional element included in the
The
図3を用いて、群集密度分布の定義を説明する。群集密度分布とは、実世界の物理空間上の人数分布である。
図3に示すように、実世界の3次元座標である物理空間座標系Xr−Yr−Zrにおいて、実世界の地面に対応するXr−Yr平面上のある位置(Xi,Yi)における幅ΔXと奥行きΔYで囲まれる領域をΔSijとする。そして、ΔSijを底面とした高さHの角柱で囲まれる立体空間の領域を立体空間Vijとする。立体空間Vij内に存在する人数をhtijとする。人数htijをΔSijに対応させ、解析領域全体分を並べたものが群集密度分布である。高さHは人の身長程度の高さとする。The definition of the crowd density distribution will be described with reference to FIG. The crowd density distribution is the distribution of people in the physical space of the real world.
As shown in FIG. 3, the physical space coordinates X r -Y r -Z r is a three-dimensional coordinates of the real world, X r -Y r a top planar position (X i corresponding to the ground in the real world, A region surrounded by the width ΔX and the depth ΔY in Y i ) is defined as ΔS ij . Then, an area of the three-dimensional space surrounded by a prism having a height of H and a bottom surface of ΔS ij is defined as a three-dimensional space V ij . The number of persons existing in the three-dimensional space V ij is defined as h tij . A crowd density distribution is obtained by arranging the number of persons h tij in correspondence with ΔS ij and arranging the entire analysis area. The height H is about the height of a person.
図4は、ΔXとΔYの大きさを一定とした場合の群集密度分布のイメージを表す図である。領域ΔS02と、領域ΔS10と領域ΔS20の中間の地点とに1人ずつ人が存在した場合の群集密度分布は、次の通りである。このときの群集密度分布は、ΔS02の位置に1人、ΔS10の位置に0.5人、ΔS20の位置に0.5人、その他ΔSijの位置に0人存在するという分布となる。
なお、ΔXとΔYの大きさは規定しない。ΔXとΔYの大きさは可変としても構わない。FIG. 4 is a diagram illustrating an image of a crowd density distribution when the magnitudes of ΔX and ΔY are fixed. The crowd density distribution in a case where one person exists in the region ΔS 02 and one person in the middle between the region ΔS 10 and the region ΔS 20 is as follows. At this time, the crowd density distribution is such that there is one person at the position of ΔS 02 , 0.5 at the position of ΔS 10 , 0.5 at the position of ΔS 20 , and 0 at the position of the other ΔS ij. .
The magnitudes of ΔX and ΔY are not specified. The magnitudes of ΔX and ΔY may be variable.
図5は、実世界の物理空間上の点を映像フレーム座標系に投映するイメージを表す図である。すなわち、図5は、映像フレームに3次元座標を対応付けるイメージである。実世界の物理空間における地面上の点をPgij=(Xij,Yij,0)とする。実世界の物理空間における高さHの平面上の点をPhij=(Xij,Yij,H)とする。地面上の点Pgijと高さHの平面上の点Phijを、映像フレーム座標系ximg−yimg上に投映した点をpgijとphijとする。Pgijとpgij、Phijとphijを対応付ける情報が、解析パラメータ141として、記憶部140に記憶されている。また、物理空間上の立体空間Vijを、映像フレーム座標系上に投映した領域を立体領域vijとする。立体領域vijは、図5において斜線で示す2次元領域である。すなわち、立体領域vijは、映像フレームに3次元座標の立体空間Vijが表された際に、映像フレーム上の立体空間Vijの外周により表された2次元の領域である。立体領域vijを角柱領域あるいは直方体領域と呼ぶ。FIG. 5 is a diagram illustrating an image in which a point in the physical space of the real world is projected on a video frame coordinate system. That is, FIG. 5 is an image in which three-dimensional coordinates are associated with a video frame. A point on the ground in the physical space of the real world is defined as P gij = (X ij , Y ij , 0). Let a point on a plane of height H in the physical space of the real world be P hij = (X ij , Y ij , H). The points at which the point P gij on the ground and the point P hij on the plane having the height H are projected on the video frame coordinate system x img -y img are defined as p gij and p hij . Information associating P gij with p gij , and P hij with p hij is stored in the storage unit 140 as the analysis parameter 141. In addition, a region in which the three-dimensional space V ij in the physical space is projected on the video frame coordinate system is referred to as a three-dimensional region v ij . The three-dimensional region v ij is a two-dimensional region indicated by oblique lines in FIG. That is, the three-dimensional region v ij is a two-dimensional region represented by the outer periphery of the three-dimensional space V ij on the video frame when the three-dimensional space V ij of the three-dimensional coordinates is represented in the video frame. The three-dimensional region v ij is called a prism region or a rectangular parallelepiped region.
複数の立体領域の各立体領域vijは、人が複数の立体空間の各立体空間Vijに立っている場合に人の頭が対応する頭領域と、人が立つ地面に対応する地面領域とを備える。頭領域は、立体領域vijにおいて頭の高さ位置に相当するphij、phi+1j、phij+1、phi+1j+1で囲まれる領域である。また、地面領域は、立体領域vijにおいて地面の位置に相当するpgij、pgi+1j、pgij+1、pgi+1j+1で囲まれる領域である。Each of the three-dimensional regions v ij of the plurality of three-dimensional regions is a head region corresponding to a person's head when a person stands in each of the three-dimensional spaces V ij of the plurality of three-dimensional spaces, and a ground region corresponding to the ground on which the person stands. Is provided. The head region is a region surrounded by p hij , p hi + 1j , p hij + 1 , and p hi + 1j + 1 corresponding to the head height position in the three-dimensional region v ij . The ground area is an area surrounded by p gij , p gi + 1j , p gij + 1 , and p gi + 1j + 1 corresponding to the position of the ground in the three-dimensional area v ij .
物理空間上の座標と映像フレーム上の座標を対応付ける情報とは、座標変換式でもよいし、対応する物理空間上の座標と映像フレーム上の座標の組でもよい。
また、各Pgijまたは各Phijは同一平面上である必要はない。立体空間の領域Vijを定義できれば、各Pgijまたは各Phijが表す面が、曲面あるいは階段状となっていてもよい。The information for associating the coordinates on the physical space with the coordinates on the video frame may be a coordinate conversion formula, or may be a set of the corresponding coordinates on the physical space and the coordinates on the video frame.
Also, each P gij or each P hij need not be on the same plane. As long as the region V ij of the three-dimensional space can be defined, the plane represented by each P gij or each P hij may be a curved surface or a stepped shape.
***動作の説明***
図6を用いて、本実施の形態に係る群集密度算出装置100による群集密度算出処理S100について説明する。*** Explanation of operation ***
The crowd density calculation process S100 by the crowd density calculation device 100 according to the present embodiment will be described with reference to FIG.
<解析パラメータ読み込み処理>
ステップST01において、群集密度算出装置100は、記憶部140に解析パラメータ141を読み込む。解析パラメータ141は、補助記憶装置922に記憶されていてもよいし、入力インタフェース930あるいは通信装置950を介して、外部から入力されてもよい。読み込まれた解析パラメータ141は、解析部120により使用される。<Analysis parameter reading process>
In step ST01, the crowd density calculation device 100 reads the analysis parameters 141 into the storage unit 140. The analysis parameter 141 may be stored in the
<映像取得処理>
ステップST02において、映像取得部110は、カメラ200から映像ストリーム21を受信するために待機する。映像取得部110は、カメラ200から映像ストリーム21を受信すると、受信した映像ストリーム21の少なくとも1フレーム分を復号する。ここで受信対象とする映像ストリームは、例えば、映像圧縮符号化方式で圧縮された映像符号化データが、映像配信プロトコルでIP配信されるものである。映像圧縮符号化方式の具体例は、H.262/MPEG−2 video、H.264/AVC、H.265/HEVC、またはJPEGである。映像配信プロトコルの具体例は、MPEG−2 TS、RTP/RTSP、MMT、またはDASHである。MPEG−2 TSは、Moving Picture Experts Group 2 Transport Streamの略語である。RTP/RTSPは、Real−time Transport Protocol/Real Time Streaming Protocolの略語である。MMTは、MPEG Media Transportの略語である。DASHは、Dynamic Adaptive Streaming over HTTPの略語である。受信対象とする映像ストリームは、上記以外の符号化または配信フォーマットでもよいし、SDI、HD−SDIといった非圧縮の伝送規格でもよい。SDIは、Serial Digital Interfaceの略語である。HD−SDIは、High Definition−Serial Digital Interfaceの略語である。<Video acquisition processing>
In step ST02, the
<解析処理>
ステップST03において、解析部120は、映像取得部110から映像フレーム22を取得する。解析部120は、解析パラメータ141を用いて、映像フレーム22を解析する。解析部120は、映像フレーム22を解析することにより、映像フレーム22に映る群集の群集密度分布を算出する。また、解析部120は、算出した群集密度分布を出力形式に変換し、群集密度分布225として出力する。<Analysis processing>
In step ST03, the
<結果出力処理>
ステップST04において、結果出力部130は、出力インタフェース940を介して、解析部120から出力された群集密度分布225を群集密度算出装置100の外部に出力する。出力の形式としては、例えば、モニタへの表示、ログファイルへの出力、外部接続機器への出力、またはネットワークへの送出といった形式があげられる。結果出力部130は、上記以外の形式で群集密度分布225を出力でもよい。また、結果出力部130は、解析部120から群集密度分布225が出力される都度、群集密度分布225を外部に出力してもよい。あるいは、結果出力部130は、特定の期間または特定数の群集密度分布225を集計または統計処理した後に出力するといった断続的な出力を行ってもよい。群集密度算出装置100は、ステップST04の後はステップST02に戻り、次の映像フレーム22の処理を行う。<Result output processing>
In step ST04, the
<<解析処理の詳細>>
図7を用いて、本実施の形態に係る解析処理の詳細について説明する。
ステップST11において、前景抽出部121は、映像フレーム22における人の画像、すなわち前景を前景画像221として抽出する。前景抽出部121は、前景画像221を暫定密度計算部122に出力する。<< Details of analysis processing >>
The details of the analysis processing according to the present embodiment will be described with reference to FIG.
In step ST11, the
図8は、立体領域ごとに前景面積から人数を換算するイメージを表す図である。図9は、立体領域ごとの人数から暫定密度分布を出力する図である。図8では、2人の人の画像が前景画像221として抽出されている。
前景抽出処理の手法として、予め背景画像を登録しておき、入力画像との差分を計算する背景差分法がある。また、連続して入力される映像フレームから、MOG(Mixture of Gaussian Distribution)といったモデルを用いて背景画像を自動更新する適応型の背景差分法がある。また、画像内の動き情報を画素単位で取得する密なオプティカルフロー導出アルゴリズムがある。FIG. 8 is a diagram illustrating an image in which the number of people is converted from the foreground area for each three-dimensional region. FIG. 9 is a diagram for outputting a provisional density distribution from the number of persons in each three-dimensional region. In FIG. 8, images of two people are extracted as
As a technique of foreground extraction processing, there is a background difference method in which a background image is registered in advance and a difference from the input image is calculated. In addition, there is an adaptive background subtraction method for automatically updating a background image from a continuously input video frame using a model such as MOG (Mixture of Gaussian Distribution). There is also a dense optical flow derivation algorithm that acquires motion information in an image in pixel units.
ステップST12において、暫定密度計算部122は、前景画像221に基づいて、複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布222として算出する。具体的には、暫定密度計算部122は、物理空間上の点を映像フレーム座標系に投映した上で、前景画像221と関係式142を用いて、各立体領域vijに存在する人の数を算出する。暫定密度計算部122は、各立体領域vijに存在する人の数を算出する手法として、暫定群集密度推定を用いる。In step ST12, the provisional
図8に示すように、暫定密度計算部122は、映像フレーム22における各立体領域vijごとに前景面積を集計する。暫定密度計算部122は、各立体領域vijにおける前景面積に基づいて、各立体領域vijにおける人数を計算する。このとき、暫定密度計算部122は、予め求めておいた前景面積と人の数の関係式142を利用して、各立体領域vijにおける人の数を計算する。暫定密度計算部122は、各立体領域vijにおける人の数を、各立体領域vijに対応する領域ΔSijの人数hijとする。暫定密度計算部122は、図9に示すように、全ての領域ΔSijの人数hijが算出された群集密度分布を、暫定密度分布222として出力する。As shown in FIG. 8, the provisional
<<<前景面積と人数の関係式の求め方>>>
ここで、前景面積と人数の関係式142は、群集同士のオクルージョンを考慮したものとする。前景面積と人数の関係式142は、記憶部140に記憶されているものとする。前景面積と人数の関係式142の導出方法について、以下に説明する。
図10は、正解前景画像のイメージを表す図である。
図11は、正解前景画像において混雑レベルを数値化したイメージを表す図である。
映像フレームに映る人数が既知であるとともに、人の物理座標系上での接地点が既知である正解画像を用意する。正解画像に対し前景抽出を行い、図10に示すように正解前景画像を作成する。
正解前景画像を図11に示すように、複数の小領域に分割し、混雑レベル別に各小領域で人物1人あたりの前景面積量を計算する。また、同様の処理を混雑レベルと配置パターンを変えた多数の正解前景画像に適用し、各小領域での人数1人当たりの前景面積を集計する。これにより、混雑レベルごとの各小領域における人数と前景の関係が前景面積と人数の関係式142として導出できる。前景面積と人数の関係式142は、記憶部140に保存される。各混雑レベルにおける小領域内での前景面積の占有割合が混雑レベルを判定するレベル閾値143として記憶部140に保存される。
暫定密度計算部122は、前景面積と人数の関係式142を用いる際、小領域ごとに混雑レベルを判定し、混雑レベルに対応した関係式142を利用し、前景面積から人数を算出する。暫定密度計算部122は、小領域内の前景の占有割合とレベル閾値143の比較によって、混雑レベルを判定する。<<<< How to calculate the relational expression between foreground area and number of people >>>>
Here, it is assumed that the
FIG. 10 is a diagram illustrating an image of a correct foreground image.
FIG. 11 is a diagram illustrating an image obtained by quantifying the congestion level in the correct foreground image.
A correct image is prepared in which the number of people appearing in the video frame is known and the ground contact point of the person on the physical coordinate system is known. Foreground extraction is performed on the correct image, and a correct foreground image is created as shown in FIG.
As shown in FIG. 11, the correct foreground image is divided into a plurality of small areas, and the amount of foreground area per person in each small area is calculated for each congestion level. In addition, the same processing is applied to a number of correct foreground images having different congestion levels and arrangement patterns, and the foreground area per person in each small area is totaled. Thus, the relationship between the number of people and the foreground in each small area for each congestion level can be derived as a
When using the
<<存在判定処理>>
ステップST13において、存在判定部123は、複数の立体領域の各立体領域vijに、人が存在するかを判定する。すなわち、存在判定部123は、複数の立体空間の各立体空間Vijに、人が存在するかを判定し、人が存在しないと判定された立体空間に対応する立体領域vijについて人が存在しないと判定する。存在判定部123は、各立体領域vijに対して人の存在判定を行い、人が存在しないと判定した立体領域vijの人の数を0にする。すなわち、存在判定部123は、人が存在しないと判定した立体領域vijに対応する領域ΔSijの人数を0にする。すなわち、存在判定部123は、人が存在しないと判定された立体空間に対応する立体領域vijの人の数を0に補正した暫定密度分布222を、補正密度分布223として出力する。<< Presence determination processing >>
In step ST13, the
図12は、本実施の形態に係る存在判定処理のイメージ図である。
上述したように、複数の立体領域の各立体領域vijは、人が立体空間Vijに立っている場合に、その人の頭が対応する頭領域を備える。また、複数の立体領域の各立体領域vijは、人が立つ地面に対応する地面領域を備える。存在判定部123は、立体領域vijにおいて頭領域と地面領域との両領域に人が存在する場合に、その立体領域vijに対応する立体空間Vijに人が存在すると判定する。具体的には、存在判定部123は、図12に示すように、各立体領域vijの頭領域と地面領域におけるそれぞれの前景面積が規定値以下である場合に人が存在しないと判定し、hij=0とする。また、存在判定部123は、頭領域と地面領域の両領域に規定値以上の前景面積が存在した立体領域vijのみについて、暫定密度分布222の値をそのまま使用する。
存在判定部123は、人存在処理を施した暫定密度分布222を、補正密度分布223として出力する。FIG. 12 is an image diagram of the presence determination process according to the present embodiment.
As described above, each of the three-dimensional regions v ij of the plurality of three-dimensional regions includes a head region corresponding to a person's head when the person stands in the three-dimensional space V ij . Each of the three-dimensional regions v ij of the plurality of three-dimensional regions includes a ground region corresponding to a ground on which a person stands. When a person exists in both the head region and the ground region in the three-dimensional region v ij , the
The
<<標準化部>>
ステップST14において、標準化部124は、前景画像221に基づいて映像フレーム22における人の総数を取得する。標準化部124は、人の総数に基づいて、補正密度分布223における複数の立体領域の各立体領域vijの人の数を標準化する。具体的には、標準化部124は、以下の式(1)と式(2)を用いて、映像フレーム内に存在する総人数htotalで群集密度の標準化を行う。標準化部124は、前景面積と人数の関係式142を前景画像221の全体に適用することにより、映像フレーム22における総人数htotalを算出する。式(2)におけるRowsはiの総数である。また、式(2)におけるColsはjの総数である。
In step ST14, the
標準化部124は、補正密度分布すべての立体領域vijについて標準化処理を施し、確定密度分布224として出力する。The
<<分布出力処理>>
ステップST15において、分布出力部125は、標準化部124から確定密度分布224を取得する。分布出力部125は、確定密度分布224を出力形式に変換し、群集密度分布225として結果出力部130に出力する。<< Distribution output processing >>
In step ST15, the
***他の構成***
本実施の形態では、映像取得部110と解析部120と結果出力部130の機能がソフトウェアで実現される。以下において、変形例として、映像取得部110と解析部120と結果出力部130の機能がハードウェアで実現されてもよい。*** Other configuration ***
In the present embodiment, the functions of the
図13は、本実施の形態の変形例に係る群集密度算出装置100の構成を示す図である。
群集密度算出装置100は、電子回路909、メモリ921、補助記憶装置922、入力インタフェース930、出力インタフェース940、および通信装置950を備える。FIG. 13 is a diagram illustrating a configuration of a crowd density calculation device 100 according to a modification of the present embodiment.
The crowd density calculation device 100 includes an electronic circuit 909, a memory 921, an
電子回路909は、映像取得部110と解析部120と結果出力部130の機能を実現する専用の電子回路である。
電子回路909は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、または、FPGAである。GAは、Gate Arrayの略語である。ASICは、Application Specific Integrated Circuitの略語である。FPGAは、Field−Programmable Gate Arrayの略語である。
映像取得部110と解析部120と結果出力部130の機能は、1つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
別の変形例として、映像取得部110と解析部120と結果出力部130の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。The electronic circuit 909 is a dedicated electronic circuit that implements the functions of the
The electronic circuit 909 is, specifically, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an ASIC, or an FPGA. GA is an abbreviation for Gate Array. ASIC is an abbreviation for Application Specific Integrated Circuit. FPGA is an abbreviation for Field-Programmable Gate Array.
The functions of the
As another modification, a part of the functions of the
プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、群集密度算出装置100において、映像取得部110と解析部120と結果出力部130の機能は、プロセッシングサーキットリにより実現される。
Each of the processor and the electronic circuit is also called a processing circuitry. That is, in the crowd density calculation device 100, the functions of the
群集密度算出装置100において、映像取得部110、前景抽出部121、暫定密度計算部122、存在判定部123、標準化部124、分布出力部125、および結果出力部130の「部」を「工程」あるいは「処理」に読み替えてもよい。また、映像取得処理、前景抽出処理、暫定密度計算処理、存在判定処理、標準化処理、分布出力処理、および結果出力処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記憶媒体」に読み替えてもよい。
In the crowd density calculation device 100, the “unit” of the
***本実施の形態の効果の説明***
本実施の形態に係る群集密度算出装置100では、前景抽出部が、カメラで撮影した映像の映像フレームから前景画像を抽出する。暫定密度計算部が、物理空間上の領域を映像フレームに投映した領域に存在する人数、すなわち見かけ上の人数を算出し、暫定密度分布を生成する。存在判定部が、人が存在しない物理空間上の領域を判定し、判定結果に基づいて暫定密度分布を補正する。結果出力部は、補正および標準化された暫定密度分布を群集密度分布として、ディスプレイといった出力装置に出力する。
したがって、本実施の形態に係る群集密度算出装置100によれば、カメラから入力された映像フレームから、実世界の物理空間上における人の存在位置を算出し、群集密度分布として出力することができる。*** Explanation of effect of this embodiment ***
In crowd density calculation apparatus 100 according to the present embodiment, foreground extraction unit extracts a foreground image from a video frame of a video captured by a camera. The provisional density calculation unit calculates the number of persons existing in the area where the area in the physical space is projected on the video frame, that is, the apparent number of persons, and generates a provisional density distribution. The presence determination unit determines an area in the physical space where no person exists, and corrects the provisional density distribution based on the determination result. The result output unit outputs the corrected and standardized provisional density distribution as a crowd density distribution to an output device such as a display.
Therefore, according to the crowd density calculating apparatus 100 according to the present embodiment, it is possible to calculate the position of a person in the physical space of the real world from the video frame input from the camera and output the calculated position as the crowd density distribution. .
実施の形態2.
本実施の形態では、実施の形態1と異なる点について説明する。なお、実施の形態1と同様の構成には同一の符号を付し、その説明を省略する場合がある。Embodiment 2 FIG.
In the present embodiment, points different from the first embodiment will be described. The same components as those in the first embodiment are denoted by the same reference numerals, and description thereof may be omitted.
実施の形態1では、複数の立体領域の各立体領域vijが互いに重なり合っている。このため、暫定密度分布を計算する際、本来人が存在する立体領域vij以外にも前景が出現する場合がある。これにより、算出される暫定密度分布が不正確になる場合がある。本実施の形態では、立体領域の重複による影響を排除し、群集密度分布をより高精度化する形態について説明する。
本実施の形態では、実施の形態1における標準化部124を省き、暫定密度計算部122と存在判定部123の間に新たに位置補正部126を追加する。In the first embodiment, the three-dimensional regions v ij of the plurality of three-dimensional regions overlap each other. For this reason, when calculating the provisional density distribution, the foreground may appear in addition to the three-dimensional region v ij in which a person originally exists. As a result, the calculated provisional density distribution may be inaccurate. In the present embodiment, a description will be given of a mode in which the influence of the overlap of the three-dimensional regions is eliminated and the crowd density distribution is made more accurate.
In the present embodiment, the
図14を用いて、本実施の形態に係る解析部120aの詳細構成について説明する。
解析部120aは、前景抽出部121と、暫定密度計算部122と、位置補正部126と、存在判定部123と、分布出力部125とを備える。The detailed configuration of the analysis unit 120a according to the present embodiment will be described with reference to FIG.
The analysis unit 120a includes a
図15を用いて、本実施の形態に係る解析部120aによる解析処理の詳細について説明する。
図15において、ステップST11とステップST12は、実施の形態1と同様である。
ステップST16において、位置補正部126は、暫定密度計算部122から暫定密度分布222を取得する。位置補正部126は、複数の立体空間うち隣接する立体空間同士の重複部分を表す重複領域における人の数に基づいて、暫定密度分布222を補正し、補正した暫定密度分布222を出力する。すなわち、位置補正部126は、暫定密度分布222を用いて、立体領域vijの重複による影響を考慮した人位置の補正を行う。With reference to FIG. 15, details of the analysis processing by analysis section 120a according to the present embodiment will be described.
In FIG. 15, steps ST11 and ST12 are the same as in the first embodiment.
In Step ST16, the
図16は、本実施の形態に係る位置補正部126による位置補正処理のイメージを表す図である。
重複領域Aduplmとは、図16に示す通り、立体領域vlと立体領域vmとが重なり合っている領域である。
位置補正部126による位置補正処理は、図16に示すように、周囲に分散した値をシャープにする一種のフィルタのような働きをする。
ここで添え字のlとmは、2変数である添え字ijを便宜上1変数に書き換えたものである。以下の本実施の形態の説明では、添え字のlとmを使用する。添え字lとijの関係は、l=i×Cols+jである。添え字mとijの関係も同様である。FIG. 16 is a diagram illustrating an image of a position correction process performed by
The overlap region A Duplm, a region as shown in FIG. 16, where the three-dimensional region v l and solid area v m overlap.
As shown in FIG. 16, the position correction processing by the
Here, the
ここで、求めるべき各領域ΔSlの人数をベクトル表記したものをht、セル同士の重複関係を示す係数行列をA、暫定密度分布222で得られた出力をベクトル表記したものをhとする。各領域ΔSlの人数は、式(3)および式(4)で計算できる。
式(3)および式(4)を利用することで、位置補正部126は、重複領域の影響が除去された高精度な群集密度分布225を出力することができる。Here, h t denotes a vector notation of the number of persons in each area ΔS 1 to be obtained, A denotes a coefficient matrix indicating the overlapping relationship between cells, and h denotes an output obtained by the provisional density distribution 222. . The number of each region [Delta] S l can be calculated by Equation (3) and (4).
By using Expressions (3) and (4), the
以下に、式(3)の導出について詳しく説明する。立体空間Vlに存在する人数をhtl、立体領域vlに出現する人数をhlとする。立体空間Vlに存在する人数htlの人が、立体領域vmに出現する人数をhcom_l→mとする。すると、立体領域vlに出現する見かけ上の人数hlは、式(5)で表すことができる。hcom_l→mは、セルlに存在する人数htlに、係数αlmをかけたものとして表せる。よって、セル同士の重複関係を表す係数行列は、式(4)となる。l=mのときαlm=1とおけば、式(5)と式(6)より、見かけ上の人数は、存在する人数に係数をかけた式(7)で表すことができる。
lの総数をNとすると、式(7)より、N本のN限1次連立方程式となるため、行列表現で書き直すと、式(8)となる。式(8)の両辺からの係数行列Aの逆行列をかけることで、式(3)が導出できる。
Assuming that the total number of l is N, from equation (7), there are N simultaneous N-order linear simultaneous equations. Therefore, when rewritten in matrix expression, equation (8) is obtained. Equation (3) can be derived by multiplying the inverse of the coefficient matrix A from both sides of equation (8).
なお、係数αlmの求め方は限定しない。例えば、図15に示す立体領域vlの面積Alと、立体領域vlと立体領域vmとの重複領域Aduplmを用いて式(9)のように係数αlmの求めてもよい。
なお、式(9)を用いた係数行列Aの算出は、ステップST01の解析パラメータ読み込み処理において、1度だけ行うこととする。
以降の、ステップST13とステップST15は、実施の形態1と同様である。The calculation of the coefficient matrix A using the equation (9) is performed only once in the analysis parameter reading process in step ST01.
The subsequent steps ST13 and ST15 are the same as in the first embodiment.
以上のように、本実施の形態に係る解析部120aを用いた群集密度算出装置によれば、重複領域の影響を除去することにより、群集密度分布をより高精度に算出することができる。 As described above, according to the crowd density calculation device using the analysis unit 120a according to the present embodiment, the crowd density distribution can be calculated with higher accuracy by removing the influence of the overlapping area.
実施の形態3.
本実施の形態では、実施の形態2と異なる点について説明する。なお、実施の形態1,2と同様の構成には同一の符号を付し、その説明を省略する場合がある。
In this embodiment, points different from Embodiment 2 will be described. The same components as those in the first and second embodiments are denoted by the same reference numerals, and description thereof may be omitted.
実施の形態2では、式(9)を用いて計算された重複関係を示す係数行列Aは、立体領域vij上で均等に前景が出現することを想定している。実際には、重複関係を示す係数行列Aは、立体空間Vij内で実際に人が存在する位置により影響を受ける。このため、立体空間Vij内で実際に人が存在する位置によっては算出された群集密度分布に誤差が生じる虞がある。本実施の形態では、係数行列Aを数値計算により最適化する。その時の群集密度分布の総人数htotalは、画面内に存在する総人数を用いる。画面内の総人数htotalは、前景面積と人数の関係式を前景画像全体に適用することにより算出する。In the second embodiment, it is assumed that the coefficient matrix A indicating the overlapping relationship calculated using Expression (9) has foreground appearing evenly on the three-dimensional area v ij . Actually, the coefficient matrix A indicating the overlapping relationship is influenced by the position where the person actually exists in the three-dimensional space Vij . For this reason, an error may occur in the calculated crowd density distribution depending on the position where the person actually exists in the three-dimensional space V ij . In the present embodiment, the coefficient matrix A is optimized by numerical calculation. The total number h total of the crowd density distribution at that time uses the total number of people existing in the screen. The total number h total of the screen is calculated by applying a relational expression between the foreground area and the number to the entire foreground image.
図17を用いて、本実施の形態に係る解析処理の詳細について説明する。
図17において、ステップST11とステップST12とステップST16は、実施の形態1と同様である。The details of the analysis processing according to the present embodiment will be described with reference to FIG.
In FIG. 17, steps ST11, ST12, and ST16 are the same as in the first embodiment.
ステップST17において、位置補正部126は、係数行列Aを再計算することにより、最適化する。また、位置補正部126は、映像フレームにおける人の総数の誤差が閾値以下になるまで、暫定密度分布の補正を繰り返す。
In step ST17, the
h’totalの計算には式(2)と式(7)を利用する。
暫定密度分布の補正に関する評価関数を式(10)で定める。位置補正部126は、最急降下法を用いて、式(10)で計算される誤差Eが閾値以下になるまで繰り返し計算を行う。
An evaluation function relating to correction of the provisional density distribution is defined by Expression (10). The
なお、位置補正部126による最適化の手法は最急降下法に限定しない。
The method of optimization by the
以上のように、本実施の形態に係る群集密度算出装置は、式(10)を用いて、係数行列Aを毎フレーム更新する。よって、本実施の形態に係る群集密度算出装置によれば、実施の形態2と比較して、群集密度分布をより高精度で算出できる。 As described above, the crowd density calculation device according to the present embodiment updates the coefficient matrix A for each frame using Expression (10). Therefore, according to the crowd density calculation device according to the present embodiment, the crowd density distribution can be calculated with higher accuracy than in the second embodiment.
以上の実施の形態1から3では、群集密度算出装置の各部を独立した機能ブロックとして説明した。しかし、群集密度算出装置の構成は、上述した実施の形態のような構成でなくてもよい。群集密度算出装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、群集密度算出装置は、1つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態1から3のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、1つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態1から3では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。In the above first to third embodiments, each unit of the crowd density calculation device has been described as an independent functional block. However, the configuration of the crowd density calculation device may not be the configuration as in the above-described embodiment. The functional blocks of the crowd density calculation device may have any configuration as long as the functions described in the above-described embodiments can be realized. Further, the crowd density calculation device may be a system including a plurality of devices instead of one device.
Further, a plurality of parts of the first to third embodiments may be combined and implemented. Alternatively, one of these embodiments may be implemented. In addition, these embodiments may be implemented in any combination as a whole or a part.
That is, in the first to third embodiments, any combination of the embodiments can be freely combined, or any component of each embodiment can be modified, or any component can be omitted in each embodiment.
なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。上述した実施の形態に係る群集密度算出装置は、群集の密度を推定する群集密度推定装置、および、群集密度推定システムに適用することができる。 The embodiments described above are essentially preferred examples, and are not intended to limit the scope of the present invention, the scope of the application of the present invention, and the range of the use of the present invention. Various changes can be made to the embodiment described above as needed. The crowd density calculation device according to the above-described embodiment can be applied to a crowd density estimation device that estimates the density of a crowd and a crowd density estimation system.
21 映像ストリーム、22 映像フレーム、100 群集密度算出装置、110 映像取得部、120,120a 解析部、121 前景抽出部、122 暫定密度計算部、123 存在判定部、124 標準化部、125 分布出力部、126 位置補正部、130 結果出力部、140 記憶部、141 解析パラメータ、142 関係式、143 レベル閾値、200 カメラ、221 前景画像、222 暫定密度分布、223 補正密度分布、224 確定密度分布、225 群集密度分布、909 電子回路、910 プロセッサ、921 メモリ、922 補助記憶装置、930 入力インタフェース、940 出力インタフェース、950 通信装置、S100 群集密度算出処理。
Claims (8)
前記映像フレームに3次元座標を対応付け、前記映像フレーム上において前記3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布を群集密度分布として算出する解析部と
を備えた群集密度算出装置。A video acquisition unit that acquires a video frame from a video stream in which a person is being imaged;
Associating three-dimensional coordinates with the video frame, obtaining, on the video frame, a region representing each three-dimensional space of a plurality of three-dimensional spaces obtained based on the three-dimensional coordinates as each three-dimensional region of a plurality of three-dimensional regions; A crowd density calculation device comprising: an analysis unit configured to calculate a density distribution of people in the video frame as a crowd density distribution based on the number of people present in each of the plurality of three-dimensional regions.
前記映像フレームにおける人の画像を前景画像として抽出する前景抽出部と、
前記前景画像に基づいて、前記複数の立体領域の各立体領域に見かけ上存在する人の数を暫定密度分布として算出する暫定密度計算部と、
前記複数の立体空間の各立体空間に人が存在するかを判定する存在判定部と、
人が存在しないと判定された立体空間に対応する立体領域の人の数を0に補正した前記暫定密度分布を、補正密度分布として出力する存在判定部と
を備えた請求項1に記載の群集密度算出装置。The analysis unit,
A foreground extraction unit that extracts a human image in the video frame as a foreground image,
Based on the foreground image, a provisional density calculation unit that calculates the number of people apparently present in each of the plurality of three-dimensional regions as a provisional density distribution,
An existence determining unit that determines whether a person is present in each of the plurality of three-dimensional spaces,
2. The crowd according to claim 1, further comprising: an existence determining unit configured to output the provisional density distribution in which the number of people in a three-dimensional region corresponding to the three-dimensional space in which it is determined that no person exists is corrected to 0, as a corrected density distribution. Density calculator.
前記人が前記複数の立体空間の各立体空間に立っている場合に前記人の頭が対応する頭領域と前記人が立つ地面に対応する地面領域とを備え、
前記存在判定部は、
立体領域において前記頭領域と前記地面領域との両領域に人が存在する場合に、前記立体領域に対応する立体空間に人が存在すると判定する請求項2に記載の群集密度算出装置。Each three-dimensional region of the plurality of three-dimensional regions is
When the person stands in each three-dimensional space of the plurality of three-dimensional spaces, the person includes a head region corresponding to the head of the person and a ground region corresponding to the ground on which the person stands,
The existence determination unit,
The crowd density calculation device according to claim 2, wherein it is determined that a person exists in a three-dimensional space corresponding to the three-dimensional region when a person exists in both the head region and the ground region in the three-dimensional region.
前記前景画像に基づいて前記映像フレームにおける人の総数を取得し、前記人の総数に基づいて、前記補正密度分布における前記複数の立体領域の各立体領域の人の数を標準化する標準化部と、
前記標準化部から標準化された前記補正密度分布を確定密度分布として取得し、前記確定密度分布を出力形式に変換する分布出力部と
を備えた請求項2または3に記載の群集密度算出装置。The analysis unit,
A standardization unit that obtains the total number of people in the video frame based on the foreground image, and standardizes the number of people in each of the plurality of three-dimensional regions in the corrected density distribution based on the total number of people.
The crowd density calculation device according to claim 2, further comprising: a distribution output unit configured to acquire the corrected density distribution standardized from the standardization unit as a deterministic density distribution, and to convert the deterministic density distribution into an output format.
前記複数の立体領域のうち隣接する立体領域同士の重複部分を表す重複領域における人の数に基づいて、前記暫定密度分布を補正し、補正した前記暫定密度分布を出力する位置補正部を備えた請求項2または3に記載の群集密度算出装置。The analysis unit,
A position correction unit that corrects the provisional density distribution based on the number of people in an overlapping region representing an overlapping portion between adjacent three-dimensional regions among the plurality of three-dimensional regions, and outputs the corrected provisional density distribution. The crowd density calculation device according to claim 2 or 3.
前記映像フレームにおける人の総数の誤差が閾値以下になるまで、前記暫定密度分布の補正を繰り返す請求項5に記載の群集密度算出装置。The position correction unit,
The crowd density calculation device according to claim 5, wherein the correction of the provisional density distribution is repeated until the error of the total number of people in the video frame becomes equal to or smaller than a threshold.
解析部が、前記映像フレームに3次元座標を対応付け、前記映像フレーム上において前記3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布である群集密度分布を算出する群集密度算出方法。A video acquisition unit that acquires a video frame from a video stream in which a person is imaged;
An analysis unit that associates three-dimensional coordinates with the video frame, and converts a region representing each three-dimensional space of a plurality of three-dimensional spaces obtained based on the three-dimensional coordinates on the video frame into a three-dimensional region of a plurality of three-dimensional regions And calculating a crowd density distribution that is a density distribution of people in the video frame based on the number of people present in each of the plurality of three-dimensional regions.
前記映像フレームに3次元座標を対応付け、前記映像フレーム上において前記3次元座標に基づいて得られる複数の立体空間の各立体空間を表す領域を、複数の立体領域の各立体領域として取得し、前記複数の立体領域の各立体領域に存在する人の数に基づいて、前記映像フレームにおける人の密度分布である群集密度分布を算出する解析処理と
をコンピュータに実行させる群集密度算出プログラム。Video acquisition processing for acquiring a video frame from a video stream in which a person is being imaged;
Associating three-dimensional coordinates with the video frame, obtaining, on the video frame, a region representing each three-dimensional space of a plurality of three-dimensional spaces obtained based on the three-dimensional coordinates as each three-dimensional region of a plurality of three-dimensional regions; A crowd density calculation program for causing a computer to execute an analysis process of calculating a crowd density distribution that is a density distribution of people in the video frame based on the number of people existing in each of the plurality of three-dimensional regions.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/039901 WO2019087383A1 (en) | 2017-11-06 | 2017-11-06 | Crowd density calculation device, crowd density calculation method and crowd density calculation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019087383A1 true JPWO2019087383A1 (en) | 2020-04-02 |
JP6678835B2 JP6678835B2 (en) | 2020-04-08 |
Family
ID=66331546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550118A Active JP6678835B2 (en) | 2017-11-06 | 2017-11-06 | Crowd density calculation device, crowd density calculation method, and crowd density calculation program |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6678835B2 (en) |
CN (1) | CN111279392B (en) |
SG (1) | SG11202002953YA (en) |
WO (1) | WO2019087383A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287929B (en) * | 2019-07-01 | 2023-09-05 | 腾讯科技(深圳)有限公司 | Method, device, equipment and storage medium for determining number of targets in group area |
CN112749589B (en) * | 2019-10-30 | 2023-04-18 | 中移(苏州)软件技术有限公司 | Method and device for determining routing inspection path and storage medium |
US11106904B2 (en) * | 2019-11-20 | 2021-08-31 | Omron Corporation | Methods and systems for forecasting crowd dynamics |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016091326A (en) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | Camera image person counting method and camera image person counting apparatus |
JP2016163075A (en) * | 2015-02-26 | 2016-09-05 | キヤノン株式会社 | Video processing device, video processing method, and program |
JP2017041869A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Image processing system, image processing method, and program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464944B (en) * | 2007-12-19 | 2011-03-16 | 中国科学院自动化研究所 | Crowd density analysis method based on statistical characteristics |
CN101714293A (en) * | 2009-12-16 | 2010-05-26 | 上海交通投资信息科技有限公司 | Stereoscopic vision based acquisition method of congestion degree of bus passenger flow |
CN102982341B (en) * | 2012-11-01 | 2015-06-24 | 南京师范大学 | Self-intended crowd density estimation method for camera capable of straddling |
JP6276519B2 (en) * | 2013-05-22 | 2018-02-07 | 株式会社 日立産業制御ソリューションズ | Person counting device and human flow line analyzing device |
CN104504688A (en) * | 2014-12-10 | 2015-04-08 | 上海大学 | Method and system based on binocular stereoscopic vision for passenger flow density estimation |
US20170053172A1 (en) * | 2015-08-20 | 2017-02-23 | Kabushiki Kaisha Toshiba | Image processing apparatus, and image processing method |
CN106326937B (en) * | 2016-08-31 | 2019-08-09 | 郑州金惠计算机***工程有限公司 | Crowd density distribution estimation method based on convolutional neural networks |
CN107256225B (en) * | 2017-04-28 | 2020-09-01 | 济南中维世纪科技有限公司 | Method and device for generating heat map based on video analysis |
-
2017
- 2017-11-06 SG SG11202002953YA patent/SG11202002953YA/en unknown
- 2017-11-06 CN CN201780096261.XA patent/CN111279392B/en active Active
- 2017-11-06 JP JP2019550118A patent/JP6678835B2/en active Active
- 2017-11-06 WO PCT/JP2017/039901 patent/WO2019087383A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016091326A (en) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | Camera image person counting method and camera image person counting apparatus |
JP2016163075A (en) * | 2015-02-26 | 2016-09-05 | キヤノン株式会社 | Video processing device, video processing method, and program |
JP2017041869A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Image processing system, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2019087383A1 (en) | 2019-05-09 |
SG11202002953YA (en) | 2020-05-28 |
CN111279392B (en) | 2023-12-15 |
CN111279392A (en) | 2020-06-12 |
JP6678835B2 (en) | 2020-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Grundmann et al. | Calibration-free rolling shutter removal | |
US8532198B2 (en) | Banding artifact detection in digital video content | |
JP5846517B2 (en) | Quality evaluation of image composition change | |
JP6678835B2 (en) | Crowd density calculation device, crowd density calculation method, and crowd density calculation program | |
RU2603529C2 (en) | Noise reduction for image sequences | |
JP2009065332A (en) | Image processor, image processing method, and computer program | |
Khaloo et al. | Pixel‐wise structural motion tracking from rectified repurposed videos | |
US20140126808A1 (en) | Recursive conditional means image denoising | |
US20200304792A1 (en) | Quantization step parameter for point cloud compression | |
KR20210096234A (en) | Point cloud coding using homography transformation | |
US9940691B2 (en) | Information processing apparatus, control method of the same, and video camera | |
KR102300531B1 (en) | Image haze remover and method of removing image haze | |
US8571344B2 (en) | Method of determining a feature of an image using an average of horizontal and vertical gradients | |
US20120051648A1 (en) | Pattern identification apparatus, control method and program thereof | |
CN106954065B (en) | Recursive prediction image compression method based on gradient direction histogram | |
US10979704B2 (en) | Methods and apparatus for optical blur modeling for improved video encoding | |
KR101904125B1 (en) | VIDEO PROCESSING Device and Method For Depth Video by Concave Curved Surface Modeling | |
TW201334545A (en) | Method for coding and reconstructing a pixel block and corresponding devices | |
US9131246B2 (en) | Detecting artifacts in quantization noise in images compresses using discrete cosine transforms | |
CN110383295B (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
JP2009509405A (en) | Variable shape motion estimation in video sequences | |
US9478044B2 (en) | Method and apparatus of creating a perceptual harmony map | |
JP5941351B2 (en) | Image processing apparatus and control method thereof | |
JP7218445B2 (en) | Upscaling device, upscaling method, and upscaling program | |
EP2958103A1 (en) | Method and device for encoding a sequence of pictures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191125 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6678835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |