JP2005242646A - People flow measuring system, people flow measuring method and people flow measuring program - Google Patents

People flow measuring system, people flow measuring method and people flow measuring program Download PDF

Info

Publication number
JP2005242646A
JP2005242646A JP2004051379A JP2004051379A JP2005242646A JP 2005242646 A JP2005242646 A JP 2005242646A JP 2004051379 A JP2004051379 A JP 2004051379A JP 2004051379 A JP2004051379 A JP 2004051379A JP 2005242646 A JP2005242646 A JP 2005242646A
Authority
JP
Japan
Prior art keywords
image
person
ratio
probability distribution
enlargement ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004051379A
Other languages
Japanese (ja)
Inventor
Hiroyuki Arai
啓之 新井
Takahiko Niimura
貴彦 新村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2004051379A priority Critical patent/JP2005242646A/en
Publication of JP2005242646A publication Critical patent/JP2005242646A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To quantitatively accurately calculate "the number of people" or "moving speed" that is an index of a flow of people by using slantingly downward camera video and even when there are extremely many people. <P>SOLUTION: An arithmetic part 6 preliminarily generates CG images with n persons arranged random, calculates an occupation ratio ρ of the persons to every pseudo image and, with the occupation ratio ρ as a key, computes a probability distribution of a scale factor (image-position-dependent factor considering person height direction) r in every position. At actual measurement, an occupation ratio ρ' of person areas is calculated from an image from a camera 2, and the background difference is appropriately corrected by weighted averaging using the probability distributions acquired from the pseudo images to estimate the number of people. As for moving speed, a moving speed acquired from optical flows is appropriately corrected by weighting using the probability distributions. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、人流計測装置、人流計測方法および人流計測プログラムに関する。   The present invention relates to a human flow measurement device, a human flow measurement method, and a human flow measurement program.

駅や空港等の公共施設や商業施設など、人が集まる場所においては、安全管理の観点から、人の流れの状態を把握することが重要である。これらの施設には、既に大量の監視カメラが設置されていることが多く、これらを有効利用して、人の流れの状態を計測したいという要求がある。なお、人の流れの状態を示す指標としては、「人数」、「移動速度」の２つが重要となる。これらの指標をカメラ映像から計測する手段として、トラッキング（画像内のオブジェクトを検出し、追跡する処理）が考えれる。   In places where people gather, such as public facilities and commercial facilities such as stations and airports, it is important to grasp the flow of people from the viewpoint of safety management. Many of these facilities are already equipped with a large number of surveillance cameras, and there is a demand to use these effectively to measure the state of human flow. Note that “number of people” and “moving speed” are important as indices indicating the state of the flow of people. As a means for measuring these indices from camera images, tracking (a process for detecting and tracking an object in an image) can be considered.

ところで、通常の監視カメラは、斜め下向きに設置されているので、画像内での人と人との重畳、隠れ（オクルージョン）が頻繁に発生する。このような状況では、人数が少ない（密度が低い）場合を除き、トラッキングで正しい結果を得ることは期待できない。   By the way, since a normal surveillance camera is installed obliquely downward, superimposition and hiding (occlusion) between people in an image frequently occur. Under such circumstances, unless the number of people is small (the density is low), it cannot be expected to obtain a correct result by tracking.

このようにトラッキングが適用できない場合、画像内での大体の人数を計測する手法としては、背景画像との差分の大きい部分の面積を算出する方法、移動速度を計測する手法としては、オプティカルフロー（画像上の見かけの移動速度）を算出する方法などが用いられている。これらは、いずれも画像上での見え（面積、速度）である。そこで、それが実空間でどれだけの人数、速度になるのかを、監視カメラと地面との幾何学的な関係を事前に求めておき、画像上での面積や速度を実空間における面積（∝人数）や速度に変換する技術が知られている（例えば特許文献１参照）。
特開平８−６９５９６号公報 When tracking cannot be applied in this way, as a method for measuring the approximate number of people in the image, a method for calculating the area of a portion having a large difference from the background image, a method for measuring the moving speed, an optical flow ( A method of calculating an apparent movement speed on an image is used. These are the appearance (area, speed) on the image. Therefore, the number of people and the speed in the real space are obtained in advance by determining the geometric relationship between the surveillance camera and the ground, and the area and speed on the image are calculated as the real space area (空間The number of people) and the technology for converting to speed are known (see, for example, Patent Document 1).
JP-A-8-69596

上述した従来技術では、被写体も画像中の地面（床面）に拘束されているものとして（つまり被写体の高さを考慮しないという近似で）補正を行っている。これは、画像が３次元空間を２次元に射影したものであることから奥行き情報が欠損しており、面以外の場所にある被写体の大きさや速度を決定することができないことによる。この結果、監視カメラと被写体の距離と比較して被写体の高さが大きくなるほど、上述した近似から大きくずれるようになってくる。このため、監視カメラで人込みを撮影する場合などでは、その誤差が大きくなるという問題があった。   In the above-described prior art, correction is performed on the assumption that the subject is also constrained by the ground (floor surface) in the image (that is, approximation that does not consider the height of the subject). This is because the depth information is missing because the image is a two-dimensional projection of the three-dimensional space, and the size and speed of the subject at a place other than the plane cannot be determined. As a result, the larger the height of the subject compared to the distance between the surveillance camera and the subject, the greater the deviation from the approximation described above. For this reason, when photographing a crowd with a surveillance camera, there is a problem that the error becomes large.

本発明は、このような事情を考慮してなされたものであり、その目的は、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」や「移動速度」を定量的に正確に算出することができる人流計測装置、人流計測方法および人流計測プログラムを提供することにある。   The present invention has been made in consideration of such circumstances, and the object thereof is an index that shows the flow of people even when a camera image that is obliquely downward is used and the number of people is very large. An object of the present invention is to provide a human flow measuring device, a human flow measuring method, and a human flow measuring program capable of quantitatively and accurately calculating “number of people” and “moving speed”.

この発明は上記の課題を解決すべくなされたもので、本発明は、撮影された撮影画像から実空間に存在する人物の人数又は移動速度を含む人流情報を推定する人流計測装置であって、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶する記憶手段と、前記撮影画像から人物の占有率を算出する占有率算出手段と、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を前記記憶手段から読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けする重み付け手段と、前記重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定する推定手段とを具備することを特徴とする。   The present invention has been made to solve the above problems, and the present invention is a human flow measurement device that estimates human flow information including the number of persons or the moving speed of a person existing in real space from a captured image. Storage means for storing a probability distribution of an enlargement ratio set according to a position in the image based on a person's height component or an expected value of the enlargement ratio for each occupation ratio of the person on the image in various situations; An occupancy ratio calculating means for calculating the occupancy ratio of a person from an image, and a probability distribution of an enlargement ratio corresponding to the occupancy ratio calculated by the occupancy ratio calculation means or an expected value of the enlargement ratio is read from the storage means, and the enlargement ratio Weighting means for weighting the target information of the photographed image related to the human flow information to be estimated based on the expected value of the probability distribution or the enlargement ratio, and the real sky based on the target information of the weighted photographed image Characterized by comprising the estimation means for estimating a human flow information in the.

また、本発明は、請求項１記載の人流計測装置において、前記重み付け手段は、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値に基づいて前記撮影画像の人物に対応する各画素に重み付けし、前記推定手段は、前記重み付けされた前記撮影画像の人物に対応する各画素から前記撮影画像に対する人物の占有率を算出し、該占有率に基づいて、前記実空間における人数を推定することを特徴とする。   Further, the present invention provides the human flow measuring device according to claim 1, wherein the weighting means is based on a probability distribution of an enlargement ratio corresponding to the occupancy ratio calculated by the occupancy ratio calculation means or an expected value of the enlargement ratio. Each pixel corresponding to a person in the photographed image is weighted, and the estimating means calculates a human occupation ratio for the photographed image from each pixel corresponding to the weighted person in the photographed image, and based on the occupation ratio The number of persons in the real space is estimated.

また、本発明は、請求項１記載の人流計測装置において、前記撮影画像の各画素における速度ベクトルを算出する速度ベクトル算出手段を具備し、前記重み付け手段は、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値に基づいて前記撮影画像の各画素における速度ベクトルに重み付けし、前記推定手段は、前記重み付けされた速度ベクトルを平均化することにより、前記実空間における移動速度を推定することを特徴とする。   Further, the present invention provides the human flow measurement device according to claim 1, further comprising a velocity vector calculation unit that calculates a velocity vector at each pixel of the captured image, wherein the weighting unit is calculated by the occupation rate calculation unit. Weighting the velocity vector at each pixel of the captured image based on the probability distribution of the magnification corresponding to the occupation rate or the expected value of the magnification, and the estimating means averages the weighted velocity vector, The moving speed in the real space is estimated.

また、本発明は、請求項１記載の人流計測装置において、様々な状況における画像上の人物の画像全体に対する占有率を算出する仮想人物占有率算出手段と、前記仮想人物占有率算出手段により算出された占有率毎に、画像上の人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を算出する拡大率情報算出手段とを具備することを特徴とする。   According to the present invention, in the human flow measurement device according to claim 1, the virtual person occupancy rate calculating means for calculating the occupancy ratio of the person on the whole image in various situations is calculated by the virtual person occupancy rate calculating means. An enlargement ratio information calculation unit that calculates a probability distribution of an enlargement ratio set according to the position in the image based on the height component of the person on the image or an expected value of the enlargement ratio for each occupied ratio It is characterized by.

また、本発明は、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶しておき、撮影された実空間の撮影画像から人物の占有率を算出し、当該算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けし、当該重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定することを特徴とする。   Further, the present invention stores, for each occupation ratio of a person on an image in various situations, a probability distribution of an enlargement ratio or an expected value of the enlargement ratio set according to the position in the image based on the height component of the person. The occupancy rate of the person is calculated from the captured image of the real space, the probability distribution of the magnifying rate corresponding to the calculated occupancy rate or the expected value of the magnifying rate is read, and the probability distribution of the magnifying rate or Based on the expected value of the enlargement ratio, weighting the target information of the captured image related to the human flow information to be estimated, and estimating the human flow information in the real space based on the target information of the weighted captured image It is characterized by.

また、本発明は、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶するステップと、撮影された実空間の撮影画像から人物の占有率を算出するステップと、前記算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出すステップと、前記読み出した拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けするステップと、前記重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定するステップとをコンピュータに実行させることを特徴とする。   In addition, the present invention stores, for each occupancy ratio of a person on an image in various situations, a probability distribution of an enlargement ratio or an expected value of the enlargement ratio set according to the position in the image based on the height component of the person. A step of calculating an occupancy ratio of a person from a captured image of a captured real space, a step of reading a probability distribution of an expansion ratio corresponding to the calculated occupancy ratio or an expected value of the expansion ratio, and the read Based on the probability distribution of the enlargement rate or the expected value of the enlargement rate, the step of weighting the target information of the captured image related to the human flow information to be estimated, and the actual information based on the target information of the weighted captured image And a step of estimating a human flow information in a space.

以上説明したように、本発明によれば、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を事前に記憶手段に記憶しておき、占有率算出手段により、前記撮像手段により撮影された監視領域の撮影画像から人物の占有率を算出し、重み付け手段により、算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を前記記憶手段から読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けし、推定手段により、重み付けされた撮影画像の対象情報に基づいて、実空間における人流情報を推定する。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 As described above, according to the present invention, the probability distribution or the enlargement ratio of the enlargement ratio set according to the position in the image based on the height component of the person for each occupation ratio of the person on the image in various situations. Is stored in advance in the storage unit, the occupation rate calculation unit calculates the occupation rate of the person from the captured image of the monitoring area captured by the imaging unit, and the weighting unit calculates the occupation rate The target of the photographed image related to the human flow information to be estimated based on the probability distribution of the enlargement ratio or the expected value of the enlargement ratio is read from the storage means, and the probability distribution of the enlargement ratio or the expected value of the enlargement ratio The information is weighted, and the estimation means estimates the human flow information in the real space based on the weighted target image information.
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

また、本発明によれば、前記重み付け手段におり、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値により前記撮影画像の人物に対応する各画素を重み付けし、前記推定手段により、前記重み付けされた前記撮影画像の人物に対応する各画素から前記撮影画像に対する人物の占有率を算出し、該占有率に基づいて、実空間における人数を推定する。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 Further, according to the present invention, each pixel corresponding to the person of the photographed image by the probability distribution of the enlargement ratio corresponding to the occupation ratio calculated by the occupation ratio calculation means or the expected value of the enlargement ratio in the weighting means. The occupancy rate of the person for the captured image is calculated from each pixel corresponding to the weighted person of the captured image by the estimation means, and the number of people in the real space is estimated based on the occupancy rate .
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

また、本発明によれば、速度ベクトル算出手段により、前記撮影画像の各画素における速度ベクトルを算出し、前記重み付け手段により、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値により前記撮影画像の各画素における速度ベクトルを重み付けし、前記推定手段により、前記重み付けされた速度ベクトルを平均化することにより、実空間における移動速度を推定する。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 Further, according to the present invention, the velocity vector calculation unit calculates a velocity vector at each pixel of the captured image, and the weighting unit calculates the probability of an enlargement ratio corresponding to the occupancy rate calculated by the occupancy rate calculation unit. The moving vector in the real space is estimated by weighting the velocity vector in each pixel of the photographed image according to the expected value of the distribution or magnification, and averaging the weighted velocity vector by the estimating means.
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

また、本発明によれば、仮想人物占有率算出手段により、様々な状況における画像上の人物の画像全体に対する占有率を算出し、拡大率情報算出手段により、前記仮想人物占有率算出手段により算出された占有率毎に、画像上の人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の、画像上の全画素における確率分布を算出する。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 According to the present invention, the occupancy ratio of the person on the image in various situations is calculated by the virtual person occupancy ratio calculating means, and the virtual person occupancy ratio calculating means is calculated by the enlargement ratio information calculating means. For each occupancy ratio, a probability distribution for all pixels on the image is calculated with an enlargement ratio set according to the position in the image based on the height component of the person on the image.
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

また、本発明によれば、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶しておき、撮影された実空間の撮影画像から人物の占有率を算出し、前記算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けし、当該重み付けされた撮影画像の対象情報に基づいて、実空間における人流情報を推定する。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 Further, according to the present invention, the probability distribution of the enlargement ratio set according to the position in the image based on the height component of the person or the expected value of the enlargement ratio for each occupation ratio of the person on the image in various situations. The occupancy rate of the person is calculated from the photographed real space image, and the probability distribution of the magnifying rate corresponding to the calculated occupancy rate or the expected value of the magnifying rate is read out. Based on the expected value of distribution or enlargement ratio, the target information of the captured image related to the human flow information to be estimated is weighted, and the human flow information in the real space is estimated based on the target information of the weighted captured image. .
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

また、本発明によれば、様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶するステップと、撮影された実空間の撮影画像から人物の占有率を算出するステップと、前記算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出すステップと、前記読み出した拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けするステップと、前記重み付けされた撮影画像の対象情報に基づいて、実空間における人流情報を推定するステップとをコンピュータに実行させる。
したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。 Further, according to the present invention, the probability distribution of the enlargement ratio set according to the position in the image based on the height component of the person or the expected value of the enlargement ratio for each occupation ratio of the person on the image in various situations. A step of storing, a step of calculating an occupancy ratio of a person from a captured image of a captured real space, a step of reading a probability distribution of an expansion ratio corresponding to the calculated occupancy ratio or an expected value of the expansion ratio, Based on the read probability distribution of the enlargement ratio or the expected value of the enlargement ratio, weighting the target information of the captured image related to the human flow information to be estimated, and based on the target information of the weighted captured image, And causing the computer to execute a step of estimating human flow information in real space.
Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

以下、本発明を実施するための最良の形態について説明する。   Hereinafter, the best mode for carrying out the present invention will be described.

Ａ．実施形態の構成
以下、図面を参照して、本発明の人流計測装置の一実施形態について説明する。図１は、本実施形態の人流計測装置の略構成を示すブロック図である。図において、制御部１は、人流計測装置の各部を制御する。カメラ２は、駅や空港等の公共施設や商業施設などに、斜め下向きに設置されており、施設内を往来する人を撮影する。画像メモリ３は、カメラ２により撮影された映像を順次記録する。 A. Configuration of Embodiment Hereinafter, an embodiment of the human flow measuring device of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a human flow measuring apparatus according to the present embodiment. In the figure, the control unit 1 controls each part of the human flow measuring device. The camera 2 is installed obliquely downward in a public facility such as a station or an airport, a commercial facility, or the like, and takes a picture of a person traveling in the facility. The image memory 3 sequentially records videos taken by the camera 2.

入力部４は、カメラ２により監視する実空間と該カメラ２により撮影されたる画像との位置関係を対応付けるための空間幾何パラメータを指定（入力）する。なお、空間幾何パラメータの詳細については後述する。画像処理部５は、画像メモリ３に記録された映像に対し、人流計測に必要とされる画像処理（背景画像の抽出、背景画像と現フレームとの差分画像の算出など）を施す。   The input unit 4 designates (inputs) a spatial geometric parameter for associating the positional relationship between the real space monitored by the camera 2 and the image captured by the camera 2. Details of the spatial geometric parameter will be described later. The image processing unit 5 performs image processing (extraction of a background image, calculation of a difference image between the background image and the current frame, etc.) required for human flow measurement on the video recorded in the image memory 3.

演算部６は、画像上での見え（人物の占有面積、移動速度）が実空間においてどれだけの人数、移動速度になるのかを計算する。より具体的には、演算部６は、ｎ人をランダム配置したＣＧ（コンピュータ・グラフィックス）画像の生成、ＣＧにより生成した全擬似画像に対する人物面積の占有率ρの算出、占有率ρの値毎の全画像におけるスケールファクタの出現頻度の算出、占有率ρとｎとの関係ｎ（ρ）の算出、これらスケールファクタの出現頻度や関係ｎ（ρ）に従って、カメラ２による撮影画像からの人流情報（人数、移動速度）の推定などを行う。占有率とは、画像全体の画素数に対する人物部分の画素数として定義される見かけ上の占有率を示し、人流情報とは、カメラ２による撮影画像が示す実空間上の人物の人数又は移動速度等を示す。   The calculation unit 6 calculates how many people and moving speed the appearance (occupied area of the person, moving speed) on the image becomes in real space. More specifically, the calculation unit 6 generates a CG (computer graphics) image in which n persons are randomly arranged, calculates a human area occupancy ratio ρ for all pseudo images generated by the CG, and determines a value of the occupancy ratio ρ. Calculation of appearance frequency of scale factor in all images for each image, calculation of relationship n (ρ) between occupancy ρ and n, and human flow from images taken by camera 2 in accordance with appearance frequency and relationship n (ρ) of these scale factors Estimate information (number of people, movement speed). Occupancy indicates an apparent occupancy defined as the number of pixels of the person portion relative to the number of pixels of the entire image, and human flow information indicates the number of persons in the real space indicated by the image taken by the camera 2 or the moving speed. Etc.

なお、上記スケールファクタとは、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率を示す。すなわち、撮影された画像においては、下側が実空間の手前（カメラ側）、上側が実空間の奥となるので、見かけ上、同じ背丈の人物であっても、カメラ２に近い位置の人物は大きく写り、カメラ２から遠い位置の人物は小さく写る。すなわち、カメラ２に近い位置の人物の占有面積は大となり、カメラ２から遠い位置の人物の占有面積は小となる。そこで、撮影された画像内の位置（画素）に対して、人物の高さ方向に対して補正すべく、上記スケールファクタ（拡大率）を設定している。スケールファクタの出現頻度とは、スケールファクタの確率分布であり、画面内位置に応じて設定されたスケールファクタを示す指標となる。なお、人物の高さ成分とは、各画素において人物の身長に関する事前知識（例として、一定の身長と仮定するとか、身長の頻度分布を用いることが考えられる）に基づき設定した実空間と画像空間との被写体のサイズの比として定義されるものである。   The scale factor indicates an enlargement rate set according to the position in the image based on the height component of the person. That is, in the photographed image, the lower side is in front of the real space (camera side), and the upper side is the back of the real space. A person appears far away from the camera 2 and appears smaller. That is, the occupied area of the person near the camera 2 is large, and the occupied area of the person far from the camera 2 is small. Therefore, the scale factor (enlargement ratio) is set to correct the position (pixel) in the photographed image in the height direction of the person. The appearance frequency of the scale factor is a probability distribution of the scale factor and serves as an index indicating the scale factor set according to the position in the screen. The person's height component refers to the real space and image set based on prior knowledge about the person's height in each pixel (for example, assuming a constant height or using a frequency distribution of the height) It is defined as the ratio of subject size to space.

メモリ７は、入力部４からの幾何パラメータや、演算部６による各種演算結果（確率分布データ、上記占有率ρとｎとの関係ｎ（ρ）を示す回帰式など）などを保持する。擬似画像ＤＢ８は、上記擬似画像を記憶する。   The memory 7 holds geometric parameters from the input unit 4, various calculation results by the calculation unit 6 (probability distribution data, regression equation indicating the relationship n (ρ) between the occupation ratios ρ and n, and the like). The pseudo image DB 8 stores the pseudo image.

Ｂ．実施形態の動作
次に、図面を参照して、本実施形態の人流計測装置の動作について説明する。図２ないし図４は、本実施形態の人流計測装置の動作を示すフローチャートである。 B. Operation of Embodiment Next, the operation of the human flow measurement device of the present embodiment will be described with reference to the drawings. 2 to 4 are flowcharts showing the operation of the human flow measuring apparatus of the present embodiment.

（１）幾何パラメータ登録処理
ユーザは、入力部４からカメラ２と監視する空間との幾何パラメータを入力（指定）する（Ｓａ１）。より具体的には、図５に示すように、カメラ2の位置ｏに対して、床面の各点Ａ，Ｂ，Ｃ，Ｄ，Ｅの実空間の座標（Ｘ，Ｙ，Ｚ）と、該実空間をカメラ２が撮影した２次元画像上で各点Ａ，Ｂ，Ｃ，Ｄ，Ｅの座標（ｘ，ｙ）とを対応付けるべく指定する。該幾何パラメータは、メモリ７に保存される。 (1) Geometric Parameter Registration Process The user inputs (designates) geometric parameters of the camera 2 and the space to be monitored from the input unit 4 (Sa1). More specifically, as shown in FIG. 5, the coordinates (X, Y, Z) of the real space of each point A, B, C, D, E on the floor surface with respect to the position o of the camera 2; The real space is designated to be associated with the coordinates (x, y) of each point A, B, C, D, E on the two-dimensional image captured by the camera 2. The geometric parameter is stored in the memory 7.

（２）スケールファクタの確率分布算出処理
次に、スケールファクタの確率分布を算出する。これは、瞬間瞬間ごと、また場所場所ごとで正確な値（人数、移動速度）を算出することは困難であるため、確率的に妥当な推定値を得る（時間、空間で平均化していった場合に定量的に正しい値に近くなる）ことが目的である。 (2) Scale factor probability distribution calculation processing Next, a scale factor probability distribution is calculated. This is because it is difficult to calculate an accurate value (number of people, moving speed) for every moment and every place, so a probabilistic reasonable estimate is obtained (averaged in time and space) The goal is to be close to a quantitatively correct value in some cases).

まず、変数ｎをゼロに初期設定する（Ｓｂ１）。次に、変数ｎを１つインクリメントする（Ｓｂ２）。そして、幾何パラメータを参照しながら、ｎ人をランダムに配置したＣＧ画像をＭ枚生成する（Ｓｂ３）。このとき、人物部に、位置に応じたスケールファクタ値（見かけ上の拡大率）を設定する。図６に示すように、実空間での人の高さＨは、擬似画像では、その位置（カメラ２からの距離）に応じて、見かけ上の大きさ（高さ）ｈが変わってくるので、擬似画像上での見かけ上の大きさの違いを補正するために、スケールファクタｒ＝ｈ／Ｈを求めておく。なお、ＣＧ画像を生成する際に、人物が重なる場合は、重なった箇所に関しては手前の人物のスケールファクタ値を設定する。   First, the variable n is initialized to zero (Sb1). Next, the variable n is incremented by 1 (Sb2). Then, M CG images in which n persons are randomly arranged are generated with reference to the geometric parameter (Sb3). At this time, a scale factor value (apparent magnification) corresponding to the position is set in the person portion. As shown in FIG. 6, the height H of the person in the real space is changed in the apparent size (height) h according to the position (distance from the camera 2) in the pseudo image. In order to correct the difference in the apparent size on the pseudo image, the scale factor r = h / H is obtained. When the CG image is generated, if the person overlaps, the scale factor value of the person in front is set for the overlapped portion.

次に、変数ｎが最大値Ｎ（最大人数）に達したか否かを判断し（Ｓｂ４）、達していなければ、ステップＳｂ２へ戻り、変数ｎをインクリメントしながら、変数ｎが最大値Ｎに達するまで擬似画像を生成する。擬似画像は、変数ｎをインデックスとして、擬似画像ＤＢ８に格納される。   Next, it is determined whether or not the variable n has reached the maximum value N (maximum number of people) (Sb4). If not, the process returns to step Sb2, and the variable n is increased to the maximum value N while incrementing the variable n. Generate a pseudo image until it reaches. The pseudo image is stored in the pseudo image DB 8 with the variable n as an index.

変数ｎが最大値Ｎ（最大人数）に達すると、次に、全擬似画像について占有率ρ（＝Ｓ１／Ｓ）を算出する（Ｓｂ５）。図６（ｂ）に示すように、擬似画像上では、人物部分（白抜き部分）が占める面積をＳ１、背景部分（斜線部分）の面積をＳ２とすると、全体の面積Ｓ（＝Ｓ１＋Ｓ２）に対して、人物部分の占有率ρは、ρ＝Ｓ１／（Ｓ１＋Ｓ２）＝Ｓ１／Ｓとなる。占有率ρは、適当に離散化する。次に、占有率ρをインデックスとして擬似画像ＤＢ８を整理する（Ｓｂ６）。   When the variable n reaches the maximum value N (maximum number of people), the occupation ratio ρ (= S1 / S) is then calculated for all pseudo images (Sb5). As shown in FIG. 6B, on the pseudo image, if the area occupied by the person portion (outlined portion) is S1, and the area of the background portion (hatched portion) is S2, the total area S (= S1 + S2) is obtained. On the other hand, the occupation ratio ρ of the person portion is ρ = S1 / (S1 + S2) = S1 / S. The occupation ratio ρ is appropriately discretized. Next, the pseudo image DB 8 is organized using the occupation ratio ρ as an index (Sb6).

次に、占有率ρの値毎に擬似画像上の全画像（ｘ，ｙ）におけるスケールファクタの出現頻度を算出して確率分布データとしてメモリ７に記録する（Ｓｂ７）。そして、占有率ρと変数ｎとの関係ｎ（ρ）を統計的（回帰分析など）により求め、Ｐ（ｒ）ｘ，ｙ，ρとしてメモリ７に記録する（Ｓｂ８）。   Next, the appearance frequency of the scale factor in all images (x, y) on the pseudo image is calculated for each value of the occupation ratio ρ, and is recorded in the memory 7 as probability distribution data (Sb7). Then, the relationship n (ρ) between the occupation ratio ρ and the variable n is obtained statistically (regression analysis or the like), and recorded in the memory 7 as P (r) x, y, ρ (Sb8).

（３）計測処理
次に、実施の計測時における処理について説明する。まず、カメラ２により撮影された映像のフレーム画像を更新し（Ｓｃ１）、画像処理部５により、フレーム画像から背景画像を生成する（Ｓｃ２）。次に、背景差分画像を算出する（Ｓｃ３）。より具体的には、背景画像と現フレームとの差分の絶対値を算出し、所定の閾値以上の画素を差分画素（背景差分画像）とする。次に、背景差分画像から実占有率ρ’（＝ｓ１／ｓ）を算出する（Ｓｃ４）。ここで、ｓ１は、差分画素の面積（画素数）であり、ｓは、全面積（全画素数）である。次に、全画素（ｘ，ｙ）に重み（Ｐ（ｒ）ｘ，ｙ，ρ’／ｒ２）を乗算して和を取ったｓ’と、全差分画素（ｘ，ｙ）に重み（Ｐ（ｒ）ｘ，ｙ，ρ’／ｒ２）を乗算して和を取ったｓ１’をそれぞれ算出する（Ｓｃ５）。 (3) Measurement process Next, the process at the time of actual measurement will be described. First, the frame image of the video imaged by the camera 2 is updated (Sc1), and the background image is generated from the frame image by the image processing unit 5 (Sc2). Next, a background difference image is calculated (Sc3). More specifically, the absolute value of the difference between the background image and the current frame is calculated, and a pixel that is equal to or greater than a predetermined threshold is set as a difference pixel (background difference image). Next, the actual occupation ratio ρ ′ (= s1 / s) is calculated from the background difference image (Sc4). Here, s1 is the difference pixel area (number of pixels), and s is the total area (total number of pixels). Next, s ′ obtained by multiplying all the pixels (x, y) by the weight (P (r) x, y, ρ ′ / r 2 ) and summing them, and the weights of all the difference pixels (x, y) ( S1 ′ obtained by multiplying P (r) x, y, ρ ′ / r 2 ) is calculated (Sc5).

次に、前述したスケールファクタの確率分布算出処理で求めた、ｎ（ρ）にρ＝ｓ１’／ｓ’を代入した値を推定人数Ｎｅとする（Ｓｃ６）。次に、オプティカルフロー（画像上の見かけの速度ベクトル）（ｕ，ｖ）ｘ，ｙを算出する（Ｓｃ７）。次に、全画素（ｘ，ｙ）のオプティカルフロー（ｕ，ｖ）ｘ，ｙに重み（Ｐ（ｒ）ｘ，ｙ，ρ’／ｒ）を乗算し、正規化オプティカルフロー（Ｕ，Ｖ）ｘ，ｙを得る（Ｓｃ８）。そして、正規化オプティカルフロー（Ｕ，Ｖ）ｘ，ｙを画像内で平均化（および時間方向で平均化）することにより、推定速度Ｑｅを得る（Ｓｃ９）。次に、終了条件を満たしたか否かを判断し（Ｓｃ１０）、終了していなければ、ステップＳｃ１へ戻り、上述した処理を繰り返す。一方、終了条件を満たした場合には、当該処理を終了する。なお、当該処理における背景画像の生成は、一定時間のフレーム画像の画素毎の最頻値（モード値）や平均値を採るなどの基本的な統計処理により行うことが可能で、更に様々な工夫が提案されているが、ここではその方法は限定しない。   Next, a value obtained by substituting ρ = s1 ′ / s ′ into n (ρ) obtained by the above-described scale factor probability distribution calculation process is set as the estimated number of persons Ne (Sc6). Next, an optical flow (apparent velocity vector on the image) (u, v) x, y is calculated (Sc7). Next, the optical flow (u, v) x, y of all the pixels (x, y) is multiplied by the weight (P (r) x, y, ρ ′ / r) to obtain the normalized optical flow (U, V). x and y are obtained (Sc8). Then, the normalized optical flow (U, V) x, y is averaged in the image (and averaged in the time direction) to obtain the estimated speed Qe (Sc9). Next, it is determined whether or not the end condition is satisfied (Sc10). If not completed, the process returns to Step Sc1 to repeat the above-described processing. On the other hand, when the termination condition is satisfied, the processing is terminated. In addition, the generation of the background image in this process can be performed by basic statistical processing such as taking the mode value (mode value) or average value for each pixel of the frame image for a certain period of time, and further various ideas. However, the method is not limited here.

以上説明したように、本実施形態の人流計測装置によれば、画像処理から得られる占有率ρ（〜おおよその人数に対応）をキーとして、画像中の場所毎のスケールファクタｒの確率分布を、ＣＧ画像による大量発生させた擬似画像を用いて事前に求めておき、実際の人流計測時には、その確率分布を用いた重み付け平均（つまりｒの期待値）を取ることにより、背景差分を適切に補正することにより人数を推定するとともに、オプティカルフローを適切に補正することにより移動速度を推定する。すなわち、本実施形態では、被写体が高さを持つことに起因する誤差を考慮して確率的な幾何補正を行っている。したがって、斜め下向きのカメラ映像を用い、かつ人が非常に多い場合を対象としても、人の流れを示す指標である「人数」又は「移動速度」を定量的に正確に算出することができるという効果が得られる。   As described above, according to the human flow measurement apparatus of the present embodiment, the probability distribution of the scale factor r for each location in the image is obtained using the occupation ratio ρ (corresponding to the approximate number of people) obtained from the image processing as a key. The background difference is appropriately obtained by obtaining in advance using a large number of pseudo images generated by CG images and taking the weighted average (that is, the expected value of r) using the probability distribution during actual human flow measurement. The number of persons is estimated by correcting, and the moving speed is estimated by appropriately correcting the optical flow. That is, in the present embodiment, stochastic geometric correction is performed in consideration of an error caused by the subject having a height. Therefore, it is possible to quantitatively and accurately calculate “number of people” or “moving speed”, which is an index indicating the flow of people, even when a camera image that is obliquely downward is used and the number of people is very large. An effect is obtained.

ここで、定量的に信頼性が高いというのは下記の意味である。
１）時間、空間方向に平均化していった場合に真の値に近い値となる。
２）状況に応じて、どの程度の誤差があり得るのか（信頼区間）を推定できる。
３）2次元画像上での見かけ（手前だと大きく見える）の不確定性に起因する誤差の補正であれば、面積、速度以外（長さ、位置など）でも適用可能である。 Here, the quantitatively high reliability has the following meaning.
1) A value close to the true value when averaged in the time and space directions.
2) It is possible to estimate how much error (confidence interval) may exist depending on the situation.
3) Any correction other than the area and speed (length, position, etc.) can be applied as long as the error is corrected due to the uncertainty of appearance (appears large in front) on the two-dimensional image.

なお、上述した実施形態においては、ＣＧ画像を用いたが、これ以外にモデルから解析的に分布を取得する周知の方法を用いてもよい。
また、上記実施例においては、スケールファクタｒの確率分布を先に求めておく場合の例を示したが、本発明はこれに限られるものではなく、例えば、各画素におけるスケールファクタの逆数（１／ｒ）の期待値ΣＰ（ｒ）／ｒ、およびスケールファクタの２乗の逆数（１／ｒ２）の期待値ΣＰ（ｒ）／ｒ２をメモリ７に書き込んでおくようにしてもよい。このように構成することで、人流情報推定の処理負荷を前処理部分に分散できる。したがって、ハードウェアコストを削減することができる効果が得られる。 In the above-described embodiment, a CG image is used. However, a known method for analytically acquiring a distribution from a model may be used.
In the above-described embodiment, an example in which the probability distribution of the scale factor r is obtained first is shown. However, the present invention is not limited to this, and for example, the reciprocal of the scale factor in each pixel (1 / r expectation .SIGMA.P of) (r) / r, and the expected value .SIGMA.P (r) / r 2 of the reciprocal of the square of the scale factor (1 / r 2) may be is written into the memory 7. With this configuration, it is possible to distribute the processing load of human flow information estimation to the preprocessing portion. Therefore, an effect that the hardware cost can be reduced is obtained.

上述した制御部１、画像処理部５、演算部６などは、コンピュータシステム内で実行される。そして、上述した制御部１、画像処理部５、演算部６による一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。すなわち、制御部１、画像処理部５、演算部６における、各処理手段、処理部は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。   The control unit 1, the image processing unit 5, the calculation unit 6 and the like described above are executed in a computer system. The series of processes by the control unit 1, the image processing unit 5, and the calculation unit 6 are stored in a computer-readable recording medium in the form of a program, and the computer reads and executes the program. Thus, the above processing is performed. That is, each processing means and processing unit in the control unit 1, the image processing unit 5 and the calculation unit 6 is a central processing unit such as a CPU that reads the above program into a main storage device such as a ROM or RAM, and processes information. It is realized by executing arithmetic processing.

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

本実施形態による人流計測装置の略構成を示すブロック図である。It is a block diagram which shows the schematic structure of the human flow measuring device by this embodiment. 幾何パラメータ登録処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of a geometric parameter registration process. スケールファクタの確率分布算出処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the probability distribution calculation process of a scale factor. 計測処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of a measurement process. 幾何パラメータを説明するための概念図である。It is a conceptual diagram for demonstrating a geometric parameter. スケールファクタ、占有率を説明するための概念図である。It is a conceptual diagram for demonstrating a scale factor and an occupation rate. 従来技術による問題点を説明するための概念図である。It is a conceptual diagram for demonstrating the problem by a prior art.

符号の説明Explanation of symbols

１…制御部
２…カメラ（撮像手段）
３…画像メモリ
４…入力部
５…画像処理部
６…演算部（占有率算出手段、重み付け手段、推定手段、速度ベクトル算出手段、仮想人物占有率算出手段、拡大率情報算出手段）
７…メモリ（記憶手段）
８…類似画像ＤＢ

DESCRIPTION OF SYMBOLS 1 ... Control part 2 ... Camera (imaging means)
3 ... Image memory 4 ... Input unit 5 ... Image processing unit 6 ... Calculation unit (Occupancy rate calculation means, weighting means, estimation means, speed vector calculation means, virtual person occupancy rate calculation means, enlargement rate information calculation means)
7 ... Memory (memory means)
8 ... Similar image DB

Claims (6)

撮影された撮影画像から実空間に存在する人物の人数又は移動速度を含む人流情報を推定する人流計測装置であって、
様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶する記憶手段と、
前記撮影画像から人物の占有率を算出する占有率算出手段と、
前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を前記記憶手段から読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けする重み付け手段と、
前記重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定する推定手段と
を具備することを特徴とする人流計測装置。 A human flow measurement device that estimates human flow information including the number of persons or movement speed of a person existing in real space from a shot image,
Storage means for storing the probability distribution of the enlargement ratio set according to the position in the image based on the height component of the person or the expected value of the enlargement ratio for each occupation ratio of the person on the image in various situations;
Occupancy rate calculating means for calculating the occupancy rate of the person from the captured image;
The probability distribution of the enlargement ratio corresponding to the occupation ratio calculated by the occupancy ratio calculating means or the expected value of the enlargement ratio is read from the storage means and estimated based on the probability distribution of the enlargement ratio or the expected value of the enlargement ratio. Weighting means for weighting target information of the photographed image relating to power flow information;
A human flow measurement apparatus comprising: an estimation unit configured to estimate human flow information in the real space based on target information of the weighted captured image. 前記重み付け手段は、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値に基づいて前記撮影画像の人物に対応する各画素に重み付けし、
前記推定手段は、前記重み付けされた前記撮影画像の人物に対応する各画素から前記撮影画像に対する人物の占有率を算出し、該占有率に基づいて、前記実空間における人数を推定することを特徴とする請求項１記載の人流計測装置。 The weighting means weights each pixel corresponding to a person of the captured image based on a probability distribution of an enlargement ratio corresponding to the occupation ratio calculated by the occupation ratio calculation means or an expected value of the enlargement ratio,
The estimating means calculates an occupancy rate of the person for the captured image from each pixel corresponding to the weighted person of the captured image, and estimates the number of people in the real space based on the occupancy rate. The human flow measuring device according to claim 1. 前記撮影画像の各画素における速度ベクトルを算出する速度ベクトル算出手段を具備し、
前記重み付け手段は、前記占有率算出手段により算出された占有率に対応する拡大率の確率分布又は拡大率の期待値に基づいて前記撮影画像の各画素における速度ベクトルに重み付けし、
前記推定手段は、前記重み付けされた速度ベクトルを平均化することにより、前記実空間における移動速度を推定することを特徴とする請求項１記載の人流計測装置。 Comprising velocity vector calculating means for calculating a velocity vector at each pixel of the captured image;
The weighting unit weights a velocity vector in each pixel of the captured image based on a probability distribution of an enlargement rate corresponding to the occupation rate calculated by the occupation rate calculation unit or an expected value of the enlargement rate,
The human flow measurement apparatus according to claim 1, wherein the estimation unit estimates a moving speed in the real space by averaging the weighted speed vectors. 様々な状況における画像上の人物の画像全体に対する占有率を算出する仮想人物占有率算出手段と、
前記仮想人物占有率算出手段により算出された占有率毎に、画像上の人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を算出する拡大率情報算出手段と
を具備することを特徴とする請求項１記載の人流計測装置。 Virtual person occupancy rate calculating means for calculating an occupancy rate of the entire image of the person on the image in various situations;
For each occupancy calculated by the virtual person occupancy calculating means, an enlargement that calculates a probability distribution of an enlargement ratio set according to the position in the image based on the height component of the person on the image or an expected value of the enlargement ratio The human flow measurement device according to claim 1, further comprising: rate information calculation means. 様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶しておき、撮影された監視領域の撮影画像から人物の占有率を算出し、当該算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出し、該拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けし、当該重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定することを特徴とする人流計測方法。 For each occupancy ratio of the person on the image in various situations, the probability distribution of the enlargement ratio set according to the position in the image based on the height component of the person or the expected value of the enlargement ratio was stored and photographed The occupancy ratio of the person is calculated from the captured image of the monitoring area, the probability distribution of the enlargement ratio corresponding to the calculated occupancy ratio or the expected value of the enlargement ratio is read, and the probability distribution of the enlargement ratio or the expected value of the enlargement ratio is read. Based on the human flow information to be estimated, the target information of the captured image is weighted, and the human flow information in the real space is estimated based on the weighted target information of the captured image. Method. 様々な状況における画像上の人物の占有率毎に、人物の高さ成分に基づいて画像内位置に応じて設定した拡大率の確率分布又は拡大率の期待値を記憶するステップと、
撮影された監視領域の撮影画像から人物の占有率を算出するステップと、
前記算出された占有率に対応する拡大率の確率分布又は拡大率の期待値を読み出すステップと、
前記読み出した拡大率の確率分布又は拡大率の期待値に基づいて、推定すべき人流情報に関わる、前記撮影画像の対象情報に重み付けするステップと、
前記重み付けされた撮影画像の対象情報に基づいて、前記実空間における人流情報を推定するステップと
をコンピュータに実行させることを特徴とする人流計測プログラム。

Storing the probability distribution of the enlargement ratio set according to the position in the image based on the height component of the person or the expected value of the enlargement ratio for each occupation ratio of the person on the image in various situations;
Calculating the occupancy rate of the person from the captured image of the captured surveillance area;
Reading a probability distribution of an enlargement rate corresponding to the calculated occupation rate or an expected value of the enlargement rate;
Based on the read probability distribution of the magnification ratio or the expected value of the magnification ratio, weighting the target information of the captured image related to the human flow information to be estimated;
A human flow measurement program causing a computer to execute the step of estimating human flow information in the real space based on the weighted target image information.

JP2004051379A 2004-02-26 2004-02-26 People flow measuring system, people flow measuring method and people flow measuring program Pending JP2005242646A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004051379A JP2005242646A (en) 2004-02-26 2004-02-26 People flow measuring system, people flow measuring method and people flow measuring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004051379A JP2005242646A (en) 2004-02-26 2004-02-26 People flow measuring system, people flow measuring method and people flow measuring program

Publications (1)

Publication Number Publication Date
JP2005242646A true JP2005242646A (en) 2005-09-08

Family

ID=35024326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004051379A Pending JP2005242646A (en) 2004-02-26 2004-02-26 People flow measuring system, people flow measuring method and people flow measuring program

Country Status (1)

Country Link
JP (1) JP2005242646A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109126A (en) * 2005-10-17 2007-04-26 Advanced Telecommunication Research Institute International Moving body distribution estimation device, moving body distribution estimation method, and moving body distribution estimation program
JP2013246490A (en) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> Estimation device, estimation method and computer program
CN105205900A (en) * 2015-10-23 2015-12-30 华录智达科技有限公司 Dynamic self-adaptive public transport passenger flow statistic device based on video recognition
JP2018060360A (en) * 2016-10-05 2018-04-12 日本電信電話株式会社 Person number estimation method, person number estimation device, person number estimation program and recording medium
CN108197579A (en) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 The detection method of number in protective cabin
WO2018167851A1 (en) * 2017-03-14 2018-09-20 三菱電機株式会社 Image processing device, image processing method, and image processing program
CN113140092A (en) * 2021-04-13 2021-07-20 云南云能科技有限公司 System and method for monitoring personnel in public place
US11341669B2 (en) 2017-01-13 2022-05-24 Canon Kabushiki Kaisha People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium
US11455804B2 (en) 2019-04-02 2022-09-27 Canon Kabushiki Kaisha People flow analysis apparatus, people flow analysis method, and storage medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109126A (en) * 2005-10-17 2007-04-26 Advanced Telecommunication Research Institute International Moving body distribution estimation device, moving body distribution estimation method, and moving body distribution estimation program
JP4670010B2 (en) * 2005-10-17 2011-04-13 株式会社国際電気通信基礎技術研究所 Mobile object distribution estimation device, mobile object distribution estimation method, and mobile object distribution estimation program
JP2013246490A (en) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> Estimation device, estimation method and computer program
CN105205900A (en) * 2015-10-23 2015-12-30 华录智达科技有限公司 Dynamic self-adaptive public transport passenger flow statistic device based on video recognition
JP2018060360A (en) * 2016-10-05 2018-04-12 日本電信電話株式会社 Person number estimation method, person number estimation device, person number estimation program and recording medium
US11341669B2 (en) 2017-01-13 2022-05-24 Canon Kabushiki Kaisha People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium
WO2018167851A1 (en) * 2017-03-14 2018-09-20 三菱電機株式会社 Image processing device, image processing method, and image processing program
JPWO2018167851A1 (en) * 2017-03-14 2019-06-27 三菱電機株式会社 Image processing apparatus, image processing method and image processing program
CN108197579A (en) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 The detection method of number in protective cabin
CN108197579B (en) * 2018-01-09 2022-05-20 杭州智诺科技股份有限公司 Method for detecting number of people in protection cabin
US11455804B2 (en) 2019-04-02 2022-09-27 Canon Kabushiki Kaisha People flow analysis apparatus, people flow analysis method, and storage medium
CN113140092A (en) * 2021-04-13 2021-07-20 云南云能科技有限公司 System and method for monitoring personnel in public place

Similar Documents

Publication Publication Date Title
JP6816058B2 (en) Parameter optimization device, parameter optimization method, program
US9189859B2 (en) 3D image generation
TWI320847B (en) Systems and methods for object dimension estimation
JP6793151B2 (en) Object tracking device, object tracking method and object tracking program
US9885568B2 (en) Determining camera height using distributions of object heights and object image heights
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
JP4951490B2 (en) Moving object tracking device, moving object tracking method, moving object tracking program, and recording medium recording moving object tracking program
AU2018379393A1 (en) Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
JP2005242646A (en) People flow measuring system, people flow measuring method and people flow measuring program
JP2008146583A (en) Attitude detector and behavior detector
JP6219101B2 (en) Video surveillance system, video surveillance method, video surveillance system construction method
JP2008148237A (en) Posture detecting device
Rahimian et al. Optimal camera placement for motion capture systems in the presence of dynamic occlusion
JP2007025863A (en) Photographing system, photographing method, and image processing program
JP4914870B2 (en) Congestion degree measuring device, congestion degree measuring method, congestion degree measuring program, and recording medium recording the program
JP2008134939A (en) Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein
JP2009301242A (en) Head candidate extraction method, head candidate extraction device, head candidate extraction program and recording medium recording the program
JP2004046464A (en) Apparatus and method for estimating three-dimensional position of mobile object, program, and recording medium thereof
KR101996226B1 (en) Apparatus for measuring three-dimensional position of subject and method thereof
JP4759447B2 (en) Moving object tracking device, moving object tracking method, and recording medium storing a program describing the method
JP2013246490A (en) Estimation device, estimation method and computer program
JP2010187130A (en) Camera calibrating device, camera calibration method, camera calibration program, and recording medium having the program recorded therein
WO2018134866A1 (en) Camera calibration device
JP4675368B2 (en) Object position estimation apparatus, object position estimation method, object position estimation program, and recording medium recording the program
WO2021171763A1 (en) Image processing device, capture device, image processing system, image processing method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330