JP2020071783A - Image analyzer, image analyzing method, and program - Google Patents
Image analyzer, image analyzing method, and program Download PDFInfo
- Publication number
- JP2020071783A JP2020071783A JP2018206875A JP2018206875A JP2020071783A JP 2020071783 A JP2020071783 A JP 2020071783A JP 2018206875 A JP2018206875 A JP 2018206875A JP 2018206875 A JP2018206875 A JP 2018206875A JP 2020071783 A JP2020071783 A JP 2020071783A
- Authority
- JP
- Japan
- Prior art keywords
- flow rate
- subject
- output mode
- image analysis
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像解析装置、画像解析方法、及びプログラムに関し、特に画像から被写体の流量を計測する技術に関する。 The present invention relates to an image analysis device, an image analysis method, and a program, and more particularly to a technique for measuring the flow rate of a subject from an image.
近年、カメラで所定のエリアを撮影し、撮影された映像を解析することにより映像中の人物の数を計測するシステムが提案されている。このようなシステムを用いることにより、公共空間における混雑時の人の流れを把握し、得られた情報を混雑解消及び災害時の避難誘導等のために活用することが期待されている。 In recent years, a system has been proposed in which a predetermined area is photographed by a camera and the photographed image is analyzed to measure the number of persons in the image. By using such a system, it is expected to grasp the flow of people at the time of congestion in a public space and utilize the obtained information for congestion relief and evacuation guidance in the event of a disaster.
このようなシステムにおいて映像中の被写体の流量を計測する方法として、特許文献１は、映像中の人物の軌跡を検出し、計測ラインを横切った人物の数をカウントする方法を提案している。また、特許文献２は、映像から人物の動きを検出し、各人物の動きに基づいて、人物の逆行等の非定常状態を検出する方法を提案している。また、映像中の被写体の密度を推定する方法として、非特許文献１は、事前に機械学習によって得られたニューラルネットワークを用いる方法を提案している。 As a method of measuring the flow rate of a subject in an image in such a system, Patent Document 1 proposes a method of detecting the trajectory of a person in the image and counting the number of persons who have crossed the measurement line. Further, Patent Document 2 proposes a method of detecting a motion of a person from an image and detecting an unsteady state such as retrograde of the person based on the motion of each person. In addition, as a method of estimating the density of a subject in a video, Non-Patent Document 1 proposes a method of using a neural network obtained by machine learning in advance.
しかしながら、混雑状態においては被写体の検出が困難になるため、映像中の被写体の動きの検出精度が低下する。このため、被写体の流量（例えば計測ラインを横切った人物の数）の測定精度も低下するという課題が存在した。また、被写体が滞留している状態においては、被写体の一部（例えば人物の頭部）が部分的に動くことにより被写体が計測ラインを横切ったと判定され、測定された流量にさらなる誤差が含まれる可能性もある。 However, in a crowded state, it is difficult to detect the subject, and thus the accuracy of detecting the movement of the subject in the video is reduced. Therefore, there is a problem that the measurement accuracy of the flow rate of the subject (for example, the number of persons who have crossed the measurement line) is also reduced. Further, when the subject is staying, it is determined that the subject has crossed the measurement line due to partial movement of the subject (for example, the head of a person), and the measured flow rate includes a further error. There is a possibility.
本発明は、より精度の高い被写体の流量情報を出力することが目的とする。 An object of the present invention is to output flow rate information of a subject with higher accuracy.
本発明の目的を達成するために、例えば、本発明の画像解析装置は以下の構成を備える。すなわち、
時系列画像において設定領域を通った被写体の流量の出力モードを、前記設定領域における前記被写体の滞留状況に基づいて設定する設定手段と、
前記設定手段が設定した出力モードに従って、前記流量を出力する出力手段と、
を備えることを特徴とする。
In order to achieve the object of the present invention, for example, the image analysis apparatus of the present invention has the following configuration. That is,
Setting means for setting the output mode of the flow rate of the object passing through the setting area in the time-series image based on the staying state of the object in the setting area;
Output means for outputting the flow rate according to the output mode set by the setting means,
It is characterized by including.
より精度の高い被写体の流量情報を出力することができる。 It is possible to output more accurate flow rate information of the subject.
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the scope of the present invention is not limited to the following embodiments.
図４は一実施形態に係る画像解析装置のハードウェア構成を示す。画像解析装置１０は、演算処理装置１、記憶装置２、入力装置３、及び出力装置４を備える。各装置は、バス等により接続されることで、互いに通信可能に構成されている。 FIG. 4 shows a hardware configuration of the image analysis device according to the embodiment. The image analysis device 10 includes an arithmetic processing device 1, a storage device 2, an input device 3, and an output device 4. The respective devices are configured to be able to communicate with each other by being connected by a bus or the like.
演算処理装置１は、記憶装置２に格納されたプログラムの実行等を行い、画像解析装置１０の動作をコントロールする。演算処理装置１は、例えばＣＰＵ(Central Processing Unit)又はＧＰＵ(Graphics Processing Unit)で構成されることができる。記憶装置２はプログラム及びデータを記憶する。記憶装置２は、例えば磁気記憶装置又は半導体メモリ等のストレージデバイスであり、演算処理装置１の動作に基づいて読み込まれたプログラム及び長時間記憶しなくてはならないデータ等を記憶できる。記憶装置２は、また、画像解析装置１０の処理対象である画像、及び画像解析装置１０による検出結果を記憶することができる。本実施形態では、演算処理装置１が、記憶装置２に格納されたプログラムに従って処理を行うことで、例えば図１に示す画像解析装置１０の各機能及び図２に示すフローチャートに係る処理が実現される。 The arithmetic processing device 1 executes a program stored in the storage device 2 and controls the operation of the image analysis device 10. The arithmetic processing device 1 can be configured by, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The storage device 2 stores programs and data. The storage device 2 is a storage device such as a magnetic storage device or a semiconductor memory, and can store a program read based on the operation of the arithmetic processing device 1 and data that must be stored for a long time. The storage device 2 can also store the image to be processed by the image analysis device 10 and the detection result of the image analysis device 10. In the present embodiment, the arithmetic processing unit 1 performs processing in accordance with a program stored in the storage unit 2 to realize, for example, each function of the image analysis apparatus 10 shown in FIG. 1 and the processing according to the flowchart shown in FIG. It
入力装置３は、画像解析装置１０に各種の指示又は情報を入力可能なデバイスである。入力装置３は、例えばマウス、キーボード、タッチパネルデバイス、又はボタン等を含むことができる。入力装置３は、また、カメラ等の撮像装置を含むことができる。出力装置４は画像解析装置１０から各種の情報を出力可能なデバイスである。出力装置４は、例えば液晶パネル又は外部モニタ等のディスプレイデバイスを含むことができる。 The input device 3 is a device capable of inputting various instructions or information to the image analysis device 10. The input device 3 can include, for example, a mouse, a keyboard, a touch panel device, buttons, or the like. The input device 3 can also include an imaging device such as a camera. The output device 4 is a device capable of outputting various information from the image analysis device 10. The output device 4 may include a display device such as a liquid crystal panel or an external monitor.
本実施形態に係る画像解析装置１０のハードウェア構成は、上述した構成に限られない。例えば、画像解析装置１０は、他装置との通信を行うためのＩ／Ｏ装置を備えていてもよい。Ｉ／Ｏ装置は、例えば、メモリーカード若しくはＵＳＢケーブル等を接続可能な入出力部、又は、有線若しくは無線等を用いる送受信部を含むことができる。また、演算処理装置１が有する機能のうち少なくとも一部が、プログラムの代わりに、専用のハードウェアによって実現されてもよい。 The hardware configuration of the image analysis device 10 according to the present embodiment is not limited to the above configuration. For example, the image analysis device 10 may include an I / O device for communicating with other devices. The I / O device can include, for example, an input / output unit to which a memory card, a USB cable, or the like can be connected, or a transmission / reception unit using wired or wireless communication. Further, at least a part of the functions of the arithmetic processing device 1 may be realized by dedicated hardware instead of the program.
図１は、本実施形態に係る画像解析装置１０の機能構成例を示す。図１に示すように、画像解析装置１０は、撮像部１８０、画像取得部１１０、領域設定部１２０、推定部１３０、分布算出部１４０、判定部１５０、流量算出部１６０、及び表示部１９０を備える。 FIG. 1 shows an example of the functional configuration of an image analysis apparatus 10 according to this embodiment. As illustrated in FIG. 1, the image analysis device 10 includes an image capturing unit 180, an image acquiring unit 110, a region setting unit 120, an estimating unit 130, a distribution calculating unit 140, a determining unit 150, a flow rate calculating unit 160, and a display unit 190. Prepare
撮像部１８０は、解析対象のシーンを撮影する。撮像部１８０は、例えば、監視カメラのような固定されたカメラであってもよく、同一の撮影範囲を連続して撮影することにより、時系列画像として表される映像を得ることができる。時系列画像は、異なる時刻に撮像された複数のフレームで構成されている。 The image capturing unit 180 captures a scene to be analyzed. The image capturing unit 180 may be, for example, a fixed camera such as a surveillance camera, and can capture a video represented as a time-series image by continuously capturing the same capturing range. The time-series image is composed of a plurality of frames imaged at different times.
画像取得部１１０は、撮像部１８０により撮像された時系列画像を取得する。画像取得部１１０は、例えば、連続する異なる時刻に撮像された２フレームの画像を取得することができる。 The image acquisition unit 110 acquires the time-series images captured by the image capturing unit 180. The image acquisition unit 110 can acquire, for example, two frame images captured at different consecutive times.
領域設定部１２０は、時系列画像に設定領域を設定する。この設定領域は、撮像部１８０により撮影したシーンにおける被写体の流れ（例えば人の流れ）を解析するために用いられる。すなわち、設定領域を通った被写体の流量を、画像解析装置１０は測定することかできる。この流量は、例えば、１フレームで通った被写体の数、又は一定時間に通った被写体の数、により表すことができる。設定領域の形状は特に限定されないが、例えばライン状の領域を設定することができる。このライン状の領域は、１画素幅の領域であってもよい。この場合、ライン上の領域を一方向に通過した被写体の流量と、ライン上の領域を逆方向に通過した被写体の流量とを、画像解析装置１０はそれぞれ測定することができる。領域設定部１２０は、時系列画像に含まれる複数のフレームについて共通の設定領域を設定することができる。以下では、領域設定部１２０がライン状の領域を設定する場合について説明し、この領域のことを計測ラインと呼ぶ。 The area setting unit 120 sets a setting area in the time-series image. This setting area is used to analyze the flow of the subject (for example, the flow of people) in the scene captured by the image capturing unit 180. That is, the image analysis device 10 can measure the flow rate of the subject that has passed through the set area. This flow rate can be represented by, for example, the number of subjects passing in one frame or the number of subjects passing in a certain time. The shape of the setting area is not particularly limited, but for example, a linear area can be set. The line-shaped area may be an area having a width of one pixel. In this case, the image analysis device 10 can measure the flow rate of the subject that has passed through the area on the line in one direction and the flow rate of the subject that has passed through the area on the line in the opposite direction. The area setting unit 120 can set a common setting area for a plurality of frames included in the time-series image. The case where the area setting unit 120 sets a linear area will be described below, and this area is referred to as a measurement line.
推定部１３０は、画像取得部１１０が取得した時系列画像を用いて、画像中の被写体の移動を示す情報を生成する。例えば、推定部１３０は、第１の時刻に撮像されたフレームと、第２の時刻に撮像されたフレームとを用いて、フレーム間での被写体の移動を推定することができる。また、推定部１３０は、画像取得部１１０が取得した時系列画像を用いて、画像中の被写体の密度を示す情報を生成してもよい。例えば推定部１３０は、第１の時刻に撮像されたフレームと、第２の時刻に撮像されたフレームと、の少なくとも一方を用いて、第１の時刻若しくは第２の時刻における被写体の密度、又は第１の時刻及び第２の時刻における被写体の密度の平均値を推定できる。もっとも、推定部１３０が、被写体の移動を推定するために用いたフレームと同一のフレームから被写体の密度を推定する必要はない。例えば、推定部１３０は、一定の間隔で被写体の密度を推定してもよい。 The estimation unit 130 uses the time-series images acquired by the image acquisition unit 110 to generate information indicating the movement of the subject in the image. For example, the estimation unit 130 can estimate the movement of the subject between frames by using the frame imaged at the first time and the frame imaged at the second time. In addition, the estimation unit 130 may use the time-series images acquired by the image acquisition unit 110 to generate information indicating the density of the subject in the image. For example, the estimation unit 130 uses at least one of the frame imaged at the first time point and the frame imaged at the second time point, or the density of the subject at the first time point or the second time point, or The average value of the density of the subject at the first time and the second time can be estimated. However, the estimation unit 130 does not need to estimate the density of the subject from the same frame as the frame used to estimate the movement of the subject. For example, the estimation unit 130 may estimate the density of the subject at regular intervals.
被写体の密度及び移動の推定方法は特に限定されない。例えば、推定部１３０は、各フレームから被写体（例えば人物の顔）を検出することができる。この検出結果に基づいて、推定部１３０は、被写体の密度を推定することができる。また、推定部１３０は、２つのフレーム間で類似する被写体を対応付けることにより、フレーム間の被写体の移動を検出することができる。以下に説明する実施形態においては、推定部１３０はニューラルネットワークに時系列画像を入力し、ニューラルネットワークの出力として被写体の密度及び移動を表す情報を得る。このような方法により、推定部１３０はニューラルネットワークを用いて画像中の被写体の密度及び移動ベクトルを推定することができる。 The method of estimating the density and movement of the subject is not particularly limited. For example, the estimation unit 130 can detect a subject (for example, a person's face) from each frame. The estimation unit 130 can estimate the density of the subject based on this detection result. Further, the estimation unit 130 can detect the movement of the subject between the frames by associating the similar subjects between the two frames. In the embodiment described below, the estimation unit 130 inputs a time-series image to a neural network and obtains information representing the density and movement of a subject as an output of the neural network. With such a method, the estimation unit 130 can estimate the density and movement vector of the subject in the image using the neural network.
分布算出部１４０、判定部１５０、及び流量算出部１６０は、時系列画像において設定領域を通った被写体の流量の出力モードを、設定領域における被写体の滞留状況に基づいて設定する。本実施形態において、分布算出部１４０、判定部１５０、及び流量算出部１６０は、計測ラインにおける被写体の滞留状況を判定し、画像中に設定された計測ラインを通過した被写体の流量の出力モードを、滞留状況に基づいて設定する。滞留状況とは、被写体があまり動かない状況のことを指す。例えば、被写体群が一定の方向に移動しておらず、様々な方向に移動している場合、被写体はスムーズに移動せず同じ位置に留まりやすいため、被写体が滞留していると判定することができる。また、被写体の密度が高い場合にも、被写体はスムーズに移動せず同じ位置に留まりやすいため、被写体が滞留していると判定することができる。 The distribution calculation unit 140, the determination unit 150, and the flow rate calculation unit 160 set the output mode of the flow rate of the subject passing through the setting region in the time-series image based on the staying state of the subject in the setting region. In the present embodiment, the distribution calculation unit 140, the determination unit 150, and the flow rate calculation unit 160 determine the retention state of the subject on the measurement line, and set the output mode of the flow rate of the subject that has passed the measurement line set in the image. , Set based on the retention status. The staying state refers to a state in which the subject does not move much. For example, if the subject group is not moving in a certain direction but is moving in various directions, the subject does not move smoothly and tends to stay at the same position, so it may be determined that the subject is stagnant. it can. Further, even when the density of the subject is high, the subject does not move smoothly and tends to stay at the same position, so that it can be determined that the subject is staying.
このように滞留状況は、時系列画像における被写体の密度及び移動を示す情報に基づいて判定することができる。滞留状況は例えば、被写体の密度と移動の少なくとも一方に基づいて判定され、被写体が同じ位置に留まっている傾向を表すパラメータである滞留度により表すことができる。例えば、被写体の方向別の流量のばらつきが大きいほど、又は被写体の密度が大きいほど、高くなるように滞留度を定義することができる。このように、滞留度の算出方法は特に限定されない。一方、本実施形態においては、分布算出部１４０が、推定部１３０がニューラルネットワークを用いて推定した画像中の被写体の密度及び移動に基づいて、領域設定部１２０が設定した計測ラインにおける被写体の方向別の流量分布を算出する。また、判定部１５０は、分布算出部１４０が求めた流量分布に基づいて、被写体の滞留状況を判定し、撮像部１８０が撮像したシーンにおいて滞留が起こっているか否かを判定する。 In this way, the stay status can be determined based on the information indicating the density and movement of the subject in the time-series images. The staying state can be determined, for example, based on at least one of the density and the movement of the subject, and can be represented by the staying degree that is a parameter indicating the tendency that the subject stays at the same position. For example, the retention degree can be defined such that the greater the variation in flow rate of each subject depending on the direction or the greater the density of subjects, the higher the retention degree. As described above, the method of calculating the retention degree is not particularly limited. On the other hand, in the present embodiment, the distribution calculation unit 140 causes the estimation unit 130 to estimate the direction of the subject in the measurement line set by the region setting unit 120 based on the density and movement of the subject in the image estimated using the neural network. Calculate another flow distribution. In addition, the determination unit 150 determines the retention status of the subject based on the flow rate distribution obtained by the distribution calculation unit 140, and determines whether retention occurs in the scene captured by the imaging unit 180.
流量算出部１６０は、設定領域を通った被写体の流量を算出し、判定部１５０の判定結果に基づいて設定された被写体の流量の出力モードに従って、算出された流量を表示部１９０に出力する。流量算出部１６０は、推定部１３０により得られた被写体の移動を示す情報を用いて、被写体が設定領域を通ったかを判断し、被写体の流量を示す情報を生成することができる。本実施形態の場合、流量算出部１６０は、推定部１３０により得られた被写体の密度及び移動を示す情報を用いて、被写体の流量を示す情報を生成する。ここで、流量算出部１６０は、被写体の流量の出力モードに応じた算出方法を用いて、計測ラインを通過した被写体の流量を算出することができる。 The flow rate calculation unit 160 calculates the flow rate of the subject that has passed through the set region, and outputs the calculated flow rate to the display unit 190 according to the output mode of the flow rate of the subject set based on the determination result of the determination unit 150. The flow rate calculation unit 160 can determine whether the subject has passed through the set area by using the information indicating the movement of the subject obtained by the estimation unit 130, and can generate the information indicating the flow rate of the subject. In the case of the present embodiment, the flow rate calculation unit 160 uses the information indicating the density and movement of the subject obtained by the estimation unit 130 to generate information indicating the flow rate of the subject. Here, the flow rate calculation unit 160 can calculate the flow rate of the subject that has passed through the measurement line using a calculation method according to the output mode of the flow rate of the subject.
表示部１９０は、設定された出力モードに従って流量を出力する。例えば表示部１９０は、流量算出部１６０が求めた被写体の流量を、解析結果として出力装置４などに表示することができる。 The display unit 190 outputs the flow rate according to the set output mode. For example, the display unit 190 can display the flow rate of the subject calculated by the flow rate calculation unit 160 on the output device 4 or the like as the analysis result.
一実施形態に係る画像解析装置が、図１に示す構成の全てを有する必要はない。例えば、画像解析装置は、時系列画像を別個の撮像装置から取得してもよいし、時系列画像を解析した結果得られた滞留状況、被写体の移動を示す情報、及び流量を示す情報などを別個の解析装置から取得してもよい。この場合、画像解析装置は、取得した情報に従って流量の出力モードを設定し、設定された出力モードに従って流量を出力することができる。また、図１に示す機能のうち１以上を実現する装置の組み合わせによって構成された画像解析システムも、本発明の範囲に含まれる。 The image analysis device according to one embodiment does not need to have all of the configurations illustrated in FIG. 1. For example, the image analysis device may acquire the time-series images from a separate imaging device, or may store the retention status obtained as a result of analyzing the time-series images, the information indicating the movement of the subject, and the information indicating the flow rate. It may be obtained from a separate analysis device. In this case, the image analysis device can set the output mode of the flow rate according to the acquired information and output the flow rate according to the set output mode. Further, an image analysis system configured by a combination of devices that realize one or more of the functions shown in FIG. 1 is also included in the scope of the present invention.
以下、本実施形態に係る画像解析装置１０の動作を図２に示す処理の流れに従って説明する。ステップＳ１００において画像取得部１１０は、撮像部１８０が撮像した時系列画像のうち複数の画像を取得する。この説明において、画像取得部１１０は、連続する異なる時刻に撮像された２フレームの画像を取得し、記憶装置２に格納する。 The operation of the image analysis apparatus 10 according to this embodiment will be described below according to the flow of processing shown in FIG. In step S100, the image acquisition unit 110 acquires a plurality of images among the time-series images captured by the imaging unit 180. In this description, the image acquisition unit 110 acquires images of two frames captured at consecutive different times and stores them in the storage device 2.
図３（Ａ）及び（Ｂ）は、画像解析装置１０による解析対象となる画像の例を示す。図３（Ａ）は、ある通路において人物が歩行している通常の歩行シーンにおいて撮像されたフレームであり、図３（Ｂ）は同じ通路において人物が滞留している滞留シーンにおいて撮像されたフレームである。これらのフレームは、同一の撮像装置によって同じ位置から撮像されているため、撮像範囲は同一である。図中、破線Ｌは領域設定部１２０が設定した計測ラインを示す。この計測ラインは、例えば入力装置３を用いたユーザ操作により、他のフレームを参照しながらユーザが解析を行うために予め指定することができる。 3A and 3B show examples of images to be analyzed by the image analysis apparatus 10. FIG. 3 (A) is a frame imaged in a normal walking scene in which a person is walking in a certain passage, and FIG. 3 (B) is a frame imaged in a staying scene in which a person is staying in the same passage. Is. Since these frames are imaged from the same position by the same imaging device, the imaging range is the same. In the figure, the broken line L indicates the measurement line set by the area setting unit 120. This measurement line can be designated in advance by a user operation using the input device 3 for the user to analyze while referring to another frame.
ステップＳ２００において推定部１３０は、画像取得部１１０が取得した複数の画像を用いて、人の密度及び移動ベクトルを推定する。本実施形態において推定部１３０は、非特許文献１に記載されている方法を用いて、画像中の人物の密度分布及び移動ベクトル分布を推定する。非特許文献１には、事前の機械学習によって得られたニューラルネットワークに、画像を入力することにより、画像中の人物の密度分布を求める方法が開示されている。本実施形態ではこの方法を応用し、連続する２フレームの画像が入力されると、画像中の人物の密度分布及び移動ベクトル分布を同時に推定するニューラルネットワークが、推定のために用いられる。 In step S200, the estimation unit 130 estimates the density and movement vector of a person using the plurality of images acquired by the image acquisition unit 110. In the present embodiment, the estimation unit 130 uses the method described in Non-Patent Document 1 to estimate the density distribution and movement vector distribution of the person in the image. Non-Patent Document 1 discloses a method of obtaining a density distribution of persons in an image by inputting the image into a neural network obtained by machine learning in advance. In the present embodiment, this method is applied, and when two consecutive frames of images are input, a neural network that simultaneously estimates the density distribution and movement vector distribution of the person in the image is used for the estimation.
非特許文献１には、４８×４８画素の入力画像から、１６チャネルの７×７畳み込み層、プーリング及びドロップアウト層、１６チャネルの７×７畳み込み層、プーリング及びドロップアウト層、１６チャネルの５×５畳み込み層、４００ニューロンの全結合層、並びに２００ニューロンの全結合層を経て、１２×１２画素の人物の密度マップを与えるニューラルネットワークが紹介されている。このようなニューラルネットワークを本実施形態に応用する場合、例えば、連続する２フレームの画像である２チャネルのデータが入力されるように、ニューラルネットワークを修正することができる。また、１６チャネルの５×５畳み込み層から別の４００ニューロンの全結合層が分岐し、２００ニューロンの全結合層を経て、人物の横方向の移動量マップを与えるように、ニューラルネットワークをさらに修正することができる。さらには、１６チャネルの５×５畳み込み層からさらなる４００ニューロンの全結合層が分岐し、２００ニューロンの全結合層を経て、人物の縦方向の移動量マップを与えるように、ニューラルネットワークをさらに修正することができる。これら人物の横方向及び縦方向の移動量マップにより、人物の移動ベクトル分布を表すことができる。すなわち、このように修正されたニューラルネットワークを用いることにより、連続する２フレームの画像から、画像中の人物の密度分布及び移動ベクトル分布を同時に推定することができる。このようなニューラルネットワークの学習は、２フレームの画像と、正しい密度分布及び移動ベクトル分布と、のセットを用いて、公知の誤差逆伝播法により予め行うことができる。２フレームの画像に対する正しい密度分布及び移動ベクトル分布は、予めユーザ入力などに基づいて用意することができる。 In Non-Patent Document 1, from an input image of 48 × 48 pixels, a 7 × 7 convolutional layer of 16 channels, a pooling and dropout layer, a 7 × 7 convolutional layer of 16 channels, a pooling and dropout layer, and 5 of 16 channels are used. A neural network has been introduced which provides a density map of a person of 12 × 12 pixels through a × 5 convolutional layer, a 400 neuron fully connected layer, and a 200 neuron fully connected layer. When such a neural network is applied to this embodiment, for example, the neural network can be modified so that 2-channel data, which is an image of two consecutive frames, is input. Further, the neural network is further modified so that the total connection layer of 400 neurons is branched from the 5 × 5 convolutional layer of 16 channels and the lateral movement map of the person is given through the total connection layer of 200 neurons. can do. Furthermore, the neural network is further modified so that a total connection layer of 400 neurons is branched from the 5 × 5 convolutional layer of 16 channels and a vertical movement amount map of the person is provided through the total connection layer of 200 neurons. can do. The movement vector distribution of a person can be represented by these horizontal and vertical movement amount maps of the person. That is, by using the neural network modified in this way, it is possible to simultaneously estimate the density distribution and movement vector distribution of the person in the image from the images of two consecutive frames. Learning of such a neural network can be performed in advance by a known back propagation method using a set of two frame images and a correct density distribution and movement vector distribution. The correct density distribution and movement vector distribution for the two frame images can be prepared in advance based on user input.
図５は、上記のようなニューラルネットワークを用いる推定部１３０の機能を概略的に示す。図５に示すように、ニューラルネットワーク５６０には、時刻ｔの画像５１０と、画像５１０に連続して撮像された時刻ｔ＋１の画像５２０と、が入力される。そして、ニューラルネットワーク５６０からは、人物の密度分布を示すマップ５３０、人物の横方向移動量分布を示すマップ５４０、及び人物の縦方向移動量分布を示すマップ５５０が出力される。図５においては、濃淡の濃い部分が人物頭部の位置を表すように、密度分布を示すマップ５３０は描かれている。また、濃淡が濃いほど移動量が大きいことを表すように、移動量分布を示すマップ５４０，５５０は描かれている。図５の例では、群衆が横方向に移動しており、各人物の横方向の移動量は大きいが、縦方向の移動量は小さい値を持っている。 FIG. 5 schematically shows the function of the estimation unit 130 using the neural network as described above. As shown in FIG. 5, the neural network 560 is input with an image 510 at time t and an image 520 at time t + 1 captured continuously from the image 510. Then, the neural network 560 outputs a map 530 showing the density distribution of the person, a map 540 showing the horizontal movement amount distribution of the person, and a map 550 showing the vertical movement amount distribution of the person. In FIG. 5, the map 530 showing the density distribution is drawn so that the shaded portions represent the positions of the human head. Further, the maps 540 and 550 showing the movement amount distribution are drawn so that the darker the shade is, the larger the movement amount is. In the example of FIG. 5, the crowd is moving in the horizontal direction, and the horizontal moving amount of each person is large, but the vertical moving amount has a small value.
ステップＳ３００において分布算出部１４０は、推定部１３０が推定した人物の密度及び移動ベクトル分布と、領域設定部１２０が設定した計測ラインとに基づいて、方向別の流量分布を算出する。画像中の位置（ｉ，ｊ）における人物の密度をｄ（ｉ，ｊ）、移動ベクトルをｖ（ｉ，ｊ）とすると、求める方向の位置（ｉ，ｊ）における流量ｆ（ｉ，ｊ）は、式（１）のように表すことができる。
ｆ（ｉ，ｊ）＝ｄ（ｉ，ｊ）×ｖ（ｉ，ｊ）・ｎ ……式（１）
ただし、ｎは求める方向を表す単位ベクトルである。
In step S300, the distribution calculation unit 140 calculates the flow distribution for each direction based on the density and movement vector distribution of the person estimated by the estimation unit 130 and the measurement line set by the region setting unit 120. If the density of the person at the position (i, j) in the image is d (i, j) and the movement vector is v (i, j), then the flow rate f (i, j) at the position (i, j) in the desired direction. Can be expressed as in equation (1).
f (i, j) = d (i, j) × v (i, j) · n Equation (1)
However, n is a unit vector indicating the direction to be obtained.
連続する２フレームの画像に対する方向ごとの流量は、計測ラインＬに沿った各画素（ｉ，ｊ）について求めた流量ｆ（ｉ，ｊ）のうち、正の値を取る流量のみを足し合わせることによって求めることができる。分布算出部１４０は、計測ラインＬに関し、例えば３０°ごとに、０°〜３３０°の方向についての流量分布を求めることができる。このようにして求められる流量分布の例を図６に示す。なお、分布算出部１４０は、計測ラインＬ上の各画素における流量に基づいて流量分布を求めてもよいし、計測ラインＬを含む所定範囲の画素における流量に基づいて流量分布を求めてもよい。また、密度及び移動ベクトル分布を示すマップの解像度と、画像の解像度とが一致しない場合は、適宜補間を行うことができる。 For the flow rate in each direction for two consecutive frames of images, add only the flow rate having a positive value among the flow rates f (i, j) obtained for each pixel (i, j) along the measurement line L. Can be sought by. For the measurement line L, the distribution calculation unit 140 can obtain the flow rate distribution in the direction of 0 ° to 330 °, for example, every 30 °. An example of the flow rate distribution thus obtained is shown in FIG. The distribution calculation unit 140 may calculate the flow rate distribution based on the flow rate of each pixel on the measurement line L, or may calculate the flow rate distribution based on the flow rate of pixels in a predetermined range including the measurement line L. .. If the resolution of the map indicating the density and the movement vector distribution does not match the resolution of the image, interpolation can be performed as appropriate.
ステップＳ４００において判定部１５０は、分布算出部１４０が求めた流量分布に基づいて、撮像部１８０が撮影した、２フレームの画像に表されるシーンが、滞留シーンであるか否かを判定する。例えば、図３（Ａ）に示す通常の歩行シーンにおいては、計測ラインに直交する正方向及び逆方向に人の流量が偏る傾向がある。この場合、被写体の方向別の流量のばらつきが大きくなる。一方、図３（Ｂ）に示す滞留シーンにおいては、様々な方向の流量が現れる傾向がある。特に、計測ライン上で人の流れがないとしても、頭部が計測ライン上で前後又は左右に振れることにより、様々な方向の流量が現れる。この場合、被写体の方向別の流量のばらつきが小さくなる。 In step S400, the determination unit 150 determines, based on the flow rate distribution obtained by the distribution calculation unit 140, whether the scene represented by the two-frame image captured by the imaging unit 180 is a staying scene. For example, in the normal walking scene shown in FIG. 3A, the flow rate of a person tends to be biased in the forward direction and the reverse direction orthogonal to the measurement line. In this case, the variation in the flow rate depending on the direction of the subject increases. On the other hand, in the staying scene shown in FIG. 3B, the flow rates in various directions tend to appear. In particular, even if there is no human flow on the measurement line, the head shakes back and forth or left and right on the measurement line, so that flow rates in various directions appear. In this case, the variation in the flow rate depending on the direction of the subject becomes small.
本実施形態において判定部１５０は、被写体の方向別の流量のばらつきを示す情報に基づいて、被写体の滞留状況を判定する。具体例として、判定部１５０は、分布算出部１４０が求めた方向別の流量分布における、方向別の流量の分散に基づいて、２フレームの画像に表されるシーンを判定することができる。この際、判定部１５０は、方向別の流量の総和にさらに基づいて、シーンを判定することができる。例えば、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１より大きく、方向別の流量の分散が第２の所定値ｔｈ２より大きい場合に、シーンが通常の歩行シーンであると判定することができる。一方、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１より大きく、方向別の流量の分散が第２の所定値ｔｈ２以下である場合に、シーンが滞留シーンであると判定することができる。さらに、判定部１５０は、方向別の流量の総和が第１の所定値ｔｈ１以下である場合には、シーンが流量の少ない通常の歩行シーンであると判定することができる。図６において、実線で示した流量分布は通常の歩行シーン、破線で示した流量分布は滞留シーンに、それぞれ対応する。 In the present embodiment, the determination unit 150 determines the retention status of the subject based on the information indicating the variation in the flow rate of the subject for each direction. As a specific example, the determination unit 150 can determine the scene represented in the image of two frames based on the distribution of the flow rate for each direction in the flow distribution for each direction obtained by the distribution calculation unit 140. At this time, the determination unit 150 can determine the scene based on the total sum of the flow rates for the respective directions. For example, the determination unit 150 determines that the scene is a normal walking scene when the sum of the flow rates for each direction is greater than the first predetermined value th1 and the variance of the flow rates for each direction is greater than the second predetermined value th2. Can be determined. On the other hand, the determination unit 150 determines that the scene is a stagnant scene when the total sum of the flow rates for each direction is larger than the first predetermined value th1 and the variance of the flow rates for each direction is not more than the second predetermined value th2. can do. Furthermore, the determination unit 150 can determine that the scene is a normal walking scene with a low flow rate when the total sum of the flow rates by directions is equal to or less than the first predetermined value th1. In FIG. 6, the flow rate distribution indicated by the solid line corresponds to a normal walking scene, and the flow rate distribution indicated by the broken line corresponds to a staying scene.
さらに判定部１５０は、時系列画像において設定領域を通った被写体の流量の出力モードを、設定領域における被写体の滞留状況に基づいて設定することができる。判定部１５０が設定した出力モードに従って、表示部１９０は画像解析装置１０によって得られた流量を出力する。本実施形態においては、流量算出部１６０は出力モードに従う流量を算出し、算出された流量が表示部１９０によって出力される。判定部１５０が設定可能な出力モードには、第１の出力モード及び第２の出力モードが含まれる。判定部１５０は、例えば、被写体が滞留していないとの判定に応じて第１の出力モードを設定してもよく、また被写体が滞留しているとの判定に応じて第２の出力モードを設定してもよい。ここで、第１の出力モードにおいて出力される流量の値が、第２の出力モードにおいて出力される流量の値とは異なるように、出力モードを設定することができる。例えば、以下に説明するように、本実施形態においては、第１の出力モードと第２の出力モードとでは、それぞれ異なる方法で得られた流量が出力される。 Furthermore, the determination unit 150 can set the output mode of the flow rate of the subject that has passed through the setting region in the time-series image based on the staying state of the subject in the setting region. The display unit 190 outputs the flow rate obtained by the image analysis apparatus 10 according to the output mode set by the determination unit 150. In the present embodiment, the flow rate calculation unit 160 calculates the flow rate according to the output mode, and the calculated flow rate is output by the display unit 190. The output modes that can be set by the determination unit 150 include a first output mode and a second output mode. The determination unit 150 may set the first output mode according to, for example, a determination that the subject is not staying, and may set the second output mode according to the determination that the subject is staying. You may set it. Here, the output mode can be set so that the value of the flow rate output in the first output mode is different from the value of the flow rate output in the second output mode. For example, as described below, in the present embodiment, the flow rates obtained by different methods are output in the first output mode and the second output mode.
ステップＳ５００において流量算出部１６０は、判定部１５０の判定結果に基づいて、人の流量を算出する。例えば、シーンが滞留シーンであると判定された場合、流量算出部１６０は計測ラインに直交する正方向及び逆方向の流量を相殺するように足し合わせることにより、流量を算出することができる。この場合、頭部が計測ライン上で前後又は左右に振れた場合であっても、このような部分的な動きの流量への影響を抑え、より正確に通過人数のカウントを行うことが可能となる。このように、本実施形態においては、滞留シーンで用いられる第２の出力モードにおいては双方向の流量が相殺された後の流量が出力される。 In step S500, the flow rate calculation unit 160 calculates the flow rate of a person based on the determination result of the determination unit 150. For example, when it is determined that the scene is a staying scene, the flow rate calculation unit 160 can calculate the flow rate by adding the flow rates in the normal direction and the reverse direction orthogonal to the measurement line so as to cancel each other. In this case, even if the head shakes back and forth or left and right on the measurement line, it is possible to suppress the influence of such partial movement on the flow rate and to more accurately count the number of people passing through. Become. As described above, in the present embodiment, in the second output mode used in the stay scene, the flow rate after the bidirectional flow rate is canceled is output.
一方、シーンが通常の歩行シーンであると判定された場合、流量算出部１６０は計測ラインに直交する正方向及び逆方向の流量を別々に算出することができる。このように、通常の歩行シーンで用いられる第１の出力モードにおいてはライン状の設定領域を通過した被写体の双方向の流量がそれぞれ出力される。 On the other hand, when it is determined that the scene is a normal walking scene, the flow rate calculation unit 160 can separately calculate the flow rates in the normal direction and the reverse direction orthogonal to the measurement line. As described above, in the first output mode used in a normal walking scene, the bidirectional flow rates of the subject that have passed through the linear setting area are output.
ここで、計測ラインに直交する正方向の流量及び逆方向の流量とは、計測ラインを一方向に交差して移動する流量及び計測ラインを逆方向に交差して移動する流量のことを指す。本実施形態の場合、計測ラインに直交する正方向及び逆方向の流量のそれぞれは、計測ライン上の各位置（ｉ，ｊ）における正方向又は逆方向の正の値を取る流量ｆ（ｉ，ｊ）を合計することにより算出することができる。 Here, the flow rate in the forward direction and the flow rate in the reverse direction orthogonal to the measurement line refer to the flow rate that moves across the measurement line in one direction and the flow rate that moves across the measurement line in the opposite direction. In the case of the present embodiment, each of the flow rates in the forward direction and the reverse direction orthogonal to the measurement line takes a positive value in the forward direction or the reverse direction at each position (i, j) on the measurement line f (i, It can be calculated by summing j).
なお、人物の滞留状況に応じた出力モードの制御は、ここに挙げた例には限定されない。例えば、流量算出部１６０は、シーンが滞留シーンであると判定された場合、２方向の流量を足し合わせる代わりに、３方向以上の流量を足し合わせてもよい。また、大きい設定領域が設定された場合、設定領域を通った被写体の流量として、通常の歩行シーンでは設定領域に入る人の流量と設定領域から出る人の流量とをそれぞれ出力し、滞留シーンではこれらの流量が相殺された後の流量が出力されてもよい。 The control of the output mode according to the staying state of the person is not limited to the example given here. For example, when it is determined that the scene is a staying scene, the flow rate calculation unit 160 may add the flow rates in three or more directions instead of adding the flow rates in two directions. In addition, when a large setting area is set, the flow rate of the person who enters the setting area and the flow rate of the person who leaves the setting area are respectively output as the flow rate of the object passing through the setting area, and in the staying scene, The flow rate after these flow rates are offset may be output.
別の方法として、流量算出部１６０は、シーンが通常の歩行シーンであると判定された場合には、推定部１３０が推定した移動ベクトル分布に含まれる全ての移動ベクトルを用いて、流量を算出してもよい。一方で、流量算出部１６０は、シーンが滞留シーンであると判定された場合には、推定部１３０が推定した移動ベクトル分布に含まれる移動ベクトルのうち、計測ラインとなす角が所定値以上である移動ベクトルを用いて、流量を算出してもよい。計測ラインとなす角が所定値以上である移動ベクトルは、計測ラインの向きとは十分に異なる向きを有する移動ベクトルに相当する。このような構成によっても、滞留シーンにおいて人物の部分的な動きの流量への影響を抑えることができる。 As another method, when the scene is determined to be a normal walking scene, the flow rate calculation unit 160 calculates the flow rate using all the movement vectors included in the movement vector distribution estimated by the estimation unit 130. You may. On the other hand, when it is determined that the scene is a staying scene, the flow rate calculation unit 160 has, among the movement vectors included in the movement vector distribution estimated by the estimation unit 130, an angle formed by the measurement line with a predetermined value or more. The flow rate may be calculated using a certain movement vector. A movement vector whose angle with the measurement line is equal to or greater than a predetermined value corresponds to a movement vector having a direction sufficiently different from the direction of the measurement line. Even with such a configuration, it is possible to suppress the influence of the partial movement of the person on the flow rate in the staying scene.
上記の例においては、通常の歩行シーンにおいては人の流量は第１の個数の流量値（すなわち、正方向及び逆方向の２つの流量）で表されていた。また、滞留シーンにおいて人の流量は第１の個数とは異なる第２の個数の流量値（すなわち、相殺により得られた１つの流量）で表されていた。さらなる別の方法として、流量算出部１６０は、シーンが通常の歩行シーンであると判定された場合には、計測ラインを分割して得られた複数のセグメントのそれぞれについて、セグメントを通過した人の流量を算出してもよい。一方で、流量算出部１６０は、シーンが滞留シーンであると判定された場合には、単に計測ラインを通過した人の流量を算出してもよい。このような構成によれば、滞留シーンにおいて精度の低い情報を得ることを抑制することができる。 In the above example, in a normal walking scene, the flow rate of a person is represented by the first number of flow rate values (that is, two flow rates in the forward direction and the backward direction). Further, in the staying scene, the flow rate of the person is represented by the flow rate value of the second number different from the first number (that is, one flow rate obtained by the offset). As yet another method, when the scene is determined to be a normal walking scene, the flow rate calculation unit 160 determines, for each of the plurality of segments obtained by dividing the measurement line, the number of people who have passed through the segment. The flow rate may be calculated. On the other hand, the flow rate calculation unit 160 may simply calculate the flow rate of a person who has passed the measurement line when it is determined that the scene is a staying scene. With such a configuration, it is possible to suppress obtaining information with low accuracy in a staying scene.
ステップＳ６００において表示部１９０は、流量算出部１６０により算出された人の流量を、解析結果として出力装置４に出力する。出力装置４は、表示部１９０から得た解析結果を表示することができる。図７（Ａ）及び（Ｂ）は、判定部１５０がシーンは通常の歩行シーンであると判定した場合、及び滞留シーンであると判定した場合の表示例をそれぞれ示す。図７（Ａ）の例では、流量算出部１６０が算出した正方向及び逆方向の流量が、それぞれ矢印の太さにより表されている。また、図７（Ｂ）の例では、流量算出部１６０が算出した正方向及び逆方向の流量を足し合わせた結果得られた流量及びその向きが、矢印の太さにより表されている。図７（Ｂ）の例では、さらに、滞留シーンであることを示す「混雑」等の表示がなされている。 In step S600, the display unit 190 outputs the flow rate of the person calculated by the flow rate calculation unit 160 to the output device 4 as the analysis result. The output device 4 can display the analysis result obtained from the display unit 190. FIGS. 7A and 7B show display examples when the determination unit 150 determines that the scene is a normal walking scene and when it is a staying scene. In the example of FIG. 7A, the flow rates in the forward direction and the reverse direction calculated by the flow rate calculation unit 160 are represented by the thickness of each arrow. Further, in the example of FIG. 7B, the flow rate and its direction obtained as a result of adding the forward and reverse flow rates calculated by the flow rate calculation unit 160 are represented by the thickness of the arrow. In the example of FIG. 7B, a message such as "crowded" indicating that the scene is a retention scene is further displayed.
流量の出力モードは、このような例には限定されない。例えば、表示部１９０は、推定部１３０が推定した動きベクトルに基づいて人の流れの速度を求め、流量とともに速度を出力することができる。速度は、例えば矢印の長さで表すことができる。また、表示部１９０は、正方向と逆方向の流量を見分けることを容易とするために、正方向と逆方向の流量をそれぞれ異なる色の矢印で表すことができる。さらに、表示部１９０は、矢印とともに、又は矢印に変えて、流量を数値として出力することもできる。 The flow rate output mode is not limited to such an example. For example, the display unit 190 can obtain the velocity of a person's flow based on the motion vector estimated by the estimation unit 130, and output the velocity together with the flow rate. The velocity can be represented by the length of the arrow, for example. Further, the display unit 190 can represent the flow rates in the forward and reverse directions by arrows of different colors in order to easily distinguish the flow rates in the forward and reverse directions. Further, the display unit 190 can output the flow rate as a numerical value together with the arrow or in place of the arrow.
図２に示すように、ステップＳ１００〜Ｓ６００の処理は、撮像部１８０が撮像したフレーム毎に繰り返すことができる。なお、人物の滞留状況に応じた出力モードのさらなる例として、シーンが滞留シーンであると判定された場合、ライン状の設定領域を通過した被写体の双方向の流量が所定の時間にわたって相殺された後の流量が出力されてもよい。例えば、表示部１９０は、所定時間内の各フレームについて流量算出部１６０が求めた流量を時間平均又は単に合計して出力してもよい。表示部１９０は、流量算出部１６０が求めた各フレームについての正方向又は逆方向の流量を相殺することにより、計測ライン上での部分的な動きにより正確ではない流量が出力されることを、さらに抑制することができる。 As shown in FIG. 2, the processes of steps S100 to S600 can be repeated for each frame captured by the image capturing unit 180. As a further example of the output mode according to the staying state of a person, when the scene is determined to be a staying scene, the bidirectional flow rate of the subject that has passed through the line-shaped setting area is canceled for a predetermined time. The later flow rate may be output. For example, the display unit 190 may output the flow rates calculated by the flow rate calculation unit 160 for each frame within a predetermined time by time-averaging or simply summing. The display unit 190 cancels the flow rate in the forward direction or the reverse direction for each frame calculated by the flow rate calculation unit 160, and thus the inaccurate flow rate is output due to the partial movement on the measurement line. It can be further suppressed.
以上説明したように、本実施形態においては、計測ラインにおける被写体の滞留状況に基づいて、人の流れの出力モードが制御される。とりわけ、図２を参照して説明した例においては、画像中に設定した計測ラインに基づいて方向別の流量分布が算出され、方向別の流量分布に基づいてシーンが滞留シーンであるか否かが判定される。そして、この結果に基づいて、人の流量が算出され、出力される。このような構成をとることにより、混雑時又は滞留時において、映像からより高い精度で人の流れ及び通過人数を推定することができる。 As described above, in the present embodiment, the output mode of the human flow is controlled based on the staying condition of the subject on the measurement line. In particular, in the example described with reference to FIG. 2, the flow rate distribution for each direction is calculated based on the measurement line set in the image, and whether the scene is a stay scene based on the flow rate distribution for each direction. Is determined. Then, based on this result, the flow rate of the person is calculated and output. By adopting such a configuration, it is possible to estimate the flow of people and the number of people passing through with higher accuracy from the image during congestion or retention.
なお、以上では、画像中に１つの計測ラインを設定して流量を算出する場合について説明した。一方で、画像中に複数の計測ラインを設定し、それぞれの計測ラインを通過する流量を算出してもよい。この場合、それぞれの計測ラインに対して上述した処理を行うことで、例えば図２に示す処理フローに従ってステップＳ３００〜Ｓ６００の処理を繰り返すことで、それぞれの計測ラインを通過する流量を得ることができる。 In addition, the case where one measurement line is set in the image and the flow rate is calculated has been described above. On the other hand, a plurality of measurement lines may be set in the image and the flow rate passing through each measurement line may be calculated. In this case, by performing the above-described processing on each measurement line, for example, by repeating the processing of steps S300 to S600 according to the processing flow shown in FIG. 2, the flow rate passing through each measurement line can be obtained. ..
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００：画像取得部、１２０：領域設定部、１３０：推定部、１４０：分布算出部、１５０：判定部、１６０：流量算出部、１８０：撮像部、１９０：表示部 100: image acquisition unit, 120: region setting unit, 130: estimation unit, 140: distribution calculation unit, 150: determination unit, 160: flow rate calculation unit, 180: imaging unit, 190: display unit
Claims (14)
前記設定手段が設定した出力モードに従って、前記流量を出力する出力手段と、
を備えることを特徴とする画像解析装置。 Setting means for setting the output mode of the flow rate of the object passing through the setting area in the time-series image based on the staying state of the object in the setting area;
Output means for outputting the flow rate according to the output mode set by the setting means,
An image analysis apparatus comprising:
前記時系列画像を撮像する手段と、
前記時系列画像を用いて前記被写体の移動を示す情報を生成する手段と、
前記被写体の移動を示す情報を用いて、前記設定領域を通った被写体の流量を示す情報を生成する手段と、
をさらに備えることを特徴とする、請求項１から９のいずれか１項に記載の画像解析装置。 The image analysis device,
Means for capturing the time-series image,
Means for generating information indicating the movement of the subject using the time-series image;
Means for generating information indicating the flow rate of the subject that has passed through the setting area, using information indicating the movement of the subject;
The image analysis apparatus according to any one of claims 1 to 9, further comprising:
前記被写体の移動を示す情報を生成する手段は、ニューラルネットワークに前記時系列画像を入力し、前記ニューラルネットワークの出力として前記被写体の密度及び移動を表す情報を得ることを特徴とする、請求項１から１０のいずれか１項に記載の画像解析装置。 The information indicating the movement of the subject includes information indicating the density and movement of the subject in the time-series image,
The means for generating the information indicating the movement of the subject inputs the time-series images to a neural network and obtains information indicating the density and movement of the subject as an output of the neural network. 11. The image analysis device according to any one of 1 to 10.
時系列画像において設定領域を通った被写体の流量の出力モードを、前記設定領域における前記被写体の滞留状況に基づいて設定する設定工程と、
前記設定工程で設定した出力モードに従って、前記流量を出力する出力工程と、
を有することを特徴とする画像解析方法。 An image analysis method performed by the image analysis system,
A setting step of setting the output mode of the flow rate of the subject that has passed through the setting region in the time-series image based on the staying state of the subject in the setting region;
An output step of outputting the flow rate according to the output mode set in the setting step,
An image analysis method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018206875A JP7190871B2 (en) | 2018-11-01 | 2018-11-01 | Image analysis device, image analysis method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018206875A JP7190871B2 (en) | 2018-11-01 | 2018-11-01 | Image analysis device, image analysis method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020071783A true JP2020071783A (en) | 2020-05-07 |
| JP2020071783A5 JP2020071783A5 (en) | 2021-12-09 |
| JP7190871B2 JP7190871B2 (en) | 2022-12-16 |
Family
ID=70548012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018206875A Active JP7190871B2 (en) | 2018-11-01 | 2018-11-01 | Image analysis device, image analysis method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7190871B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7284858B1 (en) | 2022-08-12 | 2023-05-31 | 株式会社アスカ | Capsule type sensor embedding method and its embedding system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11282999A (en) * | 1998-03-30 | 1999-10-15 | East Japan Railway Co | Instrument for measuring mobile object |
| WO2018163804A1 (en) * | 2017-03-06 | 2018-09-13 | キヤノン株式会社 | Information processing system, information processing device, information processing method, and program for causing computer to execute information processing method |
-
2018
- 2018-11-01 JP JP2018206875A patent/JP7190871B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11282999A (en) * | 1998-03-30 | 1999-10-15 | East Japan Railway Co | Instrument for measuring mobile object |
| WO2018163804A1 (en) * | 2017-03-06 | 2018-09-13 | キヤノン株式会社 | Information processing system, information processing device, information processing method, and program for causing computer to execute information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7190871B2 (en) | 2022-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
| JP6914699B2 (en) | Information processing equipment, information processing methods and programs | |
| WO2018131485A1 (en) | People flow analysis device and method thereof | |
| JP6779699B2 (en) | Image processing equipment, information processing methods and programs | |
| JP6700752B2 (en) | Position detecting device, position detecting method and program | |
| JP7443002B2 (en) | Image analysis device, image analysis method, and program | |
| JP2010016796A5 (en) | ||
| JP6590609B2 (en) | Image analysis apparatus and image analysis method | |
| JP2014006586A (en) | Information processor, and control method and computer program thereof | |
| CN112438724A (en) | Fall risk assessment method, fall risk assessment device, and recording medium | |
| US10872422B2 (en) | Information processing device, imaging device, information processing method, and storage medium | |
| JP7266599B2 (en) | Devices, systems and methods for sensing patient body movement | |
| JP7190871B2 (en) | Image analysis device, image analysis method, and program | |
| US9478032B2 (en) | Image monitoring apparatus for estimating size of singleton, and method therefor | |
| US20220366574A1 (en) | Image-capturing apparatus, image processing system, image processing method, and program | |
| JP2020170303A (en) | Image processing device, image processing method and program | |
| JP2021047538A (en) | Image processing device, image processing method, and program | |
| JP7309392B2 (en) | Image processing device, image processing method and program | |
| JP5419925B2 (en) | Passing object number measuring method, passing object number measuring apparatus, and program | |
| JP6995960B2 (en) | Image processing equipment, image processing methods and programs | |
| JP2020184155A (en) | Image processing apparatus, image processing method, and program | |
| JP2020201674A (en) | Video analyzer and control method therefor and program | |
| JP7335046B2 (en) | Gait analysis device, gait analysis method, and program | |
| JP6090653B2 (en) | Fatigue determination device, fatigue determination method, and program thereof | |
| JP2010166104A (en) | Target tracking device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211028 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7190871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |