JP6620443B2 - Monitoring program, monitoring apparatus, and monitoring method - Google Patents
Monitoring program, monitoring apparatus, and monitoring method Download PDFInfo
- Publication number
- JP6620443B2 JP6620443B2 JP2015142845A JP2015142845A JP6620443B2 JP 6620443 B2 JP6620443 B2 JP 6620443B2 JP 2015142845 A JP2015142845 A JP 2015142845A JP 2015142845 A JP2015142845 A JP 2015142845A JP 6620443 B2 JP6620443 B2 JP 6620443B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image data
- persons
- area
- foremost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、監視プログラム、監視装置、及び監視方法に関する。 The present invention relates to a monitoring program, a monitoring device, and a monitoring method.
所定の領域を監視する監視装置の一つとして、カメラで撮像した画像（動画像を含む）から人物等の移動物体を検出して追跡する画像処理を行う装置が知られている。 As one of monitoring apparatuses that monitor a predetermined area, an apparatus that performs image processing for detecting and tracking a moving object such as a person from an image (including a moving image) captured by a camera is known.
この種の監視装置は、近年、店舗等におけるマーケティング分析や、交通量調査等への活用が検討されている。例えば、マーケティング分析においては、監視装置により店舗内や商店街等の画像から検出した人物の動線（移動経路）を解析することで、顧客が興味、関心を抱いている商品や店舗を把握することができる。 In recent years, this type of monitoring device has been studied for use in marketing analysis and traffic volume surveys in stores and the like. For example, in marketing analysis, a monitoring device analyzes a person's flow line (movement route) detected from an image in a store, a shopping street, or the like, thereby grasping products or stores in which the customer is interested or interested. be able to.
上記の監視装置による人物の追跡は、画像に含まれる人物を画像処理により検出し、人物固有の特徴を用いて複数の画像（動画像のフレーム）における人物同士を関連付けることで実現される。この際、人物の動線を把握するには、複数の画像における同一人物を正確に特定して追跡することが不可欠である。 The tracking of a person by the monitoring device described above is realized by detecting a person included in an image by image processing and associating persons in a plurality of images (moving image frames) using a person-specific feature. At this time, in order to grasp the flow line of a person, it is indispensable to accurately identify and track the same person in a plurality of images.
人物固有の特徴を用いて複数の画像における人物同士を関連付ける技術の一つとして、テンプレートマッチングと呼ばれる方法が知られている（例えば、特許文献１を参照。）。テンプレートマッチングでは、人物の特徴的な部分が映る部位をテンプレートとして用い、テンプレートとの類似度が高い人物をテンプレートの人物と同一人物とみなして関連付けることで人物の追跡を行う。このテンプレートマッチングでは、例えば、画像内で重なりが生じる可能性の低い頭部をテンプレートにすることで、複数の人物が重なって存在する環境でも人物の追跡を行うことができる（例えば、特許文献２を参照。）。 As one of techniques for associating persons in a plurality of images using features unique to a person, a method called template matching is known (see, for example, Patent Document 1). In template matching, a part where a characteristic part of a person is reflected is used as a template, and a person with high similarity to the template is regarded as the same person as the person of the template and is tracked. In this template matching, for example, a person can be tracked even in an environment where a plurality of persons overlap by using a head that is unlikely to overlap in an image as a template (for example, Patent Document 2). See).
また、人物の頭部の位置に基づいて人物を追跡する別の技術として、パーティクルフィルタと識別器とを用いる方法が知られている（例えば、特許文献３を参照。）。この方法では、撮像範囲の一部を共有するよう設置された複数のカメラで撮像した画像を用い、パーティクルフィルタにより頭部の位置推定を行う。そして、推定された頭部位置に対して頭部の前後左右を識別する４個の識別器を選択的に用いて評価を行った後、評価値を統合する（期待値を求める）ことで人物の追跡を行う。 As another technique for tracking a person based on the position of the person's head, a method using a particle filter and a discriminator is known (see, for example, Patent Document 3). In this method, the position of the head is estimated by a particle filter using images captured by a plurality of cameras installed so as to share a part of the imaging range. Then, the evaluation is performed by selectively using four discriminators for identifying the front, back, left, and right of the head with respect to the estimated head position, and then the evaluation values are integrated (expected value is obtained). Keep track of.
また、画像内の人物同士の重なり等により生じる人物の隠れによる追跡精度の低下を防ぐ技術の一つとして、撮像範囲の一部を共有するよう設置された複数の天井カメラを用いて人物の追跡を行う方法が知られている（例えば、特許文献４を参照。）。この方法では、天井カメラ（天井から下方を撮像するよう設置されたカメラ）で店舗内等を撮像し、人物同士の重なりや、店舗内に設置された棚等の固定物と人物との重なりの少ない画像を用いて人物の追跡を行う。 In addition, as one of the techniques to prevent degradation in tracking accuracy due to hiding of people caused by overlapping of people in the image, tracking people using multiple ceiling cameras installed to share part of the imaging range There is known a method for performing (see, for example, Patent Document 4). In this method, the inside of a store or the like is imaged with a ceiling camera (a camera installed so as to take an image from below the ceiling), and the overlap between people or a fixed object such as a shelf installed in the store overlaps with a person. A person is tracked using a small number of images.
更に、画像内の人物同士の重なり等により生じる人物の隠れによる追跡精度の低下を防ぐ別の技術として、カメラの撮像領域の三次元モデルを用いて対象物（人物）同士の前後関係等を判定する方法が知られている（例えば、特許文献５を参照。）。 In addition, as another technology to prevent degradation in tracking accuracy due to hiding of people caused by overlapping of people in the image, etc., determine the front-to-back relationship between objects (people) using a 3D model of the imaging area of the camera There is a known method (see, for example, Patent Document 5).
人物固有の特徴を用いて画像内の人物を追跡する場合、追跡中の人物が交差したり、前後に連なって移動したりすることで画像内に人物同士の重なりが生じると、重なっている人物に固有の特徴を正確に得ることが困難なことがある。そのため、画像内に人物同士の重なりが生じると、人物同士の関連付けに誤りが生じ、以後の人物の追跡精度が低下することがある。 When tracking a person in an image using person-specific features, if the person being tracked crosses or moves back and forth, and the person overlaps in the image, the overlapping person It may be difficult to accurately obtain features unique to the. For this reason, if people overlap in the image, an error may occur in the association between the people, and the tracking accuracy of the subsequent people may be reduced.
また、特許文献５のように三次元モデルを用いて画像内の人物の前後関係を判定する場合、重なる人物の身長差を考慮しないと人物の前後関係を誤判定する可能性がある。更に、三次元モデルを用いた演算処理を行うため、監視装置（画像処理装置）における処理負荷が増大する。
Further, when determining the context of a person in an image using a three-dimensional model as in
１つの側面において、本発明は、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することを目的とする。 In one aspect, an object of the present invention is to accurately and easily determine the front-to-back relationship of overlapping persons when the tracking person in the image overlaps.
１つの態様の監視プログラムは、下記（１）〜（４）の処理をコンピュータに実行させる。
（１）過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する処理。
（２）推定した人物の位置に基づいて複数の人物が重なっていると判定した場合に、複数の人物の重なり領域を検出するとともに、複数の人物のうち画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する処理。
（３）選出した最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、現在の処理対象の画像データにおける重なり領域とを照合する処理。
（４）照合の結果に基づいて、最前の人物の候補が最前の人物であるか否かを判定する処理。
One aspect of the monitoring program causes a computer to execute the following processes (1) to (4).
(1) A process of estimating the position of a person in the current image data to be processed based on the position of the person detected from past image data.
(2) When it is determined that a plurality of persons are overlapped based on the estimated position of the person, the overlapping area of the plurality of persons is detected, and the closest to the imaging device that captured the image data among the plurality of persons The process of selecting the candidate for the foremost person at the position.
(3) A process of collating an area corresponding to an overlapping area with another person in the collation data for the selected candidate for the earliest person and an overlapping area in the current image data to be processed.
(4) A process of determining whether or not the foremost person candidate is the foremost person based on the result of collation.
上述の態様によれば、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することができる。 According to the above-described aspect, it is possible to accurately and easily determine the anteroposterior relationship of overlapping persons when the tracking person in the image overlaps.
まず、撮像装置から見て重なっている複数の人物を撮像したときの画像内の人物同士の関係を説明する。 First, the relationship between persons in an image when a plurality of persons overlapping when viewed from the imaging apparatus is imaged will be described.
図１Ａは、撮像装置と人物との関係の一例を示す図である。図１Ｂは、撮像装置と人物とが図１Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。図２Ａは、撮像装置と人物との関係の別の例を示す図である。図２Ｂは、撮像装置と人物とが図２Ａに示した関係である場合に撮像装置で撮像した画像内の人物の関係を示す図である。 FIG. 1A is a diagram illustrating an example of a relationship between an imaging apparatus and a person. FIG. 1B is a diagram illustrating a relationship between persons in an image captured by the imaging device when the imaging device and the person have the relationship illustrated in FIG. 1A. FIG. 2A is a diagram illustrating another example of the relationship between the imaging device and a person. 2B is a diagram illustrating a relationship between persons in an image captured by the imaging device when the imaging device and the person have the relationship illustrated in FIG. 2A.
図１Ａに示すように、定点観測や監視に用いる撮像装置２は、例えば、地面５上を移動する人物６Ａ，６Ｂ等の身長よりも高い位置に、光軸２００が俯角になる向きで設置される。ここで、撮像装置２の撮像範囲に身長がほぼ同じ二人の人物６Ａ，６Ｂがいて、この二人の人物６Ａ，６Ｂの撮像装置２からの距離が異なる場合を考える。
As shown in FIG. 1A, the
このとき、撮像装置２から見た人物６Ａ，６Ｂの頭頂部への視線は、撮像装置２から近いほうの人物６Ａの頭頂部への視線２０１の俯角が、撮像装置２から遠いほうの人物６Ｂの頭頂部への視線２０２の俯角よりも大きくなる。そのため、撮像装置２から見て二人の人物６Ａ，６Ｂが重なっている場合、図１Ｂに示すように、撮像装置２で撮像した画像７００では、撮像装置２から近いほうの人物６Ａの頭部が、遠いほうの人物６Ｂの頭部よりもΔｄ１だけ下方に位置している。
At this time, the line of sight to the top of the
ところが、撮像装置２の撮像範囲内を移動する人物は、撮像装置２からの距離が近いほうの人物の身長が遠いほうの人物の身長よりも高い場合がある。この場合、図２Ａに示したように、撮像装置２から見た人物６Ｃ，６Ｄの頭頂部への視線は、撮像装置２から近いほうの人物６Ｃの頭頂部への視線２０３の俯角が、撮像装置２から遠いほうの人物６Ｄの頭頂部への視線２０４の俯角よりも小さくなることがある。撮像装置２から近いほうの人物６Ｃへの視線の俯角のほうが小さい場合、撮像装置２から見て二人の人物６Ｃ，６Ｄが重なっていると、撮像装置２で撮像した画像は、図２Ｂに示す画像７０１のようになる。画像７０１では、撮像装置２から近いほうの人物６Ｃの頭部が、遠いほうの人物６Ｄの頭部よりもΔｄ２だけ上方に位置している。
However, the person who moves within the imaging range of the
また、詳細な説明は省略するが、撮像装置２の光軸が仰角である場合、重なる人物の身長が同程度であれば撮像装置２から近いほうの人物の頭部が画面の上方になる。しかしながら、撮像装置２から近いほうの人物の身長が撮像装置2から遠いほうの人物の身長よりも低い場合、撮像装置２から近いほうの人物の頭部が画面の下方になることもある。
Although detailed description is omitted, when the optical axis of the
このように、画像内で重なる人物の頭部の位置と撮像装置２からの距離との関係は、重なる人物の身長や重なる人物同士の距離により変化する。そのため、画像内で重なる人物の頭部の上下関係に基づいて人物の前後関係を判定する場合、判定を誤ることがある。
As described above, the relationship between the position of the head of the person who overlaps in the image and the distance from the
図３は、一実施形態に係る監視装置の機能的構成を示すブロック図である。
図３に示すように、本実施形態に係る監視装置１は、画像取得部１００と、人物位置推定部１０１と、重なり領域検出部１０２と、前後関係判定部１０３と、人物追跡部１０４と、人物検出部１０５と、画像出力部１０６と、記憶部１０７と、を備える。
FIG. 3 is a block diagram illustrating a functional configuration of the monitoring device according to the embodiment.
As shown in FIG. 3, the
画像取得部１００は、撮像装置２で撮像した動画像データを取得する。また、画像取得部１００は、例えば、取得した動画像データをフレーム毎に人物位置推定部１０１、及び人物検出部１０５に出力する。以下、取得した動画像データを単に動画像ともいう。
The
人物位置推定部１０１は、取得した動画像における過去のフレームから検出された人物の位置情報に基づいて、現在の処理対象フレームに存在する人物の位置を推定する。また、人物位置推定部１０１は、推定した人物の位置に基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。このとき、人物位置推定部１０１は、過去のフレームから検出された人物の位置情報を、記憶部１０７から読み出す。ここで、過去のフレームは、後述する画像処理を既に行ったフレームである。以下、過去のフレームから検出された人物のことを追跡中の人物ともいう。
The person
重なり領域検出部１０２は、現在の処理対象フレームにおける追跡中の人物の位置に基づいて複数の人物が重なっている領域の有無を判定し、重なっている領域がある場合にはその重なり領域の位置及び寸法を算出する。また、重なり領域検出部１０２は、重なっている複数の人物のなかから、撮像装置２に最も近い位置にいる人物の候補を選出する。以下、重なっている複数の人物のうち撮像装置２に最も近い位置にいる人物を最前の人物という。重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域の検出結果を前後関係判定部１０３に出力する。
The overlapping
前後関係判定部１０３は、重なり領域検出部１０２の検出結果と、重なっている人物についての照合用データとに基づいて、最前の人物の候補が最前の人物であるか否かを判定し、重なっている人物の前後関係を特定する。このとき、前後関係判定部１０３は、照合用データを記憶部１０７から読み出す。照合用データは、例えば、過去のフレームから抽出した、追跡中の人物の特徴部分を含む画像データである。また、人物の前後関係は、撮像装置２から見た奥行き方向での人物の位置関係であり、撮像装置２から見て撮像装置２により近い位置にいる人物を前（手前）にいる人物とする。前後関係判定部１０３は、現在の処理対象フレーム、及び特定した人物の前後関係を人物追跡部１０４に出力する。
The
人物追跡部１０４は、追跡中の人物の位置の推定結果と、重なっている人物の前後関係と、追跡中の人物の照合用データとに基づいて、追跡中の人物についての現在の処理対象フレームにおける位置を特定する。このとき、人物追跡部１０４は、照合用データを記憶部１０７から読み出す。また、人物追跡部１０４は、現在の処理対象フレームにおける追跡中の人物の位置を、複数の人物を識別する数字等の識別子と対応付けて記憶部１０７に格納する。更に、人物追跡部１０４は、特定した追跡中の人物の位置を人物検出部１０５に出力する。
The
人物検出部１０５は、現在の処理対象フレームから、過去のフレームには存在していない人物を検出する。人物検出部１０５は、例えば、Histograms of Oriented Gradients（ＨＯＧ）特徴量を用いた人物検出処理により、現在の処理対象フレームに存在する人物を検出する。また、人物検出部１０５は、現在の処理対象フレームから検出した人物の位置と、人物追跡部１０４で求めた追跡中の人物の現在の処理対象フレームにおける位置とに基づいて、現在の処理対象フレームに新たに追跡対象とする人物が存在するか否かを判定する。新たに追跡対象とする人物が存在する場合、人物検出部１０５は、その人物を識別する識別子と、位置と、照合用データとを記憶部１０７に格納する。照合用データは、例えば、人物検出処理において検出した人物を囲む矩形の枠内の画像データとする。人物検出部１０５は、現在の処理対象フレーム、及び現在の処理対象フレームから検出した人物の位置情報を画像出力部１０６に出力する。
The
画像出力部１０６は、例えば、撮像装置２から取得した動画像データに、追跡中の人物や新たに検出した人物を示す枠線等の情報を付加して表示装置３に出力する。画像出力部１０６は、例えば、人物検出部１０５から入力された追跡中の人物の位置情報及び新たに追跡対象となった人物の位置情報に基づいて、現在の処理対象フレームに枠線等の情報を付加する。
記憶部１０７は、追跡中の人物の位置、照合用データ等を記憶する。
For example, the
The
図４は、監視装置が行う画像処理を示すフローチャートである。
監視装置１は、撮像装置2から取得した動画像データに対し図４に示したような画像処理を行い、撮像領域内を移動する人物を監視する。
FIG. 4 is a flowchart illustrating image processing performed by the monitoring apparatus.
The
監視装置１は、まず、撮像装置２で撮像した動画像の取得を開始する（ステップＳ１）。動画像の取得は、画像取得部１００が行う。画像取得部１００は、監視装置１による画像処理を終了するまで、撮像装置２から動画像を取得し、画像処理の単位となるフレーム毎に人物位置推定部１０１、及び人物検出部１０６に渡す処理を続ける。
First, the
人物位置推定部１０１は、処理対象のフレームが入力されると、人物位置推定処理（ステップＳ２）を行う。人物位置推定部１０１は、まず、記憶部１０７から読み出した追跡中の人物の位置情報に基づいて、追跡中の人物の現在の監視対象フレームにおける位置を推定する。また、人物位置推定部１０１は、推定した人物の位置に基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。人物の位置の推定及び人物領域の設定を終えると、人物位置推定部１０１は、現在の処理対象フレーム、追跡中の人物を識別する識別子、及び設定した人物領域を重なり領域検出部１０２に出力する。なお、画像処理の開始直後で追跡中の人物の位置情報が不足している場合、人物位置推定部１０１は、人物位置推定処理を行わず、現在の処理対象フレーム、及び処理をスキップしたことを示す情報を重なり領域検出部１０２に出力する。
When the process target frame is input, the person
重なり領域検出部１０２は、人物位置推定部１０１から設定した人物領域等の情報を受け取ると、重なり領域検出処理（ステップＳ３）を行う。重なり領域検出部１０２は、まず、人物領域に基づいて、各人物について重なっている人物の有無を判定する。そして、重なっている人物がいる場合、重なり領域検出部１０２は、重なり領域の位置及び寸法を算出する処理を行う。更に、重なり領域検出部１０２は、重なっている複数の人物のなかから、撮像装置２に最も近い位置にいる最前の人物の候補を選出する。本実施形態では、重なっている複数の人物のうちフレーム（画面）内における頭部の位置が最も下方の人物を、最前の人物の候補に選出する。重なり領域を算出し、最前の人物の候補を選出すると、重なり領域検出部１０２は、現在の処理対象フレーム、及び検出した重なり領域に関する情報を前後関係判定部１０３に出力する。なお、人物位置推定部１０１が人物位置推定処理をスキップした場合、及び重なっている人物がいない場合、重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域が存在しないことを示す情報を前後関係判定部１０３に出力する。
When the overlap
前後関係判定部１０３は、重なり領域検出部１０２から検出した重なり領域に関する情報等を受け取ると、前後関係判定処理（ステップＳ３）を行う。前後関係判定部１０３は、まず、現在の処理対象フレームと、重なり領域に関する情報と、記憶部１０７から読み出した重なる人物についての照合用データとに基づいて、最前の人物の候補が最前の人物であるか否かを判定する。当然のことであるが、最前の人物の候補が最前の人物であると判定した場合、前後関係判定部１０３は、最前の人物の候補を最前の人物に特定する。一方、最前の人物の候補が最前の人物ではないと判定した場合、前後関係判定部１０３は、最前の人物の候補を除く他の人物から最前の人物を特定する。例えば、重なっている人物が二人で、最前の人物の候補が最前の人物ではないと判定した場合、前後関係判定部１０３は、最前の人物の候補ではないほうの人物が最前の人物であると特定する。最前の人物の特定を終えると、前後関係判定部１０３は、現在の処理対象フレーム、及び特定した最前の人物の識別子を人物追跡部１０４に出力する。なお、重なり領域検出部１０２において重なり領域を検出しなかった場合、前後関係判定部１０３は、前後関係判定処理をスキップし、現在の処理対象フレーム、及び重なり領域が存在しないことを示す情報を人物追跡部１０４に出力する。
When the
人物追跡部１０４は、前後関係判定部１０３から重なり領域における人物の前後関係を示す情報等を受け取ると、人物追跡処理（ステップＳ４）を行う。人物追跡部１０４は、現在の処理対象フレームにおける追跡中の人物の推定位置と、重なり領域の人物の前後関係と、各人物の照合用データとに基づいて、現在の処理対象フレームにおける追跡中の人物の位置を算出する。追跡中の人物の位置の算出は、照合用データをテンプレートとするテンプレートマッチングを用いて行う。テンプレートマッチングでは、現在の処理対象フレームにおいてテンプレート（照合用データ）との類似度が最も高い領域を算出する。人物追跡部１０４は、テンプレートマッチングの結果に基づき、照合用データとの類似度が最も高い領域を表す位置を追跡中の人物の位置に特定する。追跡中の人物の位置の特定を終えると、人物追跡部１０４は、特定した追跡中の人物の位置についての情報を人物検出部１０５に出力するとともに、記憶部１０７に記憶させた追跡中の人物の位置情報を更新する。
When the
人物検出部１０５は、現在の処理対象フレームにおける追跡中の人物の位置情報を受け取ると、人物検出処理（ステップＳ６）を行う。人物検出部１０５は、現在の処理対象フレームに対しＨＯＧ特徴量等を用いた人物検出処理を行って検出した人物の位置情報と、追跡中の人物の位置情報とを比較し、新たに追跡対象とする人物の位置情報を抽出する。人物検出部１０５は、現在の処理対象フレームに新たに追跡対象とする人物が存在する場合、当該人物に識別子を付与し、位置情報や照合用データを記憶部１０７に記憶させる。また、人物検出部１０５は、現在の処理対象フレーム、及び検出した人物の位置情報を画像出力部１０６に出力する。なお、人物検出部１０５が行う人物検出処理のうち、ＨＯＧ特徴量等を用いて現在の処理対象フレームから人物を検出する処理は、ステップＳ２〜Ｓ５の後に限らず、ステップＳ２〜Ｓ５と並列に行ってもよい。
Upon receiving the position information of the person being tracked in the current processing target frame, the
画像出力部１０６は、人物検出部１０５から現在の処理対象フレーム、及び当該処理対象フレームから検出した人物の位置情報を受け取ると、現在の処理対象フレームに対する画像処理の結果を出力する（ステップＳ７）。画像出力部１０６は、例えば、現在の処理対象フレームに検出した人物を囲む枠線等を付加した表示データを作成し、作成した表示データを表示装置３に出力する。
Upon receiving the current processing target frame and the position information of the person detected from the processing target frame from the
上記ステップＳ２〜Ｓ７の処理を行った後、監視装置１は、処理を続けるか否かを判定する（ステップＳ８）。処理を続ける場合（ステップＳ８；Ｙｅｓ）、監視装置１は、次のフレームを現在の処理対象フレームとしてステップＳ２〜Ｓ７を行う。一方、処理を続けない場合（ステップＳ８；Ｎｏ）、監視装置１は、画像処理（監視処理）を終了する。
After performing the processes of steps S2 to S7, the
以下、ステップＳ２〜Ｓ５の処理について、図５〜図１２Ｂを参照して詳細に説明する。 Hereinafter, the processing of steps S2 to S5 will be described in detail with reference to FIGS.
図５は、人物位置推定処理の内容を示すフローチャートである。
図４に示したフローチャートの人物位置推定処理（ステップＳ２）は、上記のように人物位置推定部１０１が行う。人物位置推定部１０１は、人物位置推定処理として、図５に示したような処理を行う。
FIG. 5 is a flowchart showing the contents of the person position estimation process.
The person position estimating process (step S2) in the flowchart shown in FIG. 4 is performed by the person
人物位置推定部１０１は、まず、記憶部１０７に追跡中の人物の位置情報があるか否かをチェックする（ステップＳ２００）。ステップＳ２００において、人物位置推定部１０１は、現在の処理対象フレームの直前２フレームの人物の位置情報が記憶部１０７に記憶されているかをチェックする。ここで、人物の位置情報は、撮像装置２で撮像した動画像におけるカメラ座標系での座標とする。
The person
人物の位置情報がない場合（ステップＳ２００；Ｎｏ）、人物位置推定部１０１は、ステップＳ２０１以降の処理をスキップし、人物位置推定処理を終了する（リターン）。なお、図５では省略しているが、人物の位置情報がない場合、人物位置推定部１０１は、現在の処理対象フレーム、及び追跡中の人物が存在しないことを示す情報を重なり領域検出部１０２に出力してから人物位置推定処理を終了する。
When there is no person position information (step S200; No), the person
一方、人物の位置情報がある場合（ステップＳ２００；Ｙｅｓ）、人物位置推定部１０１は、次に、記憶部１０７から過去の２フレームにおける人物の位置情報を読み出す（ステップＳ２０１）。
On the other hand, when there is person position information (step S200; Yes), the person
次に、人物位置推定部１０１は、読み出した位置情報を用いて、追跡中の人物の移動量を算出する（ステップＳ２０２）。人物の移動量は、現在の処理対象フレームの２フレーム前の位置から１フレーム前の位置までの距離と、２フレーム前の位置から１フレーム前の位置への移動方向とで表される。本実施形態では、現在の処理対象フレームの１フレーム前の位置を示す座標と２フレーム前の位置を表す座標との差分を移動量とする。また、ステップＳ２０１で複数の人物の位置情報を読み出した場合、人物位置推定部１０１は、ステップＳ２０２において読み出した人数分の移動量を人物毎に算出する。
Next, the person
次に、人物位置推定部１０１は、算出した移動量に基づいて、現在の処理対象フレームにおける追跡中の人物の位置を推定する（ステップＳ２０３）。ステップＳ２０３において、人物位置推定部１０１は、１フレーム前の位置を表す座標に算出した移動量を加算して得られる座標を、現在の処理対象フレームにおける追跡中の人物の推定位置とする。
Next, the person
次に、人物位置推定部１０１は、ステップＳ２０３で推定した人物の位置に基づいて、人物領域を設定する（ステップＳ２０４）。本実施形態では、人物位置推定部１０１は、例えば、１フレーム前における人物領域と、ステップＳ２０２で算出した移動量とに基づいて、現在の処理対象フレームに追跡中の人物についての人物領域を設定する。
Next, the person
人物領域の設定を終了すると、人物位置推定部１０１は、現在の処理対象フレーム、推定した人物の位置、及び設定した人物領域を重なり領域検出部１０２に出力し、人物位置推定処理を終了する。なお、ステップＳ２０３において推定した位置（座標）が処理対象フレーム内でとり得る値の範囲外になった人物も、後述する人物追跡処理においてフレーム内に該当する人物の位置が特定されることがある。そのため、人物位置推定部１０１は、追跡中の全ての人物についての推定位置及び人物領域を重なり領域検出部１０２に出力する。
When the setting of the person area is finished, the person
図６は、追跡中の人物の現在の処理対象フレームにおける位置の推定方法を説明する図である。図６において、フレーム時刻ｔのフレーム７１２は現在の処理対象フレームであり、フレーム時刻ｔ−１のフレーム７１１及びフレーム時刻ｔ−２のフレーム７１０は過去のフレームである。
FIG. 6 is a diagram for explaining a method of estimating the position of the person being tracked in the current processing target frame. In FIG. 6, a
フレーム７１２に対して人物位置推定処理を行うときには、フレーム７１０における人物６Ｅの位置を表す座標（ＰＸｔ−２，ＰＹｔ−２）、及びフレーム７１１における人物６Ｅの位置を表す座標（ＰＸｔ−１，ＰＹｔ−１）が記憶部１０７に記憶されている。そのため、人物位置推定部１０１は、まず、ステップＳ２０１でフレーム７１０における人物６Ｅの位置を表す座標（ＰＸｔ−２，ＰＹｔ−２）、及びフレーム７１１における人物６Ｅの位置を表す座標（ＰＸｔ−１，ＰＹｔ−１）を読み出す。そして、人物位置推定部１０１は、次のステップＳ２０２で、読み出した人物６Ｅについての座標（ＰＸｔ−２，ＰＹｔ−２）及び（ＰＸｔ−１，ＰＹｔ−１）を用いて時刻ｔ−２からｔ−１までの人物６Ｅの移動量（ΔＰＸ，ΔＰＹ）を算出する。移動量（ΔＰＸ，ΔＰＹ）は、下記式（１−１）及び（１−２）により算出する。
When the person position estimation process is performed on the
ΔＰＸ＝ＰＸｔ−１−ＰＸｔ−２ ・・・（１−１）
ΔＰＹ＝ＰＹｔ−１−ＰＹｔ−２ ・・・（１−２）
ΔPX = PX t−1 −PX t−2 (1-1)
ΔPY = PY t−1 −PY t−2 (1-2)
ここで、動画像のフレームレートが極端に低い場合を除けば、連続するフレーム間における人物６Ｅの移動量に大きな変動はないとみなすことができる。すなわち、フレームレートが極端に低い場合を除き、時刻ｔ−２からｔ−１までの人物６Ｅの移動量と、時刻ｔ−１からｔまでの人物６Ｅの移動量とに大きな差異はないとみなすことができる。そのため、時刻ｔのフレーム７１２における人物６Ｅの位置は、時刻ｔ−２からｔ−１までの人物６Ｅの移動量（ΔＰＸ，ΔＰＹ）を用いた線形近似により推定することができる。よって、人物位置推定部１０１は、ステップＳ２０３で、下記式（２−１）及び（２−２）により時刻ｔのフレーム７１２における人物６Ｅの推定位置を示す座標（ＰＸｔ，ＰＹｔ）を算出する。
Here, except for the case where the frame rate of the moving image is extremely low, it can be considered that there is no great variation in the movement amount of the person 6E between consecutive frames. That is, unless the frame rate is extremely low, it is considered that there is no significant difference between the movement amount of the person 6E from time t-2 to t-1 and the movement amount of the person 6E from time t-1 to t-1. be able to. Therefore, the position of the person 6E in the
ＰＸｔ＝ＰＸｔ−１＋ΔＰＸ
＝２・ＰＸｔ−１−ＰＸｔ−２ ・・・（２−１）
ＰＹｔ＝ＰＹｔ−１＋ΔＰＹ
＝２・ＰＹｔ−１−ＰＹｔ−２ ・・・（２−２）
PX t = PX t-1 + ΔPX
= 2 · PX t−1 −PX t−2 (2-1)
PY t = PY t-1 + ΔPY
= 2 · PY t-1 -PY t-2 (2-2)
また、時刻ｔのフレーム７１２における人物６Ｅについての人物領域ＡＲ１は、時刻ｔ−１のフレーム７１１における人物６Ｅの人物領域ＡＲ、すなわち時刻ｔ−１のフレーム７１１に対する画像処理で得られた人物６Ｅを示す領域に基づいて設定する。例えば、フレーム７１１における人物６Ｅの人物領域ＡＲにおける４つの頂点Ａ１〜Ａ４の各座標を移動量（ΔＰＸ，ΔＰＹ）だけ移動させた点Ｂ１〜Ｂ４を頂点とする領域を、時刻ｔのフレーム７１２における人物６Ｅについての人物領域ＡＲ１とする。
The person area AR1 for the person 6E in the
なお、人物６Ｅの位置を示す座標は、図６に示したような人物６Ｅの頭部の中心の座標に限らず、他の部位の座標であってもよい。 The coordinates indicating the position of the person 6E are not limited to the coordinates of the center of the head of the person 6E as shown in FIG. 6, but may be coordinates of other parts.
図７は、重なり領域検出処理の内容を示すフローチャートである。
図４に示したフローチャートの重なり領域検出処理（ステップＳ３）は、上記のように重なり領域検出部１０２が行う。重なり領域検出部１０２は、重なり領域検出処理として、図７に示したような処理を行う。
FIG. 7 is a flowchart showing the contents of the overlapping area detection process.
The overlapping area detection process (step S3) in the flowchart shown in FIG. 4 is performed by the overlapping
重なり領域検出部１０２は、まず、ステップＳ２の処理結果に基づいて、現在の処理対象フレームに複数の人物領域があるか否かを判定する（ステップＳ３００）。人物領域が１つ又は０の場合（ステップＳ３００；Ｎｏ）、重なり領域検出部１０２は、ステップＳ３０１以降の処理をスキップし、重なり領域検出処理を終了する（リターン）。なお、図７では省略しているが、人物領域が１つ又は０の場合、重なり領域検出部１０２は、現在の処理対象フレーム、及び前後関係の判定が必要な人物領域がないことを示す情報を前後関係判定部１０３に出力してから重なり領域検出処理を終了する。
The overlapping
一方、複数の人物領域がある場合（ステップＳ３００；Ｙｅｓ）、重なり領域検出部１０２は、次に、１つの人物領域を選択し、選択した人物領域についての重複フラグを０にする（ステップＳ３０１）。
On the other hand, when there are a plurality of person areas (step S300; Yes), the overlap
次に、重なり領域検出部１０２は、選択した人物領域と重なり、かつ重なり領域が未設定の人物領域があるか否かをチェックする（ステップＳ３０２）。ステップＳ３０２において、重なり領域検出部１０２は、例えば、選択した人物領域と他の人物領域とに重なり領域があるか否かの判定を、以下のような方法で行う。まず、選択した人物領域の４つの頂点のうち左上及び右下の頂点の座標（Ｘｓ，Ｙｓ）及び（Ｘｅ，Ｙｅ）と、他の人物領域の４つの頂点のうち左上及び右下の頂点の座標（Ｘｓ’，Ｙｓ’）及び（Ｘｅ’，Ｙｅ’）とを抽出する。そして、これらの座標値が下記の条件１又は２を満たす場合、２つの人物領域に重なり領域が存在すると判定する。
Next, the overlapping
（条件１）Ｘｓ＜Ｘｓ’＜Ｘｅ及びＸｓ＜Ｘｅ’＜Ｘｅのいずれか或いは両方を満たし、かつ、Ｙｓ＜Ｙｓ’＜Ｙｅ及びＹｓ＜Ｙｅ’＜Ｙｅのいずれか或いは両方を満たす。 (Condition 1) One or both of Xs <Xs ′ <Xe and Xs <Xe ′ <Xe are satisfied, and one or both of Ys <Ys ′ <Ye and Ys <Ye ′ <Ye are satisfied.
（条件２）Ｘｓ’＜Ｘｓ＜Ｘｅ’及びＸｓ＜Ｘｅ’＜Ｘｅのいずれか或いは両方を満たし、かつ、Ｙｓ＜Ｙｓ’＜Ｙｅ及びＹｓ＜Ｙｅ’＜Ｙｅのいずれか或いは両方を満たす。 (Condition 2) One or both of Xs ′ <Xs <Xe ′ and Xs <Xe ′ <Xe are satisfied, and one or both of Ys <Ys ′ <Ye and Ys <Ye ′ <Ye are satisfied.
選択した人物領域と重なり、かつ重なり領域が未設定の人物領域がある場合（ステップＳ３０２；Ｙｅｓ）、重なり領域検出部１０２は、重複フラグを１にし、頭部が画面下方になる人物を人物１、頭部が画面上方になる人物を人物２とする（ステップＳ３０３）。ここで、画面下方及び画面上方は、それぞれ、処理対象フレームを正立方向で表示したときの下方及び上方である。また、頭部の上下方向の位置関係は、例えば、各人物領域の上辺のｙ座標で判断する。また、本実施形態では、図１Ａに示したように光軸２００が俯角になるよう設置された撮像装置２で撮像した動画像の人物を追跡している。この場合、重なっている複数の人物の身長が同程度であれば撮像装置２から近い人物の頭部のほうが画面下方になるが、撮像装置２から近い人物の身長が高い場合、図２Ｂに示したように撮像装置２から近い人物の頭部のほうが画面上方になることもある。そのため、本実施形態におけるステップＳ３０３では、重なっている複数の人物のうち頭部が画面下方になる人物を撮像装置２から最も近い人物（すなわち最前の人物）の候補とし、他の人物と区別するため人物１というラベルを付す。
If there is a person area that overlaps the selected person area and the overlap area is not set (step S302; Yes), the overlap
次に、重なり領域検出部１０２は、選択した人物領域と、当該人物領域に重なる人物領域との重なり領域を算出する（ステップＳ３０４）。ステップＳ３０４において、重なり領域検出部１０２は、例えば、以下の方法で重なり領域を算出する。すなわち、重なり領域の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓｏ，Ｙｓｏ），（Ｘｅｏ，Ｙｓｏ），及び（Ｘｅｏ，Ｙｅｏ）とし、下記式（３−１）〜（３−３）によりＸｓｏ，Ｙｓｏ，Ｘｅｏ，Ｙｅｏを算出する。
Next, the overlapping
Ｘｓｏ＝ｍａｘ（Ｘｓ，Ｘｓ’） ・・・（３−１）
Ｙｓｏ＝ｍａｘ（Ｙｓ，Ｙｓ’） ・・・（３−２）
Ｘｅｏ＝ｍｉｎ（Ｘｅ，Ｘｅ’） ・・・（３−３）
Ｘｅｏ＝ｍｉｎ（Ｙｅ，Ｙｅ’） ・・・（３−４）
Xso = max (Xs, Xs ′) (3-1)
Yso = max (Ys, Ys ′) (3-2)
Xeo = min (Xe, Xe ′) (3-3)
Xeo = min (Ye, Ye ′) (3-4)
ここで、ｍａｘ（ａ，ｂ）は値ａと値ｂのうち大きいほうの値を選択することを意味し、ｍｉｎ（ａ，ｂ）は値ａと値ｂのうち小さいほうの値を選択することを意味する。 Here, max (a, b) means that the larger value of values a and b is selected, and min (a, b) selects the smaller value of values a and b. Means that.
ステップＳ３０４で重なり領域を算出した後、重なり領域検出部１０２は、ステップＳ３０１で選択していない人物領域、すなわちステップＳ３０１〜Ｓ３０４について未処理の人物領域があるか否かを判定する（ステップＳ３０５）。
After calculating the overlap area in step S304, the overlap
一方、ステップＳ３０２において選択した人物領域と重なり、かつ重なり領域が未設定の人物領域がないと判定した場合（ステップＳ３０２；Ｎｏ）、重なり領域検出部１０２は、ステップＳ３０３，Ｓ３０４をスキップし、ステップＳ３０５の判定を行う。
On the other hand, when it is determined that there is no person area that overlaps with the person area selected in step S302 and the overlapping area is not set (step S302; No), the overlapping
ステップＳ３０５において未処理の人物領域があると判定した場合（ステップＳ３０５；Ｙｅｓ）、重なり領域検出部１０２は、ステップＳ３０１に戻り、未処理の人物領域に対しステップＳ３０１〜Ｓ３０４の処理を行う。そして、ステップＳ３０５において未処理の人物領域はないと判定した場合（ステップＳ３０５；Ｎｏ）、重なり領域検出部１０２は、重なり領域検出処理を終了する。なお、図７では省略しているが、ステップＳ３０５において未処理の人物領域はないと判定した後、重なり領域検出部１０２は、現在の処理対象フレーム、及び重なり領域に関する情報等を前後関係判定部１０３に出力してから重なり領域検出処理を終了する。
If it is determined in step S305 that there is an unprocessed person area (step S305; Yes), the overlapping
図８は、重なり領域の有無の判定方法及び重なり領域の算出方法を説明する図である。
図８に示したフレーム７１３では、人物６Ｆについての人物領域ＡＲ１と、人物６Ｇについての人物領域ＡＲ２とが重なっている。また、人物６Ｆと人物６Ｇとは、人物６Ｆの頭部のほうが画面下方（＋ｙ方向）にある。
FIG. 8 is a diagram illustrating a method for determining whether or not there is an overlapping region and a method for calculating the overlapping region.
In the
このようなフレーム７１３に対して重なり領域検出処理を行う場合、重なり領域検出部１０２は、例えば、まず、ステップＳ３０１で人物領域ＡＲ１を選択し、ステップＳ３０２で人物領域ＡＲ１と人物領域ＡＲ２とが重なるかを判定する。ここで、人物領域ＡＲ１の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｓ），及び（Ｘｅ，Ｙｅ）とする。また、人物領域ＡＲ２の４つの頂点のうち左上の頂点、右上の頂点、及び右下の頂点の座標をそれぞれ（Ｘｓ’，Ｙｓ’），（Ｘｅ’，Ｙｓ’），及び（Ｘｅ’，Ｙｅ’）とする。このとき、２つの人物領域ＡＲ１，ＡＲ２は、ｘ方向の座標がＸｓ＜Ｘｓ’＜Ｘｅであり、ｙ方向の座標がＹｓ＜Ｙｅ’＜Ｙｅである。そのため、２つの人物領域ＡＲ１，ＡＲ２は条件１を満たしており、ステップＳ３０２において重なり領域があると判定される。よって、２つの人物領域ＡＲ１，ＡＲ２の重なり領域が未設定の場合、ステップＳ３０３，Ｓ３０４により重なり領域（太い点線で示した領域）ＯＡが設定される。
When performing the overlapping area detection process on such a
また、図８に示した人物６Ｆと人物６Ｇとは、人物６Ｆの頭部のほうが下方にある。そのため、ステップＳ３０３では、人物６Ｆに最前の人物の候補であることを表す人物１のラベルが付与され、人物６Ｇには人物２のラベルが付与される。また、ステップＳ３０４で式（３−１）〜（３−４）を用いて人物領域ＡＲ１，ＡＲ２の重なり領域を算出すると、重なり領域ＯＡの４つの頂点のうち左上、右上、右下の頂点の座標は、それぞれ（Ｘｓ’，Ｙｓ），（Ｘｅ，Ｙｓ），及び（Ｘｅ，Ｙｅ’）となる。
Moreover, the
図９は、前後関係判定処理の内容を示すフローチャートである。
図４に示したフローチャートの前後関係判定処理（ステップＳ４）は、上記のように前後関係判定部１０３が行う。前後関係判定部１０３は、前後関係判定処理として、図９に示したような処理を行う。
FIG. 9 is a flowchart showing the contents of the context determination process.
The context determination process (step S4) in the flowchart shown in FIG. 4 is performed by the
前後関係判定部１０３は、まず、ステップＳ３の処理結果に基づいて、重複フラグが１の人物領域の組があるか否かを判定する（ステップＳ４００）。該当する人物領域の組がない場合（ステップＳ４００；Ｎｏ）、前後関係判定部１０３は、ステップＳ４０１以降の処理をスキップし、前後関係判定処理を終了する（リターン）。ここで、重複フラグが１の人物領域の組がない場合は、現在の処理対象フレームに追跡中の人物が存在しない場合、及び追跡中の人物が一人の場合、並びに追跡中の人物が複数で各人物の人物領域に重なりがない場合を含む。なお、図９では省略しているが、重複フラグが１の人物領域の組がない場合、前後関係判定部１０３は、現在の処理対象フレーム、及び人物領域の重なりがないことを示す情報等を人物追跡部１０４に出力してから前後関係判定処理を終了する。
The
一方、重複フラグが１の人物領域の組がある場合（ステップＳ４００；Ｙｅｓ）、前後関係判定部１０３は、次に、重複フラグが１で判定フラグが未設定の人物領域の組の１つを選択する（ステップＳ４０１）。ここで、判定フラグは、重なり領域検出処理で選出した最前の人物の候補が最前の人物であるか否かの判定結果を示すフラグである。
On the other hand, when there is a set of person areas with the overlap flag set to 1 (step S400; Yes), the
次に、前後関係判定部１０３は、選択した人物領域の組みについて、人物１の照合用データにおける重なり領域部分と人物領域の重なり領域との照合割合Ｍ１、及び人物２についての照合用データと人物領域との照合割合Ｍ２を算出する（ステップＳ４０２）。ここで、照合割合Ｍ１の算出に用いる人物領域の重なり領域、及び照合割合Ｍ２の算出に用いる人物領域は、それぞれ、現在の処理対象フレームにおける重なり領域及び人物領域である。また、照合割合Ｍ１，Ｍ２は、２つの画像の類似度や一致度の算出に用いる既知の関数により算出する。
Next, the
次に、前後関係判定部１０３は、照合割合Ｍ１，Ｍ２がＭ１＜Ｔｈ１かつＭ２＞Ｔｈ２であるか否か、及び２つの照合位置が同じ位置に存在するか否かを判定する（ステップＳ４０３）。ここで、Ｔｈ１及びＴｈ２はそれぞれ予め定めた閾値であり、例えば、照合割合Ｍ１，Ｍ２が０≦Ｍ１≦１，０≦Ｍ２≦１の場合、それぞれ０．７〜０．８程度の数値とする。
Next, the
Ｍ１＜Ｔｈ１かつＭ２＞Ｔｈ２である場合、又は２つの照合位置が同じ位置に存在する場合（ステップＳ４０３；Ｙｅｓ）、前後関係判定部１０３は、人物１が遮蔽状態であると判定し、判定フラグを０にする（ステップＳ４０４）。ここで、遮蔽状態は、人物１よりも前に人物２がいて、人物１の一部又は全部が人物２に隠れている状態を意味する。すなわち、重なっている人物領域の組に対する判定フラグを０にすることで、当該人物領域の組における最前の人物は、最前の人物の候補（人物１）ではなく、人物２であることが特定される。
When M1 <Th1 and M2> Th2, or when two collation positions are present at the same position (step S403; Yes), the
一方、Ｍ１≧Ｔｈ１又はＭ２≦Ｔｈ２であり、かつ２つの照合位置が同じ位置に存在しない場合（ステップＳ４０３；Ｎｏ）、前後関係判定部１０３は、人物１のほうが前であると判定し、判定フラグを１にする（ステップＳ４０５）。すなわち、重なっている人物領域の組に対する判定フラグを１にすることで、当該人物領域の組における最前の人物は最前の人物の候補（人物１）であることが特定される。
On the other hand, when M1 ≧ Th1 or M2 ≦ Th2 and the two collation positions do not exist at the same position (step S403; No), the
ステップＳ４０４又はＳ４０５により判定フラグの値を設定した後、前後関係判定部１０３は、判定フラグが未設定の人物領域の組があるか否かをチェックする（ステップＳ４０６）。判定フラグが未設定の人物領域の組がある場合（ステップＳ４０６；Ｙｅｓ）、前後関係判定部１０３は、未設定の人物領域の組に対しステップＳ４０１〜ステップＳ４０５の処理を行う。そして、ステップＳ４０６において判定フラグが未設定の人物領域の組がないと判定した場合（ステップＳ４０６；Ｎｏ）、前後関係判定部１０３は、前後関係判定処理を終了する。なお、図９では省略しているが、ステップＳ４０６において判定フラグが未設定の人物領域の組はないと判定した後、前後関係判定部１０３は、現在の処理対象フレーム、及び処理結果に関する情報等を人物追跡部１０４に出力してから前後関係判定処理を終了する。
After setting the value of the determination flag in step S404 or S405, the
図１０Ａは、頭部が下方にある人物１が人物２よりも手前にいる場合の前後関係判定処理の結果を説明する図である。図１０Ｂは、頭部が下方にある人物１が人物２よりも奥にいる場合の前後関係判定処理の結果を説明する図である。
FIG. 10A is a diagram illustrating the result of the context determination process when the
図１０Ａに示したフレーム７１３のように二人の人物６Ｆ，６Ｇが重なっている場合、重なり領域検出処理（ステップＳ３）により、頭部がより画面下方に位置する人物６Ｆが人物１となり、頭部がより画面上方に位置する人物６Ｇが人物２となる。そのため、前後関係判定処理のステップＳ４０２では、次のような照合割合Ｍ１，Ｍ２の算出処理が行われる。まず、人物１（人物６Ｆ）については、照合用データＢＲ１のうちフレーム７１３の重なり領域ＯＡ（太い点線で囲まれた領域）と対応する部分領域ＢＲ１’を、フレーム７１３の重なり領域ＯＡ及びその近傍領域と照合して照合割合Ｍ１を算出する。このとき、図１０Ａに示したように、人物６Ｆが人物６Ｇよりも前（撮像装置側）にいれば、重なり領域ＯＡ内で人物６Ｆが人物６Ｇに隠れることはない。そのため、照合割合Ｍ１は、人物６Ｆと人物６Ｇとが重なっていない状態である場合と同程度の大きな値になる。
When two
また、人物２（人物６Ｇ）については、照合用データＢＲ２の全体を、フレーム７１３の人物２についての人物領域ＡＲ２及びその近傍領域と照合して照合割合Ｍ２を算出する。このとき、図１０Ａに示したように、人物６Ｆが人物６Ｇよりも前（撮像装置側）にいると、人物６Ｇの一部が人物６Ｆで遮蔽される。そのため、照合割合Ｍ２は人物６Ｆと人物６Ｇとが重なっていない状態である場合に比べて小さな値になる。
For the person 2 (
一方、図１０Ｂに示したフレーム７１４のように二人の人物６Ｆ，６Ｇが重なっており、前（撮像装置側）にいる人物６Ｇの頭部のほうがより画面上方に位置する場合、奥にいる人物６Ｆが人物１となり、前にいる人物６Ｇが人物２となる。すなわち、実際には最前の人物ではない人物６Ｆが、最前の人物の候補となる。そのため、前後関係判定処理のステップＳ４０２では、人物１（人物６Ｆ）については、照合用データＢＲ１のうち重なり領域ＯＡと対応する部分領域ＢＲ１’を、フレーム７１４の重なり領域ＯＡ及びその近傍領域と照合して照合割合Ｍ１を算出する。このとき、図１０Ｂに示したように、人物６Ｇが人物６Ｆよりも前（撮像装置側）にいると、重なり領域ＯＡでは人物６Ｆの一部が人物６Ｇに遮蔽される。そのため、照合割合Ｍ１は、人物６Ｆと人物６Ｇとが重なっていない状態である場合に比べて小さな値になる。
On the other hand, when two
また、人物２（人物６Ｇ）については、照合用データＢＲ２の全体を、フレーム７１４の人物２についての人物領域ＡＲ２及びその近傍領域と照合して照合割合Ｍ２を算出する。このとき、人物６Ｇが前（撮像装置側）にいると、人物６Ｇが人物６Ｆで遮蔽されることはないため、照合割合Ｍ２は人物６Ｆと人物６Ｇとが重なっていない状態である場合と同程度の大きな値になる。
For the person 2 (
更に、人物１についての照合領域ＢＲ１の部分領域ＢＲ１’と人物２についての照合領域ＢＲ２とが同じ位置にある場合、頭部が下方にある人物１（人物６Ｆ）が人物２（人物６Ｇ）よりも奥にいると、人物１の全体が人物２に遮蔽されてしまう。
Further, when the partial area BR1 ′ of the collation area BR1 for the
よって、本実施形態の前後関係判定処理において、上記のようにＭ１＜Ｔｈ１かつＭ２＞Ｔｈ２である場合、又は２つの照合位置が同じ位置に存在する場合、前後関係判定部１０３は、人物２のほうが前であると判定する。
Therefore, in the context determination process of the present embodiment, when M1 <Th1 and M2> Th2 as described above, or when two collation positions exist at the same position, the
このように、前後関係判定部１０３が行う前後関係判定処理では、重なっている複数の人物の頭部の位置関係、及び人物毎に算出した照合割合に基づいて、重なっている複数の人物の前後関係を判定する。また、重なっている複数の人物のうち最前の人物の候補に選出された人物については、照合用データのうち重なり領域検出処理のステップＳ３０４で算出した重なり領域と対応する部分領域のみを用いて照合割合Ｍ１を算出する。そのため、本実施形態の前後関係判定処理によれば、図１０Ｂに示したように、前にいる人物の頭部が奥にいる人物の頭部よりも画面上方にある場合でも、両人物の前後関係を正確に判定することができる。
As described above, in the context determination processing performed by the
例えば、人物１と人物２との重なり領域が狭く、かつ図１０Ｂに示したように人物１（人物６Ｆ）が実際には他の人物６Ｇよりも奥にいる場合、人物６Ｆのうち人物６Ｇに遮蔽される部分が少なくなる。そのため、人物１についての照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出すると、照合割合Ｍ１は、人物６Ｇと人物６Ｆとが重なっていない状態である場合に比べてわずかに小さくなるだけである。よって、人物１についての照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出すると、人物６Ｇ及び人物６Ｆのどちらが前にいるかを正確に判定することが困難になる。
For example, when the overlapping area between the
これに対し、本実施形態の前後関係判定処理では、上記のように最前の人物の候補に選出された人物６Ｆについての照合割合Ｍ１は、重なり領域ＯＡのみで算出する。そのため、最前の人物の候補である人物６Ｆよりも前に他の人物６Ｇがいる場合、重なり領域ＯＡ内における人物６Ｆのうち人物６Ｇで遮蔽された部分の割合は、人物領域ＡＲ１における人物６Ｆのうち人物６Ｇで遮蔽された部分の割合よりも高くなる。そして、照合する領域内における照合対象人物のうち他の人物等で遮蔽された部分の割合が高いほど、照合割合は小さくなる。したがって、重なり領域ＯＡと対応する部分領域ＢＲ１’のみで照合割合Ｍ１を算出すると、照合用データＢＲ１の全体を用いて照合割合Ｍ１を算出した場合に比べて、照合割合Ｍ１が小さくなる。よって、最前の人物の候補（人物１）についての照合割合Ｍ１を重なり領域ＯＡと対応する部分領域ＢＲ１’のみを用いて算出すると、人物１と人物２との重なり領域が狭い場合でも、人物６Ｇ及び人物６Ｆの前後関係を正確に判定することが可能になる。
On the other hand, in the context determination process of the present embodiment, the matching ratio M1 for the
図１１Ａは、人物追跡処理の内容を示すフローチャートである。図１１Ｂは、人物追跡処理における人物１，２の位置を特定する処理の内容を示すフローチャートである。
FIG. 11A is a flowchart showing the content of the person tracking process. FIG. 11B is a flowchart showing the contents of the process of specifying the positions of the
図４に示したフローチャートの人物追跡処理（ステップＳ５）は、上記のように人物追跡部１０４が行う。人物追跡部１０４は、人物追跡処理として、図１１Ａ及び図１１Ｂに示したような処理を行う。
The person tracking process (step S5) of the flowchart shown in FIG. 4 is performed by the
人物追跡部１０４は、まず、ステップＳ２〜Ｓ４の処理結果に基づいて、現在の処理対象フレームに追跡中の人物がいるか否かを判定する（ステップＳ５００）。追跡中の人物がいない場合（ステップＳ５００；Ｎｏ）、人物追跡部１０４は、ステップＳ５０１以降の処理をスキップし、人物追跡処理を終了する（リターン）。なお、図１１Ａでは省略しているが、追跡中の人物がいない場合、人物追跡部１０４は、追跡中の人物がいないことを示す情報を人物検出部１０５に出力してから人物追跡処理を終了する。
The
追跡中の人物がいる場合（ステップ５００；Ｙｅｓ）、人物追跡部１０４は、次に、重複フラグが０の人物領域、すなわち他の人物領域との重なり領域が存在しない人物領域があるか否かをチェックする（ステップＳ５０１）。重複フラグが０の人物領域がある場合（ステップＳ５０１；Ｙｅｓ）、人物追跡部１０４は、既知の追跡方法（例えば、テンプレートマッチング）により、該当する人物の位置を特定する（ステップＳ５０２）。また、ステップＳ５０２において、人物追跡部１０４は、記憶部１０７が記憶している過去のフレームにおける人物の位置情報のうちステップＳ５０２で位置を特定した人物についての位置情報を更新する。そして、ステップＳ５０２の処理を終えると、人物追跡部１０４は、次に、重複フラグが１の人物領域の組があるか否かをチェックする（ステップＳ５０３）。
When there is a person being tracked (
また、重複フラグが０の人物領域がない場合（ステップＳ５０１；Ｎｏ）、人物追跡部１０４は、ステップＳ５０２をスキップしてステップＳ５０３のチェックを行う。
If there is no person area with an overlap flag of 0 (step S501; No), the
重複フラグが１の人物領域の組がない場合（ステップＳ５０３；Ｎｏ）、人物追跡部１０４は、ステップＳ５０４以降の処理をスキップし、人物追跡処理を終了する。追跡中の人物がいて重複フラグが１の人物領域の組がない場合、追跡中の人物は他の人物と重ならない人物のみであり、ステップＳ５０２において位置が特定されている。そのため、図１１Ａでは省略しているが、重複フラグが１の人物領域の組がない場合、人物追跡部１０４は、ステップＳ５０２で特定した追跡中の人物の位置を示す情報を人物検出部１０５に出力してから人物追跡処理を終了する。
When there is no pair of person areas with the overlap flag of 1 (step S503; No), the
一方、重複フラグが１の人物領域の組がある場合（ステップＳ５０３；Ｙｅｓ）、人物追跡部１０４は、次に、人物領域の組を１つ選択し（ステップＳ５０４）、選択した人物領域の組についての判定フラグが１であるか否かをチェックする（ステップＳ５０５）。判定フラグが１である場合（ステップＳ５０５；Ｙｅｓ）、人物追跡部１０４は、選択した人物領域の組における人物１，２の位置を特定する処理（ステップＳ５０６）を行う。
On the other hand, when there is a set of person areas with the overlap flag being 1 (step S503; Yes), the
また、判定フラグが０である場合（ステップＳ５０５；Ｎｏ）、人物追跡部１０４は、次に、選択した人物領域の組における人物１についての照合用データを保持するとともに、人物１についての遮蔽フラグを１にする（ステップＳ５０７）。その後、人物追跡部１０４は、選択した人物領域の組における人物２について、現在の処理対象フレームにおける人物２の位置を特定する（ステップＳ５０８）。
If the determination flag is 0 (step S505; No), the
ステップＳ５０６又はステップＳ５０８により人物の位置を特定すると、人物追跡部１０４は、次に、重複フラグが１の全ての人物領域の組について追跡（人物の位置を特定する処理）をしたか否かを判断する（ステップＳ５０９）。未処理の人物領域の組がある場合（ステップＳ５０９；Ｎｏ）、人物追跡部１０４は、未処理の人物領域の組に対しステップＳ５０４以降の処理を行う。そして、全ての人物領域の組について追跡を行った場合（ステップＳ５０９；Ｙｅｓ）、人物追跡部１０４は、人物追跡処理を終了する。なお、図１１Ａでは省略しているが、全ての人物領域の組に対しステップＳ５０４〜Ｓ５０８の処理を行った場合、人物追跡部１０４は、特定した追跡中の人物の位置を示す情報等を人物検出部１０５に出力してから人物追跡処理を終了する。
When the position of the person is specified in step S506 or step S508, the
上記の人物追跡処理におけるステップＳ５０６の処理、すなわち重複フラグ及び判定フラグが１の人物領域の組における人物１，２の位置を特定する処理として、人物追跡部１０４は、図１１Ｂに示したような処理を行う。
As the process of step S506 in the person tracking process described above, that is, the process of specifying the positions of the
人物１，２の位置を特定する処理において、人物追跡部１０４は、まず、人物１，２の人物領域を表す座標を読み出す（ステップＳ５０６ａ）。次に、人物追跡部１０４は、人物１，２の人物領域におけるｙ座標の最小値を抽出する（ステップＳ５０６ｂ）。
In the process of specifying the positions of the
次に、人物追跡部１０４は、人物２の人物領域から、人物１，２の人物領域におけるｙ座標の最小値で挟まれた重なりのない領域を抽出する（ステップＳ５０６ｃ）。次に、人物追跡部１０４は、人物１の照合用データの全体、及び人物２の照合用データのうちステップＳ５０６ｃで抽出した重なりのない領域と対応する部分領域を人物１，２の位置の特定に用いるテンプレートに設定する（ステップＳ５０６ｄ）。
Next, the
次に、人物追跡部１０４は、設定した人物１，２のテンプレートを用いて現在の処理対象フレームを走査し、各位置における類似度Ｒを算出する（ステップＳ５０６ｅ）。類似度Ｒは、例えば、下記式（４）のような評価関数Ｒ（ｘ，ｙ）を用いて算出する。
Next, the
式（４）において、Ｔ（ｘ’，ｙ’）はテンプレートの座標（ｘ’，ｙ’）の画素値であり、Ｉ（ｘ＋ｘ’，ｙ＋ｙ’）は処理対象フレームの座標（ｘ＋ｘ’，ｙ＋ｙ’）の画素値である。また、式（４）において、ｗ及びｈは、それぞれ、テンプレートのｘ方向（左右方向）の画素数及びｙ方向（上下方向）の画素数である。 In Expression (4), T (x ′, y ′) is the pixel value of the template coordinates (x ′, y ′), and I (x + x ′, y + y ′) is the coordinates (x + x ′, y + y) of the processing target frame. ') Pixel value. In Equation (4), w and h are the number of pixels in the x direction (left and right direction) and the number of pixels in the y direction (up and down direction), respectively.
次に、人物追跡部１０４は、類似度Ｒが最も高い位置を現在の処理対象フレームにおける人物の位置とし、記憶部１０７が記憶する人物の位置を表す座標を更新する（ステップＳ５０６ｆ）。このステップＳ５０６ｆの処理を終えると、人物追跡部１０４は、人物１，２の位置を特定する処理を終了する（リターン）。
Next, the
図１２Ａは、人物２の追跡に用いるテンプレートの設定方法を説明する図である。図１２Ｂは、テンプレートマッチングによる人物１，２の追跡方法を説明する図である。
FIG. 12A is a diagram for explaining a template setting method used for tracking the
図１１Ｂに示した人物１，２の位置を特定する処理は、判定フラグが１である人物領域の組に対して行う。判定フラグが１である人物領域の組では、図１２Ａに示したフレーム７１３のように、重なる二人の人物６Ｆ、６Ｇのうち頭部がより画面下方の人物６Ｆ（人物１）のほうが人物６Ｇ（人物２）よりも前にいるので人物６Ｇの一部は人物６Ｆに遮蔽されている。そのため、人物６Ｇの照合用データＢＲ２の全体をテンプレートとしたテンプレートマッチングを行った場合、人物６Ｆで遮蔽された部分における類似度（一致度）が低くなり、人物６Ｇの位置を精度良く特定することが難しい。よって、人物６Ｇ（人物２）の位置を特定する際には、照合用データのうち人物６Ｆ（人物１）の人物領域と重ならない領域のみを用いて特定することが好ましい。
The process of specifying the positions of the
そこで、本実施形態では、図１２Ａに示したように、人物６Ｇの照合用データＢＲ２のうち人物領域ＡＲ１のｙ座標の最小値と人物領域ＡＲ２のｙ座標の最小値とで挟まれる高さΔｄ３の領域と対応した部分領域ＢＲ２’を、人物２のテンプレートに設定する。
Therefore, in the present embodiment, as shown in FIG. 12A, the height Δd3 sandwiched between the minimum value of the y coordinate of the person area AR1 and the minimum value of the y coordinate of the person area AR2 in the comparison data BR2 of the
一方、重なっている人物６Ｆ，６Ｇのうち前にいる人物６Ｆ（人物１）は、遮蔽された部分がない。そのため、人物６Ｆについては、照合領域ＢＲ１全体を追跡用のテンプレートとして用いることができる。
On the other hand, the
また、図１２Ｂに示したように、現在の処理対象フレーム７１５において追跡中の二人の人物６Ｈ，６Ｊが重なっている場合、重なり領域判定処理において頭部の位置がより画面下方である人物６Ｈが人物１（最前の人物の候補）になる。そして、上記の前後関係判定処理を続けて行うことで、最前の人物の候補である人物６Ｈが人物６Ｊよりも前にいることが特定され、人物６Ｈ，６Ｊに対する判定フラグが１になる。よって、フレーム７１５についての人物追跡処理では、図１１Ｂに示した処理により人物６Ｈ，６Ｊの位置を特定する。
Also, as shown in FIG. 12B, when two
この際、前にいる人物６Ｈについては、人物６Ｈの照合用データＢＲ１の全体をテンプレートとして、テンプレートマッチングを行う。人物６Ｈは他の人物に遮蔽された部分がないため、照合用データＢＲ１の全体をテンプレートとして用いた場合に、遮蔽された部分が含まれることによる類似度Ｒの低下は起こらない。そのため、人物６Ｈについては、照合用データＢＲ１の全体をテンプレートとして用いることで、人物６Ｈの正確な位置を算出する。 At this time, for the person 6H in front, template matching is performed using the entire matching data BR1 of the person 6H as a template. Since the person 6H does not have a portion shielded by another person, when the entire matching data BR1 is used as a template, the similarity R does not decrease due to the inclusion of the shielded portion. Therefore, for the person 6H, the exact position of the person 6H is calculated by using the entire matching data BR1 as a template.
一方、奥にいる人物６Ｊについては、人物領域ＡＲ２のうち人物６Ｈの人物領域ＡＲ１と重ならない領域ＡＲ２’を求め、照合用データＢＲ２のうち人物領域ＡＲ２の部分領域ＡＲ２’と対応した部分領域ＢＲ２’のみをテンプレートとして用いる。奥にいる人物６Ｊは、その一部が前にいる人物６Ｈに遮蔽されているため、照合用データＢＲ２の全体をテンプレートとして用いると、人物６Ｈに遮蔽された部分が含まれることにより類似度Ｒが低下する。これに対し、本実施形態の人物追跡処理では、上記のように照合用データＢＲ２のうち人物６Ｈの人物領域ＡＲ１と重ならない部分領域ＢＲ２’（頭部６Ｊ’）のみをテンプレートとして用いる。そのため、人物６Ｈに遮蔽された部分が含まれることによる類似度Ｒの低下を防げ、人物６Ｊの位置を精度良く算出することができる。
On the other hand, for the
以上のように、本実施形態に係る画像処理では、撮像装置２の光軸２００の方向から推定される人物の前後関係とフレーム（画像）内における頭部の位置の上下関係とに基づいて、重なっている人物のうち最前の人物の候補を選出する。そして、前後関係判定処理により、最前の人物の候補が最前の人物であるか否かを判定し、最前の人物を特定する。その際、上記のように最前の人物の候補についての照合を重なり領域のみで行うことで、重なり領域が狭い場合でも、重なっている人物のなかから最前の人物を正確に特定することができる。また、本実施形態に係る画像処理では、現在の処理対象フレームから得られる二次元の情報に基づいて人物の前後関係を特定することができるので、三次元モデルを用いて人物の前後関係を特定する場合に比べて監視装置１における処理負荷が軽減される。よって、本実施形態によれば、画像内の追跡中の人物に重なりが生じた場合に重なる人物の前後関係を正確かつ容易に判断することができる。
As described above, in the image processing according to the present embodiment, based on the front-rear relationship of the person estimated from the direction of the
また、本実施形態に係る画像処理では、重なっている人物のうち前後関係判定処理により奥（後ろ）にいると特定された人物については、前にいる人物と重ならない領域のみを用いて現在の処理対象フレームにおける位置を特定（追跡）する。そのため、奥にいる人物の位置を特定する際に、前にいる人物と重なり遮蔽された部分領域における類似度の低下による位置の特定精度の低下を防ぐことが可能になる。よって、本実施形態によれば、画像内の人物を精度良く追跡することができる。 Further, in the image processing according to the present embodiment, for the person who is identified as being in the back (back) by the context determination process among the overlapping persons, only the area that does not overlap with the person in front is used. The position in the processing target frame is specified (tracked). Therefore, when specifying the position of a person in the back, it is possible to prevent a decrease in position specifying accuracy due to a decrease in similarity in a partial area that is overlapped and shielded by the person in front. Therefore, according to the present embodiment, it is possible to accurately track a person in the image.
なお、図４、図５、図７、図９、図１１Ａ及び図１１Ｂのフローチャートは、画像処理の一例に過ぎず、監視装置１の構成や条件に応じて一部の処理を変更又は省略してもよい。例えば、前後関係判定処理は、人物１についての照合用データＢＲ１における部分領域ＢＲ１’と人物領域の重なり領域ＯＡとの照合割合Ｍ１のみを算出し、照合割合Ｍ１と閾値Ｔｈ１との大小関係のみで人物１，２の前後関係を判定するようにしてもよい。また、人物検出処理におけるＨＯＧ特徴量等を用いて現在の処理対象フレームから人物を検出する処理は、ステップＳ５の処理結果を用いずに行うことが可能であるため、ステップＳ２〜Ｓ５の後に限らず、ステップＳ２〜Ｓ５と並列に行うようにしてもよい。
4, 5, 7, 9, 11 </ b> A, and 11 </ b> B are merely examples of image processing, and some of the processing is changed or omitted depending on the configuration and conditions of the
また、本実施形態に係る画像処理において、撮像装置２から取得する画像データは、動画像データに限らず、例えば、非常に短い撮像間隔（例えば、０．５秒以下）で撮像された複数の静止画像データであってもよい。
In the image processing according to the present embodiment, the image data acquired from the
また、上記の画像処理を行う監視装置１は、例えば、コンピュータと、コンピュータに上記の画像処理を実行させるプログラムとにより実現可能である。以下、監視装置１として動作させることが可能なコンピュータについて、図１３を参照して説明する。
The
図１３は、コンピュータのハードウェア構成を示す図である。
図１３に示すように、コンピュータ９は、Central Processing Unit（ＣＰＵ）９０１と、主記憶装置９０２と、補助記憶装置９０３と、Digital Signal Processor（ＤＳＰ）９０４と、を備える。また、コンピュータ９は、入力装置９０５と、表示装置９０６と、インタフェース装置９０７と、記憶媒体駆動装置９０８と、通信装置９０９と、を更に備える。コンピュータ９におけるこれらの要素９０１〜９０９は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
FIG. 13 is a diagram illustrating a hardware configuration of a computer.
As illustrated in FIG. 13, the computer 9 includes a central processing unit (CPU) 901, a
ＣＰＵ ９０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ９の全体の動作を制御する演算処理装置である。
The
主記憶装置９０２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ９の起動時にＣＰＵ ９０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭは、ＣＰＵ ９０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。
The
補助記憶装置９０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置９０２に比べて大容量の記憶装置である。補助記憶装置９０３には、ＣＰＵ ９０１によって実行される各種のプログラムや各種のデータ等を記憶させる。補助記憶装置９０３に記憶させるプログラムとしては、例えば、図４、図５、図７、図９、図１１Ａ及び図１１Ｂに示したような画像処理をコンピュータ９に実行させるプログラムが挙げられる。また、補助記憶装置９０３に記憶させるデータとしては、例えば、上記のプログラムによる画像処理を行った後の画像データ等が挙げられる。
The
ＤＳＰ ９０４は、ＣＰＵ ９０１からの制御信号等に従って画像処理における一部の処理等を行う演算処理装置である。
The
入力装置９０５は、例えばキーボード装置やマウス装置であり、コンピュータ９のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ９０１に送信する。
The
表示装置９０６は、例えば液晶ディスプレイである。液晶ディスプレイは、ＣＰＵ ９０１等から送信される表示データに従って各種のテキスト、画像等を表示する。
The
インタフェース装置９０７は、例えば、コンピュータ９を撮像装置２や他の電子機器と接続するための入出力装置である。
The
記憶媒体駆動装置９０８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う装置である。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
The storage
通信装置９０９は、インターネット等の通信網１０を介してコンピュータ９と他のコンピュータ等とを通信可能に接続する装置である。
The
このコンピュータ９は、ＣＰＵ ９０１が補助記憶装置９０３から上述した画像処理を含むプログラムを読み出し、ＤＳＰ ９０４、主記憶装置９０２、補助記憶装置９０３等と協働して撮像装置２から取得した画像データの画像処理を実行する。この際、ＣＰＵ ９０１は、画像処理における演算処理の一部、例えば人物追跡処理や人物検出処理をＤＳＰ ９０４に実行させる。
In the computer 9, the
また、コンピュータ９で画像処理を行った後の画像データは、例えば、補助記憶装置９０３に記憶させておき、必要に応じてコンピュータ９で再生する。また、画像処理後の画像データは、例えば、通信装置９０９を用い、通信網１０を介して他のコンピュータ（例えば管理サーバ）に転送することもできる。また、画像処理後の画像データは、例えば、記憶媒体駆動装置９０８を用い、光ディスク等に記録して保管することもできる。
Further, the image data after image processing by the computer 9 is stored in, for example, the
なお、監視装置１として用いるコンピュータ９は、図１３に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ＤＳＰ ９０４を省略し、ＣＰＵ ９０１において図４に示した画像処理における全ての演算処理を行う構成であってもよい。また、コンピュータ９は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、人物の検出及び追跡に特化した画像処理装置でもよい。
Note that the computer 9 used as the
以上記載した実施形態に関し、更に以下の付記を開示する。
（付記１）
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理をコンピュータに実行させる監視プログラム。
（付記２）
選出した前記最前の人物の候補についての照合用データのうち前記他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域との前記照合では、更に、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域とを照合し、
前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて行う、
ことを特徴とする付記１に記載の監視プログラム。
（付記３）
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおける人物の位置を特定し、
前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
処理を更に前記コンピュータに実行させることを特徴とする付記１に記載の監視プログラム。
（付記４）
前記現在の処理対象の画像データにおける人物の位置の特定では、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち前記重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記３に記載の監視プログラム。
（付記５）
最前の人物に特定された前記人物と重なっている他の人物の照合用データの全体が前記重なり領域に含まれる場合、当該他の人物の前記現在の処理対象の画像データにおける位置は、前記過去の画像データにおける位置から推定した位置に特定する、
ことを特徴とする付記４に記載の監視プログラム。
（付記６）
前記現在の処理対象の画像データから人物を検出し、
検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
処理を更に前記コンピュータに実行させることを特徴とする付記３に記載の監視プログラム。
（付記７）
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出は、前記現在の処理対象の画像データにおける前記複数の人物の頭部の位置に基づいて行う、
ことを特徴とする付記１に記載の監視プログラム。
（付記８）
前記撮像装置の光軸が俯角である場合、
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
ことを特徴とする付記１に記載の監視プログラム。
（付記９）
撮像装置で撮像した画像データを取得する画像取得部と、
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する位置推定部と、
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する重なり領域検出部と、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する前後関係判定部と、
を備えることを特徴とする監視装置。
（付記１０）
前記前後関係判定部は、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合するとともに、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域とを照合し、
前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて、当該最前の人物の候補が最前の人物であるか否かを判定する、
ことを特徴とする付記９に記載の監視装置。
（付記１１）
当該監視装置は、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて重なっている人物の前後関係を特定するとともに、前記現在の処理対象の画像データにおける人物の位置を特定し、前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行う人物追跡部、
を更に備えることを特徴とする付記９に記載の監視装置。
（付記１２）
前記人物追跡部は、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記１１に記載の監視装置。
（付記１３）
当該監視装置は、
前記現在の処理対象の画像データから人物を検出し、検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物を、前記過去の画像データから検出された人物に追加する人物検出部、
を更に備えることを特徴とする付記１１に記載の監視装置。
（付記１４）
コンピュータが、
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
推定した前記人物の位置に基づいて複数の人物が重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理を実行することを特徴とする監視方法。
（付記１５）
選出した前記最前の人物の候補についての照合用データのうち前記他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域との照合では、前記他の人物についての照合用データと、前記現在の処理対象の画像データにおける当該他の人物についての人物領域との照合も行い、
前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び前記照合用データのうち照合に用いた領域の大小関係に基づいて行う、
ことを特徴とする付記１４に記載の監視方法。
（付記１６）
前記コンピュータが、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおける人物の位置を特定し、
前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
処理を更に実行することを特徴とする付記１４に記載の監視方法。
（付記１７）
前記現在の画像データにおける人物の位置の特定では、
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする付記１６に記載の監視方法。
（付記１８）
前記コンピュータが、
前記現在の処理対象の画像データから人物を検出し、
検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
処理を更に実行することを特徴とする付記１６に記載の監視方法。
（付記１９）
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出は、前記現在の処理対象の画像データにおける前記複数の人物の頭部の位置に基づいて行う、
ことを特徴とする付記１４に記載の監視方法。
（付記２０）
前記撮像装置の光軸が俯角である場合、
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
ことを特徴とする付記１４に記載の監視方法。
The following additional notes are disclosed with respect to the embodiment described above.
(Appendix 1)
Based on the position of the person detected from the past image data, the position of the person in the current image data to be processed is estimated,
When it is determined that a plurality of persons overlap in the current image data to be processed based on the estimated positions of the persons, an overlapping area of the plurality of persons is detected, and the plurality of persons Select the foremost person candidate who is closest to the imaging device that captured the image data,
Collating the area corresponding to the overlapping area with the other person in the matching data for the selected candidate for the earliest person and the overlapping area in the current image data to be processed;
Based on the result of the comparison, it is determined whether the candidate for the foremost person is the foremost person,
A monitoring program that causes a computer to execute processing.
(Appendix 2)
In the collation between the area corresponding to the overlap area with the other person in the collation data for the selected candidate for the earliest person and the overlap area in the current image data to be processed, the other The verification data for the person and the person area for the other person in the current processing target image data,
The determination as to whether or not the foremost person candidate is the foremost person was used for collation among the collation result for the foremost person candidate, the collation result for the other person, and the collation data. Based on the size relationship of the area,
The monitoring program according to
(Appendix 3)
Based on the determination result of whether the foremost person candidate is the foremost person, the position of the person in the current image data to be processed is specified,
The person in the current processing target image data is associated with the person detected from the past image data, and the position of the person in the current processing target image data is detected from the past image data Keep it as the position of the person,
The monitoring program according to
(Appendix 4)
In specifying the position of a person in the current image data to be processed,
Based on the determination result of whether or not the foremost person candidate is the foremost person, after identifying the context of overlapping persons in the current processing target image data,
For the person specified as the foremost person, the position in the current image data to be processed is specified using all the matching data of the person,
For the other person who overlaps the person specified as the foremost person, the position in the current image data to be processed is specified using only the partial area of the person's verification data excluding the overlapping area. To
The monitoring program according to
(Appendix 5)
When the entire matching data of another person overlapping the person specified as the foremost person is included in the overlapping area, the position of the other person in the current image data to be processed is the past Specify the position estimated from the position in the image data of
The monitoring program according to
(Appendix 6)
Detecting a person from the current image data to be processed;
The positions of all persons other than the persons associated with the persons detected from the past image data among the detected persons of the current image data to be processed are the positions of the persons detected from the past image data. To add to the
The monitoring program according to
(Appendix 7)
The selection of the forefront person candidate when it is determined that the plurality of persons overlap in the current processing target image data is the position of the heads of the plurality of persons in the current processing target image data. Based on
The monitoring program according to
(Appendix 8)
When the optical axis of the imaging device is a depression angle,
In selecting the foremost person candidate when it is determined that the plurality of persons overlap in the current processing target image data, the head of the current processing target image data among the plurality of persons is selected. Select the person with the lowest position,
The monitoring program according to
(Appendix 9)
An image acquisition unit for acquiring image data captured by the imaging device;
A position estimation unit that estimates the position of the person in the current image data to be processed based on the position of the person detected from the past image data;
When it is determined that a plurality of persons overlap in the current image data to be processed based on the estimated positions of the persons, an overlapping area of the plurality of persons is detected, and the plurality of persons An overlapping area detection unit for selecting a candidate for the forefront person who is closest to the imaging device that captured the image data;
Based on the result of the collation, the area corresponding to the overlap area with the other person in the collation data for the selected candidate for the earliest person is collated with the overlap area in the current image data to be processed. A context determination unit for determining whether the foremost person candidate is the foremost person;
A monitoring device comprising:
(Appendix 10)
The context determining unit
Of the collation data for the selected candidate for the earliest person, the area corresponding to the overlapping area with the other person is compared with the overlapping area in the current image data to be processed, and the other person Are compared with the person area for the other person in the current image data to be processed,
Based on the collation result for the foremost person candidate, the collation result for the other person, and the size relationship of the areas used for collation in the collation data, the foremost person candidate is the foremost person. Determine if there is,
The monitoring apparatus according to appendix 9, characterized by:
(Appendix 11)
The monitoring device
Specifying the front-to-back relationship of overlapping persons based on the determination result of whether or not the foremost person candidate is the foremost person, and specifying the position of the person in the current image data to be processed, A person tracking unit for associating a person in the current image data to be processed with a person detected from the past image data;
The monitoring apparatus according to appendix 9, further comprising:
(Appendix 12)
The person tracking unit
For the person identified as the foremost person based on the determination result of whether or not the foremost person candidate is the foremost person, the current processing target image is used by using all of the matching data of the person. For the other person who identifies the position in the data and overlaps with the person specified as the foremost person, only the partial area excluding the overlapping area in the matching data of the person is used for the current processing target. Identify the location in the image data,
The monitoring apparatus according to appendix 11, characterized by:
(Appendix 13)
The monitoring device
A person is detected from the current image data to be processed, and all persons other than the person associated with the person detected from the past image data among the detected persons of the current image data to be processed are A person detection unit for adding to a person detected from the past image data;
The monitoring apparatus according to appendix 11, further comprising:
(Appendix 14)
Computer
Based on the position of the person detected from the past image data, the position of the person in the current image data to be processed is estimated,
When it is determined that a plurality of persons are overlapped based on the estimated position of the person, the overlapping area of the plurality of persons is detected, and among the plurality of persons, the imaging device that captured the image data is the most Select the candidate for the person who is closest to you
Collating the area corresponding to the overlapping area with the other person in the matching data for the selected candidate for the earliest person and the overlapping area in the current image data to be processed;
Based on the result of the comparison, it is determined whether the candidate for the foremost person is the foremost person,
A monitoring method characterized by executing processing.
(Appendix 15)
In the collation of the area corresponding to the overlap area with the other person in the collation data for the selected candidate for the earliest person and the overlap area in the current image data to be processed, the other person The matching data and the person area for the other person in the current image data to be processed
The determination as to whether or not the foremost person candidate is the foremost person was used for collation among the collation result for the foremost person candidate, the collation result for the other person, and the collation data. Based on the size relationship of the area,
15. The monitoring method according to appendix 14, wherein
(Appendix 16)
The computer is
Based on the determination result of whether the foremost person candidate is the foremost person, the position of the person in the current image data to be processed is specified,
The person in the current processing target image data is associated with the person detected from the past image data, and the position of the person in the current processing target image data is detected from the past image data Keep it as the position of the person,
15. The monitoring method according to appendix 14, wherein the process is further executed.
(Appendix 17)
In specifying the position of a person in the current image data,
Based on the determination result of whether or not the foremost person candidate is the foremost person, after identifying the context of overlapping persons in the current processing target image data,
For the person specified as the foremost person, the position in the current image data to be processed is specified using all the matching data of the person,
For other persons overlapping with the person specified as the foremost person, the position in the current image data to be processed is specified using only the partial area excluding the overlapping area of the person's verification data. ,
The monitoring method according to supplementary note 16, characterized by:
(Appendix 18)
The computer is
Detecting a person from the current image data to be processed;
The positions of all the persons other than the person associated with the person detected from the past image data among the persons of the detected current image data to be processed are the positions of the persons detected from the past image data. To add to the
The monitoring method according to appendix 16, wherein the process is further executed.
(Appendix 19)
The selection of the forefront person candidate when it is determined that the plurality of persons overlap in the current processing target image data is the position of the heads of the plurality of persons in the current processing target image data. Based on
15. The monitoring method according to appendix 14, wherein
(Appendix 20)
When the optical axis of the imaging device is a depression angle,
In selecting the foremost person candidate when it is determined that the plurality of persons overlap in the current processing target image data, the head of the current processing target image data among the plurality of persons is selected. Select the person with the lowest position,
15. The monitoring method according to appendix 14, wherein
１ 監視装置
１００ 画像取得部
１０１ 人物位置推定部
１０２ 重なり領域検出部
１０３ 前後関係判定部
１０４ 人物追跡部
１０５ 人物検出部
１０６ 画像出力部
１０７ 記憶部
２ 撮像装置
３ 表示装置
５ 地面
６Ａ〜６Ｊ 人物
７００，７０１，７１０〜７１５ 画像（フレーム）
９ コンピュータ
９０１ ＣＰＵ
９０２ 主記憶装置
９０３ 補助記憶装置
９０４ ＤＳＰ
９０５ 入力装置
９０６ 表示装置
９０７ インタフェース装置
９０８ 記憶媒体駆動装置
９０９ 通信装置
９１０ バス
１０ 通信網
DESCRIPTION OF
9
902
905
Claims (9)
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理をコンピュータに実行させる監視プログラム。 Based on the position of the person detected from the past image data, the position of the person in the current image data to be processed is estimated,
When it is determined that a plurality of persons overlap in the current image data to be processed based on the estimated positions of the persons, an overlapping area of the plurality of persons is detected, and the plurality of persons Select the foremost person candidate who is closest to the imaging device that captured the image data,
Collating the area corresponding to the overlapping area with the other person in the matching data for the selected candidate for the earliest person and the overlapping area in the current image data to be processed;
Based on the result of the comparison, it is determined whether the candidate for the foremost person is the foremost person,
A monitoring program that causes a computer to execute processing.
前記最前の人物の候補が最前の人物であるか否かの判定は、前記最前の人物の候補についての照合結果、前記他の人物についての照合結果、及び、前記現在の処理対象の画像データにおける前記重なり領域と前記現在の処理対象の画像データにおける前記他の人物についての人物領域とが同じ位置に存在するか否かに基づいて行う、
ことを特徴とする請求項１に記載の監視プログラム。 In the collation between the area corresponding to the overlap area with the other person in the collation data for the selected candidate for the earliest person and the overlap area in the current image data to be processed, the other The verification data for the person and the person area for the other person in the current processing target image data,
The determination as to whether or not the foremost person candidate is the foremost person is based on the collation result for the foremost person candidate, the collation result for the other person, and the current image data to be processed. Based on whether the overlap area and the person area for the other person in the current image data to be processed exist at the same position ,
The monitoring program according to claim 1.
前記現在の処理対象の画像データにおける人物と前記過去の画像データから検出された人物との関連付けを行い、前記現在の処理対象の画像データにおける前記人物の位置を前記過去の画像データから検出された人物の位置として保持する、
処理を更に前記コンピュータに実行させることを特徴とする請求項１に記載の監視プログラム。 Based on the determination result of whether the foremost person candidate is the foremost person, the position of the person in the current image data to be processed is specified,
The person in the current processing target image data is associated with the person detected from the past image data, and the position of the person in the current processing target image data is detected from the past image data Keep it as the position of the person,
The monitoring program according to claim 1, further causing the computer to execute processing.
前記最前の人物の候補が最前の人物であるか否かの判定結果に基づいて、前記現在の処理対象の画像データにおいて重なっている人物の前後関係を特定した後、
最前の人物に特定された人物については、当該人物の照合用データの全部を用いて前記現在の処理対象の画像データにおける位置を特定し、
最前の人物に特定された前記人物と重なっている他の人物については、当該人物の照合用データのうち前記重なり領域を除く部分領域のみを用いて前記現在の処理対象の画像データにおける位置を特定する、
ことを特徴とする請求項３に記載の監視プログラム。 In specifying the position of a person in the current image data to be processed,
Based on the determination result of whether or not the foremost person candidate is the foremost person, after identifying the context of overlapping persons in the current processing target image data,
For the person specified as the foremost person, the position in the current image data to be processed is specified using all the matching data of the person,
For the other person who overlaps the person specified as the foremost person, the position in the current image data to be processed is specified using only the partial area of the person's verification data excluding the overlapping area. To
The monitoring program according to claim 3.
検出した前記現在の処理対象の画像データの人物のうち前記過去の画像データから検出された人物と関連付けされた人物を除く全ての人物の位置を、前記過去の画像データから検出された人物の位置に追加する、
処理を更に前記コンピュータに実行させることを特徴とする請求項３に記載の監視プログラム。 Detecting a person from the current image data to be processed;
The positions of all persons other than the persons associated with the persons detected from the past image data among the detected persons of the current image data to be processed are the positions of the persons detected from the past image data. To add to the
The monitoring program according to claim 3, further causing the computer to execute processing.
ことを特徴とする請求項１に記載の監視プログラム。 The selection of the forefront person candidate when it is determined that the plurality of persons overlap in the current processing target image data is the position of the heads of the plurality of persons in the current processing target image data. Based on
The monitoring program according to claim 1.
前記複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合の前記最前の人物の候補の選出では、前記複数の人物のうち前記現在の処理対象の画像データにおける頭部の位置が最も下方である人物を選出する、
ことを特徴とする請求項１に記載の監視プログラム。 When the optical axis of the imaging device is a depression angle,
In selecting the foremost person candidate when it is determined that the plurality of persons overlap in the current processing target image data, the head of the current processing target image data among the plurality of persons is selected. Select the person with the lowest position,
The monitoring program according to claim 1.
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定する位置推定部と、
推定した前記人物の位置に基づいて複数の人物が前記現在の処理対象の画像データにおいて重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出する重なり領域検出部と、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する前後関係判定部と、
を備えることを特徴とする監視装置。 An image acquisition unit for acquiring image data captured by the imaging device;
A position estimation unit that estimates the position of the person in the current image data to be processed based on the position of the person detected from the past image data;
When it is determined that a plurality of persons overlap in the current image data to be processed based on the estimated positions of the persons, an overlapping area of the plurality of persons is detected, and the plurality of persons An overlapping area detection unit for selecting a candidate for the forefront person who is closest to the imaging device that captured the image data;
Based on the result of the collation, the area corresponding to the overlap area with the other person in the collation data for the selected candidate for the earliest person is collated with the overlap area in the current image data to be processed. A context determination unit for determining whether the foremost person candidate is the foremost person;
A monitoring device comprising:
過去の画像データから検出された人物の位置に基づいて、現在の処理対象の画像データにおける人物の位置を推定し、
推定した前記人物の位置に基づいて複数の人物が重なっていると判定した場合に、当該複数の人物の重なり領域を検出するとともに、前記複数の人物のうち前記画像データを撮像した撮像装置に最も近い位置にいる最前の人物の候補を選出し、
選出した前記最前の人物の候補についての照合用データのうち他の人物との重なり領域に対応した領域と、前記現在の処理対象の画像データにおける重なり領域とを照合し、
当該照合の結果に基づいて、前記最前の人物の候補が最前の人物であるか否かを判定する、
処理を実行することを特徴とする監視方法。 Computer
Based on the position of the person detected from the past image data, the position of the person in the current image data to be processed is estimated,
When it is determined that a plurality of persons are overlapped based on the estimated position of the person, the overlapping area of the plurality of persons is detected, and among the plurality of persons, the imaging device that captured the image data is the most Select the candidate for the person who is closest to you
Collating the area corresponding to the overlapping area with the other person in the matching data for the selected candidate for the earliest person and the overlapping area in the current image data to be processed;
Based on the result of the comparison, it is determined whether the candidate for the foremost person is the foremost person,
A monitoring method characterized by executing processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015142845A JP6620443B2 (en) | 2015-07-17 | 2015-07-17 | Monitoring program, monitoring apparatus, and monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015142845A JP6620443B2 (en) | 2015-07-17 | 2015-07-17 | Monitoring program, monitoring apparatus, and monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017027197A JP2017027197A (en) | 2017-02-02 |
| JP6620443B2 true JP6620443B2 (en) | 2019-12-18 |
Family
ID=57946726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015142845A Active JP6620443B2 (en) | 2015-07-17 | 2015-07-17 | Monitoring program, monitoring apparatus, and monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6620443B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11538260B2 (en) | 2018-03-30 | 2022-12-27 | Nec Solution Innovators, Ltd. | Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program |
| US11645763B2 (en) * | 2018-10-31 | 2023-05-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
| JP7248345B2 (en) * | 2019-03-11 | 2023-03-29 | Ｎｅｃソリューションイノベータ株式会社 | Image processing device, image processing method and program |
| JP7326965B2 (en) * | 2019-07-29 | 2023-08-16 | 富士通株式会社 | Image processing device, image processing program, and image processing method |
| JP6891984B1 (en) * | 2020-01-22 | 2021-06-18 | 沖電気工業株式会社 | Object detection device, object detection method, program and recording medium |
| JP7491260B2 (en) | 2021-04-26 | 2024-05-28 | トヨタ自動車株式会社 | Person detection device, person detection method and computer program for detecting persons |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4467838B2 (en) * | 2001-06-15 | 2010-05-26 | パナソニック株式会社 | Image recognition apparatus and image recognition method |
| JP2014093023A (en) * | 2012-11-06 | 2014-05-19 | Canon Inc | Object detection device, object detection method and program |
-
2015
- 2015-07-17 JP JP2015142845A patent/JP6620443B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017027197A (en) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6620443B2 (en) | Monitoring program, monitoring apparatus, and monitoring method | |
| US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
| Dong et al. | A non-target structural displacement measurement method using advanced feature matching strategy | |
| US10331962B2 (en) | Detecting device, detecting method, and program | |
| KR102214934B1 (en) | Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning | |
| CN108198044B (en) | Commodity information display method, commodity information display device, commodity information display medium and electronic equipment | |
| Zhou et al. | Moving object detection and segmentation in urban environments from a moving platform | |
| EP3239931A1 (en) | Image processing apparatus and image processing method | |
| JP6221390B2 (en) | Image processing apparatus, program, and image processing method | |
| KR102584527B1 (en) | Method and Apparatus for counting the number of person | |
| JP2010204805A (en) | Periphery-monitoring device and method | |
| JP2017083980A (en) | Behavior automatic analyzer and system and method | |
| JP2015055875A (en) | Determining source lane of moving item merging into destination lane | |
| JP2013206458A (en) | Object classification based on external appearance and context in image | |
| JP6361313B2 (en) | Vehicle detection method and apparatus | |
| JP5396585B2 (en) | Feature identification method | |
| JP4836065B2 (en) | Edge tracking method and computer program therefor | |
| JP6163732B2 (en) | Image processing apparatus, program, and method | |
| US9413477B2 (en) | Screen detector | |
| JP6828445B2 (en) | Object tracking program, object tracking method and object tracking device | |
| KR20170093421A (en) | Method for determining object of interest, video processing device and computing device | |
| JP2011090708A (en) | Apparatus and method for detecting the number of objects | |
| Chen et al. | 3-d mediated detection and tracking in wide area aerial surveillance | |
| JP7040627B2 (en) | Calculator, information processing method and program | |
| US12033406B2 (en) | Method and device for identifying presence of three-dimensional objects using images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6620443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |