JP6337544B2 - Image processing apparatus, moving speed determination method, and moving speed determination program - Google Patents
Image processing apparatus, moving speed determination method, and moving speed determination program Download PDFInfo
- Publication number
- JP6337544B2 JP6337544B2 JP2014056995A JP2014056995A JP6337544B2 JP 6337544 B2 JP6337544 B2 JP 6337544B2 JP 2014056995 A JP2014056995 A JP 2014056995A JP 2014056995 A JP2014056995 A JP 2014056995A JP 6337544 B2 JP6337544 B2 JP 6337544B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- image
- person
- target frame
- processing target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
この発明は、防犯カメラ等で撮像した動画像に撮像されているオブジェクトの移動速度が正常であるかどうかを判定する技術に関する。 The present invention relates to a technique for determining whether or not the moving speed of an object captured in a moving image captured by a security camera or the like is normal.
従来、空港、駅、ショッピングセンター、街角等、不特定多数の人が集まる様々な場所に防犯カメラが設置されている。 Conventionally, security cameras are installed in various places where an unspecified number of people gather, such as airports, stations, shopping centers, street corners, and the like.
また、カメラで撮像した動画像を処理し、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）を検出することも検討されている。例えば、カメラで撮像した動画像を処理し、撮像されている人の行動の特徴量として、その人の移動速度、移動方向、頭の高さ等を検出し、その人が不審者であるかどうかを判定するものがある（特許文献１参照）。 In addition, it is also considered to detect a person such as a suspicious person (hereinafter simply referred to as a suspicious person) who has taken a unique action by processing a moving image captured by a camera. For example, by processing a moving image captured by a camera, detecting the movement speed, movement direction, head height, etc. of the person as a feature amount of the person being imaged, whether the person is a suspicious person There is one that determines whether or not (see Patent Document 1).
なお、特許文献１は、処理対象のカメラ画像（動画像）が、防犯カメラの撮像画像ではなく、車載カメラである。
In
しかしながら、防犯カメラで撮像した動画像を処理し、撮像されている人（以下、対象者と言う。）の移動速度を算出するには、フレーム画像上における対象者の位置を実空間上の位置に変換し、実空間上における対象者の移動量を検出しなければならない。フレーム画像上における対象者の移動量が同じであっても、防犯カメラと対象者との距離によって、実空間上での移動量は異なる。このため、実空間上における対象者の移動速度を算出する処理にかかる演算量が多く、移動速度が正常であるか、異常であるかの判定にかかる処理負荷が大きかった。 However, in order to process a moving image captured by a security camera and calculate a moving speed of a captured person (hereinafter referred to as a target person), the position of the target person on the frame image is a position in real space. And the amount of movement of the subject in the real space must be detected. Even if the amount of movement of the subject on the frame image is the same, the amount of movement in the real space differs depending on the distance between the security camera and the subject. For this reason, the amount of calculation required for the process of calculating the moving speed of the subject in the real space is large, and the processing load for determining whether the moving speed is normal or abnormal is large.
また、防犯カメラを設置する毎に、その防犯カメラで撮像されるフレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定しなければならず、防犯カメラの設置にかかる作業も煩雑であった。 In addition, each time a security camera is installed, it is necessary to set parameters for associating the position on the frame image captured by the security camera with the position in the real space. It was complicated.
この発明の目的は、撮像されているオブジェクトの移動速度が正常であるか、異常であるかの判定が簡単に行え、且つ、撮像装置の設置にかかる作業者の負担を低減することができる技術を提供することにある。 An object of the present invention is a technique that can easily determine whether the moving speed of an object being imaged is normal or abnormal, and can reduce the burden on an operator who installs an imaging device. Is to provide.
この発明の動画像処理装置は、上記目的を達するために、以下のように構成している。 In order to achieve the above object, the moving image processing apparatus of the present invention is configured as follows.
動画像入力部には、撮像装置が対象エリアを撮像した動画像が入力される。オブジェクト追跡部は、動画像入力部に入力された動画像にかかるフレーム画像を処理し、対象エリア内におけるオブジェクトの移動を追跡する。また、集計部が、フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計する。さらに、判定基準設定部が、予め定めたタイミングで、集計部が集計した集計結果に基づき、フレーム画像上におけるオブジェクトの大きさ別に、オブジェクトの移動速度が正常であるかどうかの判定に用いる、フレーム画像間におけるオブジェクトの位置の変化量である判定基準を対応付けた判定基準テーブルを繰り返し設定する。そして、移動速度判定部が、オブジェクト追跡部が追跡したオブジェクトについて、判定基準テーブルに設定されている当該オブジェクトのフレーム画像上における大きさに対応する判定基準と、当該オブジェクトのフレーム画像間における位置の変化量とを比較して、移動速度が正常であるかどうかを判定する。 A moving image obtained by capturing an image of the target area by the imaging device is input to the moving image input unit. The object tracking unit processes a frame image related to the moving image input to the moving image input unit, and tracks the movement of the object in the target area. The totaling unit totals the amount of change in the position of the object between the frame images for each size of the object on the frame image. Further, the frame used for determining whether the moving speed of the object is normal for each size of the object on the frame image based on the counting result counted by the counting unit at a predetermined timing by the determination criterion setting unit A determination criterion table in which a determination criterion that is an amount of change in the position of an object between images is associated is repeatedly set. The moving speed determining unit, for objects the object tracking unit is tracked, and metric corresponding to the size of the frame image of the object set in the criterion table, positions between the frame image of the object It is determined whether or not the moving speed is normal by comparing the change amount.
フレーム画像上におけるオブジェクトの大きさは、このオブジェクトと撮像装置との距離に応じて変化する。また、フレーム画像上におけるオブジェクトの位置の変化量は、実空間上におけるオブジェクトの移動量に応じて変化する。したがって、実空間上におけるオブジェクトの移動量を用いなくても、フレーム画像上におけるオブジェクトの大きさと、フレーム画像上における位置の変化量を用いて、そのオブジェクトの移動速度が正常であるかどうかを適正に判定することができる。また、実空間上におけるオブジェクトの移動量を算出しないので、装置本体の処理負荷を低減し、装置本体のコストダウンを図ることができる。さらに、撮像装置の設置時に、その撮像装置で撮像されるフレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定する必要が無く、撮像装置の設置にかかる作業も簡単に行える。
また、判定基準設定部が、予め定めたタイミングで、集計部で集計したフレーム画像間におけるオブジェクトの位置の変化量の集計結果に基づき、判定基準テーブルを繰り返し設定する構成であるので、対象エリアを移動するオブジェクトの移動速度が正常であるかどうかを判定する判定基準を対象エリアの環境に応じて定めることができる。
The size of the object on the frame image changes according to the distance between the object and the imaging device. Further, the amount of change in the position of the object on the frame image changes according to the amount of movement of the object in the real space. Therefore, even if the amount of movement of the object in the real space is not used, whether or not the moving speed of the object is normal is appropriately determined using the size of the object on the frame image and the amount of change in the position on the frame image. Can be determined. Further, since the amount of movement of the object in the real space is not calculated, the processing load on the apparatus main body can be reduced and the cost of the apparatus main body can be reduced. Furthermore, it is not necessary to set parameters for associating the position on the frame image captured by the imaging device with the position in the real space when the imaging device is installed, and the work for installing the imaging device can be performed easily. .
In addition, since the determination criterion setting unit is configured to repeatedly set the determination criterion table based on the aggregation result of the amount of change in the position of the object between the frame images aggregated by the aggregation unit at a predetermined timing. A determination criterion for determining whether the moving speed of the moving object is normal can be determined according to the environment of the target area.
また、移動速度判定部は、フレーム画像間におけるオブジェクトの位置の変化量として、フレーム画像上での水平方向の位置の変化量と、フレーム画像上での垂直方向の位置の変化量とを用いる構成としてもよいし、そのオブジェクトの位置の変化量として、
（（フレーム画像上での水平方向の変化量）2＋（フレーム画像上での垂直方向の変化量）2）1/2
を用いてもよい。
Further, the moving speed determination unit uses, as the amount of change in the position of the object between the frame images, the amount of change in the horizontal position on the frame image and the amount of change in the vertical position on the frame image. Or as the amount of change in the position of the object,
((Horizontal change amount on the frame image) 2 + (Vertical change amount on the frame image) 2 ) 1/2
May be used.
また、オブジェクト追跡部は、動画像入力部に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として、上述のオブジェクトの移動の追跡を行ってもよいし、動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として、上述のオブジェクトの移動の追跡を行ってよい。処理対象フレーム画像を抽出する間隔については、動画像入力部に入力された動画像のフレームレートに応じて定めればよい。また、この間隔は、時間間隔で定めてもよいし、フレーム間隔で定めてもよい。 Further, the object tracking unit may track the movement of the object described above using all the frame images related to the moving image input to the moving image input unit as processing target frame images, or may input to the moving image input unit. The movement of the object described above may be tracked by using, as processing target frame images, frame images extracted from the moving images at predetermined intervals. What is necessary is just to determine the space | interval which extracts a process target frame image according to the frame rate of the moving image input into the moving image input part. Further, this interval may be determined as a time interval or a frame interval.
また、オブジェクト追跡部は、時間的に連続する３つの処理対象フレーム画像を用い、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを同定し追跡する構成としてもよい。
例えば、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置しない２つの処理対象フレーム画像間でのオブジェクトの同定を、撮像されているオブジェクトの類似度に基づいて行ってもよい。
また、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置する処理対象フレーム画像上で複数のオブジェクトが重なっているとき、時間的に中間に位置しない２つの処理対象フレーム画像間でのオブジェクトの同定を、撮像されているオブジェクトの類似度に基づいて行ってもよい。
さらに、オブジェクト追跡部が、以下に示す第１判定処理、および第２判定処理を実行する構成にしてもよい。
第１判定処理は、時間的に連続する３つの処理対象フレーム画像において、時間的に最も早い処理対象フレーム画像に撮像されていたオブジェクトの中に、時間的に中間に位置する処理対象フレーム画像に撮像されていたオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトとの対応付けを行い、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトを対応付けることができなかった第１の未対応付オブジェクトを対象エリアの外側に移動したオブジェクトであると判定する処理である。
第２判定処理は、時間的に連続する３つの処理対象フレーム画像において、時間的に中間に位置する処理対象フレーム画像に撮像されていたオブジェクトの中に、時間的に最も早い処理対象フレーム画像に撮像されていたオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトとの対応付けを行い、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトを対応付けることができた第２の未対応付オブジェクトを対象エリアの内側に移動してきたオブジェクトであると判定する処理である。
In addition, the object tracking unit may be configured to use three processing target frame images that are temporally continuous and identify and track an object that is captured between the three processing target frame images.
For example, among three processing target frame images that are temporally continuous , object identification between two processing target frame images that are not temporally intermediate is performed based on the similarity of the object being imaged. May be.
In addition, when a plurality of objects are overlapped on a processing target frame image positioned in the middle in time among the three processing target frame images that are temporally continuous, two processing targets that are not positioned in the middle in time The identification of the object between the frame images may be performed based on the similarity of the imaged object .
Furthermore, the object tracking unit may be configured to execute a first determination process and a second determination process described below.
In the first determination process, among the three processing target frame images that are temporally continuous, the processing target frame image that is located in the middle in time among the objects captured in the earliest temporal processing target frame image. When there is a first non-corresponding object that could not be associated with the imaged object, the object that was imaged in the processing target frame image that is the latest in time for the first uncorresponding object And the first uncorresponding object that could not be associated with the object that was captured in the slowest processing target frame image is determined to be an object that has moved outside the target area. It is processing.
In the second determination processing, among the three processing target frame images that are temporally continuous, the processing target frame image that is the earliest in time among the objects captured in the processing target frame image that is located in the middle in terms of time. If there is a second non-corresponding object that could not be associated with the imaged object, the object that was captured in the processing target frame image that is the latest in time for the second uncorresponding object Is determined to be the object that has moved to the inside of the target area with the second non-corresponding object that could be associated with the object that was captured in the slowest processing target frame image. It is processing.
この発明によれば、撮像されているオブジェクトの移動速度が正常であるか、異常であるかの判定が簡単に行え、且つ、撮像装置の設置にかかる作業者の負担を低減することができる。 According to the present invention, it is possible to easily determine whether the moving speed of the object being imaged is normal or abnormal, and to reduce the burden on the operator for installing the imaging device.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、動画像入力部２と、画像処理部３と、出力部４と、を備えている。この例にかかる画像処理装置１は、防犯カメラ等の撮像装置１０で撮像した動画像を処理し、この動画像に撮像されている人の移動速度が正常であるか、異常であるかを判定するとともに、その判定結果を上位装置に出力する。
FIG. 1 is a block diagram showing the configuration of the main part of the image processing apparatus according to this example. The
動画像入力部２には、撮像装置１０が接続されている。撮像装置１０は、動画像を撮像するビデオカメラである。撮像装置１０は、例えば不特定多数の人が集まる場所（空港、駅、ショッピングセンター、街角等）に設置された防犯カメラである。動画像入力部２には、撮像装置１０が撮像した動画像にかかるフレーム画像が時系列に入力される。撮像装置１０のフレームレートは、数フレーム／ｓｅｃ（３〜５フレーム／ｓｅｃ）の比較的低いものであってもよい。撮像装置１０の撮像エリアが、この発明で言う対象エリアに相当する。
An
なお、動画像入力部２は、ＵＳＢメモリや、ＳＤメモリカード、ＤＶＤ等のメディアに記録されている動画像ファイルを入力する構成であってもよい。この場合、撮像装置１０が撮像した動画像を一旦メディアに記録し、そのメディアに記録した動画像ファイルを動画像入力部２に入力する。
The moving
画像処理部３は、動画像入力部２に入力された動画像にかかるフレーム画像を処理し、撮像されている人（オブジェクト）の移動を追跡するとともに、この追跡した人の移動速度が正常であるか、異常であるかを判定する。また、画像処理部３は、移動速度が正常であるか、異常であるかの判定に用いる判定基準の設定を行う。画像処理部３の詳細については、後述する。
The
なお、画像処理部３が処理するフレーム画像（以下、処理対象フレーム画像と言う。）は、動画像入力部２に入力された動画像にかかる全てのフレーム画像でなくてもよい。具体的には、画像処理部３は、動画像入力部２に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として処理してもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理してもよい（ここで抽出しなかったフレーム画像については後述する処理を行わない。）。また、この処理対象フレーム画像を抽出する間隔は、動画像入力部２に入力された動画像のフレームレートに応じて定めればよく、時間間隔で設定してもよいし、フレーム間隔で設定してもよい。
Note that the frame images processed by the image processing unit 3 (hereinafter referred to as processing target frame images) may not be all frame images related to the moving image input to the moving
この画像処理部３が、この発明にかかる移動速度判定方法を実行するコンピュータを備える。また、この発明にかかる移動速度判定プログラムは、画像処理部３が備えるコンピュータにインストールされる。
The
出力部４は、画像処理部３において移動速度が異常であると判定された人を上位装置に通知する。具体的には、画像処理部３が追跡した人の移動速度が異常であると判定すると、出力部４が上位装置に対してその旨を通知する。上位装置は、例えば警備室等に設置された表示灯やスピーカによって、移動速度が異常である人が検出されたことを警備員等に報知する。
The
図２は、画像処理部の機能構成を示すブロック図である。画像処理部３は、オブジェクト検出機能部３１と、オブジェクト同定機能部３２と、オブジェクトマップ作成機能部３３と、移動速度判定機能部３４と、集計機能部３５と、判定基準設定機能部３６と、を備えている。
FIG. 2 is a block diagram illustrating a functional configuration of the image processing unit. The
オブジェクト検出機能部３１は、撮像装置１０が撮像した動画像にかかるフレーム画像から抽出した処理対象フレーム画像毎に、その処理対象フレーム画像に撮像されている人をオブジェクトとして検出する。上述したように、処理対象フレーム画像は、動画像入力部２に入力された動画像にかかる全てのフレーム画像であってもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像であってもよい。オブジェクト検出機能部３１は、例えば公知の背景差分方式、フレーム画像間差分方式により、撮像されている人を検出する。背景差分方式や、フレーム画像間差分方式によるオブジェクトの検出については公知であるので、ここでは説明を省略する。オブジェクト検出機能部３１は、検出した人に仮ＩＤを付与する。
The object
オブジェクト同定機能部３２は、時間的に連続する複数の処理対象フレーム画像を用いて、これらの処理対象フレーム画像に撮像されている人を対応付ける同定処理を行う。この同定処理の詳細については、後述する。オブジェクト同定機能部３２は、この同定により、オブジェクト検出機能部３１が仮ＩＤを付与した人が、すでに本ＩＤを付与した人であるか、この時点では本ＩＤを付与していない人であるかを判断する。オブジェクト同定機能部３２は、すでに本ＩＤを付与している人であれば、仮ＩＤを本ＩＤに置き換える。一方、オブジェクト同定機能部３２は、本ＩＤを付与していない人であれば、仮ＩＤを新たに付与する本ＩＤに置き換える。この場合、実質的に仮ＩＤを本ＩＤに置き換えてもよいし、この仮ＩＤを本ＩＤにしてもよい。
The object
オブジェクトマップ作成機能部３３は、図３に示すオブジェクトマップを生成する。オブジェクトマップは、図３に示すように、処理対象フレーム画像毎に、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像における位置（ｘ，ｙ）とを対応付けて登録したものである。例えば、図３に示すオブジェクトマップの例では、処理対象フレーム画像Ｎｏ．ｔn-1である処理対象フレーム画像に、本ＩＤがＡ１２３４５６である人と、Ａ１２３４５７である人が撮像されていたことを示している。また、本ＩＤがＡ１２３４５６である人は、処理対象フレーム画像上における大きさＳがＳａ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘa1，ya1）であったことを示している。また、本ＩＤがＡ１２３４５７である人は、処理対象フレーム画像上における大きさＳがＳｂ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘb1，yb1）であったことを示している。
The object map creation function unit 33 generates the object map shown in FIG. As shown in FIG. 3, the object map includes, for each processing target frame image, the person ID detected by the object
なお、撮像装置１０が撮像した動画像にかかるフレーム画像（処理対象フレーム画像として抽出されなかったフレーム画像）が、時間的に連続する処理対象フレーム画像の間、例えば、処理対象フレーム画像Ｎｏ．ｔn-1と、処理対象フレーム画像Ｎｏ．ｔnと、の間に存在することもある。
It should be noted that a frame image (a frame image that has not been extracted as a processing target frame image) related to a moving image captured by the
また、他の処理対象フレーム画像Ｎｏ．ｔn、処理対象フレーム画像Ｎｏ．ｔn+1、処理対象フレーム画像Ｎｏ．ｔn+2についても、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像上における位置とが対応付けて登録されている。
In addition, other processing target frame images No. t n , the processing target frame image No. t n + 1 , the processing target frame image No. Also for t n + 2 , the person ID detected by the object
図４は、人Ａ，および人Ｂが撮像されている処理対象フレーム画像を示す図である。図４に示すように、この例では、オブジェクト検出機能部３１によって検出された人を囲む矩形領域の高さ（処理対象フレーム画像上における垂直方向の長さＳＡ、ＳＢ）を、検出された人の大きさＳとしてオブジェクトマップに登録している。また、図４に示すように、この矩形領域（検出された人を囲む矩形領域）の左下の角を、検出された人の位置（ｘ，y）にしてオブジェクトマップに登録している。検出された人の位置は、処理対象フレーム画像上における水平方向の位置Ｘａ、Ｘｂと、処理対象フレーム画像上における垂直方向の位置Ｙａ、Ｙｂと、で示される。 FIG. 4 is a diagram illustrating a processing target frame image in which the person A and the person B are captured. As shown in FIG. 4, in this example, the height of the rectangular area surrounding the person detected by the object detection function unit 31 (vertical lengths SA and SB on the processing target frame image) is detected. Is registered in the object map as size S. Also, as shown in FIG. 4, the lower left corner of this rectangular area (the rectangular area surrounding the detected person) is registered in the object map with the detected person's position (x, y). The detected position of the person is indicated by horizontal positions Xa and Xb on the processing target frame image and vertical positions Ya and Yb on the processing target frame image.
なお、検出された人を囲む矩形領域の面積を、検出された人の大きさにしてもよいし、処理対象フレーム画像上における、この矩形領域の右下の角や重心を検出された人の位置にしてもよい。 The area of the rectangular area surrounding the detected person may be the size of the detected person, or the lower right corner or the center of gravity of the rectangular area on the processing target frame image is detected. It may be a position.
したがって、本ＩＤが付与された人は、このオブジェクトマップにより、処理対象フレーム画像上における大きさＳが得られるとともに、時間経過にともなう位置（ｘ，ｙ）の変化が得られる。すなわち、本ＩＤが付与された人については、処理対象フレーム画像上における移動経路（すなわち撮像装置１０の撮像エリア内における移動経路）をオブジェクトマップから得ることができ、オブジェクトの追跡が行える。 Therefore, the person to whom the real ID is assigned can obtain the size S on the processing target frame image and the change of the position (x, y) with the lapse of time by this object map. That is, for a person to whom this ID is assigned, the movement path on the processing target frame image (that is, the movement path in the imaging area of the imaging device 10) can be obtained from the object map, and the object can be tracked.
オブジェクト検出機能部３１、オブジェクト同定機能部３２、およびオブジェクトマップ作成機能部３３が、この発明で言うオブジェクト追跡部に相当する構成である。
The object
移動速度判定機能部３４は、後述する判定基準設定機能部３６により設定された判定基準を用い、追跡している人の移動速度が正常であるか、異常であるかを判定する。
The movement speed
なお、ここで言う、移動速度が異常であるとは、一般的な人に比べて移動速度がある程度以上速い人だけでなく、一般的な人に比べて移動速度がある程度以上遅い人も含まれる。 Note that the abnormal movement speed mentioned here includes not only a person whose movement speed is higher than a certain level compared to a general person but also a person whose movement speed is a certain degree slower than a general person. .
集計機能部３５は、上述のオブジェクトマップを用いて、時間的に連続する処理対象フレーム画像間において、処理対象フレーム画像上における人の位置の変化量を集計する。この集計は、処理対象フレーム画像上における人の大きさＳで複数段階に区分して行う。
The
同じ人であっても、その人と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における大きさＳが大きくなる。また、実空間上における移動距離が同じであっても、その移動場所と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における変化量が大きくなる。すなわち、集計機能部３５は、処理対象フレーム画像上での人の大きさＳを複数段階に区分して集計することによって、処理対象フレーム画像上における人の位置の変化量の集計を撮像装置１０と人との距離で区分して行う。
Even for the same person, the size S on the processing target frame image increases as the distance between the person and the
集計機能部３５は、検出された人の大きさＳで区分した段階毎に、オブジェクトマップを参照して、時間的に連続する２つの処理対象フレーム画像間における、処理対象フレーム画像上での人の水平方向の変化量の分布、および処理対象フレーム画像上での人の垂直方向の変化量の分布を集計する。水平方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の水平方向の検出位置の差分の絶対値である。また、垂直方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の垂直方向の検出位置の差分の絶対値である。この集計機能部３５が、この発明で言う集計部に相当する。
The
判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上における人の大きさ別に、処理対象フレーム画像上における水平方向の正常変化量の範囲、および処理対象フレーム画像上における水平方向の正常変化量の範囲を対応付けた判定基準を設定する。図５は、判定基準設定機能部３６により判定基準が設定された判定基準テーブルを示す図である。図５に示す判定基準テーブルの例では、処理対象フレーム画像上における大きさＳの範囲がＳ０〜Ｓ１である人にかかる判定基準は、水平方向の変化量がＸ１〜Ｘ２の範囲であり、且つ垂直方向の変化量がＹ１〜Ｙ２の範囲である人について、移動速度が正常であると判定する設定である。図５において示す、処理対象フレーム画像上における大きさＳの範囲の他の例についても、同様である。この判定基準設定機能部３６が、この発明で言う判定基準設定部に相当する。
The determination criterion setting
なお、画像処理部３は、特に図示していないが、上述のオブジェクト検出処理を行うための画像メモリや、図３に示したオブジェクトマップ、および図５に示した判定基準テーブルを記憶するメモリを有している。
Although not specifically shown, the
次に、この例にかかる画像処理装置１の動作について説明する。この例にかかる画像処理装置１は、以下に示す追跡処理、判定基準設定処理、および速度異常者検出処理を行う。追跡処理は、図３に示したオブジェクトマップに、処理対象フレーム画像に撮像されていた人について、この処理対象フレーム画像上における大きさＳ、および位置（ｘ、ｙ）を登録する処理である。判定基準設定処理は、図５に示した判定基準テーブルを設定する処理である。速度異常者検出処理は、撮像装置１０の撮像エリア内における移動速度が異常である人を検出する処理である。
Next, the operation of the
図６は、追跡処理を示すフローチャートである。画像処理装置１は、画像処理部３が今回処理する処理対象フレーム画像を決定する（ｓ１）。ｓ１では、動画像入力部２に入力された動画像（撮像装置１０が撮像した動画像）から、予め定められている間隔に基づいて抽出した処理対象フレーム画像であって、その時点において未処理である時間的に最もはやい処理対象フレーム画像（直前に処理した処理対象フレーム画像に対して、時間的に直後に位置する処理対象フレーム画像）を、今回処理する処理対象フレーム画像に決定する。
FIG. 6 is a flowchart showing the tracking process. The
画像処理部３は、オブジェクト検出機能部３１において、ｓ１で決定した処理対象フレーム画像に撮像されているオブジェクト（人）を検出する（ｓ２）。ｓ２では、公知の背景差分方式や、フレーム間差分方式により撮像されている人を検出し、検出した人に対して仮ＩＤを付与する。画像処理部３は、オブジェクト同定機能部３２において、ｓ２で検出した人と、この時点ですでに検出されていた人と対応づける同定処理を行う（ｓ３）。
In the object
図７は、このｓ３にかかる同定処理を示すフローチャートである。オブジェクト同定機能部３２は、ｓ２で検出した人毎に、その特徴量を抽出する（ｓ１１）。ｓ１１では、処理対象フレーム画像上における検出した人のＲＧＢの輝度値を特徴量として抽出してもよいし、目、鼻、口等の顔部品の形状や色等を特徴量として抽出してもよい。
FIG. 7 is a flowchart showing the identification processing according to s3. The object
オブジェクト同定機能部３２は、前回の処理対象フレーム画像（すなわち、今回の処理対象フレーム画像に対して、時間的に直前の処理対象フレーム画像）に撮像されていた人と、ｓ２で検出した人と、の対応付けを行う（ｓ１２）。ｓ１２では、ｓ２で検出した人毎に、その人についてｓ１１で抽出した特徴量と、前回の処理対象フレーム画像に撮像されていたそれぞれの人の特徴量（この特徴量は、前回の処理対象フレーム画像における同定処理で検出されている。）と、の類似度を算出する。例えば、図８に示すように、前回の処理対象フレーム画像において、人Ａ，人Ｂ、および人Ｃが検出されており、今回の処理対象フレーム画像において、人ａ、人ｂ、および人ｃが検出された場合、人ａについて、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。同様に、人ｂについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出し、人ｃについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。
The object
オブジェクト同定機能部３２は、ｓ２で検出した人毎に、特徴量の類似度が予め定めた閾値よりも大きい人に対応付ける。このとき、特徴量の類似度が予め定めた閾値よりも大きい人が複数人いれば、その類似度が最大であった人に対応付ける。また、特徴量の類似度が予め定めた閾値よりも大きい人がいなければ、その人については前回の処理対象フレーム画像に撮像されていた人と対応付けない。
The object
ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けた人は、仮ＩＤを破棄し、今回対応付けた人に付与されている本ＩＤを設定する。また、ｓ１２で対応付けた前回の処理対象フレーム画像に撮像されていた人に本ＩＤが付与されていなければ（仮ＩＤを保持していれば）、これらの仮ＩＤを破棄して、新たに生成した本ＩＤを設定する。また、ｓ１２で前回の処理対象フレーム画像に撮像されていた人と対応付けられなかった人は、その人に付与されている仮ＩＤを保持する。仮ＩＤを保持する人は、前回の処理対象フレーム画像の撮像タイミングから、今回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に進入した人や、前回の処理対象フレーム画像に対する処理で適正に検出されなかった人等である。
The person associated with the person imaged in the previous processing target frame image in s12 discards the temporary ID and sets the real ID assigned to the person associated this time. Also, if the real ID is not given to the person captured in the previous processing target frame image associated in s12 (if the temporary ID is held), these temporary IDs are discarded and newly added. Set the generated book ID. Moreover, the person who was not matched with the person imaged by the last process target frame image by s12 hold | maintains temporary ID provided to the person. The person holding the temporary ID is the person who entered the imaging area of the
オブジェクト同定機能部３２は、２段階同定フラグがオンされているか、オフされているかを判定する（ｓ１３）。この２段階同定フラグは、後述するように、前回の処理対象フレーム画像に撮像されていた人の中に、本ＩＤが付与されていない（仮ＩＤを保持している。）人がいる場合や、前々回の処理対象フレーム画像に撮像されていた人の中に、前回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいる場合にオンされている。
The object
オブジェクト同定機能部３２は、２段階同定フラグがオンされていると、今回の処理対象フレーム画像に撮像されていた人であって、この時点において本ＩＤが付与されていない人（ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けされなかった人）について、前々回の処理対象フレーム画像に撮像されていた人との対応付けを行う（ｓ１４）。ｓ１４では、前々回の処理対象フレーム画像に撮像されていた人であっても、前回の処理対象フレーム画像に撮像されていた人と対応付けされている人については、このｓ１４にかかる処理の対象外である。言い換えれば、前々回の処理対象フレーム画像に撮像されていた人であって、前回の処理対象フレーム画像に撮像されていた人と対応付けされなかった人が対象である。このｓ１４にかかる処理も、上述したｓ１２と同様に、特徴量の類似度を算出し、対応付けを行う。
When the two-stage identification flag is turned on, the object
オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がいるかどうか、および、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人が対応付けられなかった人がいるかどうかを判定する（ｓ１５、ｓ１６）。
The object
オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がおらず、且つ、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいなければ、２段階同定フラグをオフに設定し（ｓ１７）、その他の場合に、２段階同定フラグをオンに設定し（ｓ１８）、この同定処理を終了する。
The object
上述の同定処理を、具体的な例で説明する。まず、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に人Ｃが進入した図９に示す場合を例にして説明する。図９に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。
The above identification process will be described with a specific example. First, the case illustrated in FIG. 9 in which the person C enters the imaging area of the
図９において、人Ｃは前回の処理対象フレーム画像に対する同定処理で前々回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。したがって、前回の処理対象フレーム画像に対する同定処理が完了した時点で、人Ｃは仮ＩＤを保持した状態（本ＩＤが付与されていない状態）である。すなわち、前回の処理対象フレーム画像に対する同定処理のｓ１８で２段階同定フラグがオンに設定される。 In FIG. 9, the person C is not associated with any person captured in the previous processing target frame image in the identification processing for the previous processing target frame image. Therefore, at the time when the identification process for the previous processing target frame image is completed, the person C is in a state of holding the temporary ID (a state in which the real ID is not assigned). That is, the two-stage identification flag is set to ON in s18 of the identification process for the previous processing target frame image.
図９に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ｃが、前回の処理対象フレーム画像に撮像されている人Ｃに対応付けられた時点で、この人Ｃに対して本ＩＤが付与される。 In s12 of the identification process for the current process target frame image shown in FIG. 9, the person C imaged in the current process target frame image is associated with the person C imaged in the previous process target frame image. At this point, this person C is given a real ID.
したがって、任意のタイミングで撮像装置１０の撮像エリア内に進入してきた人Ｃに対して本ＩＤを付与し、追跡処理を適正に開始できる。
Therefore, the real ID can be given to the person C who has entered the imaging area of the
なお、図９に示す例では、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。 In the example illustrated in FIG. 9, the person A captured in the current processing target frame image is associated with the person A captured in the previous processing target frame image, and is captured in the current processing target frame image. The person B who is being associated is associated with the person B imaged in the previous processing target frame image.
次に、図１０に示す、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内から撮像エリア外へ、人Ｃが退出した場合を例にして説明する。図１０に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。
Next, the person C leaves the imaging area of the
図１０において、前々回の処理対象フレーム画像に撮像されている人Ｃは、前回の処理対象フレーム画像に対する同定処理で前回の処理対象フレーム画像に撮像されていた人に対応付けられない。このため、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。そして、図１０に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。一方、同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されている人Ｃは、今回の処理対象フレーム画像に撮像されている人と対応付けられない。 In FIG. 10, the person C captured in the previous processing target frame image is not associated with the person captured in the previous processing target frame image in the identification processing for the previous processing target frame image. For this reason, the two-stage identification flag is set to ON in s18 of the previous identification process. Then, in s12 of the identification process for the current processing target frame image shown in FIG. 10, the person A captured in the current processing target frame image is associated with the person A captured in the previous processing target frame image. The person B captured in the current processing target frame image is associated with the person B captured in the previous processing target frame image. On the other hand, in the identification process s14, the person C captured in the previous processing target frame image is not associated with the person captured in the current processing target frame image.
したがって、撮像装置１０の撮像エリア内から撮像エリア外へ退出した人Ｃに対する追跡処理が適正に終了できる。
Therefore, the tracking process for the person C who has left the imaging area of the
一方で、上述の図１０の説明において、撮像装置１０の撮像エリア内から退出したとした、人Ｃが実際には撮像エリア内から退出しておらず、図１１に示すように、前回の処理対象フレーム画像に対するオブジェクト検出処理において、何らかの原因で人Ｃが適正に検出されていなかった場合、この人Ｃは、今回の処理対象フレーム画像に撮像されているので、今回の処理対象フレーム画像に対する同定処理のｓ１２で、前回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。しかし、この人Ｃは、今回の処理対象フレーム画像に対する同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されていた人Ｃに対応付けられる。したがって、一時的に見失った人（ｓ２のオブジェクト検出処理において、何らかの原因で適正に検出できなかった人）に対する追跡処理を適正に継続できる。
On the other hand, in the description of FIG. 10 described above, the person C who has left the imaging area of the
さらに、図１２に示すように、前回の処理対象フレーム画像において、人Ａと人Ｂとが重なったため、前回の処理対象フレーム画像に対する同定処理で、前回の処理対象フレーム画像に重なって撮像されている人Ａ、人Ｂを、前々回の処理対象フレーム画像に撮像されていた人Ａ、および人Ｂに対応付けられなかった場合について説明する。この場合、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。 Further, as shown in FIG. 12, since the person A and the person B overlap in the previous process target frame image, the identification process for the previous process target frame image overlaps the previous process target frame image. A case will be described in which the person A and the person B are not associated with the person A and the person B captured in the previous processing target frame image. In this case, the two-stage identification flag is set to ON in s18 of the previous identification process.
図１２に示す例では、今回の処理対象フレーム画像に対する同定処理のｓ１４で、今回の処理対象フレーム画像に撮像されている人Ａが、前々回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、且つ今回の処理対象フレーム画像に撮像されている人Ｂが、前々回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。 In the example shown in FIG. 12, the person A captured in the current processing target frame image corresponds to the person A captured in the previous processing target frame image in s14 of the identification process for the current processing target frame image. The person B that is attached and is captured in the current processing target frame image is associated with the person B that is captured in the previous processing target frame image.
したがって、人が処理対象フレーム画像上で重なる等して、前回の処理対象フレーム画像に撮像されていた人との対応付けが適正に行えない状態が生じても、それらの人に対する追跡処理を適正に継続できる。 Therefore, even if a person overlaps on the processing target frame image, for example, a situation in which it is impossible to properly associate with the person captured in the previous processing target frame image, the tracking process for those persons is performed appropriately. Can continue.
なお、図９〜図１２において示す３つの処理対象フレーム画像は、時間的に連続する３つの処理対象フレーム画像である。 The three processing target frame images shown in FIGS. 9 to 12 are three processing target frame images that are temporally continuous.
また、上記の例では、処理対象フレーム画像間における、検出した人の対応付けを、検出した人の特徴量を用いて行うとしたが、移動方向等を用いて行うようにしてもよい。 Further, in the above example, the detected person is associated with each other between the processing target frame images using the detected person's feature amount, but may be performed using the moving direction or the like.
画像処理部３のオブジェクトマップ作成機能部３３が、ｓ３にかかる同定処理を完了すると、今回検出した人毎に、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像の位置を登録し（ｓ４）、ｓ１に戻る。
When the object map creation function unit 33 of the
このように、この例にかかる画像処理装置１では、図７に示した同定処理、特にｓ１４にかかる処理を実行することによって、一時的に見失ったオブジェクト（この例では、人）や、処理対象フレーム画像上で重なったオブジェクトについても、適正に追跡できる。
As described above, in the
次に、この例にかかる画像処理装置１の判定基準設定処理について説明する。この判定基準設定処理は、毎日午前０時等の適当なタイミングで実行する。図１３は、判定基準設定処理を示すフローチャートである。
Next, determination criterion setting processing of the
集計機能部３５は、オブジェクトマップ作成機能部３３が作成したオブジェクトマップを参照し、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の分布、および検出された人の処理対象フレーム画像上における垂直方向の変化量の分布を集計する（ｓ２１）。図１４は、ある大きさＳについて、水平方向の変化量を集計した集計結果を示す図である。図１４における横軸が水平方向の変化量であり、縦軸が頻度（オブジェクトマップから抽出された抽出数）である。
The
判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定する（ｓ２２）。ｓ２２で決定する正常範囲は、図１４に示すように、ピークを略中心にして、６０％〜７０％の変化量が含まれる範囲を正常範囲に決定する。
The determination criterion setting
判定基準設定機能部３６は、ｓ２２で処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定すると、これを図５に示した判定基準テーブルに設定し（ｓ２３）、本処理を終了する。
The determination criterion setting
なお、この例では、判定基準テーブルに、水平方向の変化量、および垂直方向の変化量を個別に設定するとしたが、時間的に連続する２つの処理対象フレーム画像間における検出された人の位置の変化量である、
（（水平方向の変化量）2＋（垂直方向の変化量）2）1/2
を設定する構成にしてもよい。
In this example, the amount of change in the horizontal direction and the amount of change in the vertical direction are individually set in the determination criterion table. However, the position of the detected person between two temporally consecutive frame images to be processed is determined. The amount of change
((Horizontal change amount) 2 + (Vertical change amount) 2 ) 1/2
It may be configured to set.
次に、速度異常者検出処理について説明する。図１５は、速度異常者検出処理を示すフローチャートである。この速度異常者検出処理は、オブジェクトマップ作成機能部３３が上述の追跡処理でｓ４を実行する毎に行う。具体的には、移動速度判定機能部３４は、オブジェクトマップ作成機能部３３が上述の追跡処理のｓ４で、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像上の位置を登録した人（以下、判定対象者と言う。）について、この速度異常者検出処理を実行する。
Next, speed abnormality person detection processing will be described. FIG. 15 is a flowchart showing a speed abnormality person detection process. This speed abnormality person detection process is performed every time the object map creation function unit 33 executes s4 in the tracking process described above. Specifically, the moving speed
移動速度判定機能部３４は，図５に示した判定基準テーブルから、判定対象者の処理対象フレーム画像上の大きさＳに応じた水平方向の変化量の正常範囲、および垂直方向の変化量の正常範囲を読み出す（ｓ３１）。
The moving speed
移動速度判定機能部３４は、判定対象者について、オブジェクトマップを参照し、処理対象フレーム画像上における水平方向変化量、および処理対象フレーム画像上における垂直方向の変化量を算出する（ｓ３２）。ｓ３２では、この判定対象者について、時間的に最新の２つの処理対象フレーム画像上における位置を用いる。
The moving speed
移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であるか、およびｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であるかを判定する（ｓ３３、ｓ３４）。移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であり、且つ、ｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であれば、速度異常者でないと判定する（ｓ３５）。一方、移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量、または処理対象フレーム画像上における垂直方向の変化量の少なくとも一方が正常範囲でなければ、速度異常者であると判定する（ｓ３６）。
The moving speed
なお、図１５は、１人の判定対象者に対して速度異常者であるかどうかを判定する処理を示しており、判定対象者が複数人存在するときには、判定対象者毎に、図１５に示す処理を繰り返す。 FIG. 15 shows a process for determining whether or not a single determination target person is a speed abnormality person. When there are a plurality of determination target persons, FIG. Repeat the process shown.
画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知する。
When the movement speed
このように、この画像処理装置１は、撮像装置１０が撮像した動画像から抽出した処理対象フレーム画像を処理して検出した人について、その人の実空間上の位置を算出することなく、速度異常者であるかどうかを判定する。したがって、画像処理装置の処理負荷が大幅に低減でき、装置本体のコストダウンが図れる。また、撮像装置１０の設置時に、撮像される処理対象フレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定する必要が無く、撮像装置１０の設置作業が簡単に行える。
As described above, the
また、この画像処理装置１は、図１３に示した判定基準設定処理により、図５に示した判定基準テーブルに設定された判定基準を用いて、速度異常者であるかどうかを判定する。したがって、撮像装置１０の撮像エリアの環境に応じて、速度異常者であるかどうかを適正に判定することができる。
Further, the
また、上記の例では、画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知するとしたが、端末装置からの要求に応じて、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分の動画像を端末装置に送信するようにしてもよい。動画像入力部２に入力された動画像において、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分は、図３に示したオブジェクトマップから得られる。具体的には、ｓ３６で速度異常者であると判定した判定対象者の本ＩＤを用いて、オブジェクトマップを検索することにより、この本ＩＤにかかる判定対象者が最初に撮像されていた処理対象フレーム画像と、最後に撮像されていた処理対象フレーム画像とを特定することができる。画像処理装置１は、速度異常者であると判定した判定対象者が最初に撮像されていた処理対象フレーム画像の直前の処理フレーム画像から、最後に撮像されていた処理対象フレーム画像の直後の処理対象フレーム画像までの動画部分（この間に位置する全てのフレーム画像）を端末装置に送信する。
Further, in the above example, when the moving speed
また、画像処理装置１は、ｓ３６で速度異常者であると判定した判定対象者毎に、その判定対象者（速度異常者）が撮像されているフレーム画像を端末装置に送信し、端末装置において、動画像の送信を画像処理装置１に要求する速度異常者の選択が簡単に行えるようにしてもよい。具体的には、オペレータが、端末装置において速度異常者が撮像されているいずれかのフレーム画像を選択すると、端末装置が選択されたフレーム画像に撮像されている速度異常者が撮像されている動画像の送信を画像処理装置１に要求する構成にしてもよい。
Further, the
また、上記の例では、検出対象のオブジェクトを人としたが、車両等の他の種類の移動体であってもよい。 In the above example, the object to be detected is a person, but other types of moving bodies such as vehicles may be used.
１−画像処理装置
２−動画像入力部
３−画像処理部
４−出力部
１０−撮像装置
３１−オブジェクト検出機能部
３２−オブジェクト同定機能部
３３−オブジェクトマップ作成機能部
３４−移動速度判定機能部
３５−集計機能部
３６−判定基準設定機能部
1-Image processing device 2-Moving image input unit 3-Image processing unit 4-Output unit 10-Imaging device 31-Object detection function unit 32-Object identification function unit 33-Object map creation function unit 34-Movement speed determination function unit 35-Aggregating function unit 36-Criteria setting function unit
Claims (9)
前記動画像入力部に入力された動画像にかかるフレーム画像を処理し、前記対象エリア内におけるオブジェクトの移動を追跡するオブジェクト追跡部と、
フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計する集計部と、
予め定めたタイミングで、前記集計部が集計した集計結果に基づき、フレーム画像上におけるオブジェクトの大きさ別に、オブジェクトの移動速度が正常であるかどうかの判定に用いるフレーム画像間におけるオブジェクトの位置の変化量である判定基準を対応付けた判定基準テーブルを繰り返し設定する判定基準設定部と、
前記オブジェクト追跡部が追跡したオブジェクトについて、前記判定基準テーブルに設定されている当該オブジェクトのフレーム画像上における大きさに対応する前記判定基準と、当該オブジェクトのフレーム画像間における位置の変化量とを比較して、移動速度が正常であるかどうかを判定する移動速度判定部と、を備えた画像処理装置。 A moving image input unit to which a moving image in which the imaging device captures the target area is input;
An object tracking unit that processes a frame image applied to the moving image input to the moving image input unit and tracks movement of the object in the target area;
A totaling unit that counts the amount of change in the position of the object between the frame images according to the size of the object on the frame image;
Changes in the position of the object between the frame images used for determining whether the moving speed of the object is normal or not according to the size of the object on the frame image based on the result of the aggregation by the aggregation unit at a predetermined timing A determination criterion setting unit that repeatedly sets a determination criterion table that associates a determination criterion that is a quantity;
For the object tracked by the object tracking unit, the determination criterion corresponding to the size of the object on the frame image set in the determination criterion table is compared with the amount of change in the position of the object between the frame images. An image processing apparatus comprising: a moving speed determination unit that determines whether the moving speed is normal.
時間的に連続する３つの処理対象フレーム画像において、時間的に最も早い処理対象フレーム画像に撮像されていたオブジェクトの中に、時間的に中間に位置する処理対象フレーム画像に撮像されていたオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトとの対応付けを行い、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトを対応付けることができなかった前記第１の未対応付オブジェクトを前記対象エリアの外側に移動したオブジェクトであると判定する第１判定処理、および、Among the three target frame images that are temporally continuous, the object that was captured in the target frame image that is located in the middle in time among the objects that were captured in the earliest temporal frame image. When there is a first non-corresponding object that could not be associated, the first uncorresponding object is associated with an object that has been imaged in the latest processing target frame image. First determination processing for determining that the first non-corresponding object that has not been associated with the object frame image that is the latest processing target frame image is an object that has moved outside the target area ,and,
時間的に連続する３つの処理対象フレーム画像において、時間的に中間に位置する処理対象フレーム画像に撮像されていたオブジェクトの中に、時間的に最も早い処理対象フレーム画像に撮像されていたオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトとの対応付けを行い、時間的に最も遅い処理対象フレーム画像に撮像されていたオブジェクトを対応付けることができた前記第２の未対応付オブジェクトを前記対象エリアの内側に移動してきたオブジェクトであると判定する第２判定処理、を実行する、請求項４〜６のいずれかに記載の画像処理装置。Among the three target frame images that are temporally continuous, the object that was captured in the earliest temporal frame image among the objects that were captured in the temporal target frame image When there is a second non-corresponding object that could not be associated, the second uncorresponding object is associated with the object imaged in the latest processing target frame image. Second determination processing for determining that the second non-corresponding object that can be associated with the object that has been captured in the latest processing target frame image is an object that has moved to the inside of the target area The image processing apparatus according to claim 4, wherein:
フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計する集計ステップと、
予め定めたタイミングで、前記集計ステップで集計した集計結果に基づき、フレーム画像上におけるオブジェクトの大きさ別に、オブジェクトの移動速度が正常であるかどうかの判定に用いるフレーム画像間におけるオブジェクトの位置の変化量である判定基準を対応付けた判定基準テーブルを繰り返し設定する判定基準設定ステップと、
前記オブジェクト追跡ステップが追跡したオブジェクトについて、前記判定基準テーブルに設定されている当該オブジェクトのフレーム画像上における大きさに対応する前記判定基準と、当該オブジェクトのフレーム画像間における位置の変化量とを比較して、移動速度が正常であるかどうかを判定する移動速度判定ステップと、をコンピュータが実行する移動速度判定方法。 An object tracking step of processing a frame image applied to a moving image obtained by capturing an image of the target area with an imaging device, input to the moving image input unit, and tracking the movement of the object in the target area;
A totaling step for totalizing the amount of change in the position of the object between the frame images according to the size of the object on the frame image;
Changes in the position of the object between the frame images used for determining whether or not the moving speed of the object is normal for each size of the object on the frame image based on the result of the aggregation in the aggregation step at a predetermined timing A determination criterion setting step for repeatedly setting a determination criterion table in which a determination criterion that is a quantity is associated;
For the object tracked by the object tracking step, the determination criterion corresponding to the size of the object on the frame image set in the determination criterion table is compared with the amount of change in the position of the object between the frame images. And a moving speed determining method for determining whether or not the moving speed is normal, and a moving speed determining method in which the computer executes .
フレーム画像上におけるオブジェクトの大きさ別に、フレーム画像間におけるオブジェクトの位置の変化量を集計する集計ステップと、
予め定めたタイミングで、前記集計ステップで集計した集計結果に基づき、フレーム画像上におけるオブジェクトの大きさ別に、オブジェクトの移動速度が正常であるかどうかの判定に用いるフレーム画像間におけるオブジェクトの位置の変化量である判定基準を対応付けた判定基準テーブルを繰り返し設定する判定基準設定ステップと、
前記オブジェクト追跡ステップが追跡したオブジェクトについて、前記判定基準テーブルに設定されている当該オブジェクトのフレーム画像上における大きさに対応する前記判定基準と、当該オブジェクトのフレーム画像間における位置の変化量とを比較して、移動速度が正常であるかどうかを判定する移動速度判定ステップと、をコンピュータに実行させる移動速度判定プログラム。 An object tracking step of processing a frame image applied to a moving image obtained by capturing an image of the target area with an imaging device, input to the moving image input unit, and tracking the movement of the object in the target area;
A totaling step for totalizing the amount of change in the position of the object between the frame images according to the size of the object on the frame image;
Changes in the position of the object between the frame images used for determining whether or not the moving speed of the object is normal for each size of the object on the frame image based on the result of the aggregation in the aggregation step at a predetermined timing A determination criterion setting step for repeatedly setting a determination criterion table in which a determination criterion that is a quantity is associated;
For the object tracked by the object tracking step, the determination criterion corresponding to the size of the object on the frame image set in the determination criterion table is compared with the amount of change in the position of the object between the frame images. to, moving speed determining program for executing a moving speed determining step of determining whether the moving speed is normal, to the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014056995A JP6337544B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus, moving speed determination method, and moving speed determination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014056995A JP6337544B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus, moving speed determination method, and moving speed determination program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015179438A JP2015179438A (en) | 2015-10-08 |
| JP6337544B2 true JP6337544B2 (en) | 2018-06-06 |
Family
ID=54263422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014056995A Active JP6337544B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus, moving speed determination method, and moving speed determination program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6337544B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274625A (en) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | Moving object tracking method for monitor image |
| JPH07192136A (en) * | 1993-11-22 | 1995-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Object tracking method and device |
| JP5155110B2 (en) * | 2008-11-17 | 2013-02-27 | 株式会社日立国際電気 | Monitoring device |
| JP5569062B2 (en) * | 2010-03-15 | 2014-08-13 | オムロン株式会社 | Gesture recognition device, method for controlling gesture recognition device, and control program |
| JP5484184B2 (en) * | 2010-04-30 | 2014-05-07 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP5400718B2 (en) * | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | Monitoring system and monitoring method |
| JP5960691B2 (en) * | 2012-02-23 | 2016-08-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Interest section identification device, interest section identification method, interest section identification program |
-
2014
- 2014-03-19 JP JP2014056995A patent/JP6337544B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015179438A (en) | 2015-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
| US20190325229A1 (en) | Target object identifying device, target object identifying method and target object identifying program | |
| US20180115749A1 (en) | Surveillance system and surveillance method | |
| JP6362674B2 (en) | Video surveillance support apparatus, video surveillance support method, and program | |
| JP6233624B2 (en) | Information processing system, information processing method, and program | |
| US20180268224A1 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
| US9621857B2 (en) | Setting apparatus, method, and storage medium | |
| US9891798B2 (en) | Face image tracking system | |
| JPWO2014155958A1 (en) | Object monitoring system, object monitoring method and monitoring object extraction program | |
| WO2017092269A1 (en) | Passenger flow information collection method and apparatus, and passenger flow information processing method and apparatus | |
| WO2020179730A1 (en) | Information processing device, information processing method, and program | |
| EP2966591A1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
| WO2017064838A1 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
| JP2017220151A (en) | Information processing unit, information processing method, and program | |
| JP5758165B2 (en) | Article detection device and stationary person detection device | |
| US10783365B2 (en) | Image processing device and image processing system | |
| JP6337545B2 (en) | Image processing apparatus, tracking method, and tracking program | |
| JPWO2016038872A1 (en) | Information processing apparatus, display method, and computer program | |
| JP6301759B2 (en) | Face identification device and program | |
| US11074696B2 (en) | Image processing device, image processing method, and recording medium storing program | |
| JP2016207185A (en) | Movement determination device, movement determination method, and movement determination program | |
| JP7327923B2 (en) | Information processing device, information processing method, system and program | |
| JP6337544B2 (en) | Image processing apparatus, moving speed determination method, and moving speed determination program | |
| WO2014122879A1 (en) | Analysis processing system | |
| JP2014191479A (en) | Face recognition device, image pickup device, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6337544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |