JP4268953B2 - Motion detection apparatus and program thereof - Google Patents
Motion detection apparatus and program thereof Download PDFInfo
- Publication number
- JP4268953B2 JP4268953B2 JP2005131362A JP2005131362A JP4268953B2 JP 4268953 B2 JP4268953 B2 JP 4268953B2 JP 2005131362 A JP2005131362 A JP 2005131362A JP 2005131362 A JP2005131362 A JP 2005131362A JP 4268953 B2 JP4268953 B2 JP 4268953B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- pixel
- value
- pixel value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、映像中の動き領域を検出するための動き検出装置およびそのプログラムに関する。 The present invention relates to a motion detection device and a program for detecting a motion region in a video.
ユビキタスという言葉が一般に利用されているように、日常生活のさまざまな場面においてコンピュータが利用できる環境が整いつつある。このようなコンピュータが遍在しユーザの実世界の作業を支援するような環境を構築するために、特に、実世界中の動きといったリアルタイムでの状況・状態を検出、認識するための技術が求められている。 As the term ubiquitous is commonly used, an environment where computers can be used in various situations of daily life is being prepared. In order to build an environment in which such computers are ubiquitous and support users' real-world work, in particular, technology for detecting and recognizing real-time situations and conditions such as movements in the real world is required. It has been.
これらの問題を鑑み、画像情報を利用して映像中の動きを検出する技術が提供されている。これらの従来技術としては、画像差分による方法が知られている。ここで特に問題となるのは、移動物体と背景との間の輝度差や色度信号差が、撮影環境などの要因で変化してしまうことである。 In view of these problems, a technique for detecting motion in a video using image information has been provided. As these conventional techniques, a method based on image difference is known. A particular problem here is that the luminance difference and chromaticity signal difference between the moving object and the background change due to factors such as the shooting environment.
例えば、同一の移動物体と背景であっても、環境光（照明）の強度が強くなれば、移動物体と背景との間の輝度差が大きくなり、環境光（照明）の強度が弱くなれば、移動物体と背景との間の輝度差が小さくなる。これは、移動物体の誤検出の原因となる。こうした例として、検出対象領域に影などが含まれた場合の問題について解決を試みた例が知られている（例えば、特許文献１参照）。この文献に記載される装置では、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を考慮することにより、検出対象領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合に対応ができるとしている。 For example, even with the same moving object and background, if the intensity of ambient light (illumination) increases, the brightness difference between the moving object and the background increases, and the intensity of ambient light (illumination) decreases. The brightness difference between the moving object and the background is reduced. This causes erroneous detection of a moving object. As such an example, an example of trying to solve a problem in the case where a shadow or the like is included in the detection target region is known (see, for example, Patent Document 1). In the apparatus described in this document, by taking into account images with low appearance frequency such as shadows that move with moving objects and specular reflection images due to the floor surface, specular reflection images due to shadows and floor surfaces in the detection target area, belongings, etc. It is said that it can cope with accidental deformation caused by
しかしながら、上記従来の技術では、物体が移動することによる影や鏡面反射などの変化しか考慮しておらず、撮影される環境の照明条件や撮影に利用するカメラの光電変換特性などにより、入力される輝度や色度信号差が変化した場合に正しく映像中の動き領域を検出できないという欠点があった。近年、ＷＥＢカメラなど比較的安価で利用されやすいカメラの性能はそれほど高くなく、こうした欠点が、実環境での動き領域の検出を非常に難しくしている。
本発明は、上記従来技術の問題点に鑑みてなされたもので、映像中の動き領域を検出するための動き検出装置、特に、撮影条件、撮影環境、カメラの光電変換特性、及び時間方向に対してノイズにロバストな動き検出装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and is a motion detection device for detecting a motion region in a video, particularly in shooting conditions, shooting environment, camera photoelectric conversion characteristics, and time direction. An object of the present invention is to provide a motion detection device and a program robust to noise.
この目的を達成するため、本発明に係る動き検出装置は、撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力手段と、前記映像入力手段にて格納された複数のフレーム画像群から動きパターン画像を生成する動き検出手段と、前記動き検出手段にて生成された動きパターン画像から動き領域または動き方向を含む動き情報を算出する動き情報算出手段と、前記動き情報算出手段における動き情報の算出結果を、前記映像入力手段にて入力された各フレーム画像に対応させて出力する動き情報出力手段とを備える。 In order to achieve this object, a motion detection device according to the present invention inputs video including captured motion, stores video data in a memory, and a plurality of video data stored in the video input device. Motion detection means for generating a motion pattern image from a group of frame images, motion information calculation means for calculating motion information including a motion region or a motion direction from the motion pattern image generated by the motion detection means, and the motion information Motion information output means for outputting a motion information calculation result in the calculation means in correspondence with each frame image input by the video input means.
上記の動き検出手段の好適な態様では、前記映像入力手段にて格納された複数のフレーム画像群のうち、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を順番に取得する手段と、取得した各画素値を対数変換する手段と、変換された値の遷移から時間微分値を算出する手段と、算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する。この態様によれば、画素値の対数変換の時間微分値を判定対象とすることで、撮影条件や撮影環境、及びカメラの光電変換特性にロバストに動きを検出することができる。更に、最新のものから複数のフレーム画像を対象とすることで、時間方向に対してのノイズ耐性も向上させることができる。 In a preferred aspect of the above motion detection means, means for reading out, from the memory, frame images corresponding to the number of detection target frames set in advance from the latest one among a plurality of frame image groups stored in the video input means. And means for sequentially obtaining pixel values at the same pixel position of all frame images, means for logarithmically converting each of the obtained pixel values, and time from transition of the converted values for all pixel positions of the acquired frame image. Means for calculating the differential value, means for setting the order number of the frame image from which the pixel value is obtained when the calculated time differential value satisfies a threshold value, and evaluation of all pixel positions Means for generating a motion pattern image having a pixel value as a value. According to this aspect, by using the time differential value of the logarithmic conversion of the pixel value as a determination target, it is possible to detect motion robustly in the imaging conditions, the imaging environment, and the photoelectric conversion characteristics of the camera. Furthermore, noise tolerance in the time direction can be improved by targeting a plurality of frame images from the latest one.
また、動き検出手段の別の好適な態様では、前記映像入力手段にて格納された複数のフレーム画像群のうち、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を順番に取得する手段と、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める手段と、求めた比の値をフレーム間の時間間隔で除算する手段と、除算した値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する。この態様によれば、画素値の対数変換を利用することなく、画素値の比の値をフレーム間の時間間隔で除算した結果に基づき評価値を求めても同様の効果が得られる。 In another preferred aspect of the motion detection means, frame images corresponding to the number of detection target frames set in advance from the latest one among a plurality of frame image groups stored in the video input means are stored from the memory. A means for reading out, a means for sequentially obtaining pixel values at the same pixel position of all frame images for all pixel positions of the obtained frame image, a pixel value of the pixel of the obtained frame image, and a corresponding frame image immediately thereafter Among the pixel values of a pixel, a means for obtaining a ratio of a larger pixel value to a smaller pixel value, a means for dividing the obtained ratio value by a time interval between frames, and the divided value satisfies a threshold value In addition, a means for setting the order number of the frame image from which the pixel value has been acquired as an evaluation value for the pixel position and a motion pattern image having the evaluation value for all pixel positions as the pixel value are generated. And a means. According to this aspect, the same effect can be obtained even if the evaluation value is obtained based on the result of dividing the pixel value ratio by the time interval between frames without using the logarithmic conversion of the pixel value.
また、動き情報算出手段の別の好適な態様では、入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する手段とを有する。この態様によれば、時間に対しての動き方向を算出することができる。 In another preferred mode of the motion information calculation means, for all pixels to which the pixel value of the input motion pattern image is assigned, the pixel value is set to the pixel to which the pixel value is assigned among the adjacent 8 pixels. Means for calculating the decreasing direction, and means for calculating the motion direction of each motion region by taking the average of the directions for all the calculated pixels. According to this aspect, the movement direction with respect to time can be calculated.
以上説明したように、本発明によれば、上記構成によると、映像中の動き領域を検出することができ、撮影条件、撮影環境、カメラの光電変換特性を原因とするノイズや、時間方向に関するノイズに対してロバストな装置およびプログラムを提供することができる。 As described above, according to the present invention, according to the above-described configuration, a motion region in a video can be detected, and it is related to shooting conditions, shooting environment, noise caused by camera photoelectric conversion characteristics, and time direction. It is possible to provide a device and a program that are robust against noise.
以下、本発明の実施形態について図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本実施形態による動き検出装置の機能ブロック図を示す。図１に示すように、本装置は、映像入力部１、動き検出部２、動き情報算出部３、動き情報出力部４から構成されている。 FIG. 1 is a functional block diagram of a motion detection device according to the present embodiment. As shown in FIG. 1, the apparatus includes a video input unit 1, a motion detection unit 2, a motion information calculation unit 3, and a motion information output unit 4.
映像入力部１では、撮影された動きを含む映像を入力し、各フレーム画像をメモリ５に格納する。この入力される画像は、ＣＣＤを撮像素子として用いたカメラなどを利用する。また、動き情報出力部４では、前記動き情報算出部３における動き情報の算出結果に基づき、前記映像入力部１にて格納された各フレーム画像に対して動き情報を付与し、出力する。この動き情報は、対象とした映像中の各フレーム画像における動き領域、及び動き方向を含む情報であれば、特に制限されるものではなく、本装置の動き検出部２にて生成された動きパターン画像といった情報や通常の画像処理で得られた情報を含むことができる。 In the video input unit 1, a video including captured motion is input and each frame image is stored in the memory 5. The input image uses a camera using a CCD as an image sensor. The motion information output unit 4 adds and outputs motion information to each frame image stored in the video input unit 1 based on the motion information calculation result in the motion information calculation unit 3. The motion information is not particularly limited as long as it is information including a motion region and a motion direction in each frame image in the target video, and the motion pattern generated by the motion detection unit 2 of the present apparatus. Information such as images and information obtained by normal image processing can be included.
図２は、動き検出部２のブロック構成図を示す。フレーム画像読み出し部１１は、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す。画素値取得部１２は、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する。対数変換部１３は、取得した各画素値を対数変換する。時間微分算出部１４は、変換された値の遷移から時間微分値を算出する。評価値設定部１５は、算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする。パターン画像生成部１６は、全画素位置の評価値を画素値とする動きパターン画像を生成する。この構成とする動き検出部２では、映像入力部にて格納された複数のフレーム画像群から動きパターン画像を生成する。 FIG. 2 shows a block configuration diagram of the motion detector 2. The frame image reading unit 11 reads frame images for the number of detection target frames set in advance from the latest one from the memory. The pixel value acquisition unit 12 acquires the pixel values at the same pixel position of all frame images in order from the latest one for all pixel positions of the acquired frame image. The logarithmic conversion unit 13 performs logarithmic conversion on each acquired pixel value. The time derivative calculation unit 14 calculates a time derivative value from the transition of the converted value. When the calculated time differential value satisfies the threshold value, the evaluation value setting unit 15 sets the order number of the frame image from which the pixel value is acquired as the evaluation value of the pixel position. The pattern image generation unit 16 generates a motion pattern image having the evaluation values at all pixel positions as pixel values. In the motion detection unit 2 configured as described above, a motion pattern image is generated from a plurality of frame image groups stored in the video input unit.
図３は、図２にブロック構成で示す動き検出部２の動作を示すフローチャートである。以下、この流れに従って詳細に説明する。 FIG. 3 is a flowchart showing the operation of the motion detector 2 shown in the block configuration of FIG. Hereinafter, it demonstrates in detail according to this flow.
[ステップ１]あらかじめ設定されている検出対象フレーム数Ｎを取得する。 [Step 1] A preset number N of detection target frames is acquired.
[ステップ２]入力された映像のフレーム間の時間間隔（フレームレート）ｔを取得する。 [Step 2] A time interval (frame rate) t between frames of the input video is acquired.
[ステップ３]最新のものから順に該フレーム数分のフレーム画像をＩ（１），Ｉ（２），…,Ｉ（Ｎ）としてメモリから読み込む。 [Step 3] Frame images corresponding to the number of frames are read from the memory as I (1), I (2),.
[ステップ４]全フレーム画像Ｉ（ｎ）の同じ画素位置（ｘ,ｙ）の画素値ｐ（ｘ,ｙ,ｎ）を最新のものから順番に取得する。Ｐ＝{ｐ（ｘ,ｙ,１）,ｐ（ｘ,ｙ,２）,…,ｐ（ｘ,ｙ,Ｎ）}
[ステップ５]取得した各画素値を対数変換する。ｌｏｇＰ＝{ｌｏｇ（ｐ（ｘ,ｙ,１））,ｌｏｇ（ｐ（ｘ,ｙ,２））,…,ｌｏｇ（ｐ（ｘ,ｙ,Ｎ））}
[ステップ６]変換された値の遷移から微分値を算出する。
[Step 4] The pixel values p (x, y, n) at the same pixel position (x, y) of all frame images I (n) are acquired in order from the latest. P = {p (x, y, 1), p (x, y, 2), ..., p (x, y, N)}
[Step 5] Each acquired pixel value is logarithmically converted. logP = {log (p (x, y, 1)), log (p (x, y, 2)), ..., log (p (x, y, N))}
[Step 6] A differential value is calculated from the transition of the converted value.
ｄ（ｌｏｇＰ）／ｄｔ＝{｛ｌｏｇ（ｐ（ｘ,ｙ,１））−ｌｏｇ（ｐ（ｘ,ｙ,２））｝
／ｔ，…，{ｌｏｇ（ｐ（ｘ,ｙ,Ｎ−１））−ｌｏｇ（ｐ（ｘ,ｙ,Ｎ））}／ｔ｝
［ステップ７］算出された微分値が閾値を満たす場合、すなわち、算出された微分値の絶対値が所定の閾値以上となる場合、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする。
d (logP) / dt = {{log (p (x, y, 1))-log (p (x, y, 2))}
/T,...,{log(p(x,y,N-1))-log(p(x,y,N))}/t}
[Step 7] When the calculated differential value satisfies the threshold value, that is, when the absolute value of the calculated differential value is equal to or greater than the predetermined threshold value, the number of the order of the frame image from which the pixel value is acquired is set to the pixel position. The evaluation value of
［ステップ８］取得したフレーム画像の全画素位置について、［ステップ４］〜［ステップ７］の処理を繰り返す。 [Step 8] The processing of [Step 4] to [Step 7] is repeated for all pixel positions of the acquired frame image.
［ステップ９］全画素位置の評価値を画素値とする動きパターン画像を生成する。 [Step 9] A motion pattern image is generated with the evaluation values at all pixel positions as pixel values.
このとき、［ステップ７］では、最新のものから順に検査し、閾値を満たした時点で評価値を設定し、処理を［ステップ８］に移す。すなわち、複数のフレーム画像について、閾値を満たす場合でも、それらのフレーム画像の順番の番号のうち、最小のものを評価値として設定する。また、閾値を満たさなかった場合には、評価値を０と設定する。また、利用する閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。 At this time, in [Step 7], the latest items are inspected in order, an evaluation value is set when the threshold value is satisfied, and the process proceeds to [Step 8]. That is, even when the threshold value is satisfied for a plurality of frame images, the smallest one of the order numbers of the frame images is set as the evaluation value. If the threshold is not satisfied, the evaluation value is set to 0. In addition, the threshold value to be used may be determined in advance, or may be dynamically calculated using a statistically calculated value such as an average value, a frequency, a deviation value, and the like. Since the method is not particularly different from the conventional method, detailed description thereof is omitted here.
以上の処理になる動き検出部２の補足説明をする。一般に、画像における各画素の値は、環境光（照明）の強度と被写体の反射率とカメラの光電変換特性（効率）に関する係数との積として表すことができる。ここで、対象とする映像のフレーム間の時間間隔が短い場合には、環境光の強度とカメラの光電変換の特性に関する係数は、あるフレーム画像とその直後のフレーム画像との間でほぼ一定と見なせる。したがって、取得したフレーム画像の画素の画素値を対数変換した値から、その直後のフレーム画像の対応する画素の画素値を対数変換した値を減算することによって、各画素値に含まれている環境光の強度とカメラの光電変換特性に関する係数が相殺され、減算結果の絶対値の大小によって、物体の移動に起因する被写体の反射率の変化のみを検出することが可能となる。 A supplementary explanation of the motion detection unit 2 that performs the above processing will be given. In general, the value of each pixel in an image can be expressed as a product of the intensity of ambient light (illumination), the reflectance of a subject, and a coefficient relating to photoelectric conversion characteristics (efficiency) of the camera. Here, when the time interval between the frames of the target video is short, the coefficient relating to the intensity of the ambient light and the photoelectric conversion characteristic of the camera is substantially constant between a certain frame image and the immediately following frame image. Can be considered. Therefore, the environment included in each pixel value is obtained by subtracting the value obtained by logarithmically converting the pixel value of the corresponding pixel of the immediately subsequent frame image from the value obtained by logarithmically converting the pixel value of the pixel of the acquired frame image. The coefficient relating to the light intensity and the photoelectric conversion characteristic of the camera is offset, and only the change in the reflectance of the subject due to the movement of the object can be detected based on the magnitude of the absolute value of the subtraction result.
また、対象とする映像がネットワークを介して入力されるような場合には、伝送システムの遅延等によって、フレーム画像の欠落が生じる可能性がある。そこで、本実施形態では、ステップ１で対象とする映像を入力する度に、ステップ２において、入力された映像のフレーム間の時間間隔ｔを取得するようにしている。そして、画素値を対数変換した値の減算結果をこのフレーム間の時間間隔ｔで除算することにより、単位時間当たりの被写体の反射率の変化を、画素値を対数変換した値の時間微分として求めるようにしている（ステップ５，６）。これにより、ステップ７において、本来は閾値以下のわずかな被写体の反射率の変化が、フレーム画像の欠落によって、大きな変化として誤検出されることを防いでいる。 Further, when a target video is input via a network, a frame image may be lost due to a delay in the transmission system or the like. Therefore, in this embodiment, every time the target video is input in Step 1, the time interval t between frames of the input video is acquired in Step 2. Then, by subtracting the result of logarithmically converting the pixel value by the time interval t between the frames, the change in the reflectance of the subject per unit time is obtained as the time derivative of the value obtained by logarithmically converting the pixel value. (Steps 5 and 6). Accordingly, in step 7, a slight change in the reflectance of the subject that is originally equal to or less than the threshold is prevented from being erroneously detected as a large change due to a missing frame image.
これにより、本実施形態では、撮影条件、撮影環境、カメラの光電変換特性を原因とするノイズや、時間方向に関するノイズに対してロバストな装置を提供することができる。 Thereby, in the present embodiment, it is possible to provide a device that is robust against noise caused by shooting conditions, shooting environment, camera photoelectric conversion characteristics, and noise in the time direction.
なお、図２または図３では、画素値を対数変換した値の時間微分に基づき評価値を求めている。しかし、対数変換を利用することなく、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さい方の画素値に対する大きい方の画素値の比を求め、求めた比の値をフレーム間の時間間隔ｔで除算した結果に基づき評価値を求めても、全く同様の結果が得られることは自明である。この場合、時間間隔ｔで除算した結果が所定の閾値以上となる場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とすればよい。このときのブロック構成を図４に示し、図２と異なる部分は、対数変換部１３に代えて、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める画素値比算出部１３Ａと、時間微分算出部１４に代えて、求めた比の値をフレーム間の時間間隔で除算する時間微分算出部１４Ａになる。 In FIG. 2 or FIG. 3, the evaluation value is obtained based on time differentiation of a value obtained by logarithmically converting the pixel value. However, without using logarithmic transformation, the ratio of the larger pixel value to the smaller pixel value of the pixel value of the pixel of the acquired frame image and the pixel value of the corresponding pixel of the immediately following frame image is obtained. It is obvious that the same result can be obtained even if the evaluation value is obtained based on the result of dividing the obtained ratio value by the time interval t between frames. In this case, when the result of dividing by the time interval t is equal to or greater than a predetermined threshold, the order number of the frame image from which the pixel value is acquired may be used as the evaluation value of the pixel position. The block configuration at this time is shown in FIG. 4, and the difference from FIG. 2 is that instead of the logarithmic conversion unit 13, the pixel value of the pixel of the acquired frame image and the pixel value of the corresponding pixel of the frame image immediately after that Instead of the pixel value ratio calculation unit 13A for obtaining the ratio of the larger pixel value to the smaller pixel value and the time differentiation calculation unit 14, the time differentiation calculation for dividing the obtained ratio value by the time interval between frames. Part 14A.
次に、図５は、動き情報算出部３のブロック構成図を示す。領域抽出部２１は、動きパターン画像を入力し、入力した動きパターン画像から、画素値が割り当てられた画素が連続して存在している領域を抽出する。動き領域決定部２２は、該領域のサイズが閾値を満たす場合に、動き領域と決定する。画素値減少方向算出部２３は、入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する。全画像領域の動き方向設定部２４は、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する。各動き領域の動き方向設定部２５は、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する。この構成とする動き情報算出部３では、動き検出部にて生成された動きパターン画像から動き領域、及び動き方向を含む動き情報を算出する。 Next, FIG. 5 shows a block diagram of the motion information calculation unit 3. The region extraction unit 21 receives a motion pattern image, and extracts a region where pixels assigned pixel values are continuously present from the input motion pattern image. The motion region determination unit 22 determines a motion region when the size of the region satisfies a threshold value. The pixel value decrease direction calculation unit 23 calculates a direction in which the pixel value decreases with respect to the pixel to which the pixel value is assigned among all the adjacent 8 pixels to which the pixel value of the input motion pattern image is assigned. To do. The motion direction setting unit 24 for all image regions calculates the motion direction of each motion region by taking the average of the directions for all the calculated pixels. The motion direction setting unit 25 for each motion region calculates the motion direction of each motion region by taking the average of the directions for all the calculated pixels. The motion information calculation unit 3 configured as described above calculates motion information including a motion region and a motion direction from the motion pattern image generated by the motion detection unit.
図６は、図５にブロック構成で示す動き情報算出部３の動作を示すフローチャートである。以下、この流れに従って詳細に説明する。 FIG. 6 is a flowchart showing the operation of the motion information calculation unit 3 shown in the block configuration in FIG. Hereinafter, it demonstrates in detail according to this flow.
［ステップ１１］動きパターン画像を入力する。 [Step 11] A motion pattern image is input.
［ステップ１２］入力した動きパターン画像から、０以外の画素値が割り当てられた画素が連続して存在している矩形領域を抽出する。例えば、図７に示すように、３つのフレーム画像６０１〜６０３中で球が動いている場合、フレーム画像６０４中に示す波線で囲まれた領域が矩形領域になる。 [Step 12] From the input motion pattern image, a rectangular area in which pixels to which pixel values other than 0 are assigned continuously exists is extracted. For example, as shown in FIG. 7, when a sphere moves in three frame images 601 to 603, a region surrounded by a wavy line shown in the frame image 604 becomes a rectangular region.
［ステップ１３］該矩形領域のサイズが閾値を満たす場合、すなわち、矩形領域のサイズが所定の第１の閾値以上（かつ、必要に応じて、所定の第２の閾値以下）となる場合に、動き領域と決定する。 [Step 13] When the size of the rectangular area satisfies a threshold value, that is, when the size of the rectangular area is equal to or larger than a predetermined first threshold value (and, if necessary, equal to or smaller than a predetermined second threshold value), Determined as a motion area.
［ステップ１４］入力した動きパターン画像の０以外の画素値が割り当てられた全画素について、隣接する８画素のうち、０以外の画素値が割り当てられた画素に対して画素値が減少する方向を算出する。 [Step 14] For all pixels to which a pixel value other than 0 is assigned in the input motion pattern image, a direction in which the pixel value decreases with respect to a pixel to which a pixel value other than 0 is assigned among the adjacent 8 pixels. calculate.
［ステップ１５］算出された全画素に対する方向の平均をとり、全画像領域の動き方向とする。 [Step 15] The average of the directions for all the calculated pixels is taken as the movement direction of the entire image area.
［ステップ１６］検出された各動き領域内の全画素に対する方向の平均をとり、各動き領域の動き方向とする。 [Step 16] The average of the directions for all the pixels in each detected motion region is taken as the motion direction of each motion region.
ここで、矩形領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、矩形領域に限らず、円形領域や楕円形領域とすることでもよい。また、利用する閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。 Here, the process of extracting the rectangular area is the same as the area division process used in normal image processing, and these techniques are not particularly different from the conventional techniques, and thus detailed description thereof is omitted here. To do. Moreover, not only a rectangular area but a circular area or an elliptical area may be used. In addition, the threshold value to be used may be determined in advance, or may be dynamically calculated using a statistically calculated value such as an average value, a frequency, a deviation value, and the like. Since the method is not particularly different from the conventional method, detailed description thereof is omitted here.
以上の処理になる動き情報算出部３の補足説明をする。各画素毎に物体の移動を判定しようとすると、その判定結果がノイズの影響を大きく受けてしまうという問題が生じる。そこで、本実施形態では、検出の対象である移動体がある有限な大きさを有しているはずであることに着目し、ステップ１２において、動きパターン画像から、０以外の画素値が割り当てられた画素が連続して存在している第１の閾値以上の大きさの領域として矩形領域を抽出し、この抽出した矩形領域に基づき、物体の移動を判定するようにしている。 A supplementary description of the motion information calculation unit 3 that performs the above processing will be given. If an attempt is made to determine the movement of an object for each pixel, there arises a problem that the determination result is greatly affected by noise. Therefore, in the present embodiment, focusing on the fact that the moving object to be detected should have a finite size, in step 12, a pixel value other than 0 is assigned from the motion pattern image. A rectangular area is extracted as an area having a size equal to or larger than the first threshold in which pixels continuously exist, and the movement of the object is determined based on the extracted rectangular area.
これにより、本実施形態では、時間方向に関するノイズに対してロバストな装置を提供することができる。 Thereby, in this embodiment, an apparatus robust against noise in the time direction can be provided.
また、ステップ１３において、動き領域として判定される矩形領域のサイズの上限を規定している第２の閾値は、該領域のサイズが画像サイズに対して大き過ぎる場合を排除するためのパラメータであり、検出したい移動体の画像上の大きさに基づき設定される。 Further, the second threshold value that defines the upper limit of the size of the rectangular area determined as the motion area in step 13 is a parameter for eliminating the case where the size of the area is too large with respect to the image size. This is set based on the size of the moving object to be detected on the image.
以下では、これまで説明してきた動き検出装置において、映像中の動き領域を検出する際の具体的な手順を説明する。 In the following, a specific procedure for detecting a motion region in a video in the motion detection device described so far will be described.
ここで、動き検出部２において、動きパターン画像を生成する際の具体的な処理手順を述べる。ここでは、説明のため、図８の４０１〜４０３に示すような５×５画素サイズの３フレームの画像群であったとする。この各画素について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得して、対数変換し、微分値を算出すると、４０４〜４０５に示す画素が閾値を満たすことになる。これに対し、まず、４０５に示す画素が最初に閾値を満たすことになるので、この画素に評価値１が割り当てられ、４０７に示すようになる。続いて、４０４に示す画素で、４０５で閾値を満たしていない画素に評価値２が割り当てられ、４０６で示すようになる。これ以外の画素には評価値０が割り当てられ、最終的に、動きパターン画像として、４０８に示すような画像が生成されることになる。 Here, a specific processing procedure when the motion detection unit 2 generates a motion pattern image will be described. Here, for the sake of explanation, it is assumed that the image group is a three-frame image group of 5 × 5 pixel size as indicated by 401 to 403 in FIG. For each pixel, pixel values at the same pixel position in all frame images are acquired in order from the latest one, logarithmically converted, and a differential value is calculated. Thus, the pixels indicated by 404 to 405 satisfy the threshold value. On the other hand, since the pixel indicated by 405 first satisfies the threshold value, an evaluation value of 1 is assigned to this pixel, as indicated by 407. Subsequently, the evaluation value 2 is assigned to the pixel indicated by 404 that does not satisfy the threshold value at 405, as indicated by 406. An evaluation value of 0 is assigned to the other pixels, and an image as shown in 408 is finally generated as a motion pattern image.
続いて、動き情報算出部３において、動きパターン画像から動き領域、及び動き方向を算出する際の具体的な処理手順を述べる。ここでは、説明のため、図９の５０１に示すような、上記手順にて生成された４０８に示す動きパターン画像を対象とする。これに対し、画素値が割り当てられた画素が連続して存在している矩形領域を抽出すると、５０２に示すような領域が抽出される。ここでは、この矩形領域のサイズが閾値を満たすとして、動き領域と決定する。更に、５０１の画像の０以外の画素値が割り当てられた全画素について、隣接する８画素のうち、０以外の画素値が割り当てられた画素に対して画素値が減少する方向を算出すると、５０３に示すような４つの方向が算出される。これらに対して、算出された全画素、及び検出された各動き領域内の全画素に対する方向の平均をとり、５０４に示すような動き方向を決定することになる。ここでは、動き領域が1つだったので、全画像領域の動き方向は、検出された動き領域の動き方向と同一となる。 Next, a specific processing procedure when the motion information calculation unit 3 calculates the motion region and the motion direction from the motion pattern image will be described. Here, for the purpose of explanation, a motion pattern image indicated by 408 generated by the above procedure as indicated by reference numeral 501 in FIG. On the other hand, when a rectangular area where pixels to which pixel values are assigned continuously exists is extracted, an area as indicated by 502 is extracted. Here, assuming that the size of the rectangular area satisfies the threshold value, it is determined as a motion area. Further, with respect to all the pixels to which a pixel value other than 0 of the image 501 is assigned, a direction in which the pixel value decreases with respect to a pixel to which a pixel value other than 0 is assigned among adjacent 8 pixels is calculated as 503. Four directions are calculated as shown in FIG. On the other hand, the average of the directions for all the calculated pixels and all the detected pixels in each motion region is taken to determine the motion direction as indicated by 504. Here, since there is one motion region, the motion direction of the entire image region is the same as the motion direction of the detected motion region.
以上、本発明を実施形態に基づき具体的に説明したが、本発明は上述の実施形態に限定されるものではなく、幅広く応用することができる。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above-described embodiments and can be widely applied.
また、本発明の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。 The apparatus of the present invention can also be realized by a computer and a program, and can be recorded on a recording medium or provided through a network.
１ 映像入力部
２ 動き検出部
３ 動き情報算出部
４ 動き情報出力部
５ フレーム画像メモリ
１１ フレーム画像読み出し部
１２ 画素値取得部
１３ 対数変換部
１３Ａ 画素値比算出部
１４，１４Ａ 時間微分値算出部
１５ 評価値設定部
１６ パターン画像生成部
２１ 領域抽出部
２２ 動き領域決定部
２３ 画素値減少方向算出部
２４ 全画像領域の動き方向設定部
２５ 各動き領域の動き方向設定部
DESCRIPTION OF SYMBOLS 1 Image | video input part 2 Motion detection part 3 Motion information calculation part 4 Motion information output part 5 Frame image memory 11 Frame image reading part 12 Pixel value acquisition part 13 Logarithmic conversion part 13A Pixel value ratio calculation part 14, 14A Time differential value calculation part DESCRIPTION OF SYMBOLS 15 Evaluation value setting part 16 Pattern image generation part 21 Area extraction part 22 Motion area determination part 23 Pixel value reduction direction calculation part 24 Motion direction setting part 25 of all image areas 25 Motion direction setting part of each motion area
Claims (3)
撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力手段と、
前記映像入力手段にて格納された複数のフレーム画像群のうち、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を順番に取得する手段と、取得した各画素値を対数変換する手段と、変換された値の遷移から時間微分値を算出する手段と、算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する動き検出手段と、
前記動き検出手段にて生成された動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、算出された全画素に対する方向の平均をとり、全画像領域の動き方向を算出する手段とを有する動き情報算出手段と、
前記動き情報算出手段における動き情報の算出結果を、前記映像入力手段にて入力された各フレーム画像に対応させて出力する動き情報出力手段と、
を備えたことを特徴とする動き検出装置。 In a motion detection device for detecting a motion region in an image,
Video input means for inputting video including captured motion and storing each frame image in a memory;
Among the plurality of frame image groups stored in the video input means , means for reading out frame images for the number of detection target frames set in advance from the latest one, and all pixel positions of the acquired frame images Means for sequentially obtaining pixel values at the same pixel position in all frame images, means for logarithmically converting each obtained pixel value, means for calculating a time differential value from the transition of the converted values, When the time differential value satisfies a threshold value, a means for setting the order number of the frame image from which the pixel value is acquired as an evaluation value for the pixel position and a motion pattern image using the evaluation value for all pixel positions as the pixel value are generated. Motion detection means having means for
Means for calculating a direction in which a pixel value decreases with respect to a pixel to which a pixel value is assigned among adjacent eight pixels for all pixels to which a pixel value of a motion pattern image generated by the motion detection means is assigned. And a motion information calculating means having means for taking the average of the directions for all the calculated pixels and calculating the motion direction of the entire image area ,
Motion information output means for outputting the motion information calculation result in the motion information calculation means in correspondence with each frame image input by the video input means;
A motion detection apparatus comprising:
撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力手段と、
前記映像入力手段にて格納された複数のフレーム画像群のうち、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を順番に取得する手段と、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める手段と、求めた比の値をフレーム間の時間間隔で除算する手段と、除算した値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する動き検出手段と、
前記動き検出手段にて生成された動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する手段とを有する動き情報算出手段と、
前記動き情報算出手段における動き情報の算出結果を、前記映像入力手段にて入力された各フレーム画像に対応させて出力する動き情報出力手段と、
を備えたことを特徴とする動き検出装置。 In a motion detection device for detecting a motion region in an image,
Video input means for inputting video including captured motion and storing each frame image in a memory ;
Among the plurality of frame image groups stored in the video input means , means for reading out frame images for the number of detection target frames set in advance from the latest one, and all pixel positions of the acquired frame images Means for sequentially obtaining pixel values at the same pixel position in all frame images, and the pixel value of the obtained frame image and the pixel value of the corresponding pixel in the immediately following frame image with respect to the smaller pixel value Means for determining the ratio of the larger pixel value; means for dividing the value of the determined ratio by the time interval between frames; and if the divided value satisfies a threshold value, the order of the frame image from which the pixel value is acquired Motion detection means comprising means for setting the number as an evaluation value for the pixel position, and means for generating a motion pattern image using the evaluation values for all pixel positions as pixel values ;
Means for calculating a direction in which a pixel value decreases with respect to a pixel to which a pixel value is assigned among adjacent eight pixels for all pixels to which a pixel value of a motion pattern image generated by the motion detection means is assigned. And a motion information calculating means having means for calculating the motion direction of each motion region by taking an average of the directions for all the calculated pixels ,
Motion information output means for outputting the motion information calculation result in the motion information calculation means in correspondence with each frame image input by the video input means;
A motion detection apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005131362A JP4268953B2 (en) | 2005-04-28 | 2005-04-28 | Motion detection apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005131362A JP4268953B2 (en) | 2005-04-28 | 2005-04-28 | Motion detection apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006309510A JP2006309510A (en) | 2006-11-09 |
| JP4268953B2 true JP4268953B2 (en) | 2009-05-27 |
Family
ID=37476320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005131362A Active JP4268953B2 (en) | 2005-04-28 | 2005-04-28 | Motion detection apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4268953B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10366498B2 (en) | 2015-07-30 | 2019-07-30 | Samsung Electronics Co., Ltd. | Method and device for recognizing motion |
-
2005
- 2005-04-28 JP JP2005131362A patent/JP4268953B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10366498B2 (en) | 2015-07-30 | 2019-07-30 | Samsung Electronics Co., Ltd. | Method and device for recognizing motion |
| US10970850B2 (en) | 2015-07-30 | 2021-04-06 | Samsung Electronics Co., Ltd. | Method and device for recognizing motion |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006309510A (en) | 2006-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
| TWI405150B (en) | Video motion detection method and non-transitory computer-readable medium and camera using the same | |
| CN110675346B (en) | Image acquisition and depth map enhancement method and device suitable for Kinect | |
| JP4533836B2 (en) | Fluctuating region detection apparatus and method | |
| CN102891960B (en) | Method and camera for determining an image adjustment parameter | |
| US20090141937A1 (en) | Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device | |
| CN111753869A (en) | Image processing method, image processing apparatus, storage medium, image processing system, and learned model manufacturing method | |
| KR20060008268A (en) | Smoke detecting method and system using ccd image | |
| JP5279517B2 (en) | Object detection apparatus and object detection method | |
| JP2006039689A (en) | Image processor, image processing method, image processing program, and recording medium with the program recorded thereon | |
| CN112257523A (en) | Smoke identification method and system of image type fire detector | |
| JP2005242488A (en) | Object detecting device, object detecting method and program | |
| KR20050114817A (en) | Automatic detection method of human facial objects for the digital video surveillance | |
| JP2011135553A (en) | Imaging apparatus, image processing method, and computer program | |
| US20110085026A1 (en) | Detection method and detection system of moving object | |
| JP2006318064A (en) | Image sensor | |
| JP4268953B2 (en) | Motion detection apparatus and program thereof | |
| CN112233139A (en) | System and method for detecting motion during 3D data reconstruction | |
| TW201913352A (en) | Method and electronic apparatus for wave detection | |
| JP4627711B2 (en) | Motion region detection system, motion region detection method, and motion region detection program | |
| JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program | |
| JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| CN116363753A (en) | Tumble detection method and device based on motion history image and electronic equipment | |
| JP6448457B2 (en) | Imaging direction variation detection apparatus and imaging direction variation detection method | |
| JP6847337B2 (en) | Meter detector, meter detection method, and meter detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4268953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |