WO2003088648A1 - Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement - Google Patents

Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement Download PDF

Info

Publication number
WO2003088648A1
WO2003088648A1 PCT/JP2003/004580 JP0304580W WO03088648A1 WO 2003088648 A1 WO2003088648 A1 WO 2003088648A1 JP 0304580 W JP0304580 W JP 0304580W WO 03088648 A1 WO03088648 A1 WO 03088648A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
pixel
predetermined pixel
image
amplitude
Prior art date
Application number
PCT/JP2003/004580
Other languages
English (en)
French (fr)
Inventor
Tomohisa Tagami
Yoshio Seki
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2003585424A priority Critical patent/JPWO2003088648A1/ja
Priority to KR10-2004-7000664A priority patent/KR20040099250A/ko
Priority to EP03723101A priority patent/EP1503578A4/en
Priority to US10/480,741 priority patent/US20040218787A1/en
Priority to CA002450244A priority patent/CA2450244A1/en
Priority to MXPA03011520A priority patent/MXPA03011520A/es
Publication of WO2003088648A1 publication Critical patent/WO2003088648A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Definitions

  • Motion detection device image processing system, motion detection method, program, and recording medium
  • the present invention relates to a motion detection device, an image processing system, a motion detection method, a program, and a recording medium which can be used for noise reduction and format conversion of a video signal.
  • FIG. 10 is a block diagram of a conventional motion detecting device
  • the configuration of a conventional motion detecting device for example, see Japanese Patent Application Laid-Open No. Hei 6-31504.
  • 101 is a terminal for inputting a video signal.
  • 102 is a frame memory for delaying the input video signal by one frame (the operation of such a conventional motion detection device will be described below).
  • the subtractor 103 subtracts the output of the frame memory 102 from the input signal.
  • the absolute value circuit 104 converts the frame difference output into an absolute value
  • the ROM 105 compares the absolute value of the supplied frame difference output with a predetermined threshold value, and if the output of the absolute value circuit 104 is large, outputs data “1”. Output, and if they are the same or smaller, output data "0".
  • This output is sent to the memory unit 106, and the data of the area around the pixel of interest is signal-delayed and output.
  • the determination circuit 107 determines a motion from the data of the area around these pixels, and outputs a determination result.
  • the output of the subtractor 103 is small in a portion where the change of the input video signal is small and the image changes smoothly even if the image moves.
  • the present invention has been made in consideration of the above-described conventional problems, and has, for example, a motion detection device which can more accurately detect a still image region and a moving image region even in an area where an image is gradually changing. It is an object to provide an image processing system, a motion detection method, a program, and a recording medium. ⁇
  • an amplitude amount detecting means for detecting an amplitude amount of the image regarding a peripheral area of a predetermined pixel of the image, including a predetermined pixel,
  • Moving pixel determining means for determining whether at least the predetermined pixel is a moving pixel based on the detected change amount
  • Motion signal generating means for generating a motion signal for the predetermined pixel using the result of the determination
  • the amount of change in the image over time And / or Z or (2) it is determined whether at least the predetermined pixel is a moving pixel, and / or (3) a motion detection device that generates a motion signal related to the predetermined pixel. It is.
  • the third aspect of the present invention is that the smaller the detected amplitude amount is, the lower the threshold level for determining whether at least the predetermined pixel is a moving pixel. Is a smaller correction, and at least it is determined whether or not the predetermined pixel is a moving pixel.
  • a motion detecting apparatus according to a first aspect of the present invention, wherein a motion signal relating to the predetermined pixel is generated.
  • a sixth aspect of the present invention provides the motion detecting device according to the first aspect of the present invention,
  • An image processing system comprising: an image processing device for performing predetermined image processing using the generated motion signal.
  • a seventh aspect of the present invention includes an amplitude amount detecting step of detecting an amplitude amount of the image regarding a peripheral area of a predetermined pixel of the image including a predetermined pixel,
  • a temporal change in the image is detected, and / or (2) it is determined whether at least the predetermined pixel is a moving pixel.
  • a motion detection method in which a motion signal for the predetermined pixel is generated.
  • An eighth aspect of the present invention provides the motion detection method according to the seventh aspect of the present invention, comprising: an amplitude amount detecting step of detecting an amplitude amount of the image related to an error around a predetermined pixel of the image including a predetermined pixel; A change amount detection step of detecting a change amount, a moving pixel determination step of determining whether at least the predetermined pixel is a video element based on the detected change amount, and a result of the determination.
  • This is a program for causing a computer to execute a motion signal generation step of generating a motion signal for the predetermined pixel using the motion signal generation step.
  • a ninth aspect of the present invention is a recording medium carrying the program of the eighth aspect of the present invention, which is a recording medium that can be processed by a computer.
  • a tenth aspect of the present invention provides a change amount detecting means for detecting a temporal change amount of an image
  • Change amount adding means for adding, based on the detected change amount, a change amount relating to a pixel included in a predetermined pixel peripheral area of the image including a predetermined pixel, to a pixel included in the predetermined pixel peripheral area;
  • a motion pixel determination unit that determines whether or not the predetermined pixel is a motion pixel in consideration of the result of the addition.
  • the eleventh aspect of the present invention provides a motion detecting device according to the tenth aspect of the present invention
  • An image processing system comprising: an image processing device for performing predetermined image processing using the generated motion signal.
  • a change amount detecting step for detecting a temporal change amount of an image
  • a change amount adding step of adding, based on the detected change amount, a change amount relating to pixels included in a predetermined pixel peripheral area of the image including a predetermined pixel, to a pixel included in the predetermined pixel peripheral area;
  • a change amount detecting step of detecting a temporal change amount of an image, and a predetermined pixel is determined based on the detected change amount.
  • At least a moving pixel determining step of determining whether the predetermined pixel is a moving pixel is a program for causing a computer to execute the moving pixel determining step.
  • a fifteenth aspect of the present invention is a recording medium carrying the program of the thirteenth aspect of the present invention, which is a recording medium that can be processed by a computer.
  • FIG. 1 is a block diagram of the motion detection device according to the first embodiment of the present invention.
  • FIG. 2 is a detailed circuit diagram of the motion information extracting means 1 according to the first embodiment of the present invention.
  • FIG. 3 is an explanatory diagram for explaining the operation of the motion signal generating means 5 according to the first embodiment of the present invention. '
  • FIG. 4 is a block diagram of the motion detection device according to the second embodiment of the present invention.
  • FIG. 5 is a block diagram of the motion detection device according to the third embodiment of the present invention.
  • FIG. 6 is a detailed block diagram of the small-amplitude error detector 9 according to the third embodiment of the present invention.
  • FIG. 7 is a block diagram of the motion detection device according to the fourth embodiment of the present invention.
  • FIG. 8 is a block diagram of the motion detection device according to the fifth embodiment of the present invention.
  • FIG. 9 is a block diagram of a noise reduction device according to Embodiment 6 of the present invention.
  • FIG. 10 is a block diagram of a conventional motion detection device.
  • FIG. 1 is a block diagram of the motion detection device according to the first embodiment of the present invention.
  • 1 is a motion information extracting means for extracting motion information from an input video signal
  • Reference numeral 2 denotes a comparing unit that compares the output of the motion information extracting unit 1 with a predetermined moving image threshold signal and detects a moving pixel.
  • the comparing means 2 has a comparator
  • Reference numeral 3 denotes moving pixel force counting means for counting the number of moving pixels in a predetermined pixel peripheral area including a target pixel from the output from the comparing means 2.
  • the moving image capability means 3 has a memory for obtaining data in a predetermined pixel peripheral area and an adder for adding the obtained moving pixel information.
  • Reference numeral 4 denotes a motion amount adding unit that adds a motion amount in a predetermined pixel peripheral area including a target pixel from the output of the motion information extracting unit 1.
  • the motion amount adding means 4 has a memory for obtaining motion amount data in a predetermined pixel peripheral area, and an adder for adding and summing the motion amount of each pixel.
  • Reference numeral 5 denotes a motion signal generating means for generating a motion signal from an output signal from the moving image capability means 3 and an output signal from the motion amount adding means 4.
  • FIG. 2 is a detailed circuit diagram of the motion information extraction unit 1 according to the first embodiment of the present invention.
  • 6 is a frame memory that delays the input signal by one frame.
  • Reference numeral 7 denotes a subtractor that calculates a difference between the input signal, the current signal from the frame memory 6, and the one-frame delay signal.
  • Reference numeral 8 denotes an absolute value circuit that obtains an absolute value from the output of the subtracter 7.
  • change amount detecting means of the present invention corresponds to the means including the motion information extracting means 1.
  • change amount adding means of the invention corresponds to a means including a motion amount adding means 4
  • moving element determination means of the present invention will now t corresponds to the means including a motion signal generating unit 5, the present embodiment The operation of the recording system will be described.
  • the motion information extracting means 1 obtains a one-frame difference signal of the input video signal, and obtains motion information by taking an absolute value of the one-frame difference signal.
  • the motion information from the motion information extracting means 1 is sent to the comparing means 2 and is compared with a predetermined moving image threshold signal.
  • the comparison means 2 outputs data “1” if the motion information is larger than the moving image threshold signal, and outputs data “0” if the motion information is the same or smaller.
  • the comparison result from the comparison means 2 is sent to the moving image capability means 3, and the number of moving pixels in the predetermined pixel peripheral area including the target pixel is counted.
  • the motion information from the motion information extracting means 1 is sent to the motion amount adding means 4, and the motion amount in a predetermined pixel peripheral area including the target pixel is added.
  • the motion signal generating means 5 takes into account not only the number of moving pixels in the area around the predetermined pixel from the moving image component counting means 3 but also the total motion amount in the area surrounding the predetermined pixel from the motion amount adding means 4. Thus, a motion signal is generated.
  • the generated motion signal does not become zero, which prevents motion detection omission.
  • the motion level is determined in consideration of not only the number of video elements in the predetermined pixel peripheral area but also information from the total motion amount in the predetermined pixel peripheral area. is there.
  • FIG. 3 which is an explanatory diagram for explaining the operation of the motion signal generating means 5 according to the first embodiment of the present invention, the total motion amount in the pixel peripheral area according to the present embodiment will be described. This will be specifically described.
  • the vertical axis represents the signal level
  • the horizontal axis represents the screen position.
  • F is the input video signal one frame past
  • G is the current input video signal.
  • the image that changes gradually moves from F to G, and the signal level changes.
  • the absolute values of the one-frame difference signals at the pixels X1, x2, x3, x4, and x5 in the predetermined pixel peripheral area are d1, d2, d3, d4, and d5, respectively.
  • each of the pixels X1 to x5 in the area around the predetermined pixel is not detected as a moving pixel.
  • the motion amount adding means 4 sums all the motion amounts d1, d2, d3, d4, and d5 in the area around the predetermined pixel.
  • the total motion amount in the predetermined pixel peripheral area is added to the determination condition used by the motion signal generating means 5.
  • the output of the motion amount adding means 4 accurately indicates the information of the motion, so that the motion detection.
  • the omission of motion detection in the motion signal generating means is reduced, and the moving image portion and the still image portion can be distinguished with high accuracy while accurately discriminating between motion and noise.
  • the number of pixels in the predetermined pixel peripheral area can be changed according to the state of the input video signal.
  • the number of pixels around the pixel of interest around the specified pixel is increased to increase the detection accuracy.
  • the number of pixels around the predetermined pixel is reduced. By reducing the number, the detection speed can be increased.
  • FIG. 4 is a block diagram of the motion detection device according to the second embodiment of the present invention.
  • the configuration of the motion detection device of the present embodiment is similar to the configuration of the motion detection device of the first embodiment described above.
  • the configuration of the motion detection apparatus is characterized in that (1) the small amplitude area detection means 9 detects the small amplitude area of the input video signal and supplies the detection signal to the motion information extraction means 10; (2) The motion signal generating means 11 differs from the configuration of the motion detecting apparatus of the first embodiment in that motion is detected only from the number of moving pixels in the pixel peripheral error from the moving picture element counting means 3. ing.
  • the small-amplitude error detecting means 9 includes a maximum value detecting circuit in a predetermined pixel peripheral area, a minimum value detecting circuit in a predetermined pixel peripheral area, and a subtractor for calculating a difference therebetween.
  • the amplitude detecting means of the present invention corresponds to the means including the small amplitude error detecting means 9, and the change detecting means of the present invention corresponds to the means including the motion information extracting means 10.
  • the moving pixel determination means of the present invention corresponds to the means including the comparing means 2, and the motion signal generating means of the present invention corresponds to the means including the moving pixel force counting means 3 and the motion signal generating means 11.
  • the small-amplitude area detection means 9 is supplied with the input video signal and detects a gently changing area of the image (that is, a small-amplitude area).
  • the maximum amplitude amount in the pixel peripheral area can be detected. If the maximum amplitude amount is small, it can be determined that the image is a small amplitude area where the image changes smoothly.
  • the motion information extraction means 10 performs control based on the detection signal from the small amplitude area detection means 9 so that the smaller the amplitude amount, the higher the sensitivity to motion.
  • the small-amplitude error detecting means 9 detects a gentle part of the image, and the sensitivity of the motion information extracting means 10 is changed according to this detection signal (then , the area where the image changes smoothly (that is, Even in the small-amplitude area), the omission of motion detection by the motion signal generating means 5 is reduced, and the moving image portion and the still image portion can be distinguished with high accuracy.
  • FIG. 5 is a block diagram of the motion detection device according to the third embodiment of the present invention.
  • the configuration of the motion detection device according to the present embodiment is similar to the configuration of the motion detection devices according to the first and second embodiments described above.
  • the configuration of the motion detection device according to the present embodiment is a small-amplitude area detection method.
  • the point that the detection signal from the stage 9 is supplied to the moving pixel force counting means 12 is different from the configuration of the motion detecting devices of the first and second embodiments described above.
  • FIG. 6 is a detailed schematic diagram of the small-amplitude area detecting means 9 according to Embodiment 3 of the present invention.
  • the simple noise filter 21 is a simple noise filter.
  • the simple noise filter 21 is a filter for preventing the amplitude detection result from being affected by noise.
  • 22 and 23 are flip-flops that delay the signal by one clock.
  • 24, 26, and 29 are comparators for comparing the magnitudes of the input signals.
  • 3 1 is a subtractor.
  • the amplitude detecting means of the present invention corresponds to the means including the small amplitude error detecting means 9
  • the change detecting means of the present invention corresponds to the means including the motion information detecting means 1, and the moving pixel determination of the present invention
  • the means corresponds to the means including the comparing means 2
  • the motion signal generating means of the present invention corresponds to the means including the moving pixel force counting means 12 and the motion signal generating means 11.
  • the moving image component means 12 Based on the detection signal from the small-amplitude area detection means 9, the moving image component means 12 performs control so as to increase the sensitivity to movement.
  • the simple noise filter 21 removes noise of the video signal input from the input signal terminal.
  • data A is a signal from which noise has been removed by the simple noise filter 21.
  • Data B is a signal obtained by delaying data A by one clock by flip-flop 22.
  • Data C is a signal obtained by delaying data B by one clock by flip-flop 23.
  • Comparator 24 compares data A and data B.
  • the selector 25 selects the data based on the comparison result of the comparator 24.
  • Comparator 26 compares the output of selector 25 with data C.
  • the selector 27 selects a larger one of the output of the selector 25 and the data C based on the comparison result by the comparator 26.
  • the output of the selector 27 is determined by the maximum value MAX of the data A to C.
  • Comparator 24 compares data A and data B.
  • the selector 28 selects the data based on the comparison result of the comparator 24.
  • the comparator 29 compares the output of the selector 28 with the data C.
  • the selector 30 selects the smaller one of the output of the selector 28 and the data C based on the comparison result by the comparator 29.
  • the output of selector 30 is the minimum value MIN of data A to C is there.
  • the subtractor 31 obtains a difference between the maximum value M AX and the minimum value M IN to obtain an amplitude amount in a predetermined pixel peripheral area.
  • the amplitude amount in the horizontal area has been described, but the same applies to the amplitude amount in the vertical area. Then, the smaller the amplitude amount, the more the area around the predetermined pixel where the moving pixel force counting means 12 counts the moving pixel is increased.
  • the motion signal generating means 5 is reduced, and the moving image portion and the still image portion can be distinguished with high accuracy.
  • FIG. 7 is a block diagram of the motion detection device according to the fourth embodiment of the present invention.
  • the configuration of the motion detection device of the present embodiment is similar to the configuration of the motion detection device of the first to third embodiments described above.
  • the configuration of the motion detection device according to the present embodiment is different from the motion detection devices according to the first to third embodiments in that the detection signal from the small-amplitude area detection means 9 is supplied to the motion signal generation means 13.
  • the configuration of the device is different.
  • the amplitude amount detecting means of the present invention corresponds to the means including the small amplitude error detecting means 9
  • the change amount detecting means of the present invention corresponds to the means including the motion information detecting means 1, and the moving pixel determining means of the present invention.
  • the means including the comparing means 2 corresponds to the means including the moving pixel force counting means 3 and the motion signal generating means 13.
  • the motion signal generation means 13 performs control based on the detection signal from the small amplitude area detection means 9 so that the smaller the amplitude amount, the larger the motion detection signal is detected.
  • the small-amplitude error detecting means 9 detects a gentle part of the image, and the table in the motion signal generating means 13 is changed according to the detected signal.
  • the motion signal generating means is reduced, and the moving image portion and the still image portion can be distinguished with high accuracy.
  • FIG. 8 is a block diagram of the motion detection device according to the fifth embodiment of the present invention.
  • the configuration of the motion detection device of the present embodiment is similar to the configuration of the motion detection device of the first to fourth embodiments described above.
  • the configuration of the motion detection device of the present embodiment is different from the motion detection devices of the first to fourth embodiments in that the detection signal from the small-amplitude area detection means 9 is supplied to the comparison means 14. Configuration is different.
  • the amplitude amount detecting means of the present invention corresponds to the means including the small amplitude error detecting means 9
  • the change amount detecting means of the present invention corresponds to the means including the motion information detecting means 1, and the moving pixel determination means of the present invention.
  • the means corresponds to the means including the comparing means 14, and the motion signal generating means of the present invention corresponds to the means including the moving pixel force counting means 3 and the motion signal generating means 11.
  • the comparing means 14 performs control based on the detection signal from the small-amplitude area detecting means 9 so that the smaller the amplitude amount, the smaller the threshold signal supplied to the comparing means 14.
  • the small-amplitude area detection means 9 detects a gentle part of the image, and the threshold signal supplied to the comparison means 14 is controlled according to the detection signal.
  • the threshold signal becomes small, and the motion detection sensitivity of the comparing means 14 is increased, so that the motion detection omission is reduced, and the moving image is accurately detected.
  • the part can be distinguished from the still image part.
  • Embodiments 1 to 5 described above may be arbitrarily combined.
  • FIG. 9 is a block diagram of the noise reduction device according to the sixth embodiment of the present invention.
  • Reference numeral 41 denotes a first subtractor for calculating a difference between the video signal delayed by one frame by the frame memory 45 and the input video signal.
  • Reference numeral 42 denotes a multiplier for multiplying the output signal of the first subtractor 41 by the output signal of the second subtractor 43.
  • Reference numeral 44 denotes an adder for adding the output signal of the multiplier 42 to the input video signal.
  • Reference numeral 45 denotes a frame memory for delaying the output signal of the adder 44 by one frame.
  • the image processing device of the present invention corresponds to a unit including the adder 44
  • the image processing system of the present invention corresponds to the noise reduction device of the present embodiment.
  • the frame memory 45 delays the output signal of the adder 44 by one frame.
  • the first subtracter 41 subtracts the video signal from the input terminal from the signal delayed by one frame from the frame memory 45 to obtain a frame difference signal.
  • the second subtractor 43 subtracts the motion detection signal from the constant k.
  • the multiplier 42 multiplies the output signal of the first subtractor 41 by the output signal of the second subtractor 43.
  • the adder 44 adds the output signal of the multiplier 42 to the input video signal.
  • the frame difference value is small.
  • a frame difference value is large for a noise signal having low correlation for each frame.
  • the output signal of the second subtractor 43 is small, and the output signal of the multiplier 42 is also small. Therefore, in the moving image portion, the signal added by the adder 44 to the input video signal (that is, the output signal of the multiplier 42) becomes small. For this reason, the output signal of the adder 44 becomes close to the input video signal, and the image blur due to the motion hardly occurs.
  • the output signal of the second subtracters 4 3 increases, also increases the output signal of the multiplier 4 2 c Therefore, in the still image portion, the signal added by the adder 44 to the input video signal increases. Therefore, the effect of noise detected by the first subtractor 41 as a frame difference signal is canceled. Of course, the larger the output signal of the second subtractor 43, the greater the noise reduction effect.
  • the tailing phenomenon that appears when the motion detection accuracy is poor which appears remarkably in moving image parts such as human skin, and the noise reduction effect in still image parts Is less likely to occur.
  • the image processing system of the present invention is a noise reduction device in the above-described embodiment, but is not limited thereto, and may be, for example, a format conversion device.
  • Embodiments 1 to 6 have been described in detail. Thus, even in a small-amplitude area where the image changes smoothly, it is possible to accurately distinguish between motion and noise, and obtain a highly accurate motion detection signal without omission in motion detection. In this case, the motion blur can be eliminated to further improve the noise reduction effect.
  • the program of the present invention is a program for causing a combination computer to execute all or some of the steps (or steps, operations, actions, and the like) of the above-described motion detection method of the present invention. It is a program that operates in cooperation with a computer.
  • the recording medium of the present invention is a computer-readable recording medium for causing a computer to execute all or a part of all or some of the steps (or steps, operations, actions, etc.) of the above-described motion detection method of the present invention.
  • a recording medium carrying a program, the recording medium being readable by a computer and executing the operation in cooperation with the computer.
  • the “partial steps (or steps, operations, actions, etc.)” of the present invention means one or several of the plurality of steps.
  • the “operation of the step (or the process, the operation, the operation, etc.)” of the present invention means the operation of all or a part of the step.
  • One use form of the program of the present invention may be a form in which the program is recorded on a computer-readable recording medium and operates in cooperation with the computer.
  • One use form of the program of the present invention may be such that the program is transmitted through a transmission medium, read by a computer, and operates in cooperation with the computer.
  • the recording medium includes ROM and the like
  • the transmission medium includes a transmission medium such as the Internet, light, radio waves, and sound waves.
  • the computer of the present invention described above is not limited to pure hardware such as CPU, but may include firmware, OS, and peripheral devices.
  • the configuration of the present invention may be realized by software or hardware. Industrial applicability
  • the present invention has an advantage that, for example, a still image area and a moving image area can be more accurately detected even in an area where an image changes smoothly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

明 細 書 動き検出装置、 画像処理システム、 動き検出方法、 プログラム、 およ び記録媒体 技術分野
本発明は、 映像信号のノイズ低減やフォーマツ ト変換などに利用可能 な動き検出装置、 画像処理システム、 動き検出方法、 プログラム、 およ び記録媒体に関する。 背景技術
はじめに、 従来の動き検出装置のプロック図である図 1 0を参照しな がら、 従来の動き検出装置 (たとえば特開平 6 - 3 1 1 5 0 4号公報な ど参照) の構成を説明する。
なお、 特開平 6— 3 1 1 5 0 4号公報の全ての開示は、 そつく りその ままここに引用 (参照) することにより、 一体化される。
1 0 1は、 映像信号を入力する端子である。
1 0 2は、 入力映像信号を 1 フレーム遅延するフレームメモリである ( つぎに、 このよ うな従来の動き検出装置の動作を説明する。
減算器 1 0 3は、 入力信号からフレームメモリ 1 0 2の出力を減算し
、 フレーム差分を出力する。
絶対値回路 1 0 4は、 このフレーム差分出力を絶対値化し、 R O M 1
0 5に供給する。
R O M 1 0 5は、 絶対値化されて供給されたフレーム差分出力を所定 の閾値と比較し、 絶対値回路 1 0 4の出力が大きければデータ 「 1」 を 出力し、 同じか小さければデータ 「 0」 を出力する。
この出力はメモリ部 1 0 6に送られ、 着目画素の画素周辺ェリアのデ ータが信号遅延されて出力される。
そして、 判定回路 1 0 7は、 これらの画素周辺ェリアのデータから動 きを判定し、 判定結果を出力する。
しかしながら、 このような従来の動き検出装置においては、 入力映像 信号の変化が少なく画像がなだらかに変化している部分では、 画像が動 いても減算器 1 0 3の出力が小さくなる。
そのため、 減算器 1 0 3の出力が閾値を越えず、 動画領域が静止画領 域であると誤判定され、 動き検出漏れが生じることがあった。 発明の開示
本発明は、 上記従来のこのような課題を考慮し、 たとえば、 画像がな だらかに変化しているエリァにおいても静止画領域と動画領域とをより 正確に検出することができる動き検出装置、 画像処理システム、 動き検 出方法、 プログラム、 および記録媒体を提供することを目的とするもの である。 ·
第 1の本発明は、 所定画素を含む、 画像の所定画素周辺エリアに関す る前記画像の振幅量を検出する振幅量検出手段と、
時間的な前記画像の変化量を検出する変化量検出手段と、
前記検出された変化量に基づいて、 少なく とも前記所定画素が動画素 であるか否かを判定する動画素判定手段と、
前記判定の結果を利用して、 前記所定画素に関する動き信号を発生す る動き信号発生手段とを備え、
前記検出された振幅量を考慮して、 ( 1 ) 時間的な前記画像の変化量 が検出される、 および Zまたは ( 2 ) 少なく とも前記所定画素が動画素 であるか否かが判定される、 および/ または ( 3 ) 前記所定画素に関す る動き信号が発生される動き検出装置である。
第 2の本発明は、 前記検出された振幅量がより小さいほど、 少なく と も前記所定画素に関する変化量のゲインがより大きく補正されて、 時間 的な前記画像の変化量が検出される第 1の本発明の動き検出装置である ( 第 3の本発明は、 前記検出された振幅量がより小さいほど、 少なく と も前記所定画素が動画素であるか否かを判定するための閾値のレベルが より小さく補正されて、 少なく とも前記所定画素が動画素であるか否か が判定される第 1の本発明の動き検出装置である。
第 4の本発明は、 前記検出された振幅量がより小さいほど、 前記所定 画素に関する動き信号を発生するために前記判定の結果が利用される画 素の存在するェリアがより大きく補正されて、 前記所'定画素に関する動 き信号が発生される第 1の本発明の動き検出装置である。
第 5の本発明は、 前記検出された振幅量がより小さいほど、 前記所定 画素に関する動き信号のゲインがより大きく補正されて、 前記所定画素 に関する動き信号が発生される第 1の本発明の動き検出装置である。 第 6の本発明は、 第 1の本発明の動き検出装置と、
前記発生された動き信号を利用して、 所定の画像処理を行うための画 像処理装置とを備えた画像処理システムである。
第 7の本発明は、 所定画素を含む、 画像の所定画素周辺エリアに関す る前記画像の振幅量を検出する振幅量検出ステップと、
時間的な前記画像の変化量を検出する変化量検出ステップと、 前記検出された変化量に基づいて、 少なく とも前記所定画素が動画素 であるか否かを判定する動画素判定ステップと、
前記判定の結果を利用して、 前記所定画素に関する動き信号を発生す る動き信号発生ステップとを備え、
前記検出された振幅量を考慮して、 ( 1 ) 時間的な前記画像の変化量 が検出される、 および/または ( 2 ) 少なく とも前記所定画素が動画素 であるか否かが判定される、 および Zまたは ( 3 ) 前記所定画素に関す る動き信号が発生される動き検出方法である。
第 8の本発明は、 第 7の本発明の動き検出方法の、 所定画素を含む、 画像の所定画素周辺ェリァに関する前記画像の振幅量を検出する振幅量 検出ステップと、 時間的な前記画像の変化量を検出する変化量検出ステ ップと、 前記検出された変化量に基づいて、 少なく とも前記所定画素が 動画素であるか否かを判定する動画素判定ステップと、 前記判定の結果 を利用して、 前記所定画素に関する動き信号を発生する動き信号発生ス テツプとをコンピュータに実行させるためのプログラムである。
第 9の本発明は、 第 8の本発明のプログラムを担持した記録媒体であ つて、 コンピュータにより処理可能な記録媒体である。
第 1 0の本発明は、 時間的な画像の変化量を検出する変化量検出手段 と、
前記検出された変化量に基づいて、 所定画素を含む、 前記画像の所定 画素周辺ェリァに含まれる画素に関する前記変化量を、 前記所定画素周 辺エリァに含まれる画素について加算する変化量加算手段と、
前記加算の結果を考慮して、 少なく とも前記所定画素が動画素である か否かを判定する動画素判定手段とを備えた動き検出装置である。
第 1 1の本発明は、 第 1 0の本発明の動き検出装置と、
前記発生された動き信号を利用して、 所定の画像処理を行うための画 像処理装置とを備えた画像処理システムである。
第 1 2の本発明は、 時間的な画像の変化量を検出する変化量検出ステ ップと、 前記検出された変化量に基づいて、 所定画素を含む、 前記画像の所定 画素周辺ェリァに含まれる画素に関する前記変化量を、 前記所定画素周 辺エリァに含まれる画素について加算する変化量加算ステップと、 前記加算の結果を考慮して、 少なく とも前記所定画素が動画素である か否かを判定する動画素判定ステップとを備えた動き検出方法である。 第 1 3の本発明は、 第 1 2の本発明の動き検出方法の、 時間的な画像 の変化量を検出する変化量検出ステップと、 前記検出された変化量に基 づいて、 所定画素を含む、 前記画像の所定画素周辺エリアに含まれる画 素に関する前記変化量を、 前記所定画素周辺ェリァに含まれる画素につ いて加算する変化量加算ステップと、 前記加算の結果を考慮して、 少な く とも前記所定画素が動画素であるか否かを判定する動画素判定ステツ プとをコンピュータに実行させるためのプログラムである。
第 1 4の本発明は、 第 1 3の本発明のプログラムを担持した記録媒体 であって、 コンピュータにより処理可能な記録媒体である。 図面の簡単な説明
図 1は、 本発明の実施の形態 1の動き検出装置のプロック図である。 図 2は、 本発明の実施の形態 1の動き情報抽出手段 1の詳細な回路図 である。
図 3は、 本発明の実施の形態 1の発明の動き信号発生手段 5の動作を 説明するための説明図である。'
図 4は、 本発明の実施の形態 2の動き検出装置のプロック図である。 図 5は、 本発明の実施の形態 3の動き検出装置のプロック図である。 図 6は、 本発明の実施の形態 3の小振幅ェリァ検出手段 9の詳細なブ ロック図である。 図 7は、 本発明の実施の形態 4の動き検出装置のプロック図である。 図 8は、 本発明の実施の形態 5の動き検出装置のプロック図である。 図 9は、 本発明の実施の形態 6のノイズ低減装置のブロック図である 図 1 0は、 従来の動き検出装置のプロック図である。
(符号の説明)
1、 1 0 動き情報抽出手段
2 比較器
3、 1 2 動画素力ゥン ト手段
4 動き量加算手段
5、 1 1、 1 3 動き信号発生手段
6 フレームメモリ
減算器
8 絶対値回路
9 小振幅エリ ア検出手段
1 0 1 入力端子
1 0 2 フレームメモリ
1 0 3 減算器
1 0 4 絶対値回路
1 0 5 ROM
1 0 6 メモリ部
1 0 7 判定回路 明を実施するための最良の形態
以下に、 本発明にかかる実施の形態について、 図面を参照しつつ説明 を行う。
(実施の形態 1 ) .
はじめに、 本発明の実施の形態 1の動き検出装置のブロック図である 図 1を主として参照しながら、 本実施の形態の動き検出装置の構成につ いて説明する。
1は、 入力映像信号から動き情報を抽出する動き情報抽出手段である,
2は、 動き情報抽出手段 1の出力を所定の動画閾値信号と比較し、 動 画素を検出する比較手段である。 比較手段 2は、 コンパレータを有する,
3は、 比較手段 2からの出力から着目画素を含む所定画素周辺ェリァ の動画素の個数を計数する動画素力ゥント手段である。 動画素力ゥント 手段 3は、 所定画素周辺エリア内のデータを得るためのメモリ と、 得ら れた動画素情報を加算するための加算器とを有する。
4は、 動き情報抽出手段 1の出力から着目画素を含む所定画素周辺ェ リァ内の動き量を加算する動き量加算手段である。 動き量加算手段 4は 、 所定画素周辺エリア内の動き量データを得るためのメモリ と、 各画素 の動き量を加算し合計する加算器とを有する。
5は、 動画素力ゥント手段 3からの出力信号と動き量加算手段 4から の出力信号とから動き信号を発生する動き信号発生手段である。
ここで、 本発明の実施の形態 1の動き情報抽出手段 1の詳細な回路図 である図 2を参照しながら、 動き情報抽出手段 1の構成についてより詳 細な説明を行う。
6は、 入力信号を 1 フレーム遅延させるフレームメモリ である。
7は、 入力信号とフレームメモリ 6からの現在の信号と 1 フレーム遅 延信号の差分を計算する減算器である。
8は、 減算器 7の出力から絶対値を求める絶対値回路である。
なお、 本発明の変化量検出手段は動き情報抽出手段 1を含む手段に対 応し、 本発明の変化量加算手段は動き量加算手段 4を含む手段に対応し 、 本発明の動画素判定手段は動き信号発生手段 5を含む手段に対応する t つぎに、 本実施の形態の録画システムの動作について説明する。
なお、 本実施の形態の録画システムの動作について説明しながら、 本 発明の動き検出方法の一実施の形態についても説明を行う (その他の実 施の形態についても同様である) 。
動き情報抽出手段 1は、 入力映像信号の 1 フレーム差分信号を求め、 この 1 フレーム差分信号の絶対値をとることで動き情報を得る。
この動き情報抽出手段 1からの動き情報は、 比較手段 2に送られ、 所 定の動画閾値信号と比較される。
比較手段 2は、 動き情報が動画閾値信号より大きければデータ 「 1」 、 同じか小さければデータ 「0」 を出力する。
この比較手段 2からの比較結果は、 動画素力ゥント手段 3に送られ、 着目画素を含んだ所定画素周辺ェリァ内の動画素の個数が計数される。
また、 動き情報抽出手段 1からの動き情報は、 動き量加算手段 4に送 られ、 着目画素を含んだ所定画素周辺ェリァ内の動き量が加算される。 動き信号発生手段 5は、 動画素力ゥント手段 3からの所定画素周辺ェ リァ内の動画素の個数のみならず、 動き量加算手段 4からの所定画素周 辺エリア内総動き量をも考慮して、 動き信号が発生される。
より具体的には、 所定画素周辺ェリァ内総動き量が所定の閾値レベル よりも大きいときには (所定画素周辺ェリァ内の動画素の個数が所定の 閾値レベルよ り も小さくても) 、 着目画素に対して発生される動き信号 はゼロとはならず、 動き検出漏れが防がれるわけである。
このように、 本実施の形態においては、 所定画素周辺エリア内の動画 素の個数だけでなく、 所定画素周辺エリァ内総動き量からの情報も考慮 して動きレベルが判定されることが重要である。 ここで、 本発明の実施の形態 1の発明の動き信号発生手段 5の動作を 説明するための説明図である図 3を参照しながら、 本実施の形態の画素 周辺エリァ内総動き量についてより具体的に説明する。
図 3において、 縦軸は信号レベル、 横軸は画面位置を示しており、 F は 1 フレーム過去の入力映像信号、 Gは現在の入力映像信号である。 図 3に示すようになだらかな変化をした画像が Fから Gに動き、 信号 レベルが.変化している。
この時、 所定画素周辺エリア内の画素 X 1、 x 2、 x 3、 x 4、 x 5 における 1 フレーム差分信号の絶対値はそれぞれ d 1、 d 2、 d 3、 d 4、 d 5である。
これら d 1〜(! 5のそれぞれの値が動画閾値信号より小さい場合、 所 定画素周辺ェリア内の画素 X l〜 x 5のそれぞれは動画素として検出さ れない。
本実施の形態においては、 動き量加算手段 4が所定画素周辺ェリア内 の動き量である d l、 d 2、 d 3、 d 4、 d 5のすベてを合計する。
d l、 d 2、 d 3、 d 4、 d 5がそれぞれ小さく とも、 d l、 d 2、 d 3、 d 4、 d 5の総和はある程度大きくなる。
このため、 動き信号発生手段 5は、 動画素カウント手段 3から通知さ れた動き画素数が 「 0」 であっても、 動き量加算手段 4から通知された 総動き量の値 (= d l + d 2 + d 3 + d 4 + d 5 ) が所定の閾値より大 きいときには、 動きを検出できる。
以上のように、 動き信号発生手段 5が利用する判定条件に所定画素周 辺エリァ内総動き量を加味する。
すると、 画像のなだらかに変化するエリア (つまり小振幅エリア) で も動き量加算手段 4の出力が動きの情報を的確に示すため、 動き検出.漏 れは防がれる。 かく して、 動き信号発生手段での動き検出漏れが減少し、 動きとノィ ズとを正確に判別しつつ、 高精度に動画部分と静止画部分とを区別する ことができる。
もちろん、 所定画素周辺ェリァ内の画素数は入力される映像信号の状 態に応じて変化させることも可能である。
たとえば、 動きの極めて小さい画面においては着目画素の周辺の所定 画素周辺ェリァの画素数を増やすことで検出の精度'をあげたり、 逆に動 きの大きい画面においては所定画素周辺ェリアの画素数を少なくするこ とで、 検出速度を速めることも可能である。
(実施の形態 2 )
はじめに、 本発明の実施の形態 2の動き検出装置のプロック図である 図 4を主と して参照しながら、 本実施の形態の動き検出装置の構成につ いて説明する。
本実施の形態の動き検出装置の構成は、 前述した実施の形態 1の動き 検出装置の構成と類似している。
ただし、 本実施の形態の動き検出装置の構成は、 ( 1〉 小振幅エリア 検出手段 9で入力映像信号の小振幅ェリアを検出しその検出信号を動き 情報抽出手段 1 0 へ供給する点と、 ( 2 ) 動き信号発生手段 1 1は動画 素カウント手段 3からの画素周辺ェリァ内の動画素の個数のみから動き を検出する点においては、 前述した実施の形態 1の動き検出装置の構成 と異なっている。
小振幅ェリァ検出手段 9は、 所定画素周辺ェリァ内最大値検出回路と 、 所定画素周辺エリア内最小値検出回路と、 これらの差分を求める減算 器とを有する。
なお、 本発明の振幅量検出手段は小振幅ェリァ検出手段 9を含む手段 に対応し、 本発明の変化量検出手段は動き情報抽出手段 1 0を含む手段 に対応し、 本発明の動画素判定手段は比較手段 2を含む手段に対応し、 本発明の動き信号発生手段は動画素力ゥント手段 3および動き信号発生 手段 1 1を含む手段に対応する。
つぎに、 本実施の形態の動き検出装置の動作について説明する。
小振幅エリア検出手段 9は、 入力映像信号が供給され、 画像のなだら かな変化エリア (つまり小振幅エリア) を検出する。
これらの動作により画素周辺ェリァ内の最大振幅量を検出することが でき、 この最大振幅量が小さければ画像がなだらかに変化する小振幅ェ リアと判定できる。
動き情報抽出手段 1 0は、 小振幅エリア検出手段 9からの検出信号に 基づき、 振幅量が小であるほど動きに対する感度が高くなるよう制御を 行う。
これは、 たとえば振幅量が小であるほど動き情報抽出手段 1 0内のフ レーム差分信号に大きなゲインを持たせることで実現できる。
以上のように、 小振幅ェリァ検出手段 9が画像のなだらかな部分を検 出し、 この検出信号に応じて動き情報抽出手段 1 0の感度が変えられる ( すると、 画像のなだらかに変化するエリア (つまり小振幅エリア) で も、 動き信号発生手段 5での動き検出漏れが減少し、 高精度に動画部分 と静止画部分とを区別することができる。
(実施の形態 3 )
はじめに、 本発明の実施の形態 3の動き検出装置のプロック図である 図 5を主として参照しながら、 本実施の形態の動き検出装置の構成につ いて説明する。
本実施の形態の動き検出装置の構成は、 前述した実施の形態 1〜 2の 動き検出装置の構成と類似している。
ただし、 本実施の形態の動き検出装置の構成は、 小振幅エリア検出手 段 9からの検出信号を動画素力ゥント手段 1 2 へ供給する点においては 、 前述した実施の形態 1 〜 2の動き検出装置の構成と異なっている。
ここで、 本発明の実施の形態' 3の小振幅ェリァ検出手段 9の詳細なプ 口ック図である図 6を参照しながら、 小振幅エリァ検出手段 9の構成に ついて詳細に説明する。
2 1は、 簡易ノイズフィルタである。 簡易ノイズフィルタ 2 1は、 振 幅検出結果がノイズの影響を受けないようにするためのフィルタである <
2 2 、 2 3は、 信号を 1クロック遅延するフリ ップフロップである。
2 4 、 2 6 、 2 9は、 入力信号の大きさを比較するコンパレータであ る。
2 5 、 2 7 、 2 8 、 3 0は、 セレクタである。
3 1は、 減算器である。 - なお、 本発明の振幅量検出手段は小振幅ェリァ検出手段 9を含む手段 に対応し、 本発明の変化量検出手段は動き情報検出手段 1を含む手段に 対応し、 本発明の動画素判定手段は比較手段 2を含む手段に対応し、 本 発明の動き信号発生手段は動画素力ゥント手段 1 2および動き信号発生 手段 1 1を含む手段に対応する。
つぎに、 本実施の形態の動き検出装置の動作について説明する。
動画素力ゥント手段 1 2は、 小振幅ェリア検出手段 9からの検出信号 に基づき、 動きに対する感度が高くなるよう制御を行う。
これは、 たとえば振幅量が小であるほど所定画素周辺ェリァを広げる ことで実現できる。 ·
所定画素周辺ェリアを広げることでより動画素を検出しゃすくなり、 結果的に動きに対する感度をあげたことと同じ効果が得られる。
ここで、 図 6を参照しながら、 小振幅エリア検出手段 9の動作につい て詳細に説明する。 簡易ノイズフィルタ 2 1 は、 入力信号端子から入力した映像信号のノ ィズを除去する。
以下において、 データ Aは、 簡易ノイズフィルタ 2 1によってノイズ を除去された信号である。 また、 データ Bは、 データ Aがフリ ップフロ ップ 2 2によって 1 クロック遅延された信号である。 また、 データ Cは 、 データ Bがフリ ッププロップ 2 3によって 1 クロック遅延された信号 である。
①データ A〜Cの内、 最も大きいものを選択するための動作について 説明する。
コンパレータ 2 4は、 データ Aとデータ B とを比較する。
セレクタ 2 5は、 コンパレータ 2 4による比較結果に基づき、 データ
Aとデータ B との内、 より大きいものを選択する。
コンパレータ 2 6は、 セレクタ 2 5の出力とデータ Cとを比較する。 セレクタ 2 7は、 コンパレータ 2 6による比較結果に基づき、 セレク タ 2 5 の出力とデータ C との内、 よ り大きいものを選択する。
したがって、 セレクタ 2 7の出力は、 データ A〜Cの最大値 M A Xで める。
②データ A〜 Cの内、 最も小さいものを選択するための動作について 説明する。
コンパレータ 2 4は、 データ Aとデータ B とを比較する。
セレクタ 2 8は、 コンパレータ 2 4による比較結果に基づき、 データ
Aとデータ; B との内、 より小さいものを選択する。
コンパレータ 2 9は、 セレクタ 2 8の出力とデータ Cとを比較する。 セレクタ 3 0は、 コンパレータ 2 9による比較結果に基づき、 セレク タ 2 8の出力とデータ Cとの内、 より小さいものを選択する。
したがって、 セレクタ 3 0の出力は、 データ A〜 Cの最小値 M I Nで ある。
減算器 3 1は、 最大値 M A Xと最小値 M I Nとの差分を取り、 所定画 素周辺エリアにおける振幅量を求める。
もちろん、 以上においては、 水平方向のエリアにおける振幅量につい て説明したが、 垂直方向のェリァにおける振幅量についても同様である < 以上のように小振幅ェリァ検出手段 9が画像のなだらかな部分を検出 し、 振幅量が小であるほど動画素力ゥント手段 1 2が動画素を計数する 所定画素周辺ェリアを広げる。
すると、 画像のなだらかに変化するエリア (つまり小振幅エリア) で も、 動き信号発生手段 5 の動き検出漏れが減少し、 高精度に動画部分と 静止画部分とを区別することができる。
(実施の形態 4 )
はじめに、 本発明の実施の形態 4の動き検出装置のプロック図である 図 7を主として参照しながら、 本実施の形態の動き検出装置の構成につ いて説明する。
本実施の形態の動き検出装置の構成は、 前述した実施の形態 1〜 3の 動き検出装置の構成と類似している。
ただし、 本実施の形態の動き検出装置の構成は、 小振幅エリア検出手 段 9からの検出信号を動き信号発生手段 1 3へ供給する点においては、 前述した実施の形態 1〜 3の動き検出装置の構成と異なっている。
なお、 本発明の振幅量検出手段は小振幅ェリァ検出手段 9を含む手段 に対応し、 本発明の変化量検出手段は動き情報検出手段 1を含む手段に 対応し、 本発明の動画素判定手段は比較手段 2を含む手段に対応し、 本 発明の動き信号発生手段は動画素力ゥント手段 3および動き信号発生手 段 1 3を含む手段に対応する。
つぎに、 本実施の形態の動き検出装置の動作について説明する。 動き信号発生手段 1 3は、 小振幅エリア検出手段 9からの検出信号に 基づき、 振幅量が小さいほど動き検出信号が大きく検出されるよう制御 を行う。
これは、 たとえば動き信号発生手段 1 3内の判定テーブルを動き側へ 感度が高いものへ切換え、 動き信号のゲインをより大きく とることで実 現できる。
以上のように、 小振幅ェリァ検出手段 9が画像のなだらかな部分を検 出し、 この検出信号に応じて動き信号発生手段 1 3内のテーブルが変化 させられる。
すると、 画像のなだらかに'変化するエリア (つまり小振幅エリア) で も、 動き信号発生手段での動き検出漏れが減少し、 高精度に動画部分と 静止画部分とを区別することができる。
(実施の形態 5 )
はじめに、 本発明の実施の形態 5の動き検出装置のブロック図である 図 8を主として参照しながら、 本実施の形態の動き検出装置の構成につ いて説明する。
本実施の形態の動き検出装置の構成は、 前述した実施の形態 1 〜 4の 動き検出装置の構成と類似している。
ただし、 本実施の形態の動き検出装置の構成は、 小振幅エリア検出手 段 9からの検出信号を比較手段 1 4 へ供給する点においては、 前述した 実施の形態 1 〜 4の動き検出装置の構成と異なっている。 ' なお、 本発明の振幅量検出手段は小振幅ェリァ検出手段 9を含む手段 に対応し、 本発明の変化量検出手段は動き情報検出手段 1を含む手段に 対応し、 本発明の動画素判定手段は比較手段 1 4を含む手段に対応し、 本発明の動き信号発生手段は動画素力ゥント手段 3および動き信号発生 手段 1 1を含む手段に対応する。 つぎに、 本実施の形態の動き検出装置の動作について説明する。
比較手段 1 4は、 小振幅エリア検出手段 9からの検出信号に基づき、 ' 振幅量が小であるほど比較手段 1 4に供給する閾値信号が小さくなるよ う制御を行う。
以上のように、 小振幅エリア検出手段 9が画像のなだらかな部分を検 出し、 この検出信号に応じて比較手段 1 4に供給する閾値信号が制御さ れる。
すると、 画像のなだらかに変化するエリア (つまり小振幅エリア) で は、 閾値信号が小さくなり、 比較手段 1 4での動き検出感度が上げられ るため、 動き検出漏れが減少し、 高精度に動画部分と静止画部分とを区 別することができる。
もちろん、 上述の実施の形態 1〜 5を任意に組み合わせても良いこと は、 言うまでも無い。
(実施の形態 6 ) '
はじめに、 本発明の実施の形態 6のノイズ低減装置のプロック図であ る図 9を主として参照しながら、 本実施の形態のノィズ低減装置の構成 について説明する。
4 1は、 フレームメモリ 4 5によって 1 フ レーム遅延された映像信号 と入力映像信号との差分を求める第 1の減算器である。
4 3は、 上述した実施の形態の動き検出装置によって求められた動き 検出信号を (動き検出信号の値よりも大きな) 定数 kから減算する第 2 の減算器である。
4 2は、 第 1減算器 4 1の出力信号と第 2の減算器 4 3の出力信号と を乗算する乗算器である。
4 4は、 入力された映像信号に乗算器 4 2 の出力信号を加算する加算 器である。 4 5 は、 加算器 4 4の出力信号を 1 フレーム遅延させるフレームメモ リである。
なお、 本発明の画像処理装置は加算器 4 4を含む手段に対応し、 本発 明の画像処理システムは本実施の形態のノイズ低減装置に対応する。 つぎに、 本実施の形態のノイズ低減装置の動作について説明する。 フレームメモリ 4 5 は、 加算器 4 4の出力信号を 1 フレーム遅延させ る。
第 1 の減算器 4 1 は、 フレームメモリ 4 5 からの 1 フレーム遅延され た信号から入力端子からの映像信号を減算し、 フレーム差分信号を求め る。
第 2の減算器 4 3は、 定数 kから動き検出信号を減算する。
乗算器 4 2は、 第 1 の減算器 4 1 の出力信号と第 2 の減算器 4 3の出 力信号を乗算する。
加算器 4 4は、 入力された映像信号に乗算器 4 2の出力信号を加算す る。
ここに、 フレーム毎の相関性の高い通常の映像信号に対しては、 フ レ ーム差分値が小さくなる。 また、 フレーム毎の相関性の低いノイズ信号 に対しては、 フ レーム差分値が大きくなる。
動画部分では、 動き検出信号が大きくなるため、 第 2の減算器 4 3 の 出力信号は小ざくなり、 乗算器 4 2 の出力信号も小さくなる。 したがつ て、 動画部分では、 入力された映像信号に加算器 4 4が加算する信号 ( つま り 、 乗算器 4 2の出力信号) が小さくなる。 このため、 加算器 4 4 の出力信号は入力された映像信号に近くなり、 動きによる画像ボケはあ まり発生しない。
反対に、 静止画部分では、 動き検出信号が小さくなるため、 第 2の減 算器 4 3の出力信号は大きくなり、 乗算器 4 2の出力信号も大きくなる c したがって、 静止画部分では、 入力された映像信号に加算器 4 4が加算 する信号が大きくなる。 このため、 第 1の減算器 4 1がフレーム差分信 号として検出したノイズの影響は相殺される。 もちろん、 第 2の減算器 4 3の出力信号が大きいほど、 ノィズ低減効果は大きくなる。
かく して、 動画部分で動きボケの発生を抑制しながら、 静止画部分で 大きなノィズ低減効果を得ることができる。
より具体的に述べると、 本実施の形態では、 動き検出の精度が悪い場 合に発生してしまう、 人肌などの動画部分で顕著に現れる尾引き現象や 、 静止画部分でのノイズ低減効果の減少などが、 発生しにくい。
つまり、 上述した実施の形態 1 〜 5の動き検出装置を用いて動画部分 を精度良く検出することで、 静止画でのノィズ低減効果と動画での動き ボケの防止とを両立できる。
なお、 本発明の画像処理システムは、 上述した本実施の形態において は、 ノイズ低減装置であつたが、 これに限らず、 たとえば、 フォーマツ ト変換装置であってもよい。
以上においては、 実施の形態 1 〜 6について詳細に説明を行った。 かく して、 画像がなだらかに変化している小振幅エリアでも、 動きと ノィズとを正確に判別し、 動き検出漏れの無い高精度な動き検出信号を 得ることができ、 ノイズ低減装置などに応用した場合に、 動きボケを排 除してより ノィズ低減効果をあげることができる。
また、 動画領域と静止画領域の境界部分もスムーズに切り換わるため 、 自然な効果が期待できるという顕著な効果も得られる。
なお、 本発明のプログラムは、 上述した本発明の動き検出方法の全部 または一部のステップ (または、 工程、 動作、 作用等) の動作をコンビ ユ ータにより実行させるためのプログラムであって、 コンピュータと協 働して動作するプログラムである。 また、 本発明の記録媒体は、 上述した本発明の動き検出方法の全部ま たは一部のステップ (または、 工程、 動作、 作用等) の全部または一部 の動作をコンピュータにより実行させるためのプログラムを担持した記 録媒体であり、 コンピュータにより読み取り可能かつ、 読み取られた前 記プログラムが前記コンピュータと協動して前記動作を実行する記録媒 体である。
なお、 本発明の上記 「一部のステップ (または、 工程、 動作、 作用等 ) 」' とは、 それらの複数のステップの内の、 一つまたは幾つかのステツ プを意味する。
また、 本発明の上記 「ステップ (または、 工程、 動作、 作用等) の動 作」 とは、 前記ステップの全部または一部の動作を意味する。
また、 本発明のプログラムの一利用形態は、 コンピュータにより読み 取り可能な記録媒体に記録され、 コンピュータと協働して動作する態様 であっても良い。
また、 本発明のプログラムの一利用形態は、 伝送媒体中を伝送し、 コ ンピュータにより読みと られ、 コンピュータと協働して動作する態様で あっても良レヽ。
また、 記録媒体としては、 R O M等が含まれ、 伝送媒体としては、 ィ ンターネッ ト等の伝送媒体、 光 ·電波 ·音波等が含まれる。
また、 上述した本発明のコンピュータは、 C P U等の純然たるハード ウェアに限らず、 ファームウェアや、 O S、 更に周辺機器を含むもので あっても良い。
なお、 以上説明した様に、 本発明の構成は、 ソフトウェア的に実現し ても良いし、 ハードウェア的に実現しても良い。 産業上の利用可能性
本発明は、 たとえば、 画像がなだらかに変化しているエリアにおいて も静止画領域と動画領域と'をより正確に検出することができるという長 所を有する。

Claims

請 求 の 範 囲
1 . 所定画素を含む、 画像の所定画素周辺エリアに関する前記画像 の振幅量を検出する振幅量検出手段と、
時間的な前記画像の変化量を検出する変化量検出手段と、
前記検出された変化量に基づいて、 少なく とも前記所定画素が動画素 であるか否かを判定する動画素判定手段と、
前記判定の結果を利用して、 前記所定画素に関する動き信号を発生す る動き信号発生手段とを備え、
前記検出された振幅量を考慮して、 ( 1 ) 時間的な前記画像の変化量 が検出される、 および/または ( 2 ) 少なく とも前記所定画素が動画素 であるか否かが判定される、 および/または ( 3 ) 前記所定画素に関す る動き信号が発生される動き検出装置。
2 . 前記検出された振幅量がより小さいほど、 少なく とも前記所定 画素に関する変化量のゲインがより大きく捕正されて、 時間的な前記画 像の変化量が検出される請求項 1記載の動き検出装置。
3 . 前記検出された振幅量がより小さいほど、 少なく とも前記所定 画素が動画素であるか否かを判定するための閾値のレベルがより小さく 補正されて、 少なく とも前記所定画素が動画素であるか否かが判定され る請求項 1記載の動き検出装置。
4 . 前記検出された振幅量がより小さいほど、 前記所定画素に関す る動き信号を発生するために前記判定の結果が利用される画素の存在す るエリアがより大きく補正されて、 前記所定画素に関する動き信号が発 生される請求項 1記載の動き検出装置。 '
5 . 前記検出された振幅量がより小さいほど、 前記所定画に関する 動き信号のゲインがより大きく補正されて、 前記所定画素に関する動き 信号が発生される請求項 1記載の動き検出装置。
6 . 請求項 1記載の動き検出装置と、
前記発生された動き信号を利用して、 所定の画像処理を行うための画 像処理装置とを備えた画像処理システム。
7 . 所定画素を含む、 画像の所定画素周辺エリアに関する前記画像 の振幅量を検出する振幅量検出ステップと、
時間的な前記画像の変化量を検出する変化量検出ステップと、 前記検出された変化量に基づいて、 少なく とも前記所定画素が動画素 であるか否かを判定する動画素判定ステップと、
前記判定の結果を利用して、 前記所定画素に関する動き信号を発生す る動き信号発生ステップとを備え、 .
前記検出された振幅量を考慮して、 ( 1 ) 時間的な前記画像の変化量 が検出される、 および/または ( 2 ) 少なく とも前記所定画素が動画素 であるか否かが判定される、 および/または ( 3 ) 前記所定画素に関す る動き信号が発生される動き検出方法。
8 . 請求項 7記載の動き検出方法の、 所定画素を含む、 画像の所定 画素周辺ェリァに関する前記画像の振幅量を検出する振幅量検出ステツ プと、 時間的な前記画像の変化量を検出する変化量検出ステップと、 前 記検出された変化量に基づいて、 少なく とも前記所定画素が動画素であ るか否かを判定する動画素判定ステップと、 前記判定の結果を利用して 、 前記所定画素に関する動き信号を発生する動き信号発生ステップとを コンピュータに実行させるためのプログラム。
9 . 請求項 8記載のプログラムを担持した記録媒体であって、 コン ピュータにより処理可能な記録媒体。
PCT/JP2003/004580 2002-04-17 2003-04-11 Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement WO2003088648A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003585424A JPWO2003088648A1 (ja) 2002-04-17 2003-04-11 動き検出装置、画像処理システム、動き検出方法、プログラム、および記録媒体
KR10-2004-7000664A KR20040099250A (ko) 2002-04-17 2003-04-11 모션검출장치, 화상처리 시스템, 모션검출방법, 프로그램및 기록매체
EP03723101A EP1503578A4 (en) 2002-04-17 2003-04-11 MOTION DETECTOR, IMAGE PROCESSING SYSTEM, MOTION DETECTION METHOD, PROGRAM, RECORDING MEDIUM
US10/480,741 US20040218787A1 (en) 2002-04-17 2003-04-11 Motion detector, image processing system, motion detecting method, program, and recordig medium
CA002450244A CA2450244A1 (en) 2002-04-17 2003-04-11 Motion detector, image processing system, motion detecting method, program, and recording medium
MXPA03011520A MXPA03011520A (es) 2002-04-17 2003-04-11 Detector de movimiento, sistema de procesamiento de imagen, metodos de deteccion de movimiento, programa y medio de registro.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002114561 2002-04-17
JP2002-114561 2002-04-17

Publications (1)

Publication Number Publication Date
WO2003088648A1 true WO2003088648A1 (fr) 2003-10-23

Family

ID=29243389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004580 WO2003088648A1 (fr) 2002-04-17 2003-04-11 Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement

Country Status (8)

Country Link
US (1) US20040218787A1 (ja)
EP (1) EP1503578A4 (ja)
JP (1) JPWO2003088648A1 (ja)
KR (1) KR20040099250A (ja)
CN (1) CN1543742A (ja)
CA (1) CA2450244A1 (ja)
MX (1) MXPA03011520A (ja)
WO (1) WO2003088648A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210160401A1 (en) * 2019-11-27 2021-05-27 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same, and storage medium

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302082B2 (en) * 2004-02-13 2007-11-27 Chunghwa Telecom Co., Ltd. Method for detecting motion pixels in image
CN1328696C (zh) * 2004-12-31 2007-07-25 北京中星微电子有限公司 运动图像检测方法和电路
JP4843297B2 (ja) * 2005-11-24 2011-12-21 良次 大塲 被写体監視方法、被写体監視装置、および被写体監視プログラム
US8233094B2 (en) * 2007-05-24 2012-07-31 Aptina Imaging Corporation Methods, systems and apparatuses for motion detection using auto-focus statistics
KR101373605B1 (ko) 2007-10-09 2014-03-13 삼성전자주식회사 이동 물체 검출 방법 및 시스템
CN101324959B (zh) * 2008-07-18 2011-07-13 北京中星微电子有限公司 一种检测运动目标的方法及装置
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
KR101573400B1 (ko) 2009-02-18 2015-12-02 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
CN102341811B (zh) 2009-03-06 2015-04-29 皇家飞利浦电子股份有限公司 控制设备的功能的方法和用于检测生物的存在的***
ES2426971T3 (es) 2009-03-06 2013-10-28 Koninklijke Philips N.V. Procesamiento de imágenes de al menos un ser vivo
KR20120048021A (ko) 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
EP2486543B1 (en) * 2009-10-06 2017-02-22 Koninklijke Philips N.V. Formation of a time-varying signal representative of at least variations in a value based on pixel values
JP5178797B2 (ja) 2010-09-13 2013-04-10 キヤノン株式会社 表示制御装置及び表示制御方法
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
JP7433792B2 (ja) * 2019-07-19 2024-02-20 キヤノン株式会社 撮像装置およびその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04192693A (ja) * 1990-11-24 1992-07-10 Victor Co Of Japan Ltd 動き検出装置
JPH0530391A (ja) * 1991-07-18 1993-02-05 Toshiba Corp 動き検出回路
JPH06121194A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH06311504A (ja) * 1993-04-26 1994-11-04 Sony Corp 動き判定装置
JPH0981754A (ja) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd 動き検出回路
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2031686B (en) * 1978-09-14 1983-02-02 Micro Consultants Ltd Movement detection
US5731832A (en) * 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
US6493041B1 (en) * 1998-06-30 2002-12-10 Sun Microsystems, Inc. Method and apparatus for the detection of motion in video
WO2000021292A1 (fr) * 1998-10-02 2000-04-13 Sony Corporation Dispositif et procede de decision de mouvement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04192693A (ja) * 1990-11-24 1992-07-10 Victor Co Of Japan Ltd 動き検出装置
JPH0530391A (ja) * 1991-07-18 1993-02-05 Toshiba Corp 動き検出回路
JPH06121194A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
JPH06311504A (ja) * 1993-04-26 1994-11-04 Sony Corp 動き判定装置
JPH0981754A (ja) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd 動き検出回路
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1503578A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210160401A1 (en) * 2019-11-27 2021-05-27 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same, and storage medium
US11881134B2 (en) * 2019-11-27 2024-01-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same, and storage medium

Also Published As

Publication number Publication date
EP1503578A1 (en) 2005-02-02
KR20040099250A (ko) 2004-11-26
US20040218787A1 (en) 2004-11-04
CN1543742A (zh) 2004-11-03
EP1503578A4 (en) 2005-06-08
CA2450244A1 (en) 2003-10-23
MXPA03011520A (es) 2004-03-18
JPWO2003088648A1 (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
WO2003088648A1 (fr) Detecteur de mouvement, systeme de traitement d&#39;image, procede de detection de mouvement, programme, support d&#39;enregistrement
EP1073259B1 (en) Noise detector and noise detection method
US20080292185A1 (en) Video signal processing method, program for the video signal processing method, recording medium recording the program for the video signal processing method, and video signal processing apparatus
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
US8270756B2 (en) Method for estimating noise
KR20150114286A (ko) 영상 잡음 제거 장치 및 방법
JP2001005958A (ja) ノイズリダクション装置および方法とその記録媒体
JP2004088234A (ja) ノイズ低減装置
JPH1132236A (ja) 画像処理装置
JPH1117954A (ja) 映像信号処理装置
US6781625B2 (en) Noise reducing apparatus
TWI413023B (zh) 移動偵測方法及裝置
JPH0983804A (ja) ノイズ低減装置
WO2010106739A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005149266A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4289170B2 (ja) ノイズ量測定装置および映像受像機
US8411985B2 (en) Image processing device, image processing method and non-transitory computer readable medium recording image processing program
CN114845060B (zh) 检测闪烁频率的***和方法以及包括该***的电子装置
KR100213024B1 (ko) 보간을 이용한 디지탈 잡음저감장치
JPH099135A (ja) 動きベクトル検出装置
JP2000022991A (ja) ノイズ低減装置及びノイズ低減プログラムを記録した記録媒体
US20080186406A1 (en) Apparatus for detecting film mode and method thereof
JP3252411B2 (ja) 画像の振動補正装置
JP2004134941A (ja) 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法
JP2007180691A (ja) ノイズ量測定装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN JP KR MX US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2003585424

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003723101

Country of ref document: EP

Ref document number: 2450244

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: PA/a/2003/011520

Country of ref document: MX

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020047000664

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038007665

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 10480741

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2003723101

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2003723101

Country of ref document: EP