WO2007094329A1 - Moving image processing device, moving image processing method, and moving image program - Google Patents

Moving image processing device, moving image processing method, and moving image program Download PDF

Info

Publication number
WO2007094329A1
WO2007094329A1 PCT/JP2007/052547 JP2007052547W WO2007094329A1 WO 2007094329 A1 WO2007094329 A1 WO 2007094329A1 JP 2007052547 W JP2007052547 W JP 2007052547W WO 2007094329 A1 WO2007094329 A1 WO 2007094329A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video frame
decoding
encoding
prediction
Prior art date
Application number
PCT/JP2007/052547
Other languages
French (fr)
Japanese (ja)
Inventor
Toru Yamada
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008500507A priority Critical patent/JP5516842B2/en
Publication of WO2007094329A1 publication Critical patent/WO2007094329A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • a moving picture processing apparatus a moving picture processing method, and a moving picture processing program
  • the present invention relates to a moving image processing apparatus that encodes and outputs an input moving image, a moving image processing method, and a moving image processing program, and in particular, a moving image processing apparatus that removes a high-frequency signal from a video frame constituting a moving image,
  • the present invention relates to a moving image processing method and a moving image processing program.
  • the high frequency signal is removed from the moving image, the amount of code for encoding the high frequency signal is not necessary. Therefore, a moving image from which a high-frequency signal has been removed can be encoded at a low bit rate.
  • the reproducibility of edges (shape contours) in the image is lost, and the image is blurred (meaning that the shape contour is not clear).
  • the rate of removing high-frequency signals is large, there is a problem that image quality degradation due to blur is detected by the viewer.
  • the quantization coarseness is changed for each video frame.
  • a B picture that performs predictive coding from both past and future video frames is generally quantized more coarsely than other video frames because that video frame does not become a predicted reference image of a subsequent video frame. It is.
  • video frames are roughly quantized, high-frequency signals tend to be removed by the quantization process.
  • the low-frequency signal is also roughly quantized, which increases the quantization distortion.
  • the following prior art document 1 describes an apparatus for solving this problem.
  • the device described in the prior art document 1 determines the amount of blurring of the image in accordance with the magnitude of movement in the video.
  • This device uses the human visual characteristic that high-frequency signals are difficult to detect in images with large movements, and blurs images with large movements weakly and images with small movements weakly. Such a function makes it difficult to detect blurred images.
  • the following prior art document 2 describes an apparatus that performs filtering processing for each video frame at regular intervals.
  • Prior art document 1 Japanese Laid-Open Patent Publication No. 2 2003-3 3 3 3 0 (paragraphs 0 0 2 1 to 0 0 40, FIG. 1)
  • the apparatus described in the above-mentioned prior art document 1 has a problem that blur is easily detected when the motion of the image is large and the blur is too strong.
  • high-frequency signals cannot be removed sufficiently because images with small motion are weakened in blurring. For this reason, it is impossible to greatly reduce the amount of generated codes during encoding.
  • the apparatus described in the prior art document 2 performs a filtering process on each video frame at regular intervals.
  • the filtering process performed on the video frame is preferably performed by changing the intensity step by step.
  • the present invention has been proposed in view of the above-described problems. That is, the present invention It is an object of the present invention to provide a moving image processing apparatus, a moving image processing method, and a moving image processing program that can sufficiently remove a high-frequency signal from a video frame.
  • the moving image processing apparatus determines the intensity at which the video frame is blurred (including determining not to blur).
  • Image blurring means for blurring the image by removing high-frequency signals from the frame and the blur intensity determining means changes the intensity of blurring when a predetermined number (one or more) of video frames continue.
  • the blur intensity determining means changes the intensity of blurring periodically. Also, the blur intensity determining means changes the intensity to blur every other frame.
  • the blur strength determining means determines the strength to blur according to the change in pixel value between video frames.
  • the moving image processing apparatus further includes an image encoding unit that encodes the video frame output by the image blurring unit, and the blur strength determining unit includes the image encoding unit.
  • the blur strength is determined according to the encoding method used when encoding the video frame.
  • the moving image processing apparatus further includes image encoding means for encoding the video frame output by the image blurring means, and the blur intensity determining means includes the K image encoding means as the video frame.
  • the intensity to be blurred is determined according to the encoding method used when encoding and the pixel value change between video frames.
  • the moving image processing apparatus further includes local decoding means for generating a prediction reference frame by decoding the video frame encoded by the image encoding means, and storing the prediction reference frame A prediction reference frame blurring unit that removes the high-frequency signal of the prediction reference frame, and a prediction reference frame from which the prediction reference frame blurring unit has removed the high-frequency signal.
  • the predicted reference frame blurring unit removes the high-frequency signal determined to be removed from the video frame by the blur strength determining unit from the predicted reference frame, and the image encoding unit includes the image blurring unit.
  • Output video frame and predicted image The result of the subtraction process with the predicted image generated by the image generation means is encoded.
  • the moving image processing apparatus further includes decoding means for decoding the video frame encoded by the image encoding means, and second storage means for storing the video frame decoded by the decoding means.
  • decoding means for decoding the video frame encoded by the image encoding means
  • second storage means for storing the video frame decoded by the decoding means.
  • a second predicted image generating means for generating a motion compensated prediction predicted image from the video frame stored in the second storage means, a video frame decoded by the decoding means, and a second predicted image. Adding means for adding and outputting the predicted image generated by the generating means;
  • the moving image processing apparatus further includes a decoding means for decoding the video frame encoded by the image encoding means, and a second storage means for storing the video frame decoded by the decoding means.
  • a second prediction reference frame blurring unit for removing a high-frequency signal determined to be removed by the blur intensity determination unit from the video frame stored in the second storage unit; and a second prediction reference frame blurring unit From the video frame from which the high-frequency signal has been removed, a second predicted image generating means for generating a predicted image for motion compensated prediction, a video frame decoded by the decoding means, and a prediction generated by the second predicted image generating means Adding means for adding and outputting the image;
  • the moving image processing apparatus is a moving image processing apparatus that processes a moving image composed of continuous video frames, and determines whether or not to perform fill-up processing for each video frame.
  • the in-loop filter evening determining means for determining the in-loop fill evening characteristic to be filtered, and the filter having the characteristics determined by the in-loop filter determining means for the input video frame.
  • the input image filter processing means for performing the filtering process, the image encoding means for encoding the filtered video frame, and the local decoding for generating the prediction reference frame obtained by decoding the video frame encoded by the image encoding means Means, a first storage means for storing the prediction reference frame, and a prediction of the characteristics determined by the in-loop filter determination means.
  • An in-loop filter processing means for performing a fill-in process on a frame, and a predicted image generation means for generating a predicted image from a prediction reference frame that the fill-in-loop process has performed in the loop.
  • the fill-in-loop processing means in the loop perform the fill-up process with a fill-in process with similar characteristics, and the image encoding means The result of subtracting the video frame output from the input image filter processing means and the predicted image generated by the predicted image generating means is encoded.
  • the moving image processing apparatus further includes a decoding unit that decodes the encoded video frame, a second storage unit that stores the video frame decoded by the decoding unit, and a second storage unit.
  • a second in-loop filter processing means for performing a filtering process on the video frame stored in the storage means by the fill event having the characteristics determined by the in-loop fill setting determination means, and a second in-loop fill processing means.
  • the second predicted image generating means for generating a predicted image of motion compensated prediction from the video frame subjected to the filtering process, the video frame decoded by the decoding means, and the prediction generated by the second predicted image generating means
  • adding means for adding and outputting the image.
  • the moving image processing method is a moving image processing method for processing a moving image composed of continuous video frames, and determines the intensity at which the video frame is blurred (determines that it is not blurred). Including a blur intensity determining step, and an image blur step for blurring the image by removing a high-frequency signal of the video frame according to the determination in the blur strength determining step.
  • the blur intensity determining step a predetermined number of video frames ( Numbers greater than 1) It is characterized by changing the intensity of blurring when continuous.
  • the blur intensity determining step periodically changes the intensity of blurring. Further, the blur intensity determining step changes the intensity to be blurred every other frame.
  • the blur intensity determining step determines an intensity to be blurred according to a change in pixel value between video frames. .
  • the moving image processing method further includes an image encoding step for encoding the video frame output in the image blurring step, and the video frame in the image encoding step is a blur intensity determination step.
  • the intensity to be blurred is determined according to the encoding method when encoding.
  • the moving image processing method further includes an image encoding step for encoding the video frame output in the image blurring step, and the video frame in the image encoding step is a blurring intensity determination step.
  • Code when encoding The intensity to be blurred is determined according to the conversion method and the pixel value change between the video frames.
  • the moving image processing method further includes a local decoding step of generating a predicted reference frame by decoding a video frame encoded in an image encoding step, and removing a high-frequency signal of the predicted reference frame A prediction reference frame blurring step, and a prediction image generation step for generating a prediction image of motion compensated prediction from the prediction reference frame from which a high-frequency signal has been removed in the prediction reference frame blurring step, and in the prediction reference frame blurring step,
  • the high-frequency signal determined to be removed from the video frame in the decision step is removed from the prediction reference frame, and in the image encoding step, the subtraction process between the video frame output in the image blurring step and the prediction image generated in the prediction image generation step The result of is encoded.
  • the moving image processing method further includes a decoding step for decoding the video frame encoded in the image encoding step, and a motion compensated prediction image from the video frame decoded in the decoding step.
  • a second prediction image generation step to be generated; an addition step of adding and outputting the video frame decoded in the decoding step and the prediction image generated in the second prediction image generation step.
  • the moving image processing method further includes: a decoding step for decoding the video frame encoded in the image encoding step; and a blur intensity determination step for removing the video frame decoded in the decoding step.
  • a second prediction reference frame blur step that removes the determined high-frequency signal, and a second prediction that generates a motion compensated prediction prediction image from the video frame from which the high-frequency signal was removed in the second prediction reference frame blur step.
  • a moving image processing method is a moving image processing method for processing a moving image composed of continuous video frames, and determines whether or not to perform filtering for each video frame, When it is determined that the filter processing is to be performed, the in-loop fill event determining step for determining the in-loop fill event characteristic for performing the filter processing, and the fill factor of the characteristic determined in the in-loop filter determining step are applied to the input video frame.
  • In-loop filter processing step that filters the prediction reference frame with the filter having the characteristics determined in the decoding step, and the in-loop fill filter determination step, and the prediction in which the in-loop fill filter processing step performs the filter processing
  • a prediction image generation step for generating a prediction image from a reference frame.
  • filtering is performed with a filter having similar characteristics.
  • Video frame output in the input image filter processing step and predicted image It is characterized in that the result of the subtraction process with the predicted image generated in the generation step is encoded.
  • the moving image processing method further includes: a decoding step for decoding the encoded video frame; and a filter having the characteristics determined in the in-loop filter determination step on the video frame decoded in the decoding step.
  • the second predicted image generation for generating a motion compensated prediction predicted image from the second in-loop filter processing step that performs the fill-in process and the video frame subjected to the filter processing in the second in-loop filter processing step.
  • an addition step for adding and outputting the video frame decoded in the decoding step and the predicted image generated in the second predicted image generating step.
  • a moving image processing program is a moving image processing program that causes a computer to process a moving image composed of continuous video frames, and determines the intensity of blurring the video frames in a computer evening. Yes (including determining not to blur) According to the determination in the blur intensity determination process and the blur intensity determination process, the image blur process is performed to blur the image by removing the high-frequency signal of the video frame.
  • the processing is characterized by changing the intensity of blurring when a predetermined number (one or more) of video frames continues.
  • the moving image processing program causes the computer to change the intensity to be periodically blurred by the blur intensity determination process. Also, computer In the scare strength determination process, the strength to blur every other frame is changed.
  • the moving image processing program causes the computer to determine the intensity to be blurred according to the pixel value change between the video frames in the blur intensity determination process.
  • a moving image processing program causes a computer to execute an image encoding process for encoding a video frame output in an image blur process, and in the blur intensity determination process, an image code The intensity to be blurred is determined according to the encoding method used when encoding video frames in the encoding process.
  • a moving image processing program causes a computer to execute an image encoding process for encoding a video frame output in an image blur process, and in the blur intensity determination process, an image code
  • the intensity to be blurred is determined according to the encoding method used when encoding the video frame in the encoding process and the pixel value change between the video frames.
  • the moving image processing program includes a local decoding process for generating a predicted reference frame by decoding a video frame encoded by the image encoding process, and a high frequency of the predicted reference frame.
  • Prediction reference frame blurring is performed by performing a prediction reference frame blurring process that removes a signal and a prediction image generation process that generates a predicted image of motion compensated prediction from a prediction reference frame from which a high-frequency signal has been removed by the prediction reference frame blurring process.
  • the high-frequency signal determined to be removed from the video frame by the blur intensity determination process is removed from the prediction reference frame, and the video frame output by the image blur process and the predicted image generation process are generated in the image encoding process.
  • the result of the subtraction process with the predicted image is encoded.
  • the moving image processing program is a computer that further includes a decoding process for decoding a video frame encoded by the image encoding process, and a motion compensation prediction from the video frame decoded by the decoding process.
  • a second predicted image generation process for generating a predicted image, an addition process for adding and outputting the video frame decoded by the decoding process and the predicted image generated by the second predicted image generation process are executed.
  • the moving image processing program is a computer that performs decoding processing for decoding a video frame encoded by the image encoding processing, and blur intensity determination processing from the video frame decoded by the decoding processing.
  • a moving image processing program is a moving image processing program for causing a computer to process a moving image composed of continuous video frames, and for each video frame in a computer, a filter process is performed. If it is determined whether or not to perform the filter processing, the in-loop filter determination processing for determining the filter characteristics in the loop to perform the filter processing and the in-loop filter on the input video frame
  • An input image filtering execution process for performing a filter process with a filter having the characteristics determined in the determination process, an image encoding process for encoding the filtered video frame, and a decoding of the video frame encoded by the image encoding process Prediction using a local decoding process that generates the predicted reference frame and a filter with the characteristics determined by the in-loop filter determination process.
  • Input image filtering is performed by executing in-loop filtering that performs filtering on the reference frame and predicted image generation that generates a predicted image from the predicted reference frame that has been filtered in the in-loop filtering.
  • the filter process is executed with the filter of the same characteristics, and the image frame is generated by the image encoding process and the video frame output by the input image filter execution process. The result of the subtraction process with the predicted image is encoded.
  • the moving image processing program is a computer that further performs decoding processing for decoding an encoded video frame, and processing for decoding a video frame decoded by the decoding processing by an in-loop fill event determination processing. Generates a predicted image for motion compensated prediction from the second in-loop filtering execution process that performs filtering with the determined characteristic fill event and the second in-loop fill event execution process.
  • the second predicted image generation process, the video frame decoded by the decoding process, and the addition process for adding and outputting the predicted image generated by the second predicted image generation process Let
  • the first effect of the present invention is to control the intensity of blurring for each video frame, so that it is not easy for the viewer to detect whether the blurring process has been performed or not. It can be removed.
  • the video frame that has been subjected to the blurring process and the video frame that has not been subjected to the blurring process are configured to be periodic, whether the viewer has been subjected to the blurring process. It is possible to remove high-frequency signals from moving images without more easily detecting whether or not.
  • the second effect of the present invention is that it is difficult to detect that the blurring process has been performed, and the subjective image quality can be improved when a moving image is encoded.
  • a moving image is composed of video frames that have been subjected to the blurring process and video frames that have not been subjected to the blurring process, making it difficult to detect blur power during playback.
  • the high-frequency signal is removed in the video frame that has been subjected to the blurring process, the amount of generated code can be reduced, and quantization can be performed in a small quantization step, thereby reducing the quantization error. It is.
  • the device is configured to determine the high-frequency signal to be removed from the video frame according to the pixel value change between the video frames and the encoding method when encoding the video frame, Taking advantage of human visual characteristics, it is possible to make it difficult for viewers to detect that blurring has been applied.
  • the apparatus When the apparatus removes the high-frequency signal from the prediction reference frame obtained by decoding the encoded video frame, the apparatus is configured to remove the high-frequency signal and generate a prediction image in the same manner as the blurring process at the time of encoding. If so, video frames that have been blurred can be decoded correctly.
  • an encoding scheme such as MPEG-2 With the same configuration as a video decoding device that decodes video data encoded with the wear.
  • FIG. 1 is a block diagram showing a first embodiment of a moving image processing apparatus.
  • FIG. 2 is an explanatory diagram showing the configuration of a video in which video frames that are blurred and video frames that are not blurred are alternated.
  • FIG. 3 is a block diagram showing a second embodiment of the moving image processing apparatus.
  • FIG. 4 is a flowchart schematically showing the operation of the moving image processing apparatus of the second embodiment.
  • FIG. 5 is a block diagram illustrating a configuration example of a decoding device.
  • FIG. 6 is a flowchart schematically showing the operation of the decoding apparatus.
  • FIG. 7 is a block diagram showing the configuration of the decoding apparatus in the third embodiment.
  • FIG. 8 is a block diagram showing a fourth embodiment of the moving image processing apparatus.
  • FIG. 9 is a flowchart showing schematically the operation of the moving image processing apparatus of the fourth embodiment.
  • FIG. 10 is a block diagram showing the configuration of the decoding apparatus in the fourth embodiment.
  • FIG. 11 is a flowchart schematically showing the operation of the decoding apparatus in the fourth embodiment.
  • FIG. 12 is a block diagram showing a configuration !! when the moving image processing apparatus is realized by a computer system.
  • FIG. 1 is a block diagram showing a first embodiment of a moving image processing apparatus according to the present invention.
  • the moving image processing apparatus shown in FIG. 1 includes a blur intensity determining apparatus 20 1 that determines the intensity at which a video frame is blurred, and an image blur apparatus 2 0 2 that performs processing to remove a high-frequency signal from the video frame and blur the image. including.
  • the blur intensity determination device 2 0 1 determines whether or not to perform the process of blurring each video frame when the input image is input, and the blur intensity when performing the process of blurring the video frame.
  • the blur strength is This corresponds to the frequency of the high-frequency signal removed from the image frame.
  • the intensity of blur is not constant between successive video frames.
  • the blur intensity determination device 2 '0 1 determines the blur intensity so that a video frame subjected to blur processing and a video frame not subjected to blur processing are alternated, and a video frame that strongly blurs and a video frame that blurs weakly.
  • the blur intensity is determined so that and alternate.
  • the blur intensity determining apparatus 210 periodically changes the intensity of the blurring process performed on the video frame.
  • the period for changing the intensity to be blurred by the blur intensity determining apparatus 2 0 1 may or may not be constant. In other words, the intensity to blur aperiodically may be changed.
  • FIG. 2 is an explanatory diagram showing the configuration of a video in which video frames that are blurred and video frames that are not blurred are alternated.
  • the blur intensity determination device 20 1 does not have to change the intensity to be blurred for each video frame.
  • the blur intensity determining device 2 0 1 may change the intensity to be blurred every two video frames.
  • the blur intensity determination device 2 0 1 determines the blur intensity in consideration of the characteristics of the video frame itself such as the amount of change in luminance value. Specifically, the blur intensity determining device 2 0 1 has, for example, an average moving amount (motion vector amount) of 16 pixels, and a luminance value change amount that takes into account the moving amount is 2 per pixel. If so, decide to blur. Further, the blur intensity determination device 20 1 may determine the intensity to be blurred in consideration of the encoding method when the input image is encoded. For example, the blur intensity determination device 210 may change the intensity of blurring between a video frame that employs interframe prediction and a video frame that does not. '
  • the blur intensity determining device 2 0 1 determines the intensity for blurring each video frame, for example, in one of the 10 stages.
  • the blur intensity determining apparatus 201 determines whether or not to perform the blur process on each video frame, and when determining to perform the blur process, determines the blur strength in the video frame blur process.
  • the image blur device 2 0 2 removes the high-frequency signal of the video frame determined to be blurred according to the strength to be blurred.
  • the image blurring device 202 outputs the video frame determined not to be subjected to the blur process without performing the blur process. For example, a low-pass filter is used to remove high-frequency signals.
  • the blur intensity determining device 2 0 1, for example, when blurring a video frame strongly, for example, a high frequency signal (for example, about 50% or more of the maximum frequency (for example, 4.2 MHz)) (for example, 2. Signals above 1 MHz are removed.
  • a high frequency signal for example, about 50% or more of the maximum frequency (for example, 4.2 MHz)
  • the maximum frequency for example, 4.2 MHz
  • the blur intensity determining device 20 0 for example, when blurring a video frame weakly, for example, a high-frequency signal (for example, 3 .0) having a frequency of about 90% of the maximum frequency (for example, 4.2 MHz). 8) Signals above 8 MHz are removed.
  • a high-frequency signal for example, 3 .0
  • the maximum frequency for example, 4.2 MHz
  • blurring processing removing a high-frequency signal from a video frame.
  • the intensity of blurring is controlled for each video frame, and video frames that are subjected to the blurring process and video frames that are not subjected to the blurring process are configured alternately. Therefore, it is possible to remove the high-frequency signal of the moving image (video frame) without easily detecting whether or not the blurring process is performed on the viewer.
  • the generated code amount is reduced as a whole. Therefore, even when encoding at a low bit rate, quantization can be performed with a small quantization step, and the quantum error can be reduced. For this reason, it is possible to make it difficult to detect a decrease in image quality due to a quantization error.
  • FIG. 3 is a block diagram showing a second embodiment of the moving image processing apparatus according to the present invention.
  • the moving image processing apparatus includes a blur intensity determining device (blur intensity determining means) 3 0 1 for determining the blur intensity of a video frame, and a high-frequency signal of the video frame.
  • Blurring device (image blurring means) 3 0 2 which removes image
  • image coding device (image coding means) 3 0 3 for encoding input image
  • prediction reference frame of image to be encoded
  • Local decoding device (local decoding means) 3 0 4 frame memory for storing (storing) prediction reference frames (first storage means) 3 0 5, and input for encoding prediction reference frames
  • Prediction reference frame blurring device prediction reference frame blurring means 3 0 6 blurring at the same intensity as the image
  • prediction image generation device (prediction image generation means) 3 0 7 for generating a motion compensated prediction image from the prediction reference frame Have .
  • Blur intensity determination device 3 0 1 determines whether or not to blur each video frame when an input image is input, and blur intensity (video) when performing blur processing on the video frame. Determine the frequency of the signal to be removed from the frame.
  • the strength to blur is not constant.
  • the blur intensity determination device 3 0 1 determines, for example, that video frames that are to be blurred and video frames that are not to be blurred are alternated, and video frames that are strongly blurred and video frames that are weakly blurred are alternated. To decide.
  • the blur intensity determination device 3 0 1 determines the intensity to be blurred based on the information output from the image encoding device 3 0 3. For example, the intensity to be blurred is determined based on the encoding method, and the intensity to be blurred is determined based on a change in pixel value between video frames of the image. The blur intensity determining device 3 0 1 determines the blur intensity based on the combination of the encoding method and the change in pixel value between video frames of the image. The blur intensity information indicating what kind of blur processing has been performed is output to the image encoding device 303 and the prediction reference frame blurring device 30.
  • the image blurring device 3 0 2 blurs the image frame determined to be blurred by the blur strength determination device 3 0 1 from the input image with the blur strength determined by the blur strength determination device 3 0 1 ( The image is subjected to a blurring process) and output to the image encoding device 303.
  • a low-pass filter is used to blur the image.
  • the image blurring device 30 2 outputs to the image encoding device 303 without blurring the video frame determined not to be subjected to the blurring process by the blurring intensity determination device 3 0 1 among the input images.
  • the image encoding device 30 3 encodes and outputs the video frame output by the image blurring device 30 2.
  • the image encoding device 303 also encodes the blur intensity information and encodes the encoded moving image data (video frame) so as to include the blur intensity information.
  • the local decoding device 30 4 decodes the video frame encoded by the image encoding device 30 3 for use as a prediction reference frame for motion compensation prediction of a video frame to be encoded later.
  • the frame memory 30 5 stores the video frame decoded by the local decoding device 30 04.
  • the prediction reference frame blurring device 3 06 performs a process of blurring the video frame (prediction reference frame) stored in the frame memory 3 0 5.
  • the prediction reference frame blurring device 300 performs blurring processing in the same manner as the method indicated by the blur strength information, based on the blur strength information output from the blur strength determination device 3101.
  • the predicted image generation device 3 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process.
  • the predicted image generated by the predicted image generation device 3 0 7 is subtracted from the video frame output by the image blurring device 3 0 2, and the subtraction result is input to the image encoding device 3 0 3. Further, the predicted image generated by the predicted image generation device 3 07 is added to the video frame decoded by the local decoding device 3 04 and stored in the frame memory 3 0 5.
  • the subtraction process is performed by, for example, a subtracter, and the addition process is performed by, for example, an adder.
  • FIG. 4 is a flowchart schematically showing the operation of the moving image processing apparatus of the second embodiment.
  • the process shown in FIG. 4 is a process in the process until a video frame encoded without using a prediction reference frame is output first, and then a video frame encoded using a prediction reference frame is output. It is.
  • the blur intensity determination device 3 0 1 determines whether or not to perform the process of blurring each video frame when an input image is input, and the blur intensity when performing the process of blurring the video frame (removed from the video). (Frequency of signal to be transmitted) is determined (steps S 1 0 1 and S 1 0 2)
  • the image blurring device 3 0 2 blurs the video frame determined by the blur intensity determining device 3 0 1 to be blurred in the input image with the blur intensity determined by the blur intensity determining device 3 0 1 (the blur process is performed). And output to the image encoding device 30 (step S 1 0 3).
  • the image encoding device 30 3 encodes the video frame output by the image blurring device 30 2 and outputs it as data relating to the first frame (step S 1 0 4). Since the video frame output by the image encoding device 3 0 3 is used as a prediction reference frame of a video frame to be encoded later, the local decoding device 3 0 4 is output by the image encoding device 3 0 3.
  • the decoded video frame is decoded (step S 1 0 5).
  • the predicted reference frame blurring device 30 6 performs processing (fill processing) to blur the video frame (predicted reference frame) stored in the frame memory 3 05 (step S 1 0 6).
  • the predicted image generation apparatus 30 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (filter process) (step S 1 07).
  • the predicted image generated by the predicted image generation device 6 0 7 is output from the image blurring device 3 0 2 by the subtractor. Subtracted from the video frame (step S 1 0 8).
  • the image encoding device 30 3 encodes the output of the subtracter and outputs it as data relating to the second frame (steps S 1 0 9 and S 1 1 0).
  • FIG. 5 is a block diagram illustrating a configuration example of a decoding device.
  • the decoding device shown in FIG. 5 stores (stores) an image decoding device (decoding means) 4 0 1 for decoding an encoded moving image and uses the decoded video frame as a prediction reference frame.
  • Frame memory (second storage means) 4 0 2 prediction reference frame blurring device (second prediction reference frame blurring means) that performs processing to blur the prediction reference frame 4 0 3, and motion compensation from the prediction reference frame
  • the moving image processing apparatus may include the function of the decoding apparatus illustrated in FIG.
  • the image decoding device 4 0 1 decodes the encoded video frame.
  • the image decoding device 4 0 1 also decodes the encoded blur intensity information at the same time. Then, the image decoding device 4001 outputs the decoded blur intensity information to the prediction reference frame blurring device 4003.
  • the frame memory 40.2 uses the video frame (frame predicted prediction) decoded by the image decoding device 4101.
  • the predictive reference frame blurring device 40 3 uses the prediction reference frame stored in the frame memory 4 0 2 based on the blur intensity information decoded by the image decoding device 4 0 1 at the time of encoding. Apply blurring treatment in the same way and with the same strength.
  • the predicted image generation device 40 4 generates a predicted image using the predicted reference frame subjected to the processing performed by the prediction reference frame blurring device 40 3.
  • the predicted image generated by the predicted image generation device 40 4 is added to the video frame decoded by the image decoding device 40 1 and output.
  • the addition process is performed by, for example, an adder (addition unit).
  • Figure 6 shows a decryption device It is a flowchart which shows typically operation
  • the process shown in Fig. 6 is an example of a case where decoding is performed using a prediction reference frame.
  • the image decoding device 4 0 1 decodes the encoded video frame when the encoded video frame is input without using the prediction reference frame (Step S 2 0 Do).
  • the prediction reference frame blurring device 40 3 performs the same process and the same blur process (fill evening process) as those at the time of encoding on the prediction reference frame (step S 2 0 2).
  • the predicted image generation device 40 4 generates a predicted image using the predicted reference frame subjected to the processing (filter processing) blurred by the predicted reference frame blurring device 40 3 (step S 2 0 3).
  • the predicted image generated by the predicted image generation device 4 04 is added by the adder to the video frame decoded by the image decoding device 7 0 1. Then, the addition result is output from the adder (steps S 2 0 4 and S 2 0 5) 0
  • each device included in the moving image processing device may be performed by a CPU that executes processing according to program control.
  • the moving image processing apparatus is a moving image processing program that processes a moving image composed of continuous video frames in a combination evening, and determines the strength of blurring the video frames to the computer (not blurry).
  • an image blur process for blurring an image by removing a high-frequency signal from a video frame is executed. It is equipped with a video processing program that is characterized by changing the intensity of blurring when a certain number of video frames continue (a number greater than 1) in the intensity determination process.
  • C PU may execute each of the above processes.
  • the present embodiment based on the determination of the blur intensity determination device 3 0 1, whether or not to perform the blurring process for each video frame and the blurring intensity when performing the blurring process are changed, thereby changing the video frame. Can be encoded and decoded.
  • the decoding device is configured as shown in FIG. In other words, a device equivalent to the prediction reference frame blurring device 4 03 is not provided. .
  • the moving image processing apparatus that performs the encoding process may include the function of the decoding apparatus illustrated in FIG.
  • the decoding apparatus shown in FIG. 7 includes an image decoding apparatus 5 0 1 that decodes encoded video data, and a frame memory 5 0 2 that stores (stores) the decoded video frame for use as a prediction reference frame. And a predicted image generation device 50 3 that generates a predicted image of motion compensated prediction from the predicted reference frame.
  • the decoding apparatus shown in FIG. 7 has a configuration obtained by removing the prediction reference frame blurring apparatus 40 3 from the decoding apparatus shown in FIG.
  • the decoding device shown in FIG. 7 has the same configuration as that of a moving image decoding device that decodes moving image data encoded by an encoding method such as MPEGG-2.
  • the input image is encoded by the moving image processing apparatus shown in FIG. Therefore, the prediction reference frames used for motion compensation prediction are blurred at different strengths for each video frame.
  • the encoded video frame is decoded by the decoding device shown in FIG.
  • the decoding apparatus shown in FIG. 7 does not include means for blurring the prediction reference frame. Therefore, since the decoding apparatus shown in FIG. 7 cannot generate a prediction reference frame that matches the prediction reference frame used at the time of encoding, the video frame encoded by the moving image processing apparatus shown in FIG. It cannot be decrypted correctly. '
  • the prediction residual by motion compensated prediction is composed of the difference between the prediction reference frame blurred at the time of encoding and the blurred input video frame.
  • this prediction residual is added to the prediction reference frame that is not blurred.
  • the input image is not blurred as in the case of encoding using the normal MPEG-2 method.
  • the encoded image data (video frame) is compared with the image data (video frame) when decoded by the decoding device shown in Fig. 7, the difference between the decoded image data (video frame) is Whether there is a high-frequency signal of the prediction residual.
  • the blurred video frame contains only a few high-frequency signals, encoding is simplified. Therefore, the generated code amount can be reduced. Since the reduced code amount can be assigned to the video frame that has not been subjected to the blurring process, the image quality of the video frame that has not been subjected to the blurring process can be improved. Therefore, according to the present embodiment, it is possible to improve the subjective image quality of the entire video.
  • the moving image processing apparatus is an H. 261 system (I TU-T (Inte, rnationa 1 Teleco mm unicati on Un i on Te 1 eco mm unicati on St and ad izati). (Sector based on H. 261 recommendation)), the input image is filtered with the same filter characteristics as the in-loop filter, and the prediction residual is obtained. Reduce the difference and reduce the amount of generated code.
  • I TU-T Inte, rnationa 1 Teleco mm unicati on Un i on Te 1 eco mm unicati on St and ad izati.
  • FIG. 8 is a block diagram showing a fourth embodiment of the moving image processing apparatus according to the present invention.
  • the moving image processing apparatus shown in FIG. 8 has an in-loop filter determining device (in-loop filter determining means) 601 that determines the type of in-loop filter, and an input image.
  • the in-loop filter determination device 6 0 1 determines whether or not to apply a process (filter process) to each image frame based on the image frame and the type of in-loop filter to be used.
  • the in-loop fill event determining device 60 1 determines the type of in-loop file event in consideration of the amount of generated code by the output of the image encoding device 60 3 and the complexity of the image data.
  • the in-loop fill event determining device 60 1 outputs filter information indicating the type of the in-loop fill event to be used to the image encoding device 63 and the in-loop filter processing device 6 06.
  • the input image fill processing device 6 0 2 selects a video frame determined to be blurred by the in-loop filter determination device 6 0 1 out of the video frames, in the loop determined by the in-loop filter determination device 6 0 1.
  • the image is blurred (filled with blur processing (fill evening processing)) and output to the image encoding device 63.
  • the input image filter processing device 60 2 does not perform the processing (filter processing) of the input image that is determined not to be subjected to the processing to be blurred by the in-loop filter determination device 6 0 1.
  • the image is output to the image encoding device 6 0 3.
  • the image encoding device 63 encodes and outputs the video frame output from the input image filter processing device 60 2 and the filter information output from the in-loop filter determination device 6 01.
  • the local decoding device 6 0 4 is encoded by the image encoding device 6 0 3 for use as a prediction reference frame for motion compensation prediction of a video frame to be encoded later. Decode the video frame.
  • the frame memory 60 5 stores the video frame decoded by the local decoding device 60 4.
  • the in-loop filter device 6 0 6. performs processing to blur the video frame (predicted reference frame) stored in the frame memory 6 0 5. Note that the in-loop filter device 60 6 uses the same filter as the input image filter processing device 60 2 based on the filter information output from the in-loop filter determination device 6 0 1 to blur the predicted reference frame. Apply (filter processing).
  • the predicted image generation device 60 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (fill evening process).
  • the predicted image generated by the predicted image generation device 6 07 is subtracted from the video frame output from the input image filter processing device 60 2. Further, the predicted image generated by the predicted image generation device 6 07 is added to the video frame decoded by the local decoding device 6 04 and stored in the frame memory 6 05. For example, a low-pass filter is used for filtering.
  • FIG. 9 is a flowchart schematically showing the operation of the moving image processing apparatus of the fourth embodiment.
  • the in-loop filter determination device 6 0 1 determines whether or not to apply a blurring process (filter process) to each video frame when an image data (video frame) is input, and the type of in-loop filter to be used. Determine (Steps S 3 0 1, S 3 0 2).
  • the input image filter processing device 60 2 selects a video frame that is determined to be blurred by the in-loop filter setting device 6 0 1 from the video frames. Blur in Phil evening. In other words, blur processing (filter processing) is performed. Then, the input image filter processing device 60 2 outputs the video frame subjected to the blurring process to the image coding device 60 3 (step S 3 0 3).
  • the image encoding device 6 03 encodes the video frame output by the input image filter processing device 6 02 and outputs it as data relating to the first frame (step S 3 0 4). Since the video frame output from the image encoding device 6 03 is used as a prediction reference frame of a video frame to be encoded later, the local decoding device 6 0 4 outputs the video frame output from the image encoding device 6 0 3. The video frame is decoded (step S 3 0 5).
  • the in-loop fill device 6 06 applies a process (filter process) to blur the video frame (predictive reference frame) stored in the frame memory 6 05 (step S 3 06).
  • the predicted image generation device 6 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (filter process) (step S 3 07).
  • the predicted image generated by the predicted image generation device 6 07 is subtracted from the video frame output from the input image filter processing device 60 2 by a subtracter (step S 3 0 8).
  • the image encoding device 60 3 encodes the output of the subtracter and outputs the encoded image frame (steps S 3 09 and S 3 1 0).
  • decoding is performed by the decoding device shown in FIG.
  • the decoding apparatus shown in FIG. 10 stores an image decoding apparatus (decoding means) 7 0 1 for decoding an encoded moving image and a decoded video frame for use as a prediction reference frame (memory).
  • a frame memory (second storage means) 7 0 2 an in-loop filter processing device (second in-loop filter processing means) 7 0 3 for removing high-frequency signals from the prediction reference frame, and a prediction reference frame
  • a predicted image generation device (second predicted image generation means) 7 0 4 for generating a predicted image of motion compensation prediction.
  • the moving image processing apparatus may include the function of the decoding apparatus illustrated in FIG.
  • the image decoding device 7 0 1 decodes the encoded video frame and filter information.
  • the image decoding device 70 1 outputs the decoded fill information to the in-loop filter processing device 70 3.
  • the frame memory 70 2 stores the video frame decoded by the image decoding device 70 1 for use as a prediction reference frame.
  • the in-loop filter device 70 3 performs a blurring process (filter processing) on the prediction reference frame stored in the frame memory 70 2 based on the filter information output from the image decoding device 70 1. .
  • the predicted image generation device 70 4 generates a predicted image using the predicted reference frame subjected to the fill-up process. The predicted image generated by the predicted image generation device 70 4 is added to the video frame decoded by the image decoding device 70 1 and output.
  • FIG. 11 is a flowchart schematically showing the operation of the decoding apparatus according to the fourth embodiment.
  • the image decoding device 7 0 1 decodes the encoded video frame (step S 4 0 1).
  • the in-loop filter device 70 3 performs the same process and the process of blurring with the same intensity (fill process) on the prediction reference frame (step S 4 0 2).
  • the predicted image generation device 70 4 generates a predicted image using the predicted reference frame that has been subjected to the processing (filter processing) blurred by the in-loop filter device 70 3 (step S 4 0 3).
  • the predicted image generated by the predicted image generation device 70 4 is added to the video frame decoded by the image decoding device 7 0 1 by an adder, and the addition result is output from the adder (step S 4 0 4 , S 4 0 5).
  • each device included in the moving image processing device may be performed by a CPU that executes processing according to program control. Specifically, when the moving image processing apparatus decides whether or not to perform the filtering process for each video frame in the combination evening, and decides to perform the filtering process, the in-loop filter characteristic for performing the filtering process is determined. In-loop filter determination processing, and input image filtering execution processing for performing fill-up processing on the input video frame in accordance with the characteristics of the filter determined in the loop-in-loop filtering processing, and fill-up processing.
  • the filter processing is performed by the intra-loop filtering execution processing that filters the prediction reference frame and the intra-loop filtering execution processing.
  • the input image filtering execution process is output.
  • a moving picture processing program is installed, which encodes the result of the subtraction process between the input video frame and the predicted picture generated by the predicted picture generation process.
  • the moving image processing program may be executed by CPU.
  • the filter processing is performed on the input image using the filter having the same characteristics as the filter processing in the loop in which the filter processing is performed on the prediction reference frame, the high frequency signal is generated from the prediction reference frame and the input image. Are removed to the same extent, and the prediction residual can be reduced. Therefore, the amount of code required for encoding can be reduced.
  • the decoding apparatus in the present embodiment has the same configuration as that of an encoding scheme such as the H. 26 1 scheme, only the portion that performs image coding is changed to realize the present embodiment. Can do.
  • FIG. 12 is a block diagram showing a configuration example when the moving image processing apparatus of the first embodiment is realized by a computer system.
  • the computer system has a processor 8 0 1.
  • the processor 8 0 1 is connected to an input / output buffer 8 1 1 and an output data buffer 8 1 2 and a program memory 8 0 2 storing a necessary program. .
  • Program modules stored in the program memory 8 0 2 include a blur intensity determination process 8 1 3 and an image blur process 8 1 4 in addition to the main program and program.
  • the main program is a main program that executes moving image processing.
  • the blur intensity determination processing program 8 13 is a program for realizing the function of the blur intensity determination apparatus 2 0 1.
  • the image blur processing program 8 1 4 is a program for realizing the function of the image blurring device 2 0 2.
  • the moving image processing apparatuses according to the second to fourth embodiments described above are also realized by mounting program modules for realizing the functions of the blocks in the computer system.
  • a more specific embodiment of the moving image processing apparatus according to the present invention will be described.
  • a video of SD TV (Standard Definition T e 1 evision) size (horizontal direction: 7 20 pixels, vertical direction: 4 80 pixels, 29.9 7 frames per second)
  • the video is input to the moving image processing apparatus shown in FIG. 3 and is encoded by the MPEG encoding method.
  • the image encoding device 3 0 3 is a frame (I picture) that independently encodes one video frame, a frame (P picture) that predicts from a past video frame and encodes a prediction error, Also, it encodes to one of three types of pictures: a frame (B picture) that encodes the prediction error that does not predict from past and future video frames.
  • the video frames encoded as B pictures out of the input moving images are subjected to the blurring process by the image blurring device 300, and the video frames encoded as I and P pictures are blurred.
  • the data is encoded as is without being applied. Whether or not to perform the blurring process is determined by the blur intensity determining apparatus 3 0 1.
  • the input image that has been subjected to different blurring processing depending on the type of picture is encoded by the image encoding device 303.
  • the image encoding device 30 3 also includes information on how the input image was blurred. Encode.
  • the encoded video frame is decoded by the local decoding device 30 4 and stored in the frame memory 3 0 5 for use as a prediction reference frame.
  • the prediction reference frame blurring device 3 06 performs a blurring process on the prediction reference frame stored in the frame memory 3 0 5.
  • the prediction reference frame is blurred by a method similar to the method in which the image blurring device 3002 blurs the input image.
  • the predicted image generation device 30 generates a predicted image using the blurred predicted reference frame. Then, the difference between the input image and the predicted image is taken and the difference is encoded. Predictive reference frame blur if the encoded video frame is a P picture
  • the device 30 06 does not perform the blurring process, the predicted image is generated by the predicted image generation device 30 07, the difference from the input image is taken, and the difference is encoded.
  • the video frame is restored by the image decoding device 4 0 1 shown in FIG. At that time, information on how the video frame was blurred at the time of encoding is also decoded.
  • the decoded video frame is stored in the frame memory 402 for use as a prediction reference frame.
  • the prediction reference frame stored in the frame memory 4 0 2 is blurred by the prediction reference frame blurring device 4 0 3 in the same manner as when encoding.
  • the predicted image generation device 40 4 generates a predicted image from the blurred prediction reference frame. Then, the prediction residual which is the decoding result of the image decoding device 4101 and the prediction image are added, and the decoding is completed.
  • the prediction reference frame blurring device 4 0 3 does not blur the prediction reference frame.
  • the predicted image generation device 40 4 generates a predicted image, adds the decoded prediction residual and the predicted image, and completes decoding.
  • the present invention can be applied to a moving image processing apparatus that realizes encoding at a low bit rate in order to realize long-time recording to DVD and video distribution in a narrow communication network band.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

An unsharpness strength determining unit (301) determines for each video frame if a high-frequency signal is to be removed or not. If the unsharpness strength determining unit (301) determines the high-frequency signal to be removed, it determines the high-frequency signal to be removed from the video frame. According to the determination of the unsharpness strength determining unit (301), an image unsharpening unit (302) subjects the moving image to unsharpening to remove the high-frequency signal from the video frame to unsharpen the image. The unsharpness strength determining unit (301) periodically varies the high-frequency signal to be removed from the video frame. An image encoding unit (303) encodes the video frame from which the high-frequency signal is removed.

Description

明 細 書 動画像処理装置、 動画像処理方法、 および動画像処理プログラム 技術分野：  A moving picture processing apparatus, a moving picture processing method, and a moving picture processing program
本発明は、入力動画像を符号化して出力する動画像処理装置、動画像処理方法、 および動画像処理プログラムに関し、 特に、 動画像を構成する映像フレームから 高周波信号を除去する動画像処理装置、 動画像処理方法、 および動画像処理プロ グラムに関する。  The present invention relates to a moving image processing apparatus that encodes and outputs an input moving image, a moving image processing method, and a moving image processing program, and in particular, a moving image processing apparatus that removes a high-frequency signal from a video frame constituting a moving image, The present invention relates to a moving image processing method and a moving image processing program.
背景技術：  Background technology:
D VD (登録商標） への長時間記録や、 狭い通信ネットワーク帯域での映像配 信を実現するために、低ビットレートでの符号化を実現する必要がある。しかし、 低いビットレー卜での符号化には画質の劣化を伴うという問題がある。 この問題 を解決するための方法として、 画像に含まれる人間の視覚に検知されにくい高周 波信号をあらかじめ除去してから符号化を行うという方法がある。  In order to realize long-time recording on DVD (registered trademark) and video distribution in a narrow communication network band, it is necessary to realize encoding at a low bit rate. However, there is a problem that encoding at a low bit rate is accompanied by degradation of image quality. As a method for solving this problem, there is a method of performing coding after removing in advance a high-frequency signal that is difficult to detect by human vision included in an image.
動画像から高周波信号を除去すると、 高周波信号を符号化するための符号量が 必要なくなる。 従って、 高周波信号が除去された動画像を、 低ビットレートで符 号化することができる。 しかし、 高周波信号を除去した場合に、 画像中のエッジ (形状の輪郭） などの再現性が失われ、 画像に、 ぼけ （形状の輪郭が明確でない ことをいう） が生ずる。 特に、 高周波信号を除去する割合が大きいと、 ぼけによ る画質劣化が視聴者に検知されてしまうという問題がある。  If the high frequency signal is removed from the moving image, the amount of code for encoding the high frequency signal is not necessary. Therefore, a moving image from which a high-frequency signal has been removed can be encoded at a low bit rate. However, when high-frequency signals are removed, the reproducibility of edges (shape contours) in the image is lost, and the image is blurred (meaning that the shape contour is not clear). In particular, if the rate of removing high-frequency signals is large, there is a problem that image quality degradation due to blur is detected by the viewer.
また、 広く利用されている M P E G (M o V i n g P i c t u r e E x e r t s G r o u p ) 規格などの動画像符号化方式では、 映像フレームごとに 量子化の粗さを変えて符号化している。  In addition, in the widely used moving picture coding scheme such as the MPEG (MoVinPgTureExrtsGroup) standard, the quantization coarseness is changed for each video frame.
例えば、 過去および未来両方の映像フレームからの予測符号化をおこなう Bピ クチャは、その映像フレームが後続映像フレームの予測参照画像にならないため、 他の映像フレームよりも粗く量子化することが一般的である。 映像フレームを粗く量子化する場合に、 高周波信号は量子化処理により除去さ れる傾向が強くなる。 しかし、 同時に低周波信号も粗く量子化されているため、 量子化歪みが大きくなる。 For example, a B picture that performs predictive coding from both past and future video frames is generally quantized more coarsely than other video frames because that video frame does not become a predicted reference image of a subsequent video frame. It is. When video frames are roughly quantized, high-frequency signals tend to be removed by the quantization process. However, at the same time, the low-frequency signal is also roughly quantized, which increases the quantization distortion.
量子化歪みが大きいと、 例えば、 量子化を行う単位である画素ブロックごとの 画素値の差が隣接画素ブロック間で大きくなる。 この差はブロック歪となり、 画 質劣化として視聴者に検知されやすくなるという問題がある。  When the quantization distortion is large, for example, a difference in pixel value for each pixel block which is a unit for performing quantization becomes large between adjacent pixel blocks. This difference becomes a block distortion, which is easily detected by viewers as image quality degradation.
以下の先行技術文献 1には、この問題を解決するための装置が記載されている。 前記先行技術文献 1に記載されている装置は、 映像中の動きの大きさに合わせて 画像をぼかす量を決定している。 この装置は、 動きの大きい映像では高周波信号 を検知しにくいという人間の視覚特性を利用して、 動きの大きい映像を強めにぼ かし、 動きが小さい映像を弱くぼかす。 このような機能によって、 映像のぼけが 検知されにくくなる。  The following prior art document 1 describes an apparatus for solving this problem. The device described in the prior art document 1 determines the amount of blurring of the image in accordance with the magnitude of movement in the video. This device uses the human visual characteristic that high-frequency signals are difficult to detect in images with large movements, and blurs images with large movements weakly and images with small movements weakly. Such a function makes it difficult to detect blurred images.
以下の先行技術文献 2には、 各映像フレームに、 一定周期毎にフィルタ処理を 行う装置が記載されている。  The following prior art document 2 describes an apparatus that performs filtering processing for each video frame at regular intervals.
•先行技術文献 1 ：特開 2 0 0 3— 3 3 3 3 7 0号公報 （段落 0 0 2 1〜0 0 4 0、 図 1 )  • Prior art document 1: Japanese Laid-Open Patent Publication No. 2 2003-3 3 3 3 0 (paragraphs 0 0 2 1 to 0 0 40, FIG. 1)
'先行技術文献 2 ：特開平 2— 2 8 8 7 8 8号公報 （第 3— 7頁、 図 1 ) 発明の開示： ' ， 発明が解決しょうとする課題：  'Prior Art Document 2: Japanese Patent Application Laid-Open No. 2-2888788 (Page 3-7, Fig. 1) Disclosure of Invention:', Problem to be Solved by Invention:
しかし、 前記先行技術文献 1に記載されている装置には、 映像の動きが大きい 場合に、 ぼかしかた^ ^強すぎるとぼけが容易に検知されてしまうという問題があ る。 また、 動きの小さい映像ではぼかしかたを弱くするため、 十分に高周波信号 を除去できない。 このため、 符号化の際に発生符号量を大幅に削減することが不 可能になる。  However, the apparatus described in the above-mentioned prior art document 1 has a problem that blur is easily detected when the motion of the image is large and the blur is too strong. In addition, high-frequency signals cannot be removed sufficiently because images with small motion are weakened in blurring. For this reason, it is impossible to greatly reduce the amount of generated codes during encoding.
また、 前記先行技術文献 2に記載されている装置は、 一定周期毎に各映像フレ —ムにフィルタ処理を行う。 映像フレームに行われるフィルタ処理は、 段階的に 強度を変えて行われることが好ましい。  In addition, the apparatus described in the prior art document 2 performs a filtering process on each video frame at regular intervals. The filtering process performed on the video frame is preferably performed by changing the intensity step by step.
本発明は上述した問題を鑑みて提案されたものである。 すなわち、 本発明は、 映像フレームの高周波信号を十分に除去することができる動画像処理装置、 動画 像処理方法および動画像処理プログラムを提供することを目的とする。 The present invention has been proposed in view of the above-described problems. That is, the present invention It is an object of the present invention to provide a moving image processing apparatus, a moving image processing method, and a moving image processing program that can sufficiently remove a high-frequency signal from a video frame.
課題を解決するための手段：.  Means to solve the problem:
本発明の第 1の態様に係る動画像処理装置は、 映像フレームをぼかす強度を決 定する （ぼかさないと決定することも含む。） ぼかし強度決定手段と、 ぼかし強度 決定手段の決定に従って、 映像フレームの高周波信号を除去することによって画 像をぼかす画像ぼかし手段とを備え、 ぼかし強度決定手段が、 映像フレームが所 定数 （1以上の数） 連続するとぼかす強度を変化させることを特徴とする。 ぼかし強度決定手段は、 周期的にぼかす強度を変化させる。 また、 ぼかし強度 決定手段は、 1フレームおきにぼかす強度を変化させる。  The moving image processing apparatus according to the first aspect of the present invention determines the intensity at which the video frame is blurred (including determining not to blur). According to the determination by the blur intensity determining means and the blur intensity determining means, Image blurring means for blurring the image by removing high-frequency signals from the frame, and the blur intensity determining means changes the intensity of blurring when a predetermined number (one or more) of video frames continue. The blur intensity determining means changes the intensity of blurring periodically. Also, the blur intensity determining means changes the intensity to blur every other frame.
ぼかし強度決定手段は、 映像フレーム間の画素値変化に応じてぼかす強度を決 定する。  The blur strength determining means determines the strength to blur according to the change in pixel value between video frames.
本発明の第 1の態様に係る動画像処理装置は、 さらに前記画像ぼかし手段が出 力した映像フレームを符号化する画像符号化手段を備え、 前記ぼかし強度決定手 段は、 画像符号化手段が映像フレームを符号化する際の符号化方法に応じてぼか す強度を決定する。  The moving image processing apparatus according to the first aspect of the present invention further includes an image encoding unit that encodes the video frame output by the image blurring unit, and the blur strength determining unit includes the image encoding unit. The blur strength is determined according to the encoding method used when encoding the video frame.
本発明の第 1の態様に係る動画像処理装置は、 さらに画像ぼかし手段が出力し た映像フレームを符号化する画像符号化手段を備え、 ぼかし強度決定手段は、 K 像符号化手段が映像フレームを符号化する際の符号化方法と映像フレーム間の画 素値変化とに応じてぼかす強度を決定する。  The moving image processing apparatus according to the first aspect of the present invention further includes image encoding means for encoding the video frame output by the image blurring means, and the blur intensity determining means includes the K image encoding means as the video frame. The intensity to be blurred is determined according to the encoding method used when encoding and the pixel value change between video frames.
本発明の第 1の態様に係る動画像処理装置は、 さらに前記画像符号化手段が符 号化した映像フレ一ムを復号して予測参照フレームを生成する局所復号手段と、 予測参照フレームを記憶する第 1の記憶手段と、 予測参照フレームの高周波信号 を除去する予測参照フレームぼかし手段と、 予測参照フレームぼかし手段が高周 波信号を除去した予測参照フレームから、 動き補償予測の予測画像を生成する予 測画像生成手段とを備え、 前記予測参照フレームぼかし手段は、 ぼかし強度決定 手段が映像フレームから除去すると決定した高周波信号を予測参照フレームから 除去し、 画像符号化手段は、 画像ぼかし手段が出力した映像フレームと、 予測画 像生成手段が生成した予測画像との減算処理の結果を符号化する。 The moving image processing apparatus according to the first aspect of the present invention further includes local decoding means for generating a prediction reference frame by decoding the video frame encoded by the image encoding means, and storing the prediction reference frame A prediction reference frame blurring unit that removes the high-frequency signal of the prediction reference frame, and a prediction reference frame from which the prediction reference frame blurring unit has removed the high-frequency signal. The predicted reference frame blurring unit removes the high-frequency signal determined to be removed from the video frame by the blur strength determining unit from the predicted reference frame, and the image encoding unit includes the image blurring unit. Output video frame and predicted image The result of the subtraction process with the predicted image generated by the image generation means is encoded.
本発明の第 1の態様に係る動画像処理装置は、 さらに画像符号化手段が符号化' した映像フレームを復号する復号手段と、 復号手段が復号した映像フレームを記 憶する第 2の記憶手段と、 第 2の記憶手段が記憶している映像フレームから、 動 き補償予測の予測画像を生成する第 2の予測画像生成手段と、 復号手段が復号し た映像フレームと、 第 2の予測画像生成手段が生成した予測画像とを加算して出 力する加算手段とを備える。  The moving image processing apparatus according to the first aspect of the present invention further includes decoding means for decoding the video frame encoded by the image encoding means, and second storage means for storing the video frame decoded by the decoding means. A second predicted image generating means for generating a motion compensated prediction predicted image from the video frame stored in the second storage means, a video frame decoded by the decoding means, and a second predicted image. Adding means for adding and outputting the predicted image generated by the generating means;
本発明の第 1の態様に係る動画像処理装置は、 さらに画像符号化手段が符号化 した映像フレームを復号する復号手段と、 復号手段が復号した映像フレームを記 憶する第 2の記憶手段と、 第 2の記憶手段が記憶している映像フレームから、 ぼ かし強度決定手段が除去すると決定した高周波信号を除去する第 2の予測参照フ レームぼかし手段と、 第 2の予測参照フレームぼかし手段が高周波信号を除去し た映像フレームから、 動き補償予測の予測画像を生成する第 2の予測画像生成手 段と、 復号手段が復号した映像フレームと、 第 2の予測画像生成手段が生成した 予測画像とを加算して出力する加算手段とを備える。  The moving image processing apparatus according to the first aspect of the present invention further includes a decoding means for decoding the video frame encoded by the image encoding means, and a second storage means for storing the video frame decoded by the decoding means. A second prediction reference frame blurring unit for removing a high-frequency signal determined to be removed by the blur intensity determination unit from the video frame stored in the second storage unit; and a second prediction reference frame blurring unit From the video frame from which the high-frequency signal has been removed, a second predicted image generating means for generating a predicted image for motion compensated prediction, a video frame decoded by the decoding means, and a prediction generated by the second predicted image generating means Adding means for adding and outputting the image;
本発明の第 2の態様に係る動画像処理装置は、 連続する映像フレームからなる 動画像を処理する動画像処理装置であって、 映像フレームごとに、 フィル夕処理 を行うか否かを決定し、 フィルタ処理を行うと決定した場合に、 フィルタ処理を, 行うループ内フィル夕特性を決定するループ内フィル夕決定手段と、 入力された 映像フレームに、 ループ内フィルタ決定手段が決定した特性のフィルタでフィル 夕処理を行う入力画像フィルタ処理手段と、 フィルタ処理された映像フレームを 符号化する画像符号化手段と、 画像符号化手段が符号化した映像フレームを復号 した予測参照フレームを生成する局所復号手段と、 予測参照フレームを記憶する 第 1の記憶手段と、 ループ内フィルタ決定手段が決定した特性のフィル夕で予測 参照フレームにフィル夕処理を行うループ内フィルタ処理手段と、 ループ内フィ ル夕処理手段がフィル夕処理を行つた予測参照フレームから予測画像を生成する 予測画像生成手段とを備え、 入力画像フィルタ処理手段と、 ループ内フィル夕処 理手段とは、 同様の特性のフィル夕でフィル夕処理を行い、 画像符号化手段は、 入力画像フィルタ処理手段が出力した映像フレームと、 予測画像生成手段が生成 した予測画像との減算処理の結果を符号化することを特徴とする。 The moving image processing apparatus according to the second aspect of the present invention is a moving image processing apparatus that processes a moving image composed of continuous video frames, and determines whether or not to perform fill-up processing for each video frame. When it is determined that the filter processing is to be performed, the in-loop filter evening determining means for determining the in-loop fill evening characteristic to be filtered, and the filter having the characteristics determined by the in-loop filter determining means for the input video frame. The input image filter processing means for performing the filtering process, the image encoding means for encoding the filtered video frame, and the local decoding for generating the prediction reference frame obtained by decoding the video frame encoded by the image encoding means Means, a first storage means for storing the prediction reference frame, and a prediction of the characteristics determined by the in-loop filter determination means. An in-loop filter processing means for performing a fill-in process on a frame, and a predicted image generation means for generating a predicted image from a prediction reference frame that the fill-in-loop process has performed in the loop. And the fill-in-loop processing means in the loop perform the fill-up process with a fill-in process with similar characteristics, and the image encoding means The result of subtracting the video frame output from the input image filter processing means and the predicted image generated by the predicted image generating means is encoded.
本発明の第 2の態様に係る動画像処理装置は、 さらに符号化された映像フレー ムを復号する復号手段と、 復号手段が復号した映像フレームを記憶する第 2の記 憶手段と、 第 2の記憶手段が記憶している映像フレームに、 ループ内フィル夕決 定手段が決定した特性のフィル夕でフィルタ処理を行う第 2のループ内フィルタ 処理手段と、 第 2のループ内フィル夕処理手段がフィルタ処理を行つた映像フレ ームから、 動き補償予測の予測画像を生成する第 2の予測画像生成手段と、 復号 手段が復号した映像フレームと、 第 2の予測画像生成手段が生成した予測画像と を加算して出力する加算手段とを備える。  The moving image processing apparatus according to the second aspect of the present invention further includes a decoding unit that decodes the encoded video frame, a second storage unit that stores the video frame decoded by the decoding unit, and a second storage unit. A second in-loop filter processing means for performing a filtering process on the video frame stored in the storage means by the fill event having the characteristics determined by the in-loop fill setting determination means, and a second in-loop fill processing means. The second predicted image generating means for generating a predicted image of motion compensated prediction from the video frame subjected to the filtering process, the video frame decoded by the decoding means, and the prediction generated by the second predicted image generating means And adding means for adding and outputting the image.
本発明の第 3の態様に係る動画像処理方法は、 連続する映像フレームからなる 動画像を処理する動画像処理方法であって、 映像フレームをぼかす強度を決定す る （ぼかさないと決定することも含む。） ぼかし強度決定ステップと、 ぼかし強度 決定ステップにおける決定に従って、 映像フレームの高周波信号を除去すること によって画像をぼかす画像ぼかしステップとを備え、ぼかし強度決定ステップで、 映像フレームが所定数 （1以上の数） 連続するとぼかす強度を変化させることを 特徴とする。  The moving image processing method according to the third aspect of the present invention is a moving image processing method for processing a moving image composed of continuous video frames, and determines the intensity at which the video frame is blurred (determines that it is not blurred). Including a blur intensity determining step, and an image blur step for blurring the image by removing a high-frequency signal of the video frame according to the determination in the blur strength determining step. In the blur intensity determining step, a predetermined number of video frames ( Numbers greater than 1) It is characterized by changing the intensity of blurring when continuous.
前記ぼかし強度決定ステップは周期的にぼかす強度を変化させる。 また、 前記, ぼかし強度決定ステップは、 1フレームおきにぼかす強度を変化させる。  The blur intensity determining step periodically changes the intensity of blurring. Further, the blur intensity determining step changes the intensity to be blurred every other frame.
前記ぼかし強度決定ステップは、 映像フレーム間の画素値変化に応じてぼかす 強度を決定する。 .  The blur intensity determining step determines an intensity to be blurred according to a change in pixel value between video frames. .
本発明の第 3の態様に係る動画像処理方法は、 さらに前記画像ぼかしステップ で出力した映像フレームを符号化する画像符号化ステップを備え、 ぼかし強度決 定ステップで、 画像符号化ステップにおいて映像フレームを符号化する際の符号 化方法に応じてぼかす強度を決定する。  The moving image processing method according to the third aspect of the present invention further includes an image encoding step for encoding the video frame output in the image blurring step, and the video frame in the image encoding step is a blur intensity determination step. The intensity to be blurred is determined according to the encoding method when encoding.
本発明の第 3の態様に係る動画像処理方法は、 さらに前記画像ぼかしステツプ で出力した映像フレームを符号化する画像符号化ステップを備え、 ぼかし強度決 定ステップで、 画像符号化ステップにおいて映像フレームを符号化する際の符号 化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する。 The moving image processing method according to the third aspect of the present invention further includes an image encoding step for encoding the video frame output in the image blurring step, and the video frame in the image encoding step is a blurring intensity determination step. Code when encoding The intensity to be blurred is determined according to the conversion method and the pixel value change between the video frames.
本発明の第 3の態様に係る動画像処理方法は、 さらに画像符号化ステツプで符 号化した映像フレームを復号して予測参照フレームを生成する局所復号ステップ と、 予測参照フレームの高周波信号を除去する予測参照フレームぼかしステップ と、 予測参照フレームぼかしステツプで高周波信号を除去した予測参照フレーム から、 動き補償予測の予測画像を生成する予測画像生成ステップとを備え、 予測 参照フレームぼかしステツプにおいて、 ぼかし強度決定ステップで映像フレーム から除去すると決定した高周波信号を予測参照フレームから除去し、 画像符号化 ステップにおいて、 画像ぼかしステップで出力した映像フレームと、 予測画像生 成ステップで生成した予測画像との減算処理の結果を符号化する。  The moving image processing method according to the third aspect of the present invention further includes a local decoding step of generating a predicted reference frame by decoding a video frame encoded in an image encoding step, and removing a high-frequency signal of the predicted reference frame A prediction reference frame blurring step, and a prediction image generation step for generating a prediction image of motion compensated prediction from the prediction reference frame from which a high-frequency signal has been removed in the prediction reference frame blurring step, and in the prediction reference frame blurring step, The high-frequency signal determined to be removed from the video frame in the decision step is removed from the prediction reference frame, and in the image encoding step, the subtraction process between the video frame output in the image blurring step and the prediction image generated in the prediction image generation step The result of is encoded.
本発明の第 3の態様に係る動画像処理方法は、 さらに画像符号化ステップで符 号化した映像フレームを復号する復号ステツプと、 復号ステップで復号した映像 フレームから、 動き補償予測の予測画像を生成する第 2の予測画像生成ステツプ と、 復号ステップで復号した映像フレームと、 第 2の予測画像生成ステップで生 成した予測画像とを加算して出力する加算ステップとを備える。  The moving image processing method according to the third aspect of the present invention further includes a decoding step for decoding the video frame encoded in the image encoding step, and a motion compensated prediction image from the video frame decoded in the decoding step. A second prediction image generation step to be generated; an addition step of adding and outputting the video frame decoded in the decoding step and the prediction image generated in the second prediction image generation step.
本発明の第 3の態様に係る動画像処理方法は、 さらに画像符号化ステツプで符 号化した映像フレームを復号する復号ステップと、 復号ステップで復号した映像 フレームから、 ぼかし強度決定ステツプで除去すると決定した高周波信号を除去, する第 2の予測参照フレームぼかしステップと、 第 2の予測参照フレームぼかし ステップで高周波信号を除去した映像フレームから、 動き補償予測の予測画像を 生成する第 2の予測.画像生成ステツプと、 復号ステツプで復号した映像フレーム と、 第 2の予測画像生成ステップで生成した予測画像とを加算して出力する加算 ステップとを備える。  The moving image processing method according to the third aspect of the present invention further includes: a decoding step for decoding the video frame encoded in the image encoding step; and a blur intensity determination step for removing the video frame decoded in the decoding step. A second prediction reference frame blur step that removes the determined high-frequency signal, and a second prediction that generates a motion compensated prediction prediction image from the video frame from which the high-frequency signal was removed in the second prediction reference frame blur step. An image generation step; an addition step of adding and outputting the video frame decoded in the decoding step and the predicted image generated in the second predicted image generation step.
本発明の第 4の態様に係る動画像処理方法は、 連続する映像フレームからなる 動画像を処理する動画像処理方法であって、 映像フレームごとに、 フィルタ処理 を行うか否かを決定し、 フィルタ処理を行うと決定した場合に、 フィルタ処理を 行うループ内フィル夕特性を決定するループ内フィル夕決定ステップと、 入力さ れた映像フレームに、 ループ内フィルタ決定ステップで決定した特性のフィル夕 でフィル夕処理を行う入力画像フィルタ処理ステップと、 フィルタ処理された映 像フレームを符号化する画像符号化ステツプと、 画像符号化ステップで符号化し た映像フレームを復号した予測参照フレームを生成する局所復号ステップと、 ル ープ内フィル夕決定ステップで決定した特性のフィルタで予測参照フレームにフ ィルタ処理を行うループ内フィルタ処理ステップと、 ループ内フィル夕処理ステ ップがフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像 生成ステップとを備え、 入力画像フィル夕処理ステップ、 およびループ内フィル 夕処理ステップで、 同様の特性のフィルタでフィルタ処理を行い、 画像符号化ス テツプにおいて、 入力画像フィルタ処理ステップで出力した映像フレームと、 予 測画像生成ステップで生成した予測画像との減算処理の結果を符号化することを 特徴とする。 A moving image processing method according to a fourth aspect of the present invention is a moving image processing method for processing a moving image composed of continuous video frames, and determines whether or not to perform filtering for each video frame, When it is determined that the filter processing is to be performed, the in-loop fill event determining step for determining the in-loop fill event characteristic for performing the filter processing, and the fill factor of the characteristic determined in the in-loop filter determining step are applied to the input video frame. The input image filter processing step for performing the filter processing in the image, the image encoding step for encoding the filtered video frame, and the local reference frame for decoding the video frame encoded in the image encoding step. In-loop filter processing step that filters the prediction reference frame with the filter having the characteristics determined in the decoding step, and the in-loop fill filter determination step, and the prediction in which the in-loop fill filter processing step performs the filter processing A prediction image generation step for generating a prediction image from a reference frame. In the input image fill processing step and in-loop fill processing step, filtering is performed with a filter having similar characteristics. Video frame output in the input image filter processing step and predicted image It is characterized in that the result of the subtraction process with the predicted image generated in the generation step is encoded.
本発明の第 4の態様に係る動画像処理方法は、 さらに符号化された映像フレー ムを復号する復号ステップと、 復号ステップで復号した映像フレームに、 ループ 内フィルタ決定ステップで決定した特性のフィルタでフィル夕処理を行う第 2の ループ内フィルタ処理ステップと、 第 2のループ内フィルタ処理ステップでフィ ルタ処理を行った映像フレームから、 動き補償予測の予測画像を生成する第 2の 予測画像生成ステップと、 復号ステップで復号した映像フレームと、 第 2の予測 画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備, える。  The moving image processing method according to the fourth aspect of the present invention further includes: a decoding step for decoding the encoded video frame; and a filter having the characteristics determined in the in-loop filter determination step on the video frame decoded in the decoding step. The second predicted image generation for generating a motion compensated prediction predicted image from the second in-loop filter processing step that performs the fill-in process and the video frame subjected to the filter processing in the second in-loop filter processing step. And an addition step for adding and outputting the video frame decoded in the decoding step and the predicted image generated in the second predicted image generating step.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 連続す る映像フレームからなる動画像を処理させる動画像処理プログラムであって、 コ ンピュー夕に、 映像フレームをぼかす強度を決定する （ぼかさないと決定するこ とも含む。） ぼかし強度決定処理と、 ぼかし強度決定処理における決定に従って、 映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理 とを実行させ、 ぼかし強度決定処理で、 映像フレームが所定数 （1以上の数） 連 続するとぼかす強度を変化させることを特徴とする。  A moving image processing program according to a fifth aspect of the present invention is a moving image processing program that causes a computer to process a moving image composed of continuous video frames, and determines the intensity of blurring the video frames in a computer evening. Yes (including determining not to blur) According to the determination in the blur intensity determination process and the blur intensity determination process, the image blur process is performed to blur the image by removing the high-frequency signal of the video frame. The processing is characterized by changing the intensity of blurring when a predetermined number (one or more) of video frames continues.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 ぼかし 強度決定処理で、 周期的にぼかす強度を変化させる。 また、 コンピュータに、 ぼ かし強度決定処理で、 1フレームおきにぼかす強度を変化させる。 The moving image processing program according to the fifth aspect of the present invention causes the computer to change the intensity to be periodically blurred by the blur intensity determination process. Also, computer In the scare strength determination process, the strength to blur every other frame is changed.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 ぼかし 強度決定処理で、映像フレーム間の画素値変化に応じてぼかす強度を決定させる。 本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 画像ぼ かし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、 ぼか し強度決定処理において、 画像符号化処理で映像フレームを符号化する際の符号 化方法に応じてぼかす強度を決定させる。  The moving image processing program according to the fifth aspect of the present invention causes the computer to determine the intensity to be blurred according to the pixel value change between the video frames in the blur intensity determination process. A moving image processing program according to a fifth aspect of the present invention causes a computer to execute an image encoding process for encoding a video frame output in an image blur process, and in the blur intensity determination process, an image code The intensity to be blurred is determined according to the encoding method used when encoding video frames in the encoding process.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 画像ぼ かし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、 ぼか し強度決定処理において、 画像符号化処理で映像フレームを符号化する際の符号 化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定させる。  A moving image processing program according to a fifth aspect of the present invention causes a computer to execute an image encoding process for encoding a video frame output in an image blur process, and in the blur intensity determination process, an image code The intensity to be blurred is determined according to the encoding method used when encoding the video frame in the encoding process and the pixel value change between the video frames.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 さらに 画像符号化処理で符号化した映像フレームを復号して予測参照フレームを生成す る局所復号処理と、 予測参照フレームの高周波信号を除去する予測参照フレーム ぼかし処理と、 予測参照フレームぼかし処理で高周波信号を除去した予測参照フ レームから、動き補償予測の予測画像を生成する予測画像生成処理とを実行させ、 予測参照フレームぼかし処理において、 ぼかし強度決定処理で映像フレームから 除去すると決定した高周波信号を予測参照フレームから除去させ、 画像符号化処, 理において、 画像ぼかし処理で出力した映像フレームと、 予測画像生成処理で生 成した予測画像との減算処理の結果を符号化させる。  The moving image processing program according to the fifth aspect of the present invention includes a local decoding process for generating a predicted reference frame by decoding a video frame encoded by the image encoding process, and a high frequency of the predicted reference frame. Prediction reference frame blurring is performed by performing a prediction reference frame blurring process that removes a signal and a prediction image generation process that generates a predicted image of motion compensated prediction from a prediction reference frame from which a high-frequency signal has been removed by the prediction reference frame blurring process. In the process, the high-frequency signal determined to be removed from the video frame by the blur intensity determination process is removed from the prediction reference frame, and the video frame output by the image blur process and the predicted image generation process are generated in the image encoding process. The result of the subtraction process with the predicted image is encoded.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 さらに 画像符号化処理で符号化した映像フレームを復号する復号処理と、 復号処理で復 号した映像フレームから、 動き補償予測の予測画像を生成する第 2の予測画像生 成処理と、 復号処理で復号した映像フレームと、 第 2の予測画像生成処理で生成 した予測画像とを加算して出力する加算処理とを実行させる。  The moving image processing program according to the fifth aspect of the present invention is a computer that further includes a decoding process for decoding a video frame encoded by the image encoding process, and a motion compensation prediction from the video frame decoded by the decoding process. A second predicted image generation process for generating a predicted image, an addition process for adding and outputting the video frame decoded by the decoding process and the predicted image generated by the second predicted image generation process are executed.
本発明の第 5の態様に係る動画像処理プログラムは、 コンピュータに、 画像符 号化処理で符号化した映像フレームを復号する復号処理と、 復号処理で復号した 映像フレームから、 ぼかし強度決定処理で除去すると決定した高周波信号を除去 する第 2の予測参照フレームぼかし処理と、 第 2の予測参照フレームぼかし処理 で高周波信号を除去した映像フレームから、 動き補償予測の予測画像を生成する 第 2の予測画像生成処理と、 復号処理で復号した映像フレームと、 第 2の予測画 像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させても よい。 The moving image processing program according to the fifth aspect of the present invention is a computer that performs decoding processing for decoding a video frame encoded by the image encoding processing, and blur intensity determination processing from the video frame decoded by the decoding processing. Removes high-frequency signals that are determined to be removed The second predicted reference frame blurring process, the second predicted reference frame blurring process, the second predicted reference frame blurring process, the second predicted image generation process for generating a motion compensated predicted image from the video frame from which the high-frequency signal has been removed, and the decoding process. You may perform the addition process which adds and outputs the decoded video frame and the prediction image produced | generated by the 2nd prediction image production | generation process.
本発明の第 6の態様に係る動画像処理プログラムは、 コンピュータに、 連続す る映像フレームからなる動画像を処理させる動画像処理プログラムであって、 コ ンピュー夕に、 映像フレームごとに、 フィルタ処理を行うか否かを決定し、 フィ ル夕処理を行うと決定した場合に、 フィルタ処理を行うループ内フィルタ特性を 決定するループ内フィルタ決定処理と、 入力された映像フレームに、 ループ内フ ィルタ決定処理で決定した特性のフィルタでフィル夕処理を行う入力画像フィル タリング実行処理と、 フィルタ処理された映像フレームを符号化する画像符号化 処理と、 画像符号化処理で符号化した映像フレームを復号した予測参照フレーム を生成する局所復号処理と、 ループ内フィルタ決定処理で決定した特性のフィル タで予測参照フレームにフィルタ処理を行うループ内フィル夕リング実行処理と、 ループ内フィルタリング実行処理でフィルタ処理を行つた予測参照フレームから 予測画像を生成する予測画像生成処理とを実行させ、 入力画像フィルタリング実 行処理、 およびループ内フィルタリング実行処理で、 同様の特性のフィル夕でス ィルタ処理を実行させ、 画像符号化処理で、 入力画像フィル夕リング実行処理が 出力した映像フレームと、 予測画像生成処理で生成した予測画像との減算処理の 結果を符号化させる.ことを特徴とする。  A moving image processing program according to a sixth aspect of the present invention is a moving image processing program for causing a computer to process a moving image composed of continuous video frames, and for each video frame in a computer, a filter process is performed. If it is determined whether or not to perform the filter processing, the in-loop filter determination processing for determining the filter characteristics in the loop to perform the filter processing and the in-loop filter on the input video frame An input image filtering execution process for performing a filter process with a filter having the characteristics determined in the determination process, an image encoding process for encoding the filtered video frame, and a decoding of the video frame encoded by the image encoding process Prediction using a local decoding process that generates the predicted reference frame and a filter with the characteristics determined by the in-loop filter determination process. Input image filtering is performed by executing in-loop filtering that performs filtering on the reference frame and predicted image generation that generates a predicted image from the predicted reference frame that has been filtered in the in-loop filtering. In the process and filtering in the loop, the filter process is executed with the filter of the same characteristics, and the image frame is generated by the image encoding process and the video frame output by the input image filter execution process. The result of the subtraction process with the predicted image is encoded.
本発明の第 6の態様に係る動画像処理プログラムは、 コンピュータに、 さらに 符号化された映像フレームを復号する復号処理と、 復号処理で復号した映像フレ ームに、 ループ内フィル夕決定処理で決定した特性のフィル夕でフィルタ処理を 行う第 2のループ内フィルタリング実行処理と、 第 2のループ内フィル夕リング 実行処理でフィル夕処理を行つた映像フレームから、 動き補償予測の予測画像を 生成する第 2の予測画像生成処理と、 復号処理で復号した映像フレームと、 第 2 の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行 させる。 The moving image processing program according to the sixth aspect of the present invention is a computer that further performs decoding processing for decoding an encoded video frame, and processing for decoding a video frame decoded by the decoding processing by an in-loop fill event determination processing. Generates a predicted image for motion compensated prediction from the second in-loop filtering execution process that performs filtering with the determined characteristic fill event and the second in-loop fill event execution process. The second predicted image generation process, the video frame decoded by the decoding process, and the addition process for adding and outputting the predicted image generated by the second predicted image generation process Let
発明の効果：  The invention's effect:
本発明の第 1の効果は、 映像フレームごとにぼかす強度を制御するので、 視聴 者に、 ぼかす処理が施されているか否かを容易には検知されずに、 動画像の高周 波信号を除去することができることである。  The first effect of the present invention is to control the intensity of blurring for each video frame, so that it is not easy for the viewer to detect whether the blurring process has been performed or not. It can be removed.
特に、 ぼかす処理が施されている映像フレームとぼかす処理が施されていない 映像フレームとが周期的になるように構成されている場合には、 視聴者には、 ぼ かす処理が施されているか否かについてより容易には検知されずに、 動画像の高 周波信号を除去することができる。  In particular, if the video frame that has been subjected to the blurring process and the video frame that has not been subjected to the blurring process are configured to be periodic, whether the viewer has been subjected to the blurring process. It is possible to remove high-frequency signals from moving images without more easily detecting whether or not.
本発明の第 2の効果は、 ぼかす処理が施されていることが検知されにくく、 か つ動画像を符号化した際に主観画質を向上できることである。  The second effect of the present invention is that it is difficult to detect that the blurring process has been performed, and the subjective image quality can be improved when a moving image is encoded.
その理由は、 第 1にぼかす処理が施されている映像フレームとぼかす処理が施 されていない映像フレームとで動画像を構成することにより、 再生時にぼけ力 ^検 知されにくいからである。 第 2に、 ぼかす処理が施されている映像フレームでは 高周波信号が除去されているので、 発生符号量を削減でき、 小さい量子化ステツ プで量子化できるようになり、 量子化誤差を削減できるからである。  The reason for this is that first, a moving image is composed of video frames that have been subjected to the blurring process and video frames that have not been subjected to the blurring process, making it difficult to detect blur power during playback. Second, since the high-frequency signal is removed in the video frame that has been subjected to the blurring process, the amount of generated code can be reduced, and quantization can be performed in a small quantization step, thereby reducing the quantization error. It is.
装置が、 映像フレームから除去する高周波信号を、 映像フレーム間の画素値変 化や、 映像フレームを符号化する際の符号化方法に応じて決定するように構成さ, れている場合には、 人間の視覚特性を活かして、 ぼかす処理を施したことを視聴 者に検知されにくくすることができる。  If the device is configured to determine the high-frequency signal to be removed from the video frame according to the pixel value change between the video frames and the encoding method when encoding the video frame, Taking advantage of human visual characteristics, it is possible to make it difficult for viewers to detect that blurring has been applied.
装置が、 符号化された映像フレームを復号した予測参照フレームから高周波信 号を除去する際に、 符号化時のぼかす処理と同様に高周波信号を除去して予測画 像を生成するように構成されている場合には、 ぼかす処理が施された映像フレー ムを、 正しく復号することができる。  When the apparatus removes the high-frequency signal from the prediction reference frame obtained by decoding the encoded video frame, the apparatus is configured to remove the high-frequency signal and generate a prediction image in the same manner as the blurring process at the time of encoding. If so, video frames that have been blurred can be decoded correctly.
装置が、 高周波信号が除去されて符号化された映像フレームを復号した映像フ レームから、動き補償予測の予測画像を生成するように構成されている場合には、 M P E G - 2などの符号化方式で符号化された動画像データを復号する動画復号 化装置と同様な構成で、 ぼかす処理が施された映像フレームを復号することがで きる。 When the device is configured to generate a motion compensated prediction image from a video frame obtained by decoding a video frame that has been encoded with high-frequency signals removed, an encoding scheme such as MPEG-2 With the same configuration as a video decoding device that decodes video data encoded with the wear.
図面の簡単な説明： ' 図 1は、 動画像処理装置の第 1の実施例を示すプロック図である。  BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a first embodiment of a moving image processing apparatus.
図 2は、 ぼかす映像フレームとぼかさない映像フレームとが交互になっている 映像の構成を示す説明図である。  FIG. 2 is an explanatory diagram showing the configuration of a video in which video frames that are blurred and video frames that are not blurred are alternated.
図 3は、 動画像処理装置の第 2の実施例を示すプロック図である。  FIG. 3 is a block diagram showing a second embodiment of the moving image processing apparatus.
図 4は、 第 2の実施例の動画像処理装置の動作を模式的に示すフローチャート である。  FIG. 4 is a flowchart schematically showing the operation of the moving image processing apparatus of the second embodiment.
図 5は、 復号装置の構成例を示すブロック図である。  FIG. 5 is a block diagram illustrating a configuration example of a decoding device.
図 6は、 復号装置の動作を模式的に示すフローチャートである。  FIG. 6 is a flowchart schematically showing the operation of the decoding apparatus.
図 7は、 第 3の実施例における復号装置の構成を示すプロック図である。  FIG. 7 is a block diagram showing the configuration of the decoding apparatus in the third embodiment.
図 8は、 動画像処理装置の第 4の実施例を示すプロック図である。  FIG. 8 is a block diagram showing a fourth embodiment of the moving image processing apparatus.
図 9は、 第 4の実施例の動画像処理装置の動作を模式的に示すフローチヤ一卜 である。  FIG. 9 is a flowchart showing schematically the operation of the moving image processing apparatus of the fourth embodiment.
図 1 0は、 第 4の実施例における復号装置の構成を示すブロック図である。 図 1 1は、 第 4の実施例における復号装置の動作を模式的に示すフローチヤ一 トである。  FIG. 10 is a block diagram showing the configuration of the decoding apparatus in the fourth embodiment. FIG. 11 is a flowchart schematically showing the operation of the decoding apparatus in the fourth embodiment.
図 1 2は、 動画像処理装置がコンピュータシステムで実現される場合の構成 !! を示すブロック図である。  FIG. 12 is a block diagram showing a configuration !! when the moving image processing apparatus is realized by a computer system.
発明を実施するための最良の形態：  Best Mode for Carrying Out the Invention:
本発明の第 1の実施例について、 図面を参照して説明する。 図 1は、 本発明に よる動画像処理装置の第 1の実施例を示すブロック図である。  A first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of a moving image processing apparatus according to the present invention.
図 1に示す動画像処理装置は、 映像フレームをぼかす強度を決定するぼかし強 度決定装置 2 0 1と、 映像フレームの高周波信号を除去して画像にぼかす処理を 施す画像ぼかし装置 2 0 2とを含む。  The moving image processing apparatus shown in FIG. 1 includes a blur intensity determining apparatus 20 1 that determines the intensity at which a video frame is blurred, and an image blur apparatus 2 0 2 that performs processing to remove a high-frequency signal from the video frame and blur the image. including.
ぼかし強度決定装置 2 0 1は、 入力画像が入力された場合に、 各映像フレーム にぼかす処理を施すか否か、 および映像フレームにぼかす処理を施す場合のぼか す強度を決定する。 なお、 本実施例および以下の実施例では、 ぼかす強度は、 映 像フレームから除去される高周波信号の周波数に相当する。 The blur intensity determination device 2 0 1 determines whether or not to perform the process of blurring each video frame when the input image is input, and the blur intensity when performing the process of blurring the video frame. In this example and the following examples, the blur strength is This corresponds to the frequency of the high-frequency signal removed from the image frame.
ぼかす強度は連続する映像フレーム間で一定ではない。 ぼかし強度決定装置 2 ' 0 1は、 例えば、 ぼかす処理を施す映像フレームとぼかす処理を施さない映像フ レームとが交互になるようにぼかし強度を決定し、 強くぼかす映像フレームと弱 くぼかす映像フレームとが交互になるようにぼかし強度を決定する。 すなわち、 ぼかし強度決定装置 2 0 1は、 映像フレームに施すぼかす処理の強度を、 周期的 に変化させる。 また、 ぼかし強度決定装置 2 0 1がぼかす強度を変化させる周期 は一定であってもよいし、 一定でなくてもよい。 つまり、 非周期的にぼかす強度 を変化させてもよい。  The intensity of blur is not constant between successive video frames. For example, the blur intensity determination device 2 '0 1 determines the blur intensity so that a video frame subjected to blur processing and a video frame not subjected to blur processing are alternated, and a video frame that strongly blurs and a video frame that blurs weakly. The blur intensity is determined so that and alternate. In other words, the blur intensity determining apparatus 210 periodically changes the intensity of the blurring process performed on the video frame. Further, the period for changing the intensity to be blurred by the blur intensity determining apparatus 2 0 1 may or may not be constant. In other words, the intensity to blur aperiodically may be changed.
図 2は、 ぼかす映像フレームとぼかさない映像フレームとが交互になっている 映像の構成を示す説明図である。  FIG. 2 is an explanatory diagram showing the configuration of a video in which video frames that are blurred and video frames that are not blurred are alternated.
なお、 ぼかし強度決定装置 2 0 1は、 図 2に示すように、 1つの映像フレーム ごとにぼかす強度を変化させなくてもよい。 例えば、 ぼかし強度決定装置 2 0 1 は、 2つの映像フレームごとにぼかす強度を変化させてもよい。  As shown in FIG. 2, the blur intensity determination device 20 1 does not have to change the intensity to be blurred for each video frame. For example, the blur intensity determining device 2 0 1 may change the intensity to be blurred every two video frames.
ぼかし強度決定装置 2 0 1は、 ぼかす強度を、 輝度値の変化量など映像フレー ム自体の特徴を考慮して決定する。 具体的には、 ぼかし強度決定装置 2 0 1は、 例えば、 映像の平均移動量 （動きベクトル量） が 1 6画素で、 その動き量が考慮 された輝度値の変化量が 1画素あたり 2の場合に、 強くぼかすと決定する。 . また、 ぼかし強度決定装置 2 0 1は、 入力画像が符号化される際の符号化方法 を考慮してぼかす強度を決定してもよい。ぼかし強度決定装置 2 0 1は、例えば、 フレーム間予測を採用している映像フレームと、 そうでない映像フレームとでぼ かす強度を変化させてもよい。 '  The blur intensity determination device 2 0 1 determines the blur intensity in consideration of the characteristics of the video frame itself such as the amount of change in luminance value. Specifically, the blur intensity determining device 2 0 1 has, for example, an average moving amount (motion vector amount) of 16 pixels, and a luminance value change amount that takes into account the moving amount is 2 per pixel. If so, decide to blur. Further, the blur intensity determination device 20 1 may determine the intensity to be blurred in consideration of the encoding method when the input image is encoded. For example, the blur intensity determination device 210 may change the intensity of blurring between a video frame that employs interframe prediction and a video frame that does not. '
ぼかし強度決定装置 2 0 1は、 各映像フレームをぼかす強度を、 例えば、 1 0 段階のうちのいずれかに決定する。  The blur intensity determining device 2 0 1 determines the intensity for blurring each video frame, for example, in one of the 10 stages.
ぼかし強度決定装置 2 0 1は、 各映像フレームにぼかす処理を施すか否かを決 定し、 および前記ぼかす処理を施すよう決定した場合、 映像フレームぼかし処理 におけるぼかす強度を決定する。 この場合、 画像ぼかし装置 2 0 2は、 ぼかす処 理を施すと決定された映像フレームの高周波信号をぼかす強度に応じて除去して 出力する。 画像ぼかし装置 2 0 2は、 ぼかす処理を施さないと決定された映像フ レームには、 ぼかす処理を施さずに出力する。 高周波信号を除去するために、 例 えば、 低域通過フィル夕が用いられる。 The blur intensity determining apparatus 201 determines whether or not to perform the blur process on each video frame, and when determining to perform the blur process, determines the blur strength in the video frame blur process. In this case, the image blur device 2 0 2 removes the high-frequency signal of the video frame determined to be blurred according to the strength to be blurred. Output. The image blurring device 202 outputs the video frame determined not to be subjected to the blur process without performing the blur process. For example, a low-pass filter is used to remove high-frequency signals.
具体的には、 ぼかし強度決定装置 2 0 1は、 映像フレームを強くぼかす場合に は、 例えば、 最大周波数 （例えば、 4. 2 MH z ) の 5 0 %程度の周波数以上の 高周波信号 （例えば、 2 . 1 MH z以上の信号） を除去する。  Specifically, the blur intensity determining device 2 0 1, for example, when blurring a video frame strongly, for example, a high frequency signal (for example, about 50% or more of the maximum frequency (for example, 4.2 MHz)) (for example, 2. Signals above 1 MHz are removed.
また、 ぼかし強度決定装置 2 0 1は、 映像フレームを弱くぼかす場合には、 例 えば、 最大周波数 （例えば、 4. 2 MH z ) の 9 0 %程度の周波数以上の高周波 信号 （例えば、 3 . 8 MH z以上の信号） を除去する。  Further, the blur intensity determining device 20 0 1, for example, when blurring a video frame weakly, for example, a high-frequency signal (for example, 3 .0) having a frequency of about 90% of the maximum frequency (for example, 4.2 MHz). 8) Signals above 8 MHz are removed.
なお、 本明細書では、 映像フレームから高周波信号を除去することを、 ぼかす 処理を施すという。  In this specification, removing a high-frequency signal from a video frame is referred to as blurring processing.
以上に述べたように、 本実施例によれば、 映像フレームごとにぼかす強度を制 御し、 ぼかす処理が施されている映像フレームとぼかす処理が施されていない映 像フレームとが交互に構成されている映像を出力するので、 視聴者に、 ぼかす処 理が施されているか否かを容易には検知されずに、 動画像 （映像フレーム） の高 周波信号を除去することができる。  As described above, according to the present embodiment, the intensity of blurring is controlled for each video frame, and video frames that are subjected to the blurring process and video frames that are not subjected to the blurring process are configured alternately. Therefore, it is possible to remove the high-frequency signal of the moving image (video frame) without easily detecting whether or not the blurring process is performed on the viewer.
そのため、 視聴者にぼけが検知されないようにしつつ、 映像フレームを符号化 するための符号量を減らし、低ビットレートでの符号化を実現することができる。., また、 高周波信号を全く除去しなかった場合、 すなわち、 ぼかす処理を全く行 わなかった場合には、 発生符号量が増える。 その場合、 低ビットレートで符号化 するために、 量子化ステップを大きくする必要がある。 その結果、 量子化誤差が 生じて画質が低下する。  Therefore, it is possible to realize encoding at a low bit rate by reducing the amount of code for encoding a video frame while preventing the viewer from detecting blur. ., Also, if the high-frequency signal is not removed at all, that is, if no blurring process is performed, the amount of generated code increases. In that case, it is necessary to increase the quantization step in order to encode at a low bit rate. As a result, quantization error occurs and the image quality deteriorates.
しかし、 本実施例では、 ぼかす処理が施された映像フレームでは高周波信号が 除去されているため、 全体として発生符号量が削減される。 従って、 低ビットレ 一トで符号化する場合でも、 小さい量子化ステップで量子化できるようになり、 量子ィヒ誤差を削減することができる。 そのため、 量子化誤差による画質の低下を 検知されにくくすることができる。  However, in this embodiment, since the high-frequency signal is removed from the video frame subjected to the blurring process, the generated code amount is reduced as a whole. Therefore, even when encoding at a low bit rate, quantization can be performed with a small quantization step, and the quantum error can be reduced. For this reason, it is possible to make it difficult to detect a decrease in image quality due to a quantization error.
つまり、視聴者にぼかす処理が施されたことを検知されにくく、かつ動画像（映 像フレーム） を符号化した際の量子化誤差を削減するため、 全ての映像フレーム の高周波信号を除去した場合や、 全く高周波信号を除去しない場合に比べ、 主観 画質 （視聴者が感じる画質） を向上させることができる。 In other words, it is difficult to detect that the process of blurring the viewer has been performed, and a moving image (movie) In order to reduce the quantization error when encoding (image frames), the subjective image quality (image quality perceived by the viewer) is higher than when high-frequency signals are removed from all video frames or when no high-frequency signals are removed. Can be improved.
次に、 本発明の第 2の実施例について、 図面を参照して説明する。 図 3は、 本 発明による動画像処理装置の第 2の実施例を示すブロック図である。  Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram showing a second embodiment of the moving image processing apparatus according to the present invention.
第 2の実施例に係る動画像処理装置は、 図 3に示すように映像フレームのぼか す強度を決定するぼかし強度決定装置 （ぼかし強度決定手段） 3 0 1と、 映像フ レームの高周波信号を除去して画像をぼかす画像ぼかし装置 （画像ぼかし手段） 3 0 2と、 入力画像を符号化する画像符号化装置 （画像符号化手段） 3 0 3と、 符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段） 3 0 4と、 予測参照フレームを格納 （記憶） するフレームメモリ （第 1の記憶手 段） 3 0 5と、 予測参照フレームを符号化中の入力画像と同じ強度でぼかす予測 参照フレームぼかし装置 （予測参照フレームぼかし手段） 3 0 6と、 予測参照フ レームから動き補償予測の予測画像を生成する予測画像生成装置 （予測画像生成 手段） 3 0 7とを有する。  As shown in FIG. 3, the moving image processing apparatus according to the second embodiment includes a blur intensity determining device (blur intensity determining means) 3 0 1 for determining the blur intensity of a video frame, and a high-frequency signal of the video frame. Blurring device (image blurring means) 3 0 2 which removes image, image coding device (image coding means) 3 0 3 for encoding input image, and prediction reference frame of image to be encoded Local decoding device (local decoding means) 3 0 4, frame memory for storing (storing) prediction reference frames (first storage means) 3 0 5, and input for encoding prediction reference frames Prediction reference frame blurring device (prediction reference frame blurring means) 3 0 6 blurring at the same intensity as the image, and prediction image generation device (prediction image generation means) 3 0 7 for generating a motion compensated prediction image from the prediction reference frame Have .
なお、 本実施例では、 動画像処理装置として、 M P E G符号化方式による符号 化を行う装置を想定する。 しかし、 本発明による動画像処理装置は、 M P E G符 号化方式による符号化を行うものに限られない。 , ぼかし強度決定装置 3 0 1は、 入力画像が入力された場合に、 各映像フレーム にぼかす処理を施すか否かを決定し、 および映像フレームにぼかす処理を施す場 合にはぼかす強度 （映像フレームから除去する信号の周波数） を決定する。  In this embodiment, an apparatus that performs encoding using the MPEG encoding system is assumed as the moving image processing apparatus. However, the moving image processing apparatus according to the present invention is not limited to the one that performs encoding by the MPEG encoding method. , Blur intensity determination device 3 0 1 determines whether or not to blur each video frame when an input image is input, and blur intensity (video) when performing blur processing on the video frame. Determine the frequency of the signal to be removed from the frame.
ぼかす強度は一定ではない。 ぼかし強度決定装置 3 0 1は、 例えば、 ぼかす処 理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるよう に決定し、 強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるよ うに決定する。  The strength to blur is not constant. The blur intensity determination device 3 0 1 determines, for example, that video frames that are to be blurred and video frames that are not to be blurred are alternated, and video frames that are strongly blurred and video frames that are weakly blurred are alternated. To decide.
ぼかし強度決定装置 3 0 1は、 ぼかす強度を、 画像符号化装置 3 0 3が出力し た情報にもとづいて決定する。 例えば、 符号化方法にもとづいてぼかす強度を決 定し、 画像の映像フレーム間での画素値の変化などにもとづいてぼかす強度を決 定し、 符号化方法と画像の映像フレーム間での画素値の変化との組合せにもとづ いて、 ぼかす強度を決定する ' ぼかし強度決定装置 3 0 1は、 映像フレームをぼかした強度や、 どのようなぼ かす処理が施されたのかを示すぼかし強度情報を、 画像符号化装置 3 0 3および 予測参照フレームぼかし装置 3 0 6に出力する。 The blur intensity determination device 3 0 1 determines the intensity to be blurred based on the information output from the image encoding device 3 0 3. For example, the intensity to be blurred is determined based on the encoding method, and the intensity to be blurred is determined based on a change in pixel value between video frames of the image. The blur intensity determining device 3 0 1 determines the blur intensity based on the combination of the encoding method and the change in pixel value between video frames of the image. The blur intensity information indicating what kind of blur processing has been performed is output to the image encoding device 303 and the prediction reference frame blurring device 30.
画像ぼかし装置 3 0 2は、 入力画像のうち、 ぼかし強度決定装置 3 0 1がぼか す処理を施すと決定した映像フレームを、 ぼかし強度決定装置 3 0 1が決定した ぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置 3 0 3に出力する。 ぼかす処理を施すために、 例えば、 低域通過フィルタが用いられる。  The image blurring device 3 0 2 blurs the image frame determined to be blurred by the blur strength determination device 3 0 1 from the input image with the blur strength determined by the blur strength determination device 3 0 1 ( The image is subjected to a blurring process) and output to the image encoding device 303. For example, a low-pass filter is used to blur the image.
また、 画像ぼかし装置 3 0 2は、 入力画像のうち、 ぼかし強度決定装置 3 0 1 がぼかす処理を施さないと決定した映像フレームを、 ぼかさずに画像符号化装置 3 0 3に出ガする。  Also, the image blurring device 30 2 outputs to the image encoding device 303 without blurring the video frame determined not to be subjected to the blurring process by the blurring intensity determination device 3 0 1 among the input images.
画像符号化装置 3 0 3は、 画像ぼかし装置 3 0 2が出力した映像フレームを符 号化して出力する。 画像符号化装置 3 0 3は、 ぼかし強度情報もあわせて符号化 し、 符号化した動画像データ （映像フレーム） がぼかし強度情報を含むように符 号化する。  The image encoding device 30 3 encodes and outputs the video frame output by the image blurring device 30 2. The image encoding device 303 also encodes the blur intensity information and encodes the encoded moving image data (video frame) so as to include the blur intensity information.
局所復号化装置 3 0 4は、 後に符号化される映像フレームの動き補償予測のた めの予測参照フレームとして用いるために、 画像符号化装置 3 0 3が符号化した, 映像フレームを復号する。 フレームメモリ 3 0 5は、 局所復号化装置 3 0 4が復 号した映像フレームを記憶する。  The local decoding device 30 4 decodes the video frame encoded by the image encoding device 30 3 for use as a prediction reference frame for motion compensation prediction of a video frame to be encoded later. The frame memory 30 5 stores the video frame decoded by the local decoding device 30 04.
予測参照フレームぼかし装置 3 0 6は、 フレームメモリ 3 0 5が記憶している 映像フレーム （予測参照フレーム） にぼかす処理を施す。 予測参照フレームぼか し装置 3 0 6は、 ぼかし強度決定装置 3 0 1が出力したぼかし強度情報にもとづ いて、 ぼかし強度情報が示す方法と同様な方法でぼかす処理を施す。  The prediction reference frame blurring device 3 06 performs a process of blurring the video frame (prediction reference frame) stored in the frame memory 3 0 5. The prediction reference frame blurring device 300 performs blurring processing in the same manner as the method indicated by the blur strength information, based on the blur strength information output from the blur strength determination device 3101.
予測画像生成装置 3 0 7は、ぼかす処理が施された予測参照フレームを用いて、 予測画像を生成する。  The predicted image generation device 3 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process.
画像ぼかし装置 3 0 2が出力した映像フレームから、 予測画像生成装置 3 0 7 が生成した予測画像が減算され、減算結果が画像符号化装置 3 0 3に入力される。 また、 予測画像生成装置 3 0 7が生成した予測画像は、 局所復号化装置 3 0 4が 復号した映像フレームに加算処理されてフレームメモリ 3 0 5に記憶される。 減 算処理は、 例えば、 減算器によって行われ、 加算処理は、 例えば、 加算器によつ て行われる。 The predicted image generated by the predicted image generation device 3 0 7 is subtracted from the video frame output by the image blurring device 3 0 2, and the subtraction result is input to the image encoding device 3 0 3. Further, the predicted image generated by the predicted image generation device 3 07 is added to the video frame decoded by the local decoding device 3 04 and stored in the frame memory 3 0 5. The subtraction process is performed by, for example, a subtracter, and the addition process is performed by, for example, an adder.
次に、 第 2の実施例の動画像処理装置の動作について、 図面を参照して説明す る。 図 4は、 第 2の実施例の動画像処理装置の動作を模式的に示すフローチヤ一 トである。 図 4に示す処理は、 まず、 予測参照フレームを用いないで符号化され た映像フレームが出力され、 次に、 予測参照フレームを用いて符号化された映像 フレームが出力されるまでの過程における処理である。  Next, the operation of the moving image processing apparatus of the second embodiment will be described with reference to the drawings. FIG. 4 is a flowchart schematically showing the operation of the moving image processing apparatus of the second embodiment. The process shown in FIG. 4 is a process in the process until a video frame encoded without using a prediction reference frame is output first, and then a video frame encoded using a prediction reference frame is output. It is.
ぼかし強度決定装置 3 0 1は、 入力画像が入力された場合に、 各映像フレーム にぼかす処理を施すか否かを決定し、 および映像フレームにぼかす処理を施す場 合のぼかす強度 （映像から除去する信号の周波数） を決定する （ステップ S 1 0 1、 S 1 0 2 )。  The blur intensity determination device 3 0 1 determines whether or not to perform the process of blurring each video frame when an input image is input, and the blur intensity when performing the process of blurring the video frame (removed from the video). (Frequency of signal to be transmitted) is determined (steps S 1 0 1 and S 1 0 2)
画像ぼかし装置 3 0 2は、 入力画像のうち、 ぼかし強度決定装置 3 0 1がぼか すと決定した映像フレームを、 ぼかし強度決定装置 3 0 1が決定したぼかし強度 でぼかして （ぼかす処理を施して）、 画像符号化装置 3 0 3に出力する （ステップ S 1 0 3 )。  The image blurring device 3 0 2 blurs the video frame determined by the blur intensity determining device 3 0 1 to be blurred in the input image with the blur intensity determined by the blur intensity determining device 3 0 1 (the blur process is performed). And output to the image encoding device 30 (step S 1 0 3).
画像符号化装置 3 0 3は、 画像ぼかし装置 3 0 2が出力した映像フレームを符 号化して最初のフレームに関するデータとして出力する （ステップ S 1 0 4 )。 画像符号化装置 3 0 3が出力した映像フレームは後に符号化される映像フレ一 ムの予測参照フレームとして用いられるので、 局所復号化装置 3 0 4は、 画像符 号化装置 3 0 3が出力した映像フレームを復号する （ステップ S 1 0 5 )。予測参 照フレームぼかし装置 3 0 6は、 フレームメモリ 3 0 5が記憶している映像フレ ーム （予測参照フレーム） にぼかす処理 （フィル夕処理） を施す （ステップ S 1 0 6 )。  The image encoding device 30 3 encodes the video frame output by the image blurring device 30 2 and outputs it as data relating to the first frame (step S 1 0 4). Since the video frame output by the image encoding device 3 0 3 is used as a prediction reference frame of a video frame to be encoded later, the local decoding device 3 0 4 is output by the image encoding device 3 0 3. The decoded video frame is decoded (step S 1 0 5). The predicted reference frame blurring device 30 6 performs processing (fill processing) to blur the video frame (predicted reference frame) stored in the frame memory 3 05 (step S 1 0 6).
予測画像生成装置 3 0 7は、 ぼかす処理 （フィルタ処理） が施された予測参照 フレームを用いて、 予測画像を生成する （ステップ S 1 0 7 )。 予測画像生成装置 6 0 7が生成した予測画像は、 減算器によって画像ぼかし装置 3 0 2が出力した 映像フレームから減算される （ステップ S 1 0 8 )。 The predicted image generation apparatus 30 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (filter process) (step S 1 07). The predicted image generated by the predicted image generation device 6 0 7 is output from the image blurring device 3 0 2 by the subtractor. Subtracted from the video frame (step S 1 0 8).
画像符号化装置 3 0 3は、 減算器の出力を符号化して、 2番目のフレームに関 するデータとして出力する （ステップ S 1 0 9、 S 1 1 0 )。  The image encoding device 30 3 encodes the output of the subtracter and outputs it as data relating to the second frame (steps S 1 0 9 and S 1 1 0).
次に、 符号化された動画像の復号について説明する。 図 5は、 復号装置の構成 例を示すブロック図である。  Next, decoding of the encoded moving image will be described. FIG. 5 is a block diagram illustrating a configuration example of a decoding device.
図 5に示す復号装置は、 符号化された動画像を復号する画像復号化装置 （復号 手段） 4 0 1と、 復号された映像フレームを予測参照フレームとして使用するた めに格納 （記憶） するフレームメモリ （第 2の記憶手段） 4 0 2と、 予測参照フ レームにぼかす処理を施す予測参照フレームぼかし装置 （第 2の予測参照フレー ムぼかし手段） 4 0 3と、 予測参照フレームから動き補償予測の予測画像を生成 する予測画像生成装置 （第 2の予測画像生成手段） 4 0 4とを含む。  The decoding device shown in FIG. 5 stores (stores) an image decoding device (decoding means) 4 0 1 for decoding an encoded moving image and uses the decoded video frame as a prediction reference frame. Frame memory (second storage means) 4 0 2, prediction reference frame blurring device (second prediction reference frame blurring means) that performs processing to blur the prediction reference frame 4 0 3, and motion compensation from the prediction reference frame A predicted image generating device (second predicted image generating means) 40 4 for generating a predicted image of the prediction.
動画像処理装置は、図 5に例示したような復号装置の機能を含んでいてもよい。 画像復号化装置 4 0 1は、 符号化された映像フレームを復号する。 なお、 画像 復号化装置 4 0 1は、 符号化されたぼかし強度情報も同時に復号する。 そして、 画像復号化装置 4 0 1は、 復号したぼかし強度情報を予測参照フレームぼかし装 置 4 0 3に出力する。  The moving image processing apparatus may include the function of the decoding apparatus illustrated in FIG. The image decoding device 4 0 1 decodes the encoded video frame. The image decoding device 4 0 1 also decodes the encoded blur intensity information at the same time. Then, the image decoding device 4001 outputs the decoded blur intensity information to the prediction reference frame blurring device 4003.
フレームメモリ 4 0 2は、 画像復号化装置 4 0 1が復号した映像フレームを予 測参照フレームとして用いるために、 画像復号化装置 4 0 1が復号した映像フレ、 ーム （予測参照フレーム） を記憶する。  In order to use the video frame decoded by the image decoding device 4101 as a predicted reference frame, the frame memory 40.2 uses the video frame (frame predicted prediction) decoded by the image decoding device 4101. Remember.
予測参照フレームぼかし装置 4 0 3は、 画像複号化装置 4 0 1が復号したぼか し強度情報にもとづいて、 フレームメモリ 4 0 2が記憶している予測参照フレー ムに、 符号化時と同じ方法および同じ強度でぼかす処理を施す。  The predictive reference frame blurring device 40 3 uses the prediction reference frame stored in the frame memory 4 0 2 based on the blur intensity information decoded by the image decoding device 4 0 1 at the time of encoding. Apply blurring treatment in the same way and with the same strength.
予測画像生成装置 4 0 4は、 予測参照フレームぼかし装置 4 0 3がぼかす処理 を施した予測参照フレームを用いて予測画像を生成する。 予測画像生成装置 4 0 4が生成した予測画像は、 画像復号化装置 4 0 1が復号した映像フレームに加算 処理されて出力される。 加算処理は、 例えば、 加算器 （加算手段） によって行わ れる。  The predicted image generation device 40 4 generates a predicted image using the predicted reference frame subjected to the processing performed by the prediction reference frame blurring device 40 3. The predicted image generated by the predicted image generation device 40 4 is added to the video frame decoded by the image decoding device 40 1 and output. The addition process is performed by, for example, an adder (addition unit).
次に、 復号装置の動作について、 図面を参照して説明する。 図 6は、 復号装置 の動作を模式的に示すフローチャートである。 図 6に示す処理は、 予測参照フレ ームを用いて復号を行う場合を例にした処理である。 Next, the operation of the decoding device will be described with reference to the drawings. Figure 6 shows a decryption device It is a flowchart which shows typically operation | movement. The process shown in Fig. 6 is an example of a case where decoding is performed using a prediction reference frame.
画像復号化装置 4 0 1は、 予測参照フレームを用いないで符号化された映像フ レームが入力された場合に、 符号化された映像フレ一ムを復号する （ステップ S 2 0 D o  The image decoding device 4 0 1 decodes the encoded video frame when the encoded video frame is input without using the prediction reference frame (Step S 2 0 Do).
予測参照フレームぼかし装置 4 0 3は、 予測参照フレームに、 符号化時と同じ 処理および同じ強度でぼかす処理 （フィル夕処理） を施す （ステップ S 2 0 2 )。 予測画像生成装置 4 0 4は、予測参照フレームぼかし装置 4 0 3がぼかす処理（フ ィルタ処理） を施した予測参照フレームを用いて、 予測画像を生成する （ステツ プ S 2 0 3 )。  The prediction reference frame blurring device 40 3 performs the same process and the same blur process (fill evening process) as those at the time of encoding on the prediction reference frame (step S 2 0 2). The predicted image generation device 40 4 generates a predicted image using the predicted reference frame subjected to the processing (filter processing) blurred by the predicted reference frame blurring device 40 3 (step S 2 0 3).
予測画像生成装置 4 0 4が生成した予測画像は、 加算器で、 画像復号化装置 7 0 1が復号した映像フレームに加算処理される。 そして、 加算器から加算結果が 出力される （ステップ S 2 0 4、 S 2 0 5 ) 0 The predicted image generated by the predicted image generation device 4 04 is added by the adder to the video frame decoded by the image decoding device 7 0 1. Then, the addition result is output from the adder (steps S 2 0 4 and S 2 0 5) 0
動画像処理装置が含む各装置の動作は、 プログラム制御にしたがって処理を実 行する C P Uによって行われてもよい。 具体的には、 動画像処理装置が、 コンビ ユー夕に、 連続する映像フレームからなる動画像を処理させる動画像処理プログ ラムであって、 コンピュータに、 映像フレームをぼかす強度を決定する （ぼかさ ないと決定することも含む。） ぼかし強度決定処理と、 ぼかし強度決定処理におは る決定に従って、 映像フレームの高周波信号を除去することによって画像をぼか す画像ぼかし処理とを実行させ、 前記ぼかし強度決定処理で、 映像フレームが所 定数 （1以上の数） 連続するとぼかす強度を変化させることを特徵とする動画像 処理プログラムを搭載する。 C P Uが前記各処理を実行してもよい。  The operation of each device included in the moving image processing device may be performed by a CPU that executes processing according to program control. Specifically, the moving image processing apparatus is a moving image processing program that processes a moving image composed of continuous video frames in a combination evening, and determines the strength of blurring the video frames to the computer (not blurry). In accordance with the determination in the blur intensity determination process and the blur intensity determination process, an image blur process for blurring an image by removing a high-frequency signal from a video frame is executed. It is equipped with a video processing program that is characterized by changing the intensity of blurring when a certain number of video frames continue (a number greater than 1) in the intensity determination process. C PU may execute each of the above processes.
本実施例によれば、 ぼかし強度決定装置 3 0 1の決定にもとづいて、 映像フレ ームごとにぼかす処理を施すか否か、 およびぼかす処理を施す際のぼかす強度を 変化させて、 映像フレームの符号化および復号を行うことができる。  According to the present embodiment, based on the determination of the blur intensity determination device 3 0 1, whether or not to perform the blurring process for each video frame and the blurring intensity when performing the blurring process are changed, thereby changing the video frame. Can be encoded and decoded.
従って、 第 1の実施例と同様に、 視聴者に、 ぼかす処理が施されているか否か を容易には検知されずに動画像の高周波信号を除去し、 主観画質を向上させるこ とができる。 次に、 本発明の第 3の実施例について説明する。 動画像処理装置の構成は、 図 3に示された第 2の実施例の動画像処理装置の構成と同じである。 ただし、 第 3 の実施例では、 復号装置は図 7.に示すように構成される。 すなわち、 予測参照フ レームぼかし装置 4 0 3に相当するものを備えていない。 . Therefore, similar to the first embodiment, it is possible to improve the subjective image quality by removing the high frequency signal of the moving image without easily detecting whether or not the blurring process is performed on the viewer. . Next, a third embodiment of the present invention will be described. The configuration of the moving image processing apparatus is the same as that of the moving image processing apparatus of the second embodiment shown in FIG. However, in the third embodiment, the decoding device is configured as shown in FIG. In other words, a device equivalent to the prediction reference frame blurring device 4 03 is not provided. .
なお、 符号化処理を行う動画像処理装置が、 図 7に例示したような復号装置の 機能を含んでいてもよい。  Note that the moving image processing apparatus that performs the encoding process may include the function of the decoding apparatus illustrated in FIG.
図 7に示す復号装置は、 符号化された映像データを復号する画像復号化装置 5 0 1と、 復号された映像フレームを予測参照フレームとして使用するために格納 (記憶） するフレームメモリ 5 0 2と、 予測参照フレームから動き補償予測の予 測画像を生成する予測画像生成装置 5 0 3とを含む。  The decoding apparatus shown in FIG. 7 includes an image decoding apparatus 5 0 1 that decodes encoded video data, and a frame memory 5 0 2 that stores (stores) the decoded video frame for use as a prediction reference frame. And a predicted image generation device 50 3 that generates a predicted image of motion compensated prediction from the predicted reference frame.
図 7に示す復号装置は、 図 5に示す復号装置から、 予測参照フレームぼかし装 置 4 0 3を除いた構成である。 図 7に示す復号装置は、 例えば、 M P E G— 2な どの符号化方式で符号化された動画像データを復号する動画復号化装置の構成と 同様の構成である。  The decoding apparatus shown in FIG. 7 has a configuration obtained by removing the prediction reference frame blurring apparatus 40 3 from the decoding apparatus shown in FIG. The decoding device shown in FIG. 7 has the same configuration as that of a moving image decoding device that decodes moving image data encoded by an encoding method such as MPEGG-2.
入力画像は、 図 3に示す動画像処理装置で符号化されている。 従って、 動き補 償予測に用いられる予測参照フレームは、 それぞれ映像フレームごとに異なる強 度でぼかされている。  The input image is encoded by the moving image processing apparatus shown in FIG. Therefore, the prediction reference frames used for motion compensation prediction are blurred at different strengths for each video frame.
一方、 符号化された映像フレームは、 図 7に示す復号装置が復号する。 図 7に, 示す復号装置は、 予測参照フレームをぼかす手段を備えていない。 従って、 図 7 に示す復号装置は、 符号化時に用いた予測参照フレームと合致する予測参照フレ ームを生成することができないので、 図 3に示す動画像処理装置で符号化された 映像フレームを正しく復号することができない。 '  On the other hand, the encoded video frame is decoded by the decoding device shown in FIG. The decoding apparatus shown in FIG. 7 does not include means for blurring the prediction reference frame. Therefore, since the decoding apparatus shown in FIG. 7 cannot generate a prediction reference frame that matches the prediction reference frame used at the time of encoding, the video frame encoded by the moving image processing apparatus shown in FIG. It cannot be decrypted correctly. '
そのため、 復号された映像フレームは、 図 3に示す動画像処理装置が符号化す る前の映像フレームとは異なる。 動き補償予測による予測残差は、 符号化時にぼ けた予測参照フレームと、ぼけた入力映像フレームとの差分から構成されている。 映像フレームを復号する際、 この予測残差はぼけていない予測参照フレームに加 算される。  Therefore, the decoded video frame is different from the video frame before being encoded by the moving image processing apparatus shown in FIG. The prediction residual by motion compensated prediction is composed of the difference between the prediction reference frame blurred at the time of encoding and the blurred input video frame. When decoding a video frame, this prediction residual is added to the prediction reference frame that is not blurred.
通常の M P E G— 2方式などで符号ィ匕した場合のように、 入力画像をぼかさず に符号化した場合の画像データ （映像フレーム） を図 7に示す復号装置で復号し た場合の画像データ （映像フレーム） と、 入力画像をぼかして符号化する図 3に 示す動画像処理装置で符号化した画像データ （映像フレーム） を図 7に示す復号 装置で復号した場合の画像デ一夕 （映像フレーム） とを比較すると、 復号後の画 像デ一夕 （映像フレーム） の違いは、 予測残差の高周波信号の有無である。 The input image is not blurred as in the case of encoding using the normal MPEG-2 method. The image data (video frame) when encoded into the image data (video frame) when decoded by the decoding device shown in FIG. 7 and the moving image processing device shown in FIG. When the encoded image data (video frame) is compared with the image data (video frame) when decoded by the decoding device shown in Fig. 7, the difference between the decoded image data (video frame) is Whether there is a high-frequency signal of the prediction residual.
そのため、 本実施例では、 図 3に示す動画像処理装置で符号化した動画データ を、 図 7に示す復号装置で復号した場合に、 正しく画像デ一夕 （映像フレーム） 復号することはできない。 しかし、 高周波信号は人間の視覚特性上検知されにく いため、 その差 （符号化前の画像データ （映像フレーム） と復号後の画像データ (映像フレーム） との差） を視聴者に検知されにくくすることができる。  For this reason, in this embodiment, when the moving image data encoded by the moving image processing apparatus shown in FIG. 3 is decoded by the decoding apparatus shown in FIG. 7, it is not possible to correctly decode the image data (video frame). However, because high-frequency signals are difficult to detect due to human visual characteristics, the difference (difference between image data (video frame) before encoding and image data (video frame) before decoding) is difficult for the viewer to detect. can do.
また、 ぼかす処理を施した映像フレームには高周波信号が少ししか含まれない ため、 符号化が簡単になる。 したがって発生符号量を減少させることができる。 そして、 減少した符号量を、 ぼかす処理を施していない映像フレームに割り当て ることができるので、 ぼかす処理を施していない映像フレームの画質を向上させ ることができる。 従って、 本実施例によれば、 映像全体として主観画質を向上さ せることができる。  In addition, since the blurred video frame contains only a few high-frequency signals, encoding is simplified. Therefore, the generated code amount can be reduced. Since the reduced code amount can be assigned to the video frame that has not been subjected to the blurring process, the image quality of the video frame that has not been subjected to the blurring process can be improved. Therefore, according to the present embodiment, it is possible to improve the subjective image quality of the entire video.
次に、 本発明の第 4の実施例について、 図面を参照して説明する。 本発明の第 4の実施例における動画像処理装置は、 H. 261方式 （I TU— T (I n t e, r n a t i o n a 1 Te l e c o mm u n i c a t i on Un i on T e 1 e c o mm u n i c a t i on S t and ad i z a t i on S e c t o r) の H. 261勧告にもとづく方式） などのように、 ループ内フィル夕が採用 されている符号化方式において、 入力画像をループ内フィル夕と同じフィルタ特 性でフィルタリングして予測残差を小さくし、 発生符号量を少なくする。  Next, a fourth embodiment of the present invention will be described with reference to the drawings. The moving image processing apparatus according to the fourth embodiment of the present invention is an H. 261 system (I TU-T (Inte, rnationa 1 Teleco mm unicati on Un i on Te 1 eco mm unicati on St and ad izati). (Sector based on H. 261 recommendation)), the input image is filtered with the same filter characteristics as the in-loop filter, and the prediction residual is obtained. Reduce the difference and reduce the amount of generated code.
本実施例では、 映像フレームを H. 261方式で符号化する場合、 および H. 261方式で符号化された映像フレームを復号する場合を例に説明する。図 8は、 本発明による動画像処理装置の第 4の実施例を示すブロック図である。  In this embodiment, a case where a video frame is encoded by the H. 261 method and a case where a video frame encoded by the H. 261 method is decoded will be described as examples. FIG. 8 is a block diagram showing a fourth embodiment of the moving image processing apparatus according to the present invention.
図 8に示す動画像処理装置は、 ループ内フィル夕の種類を決定するループ内フ ィルタ決定装置 (ループ内フィルタ決定手段) 601と、 入力画像に対して、 符 号化ループ内に備えられているループ内フィル夕と等しいフィル夕を用いてフィ ル夕処理を施す入力画像フィル夕処理装置 （入力画像フィルタ処理手段） 6 0 2' と、 入力画像を符号化する画像符号化装置 （画像符号化手段） 6 0 3と、 符号化 される画像の予測参照フレームを生成する局所復号化装置 （局所復号手段） 6 0 4と、 予測参照フレームを格納 （記憶） するフレームメモリ （第 1の記憶手段） 6 0 5と、 予測参照フレームの高周波信号を除去するループ内フィルタ処理装置 (ループ内フィルタ処理手段） 6 0 6と、 予測参照フレームから動き補償予測の 予測画像を生成する予測画像生成装置 （予測画像生成手段） 6 0 7とを含む。 ル一プ内フィルタ決定装置 6 0 1は、 映像フレームにもとづいて、 各映像フレ —ムにぼかす処理 （フィルタ処理） を施すか否か、 および使用するループ内フィ ル夕の種類を決定する。 ループ内フィル夕決定装置 6 0 1は、 画像符号化装置 6 0 3の出力による発生符号量や、 画像データの複雑さなどを考慮してループ内フ ィル夕の種類を決定する。 The moving image processing apparatus shown in FIG. 8 has an in-loop filter determining device (in-loop filter determining means) 601 that determines the type of in-loop filter, and an input image. An input image fill processing device (input image filter processing means) 6 0 2 'for performing fill evening processing using a fill evening equal to the in-loop fill evening provided in the encoding loop, and encoding the input image Image encoding device (image encoding means) 6 0 3, local decoding device (local decoding means) 6 0 4 for generating a prediction reference frame of an image to be encoded, and storing a prediction reference frame (memory) Frame memory (first storage means) 6 0 5, intra-loop filter processing device (in-loop filter processing means) 6 0 6 for removing high-frequency signals of prediction reference frames, and prediction of motion compensated prediction from prediction reference frames A predicted image generating device (predicted image generating means) 6 0 7 for generating an image. The in-loop filter determination device 6 0 1 determines whether or not to apply a process (filter process) to each image frame based on the image frame and the type of in-loop filter to be used. The in-loop fill event determining device 60 1 determines the type of in-loop file event in consideration of the amount of generated code by the output of the image encoding device 60 3 and the complexity of the image data.
また、 ループ内フィル夕決定装置 6 0 1は、 使用するループ内フィル夕の種類 を示すフィルタ情報を、 画像符号化装置 6 0 3およびループ内フィルタ処理装置 6 0 6に出力する。  Further, the in-loop fill event determining device 60 1 outputs filter information indicating the type of the in-loop fill event to be used to the image encoding device 63 and the in-loop filter processing device 6 06.
入力画像フィル夕処理装置 6 0 2は、 映像フレームのうち、 ループ内フィルタ 決定装置 6 0 1がぼかす処理を施すと決定した映像フレームを、 ループ内フィル 夕決定装置 6 0 1が決定したループ内フィル夕でぼかして （ぼかす処理 （フィル 夕処理） を施して）、 画像符号化装置 6 0 3に出力する。  The input image fill processing device 6 0 2 selects a video frame determined to be blurred by the in-loop filter determination device 6 0 1 out of the video frames, in the loop determined by the in-loop filter determination device 6 0 1. The image is blurred (filled with blur processing (fill evening processing)) and output to the image encoding device 63.
また、 入力画像フィルタ処理装置 6 0 2は、 入力画像のうち、 ループ内フィル 夕決定装置 6 0 1がぼかす処理を施さないと決定した映像フレームを、 ぼかす処 理 （フィルタ処理） を施さないで画像符号化装置 6 0 3に出力する。  Also, the input image filter processing device 60 2 does not perform the processing (filter processing) of the input image that is determined not to be subjected to the processing to be blurred by the in-loop filter determination device 6 0 1. The image is output to the image encoding device 6 0 3.
画像符号化装置 6 0 3は、 入力画像フィルタ処理装置 6 0 2が出力した映像フ レームと、 ループ内フィルタ決定装置 6 0 1が出力したフィルタ情報とを符号化 して出力する。  The image encoding device 63 encodes and outputs the video frame output from the input image filter processing device 60 2 and the filter information output from the in-loop filter determination device 6 01.
局所復号化装置 6 0 4は、 後に符号化される映像フレームの動き補償予測のた めの予測参照フレームとして用いるために、 画像符号化装置 6 0 3が符号化した 映像フレームを復号する。 フレームメモリ 6 0 5は、 局所復号化装置 6 0 4が復 号した映像フレームを記憶する。 ' ループ内フィルタ装置 6 0 6.は、 フレームメモリ 6 0 5が記憶している映像フ レーム （予測参照フレーム） にぼかす処理を施す。 なお、 ループ内フィルタ装置 6 0 6は、 ループ内フィルタ決定装置 6 0 1が出力したフィルタ情報にもとづい て、 入力画像フィルタ処理装置 6 0 2と同様なフィルタを用いて予測参照フレー ムにぼかす処理 （フィルタ処理） を施す。 The local decoding device 6 0 4 is encoded by the image encoding device 6 0 3 for use as a prediction reference frame for motion compensation prediction of a video frame to be encoded later. Decode the video frame. The frame memory 60 5 stores the video frame decoded by the local decoding device 60 4. 'The in-loop filter device 6 0 6. performs processing to blur the video frame (predicted reference frame) stored in the frame memory 6 0 5. Note that the in-loop filter device 60 6 uses the same filter as the input image filter processing device 60 2 based on the filter information output from the in-loop filter determination device 6 0 1 to blur the predicted reference frame. Apply (filter processing).
予測画像生成装置 6 0 7は、 ぼかす処理 （フィル夕処理） が施された予測参照 フレームを用いて、 予測画像を生成する。 入力画像フィルタ処理装置 6 0 2が出 力した映像フレームから、 予測画像生成装置 6 0 7が生成した予測画像が減算さ れる。 また、 予測画像生成装置 6 0 7が生成した予測画像は、 局所復号化装置 6 0 4が復号した映像フレームに加算処理されてフレームメモリ 6 0 5に記憶され る。 フィルタ処理を施すために、 例えば、 低域通過フィル夕が用いられる。  The predicted image generation device 60 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (fill evening process). The predicted image generated by the predicted image generation device 6 07 is subtracted from the video frame output from the input image filter processing device 60 2. Further, the predicted image generated by the predicted image generation device 6 07 is added to the video frame decoded by the local decoding device 6 04 and stored in the frame memory 6 05. For example, a low-pass filter is used for filtering.
次に、 第 4の実施例の動画像処理装置の動作について、 図面を参照して説明す る。 図 9は、 第 4の実施例の動画像処理装置の動作を模式的に示すフローチヤ一 トである。  Next, the operation of the moving image processing apparatus of the fourth embodiment will be described with reference to the drawings. FIG. 9 is a flowchart schematically showing the operation of the moving image processing apparatus of the fourth embodiment.
ループ内フィルタ決定装置 6 0 1は、 画像デ一夕 （映像フレーム） が入力され た場合に、 各映像フレームにぼかす処理 （フィルタ処理） を施すか否か、 および 使用するループ内フィルタの種類を決定する （ステップ S 3 0 1、 S 3 0 2 )。 入力画像フィルタ処理装置 6 0 2は、 映像フレームのうち、 ループ内フィル夕 決定装置 6 0 1がぼかす処理を施すと決定した映像フレームを、 ループ内フィル 夕決定装置 6 0 1が決定したループ内フィル夕でぼかす。 すなわち、 ぼかす処理 (フィルタ処理） が施される。 そして、 入力画像フィルタ処理装置 6 0 2は、 ぼ かし処理が施された映像フレームを画像符号化装置 6 0 3に出力する （ステップ S 3 0 3 )。  The in-loop filter determination device 6 0 1 determines whether or not to apply a blurring process (filter process) to each video frame when an image data (video frame) is input, and the type of in-loop filter to be used. Determine (Steps S 3 0 1, S 3 0 2). The input image filter processing device 60 2 selects a video frame that is determined to be blurred by the in-loop filter setting device 6 0 1 from the video frames. Blur in Phil evening. In other words, blur processing (filter processing) is performed. Then, the input image filter processing device 60 2 outputs the video frame subjected to the blurring process to the image coding device 60 3 (step S 3 0 3).
画像符号化装置 6 0 3は、 入力画像フィルタ処理装置 6 0 2が出力した映像フ レームを符号化して、 最初のフレームに関するデータとして出力する （ステップ S 3 0 4 )。 画像符号化装置 6 0 3が出力した映像フレームは後に符号化される映像フレー ムの予測参照フレームとして用いられるので、 局所復号化装置 6 0 4は、 画像符 号化装置 6 0 3が出力した映像フレームを復号する （ステップ S 3 0 5 )。ループ 内フィル夕装置 6 0 6は、フレームメモリ 6 0 5が記憶している映像フレーム（予 測参照フレーム） にぼかす処理 （フィルタ処理） を施す （ステップ S 3 0 6 )。 予測画像生成装置 6 0 7は、 ぼかす処理 （フィルタ処理） が施された予測参照 フレームを用いて、 予測画像を生成する （ステップ S 3 0 7 )。予測画像生成装置 6 0 7が生成した予測画像は、 減算器にて入力画像フィルタ処理装置 6 0 2が出 力した映像フレームから減算される （ステップ S 3 0 8 )。 The image encoding device 6 03 encodes the video frame output by the input image filter processing device 6 02 and outputs it as data relating to the first frame (step S 3 0 4). Since the video frame output from the image encoding device 6 03 is used as a prediction reference frame of a video frame to be encoded later, the local decoding device 6 0 4 outputs the video frame output from the image encoding device 6 0 3. The video frame is decoded (step S 3 0 5). The in-loop fill device 6 06 applies a process (filter process) to blur the video frame (predictive reference frame) stored in the frame memory 6 05 (step S 3 06). The predicted image generation device 6 07 generates a predicted image using the predicted reference frame that has been subjected to the blurring process (filter process) (step S 3 07). The predicted image generated by the predicted image generation device 6 07 is subtracted from the video frame output from the input image filter processing device 60 2 by a subtracter (step S 3 0 8).
画像符号化装置 6 0 3は、 減算器の出力を符号化して、 符号化された映像フレ 一ムのデ一夕を出力する （ステップ S 3 0 9、 S 3 1 0 )。  The image encoding device 60 3 encodes the output of the subtracter and outputs the encoded image frame (steps S 3 09 and S 3 1 0).
次に、 符号化された動画像の復号について説明する。 第 4の実施例では、 図 1 0に示す復号装置で復号が行われる。  Next, decoding of the encoded moving image will be described. In the fourth embodiment, decoding is performed by the decoding device shown in FIG.
図 1 0に示す復号装置は、 符号化された動画像を復号する画像復号化装置 （復 号手段） 7 0 1と、 復号された映像フレームを予測参照フレームとして使用する ために格納 （記憶） しておくフレームメモリ （第 2の記憶手段） 7 0 2と、 予測 参照フレームの高周波信号を除去するループ内フィルタ処理装置 （第 2のループ 内フィルタ処理手段） 7 0 3と、 予測参照フレームから動き補償予測の予測画像 > を生成する予測画像生成装置 （第 2の予測画像生成手段） 7 0 4とを含む。  The decoding apparatus shown in FIG. 10 stores an image decoding apparatus (decoding means) 7 0 1 for decoding an encoded moving image and a decoded video frame for use as a prediction reference frame (memory). A frame memory (second storage means) 7 0 2, an in-loop filter processing device (second in-loop filter processing means) 7 0 3 for removing high-frequency signals from the prediction reference frame, and a prediction reference frame And a predicted image generation device (second predicted image generation means) 7 0 4 for generating a predicted image of motion compensation prediction.
なお、 動画像処理装置が、 図 1 0に例示したような復号装置の機能を含んでい てもよい。  Note that the moving image processing apparatus may include the function of the decoding apparatus illustrated in FIG.
画像復号化装置 7 0 1は、 符号化された映像フレームとフィルタ情報とを復号 する。 画像復号化装置 7 0 1は、 復号したフィル夕情報を、 ループ内フィルタ処 理装置 7 0 3に出力する。 フレームメモリ 7 0 2は、 画像復号化装置 7 0 1が復 号した映像フレームを、 予測参照フレームとして用いるために記憶する。 ループ 内フィルタ装置 7 0 3は、 画像復号化装置 7 0 1が出力したフィルタ情報にもと づいて、 フレームメモリ 7 0 2が記憶している予測参照フレームに、 ぼかす処理 (フィルタ処理） を施す。 予測画像生成装置 7 0 4は、 フィル夕処理が施された予測参照フレームを用い て、 予測画像を生成する。 予測画像生成装置 7 0 4が生成した予測画像は、 画像 復号化装置 7 0 1が復号した映像フレームに加算されて出力される。 The image decoding device 7 0 1 decodes the encoded video frame and filter information. The image decoding device 70 1 outputs the decoded fill information to the in-loop filter processing device 70 3. The frame memory 70 2 stores the video frame decoded by the image decoding device 70 1 for use as a prediction reference frame. The in-loop filter device 70 3 performs a blurring process (filter processing) on the prediction reference frame stored in the frame memory 70 2 based on the filter information output from the image decoding device 70 1. . The predicted image generation device 70 4 generates a predicted image using the predicted reference frame subjected to the fill-up process. The predicted image generated by the predicted image generation device 70 4 is added to the video frame decoded by the image decoding device 70 1 and output.
次に、 復号装置の動作について、 図面を参照して説明する。 図 1 1は、 第 4の 実施例の復号装置の動作を模式的に示すフローチャートである。  Next, the operation of the decoding device will be described with reference to the drawings. FIG. 11 is a flowchart schematically showing the operation of the decoding apparatus according to the fourth embodiment.
画像復号化装置 7 0 1は、 符号化された映像フレームを復号する （ステップ S 4 0 1 )。  The image decoding device 7 0 1 decodes the encoded video frame (step S 4 0 1).
ループ内フィルタ装置 7 0 3は、 予測参照フレームに、 符号化時と同じ処理お よび同じ強度でぼかす処理 （フィル夕処理） を施す （ステップ S 4 0 2 )。 予測画 像生成装置 7 0 4は、ループ内フィルタ装置 7 0 3がぼかす処理（フィルタ処理） を施した予測参照フレームを用いて、 予測画像を生成する （ステップ S 4 0 3 )。 予測画像生成装置 7 0 4が生成した予測画像は、 加算器で、 画像復号化装置 7 0 1が復号した映像フレームに加算処理され、 加算器から加算結果が出力される (ステップ S 4 0 4、 S 4 0 5 )。  The in-loop filter device 70 3 performs the same process and the process of blurring with the same intensity (fill process) on the prediction reference frame (step S 4 0 2). The predicted image generation device 70 4 generates a predicted image using the predicted reference frame that has been subjected to the processing (filter processing) blurred by the in-loop filter device 70 3 (step S 4 0 3). The predicted image generated by the predicted image generation device 70 4 is added to the video frame decoded by the image decoding device 7 0 1 by an adder, and the addition result is output from the adder (step S 4 0 4 , S 4 0 5).
なお、 動画像処理装置が含む各装置の動作は、 プログラム制御にしたがって処 理を実行する C P Uに行わせてもよい。 具体的には、 動画像処理装置が、 コンビ ユー夕に、 映像フレームごとに、 フィルタ処理を行うか否かを決定し、 フィルタ 処理を行うと決定した場合に、 フィルタ処理を行うループ内フィルタ特性を決定 , するループ内フィルタ決定処理と、 入力された映像フレームに、 ループ内フィル 夕決定処理で決定した特性のフィル夕でフィル夕処理を行う入力画像フィルタリ ング実行処理と、 フィル夕処理された映像フレームを符号化する画像符号化処理 と、 画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生 成する局所復号処理と、 ループ内フィル夕決定処理で決定した特性のフィルタで 予測参照フレームにフィルタ処理を行うル一プ内フィルタリング実行処理と、 ル ープ内フィルタリング実行処理でフィル夕処理を行った予測参照フレームから予 測画像を生成する予測画像生成処理とを実行させ、 入力画像フィルタリング実行 処理、 およびループ内フィルタリング実行処理で、 同様の特性のフィルタでフィ ルタ処理を実行させ、 画像符号化処理で、 入力画像フィルタリング実行処理が出 P T/JP2007/052547 The operation of each device included in the moving image processing device may be performed by a CPU that executes processing according to program control. Specifically, when the moving image processing apparatus decides whether or not to perform the filtering process for each video frame in the combination evening, and decides to perform the filtering process, the in-loop filter characteristic for performing the filtering process is determined. In-loop filter determination processing, and input image filtering execution processing for performing fill-up processing on the input video frame in accordance with the characteristics of the filter determined in the loop-in-loop filtering processing, and fill-up processing. The image encoding process that encodes the video frame, the local decoding process that generates the prediction reference frame obtained by decoding the video frame encoded by the image encoding process, and the filter having the characteristics determined by the in-loop filter determination process. The filter processing is performed by the intra-loop filtering execution processing that filters the prediction reference frame and the intra-loop filtering execution processing. A predicted image generation process for generating a predicted image from the predicted reference frame that has been processed, and a filter process with a filter having the same characteristics in the input image filtering execution process and the in-loop filtering execution process. In the image encoding process, the input image filtering execution process is output. PT / JP2007 / 052547
力した映像フレームと、 予測画像生成処理で生成した予測画像との減算処理の結 果を符号化させることを特徴とする動画像処理プログラムを搭載する。 前記動画 像処理プログラムは C P Uに実行させてもよい。 A moving picture processing program is installed, which encodes the result of the subtraction process between the input video frame and the predicted picture generated by the predicted picture generation process. The moving image processing program may be executed by CPU.
本実施例によれば、 予測参照フレームに対してフィルタ処理を施したループ内 フィル夕と同じ特性のフィルタを用いて、 フィル夕処理を入力画像に施すので、 予測参照フレームおよび入力画像から高周波信号が同程度除去され、 予測残差を 小さくすることができる。 そのため、 符号化に必要な符号量を削減することがで さる。  According to this embodiment, since the filter processing is performed on the input image using the filter having the same characteristics as the filter processing in the loop in which the filter processing is performed on the prediction reference frame, the high frequency signal is generated from the prediction reference frame and the input image. Are removed to the same extent, and the prediction residual can be reduced. Therefore, the amount of code required for encoding can be reduced.
また、 本実施例における復号装置は、 H. 2 6 1方式などの符号化方式の復号 装置と同様な構成であるので、 画像符号化を行う部分のみを変更して本実施例を 実現することができる。  In addition, since the decoding apparatus in the present embodiment has the same configuration as that of an encoding scheme such as the H. 26 1 scheme, only the portion that performs image coding is changed to realize the present embodiment. Can do.
図 1 2は、 第 1の実施例の動画像処理装置がコンピュータシステムで実現され る場合の構成例を示すブロック図である。  FIG. 12 is a block diagram showing a configuration example when the moving image processing apparatus of the first embodiment is realized by a computer system.
図 1 2に示す構成例では、 コンピュータシステムは、 プロセッサ 8 0 1を有す る。 プロセッサ 8 0 1には、 入力デ一夕バッファ 8 1 1および出力データバッフ ァ 8 1 2と、 必要なプログラムを格納したプログラムメモリ 8 0 2が接続されて いる。.  In the configuration example shown in FIG. 12, the computer system has a processor 8 0 1. The processor 8 0 1 is connected to an input / output buffer 8 1 1 and an output data buffer 8 1 2 and a program memory 8 0 2 storing a necessary program. .
プログラムメモリ 8 0 2に格納されるプログラムモジュールとして、 メインプ、 ログラムの他に、 ぼかし強度決定処理 8 1 3および画像ぼかし処理 8 1 4が含ま れている。 メインプログラムは、 動画像処理を実行する主プログラムである。 ぼ かし強度決定処理プログラム 8 1 3は、 ぼかし強度決定装置 2 0 1の機能を実現 するためのプログラムである。 画像ぼかし処理プログラム 8 1 4は、 画像ぼかし 装置 2 0 2の機能を実現するためのプログラムである。 メインプログラムおよび 各機能モジュールをプロセッサ 8 0 1が実行することによって、 第 1の実施例の 動画像処理装置における動画像処理が実行される。  Program modules stored in the program memory 8 0 2 include a blur intensity determination process 8 1 3 and an image blur process 8 1 4 in addition to the main program and program. The main program is a main program that executes moving image processing. The blur intensity determination processing program 8 13 is a program for realizing the function of the blur intensity determination apparatus 2 0 1. The image blur processing program 8 1 4 is a program for realizing the function of the image blurring device 2 0 2. When the processor 80 1 executes the main program and each functional module, the moving image processing in the moving image processing apparatus of the first embodiment is executed.
上記した第 2から第 4の実施例の動画像処理装置も、 同様に各プロックの機能 を実現するプログラムモジュールをコンピュータシステムに実装することによつ て実現される。 次に、 本発明による動画像処理装置のより具体的な実施例について説明する。 ここでは、 S D TV ( S t a n d a r d D e f i n i t i o n T e 1 e v i s i o n ) サイズ （水平方向： 7 2 0画素、 垂直方向： 4 8 0画素、 1秒あた り 2 9 . 9 7フレーム） の動画像を、 図 3に示す動画像処理装置に入力して、 M P E G符号化方式で符号化する場合を例にする。 The moving image processing apparatuses according to the second to fourth embodiments described above are also realized by mounting program modules for realizing the functions of the blocks in the computer system. Next, a more specific embodiment of the moving image processing apparatus according to the present invention will be described. Here, a video of SD TV (Standard Definition T e 1 evision) size (horizontal direction: 7 20 pixels, vertical direction: 4 80 pixels, 29.9 7 frames per second) As an example, the video is input to the moving image processing apparatus shown in FIG. 3 and is encoded by the MPEG encoding method.
画像符号化装置 3 0 3は、 映像フレームを、 1つの映像フレームを独立に符号 化するフレーム （Iピクチャ）、過去の映像フレームから予測を行い予測誤差を符 号化するフレーム（Pピクチャ）、および過去と未来の映像フレームから予測をお こない予測誤差を符号化するフレーム （Bピクチャ） の 3種類のピクチャのいず れかに符号化する。  The image encoding device 3 0 3 is a frame (I picture) that independently encodes one video frame, a frame (P picture) that predicts from a past video frame and encodes a prediction error, Also, it encodes to one of three types of pictures: a frame (B picture) that encodes the prediction error that does not predict from past and future video frames.
ここでは、 入力された動画像のうち Bピクチャとして符号化される映像フレー ムのみ画像ぼかし装置 3 0 2でぼかし処理が施される、 Iおよび Pピクチャとし て符号化される映像フレームはぼかし処理が施されることなくそのまま符号化さ れる場合を例にする。 ぼかし処理を施すか否かの決定は、 ぼかし強度決定装置 3 0 1にて行われる。  Here, only the video frames encoded as B pictures out of the input moving images are subjected to the blurring process by the image blurring device 300, and the video frames encoded as I and P pictures are blurred. As an example, the data is encoded as is without being applied. Whether or not to perform the blurring process is determined by the blur intensity determining apparatus 3 0 1.
このようにピクチャの種類に応じて異なるぼかし処理が施された入力画像は、 画像符号化装置 3 0 3にて符号化される。 画像符号化装置 3 0 3は、 離散コサイ ン変換、 量子化、 可変長符号化を用いた M P E G方式と同様の方法の符号化に加、 え、 入力画像をどのようにぼかしたかの情報もあわせて符号化する。 符号化され た映像フレームは、 局所復号化装置 3 0 4で復号化され、 予測参照フレームとし て使用するために、 フレームメモリ 3 0 5に格納される。 符号化されている映像 フレームが Bピクチャの場合は、 予測参照フレームぼかし装置 3 0 6は、 フレー ムメモリ 3 0 5に格納された予測参照フレームにぼかし処理を施す。 このとき、 画像ぼかし装置 3 0 2が入力画像をぼかした方法と同様の方法で予測参照フレー ムをぼかす。  Thus, the input image that has been subjected to different blurring processing depending on the type of picture is encoded by the image encoding device 303. In addition to encoding in the same way as the MPEG method using discrete cosign transformation, quantization, and variable-length coding, the image encoding device 30 3 also includes information on how the input image was blurred. Encode. The encoded video frame is decoded by the local decoding device 30 4 and stored in the frame memory 3 0 5 for use as a prediction reference frame. When the encoded video frame is a B picture, the prediction reference frame blurring device 3 06 performs a blurring process on the prediction reference frame stored in the frame memory 3 0 5. At this time, the prediction reference frame is blurred by a method similar to the method in which the image blurring device 3002 blurs the input image.
予測画像生成装置 3 0 7は、 ぼかした予測参照フレームを用いて予測画像を生 成する。 そして、 入力画像と予測画像との差分がとられ、 差分が符号化される。 符号化されている映像フレームが Pピクチャの場合は、 予測参照フレームぼかし 装置 3 0 6は、 ぼかし処理を行わず、 予測画像生成装置 3 0 7で予測画像が生成 され、 入力画像との差分がとられ差分が符号化される。 ' 符号化された動画像データを復号する際に、 図 4に示された画像復号化装置 4 0 1によって、 映像フレームが復元される。 その際に、 符号化時に映像フレーム がどのようにぼかされたかの情報も復号される。 復号された映像フレームは、 予 測参照フレームとして用いるためにフレームメモリ 4 0 2に格納される。 The predicted image generation device 30 generates a predicted image using the blurred predicted reference frame. Then, the difference between the input image and the predicted image is taken and the difference is encoded. Predictive reference frame blur if the encoded video frame is a P picture The device 30 06 does not perform the blurring process, the predicted image is generated by the predicted image generation device 30 07, the difference from the input image is taken, and the difference is encoded. 'When decoding the encoded moving image data, the video frame is restored by the image decoding device 4 0 1 shown in FIG. At that time, information on how the video frame was blurred at the time of encoding is also decoded. The decoded video frame is stored in the frame memory 402 for use as a prediction reference frame.
復号されているフレームが Bピクチャの場合には、 フレームメモリ 4 0 2に格 納された予測参照フレームは、 予測参照フレームぼかし装置 4 0 3において符号 化時と同じ方法でぼかされる。 予測画像生成装置 4 0 4は、 ぼかされた予測参照 フレームから予測画像を生成する。 そして、 画像復号化装置 4 0 1の復号結果で ある予測残差と予測画像と加算され復号が完了する。 復号しているフレームが P ピクチャの場合は、 予測参照フレームぼかし装置 4 0 3は、 予測参照フレームを ぼかさない。 予測画像生成装置 4 0 4は、 予測画像を生成し、 復号された予測残 差と予測画像と加算されて復号が完了する。  When the decoded frame is a B picture, the prediction reference frame stored in the frame memory 4 0 2 is blurred by the prediction reference frame blurring device 4 0 3 in the same manner as when encoding. The predicted image generation device 40 4 generates a predicted image from the blurred prediction reference frame. Then, the prediction residual which is the decoding result of the image decoding device 4101 and the prediction image are added, and the decoding is completed. When the frame being decoded is a P picture, the prediction reference frame blurring device 4 0 3 does not blur the prediction reference frame. The predicted image generation device 40 4 generates a predicted image, adds the decoded prediction residual and the predicted image, and completes decoding.
産業上の利用可能性：  Industrial applicability:
本発明は、 D VDへの長時間記録や、 狭い通信ネットワーク帯域での映像配信 を実現するために、 低ビットレートでの符号化を実現する動画像処理装置に適用 することができる。  INDUSTRIAL APPLICABILITY The present invention can be applied to a moving image processing apparatus that realizes encoding at a low bit rate in order to realize long-time recording to DVD and video distribution in a narrow communication network band.

Claims

1 . 連続する映像フレームからなる動画像を処理する動画像処理装置におい て、 1. In a video processing device that processes video consisting of consecutive video frames,
映像フレームをぼかす強度を決定するぼかし強度決定手段と、  Blur intensity determining means for determining the intensity of blurring the video frame;
青  Blue
前記ぼかし強度決定手段の決定に従って、 映像フレームの高周波信号を除去す ることによつて画像をぼかす画像ぼかし手段を備え、  In accordance with the determination of the blur intensity determination means, the image blur means for blurring the image by removing the high-frequency signal of the video frame,
前記ぼかし強度決定手段は、 映像フレームが所定数連続するとぼかす強度を変 化させる  The blur intensity determining means changes the intensity of blurring when a predetermined number of video frames continue.
囲  Surrounding
ことを特徴とする動画像処理装置。  A moving image processing apparatus.
2 . ぼかし強度決定手段は、 周期的にぼかす強度を変化させる  2. The blur intensity determination means changes the intensity of blurring periodically.
ことを特徴とする請求項 1記載の動画像処理装置。  The moving image processing apparatus according to claim 1, wherein:
3 . ぼかし強度決定手段は、 1フレームおきにぼかす強度を変化させる ことを特徴とする請求項 1または請求項 2記載の動画像処理装置。  3. The moving image processing apparatus according to claim 1 or 2, wherein the blur intensity determining means changes the intensity to be blurred every other frame.
4 . ぼかし強度決定手段は、 映像フレーム間の画素値変化に応じてぼかす強 度を決定する  4. The blur intensity determining means determines the intensity to blur according to the change in pixel value between video frames.
ことを特徴とする請求項 1から請求項 3のうちいずれか 1項記載の動画像処理, 装置。  The moving image processing apparatus according to any one of claims 1 to 3, wherein the apparatus is a moving image processing apparatus.
5 . 画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を 備え、  5. It comprises image encoding means for encoding the video frame output by the image blurring means,
ぼかし強度決定手段は、 前記画像符号化手段が映像フレームを符号化する際の 符号化方法に応じてぼかす強度を決定する  The blur intensity determining means determines the intensity to be blurred according to the encoding method when the image encoding means encodes the video frame.
ことを特徴とする請求項 3記載の動画像処理装置。  The moving image processing apparatus according to claim 3.
6 . 画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を 備え、  6. It comprises image encoding means for encoding the video frame output by the image blurring means,
ぼかし強度決定手段は、 前記画像符号化手段が映像フレームを符号化する際の 符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する ことを特徴とする請求項 3記載の動画像処理装置。 The blur intensity determining means determines an intensity to be blurred according to an encoding method when the image encoding means encodes a video frame and a pixel value change between the video frames. The moving image processing apparatus according to claim 3.
7 . 画像符号化手段が符号化した映像フレームを復号して予測参照フレーム' を生成する局所復号手段と、 .  7. local decoding means for decoding the video frame encoded by the image encoding means to generate a predicted reference frame ';
前記予測参照フレームを記憶する第 1の記憶手段と、 .  First storage means for storing the prediction reference frame; and
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかし手段と、 前記予測参照フレームぼかし手段が高周波信号を除去した予測参照フレームか ら、 動き補償予測の予測画像を生成する予測画像生成手段を備え、  A prediction reference frame blurring unit that removes a high-frequency signal of the prediction reference frame; and a prediction image generation unit that generates a prediction image of motion compensated prediction from the prediction reference frame from which the prediction reference frame blurring unit has removed the high-frequency signal. ,
前記予測参照フレームぼかし手段は、 ぼかし強度決定手段が映像フレームから 除去すると決定された高周波信号を前記予測参照フレームから除去し、  The prediction reference frame blurring unit removes the high frequency signal determined to be removed from the video frame by the blur intensity determination unit from the prediction reference frame;
前記画像符号化手段は、 画像ぼかし手段が出力した映像フレームと、 前記予測 画像生成手段が生成した予測画像との減算処理の結果を符号化する  The image encoding means encodes the result of the subtraction process between the video frame output from the image blurring means and the predicted image generated by the predicted image generating means.
ことを特徴とする請求項 5または請求項 6記載の動画像処理装置。  7. The moving image processing apparatus according to claim 5 or claim 6, wherein
8 . 画像符号化手段が符号化した映像フレームを復号する復号手段と、 前記復号手段が復号した映像フレームを記憶する第 2の記憶手段と、  8. Decoding means for decoding the video frame encoded by the image encoding means, second storage means for storing the video frame decoded by the decoding means,
前記第 2の記憶手段が記憶している映像フレームから、 動き補償予測の予測画 像を生成する第 2の予測画像生成手段と、  Second predicted image generation means for generating a predicted image of motion compensation prediction from the video frame stored in the second storage means;
前記復号手段が復号した映像フレームと、 前記第 2の予測画像生成手段が生成 した予測画像とを加算して出力する加算手段とを備えた ' ， ことを特徴とする請求項 7記載の動画像処理装置。  The moving image according to claim 7, further comprising: an adding unit that adds and outputs the video frame decoded by the decoding unit and the predicted image generated by the second predicted image generating unit. Processing equipment.
9 . 画像符号化手段が符号化した映像フレームを復号する復号手段と、 前記復号手段が復号した映像フレームを記憶する第 2の記憶手段と、  9. Decoding means for decoding the video frame encoded by the image encoding means, second storage means for storing the video frame decoded by the decoding means,
前記第 2の記憶手段が記憶している映像フレームから、 ぼかし強度決定手段が 除去すると決定した高周波信号を除去する第 2の予測参照フレームぼかし手段と、 前記第 2の予測参照フレームぼかし手段が高周波信号を除去した映像フレーム から、 動き補償予測の予測画像を生成する第 2の予測画像生成手段と、  A second prediction reference frame blurring unit that removes a high-frequency signal determined to be removed by the blur intensity determination unit from the video frame stored in the second storage unit; and Second predictive image generating means for generating a predictive image of motion compensation prediction from the video frame from which the signal is removed;
前記復号手段が復号した映像フレームと、 前記第 2の予測画像生成手段が生成 した予測画像とを加算して出力する加算手段とを備えた  An adder for adding and outputting the video frame decoded by the decoding unit and the predicted image generated by the second predicted image generating unit;
ことを特徴とする請求項 7記載の動画像処理装置。 8. The moving image processing apparatus according to claim 7, wherein
1 0 . 連続する映像フレームからなる動画像を処理する動画像処理装置にお いて、 1 0. In a moving image processing apparatus for processing a moving image composed of continuous video frames,
前記映像フレームごとに、 フィル夕処理を行うか否かを決定し、 前記フィルタ 処理を行うと決定した場合に、 前記フィルタ処理を行うループ内フィルタ特性を 決定するループ内フィル夕決定手段と、  For each video frame, it is determined whether or not to perform a fill process, and when it is determined that the filter process is performed, an in-loop fill process determining unit that determines a filter characteristic in the loop that performs the filter process;
入力された映像フレームに、 ループ内フィルタ決定手段が決定した特性のフィ ル夕でフィル夕処理を行う入力画像フィル夕処理手段と、  An input image fill processing means for performing a fill evening process on the input video frame with a filter having characteristics determined by the in-loop filter determining means;
フィルタ処理された映像フレームを符号化する画像符号化手段と、  Image encoding means for encoding the filtered video frame;
前記画像符号化手段が符号化した映像フレームを復号した予測参照フレームを 生成する局所復号手段と、  Local decoding means for generating a prediction reference frame obtained by decoding the video frame encoded by the image encoding means;
前記予測参照フレームを記憶する第 1の記憶手段と、  First storage means for storing the predicted reference frame;
ループ内フィルタ決定手段が決定した特性のフィル夕で前記予測参照フレーム にフィル夕処理を行うループ内フィル夕処理手段と、  In-loop fill processing means for performing fill processing on the prediction reference frame with the fill of the characteristic determined by the in-loop filter determining means;
前記ループ内フィル夕処理手段がフィルタ処理を行つた予測参照フレームから 予測画像を生成する予測画像生成手段を備え、  A prediction image generating means for generating a prediction image from the prediction reference frame subjected to the filtering process by the in-loop fill processing means;
前記入力画像フィルタ処理手段及び前記ループ内フィルタ処理手段は、 上記同 様の特性のフィルタでフィルタ処理を行い、  The input image filter processing means and the in-loop filter processing means perform filter processing with a filter having the same characteristics as described above,
前記画像符号化手段は、 前記入力画像フィルタ処理手段が出力した映像フレー ムと、 前記予測画像生成手段が生成した予測画像との減算処理の結果を符号化す る  The image encoding unit encodes a result of a subtraction process between the video frame output from the input image filter processing unit and the predicted image generated by the predicted image generation unit.
ことを特徴とする動画像処理装置。  A moving image processing apparatus.
1 1 . 符号化された映像フレームを復号する復号手段と、  1 1. Decoding means for decoding the encoded video frame;
前記復号手段が復号した映像フレームを記憶する第 2の記憶手段と、 前記第 2の記憶手段が記憶している映像フレームに、 ループ内フィルタ決定手 段が決定した特性のフィルタでフィルタ処理を行う第 2のループ内フィルタ処理 手段と、  The second storage means for storing the video frame decoded by the decoding means; and the video frame stored in the second storage means is subjected to filter processing with a filter having the characteristics determined by the in-loop filter determination means A second in-loop filtering means;
前記第 2のループ内フィルタ処理手段がフィル夕処理を行つた映像フレームか ら、 動き補償予測の予測画像を生成する第 2の予測画像生成手段と、 前記復号手段が復号した映像フレームと、 前記第 2の予測画像生成手段が生成 した予測画像とを加算して出力する加算手段とを備えた Second predictive image generating means for generating a predictive image for motion compensation prediction from the video frame in which the second in-loop filter processing means has performed the fill process; An adder for adding and outputting the video frame decoded by the decoding unit and the predicted image generated by the second predicted image generating unit;
ことを特徴とする請求項 1 0.記載の動画像処理装置。  The moving image processing apparatus according to claim 10, wherein:
1 2 . 連続する映像フレームからなる動画像を処理する動画像処理方法にお いて、  1 2. In a moving image processing method for processing a moving image composed of continuous video frames,
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、  A blur intensity determination step for determining the intensity of blurring the video frame;
前記ぼかし強度決定ステップにおける決定に従つて、 映像フレームの高周波信 号を除去することによつて画像をぼかす画像ぼかしステップを備え、  In accordance with the determination in the blur intensity determination step, the image blur step of blurring the image by removing the high frequency signal of the video frame,
前記ぼかし強度決定ステップは、 映像フレームが所定数連続するとぼかす強度 を変化させるステップを有する  The blur intensity determining step includes a step of changing a blur intensity when a predetermined number of video frames continue.
ことを特徴とする動画像処理方法。  And a moving image processing method.
1 3 . 前記ぼかし強度決定ステップは、 周期的にぼかす強度を変化させるス テツプを有する  1 3. The blur intensity determining step includes a step of periodically changing the intensity of blurring.
ことを特徴とする請求項 1 2記載の動画像処理方法。  The moving image processing method according to claim 12, wherein:
1 4. 前記ぼかし強度決定ステップは、 1フレームおきにぼかす強度を変化 させるステップを有する  1 4. The blur intensity determining step includes a step of changing the intensity to be blurred every other frame.
ことを特徴とする請求項 1 2または請求項 1 3記載の動画像処理方法。  The moving image processing method according to claim 12 or claim 13 characterized by that.
1 5 . 前記ぼかし強度決定ステップは、 映像フレーム間の画素値変化に応じ, てぼかす強度を決定するステツプを有する  15. The blur intensity determining step includes a step of determining the intensity to be blurred according to a change in pixel value between video frames.
ことを特徴とする請求項 1 4記載の動画像処理方法。  The moving image processing method according to claim 14, wherein:
1 6 . 前記画像.ぼかしステップで出力した映像フレームを符号化する画像符 号化ステップを備え、 '  1 6. The image includes an image encoding step for encoding the video frame output in the blur step, and
ぼかし強度決定ステップは、 前記画像符号化ステップにおいて映像フレームを 符号化する際の符号化方法に応じてぼかす強度を決定するステップを有する ことを特徴とする請求項 1 4記載の動画像処理方法。 。  15. The moving image processing method according to claim 14, wherein the blur intensity determining step includes a step of determining an intensity to be blurred in accordance with an encoding method when encoding a video frame in the image encoding step. .
1 7 . 前記画像ぼかしステップで出力した映像フレームを符号化する画像符 号化ステップを備え、  1 7. An image encoding step for encoding the video frame output in the image blurring step is provided,
ぼかし強度決定ステップは、 画像符号化ステップにおいて映像フレームを符号 化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決 定するステップを有する The blur intensity determination step encodes the video frame in the image encoding step. Determining the intensity to be blurred according to the encoding method and the change in pixel value between video frames.
ことを特徴とする請求項 1 4記載の動画像処理方法。  The moving image processing method according to claim 14, wherein:
1 8 . 前記画像符号化ステップで符号化した映像フレームを復号して予測参 照フレームを生成する局所復号ステップと、  1 8. a local decoding step of decoding the video frame encoded in the image encoding step to generate a prediction reference frame;
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかしステツ プと、  A prediction reference frame blurring step for removing high frequency signals of the prediction reference frame;
前記予測参照フレームぼかしステツプで高周波信号を除去した予測参照フレー ムから、 動き補償予測の予測画像を生成する予測画像生成ステップを備え、 前記予測参照フレームぼかしステツプは、  A prediction image generation step of generating a prediction image of motion compensated prediction from a prediction reference frame from which a high-frequency signal has been removed in the prediction reference frame blur step;
ぼかし強度決定ステツプで映像フレームから除去すると決定した高周波信号を 前記予測参照フレームから除去するステップと、  Removing the high-frequency signal determined to be removed from the video frame in the blur intensity determining step from the predicted reference frame;
前記画像符号化ステップにおいて、 画像ぼかしステップで出力した映像フレー ムと、 前記予測画像生成ステップで生成した予測画像との減算処理の結果を符号 化するステップを有する  The image encoding step includes a step of encoding a result of a subtraction process between the video frame output in the image blurring step and the predicted image generated in the predicted image generation step.
ことを特徴とする請求項 1 6または請求項 1 7記載の動画像処理方法。  The moving image processing method according to claim 16 or claim 17, wherein:
1 9 . 画像符号化ステップで符号化した映像フレームを復号する復号ステツ プと、 , 前記復号ステップで復号した映像フレームから、 動き補償予測の予測画像を生 成する第 2の予測画像生成ステツプと、  19. A decoding step for decoding the video frame encoded in the image encoding step, and a second prediction image generation step for generating a prediction image for motion compensated prediction from the video frame decoded in the decoding step. ,
前記復号ステツプで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた  An addition step of adding and outputting the video frame decoded in the decoding step and the prediction image generated in the second prediction image generation step
ことを特徴とする請求項 1 8記載の動画像処理方法。  The moving image processing method according to claim 18, wherein:
2 0 . 画像符号化ステップで符号化した映像フレームを復号する復号ステツ プと、  A decoding step for decoding the video frame encoded in the image encoding step;
前記復号ステツプで復号した映像フレームから、 ぼかし強度決定ステツプで除 去すると決定した高周波信号を除去する第 2の予測参照フレームぼかしステップ と、 前記第 2の予測参照フレームぼかしステツプで高周波信号を除去した映像フレ ームから、 動き補償予測の予測画像を生成する第 2の予測画像生成ステップと、 前記復号ステツプで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた - ことを特徴とする請求項 1 8記載の動画像処理方法。 A second prediction reference frame blur step for removing the high-frequency signal determined to be removed in the blur intensity determination step from the video frame decoded in the decoding step; A second predictive image generating step of generating a predictive image of motion compensated prediction from a video frame from which a high-frequency signal has been removed in the second predictive reference frame blurring step; the video frame decoded in the decoding step; The moving image processing method according to claim 18, further comprising: an adding step of adding and outputting the predicted image generated in the second predicted image generating step.
2 1 . 連続する映像フレームからなる動画像を処理する動画像処理方法にお いて、  2 1. In a moving image processing method for processing a moving image composed of continuous video frames,
前記映像フレームごとに、 フィルタ処理を行うか否かを決定し、 前記フィルタ 処理を行うと決定した場合に、 前記フィルタ処理を行うループ内フィルタ特性を 決定するループ内フィル夕決定ステツプと、  For each video frame, it is determined whether or not to perform filter processing, and when it is determined that the filter processing is performed, an in-loop filter determining step for determining an in-loop filter characteristic for performing the filter processing;
入力された映像フレームに、 ループ内フィル夕決定ステップで決定した特性の フィル夕でフィルタ処理を行う入力画像フィルタ処理ステップと、  An input image filter processing step for performing filtering on the input video frame with a fill of the characteristics determined in the in-loop fill determination step;
フィルタ処理された映像フレームを符号化する画像符号化ステップと、 前記画像符号化ステツプで符号化した映像フレームを復号した予測参照フレー ムを生成する局所復号ステツプと、  An image encoding step for encoding the filtered video frame; a local decoding step for generating a prediction reference frame obtained by decoding the video frame encoded in the image encoding step;
ループ内フィルタ決定ステップで決定した特性のフィル夕で前記予測参照フレ —ムにフィルタ処理を行うループ内フィル夕処理ステップと、  An in-loop fill processing step for filtering the prediction reference frame with the characteristic fill determined in the in-loop filter determining step;
前記ループ内フィル夕処理ステツプがフィル夕処理を行つた予測参照フレーム、 から予測画像を生成する予測画像生成ステツプを備え、  A predictive image generating step for generating a predictive image from a predictive reference frame in which the fill-in-loop process step in the loop has performed the fill-in-process,
前記入力画像フィルタ処理ステップ、 および前記ループ内フィル夕処理ステツ プは、  The input image filter processing step and the in-loop filter processing step are:
上記同様の特性のフィル夕でフィルタ処理を行うステ ブと、  A step that performs filtering with a fill that has the same characteristics as above, and
前記画像符号化ステツプは、 前記入力画像フィル夕処理ステツプで出力した映 像フレームと、 前記予測画像生成ステップで生成した予測画像との減算処理の結 果を符号化するステップを含む  The image encoding step includes a step of encoding a result of a subtraction process between the image frame output in the input image fill processing step and the predicted image generated in the predicted image generation step.
ことを特徴とする動画像処理方法。  And a moving image processing method.
2 2 . 符号化された映像フレームを復号する復号ステップと、  2 2. A decoding step for decoding the encoded video frame;
前記復号ステツプで復号した映像フレームに、 ループ内フィル夕決定ステツプ で決定した特性のフィルタでフィルタ処理を行う第 2のループ内フィル夕処理ス テツプと、 The in-loop fill determination step is added to the video frame decoded in the decoding step. A second loop in-loop processing step that performs filtering with the filter having the characteristics determined in
前記第 2のループ内フィルタ処理ステップでフィル夕処理を行つた映像フレー ムから、 動き補償予測の予測画像を生成する第 2の予測画像生成ステップと、 前記復号ステップで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた  A second predicted image generation step for generating a predicted image for motion compensated prediction from the video frame subjected to the fill processing in the second in-loop filter processing step; the video frame decoded in the decoding step; An addition step for adding and outputting the prediction image generated in the second prediction image generation step.
ことを特徴とする請求項 2 1記載の動画像処理方法。  The moving image processing method according to claim 21, wherein:
2 3 . コンピュータに、 連続する映像フレームからなる動画像を処理するス テツプを実行させる動画像処理プログラムにおいて、  2 3. In a moving image processing program for causing a computer to execute a step of processing a moving image composed of continuous video frames,
前記動画像処理ステップは、  The moving image processing step includes
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、  A blur intensity determination step for determining the intensity of blurring the video frame;
前記ぼかし強度決定ステップにおける決定に従って、 映像フレームの高周波信 号を除去することによって画像をぼかす画像ぼかしステップを有し、  An image blur step of blurring the image by removing the high frequency signal of the video frame according to the determination in the blur intensity determination step;
前記ぼかし強度決定ステツプは、 映像フレームが所定数連続するとぼかす強度 を変化させるステップを含む  The blur intensity determining step includes a step of changing an intensity of blurring when a predetermined number of video frames continue.
ことを特徴とする動画像処理プログラム。  A moving image processing program.
2 4. 前記ぼかし強度決定ステップは、 周期的にぼかす強度を変化させるス テツプを含むことを特徴とする請求項 2 3記載の動画像処理プログラム。 ' 24. The moving image processing program according to claim 23, wherein the blur intensity determining step includes a step of periodically changing the intensity of blur. '
2 5 . 前記ぼかし強度決定ステップは、 1フレームおきにぼかす強度を変化 させるステップを有することを特徴とする請求項 2 3または請求項 2 4記載の動 画像処理プログラム。 25. The moving image processing program according to claim 23, wherein the blur intensity determining step includes a step of changing an intensity to be blurred every other frame.
2 6 . 前記ぼかし強度決定ステップは、 映像フレーム間の画素値変化に応じ てぼかす強度を決定するステツプを有することを特徴とする請求項 2 5記載の動 画像処理プログラム。  26. The moving image processing program according to claim 25, wherein the blur intensity determining step includes a step of determining an intensity to be blurred according to a change in pixel value between video frames.
2 7 . 前記画像ぼかしステップで出力した映像フレームを符号化する画像符 号化ステップを備え、  2 7. An image encoding step for encoding the video frame output in the image blurring step is provided,
前記ぼかし強度決定ステツプは、 前記画像符号化ステツプにおいて映像フレー ムを符号化する際の符号化方法に応じてぼかす強度を決定するステップを有する ことを特徴とする請求項 2 5記載の動画像処理プログラム。 The blur intensity determining step includes a step of determining an intensity to be blurred according to an encoding method when encoding a video frame in the image encoding step. 26. The moving image processing program according to claim 25, wherein:
2 8 . 前記画像ぼかしステップで出力した映像フレームを符号化する画像符 号化ステップを備え、  2 8. An image encoding step for encoding the video frame output in the image blurring step is provided,
ぼかし強度決定ステツプは、 画像符号化ステツプにおいて映像フレームを符号 化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決 定するステップを有する  The blur intensity determining step includes a step of determining an intensity to be blurred according to an encoding method used when encoding a video frame and a change in pixel value between the video frames in the image encoding step.
ことを特徴とする請求項 2 5記載の動画像処理プログラム。  26. The moving image processing program according to claim 25, wherein:
2 9 . 前記画像符号化ステップで符号化した映像フレームを復号して予測参 照フレームを生成する局所復号ステツプと、  29. a local decoding step for decoding the video frame encoded in the image encoding step to generate a prediction reference frame;
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかしステッ プと、  A predicted reference frame blurring step for removing high frequency signals of the predicted reference frame;
.前記予測参照フレームぼかしステップで高周波信号を除去した予測参照フレー ムから、 動き補償予測の予測画像を生成する予測画像生成ステップを備え、 前記予測参照フレームぼかしステップは、  A prediction image generation step of generating a prediction image of motion compensated prediction from the prediction reference frame from which a high-frequency signal has been removed in the prediction reference frame blurring step, wherein the prediction reference frame blurring step comprises:
ぼかし強度決定ステップで映像フレームから除去すると決定した高周波信号を 前記予測参照フレームから除去するステップと、  Removing the high frequency signal determined to be removed from the video frame in the blur intensity determining step from the predicted reference frame;
前記画像符号化ステツプにおいて、 画像ぼかしステップで出力した映像フレー ムと、 前記予測画像生成ステップで生成した予測画像との減算処理の結果を符号 化するステップを有する  The image encoding step includes a step of encoding a result of a subtraction process between the video frame output in the image blurring step and the predicted image generated in the predicted image generation step.
ことを特徴とする請求項 2 7または請求項 2 8記載の動画像処理プログラム。 29. The moving image processing program according to claim 27 or claim 28, wherein:
3 0 . 画像符号化ステップで符号化した映像フレームを復号する復号ステツ プと、 A decoding step for decoding the video frame encoded in the image encoding step;
前記復号ステップで復号した映像フレームから、 動き補償予測の予測画像を生 成する第 2の予測画像生成ステツプと、  A second prediction image generation step for generating a prediction image of motion compensation prediction from the video frame decoded in the decoding step;
前記復号ステツプで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた  An addition step of adding and outputting the video frame decoded in the decoding step and the prediction image generated in the second prediction image generation step
ことを特徴とする請求項 2 9記載の動画像処理プログラム。  30. The moving image processing program according to claim 29, wherein:
3 1 . 画像符号化ステップで符号化した映像フレームを復号する復号ステツ プと、 3 1. Decoding step for decoding the video frame encoded in the image encoding step. And
前記復号ステツプで復号した映像フレームから、 ぼかし強度決定ステツプで除' 去すると決定した高周波信号を除去する第 2の予測参照フレームぼかしステップ と、  A second prediction reference frame blur step for removing the high-frequency signal determined to be removed in the blur intensity determination step from the video frame decoded in the decoding step;
前記第 2の予測参照フレームぼかしステツプで高周波信号を除去した映像フレ ームから、 動き補償予測の予測画像を生成する第 2の予測画像生成ステップと、 前記復号ステツプで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた  A second predictive image generating step of generating a predictive image of motion compensated prediction from a video frame from which a high-frequency signal has been removed in the second predictive reference frame blurring step; the video frame decoded in the decoding step; An addition step for adding and outputting the prediction image generated in the second prediction image generation step.
ことを特徴とする請求項 2 9記載の動画像処理プログラム。  30. The moving image processing program according to claim 29, wherein:
3 2 . コンピュータに、 連続する映像フレームからなる動画像を処理するス テツプを実行させる動画像処理プログラムにおいて、  3 2. In a moving image processing program for causing a computer to execute a step of processing a moving image composed of continuous video frames,
前記映像フレームごとに、 フィルタ処理を行うか否かを決定し、 前記フィルタ 処理を行うと決定した場合に、 前記フィルタ処理を行うループ内フィルタ特性を 決定するループ内フィルタ決定ステップと、  For each video frame, it is determined whether or not to perform filter processing, and when it is determined to perform the filter processing, an in-loop filter determination step for determining an in-loop filter characteristic for performing the filter processing;
入力された映像フレームに、 ループ内フィル夕決定ステツプで決定した特性の フィル夕でフィル夕処理を行う入力画像フィルタ処理ステップと、  An input image filter processing step for performing fill image processing on the input video frame at the fill image with the characteristics determined in the in-loop fill image determination step;
フィルタ処理された映像フレームを符号化する画像符号化ステップと、 前記画像符号化ステップで符号化した映像フレームを復号した予測参照フレ一 ムを生成する局所復号ステップと、  An image encoding step for encoding the filtered video frame; a local decoding step for generating a prediction reference frame obtained by decoding the video frame encoded in the image encoding step;
ループ内フィルタ決定ステップで決定した特性のフィル夕で前記予測参照フレ ームにフィルタ処理を行うループ内フィルタ処理ステップと、  An in-loop filter processing step for filtering the prediction reference frame with the characteristic fill determined in the in-loop filter determination step;
前記ループ内フィル夕処理ステップがフィル夕処理を行つた予測参照フレーム から予測画像を生成する予測画像生成ステップを備え、  A predictive image generation step of generating a predictive image from the prediction reference frame in which the fill-in-loop processing step in the loop performs the fill-up process,
前記入力画像フィルタ処理ステップ、 および前記ループ内フィルタ処理ステツ プは、  The input image filtering step and the in-loop filtering step are:
上記同様の特性のフィルタでフィルタ処理を行うステップと、  Filtering with a filter having the same characteristics as above,
前記画像符号化ステップは、 前記入力画像フィル夕処理ステップで出力した映 像フレームと、 前記予測画像生成ステップで生成した予測画像との減算処理の結 果を符号化するステップを含む The image encoding step includes a result of a subtraction process between the video frame output in the input image fill processing step and the predicted image generated in the predicted image generation step. Includes encoding the result
ことを特徴とする動画像処理プログラム。  A moving image processing program.
3 3 . 符号化された映像フレームを復号する復号ステップと、  3 3. a decoding step of decoding the encoded video frame;
前記復号ステップで復号した映像フレームに、 ループ内フィル夕決定ステップ で決定した特性のフィル夕でフィルタ処理を行う第 2のループ内フィルタ処理ス テツプと、  A second in-loop filtering step for performing filtering on the video frame decoded in the decoding step with the fill factor of the characteristic determined in the in-loop fill factor determining step;
前記第 2のループ内フィル夕処理ステップでフィルタ処理を行った映像フレー ムから、 動き補償予測の予測画像を生成する第 2の予測画像生成ステップと、 前記復号ステツプで復号した映像フレームと、 前記第 2の予測画像生成ステツ プで生成した予測画像とを加算して出力する加算ステップとを備えた  A second predicted image generating step of generating a predicted image of motion compensated prediction from the video frame filtered in the second in-loop filter processing step; the video frame decoded in the decoding step; An addition step for adding and outputting the prediction image generated in the second prediction image generation step.
ことを特徴とする請求項 3 2記載の動画像処理プログラム。  The moving image processing program according to claim 32, characterized by that.
PCT/JP2007/052547 2006-02-15 2007-02-07 Moving image processing device, moving image processing method, and moving image program WO2007094329A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008500507A JP5516842B2 (en) 2006-02-15 2007-02-07 Moving image processing apparatus, moving image processing method, and moving image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006037695 2006-02-15
JP2006-037695 2006-02-15

Publications (1)

Publication Number Publication Date
WO2007094329A1 true WO2007094329A1 (en) 2007-08-23

Family

ID=38371507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/052547 WO2007094329A1 (en) 2006-02-15 2007-02-07 Moving image processing device, moving image processing method, and moving image program

Country Status (2)

Country Link
JP (2) JP5516842B2 (en)
WO (1) WO2007094329A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (en) * 2008-07-04 2010-01-07 株式会社 東芝 Dynamic image encoding/decoding method and device
WO2010064674A1 (en) * 2008-12-03 2010-06-10 ソニー株式会社 Image processing apparatus, image processing method and program
JP2015156700A (en) * 2009-07-06 2015-08-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Method and apparatus for spatially varying residue coding
US11479503B2 (en) * 2017-07-24 2022-10-25 Nippon Electric Glass Co., Ltd. Chemically strengthened glass and method for manufacturing chemically strengthened glass

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5158014A (en) * 1974-11-18 1976-05-21 Nippon Telegraph & Telephone FUREEMUKAN FUGOKAHOSHIKI
JPS5244512A (en) * 1975-10-06 1977-04-07 Nippon Telegr & Teleph Corp <Ntt> Between-frame coding equipment
JPH02288788A (en) * 1989-04-28 1990-11-28 Victor Co Of Japan Ltd Inter-frame forecasting encoder
JPH0468770A (en) * 1990-07-05 1992-03-04 Canon Inc Picture coding system
JPH05236460A (en) * 1992-02-17 1993-09-10 Sony Corp Encoding circuit for video signal
JPH0638197A (en) * 1992-06-30 1994-02-10 Sony Corp Coder, decoder and coding method
JPH07107462A (en) * 1993-09-29 1995-04-21 Oki Electric Ind Co Ltd Moving picture encoding method
JPH0984024A (en) * 1995-09-20 1997-03-28 Matsushita Electric Ind Co Ltd Coder for moving image signal
JP2002247576A (en) * 2001-02-15 2002-08-30 Sharp Corp Method for encoding moving image
JP2003179933A (en) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd Image encoding method and image decoding method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03212085A (en) * 1990-01-17 1991-09-17 Mitsubishi Electric Corp Moving picture coding transmitter
JP3046379B2 (en) * 1990-03-26 2000-05-29 株式会社東芝 Image coding device
JP2002077909A (en) * 2000-08-24 2002-03-15 Nippon Telegr & Teleph Corp <Ntt> Image encoder and image encoding method amd medium recording program describing the method
JP3702185B2 (en) * 2001-01-26 2005-10-05 日本電信電話株式会社 Image encoding device, image decoding device, image encoding method, image decoding method, recording medium recording image encoding program, recording medium recording image decoding program, image encoding program, and image decoding program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5158014A (en) * 1974-11-18 1976-05-21 Nippon Telegraph & Telephone FUREEMUKAN FUGOKAHOSHIKI
JPS5244512A (en) * 1975-10-06 1977-04-07 Nippon Telegr & Teleph Corp <Ntt> Between-frame coding equipment
JPH02288788A (en) * 1989-04-28 1990-11-28 Victor Co Of Japan Ltd Inter-frame forecasting encoder
JPH0468770A (en) * 1990-07-05 1992-03-04 Canon Inc Picture coding system
JPH05236460A (en) * 1992-02-17 1993-09-10 Sony Corp Encoding circuit for video signal
JPH0638197A (en) * 1992-06-30 1994-02-10 Sony Corp Coder, decoder and coding method
JPH07107462A (en) * 1993-09-29 1995-04-21 Oki Electric Ind Co Ltd Moving picture encoding method
JPH0984024A (en) * 1995-09-20 1997-03-28 Matsushita Electric Ind Co Ltd Coder for moving image signal
JP2002247576A (en) * 2001-02-15 2002-08-30 Sharp Corp Method for encoding moving image
JP2003179933A (en) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd Image encoding method and image decoding method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (en) * 2008-07-04 2010-01-07 株式会社 東芝 Dynamic image encoding/decoding method and device
JPWO2010001999A1 (en) * 2008-07-04 2011-12-22 株式会社東芝 Video encoding / decoding method and apparatus
WO2010064674A1 (en) * 2008-12-03 2010-06-10 ソニー株式会社 Image processing apparatus, image processing method and program
JP2015156700A (en) * 2009-07-06 2015-08-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Method and apparatus for spatially varying residue coding
US9736500B2 (en) 2009-07-06 2017-08-15 Thomson Licensing Methods and apparatus for spatially varying residue coding
US11479503B2 (en) * 2017-07-24 2022-10-25 Nippon Electric Glass Co., Ltd. Chemically strengthened glass and method for manufacturing chemically strengthened glass

Also Published As

Publication number Publication date
JPWO2007094329A1 (en) 2009-07-09
JP2013017221A (en) 2013-01-24
JP5516842B2 (en) 2014-06-11
JP5534261B2 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
US9414086B2 (en) Partial frame utilization in video codecs
US8630347B2 (en) Video decoding apparatus and video decoding method
JP2007300676A (en) Method for filtering digital images, and filtering device
JP4875007B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture decoding apparatus
JP5137687B2 (en) Decoding device, decoding method, and program
JP5534261B2 (en) Moving image processing apparatus, moving image processing method, and moving image processing program
JP4592562B2 (en) Image decoding device
JP4643437B2 (en) Information processing device
EP1641274B1 (en) Video coding employing an image de-graining loop-filter
JP6253406B2 (en) Image encoding apparatus, imaging apparatus, image encoding method, and program
JP2001251627A (en) Coder, coding method and recording medium recorded with program
US20230122782A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
JP5913929B2 (en) Moving picture coding apparatus, control method therefor, and computer program
JP4570081B2 (en) Moving image error concealment method and apparatus
JP4719108B2 (en) VIDEO ENCODING METHOD, VIDEO ENCODING DEVICE, VIDEO ENCODING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM
JP4223577B2 (en) Image coding apparatus and method thereof, and image decoding apparatus and method thereof
JP4185413B2 (en) Flicker reduction quantizer, flicker reduction quantization method, and program thereof
JP2004015351A (en) Encoding apparatus and method, program, and recording medium
JP2005260989A (en) Image processing apparatus and image processing method
JP6012307B2 (en) Moving picture coding apparatus, control method therefor, and program
JP2007020216A (en) Encoding apparatus, encoding method, filtering apparatus and filtering method
JP2005303487A (en) Moving image decoding apparatus and moving image decoding program
JP3958281B2 (en) Video encoding device
JP2009017450A (en) Image processing apparatus, image processing method and image processing program, and reproduction apparatus, reproduction method and reproduction program
MXPA06003034A (en) Adaptive reference picture generation

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2008500507

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07714127

Country of ref document: EP

Kind code of ref document: A1