WO2010064674A1 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2010064674A1
WO2010064674A1 PCT/JP2009/070294 JP2009070294W WO2010064674A1 WO 2010064674 A1 WO2010064674 A1 WO 2010064674A1 JP 2009070294 W JP2009070294 W JP 2009070294W WO 2010064674 A1 WO2010064674 A1 WO 2010064674A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur
compensation
motion
unit
Prior art date
Application number
PCT/JP2009/070294
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN200980155532.XA priority Critical patent/CN102301718A/zh
Priority to US13/130,682 priority patent/US20110229049A1/en
Priority to JP2010541343A priority patent/JPWO2010064674A1/ja
Publication of WO2010064674A1 publication Critical patent/WO2010064674A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly to an image processing apparatus, an image processing method, and a program that can improve the quality of a predicted image by inter prediction.
  • image information is treated as digital, and at that time, it is an MPEG that is compressed by orthogonal transformation such as discrete cosine transformation and motion compensation for the purpose of efficient transmission and storage of information, using redundancy unique to image information.
  • orthogonal transformation such as discrete cosine transformation and motion compensation
  • MPEG2 ISO / IEC 13818-2
  • MPEG2 is defined as a general-purpose image coding method, and is a standard that covers both interlaced and progressive scan images as well as standard resolution and high definition images for professional use. And widely used in a wide range of consumer applications.
  • the MPEG2 compression method for example, the code amount of 4 to 8 Mbps for a standard resolution interlaced scanning image having 720 ⁇ 480 pixels and 18 to 22 Mbps for a high resolution interlaced scanning image having 1920 ⁇ 1088 pixels ( By allocating the bit rate, it is possible to realize high compression rate and good image quality.
  • the MPEG2 is mainly intended for high image quality coding suitable for broadcasting, and does not correspond to a coding amount (bit rate) lower than that of the MPEG1, that is, a coding method with a higher compression rate.
  • bit rate bit rate
  • the MPEG4 coding scheme has been standardized accordingly.
  • the standard is approved as an international standard as ISO / IEC 14496-2 in December 1998.
  • H.264 has been used for the purpose of image coding for video conferences.
  • the standardization of the 26L (ITU-T Q6 / 16 VCEG) standard is in progress.
  • 26L ITU-T Q6 / 16 VCEG
  • higher encoding efficiency can be realized.
  • this H.264. H. 26L based.
  • the Joint Model of Enhanced-Compression Video Coding is being implemented to achieve higher coding efficiency by incorporating features not supported by 26L. This is described in H. H.264 and MPEG-4 Part 10 (Advanced Video Coding, hereinafter referred to as AVC) have become international standards.
  • inter prediction focusing on correlation between frames or fields is performed.
  • a predicted image by inter prediction (hereinafter referred to as an inter predicted image) is generated by translating a motion compensation block which is a partial region in the reference image.
  • an inter prediction image is generated by translating pixel values in a motion compensation block according to a motion vector representing motion between frames or fields.
  • inter prediction is performed using images of two frames of the t-1st and tth frames, but the number of frames of an image actually used is It is not limited to two frames.
  • interpolation a process of setting a virtual pixel called Sub-Pel between adjacent pixels and generating the Sub-Pel (hereinafter referred to as interpolation) is added. To be done.
  • a finite impulse response (FIR) filter is used for the interpolation. Since this FIR filter interpolates between adjacent pixels, the number of taps of the FIR filter is even. For example, in H.264 / AVC, the number of taps of the FIR filter in the motion compensation process with 1 ⁇ 2 fractional precision is 6 taps, and the number of taps of the FIR filter in the motion compensation process with fractional precision 1 ⁇ 4 is 2 taps .
  • FIR finite impulse response
  • Non-Patent Documents 1 and 2 mention, as a recent research report, an adaptive interpolation filter (AIF).
  • AIF adaptive interpolation filter
  • the influence of aliasing can be reduced and the error of motion compensation can be reduced by adaptively changing the filter coefficient of the FIR filter having an even number of taps used in the interpolation. it can.
  • motion compensation processing with integer precision and motion compensation processing with fractional precision using an FIR filter or AIF assumes that changes between images can be expressed by parallel movement.
  • changes between captured images can not be expressed by translation alone.
  • the amount of blurring may change between images due to various factors such as out-of-focus, out-of-focus, and acceleration motion of an object.
  • blur means that the position of an object in an image is obscured, and if there is no blur, what appeared in the image as dotted light will be broadened if there is blur. Appears in the image.
  • the input image of the t-1st frame and the input image of the tth frame changes from being in the in-focus state
  • the input image of the t-1th frame The unblurred face 21 becomes the blurred face 22 in the input image of the t-th frame.
  • blurring is expressed by thickening the outline.
  • the t-th frame to be encoded is inter-predicted using the input image of the t-1st frame as a reference image.
  • the inter predicted image of the t-th frame is the same as the reference image. That is, the face in the inter predicted image of the t-th frame is the same as the unblurred face 21 in the input image of the t-1st frame.
  • the difference image of the inter predicted image of the t-th frame and the input image is an image in which the outline portion 23 of the face 21 remains as the difference between the face 22 and the face 21.
  • the face 21 is not moved. However, even if the face 21 is moved, the face 22 is similarly displayed between the inter predicted image of the t-th frame and the input image.
  • the difference between the pixel values of the face 21 and the pixel value of the face 21 causes a difference in the pixel values, and the PSNR of the inter predicted image with respect to the input image of the t-th frame deteriorates.
  • some orthogonal transformation, quantization, and coding are generally performed on the difference image, and the resulting image is transferred to the decoder as a coded image, so the PSNR is degraded. , Increase the code amount and deteriorate the coding efficiency.
  • the present invention has been made in view of such a situation, and aims to improve the quality of an inter predicted image.
  • a decoding means for decoding an encoded image, and an inter-image transmitted from another image processing apparatus in which the image is encoded corresponding to the encoded image.
  • movement means which adds a compensation image in which motion compensation and blurring compensation were performed, and produces
  • the blur information is represented using PSF (Point Spread Function).
  • the blur information is expressed using a two-dimensional normal distribution equation.
  • the blur information transmitted from the other image processing apparatus is the spread width W in the equation of the two-dimensional normal distribution.
  • the blur information is represented by a radius L output as an impulse response.
  • the blur information is represented as an impulse response by a length Lx in the lateral direction from the center and a length Ly in the longitudinal direction.
  • the compensation means can perform the motion compensation on the image decoded by the decoding means, and perform the blur compensation on the image obtained as a result of the motion correction based on the blur information.
  • the compensation means may perform the blur compensation on the image decoded by the decoding means based on the blur information, and perform the motion compensation on the image obtained as a result.
  • a decoding step in which an image processing apparatus decodes an encoded image, and transmission from the other image processing apparatus in which the image is encoded corresponding to the encoded image.
  • a decoding means for decoding an encoded image, and an inter-image transmitted from another image processing apparatus in which the image is encoded corresponding to the encoded image.
  • Compensation means for performing motion compensation and blur compensation on the image decoded by the decoding means based on blur information representing a change in blur, the image decoded by the decoding means, and the compensation means
  • the program is for causing a computer to function as an image processing apparatus including an operation unit that adds a motion compensated image and a compensated image subjected to blur compensation to generate a decoded image.
  • a second aspect of the present invention predicts a change in motion and blur between the image to be encoded and the reference image using an image to be encoded and a reference image, and a motion vector representing the motion And compensation means for performing motion compensation and blur compensation on the reference image based on blur information representing change in blur, a compensated image on which the motion compensation and the blur compensation have been performed, and the image to be encoded And an encoding unit that generates an image after encoding, and a transmitting unit that transmits the image after encoding and the blur information.
  • the blur information is represented using PSF (Point Spread Function).
  • the blur information is expressed using a two-dimensional normal distribution equation.
  • the transmission means can transmit the spread width W in the equation of the two-dimensional normal distribution as the blur information.
  • the blur information is represented by a radius L output as an impulse response.
  • the blur information is represented as an impulse response by a length Lx in the lateral direction from the center and a length Ly in the longitudinal direction.
  • the motion is predicted using the image to be encoded and the reference image, the motion compensation is performed based on a motion vector representing the motion, and the resulting image and the image to be encoded are used. It is possible to predict the change of the blur and perform the blur compensation based on the blur information representing the change of the blur.
  • the compensation means predicts a change in the blur using the image to be encoded and the reference image, performs the blur compensation based on blur information representing the change in the blur, and obtains an image obtained as a result of the blur compensation.
  • the motion can be predicted using the image to be encoded, and the motion compensation can be performed based on a motion vector representing the motion.
  • the image processing apparatus predicts a change in motion and blur between the image to be encoded and the reference image using the image to be encoded and the reference image, A compensation step of performing motion compensation and blur compensation on the reference image based on a motion vector representing motion and blur information representing a change in blur; a compensated image on which the motion compensation and the blur compensation have been performed;
  • the image processing method includes an encoding step of generating an image after encoding using a difference from an image to be encoded, and a transmitting step of transmitting the image after encoding and the blur information.
  • a second aspect of the present invention predicts a change in motion and blur between the image to be encoded and the reference image using an image to be encoded and a reference image, and a motion vector representing the motion And compensation means for performing motion compensation and blur compensation on the reference image based on blur information representing change in blur, a compensated image on which the motion compensation and the blur compensation have been performed, and the image to be encoded Program for causing a computer to function as an image processing apparatus including encoding means for generating an image after encoding using a difference between the above and the transmission means for transmitting the image after encoding and the blur information It is.
  • a coded image is decoded, and in response to the coded image, blurring between the images transmitted from the other image processing apparatus that has coded the image. Motion compensation and blur compensation are performed on the decoded image based on the blur information representing the change. Then, the decoded image is generated by adding the decoded image and the compensated image on which motion compensation and blur compensation have been performed by the compensation unit.
  • a change in motion and blur between the image to be encoded and the reference image is predicted using the image to be encoded and a reference image, and a motion representing the motion Motion compensation and blur compensation are performed on the reference image based on blur information representing a change in vector and blur. Then, an encoded image is generated using the difference between the compensated image on which the motion compensation and the blur compensation have been performed and the image to be encoded, and the encoded image and the blur information are generated. Will be sent.
  • the quality of the inter predicted image can be improved.
  • FIG. 7 is a block diagram showing an example of a detailed configuration of the blur prediction / compensation unit of FIG. 6; It is a figure explaining the mechanism of a focus blur. It is a figure explaining the mechanism of motion blur.
  • FIG. 18 is a diagram showing a detailed configuration example of the blur prediction / compensation unit of FIG.
  • FIG. 20 is a flowchart for describing the blur compensation process of step S140 of FIG. 19;
  • FIG. It is a block diagram which shows the structural example of 2nd Embodiment of the image coding apparatus to which this invention is applied. It is a block diagram which shows the example of a detailed structure of the blurring motion estimation and the compensation part of FIG. It is a flowchart explaining the encoding process of the image coding apparatus of FIG.
  • FIG. 24 is a flowchart for describing blur motion prediction / compensation processing in step S223 of FIG. 23;
  • FIG. 28 is a flowchart for describing blur motion compensation processing in step S339 in FIG. 27.
  • FIG. It is a figure which shows the example of the expanded block size.
  • FIG. It is a block diagram which shows the main structural examples of the television receiver to which this invention is applied.
  • It is a block diagram showing an example of main composition of a camera to which the present invention is applied.
  • FIG. 3 shows the configuration of an image coding apparatus on which the present invention is premised.
  • the image coding device 51 includes an A / D conversion unit 61, a screen rearrangement buffer 62, an operation unit 63, an orthogonal conversion unit 64, a quantization unit 65, a lossless encoding unit 66, an accumulation buffer 67, and an inverse quantization unit 68. , Inverse orthogonal transform unit 69, operation unit 70, deblock filter 71, frame memory 72, switch 73, intra prediction unit 74, motion prediction / compensation unit 75, predicted image selection unit 76, and rate control unit 77 There is.
  • the image encoding device 51 compresses and encodes an image according to, for example, the H.264 / AVC method.
  • the A / D converter 61 A / D converts the input image, and outputs the image to the screen rearrangement buffer 62 for storage.
  • the screen rearrangement buffer 62 rearranges the images of the stored display order frames in the order of frames for encoding in accordance with the GOP (Group of Picture).
  • Arithmetic unit 63 subtracts the intra prediction image selected by prediction image selection unit 76 or the prediction image by inter prediction (hereinafter referred to as inter prediction image) from the image read from screen rearrangement buffer 62, and the result The obtained difference is output to the orthogonal transform unit 64.
  • the orthogonal transformation unit 64 performs orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation on the difference from the arithmetic unit 63, and outputs the transformation coefficient.
  • the quantization unit 65 quantizes the transform coefficient output from the orthogonal transform unit 64.
  • the quantized transform coefficient which is the output of the quantization unit 65, is input to the lossless encoding unit 66.
  • lossless coding such as variable-length coding such as Context-based Adaptive Variable Length Coding (CAVLC) or arithmetic coding such as Context-based Adaptive Binary Arithmetic Coding (CABAC) may be used for the quantized transform coefficients.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the quantized transform coefficient output from the quantization unit 65 is also input to the inverse quantization unit 68, and after being inversely quantized, is further subjected to inverse orthogonal transformation in the inverse orthogonal transformation unit 69.
  • the output subjected to the inverse orthogonal transform is added to the inter predicted image or the intra predicted image supplied from the predicted image selecting unit 76 by the operation unit 70 to become a locally decoded image.
  • the deblocking filter 71 removes block distortion of the locally decoded image, and then supplies it to the frame memory 72 for storage.
  • the frame memory 72 is also supplied with an image before being deblocked by the deblock filter 71 and accumulated.
  • the switch 73 outputs the image stored in the frame memory 72 to the motion prediction / compensation unit 75 or the intra prediction unit 74.
  • I picture, B picture and P picture from the screen rearrangement buffer 62 are supplied to the intra prediction unit 74 as an image to be intra-predicted.
  • the B picture and the P picture read from the screen rearrangement buffer 62 are supplied to the motion prediction / compensation unit 75 as an image to be inter-predicted.
  • the intra prediction unit 74 performs intra prediction processing of all candidate intra prediction modes based on the image to be intra predicted read from the screen rearrangement buffer 62 and the image supplied from the frame memory 72 via the switch 73. To generate an intra-predicted image.
  • the intra prediction mode for the chrominance signal can be defined independently of the intra prediction mode for the luminance signal, and is defined on a macroblock basis.
  • the intra prediction unit 74 also calculates cost function values for all candidate intra prediction modes.
  • This cost function value is calculated, for example, based on either the High Complexity mode or the Low Complexity mode, as defined by JM (Joint Model), which is reference software in the H.264 / AVC system. Ru.
  • D is a difference (distortion) between an original image and a decoded image
  • R is a generated code amount including up to orthogonal transform coefficients
  • ⁇ is a Lagrange multiplier given as a function of the quantization parameter QP.
  • D is a difference (distortion) between the original image and the decoded image
  • Header_Bit is a header bit for the intra prediction mode
  • QPtoQuant is a function given as a function of the quantization parameter QP.
  • the intra prediction unit 74 determines, as the optimal intra prediction mode, the intra prediction mode that provides the minimum value among the cost function values calculated as described above.
  • the intra prediction unit 74 supplies the intra prediction image generated in the optimal intra prediction mode and the cost function value thereof to the prediction image selection unit 76.
  • the intra prediction unit 74 supplies information representing the optimal intra prediction mode to the lossless encoding unit 66.
  • the lossless encoding unit 66 losslessly encodes this information to make it a part of the header portion of the compressed image.
  • the motion prediction / compensation unit 75 performs motion prediction / compensation processing for all candidate inter prediction modes. Specifically, the motion prediction / compensation unit 75 determines the inter prediction image read from the screen rearrangement buffer 62 and the image as a reference image supplied from the frame memory 72 via the switch 73. Motion vectors in all candidate inter prediction modes are detected. Then, the motion prediction / compensation unit 75 performs motion compensation processing on the reference image based on the motion vector, and generates a motion-compensated image.
  • the block size is fixed (in 16 ⁇ 16 pixel units for motion prediction / compensation between frames, and in 16 ⁇ 8 pixels units for each field in motion prediction / compensation between fields) to perform motion prediction.
  • motion prediction / compensation is performed with a variable block size.
  • one macro block composed of 16 ⁇ 16 pixels is, as shown in FIG. 4, 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, Alternatively, it is possible to divide into partitions of 8 ⁇ 8 pixels and to have independent motion vector information. Further, as shown in FIG. 4, the 8 ⁇ 8 pixel partition is divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, or 4 ⁇ 4 pixel sub-partitions, each of which is independent It is possible to have different motion vector information.
  • motion vectors are detected in units of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels. There are eight modes to do.
  • the motion prediction / compensation unit 75 calculates cost function values for all candidate inter prediction modes using the same method as the intra prediction unit 74.
  • the motion prediction / compensation unit 75 determines an inter prediction mode giving the minimum value among the calculated cost function values as the optimal inter prediction mode.
  • the motion prediction / compensation unit 75 supplies the motion-compensated image generated in the optimal inter prediction mode to the prediction image selection unit 76 as an inter prediction image, and selects a cost function for the optimal inter prediction mode as a prediction image. Supply to the unit 76.
  • the motion prediction / compensation unit 75 determines information representing the optimal inter prediction mode and information according to the optimal inter prediction mode. It outputs (motion vector information, reference frame information, etc.) to the lossless encoding unit 66.
  • the lossless encoding unit 66 losslessly encodes the information from the motion prediction / compensation unit 75, and inserts the information into the header portion of the compressed image.
  • the predicted image selection unit 76 determines the optimal prediction mode from the optimal intra prediction mode and the optimal inter prediction mode, based on the cost function values output from the intra prediction unit 74 or the motion prediction / compensation unit 75. Then, the prediction image selection unit 76 selects an intra prediction image or an inter prediction image as a prediction image of the determined optimal prediction mode, and supplies this to the calculation units 63 and 70. At this time, the prediction image selection unit 76 supplies selection information indicating that the intra prediction image has been selected to the intra prediction unit 74, or motion prediction / compensation of selection information indicating that the inter prediction image is selected. It supplies to the part 75.
  • the rate control unit 77 performs quantization operation of the quantization unit 65 so that overflow or underflow does not occur in the accumulation buffer 67 based on the compressed image to which the header portion accumulated as compression information in the accumulation buffer 67 is added. Control the rate of
  • the compressed information encoded by the image encoding device 51 configured as described above is transmitted through a predetermined transmission path and decoded by the image decoding device.
  • FIG. 5 shows the configuration of such an image decoding apparatus.
  • the image decoding apparatus 101 includes an accumulation buffer 111, a lossless decoding unit 112, an inverse quantization unit 113, an inverse orthogonal transformation unit 114, an operation unit 115, a deblock filter 116, a screen rearrangement buffer 117, a D / A conversion unit 118, and a frame.
  • a memory 119, a switch 120, an intra prediction unit 121, a motion prediction / compensation unit 122, and a switch 123 are included.
  • the accumulation buffer 111 accumulates the transmitted compressed information.
  • the lossless decoding unit 112 performs lossless decoding on the compression information losslessly encoded by the lossless encoding unit 66 of FIG. 3 supplied from the accumulation buffer 111 using a method corresponding to the lossless encoding method of the lossless encoding unit 66 ( Variable length decoding, arithmetic decoding, etc.) Then, the lossless decoding unit 112 extracts an image, information indicating an optimal inter prediction mode or an optimal intra prediction mode, motion vector information, reference frame information, and the like from information obtained as a result of lossless decoding.
  • the inverse quantization unit 113 inversely quantizes the image losslessly decoded by the lossless decoding unit 112 according to a method corresponding to the quantization method of the quantization unit 65 in FIG. It supplies to 114.
  • the inverse orthogonal transform unit 114 performs fourth-order inverse orthogonal transform on the transform coefficient from the inverse quantization unit 113 according to a scheme corresponding to the orthogonal transform scheme of the orthogonal transform unit 64 in FIG. 3.
  • the inverse orthogonal transform output is added to the intra predicted image or the inter predicted image supplied from the switch 123 by the operation unit 115 and decoded.
  • the deblocking filter 116 removes block distortion of the decoded image, supplies the resulting image to the frame memory 119 for storage, and outputs the image to the screen rearrangement buffer 117.
  • the screen rearrangement buffer 117 rearranges the images. That is, the order of the frames rearranged for the order of encoding by the screen rearrangement buffer 62 of FIG. 3 is rearranged in the order of the original display.
  • the D / A converter 118 D / A converts the image supplied from the screen rearrangement buffer 117, and outputs the image to a display (not shown) for display.
  • the switch 120 reads from the frame memory 119 an image that has become a reference image in inter prediction at the time of encoding and outputs the image to the motion prediction / compensation unit 122 and also reads out an image used for intra prediction from the frame memory 119 It supplies to the part 121.
  • Information representing the optimal intra prediction mode obtained by losslessly decoding the header portion is supplied from the lossless decoding unit 112 to the intra prediction unit 121.
  • the intra prediction unit 121 performs the intra prediction process using the image from the frame memory 119 in the intra prediction mode represented by this information, and generates an intra prediction image.
  • the intra prediction unit 121 outputs the generated intra prediction image to the switch 123.
  • the motion prediction / compensation unit 122 is supplied from the lossless decoding unit 112 with information (information representing an optimal inter prediction mode, motion vector information, reference frame information, etc.) obtained by lossless decoding of the header portion.
  • information information representing an optimal inter prediction mode, motion vector information, reference frame information, etc.
  • the motion prediction / compensation unit 122 is a frame memory based on the motion vector information and the reference frame information supplied together with the information in the optimal inter prediction mode represented by the information.
  • the reference image from 119 is subjected to motion compensation processing to generate a motion compensated image. Then, the motion prediction / compensation unit 122 outputs the image after motion compensation to the switch 123 as an inter prediction image.
  • the switch 123 supplies the inter prediction image supplied from the motion prediction / compensation unit 122 or the intra prediction image supplied from the intra prediction unit 121 to the calculation unit 115.
  • FIG. 6 shows a configuration example of a first embodiment of an image coding device to which the present invention is applied.
  • the configuration of the image coding device 151 of FIG. 6 mainly includes a motion prediction / compensation unit 161, a prediction image selection unit 163 instead of the motion prediction / compensation unit 75, the prediction image selection unit 76, and the lossless encoding unit 66. It differs from the configuration of FIG. 3 in that a lossless encoding unit 164 is provided and a blur prediction / compensation unit 162 is newly provided.
  • the motion prediction / compensation unit 161 of the image coding device 151 in FIG. 6 performs motion prediction / compensation processing for all candidate inter prediction modes, as in the motion prediction / compensation unit 75 in FIG. 3. . Further, the motion prediction / compensation unit 161 calculates cost function values for all candidate inter prediction modes, as in the motion prediction / compensation unit 75. Then, similarly to the motion prediction / compensation unit 75, the motion prediction / compensation unit 161 determines, as the optimal inter prediction mode, the inter prediction mode that provides the minimum value among the calculated cost function values.
  • the motion prediction / compensation unit 161 supplies the image after motion compensation generated in the optimal inter prediction mode to the blur prediction / compensation unit 162.
  • the motion prediction / compensation unit 161 like the motion prediction / compensation unit 75, when the inter prediction image generated in the optimum inter prediction mode is selected by the prediction image selection unit 163, information representing the optimum inter prediction mode And information (motion vector information, reference frame information, etc.) according to the optimal inter prediction mode is output to the lossless encoding unit 164.
  • the blur prediction / compensation unit 162 is output from the screen rearrangement buffer 62 used for motion prediction / compensation processing of the image after motion compensation supplied from the motion prediction / compensation unit 161 and the image after motion compensation. Based on the inter-predicted image, a change in blur is detected. Then, the blur prediction / compensation unit 162 performs blur compensation processing for generating or eliminating blur on the image after motion compensation based on the blur information representing the detected change in blur, and after motion compensation and blur compensation. Generate an image of
  • the blur prediction / compensation unit 162 calculates the cost function value of the image after motion compensation and blur compensation by the same method as the motion prediction / compensation unit 161. Then, the blur prediction / compensation unit 162 supplies the generated image after motion compensation and blur compensation to the prediction image selection unit 163 as an inter prediction image, and supplies a cost function value to the prediction image selection unit 163.
  • the blur prediction / compensation unit 162 outputs the blur information to the lossless encoding unit 164.
  • the details of the blur prediction / compensation unit 162 will be described later.
  • the predicted image selection unit 163 determines the optimal prediction mode from the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 74 or the blur prediction / compensation unit 162. Then, the prediction image selection unit 163 selects an intra prediction image or an inter prediction image as a prediction image of the determined optimal prediction mode, and supplies this to the calculation units 63 and 70.
  • the prediction image selection unit 163 supplies the selection information indicating that the intra prediction image has been selected to the intra prediction unit 74 or the motion prediction / compensation of the selection information indicating that the inter prediction image is selected.
  • the signal is supplied to the unit 161 and the blur prediction / compensation unit 162.
  • the lossless encoding unit 164 applies lossless encoding to the quantized transform coefficients supplied from the quantization unit 65 and compresses the transform coefficients to generate a compressed image. Further, the lossless encoding unit 164 performs lossless encoding on the information from the intra prediction unit 74, the motion prediction / compensation unit 161, or the blur prediction / compensation unit 162, and inserts the information into the header portion of the compressed image. Then, the compressed image to which the header section generated by the lossless encoding unit 164 is added is stored in the storage buffer 67 as compression information and then output.
  • the image coding apparatus 151 performs not only motion compensation but also blur compensation in inter prediction, even when blur occurs or disappears between the image to be inter predicted and the reference image,
  • the inter prediction can be more accurately performed to improve the quality of the inter prediction image (for example, the PSNR of the inter prediction image based on the image to be inter predicted).
  • FIG. 7 shows a detailed configuration example of the blur prediction / compensation unit 162 of FIG.
  • the blur prediction / compensation unit 162 in FIG. 7 is configured of a blur compensation unit 171 and a blur prediction unit 172.
  • the blur compensation unit 171 performs blur compensation processing on the image after motion compensation supplied from the motion prediction / compensation unit 161 based on the blur information supplied from the blur prediction unit 172. Further, the blur compensation unit 171 calculates the cost function value of the image after motion compensation and blur compensation obtained as a result of the blur compensation processing by the same method as the motion prediction / compensation unit 161. Then, the blur compensation unit 171 supplies the image after the motion compensation and the blur compensation to the prediction image selection unit 163 as an inter prediction image, and supplies the cost function value to the prediction image selection unit 163.
  • the blur prediction unit 172 predicts the change in blur based on the motion-compensated image supplied from the motion prediction / compensation unit 161 and the inter-predicted image supplied from the screen rearrangement buffer 62, and the blur is calculated.
  • the blur information representing the change of is generated and supplied to the blur compensation unit 171.
  • the blur prediction unit 172 supplies the blur information to the lossless encoding unit 164.
  • focus blurring or defocusing the mechanism of blurring (hereinafter referred to as “focus blurring or defocusing”) caused by defocusing during imaging will be described.
  • the image When the image is in focus, the light from the point A is received by one light sensor, and the light corresponding to the point A, because the image pickup device including the plurality of light sensors of the image pickup unit is positioned on the imaging surface 182. An image with a clear occurrence position is obtained.
  • the image when the image is out of focus, the light from the point A is received by a plurality of light sensors because the imaging element is located on a surface (for example, the surface 183) off the imaging surface 182.
  • An image in which the generation position of light corresponding to V.sub.2 is unclear, that is, an image in which blurring occurs is obtained.
  • motion blurring a mechanism of blurring generated by movement of the subject or the imaging unit during imaging
  • the image pickup device including the plurality of light sensors of the image pickup unit when the image pickup device including the plurality of light sensors of the image pickup unit is positioned on the imaging surface 182 in focus, while the light sensor is receiving light, the movement of the subject or the image pickup unit causes a dot shape.
  • the light relatively moves from point A1 to point A2, the light is received by the plurality of light sensors.
  • an image in which the light generation position is ambiguous that is, an image in which blurring occurs is obtained.
  • the focus blur and the motion blur generated as described above can be defined by an output when a point light is input, that is, an impulse response.
  • the input is, for example, point-like light generated from point A
  • the impulse response is light output on the imaging device (for example, point B, point C).
  • the input is, for example, point-like light generated from point A1
  • the impulse response is light output on the imaging device (for example, the range from point B1 to point B2) .
  • the defocus information of the focus blur for example, as shown in A of FIG. 10, information representing the radius L of the light 191 output on the imaging device 190 as an impulse response is adopted.
  • the square provided in the grid shape in the image pick-up element 190 of A of FIG. 10 represents the optical sensor corresponding to 1 pixel. The same applies to A in FIG. 11 described later.
  • the light 191 has a circular spread with a diameter of 2 L since the case where the focus blur occurs is present, but when there is no focus blur, the light 191 is It becomes point light.
  • the blur prediction unit 172 calculates each of the FIR filters of the filter coefficients corresponding to each possible value of the radius L set in advance. , And applied to the image after motion compensation supplied from the motion prediction / compensation unit 161.
  • the blur prediction unit 172 applies the FIR filter of the filter coefficient corresponding to the value shown in B of FIG. 10 to the image after motion compensation.
  • corresponds to 1 pixel
  • the number described in the square is a value corresponding to a filter factor.
  • the numbers described in the squares corresponding to each pixel of B in FIG. 10 are the ratio of the area received by the light sensor corresponding to that pixel to the light receivable area of the light sensor corresponding to one pixel Is shown.
  • the blur prediction unit 172 obtains a difference between each of the images for each of the FIR filters obtained as a result of applying each of the FIR filters to the image after motion compensation and the image to be inter-predicted supplied from the screen rearrangement buffer 62.
  • Information representing the radius L corresponding to the FIR filter when the difference is minimized is taken as blur information.
  • the blur information of motion blur for example, as shown in A of FIG. 11, the length Lx in the horizontal direction and the length in the vertical direction from the center of the light 192 output on the imaging device 190 as an impulse response Information representing Ly is employed.
  • the light 192 spreads in a diagonal direction with a length 2Lx in the horizontal direction and a length 2Ly in the vertical direction. However, if there is no motion blur, the light 192 will be point light.
  • the FIR filter applied by the blur prediction unit 172 is a combination of possible values of the lengths Lx and Ly. It is a FIR filter of the corresponding filter coefficient.
  • the FIR filter corresponding to the lengths Lx and Ly shown in A of FIG. 11 is an FIR filter of filter coefficients corresponding to the value shown in B of FIG.
  • corresponds to 1 pixel
  • the number described in the square is a value corresponding to a filter factor.
  • the numbers described in the squares corresponding to each pixel in FIG. 11B indicate the length of the light 192 in that pixel. In the example of FIG. 11B, since the length of one side of the pixel is 1, the length of the diagonal of the pixel is ⁇ 2 ( ⁇ 1.4), and the number described in the square corresponding to each pixel is It is 1.4 or 0.7.
  • the method of setting the filter coefficient is not limited to the method described with reference to FIGS. 10 and 11, and any method may be used as long as the method is uniquely set according to the blur information.
  • the image encoding device 151 and the corresponding decoding device store the same set of filter coefficients in advance
  • the image encoding device 151 uses the set of filter coefficients instead of the blur information.
  • the identifier may be transmitted to the image decoding apparatus. Since the data amount of the identifier is smaller than the blur information, when the image coding apparatus 151 transmits the filter coefficient instead of the blur information, it is possible to suppress an increase in the code amount due to the blur prediction / compensation processing. .
  • a point spread function (Point Spread Function) described with reference to FIGS. 12 and 13 is used as blur information of both blurs. It can also be adopted.
  • the point spread function is also referred to as PSF.
  • the defocused image 196 can be obtained by performing the convolution operation 197 corresponding to the FIR filter using the defocused PSF 198.
  • the focus blur 195A and the motion blur 195B shown in FIG. 12 are images obtained by observing the point light source 193 with a camera and correspond to the impulse response of the imaging 194 system.
  • the PSF 198 shown in FIG. 13 is a model that expresses focus blur and motion blur. That is, the PSF 198 is used to obtain the filter coefficient of the FIR filter, and the convolution operation 197 corresponding to the FIR filter of the found filter coefficient is performed on the blur-free image 196 to obtain the defocused image 199. be able to.
  • the PSF is an image obtained by observing how a point light source receives a change through a system, and if the system causes blurring, it is a function having the following three features.
  • the coding using the second feature, it is considered to express the blur with a small amount of information about the focus blur, and the spread width of the two-dimensional normal distribution is used as the blur information to be sent from the encoding side to the decoding side. . That is, with this, it is possible to represent the blur amount of focus blur with a variable of 1.
  • the one-dimensional normal distribution can be expressed by equation (4).
  • W represents the spread width.
  • x indicates the position of the tap of the FIR filter. Therefore, the filter coefficient can be obtained from equation (4).
  • FIG. 14 shows the filter coefficients obtained from the normal distribution equation of Equation (4), and on the left side thereof, a graph in which the obtained filter coefficients are shown graphically.
  • the filter coefficient is 0.036.
  • the filter coefficient is 0.004.
  • the filter coefficient is determined in accordance with the spread width W from the normal distribution expression of Expression (4).
  • the filter coefficient can be similarly obtained from the two-dimensional normal distribution equation shown in equation (5). Also in the two-dimensional case, W represents the spread width. x and y indicate the positions of the taps of the FIR filter.
  • information representing the spread width W can also be used as defocus information of focus blur.
  • the FIR filter applied by the blur prediction unit 172 is an FIR filter of filter coefficients corresponding to a combination of possible values of the spread width W (that is, the values shown in FIG. 14).
  • step S11 the A / D conversion unit 61 A / D converts the input image.
  • step S12 the screen rearrangement buffer 62 stores the image supplied from the A / D conversion unit 61, and performs rearrangement from the display order of each picture to the coding order.
  • step S13 the computing unit 63 computes the difference between the image rearranged in step S12 and the intra-prediction image or the inter-prediction image from the prediction image selection unit 163.
  • the amount of data of differential data is smaller than that of the original image data, the amount of data can be compressed by calculating and encoding the differential data, as compared to the case of encoding image data as it is.
  • step S14 the orthogonal transformation unit 64 orthogonally transforms the difference supplied from the calculation unit 63. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S15 the quantization unit 65 quantizes the conversion coefficient. During this quantization, the rate is controlled as described in the process of step S29 described later.
  • step S16 the inverse quantization unit 68 inversely quantizes the transform coefficient quantized by the quantization unit 65 with a characteristic corresponding to the characteristic of the quantization unit 65.
  • step S ⁇ b> 17 the inverse orthogonal transform unit 69 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 68 with a characteristic corresponding to the characteristic of the orthogonal transform unit 64.
  • step S18 the operation unit 70 adds the inter predicted image or the intra predicted image input through the predicted image selection unit 163 to the locally decoded difference, and the locally decoded image (operation unit 63 (operation unit 63). Generate an image corresponding to the input to
  • the deblocking filter 71 filters the image output from the computing unit 70. This removes blockiness.
  • the frame memory 72 stores the filtered image. The image not subjected to the filter process by the deblocking filter 71 is also supplied from the arithmetic unit 70 to the frame memory 72 and stored.
  • step S21 the intra prediction unit 74 selects all candidate intra predictions based on the image to be intra predicted read from the screen rearrangement buffer 62 and the image supplied from the frame memory 72 via the switch 73.
  • the intra prediction process of the mode is performed to generate an intra predicted image.
  • the intra prediction unit 74 calculates cost function values for all candidate intra prediction modes.
  • step S22 the intra prediction unit 74 determines, as the optimal intra prediction mode, the intra prediction mode that provides the minimum value among the calculated cost function values. Then, the intra prediction unit 74 supplies the intra prediction image generated in the optimal intra prediction mode and the cost function value thereof to the prediction image selection unit 163.
  • step S23 the motion prediction / compensation unit 161 is a candidate based on the image to be inter predicted read from the screen rearrangement buffer 62 and the image as a reference image supplied from the frame memory 72 via the switch 73. Motion prediction / compensation processing is performed in all inter prediction modes. Then, the motion prediction / compensation unit 161 calculates cost function values for all candidate inter prediction modes.
  • step S24 the motion prediction / compensation unit 161 determines, as the optimal inter prediction mode, the inter prediction mode that provides the minimum value among the calculated cost function values. Then, the motion prediction / compensation unit 161 supplies the image after motion compensation generated in the optimal inter prediction mode to the blur prediction / compensation unit 162.
  • the blur prediction / compensation unit 162 is a screen rearrangement buffer used for motion prediction / compensation processing of the image after motion compensation supplied from the motion prediction / compensation unit 161 and the image after motion compensation.
  • the blur prediction / compensation processing is performed based on the inter prediction image output from 62. Details of the blur prediction / compensation processing will be described with reference to FIG. 16 described later.
  • the image after motion compensation and blur compensation obtained as a result of the blur prediction / compensation processing and the cost function value of the image are supplied to the predicted image selection unit 163 as an inter predicted image.
  • step S26 the predicted image selection unit 163 optimizes one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 74 and the blur prediction / compensation unit 162.
  • the prediction mode is determined, and the prediction image of the determined optimum prediction mode is selected.
  • the inter predicted image or intra predicted image selected as the predicted image in the optimum prediction mode in this manner is supplied to the calculation units 63 and 70, and is used for the calculation in steps S13 and S18 as described above.
  • the prediction image selection unit 163 supplies selection information to the intra prediction unit 74 or the motion prediction / compensation unit 161 and the blur prediction / compensation unit 162.
  • the intra prediction unit 74 supplies information representing the optimal intra prediction mode to the lossless encoding unit 164.
  • the motion prediction / compensation unit 161 transmits the information indicating the optimal inter prediction mode, motion vector information, reference frame information, and the like to the lossless encoding unit 164.
  • the blur prediction / compensation unit 162 outputs the blur information to the lossless encoding unit 164.
  • step S27 the lossless encoding unit 164 encodes the quantized transform coefficient output from the quantization unit 65 to generate a compressed image.
  • information representing the optimal intra prediction mode or the optimal inter prediction mode, information (motion vector information, reference frame information, etc.) according to the optimal inter prediction mode, blur information, etc. is losslessly encoded, and the header portion of the compressed image Be inserted.
  • step S28 the accumulation buffer 67 accumulates, as compression information, the compressed image to which the header portion generated by the lossless encoding unit 164 is added.
  • the compressed information stored in the storage buffer 67 is appropriately read and transmitted to the image decoding apparatus via the transmission path.
  • step S29 the rate control unit 77 controls the rate of the quantization operation of the quantization unit 65 based on the compression information stored in the storage buffer 67 so that overflow or underflow does not occur in the storage buffer 67. .
  • step S41 the blur prediction unit 172 (FIG. 7) of the blur prediction / compensation unit 162 calculates the FIR of the filter coefficient corresponding to each value that can be taken as the radius L, the length Lx, Ly or the spread width W represented by the blur information.
  • Each of the filters is applied to the motion compensated image supplied from the motion prediction / compensation unit 161.
  • step S42 the blur prediction unit 172 obtains a difference between each of the images after application of each FIR filter and the image to be inter predicted supplied from the screen rearrangement buffer 62.
  • step S43 the blur prediction unit 172 outputs the blur information corresponding to the minimum difference among the differences obtained in step S42 to the blur compensation unit 171. Specifically, the blur prediction unit 172 outputs, to the blur compensation unit 171, the blur information corresponding to the FIR filter used to generate the image with the minimum difference. The blur information is also output to the lossless encoding unit 164 when selection information indicating that the inter-prediction image has been selected is supplied from the prediction image selection unit 163.
  • step S 44 the blur compensation unit 171 performs blur compensation processing on the image after motion compensation supplied from the motion prediction / compensation unit 161 based on the blur information supplied from the blur prediction unit 172. Specifically, the blur compensation unit 171 applies the FIR filter of the filter coefficient corresponding to the blur information to the image after motion compensation supplied from the motion prediction / compensation unit 161. This compensates for the focus blur or motion blur of the image after motion compensation.
  • the blur compensation unit 171 calculates the cost function value of the image after motion compensation and blur compensation obtained as a result of the blur compensation processing.
  • the blur compensation unit 171 supplies the image after the motion compensation and the blur compensation to the prediction image selection unit 163 as an inter prediction image, and supplies the cost function value to the prediction image selection unit 163.
  • the blur prediction / compensation process ends, and the process returns to step S25 in FIG. 15 and proceeds to step S26.
  • the image coding apparatus 151 performs not only motion compensation but also blur compensation in inter prediction, even when blur occurs or disappears between the image to be inter predicted and the reference image,
  • the inter prediction can be more accurately performed to improve the quality of the inter prediction image (for example, the PSNR of the inter prediction image based on the image to be inter predicted).
  • the bit amount of the header portion of the compressed image increases, but as described above, the quality of the inter prediction image improves.
  • the difference between the inter prediction image and the inter prediction image is reduced.
  • the amount of data of compressed information that is, the amount of code
  • coding efficiency may be improved.
  • the image encoding device 151 performs the blur compensation by applying the FIR filter corresponding to the radius L or the lengths Lx and Ly, the focus blur and the motion blur which can be defined by the radius L and the lengths Lx and Ly are obtained. It can be compensated.
  • the degree of motion blur changes due to the influence of camera shake at the time of photographing or when the focus changes frequently. Even in the case of an image, the quality of the inter predicted image can be kept good.
  • the compressed information encoded by the image encoding device 151 as described above is transmitted through a predetermined transmission path and decoded by the image decoding device.
  • FIG. 17 shows a configuration example of such an image decoding apparatus.
  • the configuration of the image decoding apparatus 201 in FIG. 17 mainly includes a lossless decoding unit 211, a motion prediction / compensation unit 212, and a switch 214 instead of the lossless decoding unit 112, the motion prediction / compensation unit 122, and the switch 123.
  • This embodiment differs from the configuration of FIG. 5 in that the blur prediction / compensation unit 213 is newly provided.
  • the lossless decoding unit 211 of the image decoding apparatus 201 of FIG. 17 transmits the compression information losslessly encoded by the lossless encoding unit 164 of FIG. Lossless decoding is performed by a method corresponding to the lossless coding method. Then, the lossless decoding unit 211 extracts an image, information indicating an optimal inter prediction mode or an optimal intra prediction mode, motion vector information, reference frame information, blur information, and the like from information obtained as a result of lossless decoding.
  • the motion prediction / compensation unit 212 is information obtained by lossless decoding of the header portion (information representing the optimal inter prediction mode, motion vector information, reference frame information, etc. Is supplied from the lossless decoding unit 211.
  • the motion prediction / compensation unit 212 like the motion prediction / compensation unit 122, in the optimal inter prediction mode represented by the information, motion vector information supplied together with the information The motion compensation process is performed on the reference image from the frame memory 119 on the basis of the reference frame information. Then, the motion prediction / compensation unit 212 outputs the resulting motion-compensated image to the blur prediction / compensation unit 213.
  • the blur prediction / compensation unit 213 is supplied from the lossless decoding unit 211 with blur information obtained by losslessly decoding the header portion.
  • the blur prediction / compensation unit 213 performs blur compensation processing on the motion-compensated image supplied from the motion prediction / compensation unit 212 based on the blur information. Then, the blur prediction / compensation unit 213 outputs the image after motion compensation and blur compensation to the switch 214 as an inter prediction image.
  • the switch 214 supplies the inter prediction image supplied from the blur prediction / compensation unit 213 or the intra prediction image supplied from the intra prediction unit 121 to the calculation unit 115.
  • the image decoding apparatus 201 performs not only motion compensation but also blur compensation in inter prediction, even when blur occurs or disappears between the image to be inter predicted and the reference image, Inter prediction can be accurately performed to improve the quality of the image after inter prediction.
  • FIG. 18 shows a detailed configuration example of the blur prediction / compensation unit 213 in FIG.
  • the blur prediction / compensation unit 213 in FIG. 18 includes a filter coefficient conversion unit 221 and an FIR filter 222.
  • the filter coefficient conversion unit 221 converts the blur information supplied from the lossless decoding unit 211 into filter coefficients. That is, the filter coefficient conversion unit 221 determines the filter coefficient based on the blur information supplied from the lossless decoding unit 211.
  • the filter coefficient conversion unit 221 converts the information representing the radius L shown in A of FIG. 10 as blur information into a filter coefficient corresponding to the value shown in B of FIG. Further, the filter coefficient conversion unit 221 converts the information representing the lengths Lx and Ly shown in A of FIG. 11 as blur information into filter coefficients corresponding to the values shown in B of FIG. It is to be noted that the blur information is also converted into the filter coefficient to the spread width W as well. Then, the filter coefficient conversion unit 221 supplies the converted filter coefficient to the FIR filter 222.
  • the FIR filter 222 is a filter whose characteristics are determined by the filter coefficients supplied from the filter coefficient conversion unit 221.
  • the FIR filter 222 performs blur compensation processing by filtering the image after motion compensation supplied from the motion prediction / compensation unit 212 using filter coefficients. Then, the FIR filter 222 supplies the resulting image after motion compensation and blur compensation to the switch 214 as an inter prediction image.
  • the blur prediction / compensation unit 213 performs the blur compensation process with the FIR filter of the filter coefficient corresponding to the blur information at the time of encoding transmitted from the image encoding device 151, and therefore the same as at the time of encoding. Blur compensation processing can be performed.
  • step S131 the accumulation buffer 111 accumulates the transmitted compressed information.
  • step S132 the lossless decoding unit 211 losslessly decodes the compressed information supplied from the accumulation buffer 111. That is, the I picture, P picture, and B picture losslessly encoded by the lossless encoding unit 164 in FIG. 6 are losslessly decoded. At this time, motion vector information, reference frame information, information indicating an optimal intra prediction mode or an optimal inter prediction mode, blur information, and the like are also decoded.
  • step S133 the inverse quantization unit 113 inversely quantizes the transform coefficient losslessly decoded by the lossless decoding unit 211 with a characteristic corresponding to the characteristic of the quantization unit 65 in FIG.
  • step S134 the inverse orthogonal transform unit 114 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 113 with a characteristic corresponding to the characteristic of the orthogonal transform unit 64 in FIG. As a result, the difference as the input (the output of the arithmetic unit 63) of the orthogonal transform unit 64 in FIG. 6 is decoded.
  • step S135 the calculation unit 115 adds the decoded difference to the inter predicted image or intra predicted image output from the switch 214 in the process of step S142 described later.
  • the original image is thus decoded.
  • step S136 the deblocking filter 116 filters the image output from the calculation unit 115. This removes blockiness.
  • step S137 the frame memory 119 stores the filtered image.
  • step S138 the lossless decoding unit 211 determines whether the compressed image is an inter-predicted image based on the result of the lossless decoding of the header portion of the compressed image, that is, information indicating the optimal inter prediction mode in the lossless decoding result. Determine if it is included.
  • the lossless decoding unit 211 supplies the motion prediction / compensation unit 212 with motion vector information, reference frame information, and information indicating the optimal inter prediction mode. Supplies blur information to the blur prediction / compensation unit 213.
  • step S139 the motion prediction / compensation unit 212 refers to the reference from the frame memory 119 in the optimal inter prediction mode represented by the information from the lossless decoding unit 211 based on the motion vector information represented by the information and the reference frame information. Motion compensation processing is performed on the image. Then, the motion prediction / compensation unit 212 outputs the resulting motion-compensated image to the blur prediction / compensation unit 213.
  • step S140 the blur prediction / compensation unit 213 performs blur compensation processing on the image after motion compensation supplied from the motion prediction / compensation unit 212 based on the blur information from the lossless decoding unit 211. Details of the blur compensation processing will be described with reference to FIG. 20 described later.
  • step S138 if it is determined in step S138 that the compressed image is not an inter-predicted image, that is, if the lossless decoding result includes information indicating the optimal intra prediction mode, the lossless decoding unit 211 selects the optimal intra prediction mode.
  • the information representing the signal is supplied to the intra prediction unit 121.
  • step S141 the intra prediction unit 121 performs intra prediction processing on the image from the frame memory 119 in the optimal intra prediction mode represented by the information from the lossless decoding unit 211, and generates an intra prediction image. Then, the intra prediction unit 121 outputs the intra prediction image to the switch 214.
  • the switch 214 After the process of step S140 or S141, the switch 214 outputs the inter predicted image supplied from the blur prediction / compensation unit 213 or the intra predicted image supplied from the intra prediction unit 121 to the calculation unit 115 in step S142. Thereby, as described above, the inter prediction image or the intra prediction image is added to the output of the inverse orthogonal transformation unit 114 in step S135.
  • step S143 the screen rearrangement buffer 117 performs rearrangement. That is, the order of the frames rearranged for encoding by the screen rearrangement buffer 62 of the image encoding device 151 is rearranged in the original display order.
  • step S144 the D / A conversion unit 118 D / A converts the image from the screen rearrangement buffer 117. This image is output to a display not shown, and the image is displayed.
  • step S151 the filter coefficient conversion unit 221 (FIG. 18) of the blur prediction / compensation unit 213 converts the blur information from the lossless decoding unit 211 into a filter coefficient, and supplies the filter coefficient to the FIR filter 222.
  • step S152 the FIR filter 222 performs blur compensation processing by filtering the image after motion compensation supplied from the motion prediction / compensation unit 212 using the filter coefficient from the filter coefficient conversion unit 221. Apply.
  • the FIR filter 222 outputs the resulting motion-compensated and blur-compensated image as an inter-prediction image to the switch 214, and the blur compensation processing ends. Then, the process returns to step S140 in FIG. 19 and proceeds to step S142.
  • FIG. 21 shows a configuration example of a second embodiment of the image coding device to which the present invention is applied.
  • the configuration of the image coding device 251 of FIG. 21 mainly includes a blur motion prediction / compensation unit 261 and a lossless coding unit 164 instead of the motion prediction / compensation unit 75 and the lossless coding unit 66. This is different from the configuration of FIG.
  • the blur motion prediction / compensation unit 261 of the image coding device 251 of FIG. 21 is supplied from the frame memory 72 via the switch 73 with the image to be inter-predicted read from the screen rearrangement buffer 62.
  • the blur motion prediction / compensation process is performed based on the image as the reference image.
  • the blur motion prediction / compensation processing is processing for performing motion prediction / compensation processing for all candidate inter prediction modes simultaneously with the blur prediction / compensation processing.
  • the blur motion prediction / compensation unit 261 determines the inter prediction mode of the image after the blur prediction / compensation processing that minimizes the difference from the image to be inter predicted as the optimal inter prediction mode, and the image is an inter prediction image As a prediction image selection unit 76.
  • the blur motion prediction / compensation unit 261 calculates the cost function value of the inter prediction image, and supplies the cost function value to the prediction image selection unit 76.
  • the blur motion prediction / compensation unit 261 determines the information indicating the optimum inter prediction mode, the information corresponding to the optimum inter prediction mode (motion vector information, reference frame Information and the like, and blur information used for generating the inter prediction image are output to the lossless encoding unit 164.
  • FIG. 22 shows a detailed configuration example of the blur motion prediction / compensation unit 261 of FIG.
  • the blur motion prediction / compensation unit 261 in FIG. 22 includes a blur filter 271, a motion compensation unit 272, a difference calculation unit 273, and a control unit 274.
  • the blur filter 271 performs blur compensation by filtering the image as the reference image supplied from the switch 73 using the filter coefficient corresponding to the blur information supplied from the control unit 274. Then, the blur filter 271 supplies the image after blur compensation obtained as a result to the motion compensation unit 272.
  • the motion compensation unit 272 performs motion compensation on the blur-compensated image from the blur filter 271 based on the motion vector from the control unit 274 in the inter prediction mode from the control unit 274. Then, the motion compensation unit 272 supplies the image obtained after the blur compensation and the motion compensation to the difference calculation unit 273. In addition, the motion compensation unit 272 controls the control unit 274 to generate an image after blur compensation and motion compensation obtained as a result of motion compensation based on a predetermined motion vector in the optimal inter prediction mode as an inter prediction image. The information is supplied to the selection unit 76. In addition, the motion compensation unit 272 calculates a cost function value of the inter prediction image, and supplies the cost function value to the prediction image selection unit 76.
  • the difference calculation unit 273 calculates the difference between the image from the motion compensation unit 272 and the image to be inter-predicted from the screen rearrangement buffer 62 corresponding to the image, and supplies the difference to the control unit 274.
  • the control unit 274 sequentially supplies a plurality of pieces of blur information set in advance to the blur filter 271.
  • the control unit 274 predicts blur information when the difference from the difference calculation unit 273 is minimum as blur information of an image to be inter-predicted. Then, the control unit 274 supplies the blur information to the blur filter 271 and supplies the blur information to the lossless encoding unit 164.
  • control unit 274 sequentially supplies a plurality of motion vectors set in advance to the motion compensation unit 272, and sequentially supplies all candidate inter prediction modes to the motion compensation unit 272.
  • the control unit 274 determines the inter prediction mode when the difference from the difference calculation unit 273 is minimum as the optimal inter prediction mode, and predicts the motion vector as the motion vector of the image to be inter predicted. Then, the control unit 274 supplies the optimal inter prediction mode and the motion vector to the motion compensation unit 272.
  • an image after blur compensation and motion compensation obtained as a result of motion compensation based on a predetermined motion vector in the optimal inter prediction mode is supplied to the predicted image selection unit 76 as an inter predicted image.
  • control unit 274 predicts a motion vector when the difference from the difference calculating unit 273 is minimum as a motion vector of an image to be inter-predicted. Then, the control unit 274 supplies the motion vector information, the reference frame information, the optimal inter prediction mode, and the like to the lossless encoding unit 164.
  • the blur motion prediction / compensation unit 261 performs blur compensation and motion compensation, and selects an image with the smallest difference from the image to be inter predicted from among the images obtained as a result as the inter prediction image. . That is, the blur motion prediction / compensation unit 261 simultaneously performs blur prediction / compensation processing and motion prediction / compensation processing. Therefore, an image in which the combination of the blur compensation and the motion compensation is optimal can be used as the inter prediction image. As a result, the prediction accuracy of inter prediction can be further improved.
  • the image coding device 251 performs blur motion prediction / compensation processing that performs motion prediction / compensation processing for all candidate inter prediction modes simultaneously with the blur prediction / compensation processing, but after the blur prediction / compensation processing Motion prediction / compensation processing of all candidate inter prediction modes may be performed.
  • the image coding apparatus in this case is configured by exchanging the motion prediction / compensation unit 161 and the blur prediction / compensation unit 162 in the image coding apparatus 151 of FIG.
  • motion prediction / compensation processing can be performed using an image after blur compensation, the prediction accuracy of inter prediction is improved compared to when blur prediction / compensation processing is performed after motion prediction / compensation processing. be able to.
  • the motion prediction / compensation process functions to improve the quality of motion prediction / compensation, so that the prediction accuracy of inter prediction can be improved.
  • the inter predicted image corresponding to the motion vector unrelated to the motion of the subject or the intra predicted image is adopted as the predicted image, and the quality of the predicted image generally deteriorates.
  • the image used for the blur prediction / compensation processing is an image after motion compensation, It is easy to predict blur.
  • the encoding process of FIG. 23 is different from the encoding process of FIG. 15 mainly in that the process of step S223 of FIG. 23 is provided instead of the steps S23 to S25 of FIG. Therefore, only step S223 will be described in detail below.
  • step S223 the blur motion prediction / compensation unit 261 performs motion blur prediction / compensation processing on the image supplied from the switch 73. Details of the motion blur prediction / compensation processing will be described with reference to FIG. 24 described later.
  • step S241 Whether the control unit 274 (FIG. 22) of the blur motion prediction / compensation unit 261 has set all the blur information of the blur information set in advance as the blur information B to be supplied to the blur filter 271 in step S241 Determine if. If it is determined in step S241 that not all the blur information among the blur information set in advance is set as the blur information B, the process proceeds to step S242.
  • step S 242 the control unit 274 sets blur information not set as blur information B as blur information B and supplies the blur information 271 to the blur filter 271.
  • step S 243 the blur filter 271 performs blur compensation by filtering the image supplied from the switch 73 using the filter coefficient corresponding to the blur information B supplied from the control unit 274. The blur filter 271 supplies the image after blur compensation obtained as a result to the motion compensation unit 272.
  • step S244 the control unit 274 sets a motion vector not set yet for the blur information B among the motion vectors set in advance as a motion vector MV to be supplied to the motion compensation unit 272, The signal is supplied to the compensation unit 272. Also, at this time, the control unit 274 sequentially supplies all the candidate inter prediction modes to the motion compensation unit 272.
  • step S245 in each inter prediction mode sequentially supplied from control unit 274, motion compensation unit 272 applies to the image after blur compensation supplied from blur filter 271 based on motion vector MV from control unit 274. Motion compensation. Then, the motion compensation unit 272 supplies the image obtained after the blur compensation and the motion compensation to the difference calculation unit 273.
  • step S246 the difference calculation unit 273 obtains a difference between the image to be inter predicted supplied from the screen rearrangement buffer 62 and the image after blur compensation and motion compensation supplied from the motion compensation unit 272, and the control unit 274. Supply to
  • control unit 274 determines whether the difference obtained in step S246 is smaller than the difference held in the built-in memory (not shown). If it is determined in step S247 that the difference obtained in step S246 is smaller than the difference held in the built-in memory (not shown), the process proceeds to step S248. However, even when the difference obtained in step S246 is the difference obtained in the first step S246, the process proceeds to step S248.
  • control unit 274 stores the current blur information B, motion vector MV, the difference obtained in step S246, and the inter prediction mode corresponding to the difference in a memory (not shown).
  • the processing proceeds to step S249.
  • the processes of steps S247 and S248 are performed for each inter prediction mode.
  • step S247 when it is determined in step S247 that the difference obtained in step S246 is not smaller than the held difference, the process skips step S248 and proceeds to step S249.
  • step S249 the control unit 274 determines whether all the motion vectors among the motion vectors set in advance have been set as the motion vector MV.
  • step S249 If it is determined in step S249 that not all motion vectors among the motion vectors set in advance have been set as the motion vector MV, the process returns to step S244, and the subsequent processes are repeated.
  • step S249 When it is determined in step S249 that all motion vectors among the motion vectors set in advance are set as the motion vector MV, the process returns to step S241, and the subsequent processes are repeated.
  • step S241 when it is determined in step S241 that all the blur information of the blur information set in advance is set as the blur information B, the process proceeds to step S250.
  • control unit 274 determines the inter prediction mode held in the built-in memory (not shown) as the optimal inter prediction mode.
  • step S251 the control unit 274 outputs the blur information held in the built-in memory (not shown) as the blur information B to the blur filter 271 and is optimal with the motion vector as the motion vector MV held.
  • the inter prediction mode is output to the motion compensation unit 272.
  • step S252 the blur filter 271 performs blur compensation on the image supplied from the switch 73 by using the filter coefficient corresponding to the blur information B supplied from the control unit 274 in step S251. .
  • the blur filter 271 supplies the image after blur compensation obtained as a result to the motion compensation unit 272.
  • step S253 the motion compensation unit 272 performs motion compensation on the blur-compensated image supplied from the blur filter 271 based on the motion vector MV supplied from the control unit 274 in step S251. Then, the motion compensation unit 272 supplies the image obtained after the blur compensation and the motion compensation to the predicted image selection unit 76 as an inter predicted image. At this time, the motion compensation unit 272 calculates the cost function value of the inter prediction image, and supplies the cost function value to the prediction image selection unit 76. Thereafter, the process returns to step S223 of FIG. 23 and proceeds to step S224.
  • the compressed information encoded by the image encoding device 251 as described above is transmitted through a predetermined transmission path and decoded by the image decoding device.
  • FIG. 25 shows a configuration example of such an image decoding apparatus.
  • FIG. 25 Of the components shown in FIG. 25, the same components as those in FIGS. 5 and 17 are designated by the same reference numerals. Duplicate descriptions will be omitted as appropriate.
  • the configuration of the image decoding apparatus 281 in FIG. 25 is mainly provided with a blur motion prediction / compensation unit 282 instead of the motion prediction / compensation unit 122 and the lossless decoding unit 112 and a blur motion prediction / compensation unit 282 and a lossless decoding unit 211. Differs from the configuration of FIG.
  • the blur motion prediction / compensation unit 282 of the image decoding device 281 in FIG. 25 includes information obtained by losslessly decoding the header portion (information representing the optimal inter prediction mode, motion vector information, reference frame information, And blur information etc. are supplied from the lossless decoding unit 211.
  • the blur motion prediction / compensation unit 282 blurs the image as a reference image supplied from the switch 120 based on the information indicating the optimal inter prediction mode, motion vector information, reference frame information, and blur information. Perform compensation processing (details will be described later).
  • the blur motion prediction / compensation unit 282 supplies the image after blur compensation and motion compensation obtained as a result thereof to the computation unit 115 via the switch 123 as an inter prediction image.
  • the blur motion compensation processing is processing for performing motion compensation in a predetermined inter prediction mode simultaneously with blur compensation.
  • FIG. 26 shows a detailed configuration example of the blur motion prediction / compensation unit 282 in FIG.
  • the blur motion prediction / compensation unit 282 shown in FIG. 26 includes a blur filter 291 and a motion compensation unit 292.
  • the blur filter 291 performs blur compensation by filtering the image as the reference image supplied from the switch 120 using the filter coefficient corresponding to the blur information supplied from the lossless decoding unit 211. Then, the blur filter 291 supplies the resultant image after blur compensation to the motion compensation unit 292.
  • the motion compensation unit 292 performs motion compensation on the blur-compensated image from the blur filter 291 based on the motion vector information, reference frame information, and information indicating the optimal inter prediction mode supplied from the lossless decoding unit 211. Do.
  • the motion compensation unit 292 supplies the resulting image after blur compensation and motion compensation to the switch 123 as an inter prediction image.
  • step S339 of FIG. 27 is provided instead of steps S139 and S140 of FIG. Therefore, only step S339 will be described in detail below.
  • step S339 the blur motion prediction / compensation unit 282 performs blur motion compensation processing on the image supplied from the switch 120. Details of the blur motion compensation processing will be described with reference to FIG. 28 described later.
  • step S 351 the blur filter 291 of the blur motion prediction / compensation unit 282 performs filtering on the image supplied from the switch 120 using a filter coefficient corresponding to the blur information supplied from the lossless decoding unit 211. , Do blur compensation. Then, the blur filter 291 supplies the resultant image after blur compensation to the motion compensation unit 292.
  • step S 352 the motion compensation unit 292 is in the optimal inter prediction mode represented by the information from the lossless decoding unit 211, and after blur compensation from the blur filter 291 is performed based on the motion vector information and reference frame information supplied together with the information. Perform motion compensation on the image of.
  • the motion compensation unit 292 supplies the resulting image after blur compensation and motion compensation to the switch 123 as an inter prediction image. Then, the process returns to step S339 in FIG. 27 and proceeds to step S341.
  • the filter coefficient is changed according to the blur information, but the filter structure may be changed.
  • the present invention relates to “Video Coding Using Extended Block Sizes”, VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP It is also possible to apply to the extended macroblock size described in Question 16-Contribution 123, Jan 2009.
  • FIG. 29 is a diagram showing an example of the expanded macroblock size.
  • the macroblock size is expanded to 32 ⁇ 32 pixels.
  • a macro block composed of 32 ⁇ 32 pixels divided into 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, and 16 ⁇ 16 pixel blocks (partitions) is shown. It is shown in order.
  • a block composed of 16 ⁇ 16 pixels divided into 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixel blocks is sequentially shown.
  • 8 ⁇ 8 pixel blocks divided into 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixel blocks are sequentially shown from the left .
  • the macro block of 32 ⁇ 32 pixels can be processed in the blocks of 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, and 16 ⁇ 16 pixels shown in the upper part of FIG.
  • the block of 16 ⁇ 16 pixels shown on the right side of the upper row is H.264. Similar to the H.264 / AVC system, processing is possible with blocks of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixels shown in the middle.
  • the block of 8 ⁇ 8 pixels shown on the right side of the middle row is H.264. Similar to the H.264 / AVC system, processing is possible with blocks of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels shown in the lower part.
  • H.264 or less for blocks of 16 ⁇ 16 pixels or less.
  • a larger block is defined as a superset while maintaining compatibility with the H.264 / AVC scheme.
  • the present invention can also be applied to the expanded macroblock size proposed as described above.
  • the H.264 / AVC system is used as the coding system / decoding system, but the present invention relates to an image coding apparatus / image using other coding system / decoding system that performs motion prediction / compensation processing.
  • the present invention can also be applied to a decoding device.
  • the present invention is also applicable to satellite broadcasting, cable TV (television), image information (bit stream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as MPEG, H. 26x, etc.
  • the present invention is applied to an image encoding apparatus and an image decoding apparatus which are used when receiving via the Internet and network media such as mobile phones, or when processing on storage media such as optical disks, magnetic disks, and flash memories. can do.
  • the present invention is particularly effective when processing an image in which the blur changes continuously.
  • the series of processes described above can be performed by hardware or software.
  • various functions may be executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware or various programs.
  • the program is installed from a program storage medium, for example, on a general-purpose personal computer or the like.
  • Program recording media for storing programs installed in a computer and made executable by the computer include a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), and a DVD (Digital Versatile). Disc), a magneto-optical disc, or a removable medium which is a package medium comprising a semiconductor memory or the like, or a ROM, a hard disk, etc. in which a program is temporarily or permanently stored.
  • the program is stored in the program recording medium, as necessary, through an interface such as a router or a modem, using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting.
  • processing performed chronologically along the described order is, of course, processing executed parallelly or individually, even if not necessarily chronologically processing. Is also included.
  • the image coding devices 151 and 251 and the image decoding devices 201 and 281 described above can be applied to any electronic device.
  • the example will be described below.
  • FIG. 30 is a block diagram showing a main configuration example of a television receiver using an image decoding device to which the present invention is applied.
  • the television receiver 300 shown in FIG. 30 includes a terrestrial tuner 313, a video decoder 315, a video signal processing circuit 318, a graphic generation circuit 319, a panel drive circuit 320, and a display panel 321.
  • the terrestrial tuner 313 receives a broadcast wave signal of terrestrial analog broadcasting via an antenna, demodulates it, acquires a video signal, and supplies the video signal to the video decoder 315.
  • the video decoder 315 subjects the video signal supplied from the terrestrial tuner 313 to decoding processing, and supplies the obtained digital component signal to the video signal processing circuit 318.
  • the video signal processing circuit 318 subjects the video data supplied from the video decoder 315 to predetermined processing such as noise removal, and supplies the obtained video data to the graphic generation circuit 319.
  • the graphic generation circuit 319 generates video data of a program to be displayed on the display panel 321, image data by processing based on an application supplied via a network, and the like, and transmits the generated video data and image data to the panel drive circuit 320. Supply.
  • the graphic generation circuit 319 generates video data (graphic) for displaying a screen used by the user for item selection and the like, and a video obtained by superimposing it on video data of a program.
  • a process of supplying data to the panel drive circuit 320 is also appropriately performed.
  • the panel drive circuit 320 drives the display panel 321 based on the data supplied from the graphic generation circuit 319, and causes the display panel 321 to display the video of the program and the various screens described above.
  • the display panel 321 is formed of an LCD (Liquid Crystal Display) or the like, and displays a video of a program or the like according to control of the panel drive circuit 320.
  • LCD Liquid Crystal Display
  • the television receiver 300 also includes an audio A / D (Analog / Digital) conversion circuit 314, an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • an audio A / D (Analog / Digital) conversion circuit 3144 an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • the terrestrial tuner 313 obtains not only the video signal but also the audio signal by demodulating the received broadcast wave signal.
  • the terrestrial tuner 313 supplies the acquired audio signal to the audio A / D conversion circuit 314.
  • the audio A / D conversion circuit 314 performs A / D conversion processing on the audio signal supplied from the terrestrial tuner 313, and supplies the obtained digital audio signal to the audio signal processing circuit 322.
  • the audio signal processing circuit 322 subjects the audio data supplied from the audio A / D conversion circuit 314 to predetermined processing such as noise removal, and supplies the obtained audio data to the echo cancellation / audio synthesis circuit 323.
  • the echo cancellation / voice synthesis circuit 323 supplies the voice data supplied from the voice signal processing circuit 322 to the voice amplification circuit 324.
  • the voice amplification circuit 324 performs D / A conversion processing and amplification processing on voice data supplied from the echo cancellation / voice synthesis circuit 323, adjusts the volume to a predetermined level, and then outputs voice from the speaker 325.
  • the television receiver 300 also includes a digital tuner 316 and an MPEG decoder 317.
  • a digital tuner 316 receives a broadcast wave signal of digital broadcast (terrestrial digital broadcast, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcast) via an antenna, and demodulates the signal, and generates an MPEG-TS (Moving Picture Experts Group). -Transport Stream) and supply it to the MPEG decoder 317.
  • digital broadcast terrestrial digital broadcast, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcast
  • MPEG-TS Motion Picture Experts Group
  • the MPEG decoder 317 unscrambles the MPEG-TS supplied from the digital tuner 316 and extracts a stream including data of a program to be reproduced (targeted to be viewed).
  • the MPEG decoder 317 decodes the audio packet forming the extracted stream, supplies the obtained audio data to the audio signal processing circuit 322, decodes the video packet forming the stream, and outputs the obtained video data as an image.
  • the signal processing circuit 318 is supplied.
  • the MPEG decoder 317 also supplies EPG (Electronic Program Guide) data extracted from the MPEG-TS to the CPU 332 via a path (not shown).
  • EPG Electronic Program Guide
  • the television receiver 300 uses the above-described image decoding devices 201 and 281 as the MPEG decoder 317 that decodes video packets in this manner. Therefore, the MPEG decoder 317 performs not only motion compensation but also blur compensation in inter prediction, as in the case of the image decoding devices 201 and 281. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the video data supplied from the MPEG decoder 317 is subjected to predetermined processing in the video signal processing circuit 318. Then, the graphic data generation circuit 319 appropriately superimposes the generated video data and the like on the video data subjected to the predetermined processing, and is supplied to the display panel 321 via the panel drive circuit 320, and the image is displayed. .
  • the audio data supplied from the MPEG decoder 317 is subjected to predetermined processing in the audio signal processing circuit 322 as in the case of the audio data supplied from the audio A / D conversion circuit 314. Then, the voice data subjected to the predetermined processing is supplied to the voice amplification circuit 324 through the echo cancellation / voice synthesis circuit 323, and subjected to D / A conversion processing and amplification processing. As a result, the sound adjusted to a predetermined volume is output from the speaker 325.
  • the television receiver 300 also includes a microphone 326 and an A / D conversion circuit 327.
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received voice signal, and supplies the obtained digital voice data to the echo cancellation / voice synthesis circuit 323.
  • the echo cancellation / voice synthesis circuit 323 performs echo cancellation on voice data of the user A when voice data of the user (user A) of the television receiver 300 is supplied from the A / D conversion circuit 327. . Then, after the echo cancellation, the echo cancellation / voice synthesis circuit 323 causes the speaker 325 to output voice data obtained by synthesizing with other voice data or the like.
  • the television receiver 300 also includes an audio codec 328, an internal bus 329, a synchronous dynamic random access memory (SDRAM) 330, a flash memory 331, a CPU 332, a universal serial bus (USB) I / F 333 and a network I / F 334.
  • SDRAM synchronous dynamic random access memory
  • USB universal serial bus
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the audio codec 328.
  • the audio codec 328 converts audio data supplied from the A / D conversion circuit 327 into data of a predetermined format for transmission via the network, and supplies the data to the network I / F 334 via the internal bus 329.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335.
  • the network I / F 334 transmits, for example, voice data supplied from the voice codec 328 to other devices connected to the network.
  • the network I / F 334 receives, for example, voice data transmitted from another device connected via the network via the network terminal 335, and transmits it to the voice codec 328 via the internal bus 329. Supply.
  • the voice codec 328 converts voice data supplied from the network I / F 334 into data of a predetermined format, and supplies it to the echo cancellation / voice synthesis circuit 323.
  • the echo cancellation / voice synthesis circuit 323 performs echo cancellation on voice data supplied from the voice codec 328, and combines voice data obtained by combining with other voice data, etc., via the voice amplification circuit 324. Output from the speaker 325.
  • the SDRAM 330 stores various data necessary for the CPU 332 to perform processing.
  • the flash memory 331 stores a program executed by the CPU 332.
  • the program stored in the flash memory 331 is read by the CPU 332 at a predetermined timing such as when the television receiver 300 starts up.
  • the flash memory 331 also stores EPG data acquired via digital broadcasting, data acquired from a predetermined server via a network, and the like.
  • the flash memory 331 stores an MPEG-TS including content data acquired from a predetermined server via the network under the control of the CPU 332.
  • the flash memory 331 supplies the MPEG-TS to the MPEG decoder 317 via the internal bus 329 under the control of the CPU 332, for example.
  • the MPEG decoder 317 processes the MPEG-TS as in the case of the MPEG-TS supplied from the digital tuner 316. As described above, the television receiver 300 receives content data including video and audio via the network, decodes the content data using the MPEG decoder 317, and displays the video or outputs audio. Can.
  • the television receiver 300 also includes a light receiving unit 337 that receives an infrared signal transmitted from the remote controller 351.
  • the light receiving unit 337 receives the infrared light from the remote controller 351, and outputs a control code representing the content of the user operation obtained by demodulation to the CPU 332.
  • the CPU 332 executes a program stored in the flash memory 331 and controls the overall operation of the television receiver 300 in accordance with a control code or the like supplied from the light receiving unit 337.
  • the CPU 332 and each part of the television receiver 300 are connected via a path (not shown).
  • the USB I / F 333 transmits and receives data to and from an external device of the television receiver 300, which is connected via a USB cable attached to the USB terminal 336.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335, and transmits and receives data other than voice data to and from various devices connected to the network.
  • the television receiver 300 can perform inter prediction more accurately by using the image decoding devices 201 and 281 as the MPEG decoder 317, and can improve the quality of the inter predicted image. As a result, the television receiver 300 can obtain and display a higher-definition decoded image from a broadcast wave signal received via an antenna or content data acquired via a network.
  • FIG. 31 is a block diagram showing a main configuration example of a mobile phone using the image encoding device and the image decoding device to which the present invention is applied.
  • a mobile phone 400 shown in FIG. 31 includes a main control unit 450, a power supply circuit unit 451, an operation input control unit 452, an image encoder 453, a camera I / F unit 454, and an LCD control configured to control each unit in an integrated manner.
  • a section 455, an image decoder 456, a demultiplexing section 457, a recording / reproducing section 462, a modulation / demodulation circuit section 458, and an audio codec 459 are included. These are connected to one another via a bus 460.
  • the mobile phone 400 further includes an operation key 419, a CCD (Charge Coupled Devices) camera 416, a liquid crystal display 418, a storage unit 423, a transmission / reception circuit unit 463, an antenna 414, a microphone (microphone) 421, and a speaker 417.
  • a CCD Charge Coupled Devices
  • the power supply circuit unit 451 activates the cellular phone 400 to an operable state by supplying power from the battery pack to each unit.
  • the mobile phone 400 transmits and receives audio signals, transmits and receives e-mails and image data, and images in various modes such as a voice call mode and a data communication mode based on the control of the main control unit 450 including CPU, ROM and RAM. Perform various operations such as shooting or data recording.
  • the portable telephone 400 converts an audio signal collected by the microphone (microphone) 421 into digital audio data by the audio codec 459, spread spectrum processes it by the modulation / demodulation circuit unit 458, and transmits / receives A section 463 performs digital-to-analog conversion processing and frequency conversion processing.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (voice signal) transmitted to the base station is supplied to the mobile phone of the other party via the public telephone network.
  • the cellular phone 400 amplifies the reception signal received by the antenna 414 by the transmission / reception circuit unit 463 and further performs frequency conversion processing and analog-to-digital conversion processing, and the modulation / demodulation circuit unit 458 performs spectrum despreading processing. And converted into an analog voice signal by the voice codec 459.
  • the portable telephone 400 outputs the analog audio signal obtained by the conversion from the speaker 417.
  • the cellular phone 400 when transmitting an e-mail in the data communication mode, receives the text data of the e-mail input by the operation of the operation key 419 in the operation input control unit 452.
  • the portable telephone 400 processes the text data in the main control unit 450, and causes the liquid crystal display 418 to display the text data as an image through the LCD control unit 455.
  • the mobile phone 400 causes the main control unit 450 to generate e-mail data based on the text data accepted by the operation input control unit 452, the user instruction, and the like.
  • the portable telephone 400 performs spread spectrum processing on the electronic mail data by the modulation / demodulation circuit unit 458, and performs digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 463.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (e-mail) transmitted to the base station is supplied to a predetermined destination via a network, a mail server, and the like.
  • the cellular phone 400 when receiving an e-mail in the data communication mode, receives and amplifies the signal transmitted from the base station by the transmission / reception circuit unit 463 via the antenna 414, and further performs frequency conversion processing and Perform analog-to-digital conversion processing.
  • the portable telephone 400 despreads the received signal by the modulation / demodulation circuit unit 458 to restore the original electronic mail data.
  • the portable telephone 400 displays the restored electronic mail data on the liquid crystal display 418 via the LCD control unit 455.
  • the cellular phone 400 can also record (store) the received electronic mail data in the storage unit 423 via the recording / reproducing unit 462.
  • the storage unit 423 is an arbitrary rewritable storage medium.
  • the storage unit 423 may be, for example, a semiconductor memory such as a RAM or a built-in flash memory, or may be a hard disk, or a removable such as a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card It may be media. Of course, it may be something other than these.
  • the cellular phone 400 when transmitting image data in the data communication mode, the cellular phone 400 generates image data with the CCD camera 416 by imaging.
  • the CCD camera 416 has an optical device such as a lens and an aperture, and a CCD as a photoelectric conversion element, picks up an object, converts the intensity of received light into an electrical signal, and generates image data of an image of the object.
  • the image data is converted into encoded image data by compression encoding through a camera I / F unit 454 by an image encoder 453 according to a predetermined encoding method such as MPEG2 or MPEG4.
  • the cellular phone 400 uses the above-described image encoding devices 151 and 251 as the image encoder 453 that performs such processing. Therefore, as in the case of the image coding devices 151 and 251, the image encoder 453 performs not only motion compensation but also blur compensation in inter prediction. As a result, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately to improve the quality of the inter predicted image.
  • the portable telephone 400 analog-digital-converts the sound collected by the microphone (microphone) 421 during imaging by the CCD camera 416 in the audio codec 459, and further encodes it.
  • the cellular phone 400 multiplexes the encoded image data supplied from the image encoder 453 and the digital audio data supplied from the audio codec 459 according to a predetermined scheme in the demultiplexing unit 457.
  • the modulation / demodulation circuit unit 458 performs spread spectrum processing on the multiplexed data obtained as a result
  • the transmission / reception circuit unit 463 performs digital-to-analog conversion processing and frequency conversion processing.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (image data) transmitted to the base station is supplied to the other party of communication via a network or the like.
  • the mobile phone 400 can also display the image data generated by the CCD camera 416 on the liquid crystal display 418 via the LCD control unit 455 without the image encoder 453.
  • the portable telephone 400 transmits the signal transmitted from the base station to the transmitting / receiving circuit unit 463 via the antenna 414. Receive, amplify, and perform frequency conversion and analog-to-digital conversion.
  • the portable telephone 400 despreads the received signal in the modulation / demodulation circuit unit 458 to restore the original multiplexed data.
  • the cellular phone 400 demultiplexes the multiplexed data in the demultiplexing unit 457 and divides it into encoded image data and audio data.
  • the cellular phone 400 decodes the encoded image data in the image decoder 456 by a decoding method corresponding to a predetermined encoding method such as MPEG2 or MPEG4 to generate reproduction moving image data, and performs LCD control
  • the image is displayed on the liquid crystal display 418 via the unit 455.
  • moving image data included in a moving image file linked to the simplified home page is displayed on the liquid crystal display 418.
  • the cellular phone 400 uses the above-described image decoding devices 201 and 281 as the image decoder 456 that performs such processing. Therefore, as in the case of the image decoding devices 201 and 281, the image decoder 456 performs not only motion compensation but also blur compensation in inter prediction. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the portable telephone 400 simultaneously converts digital audio data into an analog audio signal in the audio codec 459 and outputs the analog audio signal from the speaker 417.
  • audio data included in a moving image file linked to the simple homepage is reproduced.
  • the portable telephone 400 can also record (store) the data linked to the received simple homepage or the like in the storage unit 423 via the recording / reproducing unit 462 .
  • the main control unit 450 can analyze the two-dimensional code obtained by the CCD camera 416 by the main control unit 450, and obtain the information recorded in the two-dimensional code.
  • the cellular phone 400 can communicate with an external device by infrared rays through the infrared communication unit 481.
  • the cellular phone 400 can improve the encoding efficiency of encoded data generated by encoding image data generated by the CCD camera 416, for example. .
  • the cellular phone 400 can provide encoded data (image data) with high encoding efficiency to other devices.
  • the cellular phone 400 can generate a predicted image with high accuracy.
  • the mobile telephone 400 can obtain and display a higher definition decoded image from, for example, a moving image file linked to a simple homepage.
  • CMOS image sensor CMOS image sensor
  • CMOS complementary metal oxide semiconductor
  • the mobile phone 400 has been described above, for example, an imaging function similar to that of the mobile phone 400 such as a PDA (Personal Digital Assistants), a smartphone, a UMPC (Ultra Mobile Personal Computer), a netbook, a notebook personal computer, etc.
  • the image encoding device 151, 251 and the image decoding device 201, 281 can be applied to any device having a communication function as in the case of the portable telephone 400, regardless of the device.
  • FIG. 32 is a block diagram showing a main configuration example of a hard disk recorder using an image encoding device and an image decoding device to which the present invention is applied.
  • a hard disk recorder (HDD recorder) 500 shown in FIG. 32 receives audio data and video data of a broadcast program included in a broadcast wave signal (television signal) transmitted by a satellite, a ground antenna, etc., received by a tuner. And an apparatus for storing the stored data in a built-in hard disk and providing the stored data to the user at a timing according to the user's instruction.
  • a broadcast wave signal television signal
  • the hard disk recorder 500 can, for example, extract audio data and video data from a broadcast wave signal, appropriately decode them, and store them in a built-in hard disk.
  • the hard disk recorder 500 can also acquire audio data and video data from another device via a network, decode these as appropriate, and store them in a built-in hard disk, for example.
  • the hard disk recorder 500 decodes audio data and video data recorded in, for example, a built-in hard disk, supplies the decoded data to the monitor 560, and displays the image on the screen of the monitor 560.
  • the hard disk recorder 500 can output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 decodes, for example, a monitor 560 by decoding audio data and video data extracted from a broadcast wave signal acquired through a tuner, or audio data or video data acquired from another device through a network. To display the image on the screen of the monitor 560.
  • the hard disk recorder 500 can also output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 includes a reception unit 521, a demodulation unit 522, a demultiplexer 523, an audio decoder 524, a video decoder 525, and a recorder control unit 526.
  • the hard disk recorder 500 further includes an EPG data memory 527, a program memory 528, a work memory 529, a display converter 530, an OSD (On Screen Display) control unit 531, a display control unit 532, a recording / reproducing unit 533, a D / A converter 534, And a communication unit 535.
  • the display converter 530 also has a video encoder 541.
  • the recording and reproducing unit 533 has an encoder 551 and a decoder 552.
  • the receiving unit 521 receives an infrared signal from a remote controller (not shown), converts the signal into an electrical signal, and outputs the signal to the recorder control unit 526.
  • the recorder control unit 526 is, for example, a microprocessor or the like, and executes various processes in accordance with the program stored in the program memory 528. At this time, the recorder control unit 526 uses the work memory 529 as necessary.
  • a communication unit 535 is connected to the network and performs communication processing with another device via the network.
  • the communication unit 535 is controlled by the recorder control unit 526, communicates with a tuner (not shown), and mainly outputs a tuning control signal to the tuner.
  • the demodulation unit 522 demodulates the signal supplied from the tuner and outputs the signal to the demultiplexer 523.
  • the demultiplexer 523 separates the data supplied from the demodulation unit 522 into audio data, video data, and EPG data, and outputs the data to the audio decoder 524, the video decoder 525, or the recorder control unit 526, respectively.
  • the audio decoder 524 decodes the input audio data according to, for example, the MPEG method, and outputs the decoded audio data to the recording / reproducing unit 533.
  • the video decoder 525 decodes the input video data, for example, according to the MPEG system, and outputs the decoded video data to the display converter 530.
  • the recorder control unit 526 supplies the input EPG data to the EPG data memory 527 for storage.
  • the display converter 530 causes the video encoder 541 to encode video data supplied from the video decoder 525 or the recorder control unit 526 into video data of, for example, a National Television Standards Committee (NTSC) system, and outputs the video data to the recording / reproducing unit 533. Also, the display converter 530 converts the size of the screen of video data supplied from the video decoder 525 or the recorder control unit 526 into a size corresponding to the size of the monitor 560. The display converter 530 further converts video data whose screen size has been converted into video data of the NTSC system by the video encoder 541, converts it into an analog signal, and outputs it to the display control unit 532.
  • NTSC National Television Standards Committee
  • the display control unit 532 Under the control of the recorder control unit 526, the display control unit 532 superimposes the OSD signal output from the OSD (On Screen Display) control unit 531 on the video signal input from the display converter 530, and displays it on the display of the monitor 560. Output and display.
  • OSD On Screen Display
  • the audio data output from the audio decoder 524 is also converted to an analog signal by the D / A converter 534 and supplied to the monitor 560.
  • the monitor 560 outputs this audio signal from the built-in speaker.
  • the recording and reproducing unit 533 includes a hard disk as a storage medium for recording video data, audio data, and the like.
  • the recording / reproducing unit 533 encodes, for example, audio data supplied from the audio decoder 524 by the encoder 551 according to the MPEG system. Further, the recording / reproducing unit 533 encodes the video data supplied from the video encoder 541 of the display converter 530 by the encoder 551 in the MPEG system. The recording / reproducing unit 533 combines the encoded data of the audio data and the encoded data of the video data by the multiplexer. The recording / reproducing unit 533 channel-codes and amplifies the synthesized data, and writes the data to the hard disk via the recording head.
  • the recording and reproducing unit 533 reproduces and amplifies the data recorded on the hard disk via the reproducing head, and separates the data into audio data and video data by the demultiplexer.
  • the recording / reproducing unit 533 decodes the audio data and the video data by the decoder 552 according to the MPEG system.
  • the recording / reproducing unit 533 D / A converts the decoded audio data, and outputs the D / A to the speaker of the monitor 560. Also, the recording / reproducing unit 533 D / A converts the decoded video data, and outputs it to the display of the monitor 560.
  • the recorder control unit 526 reads the latest EPG data from the EPG data memory 527 based on the user instruction indicated by the infrared signal from the remote controller received via the reception unit 521, and supplies it to the OSD control unit 531. Do.
  • the OSD control unit 531 generates image data corresponding to the input EPG data, and outputs the image data to the display control unit 532.
  • the display control unit 532 outputs the video data input from the OSD control unit 531 to the display of the monitor 560 for display. Thereby, an EPG (Electronic Program Guide) is displayed on the display of the monitor 560.
  • EPG Electronic Program Guide
  • the hard disk recorder 500 can also acquire various data such as video data, audio data, or EPG data supplied from another device via a network such as the Internet.
  • the communication unit 535 is controlled by the recorder control unit 526, acquires encoded data such as video data, audio data, and EPG data transmitted from another device via the network, and supplies the encoded data to the recorder control unit 526. Do.
  • the recorder control unit 526 supplies, for example, the acquired encoded data of video data and audio data to the recording and reproduction unit 533, and causes the hard disk to store the data. At this time, the recorder control unit 526 and the recording / reproducing unit 533 may perform processing such as re-encoding as needed.
  • the recorder control unit 526 decodes the acquired encoded data of video data and audio data, and supplies the obtained video data to the display converter 530.
  • the display converter 530 processes the video data supplied from the recorder control unit 526 in the same manner as the video data supplied from the video decoder 525, supplies it to the monitor 560 via the display control unit 532, and displays the image. .
  • the recorder control unit 526 may supply the decoded audio data to the monitor 560 via the D / A converter 534 and output the sound from the speaker.
  • the recorder control unit 526 decodes the acquired encoded data of the EPG data, and supplies the decoded EPG data to the EPG data memory 527.
  • the hard disk recorder 500 as described above uses the image decoding devices 201 and 281 as decoders incorporated in the video decoder 525, the decoder 552, and the recorder control unit 526. Therefore, the decoders incorporated in the video decoder 525, the decoder 552, and the recorder control unit 526 perform not only motion compensation but also blur compensation in inter prediction as in the case of the image decoding devices 201 and 281. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the hard disk recorder 500 can generate a highly accurate predicted image.
  • the hard disk recorder 500 acquires, for example, coded data of video data received through the tuner, coded data of video data read from the hard disk of the recording / reproducing unit 533, or the network From the encoded data of the video data, it is possible to obtain a more precise decoded image and display it on the monitor 560.
  • the hard disk recorder 500 uses the image coding devices 151 and 251 as the encoder 551. Therefore, as in the case of the image coding devices 151 and 251, the encoder 551 performs not only motion compensation but also blur compensation in inter prediction. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the hard disk recorder 500 can improve, for example, the coding efficiency of the coded data to be recorded on the hard disk. As a result, the hard disk recorder 500 can use the storage area of the hard disk more efficiently.
  • the hard disk recorder 500 for recording video data and audio data on a hard disk has been described, but of course, any recording medium may be used.
  • a recording medium other than a hard disk such as a flash memory, an optical disk, or a video tape
  • the image encoding device 151, 251 and the image decoding device 201, 281 Can be applied.
  • FIG. 33 is a block diagram showing a principal configuration example of an image decoding device to which the present invention is applied and a camera using the image coding device.
  • the camera 600 shown in FIG. 33 captures an object, displays an image of the object on the LCD 616, or records it as image data in the recording medium 633.
  • the lens block 611 causes light (that is, an image of an object) to be incident on the CCD / CMOS 612.
  • the CCD / CMOS 612 is an image sensor using a CCD or CMOS, converts the intensity of the received light into an electric signal, and supplies the electric signal to the camera signal processing unit 613.
  • the camera signal processing unit 613 converts the electric signal supplied from the CCD / CMOS 612 into color difference signals of Y, Cr and Cb, and supplies the color difference signals to the image signal processing unit 614.
  • the image signal processing unit 614 performs predetermined image processing on the image signal supplied from the camera signal processing unit 613 under the control of the controller 621, or encodes the image signal by the encoder 641 according to, for example, the MPEG method. Do.
  • the image signal processing unit 614 supplies the encoded data generated by encoding the image signal to the decoder 615. Further, the image signal processing unit 614 obtains display data generated in the on-screen display (OSD) 620 and supplies the display data to the decoder 615.
  • OSD on-screen display
  • the camera signal processing unit 613 appropriately uses a dynamic random access memory (DRAM) 618 connected via the bus 617, and as necessary, image data and a code obtained by encoding the image data. Data in the DRAM 618.
  • DRAM dynamic random access memory
  • the decoder 615 decodes the encoded data supplied from the image signal processing unit 614, and supplies the obtained image data (decoded image data) to the LCD 616. Also, the decoder 615 supplies the display data supplied from the image signal processing unit 614 to the LCD 616. The LCD 616 appropriately composites the image of the decoded image data supplied from the decoder 615 and the image of the display data, and displays the composite image.
  • the on-screen display 620 Under the control of the controller 621, the on-screen display 620 outputs display data such as a menu screen or an icon including symbols, characters, or figures to the image signal processing unit 614 via the bus 617.
  • the controller 621 executes various processing based on a signal indicating the content instructed by the user using the operation unit 622, and also, through the bus 617, the image signal processing unit 614, the DRAM 618, the external interface 619, the on-screen display And control the media drive 623 and the like.
  • the FLASH ROM 624 stores programs, data, and the like necessary for the controller 621 to execute various processes.
  • the controller 621 can encode image data stored in the DRAM 618 or decode encoded data stored in the DRAM 618, instead of the image signal processing unit 614 and the decoder 615.
  • the controller 621 may perform encoding / decoding processing by a method similar to the encoding / decoding method of the image signal processing unit 614 or the decoder 615, or the image signal processing unit 614 or the decoder 615 is compatible.
  • the encoding / decoding process may be performed by a method that is not performed.
  • the controller 621 reads out image data from the DRAM 618 and supplies it to the printer 634 connected to the external interface 619 via the bus 617. Print it.
  • the controller 621 reads the encoded data from the DRAM 618 and supplies it to the recording medium 633 attached to the media drive 623 via the bus 617.
  • the recording medium 633 is, for example, any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium 633 is, of course, optional as a removable medium, and may be a tape device, a disk, or a memory card. Of course, it may be a noncontact IC card or the like.
  • media drive 623 and the recording medium 633 may be integrated, and may be configured by a non-portable storage medium, such as a built-in hard disk drive or a solid state drive (SSD).
  • SSD solid state drive
  • the external interface 619 includes, for example, a USB input / output terminal, and is connected to the printer 634 when printing an image.
  • a drive 631 is connected to the external interface 619 as necessary, a removable medium 632 such as a magnetic disk, an optical disk, or a magneto-optical disk is appropriately mounted, and a computer program read from them is used as necessary. And installed in the FLASH ROM 624.
  • the external interface 619 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the controller 621 can read encoded data from the DRAM 618 according to an instruction from the operation unit 622, for example, and can supply it from the external interface 619 to another device connected via a network.
  • the controller 621 acquires encoded data and image data supplied from another device via the network via the external interface 619, holds the data in the DRAM 618, and supplies it to the image signal processing unit 614.
  • the camera 600 as described above uses the image decoding devices 201 and 281 as the decoder 615. Therefore, the decoder 615 performs not only motion compensation but also blur compensation in inter prediction, as in the case of the image decoding devices 201 and 281. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the camera 600 can generate a highly accurate predicted image.
  • the camera 600 may encode, for example, image data generated by the CCD / CMOS 612, encoded data of video data read from the DRAM 618 or the recording medium 633, or video data acquired via a network. From the data, a higher resolution decoded image can be obtained and displayed on the LCD 616.
  • the camera 600 uses the image coding devices 151 and 251 as the encoder 641. Therefore, the encoder 641 performs not only motion compensation but also blur compensation in inter prediction, as in the case of the image coding devices 151 and 251. Thereby, even when blurring occurs or disappears between the image to be inter predicted and the reference image, the inter prediction can be performed more accurately, and the quality of the image after inter prediction can be improved.
  • the camera 600 can improve, for example, the coding efficiency of coded data to be recorded on a hard disk. As a result, the camera 600 can use the storage area of the DRAM 618 and the recording medium 633 more efficiently.
  • the decoding method of the image decoding devices 201 and 281 may be applied to the decoding process performed by the controller 621.
  • the encoding method of the image encoding device 151 or 251 may be applied to the encoding process performed by the controller 621.
  • the image data captured by the camera 600 may be a moving image or a still image.
  • image encoding devices 151 and 251 and the image decoding devices 201 and 281 can be applied to devices and systems other than the devices described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明は、インター予測画像の品質を向上させることができる画像処理装置および画像処理方法、並びにプログラムに関する。 　演算部１１５は、逆直交変換部１１４から供給される逆直交変換後の変換係数を、スイッチ２１４から供給されるインター予測画像と加算して復号する。動き予測・補償部２１２は、圧縮画像に対応して画像符号化装置より送信されてくる、画像間のボケの変化を表すボケ情報に基づいて、復号された画像に対して動き補償を行う。ボケ予測・補償部２１３は、その動き補償後の画像に対してボケ補償を行い、その結果得られる動き補償およびボケ補償が行われた画像をインター予測画像として、スイッチ２１４に供給する。本発明は、例えば、H.264/AVC方式で復号する画像復号装置に適用することができる。

Description

画像処理装置および画像処理方法、並びにプログラム
　本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、インター予測による予測画像の品質を向上させることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号化する装置が普及しつつある。
　特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　このMPEG2は主として放送用に適合する高画質符号化を対象としており、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。
　更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264及びMPEG-4 Part10 （Advanced Video Coding、以下ＡＶＣと称する）という名で国際標準となっている。
　ところで、H.264/AVCなどにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。そして、このインター予測で行われる動き補償処理では、参照画像内の一部の領域である動き補償ブロックを平行移動させることにより、インター予測による予測画像（以下、インター予測画像という）が生成される。具体的には、動き補償ブロック内の画素値を、フレームまたはフィールド間の動きを表す動きベクトルに応じて平行移動させることにより、インター予測画像が生成される。
　例えば、図１のＡに示すように、ｔ－１番目のフレームの画像内の顔１１が、ｔ番目のフレームの画像において右側に平行移動している場合、動き補償処理では、図１のＢに示すように、ｔ－１番目のフレームの画像が参照画像とされ、右方向を表す動きベクトルが求められる。そして、図１のＢに示すように、参照画像内の顔１１を含む動き補償ブロック１２が、動きベクトルに対応して右側に平行移動された画像が、ｔ番目のフレームのインター予測画像として生成される。
　なお、図１では、説明を簡単にするため、ｔ－１番目とｔ番目のフレームの２つのフレームの画像を用いてインター予測が行われるものとしたが、実際に用いられる画像のフレーム数は２フレームに限らない。
　また、H.264/AVCなどでは、動き補償処理において、動きベクトルの分解能を２分の１または４分の１といった分数精度に向上させることが考えられている。
　このような分数精度の動き補償処理においては、隣接する画素の間に、Ｓｕｂ－Ｐｅｌと呼ばれる仮想的な画素を設定し、そのＳｕｂ－Ｐｅｌを生成する処理（以下、インターポーレーションという）が追加して行われる。
　インターポーレーションには、例えば有限インパルス応答（ＦＩＲ（Finit-duration Impulse Response））フィルタが用いられる。このＦＩＲフィルタは隣接する画素どうしの間を内挿するものであるため、ＦＩＲフィルタのタップ数は偶数となる。例えば、H.264/AVCでは、１／２の分数精度の動き補償処理におけるＦＩＲフィルタのタップ数は６タップ、１／４の分数精度の動き補償処理におけるＦＩＲフィルタのタップ数は２タップとなる。
　しかしながら、ＦＩＲフィルタを用いた分数精度の動き補償処理では、インターポーレーションが追加して行われるだけであり、整数精度の動き補償処理と同様に動き補償ブロックを平行移動させることにより、インター予測画像が生成される。
　また、非特許文献１および２には、最近の研究報告として、アダプティブ・インターポーレーション・フィルタ（ＡＩＦ）が挙げられている。このＡＩＦを用いた動き補償処理では、インターポーレーションで用いられるタップ数が偶数のＦＩＲフィルタのフィルタ係数を適応的に変えることで、エイリアシングの影響を低減し、動き補償の誤差を小さくすることができる。
　しかしながら、ＡＩＦを用いた分数精度の動き補償処理では、インターポーレーションがＦＩＲフィルタのフィルタ係数を適応的に変化させて行われるだけであり、整数精度の動き補償と同様に動き補償ブロックを平行移動させることにより、インター予測画像が生成される。
　以上のように、整数精度の動き補償処理、および、ＦＩＲフィルタまたはＡＩＦを用いた分数精度の動き補償処理は、画像間の変化が平行移動によって表現できる場合を想定している。
Thomas Wedi and Hans Georg Musmann,Motion- and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, July 2003, Vol.13, No.7 Yuri Vatis, Joern Ostermann,Prediction of P- and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006
　しかしながら、実際には、撮像された画像間の変化は平行移動だけでは表現することができない。例えば、フォーカスが合った状態から外れたり、逆にフォーカスが外れた状態から合ったり、物体が加速度運動したりするなどといった様々な要因で、画像間でボケの量が変化することがある。なお、ここでは、ボケとは、画像内の物体の位置が曖昧になることをいい、ボケがなければ点状の光として画像に現れていたものが、ボケがあると広がりを持った光として画像に現れる。
　このようなボケが発生すると、画像の高周波成分が失われるが、平行移動では、周波数特性の変化を表現することができない。そのため、画像間でボケの変化が生じている場合に、上述した動き補償処理を用いてインター予測が行われると、インター予測画像と符号化対象の画像の間で画素値の差分が生じる。そして、この差分は符号化対象の画像に対するインター予測画像のピーク信号雑音比（ＰＳＮＲ）を悪化させる。
　例えば、図２に示すように、ｔ－１番目のフレームとｔ番目のフレームの入力画像の間で、フォーカスの合った状態から外れた状態に変化した場合、ｔ－１番目のフレームの入力画像内のボケのない顔２１は、ｔ番目のフレームの入力画像においてボケのある顔２２となる。なお、図２では、輪郭線を太くすることでボケを表している。また、図２の例では、説明を簡単にするため、顔２１の移動がないものとする。
　この場合、顔２１についての動きベクトルは０となるため、図２に示すように、ｔ－１番目のフレームの入力画像を参照画像として、符号化対象のｔ番目のフレームのインター予測が行われると、ｔ番目のフレームのインター予測画像は、参照画像と同一となる。即ち、ｔ番目のフレームのインター予測画像内の顔は、ｔ－１番目のフレームの入力画像内のボケのない顔２１と同一となる。
　従って、ｔ番目のフレームのインター予測画像と入力画像の間で、顔２２と顔２１の画素値の差分だけ画素値に差分が生じ、ｔ番目のフレームの入力画像に対するインター予測画像のＰＳＮＲは悪化する。即ち、図２に示すように、ｔ番目のフレームのインター予測画像と入力画像の差分画像は、顔２２と顔２１の差分として、顔２１の輪郭部分２３が残った画像となる。
　なお、図２の例では、顔２１の移動がないものとしたが、顔２１の移動がある場合であっても同様に、ｔ番目のフレームのインター予測画像と入力画像の間で、顔２２と顔２１の画素値の差分だけ画素値に差分が生じ、ｔ番目のフレームの入力画像に対するインター予測画像のＰＳＮＲは悪化する。
　符号化装置では、差分画像に対して一般的に何らかの直行変換、量子化、および符号化が行われ、その結果得られる画像が符号化後の画像としてデコーダに転送されるため、ＰＳＮＲの悪化は、符号量を増加させ、符号化効率を悪化させる。
　本発明はこのような状況に鑑みてなされたものであり、インター予測画像の品質を向上させることができるようにするものである。
　本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置である。
　前記ボケ情報は、PSF（Point Spread Function）を用いて表される。
　前記ボケ情報は、２次元の正規分布の式を用いて表される。
　前記他の画像処理装置より送信されてくる前記ボケ情報は、前記２次元の正規分布の式における広がり幅Wである。
　前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる。
　前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる。
　前記補償手段は、前記復号手段により復号された前記画像に対して前記動き補償を行い、その結果得られる画像に対して、前記ボケ情報に基づいて前記ボケ補償を行うことができる。
　前記補償手段は、前記ボケ情報に基づいて、前記復号手段により復号された前記画像に対して前記ボケ補償を行い、その結果得られる画像に対して前記動き補償を行うことができる。
　本発明の第１の側面は、画像処理装置が、符号化された画像を復号する復号ステップと、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号ステップの処理により復号された前記画像に対して動き補償およびボケ補償を行う補償ステップと、前記復号ステップの処理により復号された前記画像と、前記補償ステップの処理により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算ステップとを含む画像処理方法である。
　本発明の第１の側面は、符号化された画像を復号する復号手段と、前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。
　本発明の第２の側面は、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記ボケ情報を送信する送信手段とを備える画像処理装置である。
　前記ボケ情報は、PSF（Point Spread Function）を用いて表される。
　前記ボケ情報は、２次元の正規分布の式を用いて表される。
　前記送信手段は、前記ボケ情報として、前記２次元の正規分布の式における広がり幅Wを送信することができる。
　前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる。
　前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる。
　前記符号化対象の画像および前記参照画像を用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行うことができる。
　前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行うことができる。
　本発明の第２の側面は、画像処理装置が、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償ステップと、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化ステップと、前記符号化後の画像と前記ボケ情報を送信する送信ステップとを含む画像処理方法である。
　本発明の第２の側面は、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、前記符号化後の画像と前記ボケ情報を送信する送信手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。
　本発明の第１の側面においては、符号化された画像が復号され、符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、復号された画像に対して動き補償およびボケ補償が行われる。そして、復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像が生成される。
　本発明の第２の側面においては、符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化が予測され、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償が行われる。そして、前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像が生成され、前記符号化後の画像と前記ボケ情報が送信される。
　本発明によれば、インター予測画像の品質を向上させることができる。
従来のインター予測について説明する図である。 画像間でボケが生じた場合のインター予測画像について説明する図である。 本発明の前提となる画像符号化装置の構成を示すブロック図である。 可変ブロックサイズについて説明する図である。 本発明の前提となる画像復号装置の構成を示すブロック図である。 本発明を適用した画像符号化装置の第１の実施の形態の構成例を示すブロック図である。 図６のボケ予測・補償部の詳細構成例を示すブロック図である。 フォーカスボケのメカニズムについて説明する図である。 動きボケのメカニズムについて説明する図である。 フォーカスボケのボケ情報について説明する図である。 動きボケのボケ情報について説明する図である。 点広がり関数について説明する図である。 点広がり関数について説明する図である。 正規分布の式から求められたフィルタ係数の例を示す図である。 図６の画像符号化装置の符号化処理について説明するフローチャートである。 図１５のステップＳ２５におけるボケ予測・補償処理を説明するフローチャートである。 本発明を適用した画像復号装置の第１の実施の形態の構成例を示すブロック図である。 図１７のボケ予測・補償部の詳細構成例を示す図である。 図１７の画像復号装置の復号処理について説明するフローチャートである。 図１９のステップＳ１４０のボケ補償処理について説明するフローチャートである。 本発明を適用した画像符号化装置の第２の実施の形態の構成例を示すブロック図である。 図２１のボケ動き予測・補償部の詳細構成例を示すブロック図である。 図２１の画像符号化装置の符号化処理について説明するフローチャートである。 図２３のステップＳ２２３のボケ動き予測・補償処理について説明するフローチャートである。 本発明を適用した画像復号装置の第２の実施の形態の構成例を示すブロック図である。 図２５のボケ動き予測・補償部の詳細構成例を示すブロック図である。 図２５の画像復号装置の復号処理について説明するフローチャートである。 図２７のステップＳ３３９のボケ動き補償処理について説明するフローチャートである。 拡張されたブロックサイズの例を示す図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。
＜１．発明の前提＞
　まず、図３乃至図５を参照して、本発明の前提となる画像符号化装置および画像復号装置について説明する。
　図３は、本発明の前提となる画像符号化装置の構成を示している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、予測画像選択部７６、およびレート制御部７７により構成されている。この画像符号化装置５１は、例えば、H.264/AVC方式で画像を圧縮符号化する。
　Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
　演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７６により選択されたイントラ予測画像またはインター予測による予測画像（以下、インター予測画像という）を減算し、その結果得られる差分を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
　量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力される。ここで、量子化された変換係数には、CAVLC（Context-based Adaptive Variable Length Coding)などの可変長符号化、CABAC(Context-based Adaptive Binary Arithmetic Coding)などの算術符号化等の可逆符号化が施され、圧縮される。その結果得られる圧縮画像は、蓄積バッファ６７に蓄積された後、出力される。
　また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は、演算部７０により予測画像選択部７６から供給されるインター予測画像またはイントラ予測画像と加算され、局部的に復号された画像となる。デブロックフィルタ７１は、その局部的に復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
　スイッチ７３は、フレームメモリ７２に蓄積された画像を、動き予測・補償部７５またはイントラ予測部７４に出力する。
　この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャ、およびＰピクチャが、インター予測する画像として、動き予測・補償部７５に供給される。
　イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とスイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。
　なお、H.264/AVC符号化方式では、輝度信号に対するイントラ予測モードとして、4×4画素のブロック単位の予測モード、8×8画素のブロック単位の予測モード、および16×16画素のブロック単位、即ちマクロブロック単位の予測モードが定義されている。また、色差信号に対するイントラ予測モードは、輝度信号に対するイントラ予測モードと独立に定義することが可能であり、マクロブロック単位で定義される。
　また、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。
　このコスト関数値は、例えば、H.264/AVC方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
　具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、仮に符号化処理までが行われ、次の式（１）で表わされるコスト関数が各イントラ予測モードに対して算出される。
　Cost(Mode) = D + λ・R　　　　　　　　　　　　　　　・・・（１）
　Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
　一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全てのイントラ予測モードに対して、イントラ予測画像の生成、および、イントラ予測モードを表す情報などのヘッダビットが算出され、次の式（２）で表わされるコスト関数が各イントラ予測モードに対して算出される。
　Cost(Mode) = D + QPtoQuant(QP)・Header_Bit　　　　　・・・（２）
　Dは、原画像と復号画像の差分（歪）、Header_Bitは、イントラ予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
　Low Complexity モードにおいては、全てのイントラ予測モードに対して、イントラ予測画像を生成するだけでよく、符号化処理を行う必要がないため、演算量が少なくて済む。
　イントラ予測部７４は、以上のようにして算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部７６に供給する。イントラ予測部７４は、予測画像選択部７６により最適イントラ予測モードで生成されたイントラ予測画像が選択された場合、最適イントラ予測モードを表す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を可逆符号化し、圧縮画像のヘッダ部の一部とする。
　動き予測・補償部７５は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部７５は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部７５は、動きベクトルに基づいて参照画像に動き補償処理を施し、動き補償後の画像を生成する。
　なお、MPEG2においては、ブロックサイズを固定（フレーム間の動き予測・補償処理では16×16画素単位、フィールド間の動き予測・補償処理では、各フィールドについて16×8画素単位）にして動き予測・補償が行われるが、H.264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。
　具体的には、H.264/AVC方式においては、16×16画素で構成される１つのマクロブロックを、図４に示すように、16×16画素、16×8画素、8×16画素、あるいは8×8画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、8×8画素のパーティションに関しては、図４に示すように、8×8画素、8×4画素、4×8画素、あるいは4×4画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
　従って、インター予測モードとしては、16×16画素、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、および4×4画素の単位で動きベクトルを検出する８種類のモードがある。
　また、動き予測・補償部７５は、イントラ予測部７４と同様の手法で、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。
　そして、動き予測・補償部７５は、最適インター予測モードで生成された動き補償後の画像を、インター予測画像として予測画像選択部７６に供給するとともに、最適インター予測モードに対するコスト関数を予測画像選択部７６に供給する。動き予測・補償部７５は、予測画像選択部７６により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部６６に出力する。可逆符号化部６６は、動き予測・補償部７５からの情報を可逆符号化し、圧縮画像のヘッダ部に挿入する。
　予測画像選択部７６は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７６は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７６は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部７５に供給する。
　レート制御部７７は、蓄積バッファ６７に圧縮情報として蓄積されたヘッダ部が付加された圧縮画像に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
　以上のように構成される画像符号化装置５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。図５は、このような画像復号装置の構成を表している。
　画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、およびスイッチ１２３により構成されている。
　蓄積バッファ１１１は、伝送されてきた圧縮情報を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図３の可逆符号化部６６により可逆符号化された圧縮情報を、可逆符号化部６６の可逆符号化方式に対応する方式で可逆復号（可変長復号、算術復号等）する。そして、可逆復号部１１２は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報などを抽出する。
　逆量子化部１１３は、可逆復号部１１２により可逆復号された画像を、図３の量子化部６５の量子化方式に対応する方式で逆量子化し、その結果得られる変換係数を逆直交変換部１１４に供給する。逆直交変換部１１４は、図３の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３からの変換係数に対して４次の逆直交変換を施す。
　逆直交変換された出力は、演算部１１５によりスイッチ１２３から供給されるイントラ予測画像またはインター予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去し、その結果得られる画像をフレームメモリ１１９に供給して蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
　画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
　スイッチ１２０は、符号化時のインター予測において参照画像となった画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
　イントラ予測部１２１には、ヘッダ部を可逆復号して得られた最適イントラ予測モードを表す情報が可逆復号部１１２から供給される。最適イントラ予測モードを表す情報が供給された場合、イントラ予測部１２１は、この情報が表すイントラ予測モードで、フレームメモリ１１９からの画像を用いてイントラ予測処理を行い、イントラ予測画像を生成する。イントラ予測部１２１は、生成したイントラ予測画像を、スイッチ１２３に出力する。
　動き予測・補償部１２２には、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部１１２から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部１２２は、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施し、動き補償後の画像を生成する。そして、動き予測・補償部１２２は、動き補償後の画像をインター予測画像としてスイッチ１２３に出力する。
　スイッチ１２３は、動き予測・補償部１２２から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。
＜２．第１の実施の形態＞
［画像符号化装置の構成例］
　次に、図６は、本発明を適用した画像符号化装置の第１の実施の形態の構成例を示している。
　図６に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図６の画像符号化装置１５１の構成は、主に、動き予測・補償部７５、予測画像選択部７６、可逆符号化部６６の代わりに、動き予測・補償部１６１、予測画像選択部１６３、可逆符号化部１６４が設けられている点、および、新たにボケ予測・補償部１６２が設けられている点で図３の構成と異なる。
　詳細には、図６の画像符号化装置１５１の動き予測・補償部１６１は、図３の動き予測・補償部７５と同様に、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１６１は、動き予測・補償部７５と同様に、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。
　動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像を、ボケ予測・補償部１６２に供給する。また、動き予測・補償部１６１は、動き予測・補償部７５と同様に、予測画像選択部１６３により最適インター予測モードで生成されたインター予測画像が選択された場合、最適インター予測モードを表す情報、および、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）を可逆符号化部１６４に出力する。
　ボケ予測・補償部１６２は、動き予測・補償部１６１から供給される動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とに基づいて、ボケの変化を検出する。そして、ボケ予測・補償部１６２は、検出されたボケの変化を表すボケ情報に基づいて、動き補償後の画像に対してボケを発生または解消するボケ補償処理を施し、動き補償およびボケ補償後の画像を生成する。
　また、ボケ予測・補償部１６２は、動き予測・補償部１６１と同様の手法で、動き補償およびボケ補償後の画像のコスト関数値を算出する。そして、ボケ予測・補償部１６２は、生成された動き補償およびボケ補償後の画像をインター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。
　さらに、ボケ予測・補償部１６２は、予測画像選択部１６３により最適インター予測モードで生成されたインター予測画像が選択された場合、ボケ情報を可逆符号化部１６４に出力する。なお、ボケ予測・補償部１６２の詳細については後述する。
　予測画像選択部１６３は、イントラ予測部７４またはボケ予測・補償部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部１６３は、決定された最適予測モードの予測画像としてのイントラ予測画像またはインター予測画像を選択し、演算部６３，７０に供給する。
　このとき、予測画像選択部１６３は、イントラ予測画像が選択された旨を表す選択情報を、イントラ予測部７４に供給するか、インター予測画像が選択された旨を表す選択情報を動き予測・補償部１６１およびボケ予測・補償部１６２に供給する。
　可逆符号化部１６４は、可逆符号化部６６と同様に、量子化部６５から供給される量子化された変換係数に対して可逆符号化を施し、圧縮することにより、圧縮画像を生成する。また、可逆符号化部１６４は、イントラ予測部７４、動き予測・補償部１６１、またはボケ予測・補償部１６２からの情報に対して可逆符号化を施し、圧縮画像のヘッダ部に挿入する。そして、可逆符号化部１６４により生成されたヘッダ部が付加された圧縮画像は、圧縮情報として蓄積バッファ６７に蓄積された後、出力される。
　以上のように、画像符号化装置１５１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質（例えば、インター予測する画像を基準としたインター予測画像のＰＳＮＲ）を向上させることができる。
［ボケ予測・補償部１６２の詳細構成例］
　図７は、図６のボケ予測・補償部１６２の詳細構成例を示している。
　図７のボケ予測・補償部１６２は、ボケ補償部１７１とボケ予測部１７２により構成される。
　ボケ補償部１７１は、ボケ予測部１７２から供給されるボケ情報に基づいて、動き予測・補償部１６１から供給される動き補償後の画像に対してボケ補償処理を施す。また、ボケ補償部１７１は、動き予測・補償部１６１と同様の手法で、ボケ補償処理の結果得られる動き補償およびボケ補償後の画像のコスト関数値を算出する。そして、ボケ補償部１７１は、この動き補償およびボケ補償後の画像を、インター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。
　ボケ予測部１７２は、動き予測・補償部１６１から供給される動き補償後の画像と、画面並べ替えバッファ６２から供給されるインター予測する画像とに基づいて、ボケの変化を予測し、そのボケの変化を表すボケ情報を生成してボケ補償部１７１に供給する。また、予測画像選択部１６３からインター予測画像が選択された旨を表す選択情報が供給された場合、ボケ予測部１７２は、ボケ情報を可逆符号化部１６４に供給する。
［ボケ情報の説明］
　次に、図８乃至図１１を参照してボケ情報について説明する。
　まず、図８を参照して、撮像時にフォーカスが外れることにより発生するボケ（以下、フォーカスボケあるいはピンボケという）のメカニズムについて説明する。
　図８に示すように、点Ａから点状の光が発生している場合、光は一度広がった後、撮像部のレンズ１８１により集光され、結像面１８２上の点Ｂで像を結び、再び点状の光となる。しかしながら、結像面１８２から外れた面１８３では、点Ｃにおいて広がりを持った光となる。即ち、面１８３では、本来、点Ａの１点による光だったものが、点Ｃにおいて幅を持ち、位置が曖昧になる。つまり、面１８３ではボケが発生する。
　フォーカスが合っている場合、撮像部の複数の光センサからなる撮像素子は結像面１８２上に位置するため、点Ａからの光が１つの光センサで受光され、点Ａに相当する光の発生位置がはっきりした画像が得られる。これに対して、フォーカスが外れている場合、撮像素子が結像面１８２から外れた面（例えば面１８３）上に位置するため、点Ａからの光が複数の光センサで受光され、点Ａに相当する光の発生位置が曖昧な画像、即ちボケが発生した画像が得られる。
　次に、図９を参照して、撮像時に被写体や撮像部が動くことにより発生するボケ（以下、動きボケという）のメカニズムについて説明する。
　図９に示すように、点Ａ１から点状の光が発生している場合、その光は、図８で説明したように、結像面１８２上の点Ｂ１で点状の光となる。次に、被写体や撮像部の動きにより、点状の光が点Ａ１から点Ａ２に相対的に移動すると、結像面１８２上の光は点Ｂ１から点Ｂ２へ移動する。
　従って、フォーカスが合っており、撮像部の複数の光センサからなる撮像素子が結像面１８２上に位置する場合、光センサが受光している間に、被写体や撮像部の動きにより点状の光が点Ａ１から点Ａ２に相対的に移動すると、複数個の光センサで光が受光される。その結果、光の発生位置が曖昧な画像、即ちボケが発生した画像が得られる。
　以上のようにして発生するフォーカスボケおよび動きボケは、点状の光を入力した際の出力、即ちインパルス応答で定義することができる。図８では、入力は、例えば、点Ａから発生される点状の光であり、インパルス応答は、撮像素子上（例えば、点Ｂ、点Ｃ）に出力される光である。また、図９では、入力は、例えば、点Ａ１から発生される点状の光であり、インパルス応答は、撮像素子上（例えば、点Ｂ１から点Ｂ２までの範囲）に出力される光である。
　そこで、フォーカスボケのボケ情報としては、例えば、図１０のＡに示すように、インパルス応答としての撮像素子１９０上に出力される光１９１の半径Ｌを表す情報が採用される。なお、図１０のＡの撮像素子１９０において格子状に設けられた正方形は、１画素に対応する光センサを表している。このことは、後述する図１１のＡにおいても同様である。
　また、図１０のＡの例では、フォーカスボケが発生している場合について示しているため、光１９１は直径２Ｌの円状の広がりを有しているが、フォーカスボケがない場合、光１９１は点状の光となる。
　以上のように、フォーカスボケのボケ情報として半径Ｌを表す情報が採用される場合、ボケ予測部１７２は、予め設定された半径Ｌのとり得る各値に対応するフィルタ係数のＦＩＲフィルタのそれぞれを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。
　例えば、ボケ予測部１７２は、図１０のＡに示した半径Ｌに対応するＦＩＲフィルタとして、図１０のＢに示す値に対応するフィルタ係数のＦＩＲフィルタを動き補償後の画像に適用する。なお、図１０のＢにおいて格子状に設けられた正方形は、１画素に対応し、その正方形内に記載された数字は、フィルタ係数に対応する値である。具体的には、図１０のＢの各画素に対応する正方形内に記載された数字は、その画素に対応する光センサが受光する面積の、１画素に対応する光センサの受光可能面積に対する割合を示している。画像の直流成分の増幅度を１とするため、フィルタ係数としては、この割合の合計が１となるようにした値が用いられる。即ち、図１０のＢにおいては、割合の合計が、6.4（=0.4×4+0.95×4+1.0）となるので、割合が0.4,0.95,1.0となる画素に対応するフィルタ係数としては、それぞれ、0.4/6.4，0.95/6.4,1.0/6.4が用いられる。
　ボケ予測部１７２は、各ＦＩＲフィルタが動き補償後の画像に適用された結果得られるＦＩＲフィルタごとの画像のそれぞれと、画面並べ替えバッファ６２から供給されるインター予測する画像との差分を求め、その差分が最小となるときのＦＩＲフィルタに対応する半径Ｌを表す情報をボケ情報とする。
　また、動きボケのボケ情報としては、例えば、図１１のＡに示すように、インパルス応答としての撮像素子１９０上に出力される光１９２の中心から横方向の長さＬｘおよび縦方向の長さＬｙを表す情報が採用される。
　なお、図１１のＡの例では、動きボケが発生している場合について示しているため、光１９２は横方向に長さ２Ｌｘ、縦方向に長さ２Ｌｙで斜め方向に線状に広がっているが、動きボケがない場合、光１９２は点状の光となる。
　以上のように、動きボケのボケ情報として長さＬｘ、Ｌｙを表す情報が採用される場合、ボケ予測部１７２で適用されるＦＩＲフィルタは、長さＬｘ、Ｌｙのとり得る各値の組み合わせに対応するフィルタ係数のＦＩＲフィルタである。
　例えば、図１１のＡに示した長さＬｘ，Ｌｙに対応するＦＩＲフィルタは、図１１のＢに示す値に対応するフィルタ係数のＦＩＲフィルタである。なお、図１１のＢにおいて格子状に設けられた正方形は、１画素に対応し、その正方形内に記載された数字は、フィルタ係数に対応する値である。具体的には、図１１のＢの各画素に対応する正方形内に記載された数字は、その画素の中の光１９２の長さを示している。図１１のＢの例では、画素の１辺の長さを１としているため、画素の対角線の長さは√２（≒1.4）となり、各画素に対応する正方形内に記載された数字は、1.4または0.7となっている。
　動きボケの場合も、フォーカスボケの場合と同様に、画像の直流成分の増幅度を１とするため、フィルタ係数としては、正方形内の数字の合計が１となるようにした値が用いられる。即ち、図１１のＢにおいては、数字の合計が、5.6（=0.7×2+1.4×3）となるので、正方形内の数字が0.7,1.4となる画素に対応するフィルタ係数としては、それぞれ、0.7/5.6，1.4/5.6が用いられる。
　なお、フィルタ係数の設定方法は、図１０や図１１で説明した方法に限定されず、ボケ情報によって一意に設定される方法であれば、どのような方法であってもよい。
　また、画像符号化装置１５１と、それに対応する復号装置が、同一のフィルタ係数のセットを予め記憶しておく場合には、画像符号化装置１５１は、ボケ情報の代わりに、フィルタ係数のセットの識別子を画像復号装置に送信するようにしてもよい。識別子のデータ量はボケ情報に比べて少ないため、画像符号化装置１５１がボケ情報の代わりにフィルタ係数を送信する場合、ボケ予測・補償処理を行うことによる符号量の増加を抑制することができる。
　なお、上記説明においては、フォーカスボケと動きボケのボケ情報について別々に説明したが、両方のボケのボケ情報として、図１２および図１３を参照して説明する点広がり関数（Point Spread Function）を採用することもできる。以下、点広がり関数を、PSFともいう。
　図１２に示されるように、点光源１９３が、撮像１９４を介することにより、フォーカスボケ１９５Ａ、あるいは、手ぶれや被写体の動きボケ１９５Ｂが発生する。
　図１３に示されるように、ボケのない画像１９６を、フォーカスボケのPSF１９８を用いて、FIRフィルタに相当する畳み込み演算１９７を行うことにより、フォーカスボケした画像１９９を得ることができる。
　すなわち、図１２に示されるフォーカスボケ１９５Ａや動きボケ１９５Ｂは、図８や図９を参照して上述したように、点光源１９３をカメラで観察した像であり、撮像１９４系のインパルス応答に相当する。これに対して、図１３に示されるPSF１９８は、フォーカスボケや動きボケを表現するモデルになる。つまり、PSF１９８を用いて、FIRフィルタのフィルタ係数を求め、ボケのない画像１９６に対して、求められたフィルタ係数のFIRフィルタに相当する畳み込み演算１９７を行うことにより、フォーカスボケした画像１９９を得ることができる。
　なお、図１３の例では、フォーカスボケについて説明したが、動きボケのPSFを用いることで、同様に動きボケした画像を得ることもできる。
　ここで、PSFについて説明する。PSFは、点光源がある系を介してどのように変化を受けるかを観察した像であり、その系がボケを起こすものであれば次のような３つの特徴を有する関数となる。第１に、式（３）に示されるように、関数を積分すると１になる。第２に、レンズによるボケ（フォーカスボケ）を２次元性正規分布で近似できる。第３に、動きボケの場合には、動きの軌跡に対応した関数となる。
Figure JPOXMLDOC01-appb-M000001
　そこで、符号化においては、第２の特徴を用い、フォーカスボケについて、少ない情報でボケを表現することを考え、符号化側から復号側に送るボケ情報として、２次元正規分布の広がり幅を用いる。すなわち、これにより、フォーカスボケのボケ量を、１の変数で表わすことができる。
　まず、簡単のため、１次元の正規分布は、式（４）で表わすことができる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Wは、広がり幅を表す。xは、FIRフィルタのタップの位置を示す。したがって、式（４）より、フィルタ係数を求めることができる。
　図１４には、式（４）の正規分布の式から求められたフィルタ係数が示されており、その左側には、求められたフィルタ係数が図表化されたグラフが示されている。
　広がり幅W=1.5においては、タップの位置x=-5,5のとき、フィルタ係数は0.001となり、タップの位置x=-4,4のとき、フィルタ係数は0.008となり、タップの位置x=-3,3のとき、フィルタ係数は0.036となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.109となり、タップの位置x=-1,1のとき、フィルタ係数は0.213となり、タップの位置x=0のとき、フィルタ係数は0.266となる。
　広がり幅W=1においては、タップの位置x=-5,5のとき、フィルタ係数は0.000となり、タップの位置x=-4,4のとき、フィルタ係数は0.000となり、タップの位置x=-3,3のとき、フィルタ係数は0.004となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.054となり、タップの位置x=-1,1のとき、フィルタ係数は0.242となり、タップの位置x=0のとき、フィルタ係数は0.399となる。
　広がり幅W=0.5においては、タップの位置x=-5,5のとき、フィルタ係数は0.000となり、タップの位置x=-4,4のとき、フィルタ係数は0.000となり、タップの位置x=-3,3のとき、フィルタ係数は0.000となる。また、タップの位置x=-2,2のとき、フィルタ係数は0.000となり、タップの位置x=-1,1のとき、フィルタ係数は0.108となり、タップの位置x=0のとき、フィルタ係数は0.798となる。
　以上のように、式（４）の正規分布の式より、広がり幅Wに応じてフィルタ係数が決まる。
　なお、式（５）に示される２次元の正規分布の式からも同様にフィルタ係数を求めることができる。
Figure JPOXMLDOC01-appb-M000003
 　２次元の場合も、Wは、広がり幅を表す。x,yは、FIRフィルタのタップの位置を示す。
　以上のように、フォーカスボケのボケ情報として広がり幅Ｗを表す情報を用いることもできる。このｎ場合、ボケ予測部１７２で適用されるＦＩＲフィルタは、広がり幅Ｗのとり得る各値（すなわち、図１４に示された値）の組み合わせに対応するフィルタ係数のＦＩＲフィルタとなる。
［符号化処理の説明］
　次に、図１５のフローチャートを参照して、図６の画像符号化装置１５１の符号化処理について説明する。
　ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と、予測画像選択部１６３からのイントラ予測画像またはインター予測画像との差分を演算する。
　差分データは元の画像データに比べてデータ量が小さくなるため、差分データを演算して符号化することにより、画像データをそのまま符号化する場合に比べて、データ量を圧縮することができる。
　ステップＳ１４において、直交変換部６４は、演算部６３から供給された差分を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は、その変換係数を量子化する。この量子化に際しては、後述するステップＳ２９の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分は、次のようにして局部的に復号される。即ち、ステップＳ１６において、逆量子化部６８は、量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は、逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
　ステップＳ１８において、演算部７０は、予測画像選択部１６３を介して入力されるインター予測画像またはイントラ予測画像を局部的に復号された差分に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９において、デブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０において、フレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２には、デブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
　ステップＳ２１において、イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像と、スイッチ７３を介してフレームメモリ７２から供給された画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。
　ステップＳ２２において、イントラ予測部７４は、算出されたコスト関数値のうち、最小値を与えるイントラ予測モードを、最適イントラ予測モードとして決定する。そして、イントラ予測部７４は、最適イントラ予測モードで生成されたイントラ予測画像とそのコスト関数値を、予測画像選択部１６３に供給する。
　ステップＳ２３において、動き予測・補償部１６１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、候補となる全てのインター予測モードで動き予測・補償処理を行う。そして、動き予測・補償部１６１は、候補となる全てのインター予測モードに対してコスト関数値を算出する。
　ステップＳ２４において、動き予測・補償部１６１は、算出されたコスト関数値のうち、最小値を与えるインター予測モードを、最適インター予測モードとして決定する。そして、動き予測・補償部１６１は、最適インター予測モードで生成された動き補償後の画像をボケ予測・補償部１６２に供給する。
　ステップＳ２５において、ボケ予測・補償部１６２は、動き予測・補償部１６１から供給される動き補償後の画像と、その動き補償後の画像の動き予測・補償処理に用いられた、画面並べ替えバッファ６２から出力されたインター予測する画像とに基づいて、ボケ予測・補償処理を行う。このボケ予測・補償処理の詳細は、後述する図１６を参照して説明する。ボケ予測・補償処理の結果得られる動き補償およびボケ補償後の画像と、その画像のコスト関数値は、インター予測画像として予測画像選択部１６３に供給される。
　ステップＳ２６において、予測画像選択部１６３は、イントラ予測部７４およびボケ予測・補償部１６２より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定し、決定された最適予測モードの予測画像を選択する。このようにして最適予測モードの予測画像として選択されたインター予測画像またはイントラ予測画像は、演算部６３，７０に供給され、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
　なお、このとき、予測画像選択部１６３は、イントラ予測部７４、または、動き予測・補償部１６１およびボケ予測・補償部１６２に選択情報を供給する。イントラ予測画像が選択された旨を表す選択情報が供給された場合、イントラ予測部７４は、最適イントラ予測モードを表す情報を、可逆符号化部１６４に供給する。
　最適インター予測モードが選択された旨を表す選択情報が供給された場合、動き予測・補償部１６１は、最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報などを可逆符号化部１６４に出力し、ボケ予測・補償部１６２は、ボケ情報を可逆符号化部１６４に出力する。
　ステップＳ２７において、可逆符号化部１６４は、量子化部６５より出力された量子化された変換係数を符号化し、圧縮画像を生成する。このとき、最適イントラ予測モードや最適インター予測モードを表す情報、最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）、ボケ情報なども可逆符号化され、圧縮画像のヘッダ部に挿入される。
　ステップＳ２８において、蓄積バッファ６７は、可逆符号化部１６４により生成されたヘッダ部が付加された圧縮画像を圧縮情報として蓄積する。蓄積バッファ６７に蓄積された圧縮情報は適宜読み出され、伝送路を介して画像復号装置に伝送される。
　ステップＳ２９において、レート制御部７７は、蓄積バッファ６７に蓄積された圧縮情報に基づいて、蓄積バッファ６７にオーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［ボケ予測・補償処理の詳細説明］
　次に、図１６のフローチャートを参照して、図１５のステップＳ２５におけるボケ予測・補償処理を説明する。
　ステップＳ４１において、ボケ予測・補償部１６２のボケ予測部１７２（図７）は、ボケ情報が表す半径Ｌ、長さＬｘ，Ｌｙ、または広がり幅Wとしてとり得る各値に対応するフィルタ係数のＦＩＲフィルタのそれぞれを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。
　ステップＳ４２において、ボケ予測部１７２は、各ＦＩＲフィルタの適用後の画像のそれぞれと、画面並べ替えバッファ６２から供給されるインター予測する画像との差分を求める。
　ステップＳ４３において、ボケ予測部１７２は、ステップＳ４２で求められた差分のうちの最小の差分に対応するボケ情報をボケ補償部１７１に出力する。具体的には、ボケ予測部１７２は、差分が最小値となる画像を生成するために用いたＦＩＲフィルタに対応するボケ情報をボケ補償部１７１に出力する。なお、このボケ情報は、予測画像選択部１６３からインター予測画像が選択された旨を表す選択情報が供給された場合、可逆符号化部１６４にも出力される。
　ステップＳ４４において、ボケ補償部１７１は、ボケ予測部１７２から供給されるボケ情報に基づいて、動き予測・補償部１６１から供給される動き補償後の画像に対してボケ補償処理を施す。具体的には、ボケ補償部１７１は、ボケ情報に対応するフィルタ係数のＦＩＲフィルタを、動き予測・補償部１６１から供給される動き補償後の画像に適用する。これにより、動き補償後の画像のフォーカスボケまたは動きボケが補償される。
　そして、ボケ補償部１７１は、ボケ補償処理の結果得られる動き補償およびボケ補償後の画像のコスト関数値を算出する。ボケ補償部１７１は、この動き補償およびボケ補償後の画像をインター予測画像として予測画像選択部１６３に供給するとともに、コスト関数値を予測画像選択部１６３に供給する。そして、ボケ予測・補償処理は終了し、処理は図１５のステップＳ２５に戻り、ステップＳ２６に進む。
　以上のように、画像符号化装置１５１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質（例えば、インター予測する画像を基準としたインター予測画像のＰＳＮＲ）を向上させることができる。
　インター予測においてボケ補償を行う場合、ボケ情報を画像復号装置に送信する必要があるため、圧縮画像のヘッダ部のビット量は増加するが、上述したようにインター予測画像の品質が向上するので、インター予測する画像とインター予測画像との差分は低減する。その結果、全体的には圧縮情報のデータ量、即ち符号量が減少し、符号化効率を向上させることができる場合がある。
　具体的には、半径Ｌ，長さＬｘ，Ｌｙとしてとり得る値の数がそれぞれＮ個であるとすると、ボケ情報として割り当てる必要のあるビット量は、3×Log2（N）となる。従って、例えばＮが１６である場合、ボケ情報として割り当てる必要のあるビット量は、3×Log2(16)=12となる。よって、この場合、ボケ補償を行うことにより、圧縮画像の符号量が１２ビット以上削減されると、圧縮情報の符号量は全体として削減される。
　また、画像符号化装置１５１は、半径Ｌまたは長さＬｘ，Ｌｙに対応するＦＩＲフィルタを適用することによりボケ補償を行うので、半径Ｌや長さＬｘ，Ｌｙで定義できるフォーカスボケや動きボケを補償することができる。その結果、例えば、符号化対象の画像が、フォーカスの自動調整機能を有するビデオカメラで撮影された、フォーカスが度々変化する画像である場合や、撮影時の手振れの影響で動きボケの程度が変化する画像である場合においても、インター予測画像の品質を良好に保つことができる。
　なお、このことは、ボケ情報が広がり幅Wにも同様に言うことができる。
　以上のようにして画像符号化装置１５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
　図１７は、このような画像復号装置の構成例を示している。
　図１７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１７の画像復号装置２０１の構成は、主に、可逆復号部１１２、動き予測・補償部１２２、スイッチ１２３の代わりに、可逆復号部２１１、動き予測・補償部２１２、スイッチ２１４が設けられている点、および、新たにボケ予測・補償部２１３が設けられている点で図５の構成と異なる。
　詳細には、図１７の画像復号装置２０１の可逆復号部２１１は、蓄積バッファ１１１より供給された、図６の可逆符号化部１６４により可逆符号化された圧縮情報を、可逆符号化部１６４の可逆符号化方式に対応する方式で可逆復号する。そして、可逆復号部２１１は、可逆復号の結果得られる情報から、画像、最適インター予測モードまたは最適イントラ予測モードを表す情報、動きベクトル情報、参照フレーム情報、ボケ情報などを抽出する。
　動き予測・補償部２１２には、図５の動き予測・補償部１２２と同様に、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報など）が可逆復号部２１１から供給される。最適インター予測モードを表す情報が供給された場合、動き予測・補償部２１２は、動き予測・補償部１２２と同様に、その情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に動き補償処理を施す。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をボケ予測・補償部２１３に出力する。
　ボケ予測・補償部２１３には、ヘッダ部を可逆復号して得られたボケ情報が可逆復号部２１１から供給される。ボケ予測・補償部２１３は、ボケ情報に基づいて、動き予測・補償部２１２から供給される動き補償後の画像に対してボケ補償処理を施す。そして、ボケ予測・補償部２１３は、動き補償およびボケ補償後の画像を、インター予測画像としてスイッチ２１４に出力する。
　スイッチ２１４は、ボケ予測・補償部２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に供給する。
　以上のように、画像復号装置２０１は、インター予測において、動き補償だけでなくボケ補償も行うので、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
［ボケ予測・補償部２１３の詳細構成例］
　図１８は、図１７のボケ予測・補償部２１３の詳細構成例を示している。
　図１８のボケ予測・補償部２１３は、フィルタ係数変換部２２１とＦＩＲフィルタ２２２により構成される。
　フィルタ係数変換部２２１は、可逆復号部２１１から供給されるボケ情報をフィルタ係数に変換する。即ち、フィルタ係数変換部２２１は、可逆復号部２１１から供給されるボケ情報に基づいて、フィルタ係数を決定する。
　例えば、フィルタ係数変換部２２１は、ボケ情報としての図１０のＡに示した半径Ｌを表す情報を、図１０のＢに示した値に対応するフィルタ係数に変換する。また、フィルタ係数変換部２２１は、ボケ情報としての図１１のＡに示した長さＬｘ，Ｌｙを表す情報を、図１１のＢに示した値に対応するフィルタ係数に変換する。なお、ボケ情報が広がり幅Wにも同様にフィルタ係数に変換される。そして、フィルタ係数変換部２２１は、変換されたフィルタ係数をＦＩＲフィルタ２２２に供給する。
　ＦＩＲフィルタ２２２は、フィルタ係数変換部２２１から供給されるフィルタ係数で特性が決定されるフィルタである。ＦＩＲフィルタ２２２は、フィルタ係数を用いて、動き予測・補償部２１２から供給される動き補償後の画像に対してフィルタリングを行うことにより、ボケ補償処理を行う。そして、ＦＩＲフィルタ２２２は、その結果得られる動き補償およびボケ補償後の画像を、インター予測画像としてスイッチ２１４に供給する。
　以上のように、ボケ予測・補償部２１３は、画像符号化装置１５１から送信されてくる符号化時のボケ情報に対応するフィルタ係数のＦＩＲフィルタでボケ補償処理を行うので、符号化時と同一のボケ補償処理を行うことができる。
［復号処理の説明］
　次に、図１９のフローチャートを参照して、図１７の画像復号装置２０１の復号処理について説明する。
　ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた圧縮情報を蓄積する。ステップＳ１３２において、可逆復号部２１１は、蓄積バッファ１１１から供給される圧縮情報を可逆復号する。即ち、図６の可逆符号化部１６４により可逆符号化されたＩピクチャ、Ｐピクチャ、およびＢピクチャが可逆復号される。なお、このとき、動きベクトル情報、参照フレーム情報、最適イントラ予測モードまたは最適インター予測モードを表す情報、ボケ情報なども復号される。
　ステップＳ１３３において、逆量子化部１１３は、可逆復号部２１１により可逆復号された変換係数を、図６の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において、逆直交変換部１１４は、逆量子化部１１３により逆量子化された変換係数を、図６の直交変換部６４の特性に対応する特性で逆直交変換する。これにより、図６の直交変換部６４の入力（演算部６３の出力）としての差分が復号されたことになる。
　ステップＳ１３５において、演算部１１５は、復号された差分を、後述するステップＳ１４２の処理でスイッチ２１４から出力されるインター予測画像またはイントラ予測画像と加算する。これにより元の画像が復号される。ステップＳ１３６において、デブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７において、フレームメモリ１１９は、フィルタリングされた画像を記憶する。
　ステップＳ１３８において、可逆復号部２１１は、圧縮画像のヘッダ部の可逆復号結果に基づいて、圧縮画像がインター予測された画像であるかどうか、即ち、可逆復号結果に最適インター予測モードを表す情報が含まれているかどうかを判定する。
　ステップＳ１３８で圧縮画像がインター予測された画像であると判定された場合、可逆復号部２１１は、動きベクトル情報、参照フレーム情報、および最適インター予測モードを表す情報を動き予測・補償部２１２に供給し、ボケ情報をボケ予測・補償部２１３に供給する。
　そして、ステップＳ１３９において、動き予測・補償部２１２は、可逆復号部２１１からの情報が表す最適インター予測モードで、その情報が表す動きベクトル情報と参照フレーム情報に基づいて、フレームメモリ１１９からの参照画像に対して動き補償処理を行う。そして、動き予測・補償部２１２は、その結果得られる動き補償後の画像をボケ予測・補償部２１３に出力する。
　ステップＳ１４０において、ボケ予測・補償部２１３は、可逆復号部２１１からのボケ情報に基づいて、動き予測・補償部２１２から供給される動き補償後の画像に対してボケ補償処理を施す。このボケ補償処理の詳細については、後述する図２０を参照して説明する。
　一方、ステップＳ１３８で圧縮画像がインター予測された画像ではないと判定された場合、即ち可逆復号結果に最適イントラ予測モードを表す情報が含まれている場合、可逆復号部２１１は、最適イントラ予測モードを表す情報をイントラ予測部１２１に供給する。そして、ステップＳ１４１において、イントラ予測部１２１は、可逆復号部２１１からの情報が表す最適イントラ予測モードで、フレームメモリ１１９からの画像に対してイントラ予測処理を行い、イントラ予測画像を生成する。そして、イントラ予測部１２１は、イントラ予測画像をスイッチ２１４に出力する。
　ステップＳ１４０またはＳ１４１の処理後、ステップＳ１４２において、スイッチ２１４は、ボケ予測・補償部２１３から供給されるインター予測画像またはイントラ予測部１２１から供給されるイントラ予測画像を、演算部１１５に出力する。これにより、上述したように、ステップＳ１３５においてインター予測画像またはイントラ予測画像が逆直交変換部１１４の出力と加算される。
　ステップＳ１４３において、画面並べ替えバッファ１１７は並べ替えを行う。即ち、画像符号化装置１５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ１４４において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［ボケ補償処理の詳細説明］
　次に、図２０のフローチャートを参照して、図１９のステップＳ１４０のボケ補償処理について説明する。
　ステップＳ１５１において、ボケ予測・補償部２１３のフィルタ係数変換部２２１（図１８）は、可逆復号部２１１からのボケ情報をフィルタ係数に変換して、ＦＩＲフィルタ２２２に供給する。
　ステップＳ１５２において、ＦＩＲフィルタ２２２は、フィルタ係数変換部２２１からのフィルタ係数を用いて、動き予測・補償部２１２から供給される動き補償後の画像に対してフィルタリングを行うことにより、ボケ補償処理を施す。ＦＩＲフィルタ２２２は、その結果得られる動き補償後およびボケ補償後の画像をインター予測画像としてスイッチ２１４に出力し、ボケ補償処理は終了する。そして、処理は、図１９のステップＳ１４０に戻り、ステップＳ１４２に進む。
＜３．第２の実施の形態＞
［画像符号化装置の構成例］
　次に、図２１は、本発明を適用した画像符号化装置の第２の実施の形態の構成例を示している。
　図２１に示す構成のうち、図３や図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２１の画像符号化装置２５１の構成は、主に、動き予測・補償部７５、可逆符号化部６６の代わりに、ボケ動き予測・補償部２６１、可逆符号化部１６４が設けられている点で図３の構成と異なる。
　詳細には、図２１の画像符号化装置２５１のボケ動き予測・補償部２６１は、画面並べ替えバッファ６２から読み出されたインター予測する画像と、スイッチ７３を介してフレームメモリ７２から供給される参照画像としての画像に基づいて、ボケ動き予測・補償処理を行う。なお、ボケ動き予測・補償処理とは、ボケ予測・補償処理と同時に、候補となる全てのインター予測モードの動き予測・補償処理を行う処理である。
　また、ボケ動き予測・補償部２６１は、インター予測する画像との差分が最小となるボケ予測・補償処理後の画像のインター予測モードを、最適インター予測モードとして決定し、その画像をインター予測画像として予測画像選択部７６に供給する。ボケ動き予測・補償部２６１は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。
　さらに、ボケ動き予測・補償部２６１は、予測画像選択部７６によりインター予測画像が選択された場合、最適インター予測モードを表す情報、その最適インター予測モードに応じた情報（動きベクトル情報、参照フレーム情報など）、および、インター予測画像の生成に用いられたボケ情報を可逆符号化部１６４に出力する。
［ボケ動き予測・補償部２６１の詳細構成例］
　図２２は、図２１のボケ動き予測・補償部２６１の詳細構成例を示している。
　図２２のボケ動き予測・補償部２６１は、ボケフィルタ２７１、動き補償部２７２、差分計算部２７３、および制御部２７４により構成される。
　ボケフィルタ２７１は、スイッチ７３から供給される参照画像としての画像に対して、制御部２７４から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
　動き補償部２７２は、制御部２７４からのインター予測モードで、制御部２７４からの動きベクトルに基づいて、ボケフィルタ２７１からのボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を差分計算部２７３に供給する。また、動き補償部２７２は、制御部２７４の制御により、最適インター予測モードでの所定の動きベクトルに基づく動き補償の結果得られる、ボケ補償および動き補償後の画像を、インター予測画像として予測画像選択部７６に供給する。また、動き補償部２７２は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。
　差分計算部２７３は、動き補償部２７２からの画像と、その画像に対応する画面並べ替えバッファ６２からのインター予測する画像との差分を計算し、制御部２７４に供給する。
　制御部２７４は、予め設定されている複数のボケ情報をボケフィルタ２７１に順次供給する。制御部２７４は、差分計算部２７３からの差分が最小となったときのボケ情報を、インター予測する画像のボケ情報として予測する。そして、制御部２７４は、そのボケ情報をボケフィルタ２７１に供給するとともに、可逆符号化部１６４に供給する。
　また、制御部２７４は、予め設定されている複数の動きベクトルを動き補償部２７２に順次供給するとともに、候補となる全てのインター予測モードを動き補償部２７２に順次供給する。制御部２７４は、差分計算部２７３からの差分が最小となったときのインター予測モードを最適インター予測モードに決定し、動きベクトルをインター予測する画像の動きベクトルとして予測する。そして、制御部２７４は、その最適インター予測モードと動きベクトルを動き補償部２７２に供給する。これにより、最適インター予測モードでの所定の動きベクトルに基づく動き補償の結果得られる、ボケ補償および動き補償後の画像がインター予測画像として予測画像選択部７６に供給される。
　さらに、制御部２７４は、差分計算部２７３からの差分が最小となったときの動きベクトルを、インター予測する画像の動きベクトルとして予測する。そして、制御部２７４は、その動きベクトル情報や参照フレーム情報、最適インター予測モードなどを可逆符号化部１６４に供給する。
　以上のように、ボケ動き予測・補償部２６１は、ボケ補償および動き補償を行い、その結果得られる画像の中から、インター予測する画像との差分が最小となる画像をインター予測画像として選択する。即ち、ボケ動き予測・補償部２６１は、ボケ予測・補償処理と動き予測・補償処理を同時に行う。従って、ボケ補償と動き補償の組み合わせが最適な画像をインター予測画像とすることができる。その結果、インター予測の予測精度をより向上させることができる。但し、ボケ予測・補償処理と動き予測・補償処理を同時に行うためには、複数のボケ補償後の画像に対して動き予測・補償処理を行う必要があるため、動き予測・補償処理全体における探索範囲が広くなり、処理量は大きくなる。
　なお、画像符号化装置２５１では、ボケ予測・補償処理と同時に、候補となる全てのインター予測モードの動き予測・補償処理を行うボケ動き予測・補償処理が行われるが、ボケ予測・補償処理後に、候補となる全てのインター予測モードの動き予測・補償処理が行われるようにしてもよい。
　この場合の画像符号化装置は、図６の画像符号化装置１５１において動き予測・補償部１６１とボケ予測・補償部１６２が交換されることにより構成される。この場合、ボケ補償後の画像を用いて動き予測・補償処理を行うことができるので、動き予測・補償処理後にボケ予測・補償処理が行われる場合に比べて、インター予測の予測精度を向上させることができる。
　より詳細には、動き予測・補償処理においては、画像間の変化として平行移動だけが考えられることになる。このため、ボケ補償後の周波数特性が画像間で変化していない画像を用いて動き予測・補償が行われる場合、ボケによる画像間の差分が低減され、被写体の動きと一致する動きベクトルを検出することが容易になる。このように、ボケ予測・補償処理が、動き予測・補償の品質を改善するように機能するので、インター予測の予測精度を向上させることができる。
　これに対して、ボケ予測・補償処理が行われていない参照画像を用いて動き予測・補償処理を行う場合、例えば、参照画像にボケが生じておらず、インター予測する画像にボケが生じていると、被写体の動きと動きベクトルが一致している場合であっても、その動きベクトルに基づく動き補償後の参照画像とインター予測する画像に差分が発生するため、被写体の動きと一致する動きベクトルが検出されない場合がある。
　この場合、被写体の動きと無関係な動きベクトルに対応するインター予測画像か、または、イントラ予測画像が予測画像として採用されることになり、一般的に、予測画像の品質が悪化する。
　但し、ボケ予測・補償処理後に動き予測・補償処理が行われる場合、画像間に動きがあると、ボケ予測の際に、実際のボケに対応するボケ補償後の画像であっても、インター予測する画像との差分が小さくならない場合があり、ボケの予測が困難となる。
　これに対して、画像符号化装置１５１のように動き予測・補償処理をボケ予測・補償処理の前に行う場合、ボケ予測・補償処理に用いられる画像が、動き補償後の画像であるため、ボケの予測が容易である。
［符号化処理の説明］
　次に、図２３のフローチャートを参照して、図２１の画像符号化装置２５１の符号化処理について説明する。
　なお、図２３の符号化処理は、主に、図１５のステップＳ２３乃至Ｓ２５の代わりに、図２３のステップＳ２２３の処理が設けられる点で、図１５の符号化処理と異なっている。従って、以下では、ステップＳ２２３についてのみ詳細に説明する。
　ステップＳ２２３において、ボケ動き予測・補償部２６１は、スイッチ７３から供給される画像に対して、動きボケ予測・補償処理を行う。この動きボケ予測・補償処理の詳細については、後述する図２４を参照して説明する。
［ボケ動き予測・補償処理の詳細説明］
　次に、図２４のフローチャートを参照して、図２３のステップＳ２２３のボケ動き予測・補償処理について説明する。
　ステップＳ２４１において、ボケ動き予測・補償部２６１の制御部２７４（図２２）は、予め設定されているボケ情報のうちの全てのボケ情報を、ボケフィルタ２７１に供給するボケ情報Ｂとして設定したかどうかを判定する。ステップＳ２４１で、まだ予め設定されているボケ情報のうちの全てのボケ情報をボケ情報Ｂとして設定していないと判定された場合、処理はステップＳ２４２に進む。
　ステップＳ２４２において、制御部２７４は、まだボケ情報Ｂとして設定されていないボケ情報をボケ情報Ｂとして設定し、ボケフィルタ２７１に供給する。ステップＳ２４３において、ボケフィルタ２７１は、スイッチ７３から供給される画像に対して、制御部２７４から供給されるボケ情報Ｂに対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
　ステップＳ２４４において、制御部２７４は、予め設定されている動きベクトルのうちの、ボケ情報Ｂに対してまだ設定されていない動きベクトルを、動き補償部２７２に供給する動きベクトルＭＶとして設定し、動き補償部２７２に供給する。また、このとき、制御部２７４は、候補となる全てのインター予測モードを順次動き補償部２７２に供給する。
　ステップＳ２４５において、動き補償部２７２は、制御部２７４から順次供給される各インター予測モードで、制御部２７４からの動きベクトルＭＶに基づいて、ボケフィルタ２７１から供給されるボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を差分計算部２７３に供給する。
　ステップＳ２４６において、差分計算部２７３は、画面並べ替えバッファ６２から供給されるインター予測する画像と、動き補償部２７２から供給されるボケ補償および動き補償後の画像との差分を求め、制御部２７４に供給する。
　ステップＳ２４７において、制御部２７４は、ステップＳ２４６で求められた差分は、内蔵するメモリ（図示せず）に保持されている差分よりも小さいかどうかを判定する。ステップＳ２４７で、ステップＳ２４６で求められた差分は、内蔵するメモリ（図示せず）に保持されている差分よりも小さいと判定された場合、処理はステップＳ２４８に進む。但し、ステップＳ２４６で求められた差分が、最初のステップＳ２４６で求められた差分である場合にも、処理はステップＳ２４８に進む。
　ステップＳ２４８において、制御部２７４は、現在のボケ情報Ｂ，動きベクトルＭＶ、ステップＳ２４６で求められた差分、および、その差分に対応するインター予測モードを内蔵するメモリ（図示せず）に保持し、処理はステップＳ２４９に進む。なお、ステップＳ２４７およびＳ２４８の処理は、インター予測モードごとに行われる。
　一方、ステップＳ２４７で、ステップＳ２４６で求められた差分は、保持されている差分よりも小さくはないと判定された場合、処理はステップＳ２４８をスキップして、ステップＳ２４９に進む。ステップＳ２４９において、制御部２７４は、予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定したかどうかを判定する。
　ステップＳ２４９で、まだ予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定していないと判定された場合、処理は、ステップＳ２４４に戻り、以降の処理が繰り返される。
　また、ステップＳ２４９で、予め設定されている動きベクトルのうちの全ての動きベクトルを、動きベクトルＭＶとして設定したと判定された場合、処理はステップＳ２４１に戻り、以降の処理が繰り返される。
　一方、ステップＳ２４１で、予め設定されているボケ情報のうちの全てのボケ情報を、ボケ情報Ｂとして設定したと判定された場合、処理はステップＳ２５０に進む。ステップＳ２５０において、制御部２７４は、内蔵するメモリ（図示せず）に保持されているインター予測モードを最適インター予測モードに決定する。
　ステップＳ２５１において、制御部２７４は、内蔵するメモリ（図示せず）に保持されているボケ情報をボケ情報Ｂとしてボケフィルタ２７１に出力するとともに、保持されている動きベクトルＭＶとしての動きベクトルと最適インター予測モードを動き補償部２７２に出力する。
　ステップＳ２５２において、ボケフィルタ２７１は、スイッチ７３から供給される画像に対して、ステップＳ２５１で制御部２７４から供給されるボケ情報Ｂに対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。ボケフィルタ２７１は、その結果得られるボケ補償後の画像を動き補償部２７２に供給する。
　ステップＳ２５３において、動き補償部２７２は、ステップＳ２５１で制御部２７４から供給される動きベクトルＭＶに基づいて、ボケフィルタ２７１から供給されるボケ補償後の画像に対して動き補償を行う。そして、動き補償部２７２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像として予測画像選択部７６に供給する。このとき、動き補償部２７２は、インター予測画像のコスト関数値を算出し、予測画像選択部７６に供給する。その後、処理は図２３のステップＳ２２３に戻り、ステップＳ２２４に進む。
　以上のようにして画像符号化装置２５１により符号化された圧縮情報は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［復号装置の構成例］
　図２５は、このような画像復号装置の構成例を示している。
　図２５に示す構成のうち、図５や図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２５の画像復号装置２８１の構成は、主に、動き予測・補償部１２２、可逆復号部１１２の代わりに、ボケ動き予測・補償部２８２ボケ動き予測・補償部２８２、可逆復号部２１１が設けられている点で図５の構成と異なる。
　詳細には、図２５の画像復号装置２８１のボケ動き予測・補償部２８２には、ヘッダ部を可逆復号して得られた情報（最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報、およびボケ情報など）が可逆復号部２１１から供給される。ボケ動き予測・補償部２８２は、その最適インター予測モードを表す情報、動きベクトル情報、参照フレーム情報、およびボケ情報に基づいて、スイッチ１２０から供給される参照画像としての画像に対して、ボケ動き補償処理（詳細は後述する）を行う。
　そして、ボケ動き予測・補償部２８２は、その結果得られるボケ補償および動き補償後の画像をインター予測画像として、スイッチ１２３を介して演算部１１５に供給する。なお、ボケ動き補償処理とは、ボケ補償と同時に所定のインター予測モードの動き補償を行う処理である。
［ボケ動き予測・補償部２８２の詳細構成例］
　図２６は、図２５のボケ動き予測・補償部２８２の詳細構成例を示している。
　図２６のボケ動き予測・補償部２８２は、ボケフィルタ２９１ボケフィルタ２９１と動き補償部２９２により構成される。
　ボケフィルタ２９１は、スイッチ１２０から供給される参照画像としての画像に対して、可逆復号部２１１から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２９１は、その結果得られるボケ補償後の画像を動き補償部２９２に供給する。
　動き補償部２９２は、可逆復号部２１１から供給される動きベクトル情報、参照フレーム情報、および最適インター予測モードを表す情報に基づいて、ボケフィルタ２９１からのボケ補償後の画像に対して動き補償を行う。動き補償部２９２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像としてスイッチ１２３に供給する。
［復号処理の説明］
　次に、図２７のフローチャートを参照して、図２５の画像復号装置２８１の復号処理について説明する。
　なお、図２７の復号処理は、図１９のステップＳ１３９およびＳ１４０の代わりに、図２７のステップＳ３３９の処理が設けられる点で、図１９の符号化処理と異なっている。従って、以下では、ステップＳ３３９についてのみ詳細に説明する。
　ステップＳ３３９において、ボケ動き予測・補償部２８２は、スイッチ１２０から供給される画像に対して、ボケ動き補償処理を行う。このボケ動き補償処理の詳細については、後述する図２８を参照して説明する。
［動きボケ予測・補償処理の詳細説明］
　次に、図２８のフローチャートを参照して、図２７のステップＳ３３９のボケ動き補償処理について説明する。
　ステップＳ３５１において、ボケ動き予測・補償部２８２のボケフィルタ２９１は、スイッチ１２０から供給される画像に対して、可逆復号部２１１から供給されるボケ情報に対応するフィルタ係数を用いてフィルタリングすることにより、ボケ補償を行う。そして、ボケフィルタ２９１は、その結果得られるボケ補償後の画像を動き補償部２９２に供給する。
　ステップＳ３５２において、動き補償部２９２は、可逆復号部２１１からの情報が表す最適インター予測モードで、その情報とともに供給される動きベクトル情報および参照フレーム情報に基づいて、ボケフィルタ２９１からのボケ補償後の画像に対して動き補償を行う。動き補償部２９２は、その結果得られるボケ補償および動き補償後の画像を、インター予測画像としてスイッチ１２３に供給する。そして、処理は図２７のステップＳ３３９に戻り、ステップＳ３４１に進む。
　なお、上述した説明では、ボケ情報に応じてフィルタ係数が変化するようにしたが、フィルタ構造が変化するようにしてもよい。
　なお、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、"Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。
　図２９は、拡張されたマクロブロックサイズの例を示す図である。上記記載では、マクロブロックサイズが３２×３２画素に拡張されている。
　図２９の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図２９の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図２９の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
　すなわち、３２×３２画素のマクロブロックは、図２９の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
　また、上段の右側に示される１６×１６画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
　さらに、中段の右側に示される８×８画素のブロックは、Ｈ．２６４／ＡＶＣ方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
　このような階層構造を採用することにより、拡張されたマクロブロックサイズにおいては、１６×１６画素のブロック以下に関してＨ．２６４／ＡＶＣ方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
　以上のように提案される拡張されたマクロブロックサイズにも本発明を適用することができる。
　以上においては、符号化方式／復号方式としてH.264/AVC方式が用いられたが、本発明は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置/画像復号装置に適用することもできる。
　また、本発明は、例えば、MPEG,H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
　本発明は、特に、ボケが連続的に変化する画像を処理する場合に有効である。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
　なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した画像符号化装置１５１，２５１や画像復号装置２０１，２８１は、任意の電子機器に適用することができる。以下にその例について説明する。
　図３０は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
　図３０に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
　地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
　映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
　グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
　パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
　表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
　また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
　地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
　音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
　音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
　音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
　さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
　デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
　テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置２０１，２８１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
　MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
　また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
　音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
　ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
　音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
　フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
　例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
　また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
　受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
　CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
　USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
　テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置２０１，２８１を用いることにより、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
　図３１は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
　図３１に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
　また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
　電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
　携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
　また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
　また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
　なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
　携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置１５１，２５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測画像の品質を向上させることができる。
　なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
　携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
　なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
　携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
　携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置２０１，２８１を用いる。したがって、画像デコーダ４５６は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
　なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
　さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
　携帯電話機４００は、画像エンコーダ４５３として画像符号化装置１５１，２５１を用いることにより、例えばCCDカメラ４１６において生成された画像データを符号化して生成する符号化データの符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。
　また、携帯電話機４００は、画像デコーダ４５６として画像復号装置２０１，２８１を用いることにより、精度の高い予測画像を生成することができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
　なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
　また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置１５１，２５１および画像復号装置２０１，２８１を適用することができる。
　図３２は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
　図３２に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
　ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
　さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
　ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
　もちろん、この他の動作も可能である。
　図３２に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
　また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
　受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
　通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
　復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
　オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
　ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
　ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
　モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
　記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
　記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
　記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
　レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
　また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
　通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
　また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
　また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
　さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
　以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置２０１，２８１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
　また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置１５１，２５１を用いる。したがって、エンコーダ５５１は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。
　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置１５１，２５１および画像復号装置２０１，２８１を適用することができる。
　図３３は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
　図３３に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
　レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
　カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
　以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
　デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
　オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
　コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
　例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
　また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
　さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
　記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
　また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
　さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
　以上のようなカメラ６００は、デコーダ６１５として画像復号装置２０１，２８１を用いる。したがって、デコーダ６１５は、画像復号装置２０１，２８１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。
　また、カメラ６００は、エンコーダ６４１として画像符号化装置１５１，２５１を用いる。したがって、エンコーダ６４１は、画像符号化装置１５１，２５１の場合と同様に、インター予測において、動き補償だけでなくボケ補償も行う。これにより、インター予測する画像と参照画像との間でボケが発生または解消する場合であっても、より正確にインター予測を行い、インター予測後の画像の品質を向上させることができる。
　したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
　なお、コントローラ６２１が行う復号処理に画像復号装置２０１，２８１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置１５１，２５１の符号化方法を適用するようにしてもよい。
　また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
　もちろん、画像符号化装置１５１，２５１および画像復号装置２０１，２８１は、上述した装置以外の装置やシステムにも適用可能である。
　６３，７０，１１５　演算部，　６７　蓄積バッファ，　１５１　画像符号化装置，　１６１　動き予測・補償部，　１６２　ボケ予測・補償部，　１７１　ボケ補償部，　１７２　ボケ予測部，　２０１　画像復号装置，　２１２　動き予測・補償部，　２１３　ボケ予測・補償部，　２２１　フィルタ係数変換部，　２５１　画像符号化装置，　２６１　ボケ動き予測・補償部，　２８１　画像復号装置，　２８２　ボケ動き予測補償部

Claims (20)

  1. 　符号化された画像を復号する復号手段と、
    　前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、
    　前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段と
    　を備える画像処理装置。
  2. 　前記ボケ情報は、PSF（Point Spread Function）を用いて表される
    　請求項１に記載の画像処理装置。
  3. 　前記ボケ情報は、２次元の正規分布の式を用いて表される
    　請求項１に記載の画像処理装置。
  4. 　前記他の画像処理装置より送信されてくる前記ボケ情報は、前記２次元の正規分布の式における広がり幅Wである
    　請求項３に記載の画像処理装置。
  5. 　前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる
    　請求項１に記載の画像処理装置。
  6. 　前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる
    　請求項１０に記載の画像処理装置。
  7. 　前記補償手段は、前記復号手段により復号された前記画像に対して前記動き補償を行い、その結果得られる画像に対して、前記ボケ情報に基づいて前記ボケ補償を行う
    　請求項１に記載の画像処理装置。
  8. 　前記補償手段は、前記ボケ情報に基づいて、前記復号手段により復号された前記画像に対して前記ボケ補償を行い、その結果得られる画像に対して前記動き補償を行う
    　請求項１に記載の画像処理装置。
  9. 　画像復号装置が、
    　符号化された画像を復号する復号ステップと、
    　前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号ステップの処理により復号された前記画像に対して動き補償およびボケ補償を行う補償ステップと、
    　前記復号ステップの処理により復号された前記画像と、前記補償ステップの処理により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算ステップと
    　を含む画像処理方法。
  10. 　符号化された画像を復号する復号手段と、
    　前記符号化された画像に対応して、その画像を符号化した他の画像処理装置より送信されてくる画像間のボケの変化を表すボケ情報に基づいて、前記復号手段により復号された前記画像に対して動き補償およびボケ補償を行う補償手段と、
    　前記復号手段により復号された前記画像と、前記補償手段により動き補償およびボケ補償が行われた補償画像とを加算して、復号画像を生成する演算手段と
    　を備える画像処理装置として、コンピュータを機能させるためのプログラム。
  11. 　符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、
    　前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、
    　前記符号化後の画像と前記ボケ情報を送信する送信手段と
    　を備える画像処理装置。
  12. 　前記ボケ情報は、PSF（Point Spread Function）を用いて表される
    　請求項１１に記載の画像処理装置。
  13. 　前記ボケ情報は、２次元の正規分布の式を用いて表される
    　請求項１１に記載の画像処理装置。
  14. 　前記送信手段は、前記ボケ情報として、前記２次元の正規分布の式における広がり幅Wを送信する
    　請求項１３に記載の画像処理装置。
  15. 　前記ボケ情報は、インパルス応答として出力される半径Lにより表わされる
    　請求項１１に記載の画像処理装置。
  16. 　前記ボケ情報は、インパルス応答として中心から横方向の長さLxおよび縦方向の長さLyで表わされる
    　請求項１１に記載の画像処理装置。
  17. 　前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行う
    　請求項１１に記載の画像符号化装置。
  18. 　前記補償手段は、前記符号化対象の画像および前記参照画像を用いて前記ボケの変化を予測し、そのボケの変化を表すボケ情報に基づいて前記ボケ補償を行い、その結果得られる画像と、前記符号化対象の画像とを用いて前記動きを予測し、その動きを表す動きベクトルに基づいて前記動き補償を行う
    　請求項１１に記載の画像符号化装置。
  19. 　画像処理装置が、
    　符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償ステップと、
    　前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化ステップと、
    　前記符号化後の画像と前記ボケ情報を送信する送信ステップと
    　を含む画像処理方法。
  20. 　符号化対象の画像および参照画像を用いて、前記符号化対象の画像と前記参照画像との間の動きおよびボケの変化を予測し、その動きを表す動きベクトルおよびボケの変化を表すボケ情報に基づいて、前記参照画像に対して動き補償およびボケ補償を行う補償手段と、
    　前記動き補償および前記ボケ補償が行われた補償画像と、前記符号化対象の画像との差分を用いて、符号化後の画像を生成する符号化手段と、
    　前記符号化後の画像と前記ボケ情報を送信する送信手段と
    　を備える画像処理装置として、コンピュータを機能させるためのプログラム。
PCT/JP2009/070294 2008-12-03 2009-12-03 画像処理装置および画像処理方法、並びにプログラム WO2010064674A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980155532.XA CN102301718A (zh) 2008-12-03 2009-12-03 图像处理设备、图像处理方法和程序
US13/130,682 US20110229049A1 (en) 2008-12-03 2009-12-03 Image processing apparatus, image processing method, and program
JP2010541343A JPWO2010064674A1 (ja) 2008-12-03 2009-12-03 画像処理装置および画像処理方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-308217 2008-12-03
JP2008308217 2008-12-03

Publications (1)

Publication Number Publication Date
WO2010064674A1 true WO2010064674A1 (ja) 2010-06-10

Family

ID=42233321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070294 WO2010064674A1 (ja) 2008-12-03 2009-12-03 画像処理装置および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20110229049A1 (ja)
JP (1) JPWO2010064674A1 (ja)
CN (1) CN102301718A (ja)
WO (1) WO2010064674A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070295A (ja) * 2010-09-27 2012-04-05 Hitachi Consumer Electronics Co Ltd 映像処理装置及び映像処理方法
JP2016202906A (ja) * 2015-04-27 2016-12-08 デンタル・イメージング・テクノロジーズ・コーポレーション ローカルエリアネットワークおよびクラウドを用いたハイブリッドデンタル画像化システム
JP7502890B2 (ja) 2020-05-08 2024-06-19 日本放送協会 画像符号化装置及びそのプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
US9384384B1 (en) * 2013-09-23 2016-07-05 Amazon Technologies, Inc. Adjusting faces displayed in images
CN104539825B (zh) * 2014-12-18 2018-04-13 北京智谷睿拓技术服务有限公司 信息发送、接收方法及装置
US10979704B2 (en) 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
KR102523643B1 (ko) 2015-10-26 2023-04-20 삼성전자주식회사 이미지 신호 프로세서의 작동 방법과 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템의 작동 방법
US10248891B2 (en) 2017-06-20 2019-04-02 At&T Intellectual Property I, L.P. Image prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314431A (ja) * 2001-04-09 2002-10-25 Iwaki Akiyama 画像の符号化及び復号化方式
WO2006001384A1 (ja) * 2004-06-25 2006-01-05 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4887750B2 (ja) * 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
US7580620B2 (en) * 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314431A (ja) * 2001-04-09 2002-10-25 Iwaki Akiyama 画像の符号化及び復号化方式
WO2006001384A1 (ja) * 2004-06-25 2006-01-05 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070295A (ja) * 2010-09-27 2012-04-05 Hitachi Consumer Electronics Co Ltd 映像処理装置及び映像処理方法
JP2016202906A (ja) * 2015-04-27 2016-12-08 デンタル・イメージング・テクノロジーズ・コーポレーション ローカルエリアネットワークおよびクラウドを用いたハイブリッドデンタル画像化システム
US10530863B2 (en) 2015-04-27 2020-01-07 Dental Imaging Technologies Corporation Compression of dental images and hybrid dental imaging system with local area and cloud networks
JP7502890B2 (ja) 2020-05-08 2024-06-19 日本放送協会 画像符号化装置及びそのプログラム

Also Published As

Publication number Publication date
CN102301718A (zh) 2011-12-28
US20110229049A1 (en) 2011-09-22
JPWO2010064674A1 (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
KR101765429B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
JP5234368B2 (ja) 画像処理装置および方法
WO2011024685A1 (ja) 画像処理装置および方法
JP5240530B2 (ja) 画像処理装置および方法
WO2010035731A1 (ja) 画像処理装置および方法
WO2010101064A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2010064674A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2011155378A1 (ja) 画像処理装置および方法
WO2010095559A1 (ja) 画像処理装置および方法
WO2011078002A1 (ja) 画像処理装置および方法、並びにプログラム
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
WO2010035734A1 (ja) 画像処理装置および方法
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2010064675A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2011089973A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2010035730A1 (ja) 画像処理装置および方法
WO2011078003A1 (ja) 画像処理装置および方法、並びにプログラム
JP5556996B2 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2011152315A1 (ja) 画像処理装置および方法
WO2011078001A1 (ja) 画像処理装置および方法、並びにプログラム
WO2010035735A1 (ja) 画像処理装置および方法
WO2012005194A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980155532.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09830440

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010541343

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13130682

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09830440

Country of ref document: EP

Kind code of ref document: A1