WO2006001384A1 - 画像符号化方法および画像復号化方法 - Google Patents

画像符号化方法および画像復号化方法 Download PDF

Info

Publication number
WO2006001384A1
WO2006001384A1 PCT/JP2005/011642 JP2005011642W WO2006001384A1 WO 2006001384 A1 WO2006001384 A1 WO 2006001384A1 JP 2005011642 W JP2005011642 W JP 2005011642W WO 2006001384 A1 WO2006001384 A1 WO 2006001384A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parameter
decoded image
decoded
input image
Prior art date
Application number
PCT/JP2005/011642
Other languages
English (en)
French (fr)
Inventor
Satoshi Kondo
Hisao Sasai
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP05765122A priority Critical patent/EP1763251A4/en
Priority to US10/589,289 priority patent/US20070160147A1/en
Priority to JP2006528634A priority patent/JP5138933B2/ja
Publication of WO2006001384A1 publication Critical patent/WO2006001384A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the high resolution component of the input image is encoded as a difference image between the input image and an image obtained by enlarging the locally decoded image of the low resolution image.
  • this difference image becomes a high-resolution component.
  • the image decoding apparatus when the image decoding apparatus acquires the preprocessing parameter, the image decoding apparatus appropriately generates a decoded image based on the content of the preprocessing indicated by the preprocessing parameter. High image quality.
  • the image decoding method is an image decoding method for decoding an encoded input image, and is included in a code string acquisition step for acquiring a code string, and the code string Decoding step for generating a decoded image by decoding the encoded input image, and parameter acquisition for acquiring a parameter generated based on at least one frequency component of the input image and the decoded image And a step of improving the image quality by generating the high-quality decoded image closer to the input image than the decoded image by applying the parameter to the decoded image.
  • the present invention can be realized as such an image encoding method and an image decoding method, and an image encoding device and an image decoding device that perform processing using the method, It can also be realized as an integrated circuit, a program for realizing the method, and a storage medium for storing the program.
  • FIG. 1 shows an image encoding method using the image encoding method according to Embodiment 1 of the present invention.
  • 1 is a block diagram of an apparatus (Embodiment 1).
  • FIG. 2 is a block diagram showing an example of the configuration of a parameter extraction unit in the image coding apparatus described above. (Embodiment 1)
  • FIG. 3 is a block diagram showing a configuration example of an extraction unit in the image coding apparatus according to the above. (Embodiment 1)
  • FIG. 4 is a schematic diagram for explaining a processing method in a coefficient correction unit in the image coding apparatus described above. (Embodiment 1)
  • FIG. 5 is a flowchart showing the operation of the above-described image coding apparatus.
  • FIG. 6 is a block diagram showing a configuration example of a parameter extraction unit according to Modification 1 of the above. (Modification 1 of Embodiment 1)
  • FIG. 7 is a schematic diagram when the image coding apparatus according to the first modification of the above expresses the input image and the locally decoded image using a discrete wavelet transform coefficient in multi-resolution. (Modification 1 of Embodiment 1)
  • FIG. 9 is a block diagram showing a configuration example of a Laplacian generation unit according to Modification 2 of the above. (Modification 2 of Embodiment 1)
  • FIG. 10 is a diagram showing an example of a Laplacian image according to Modification 2 of the above. (Modification 2 of Embodiment 1)
  • FIG. 13 is a block diagram of an image encoding device using an image encoding method according to Embodiment 2 of the present invention. (Embodiment 2)
  • FIG. 15 is a diagram showing the configuration of an additional parameter extraction unit of an image encoding device according to a modification of the above. It is a block diagram which shows a composition example. (Modification of Embodiment 2)
  • FIG. 16 is a block diagram of an image decoding apparatus using an image decoding method according to Embodiment 3 of the present invention. (Embodiment 3)
  • FIG. 18 is a flowchart showing the operation of the above-described image decoding apparatus. (Embodiment 3)
  • FIG. 19 is a block diagram showing a configuration example of a high image quality processing unit according to Modification 1 of the above. (Modification 1 of Embodiment 3)
  • FIG. 20A is a schematic diagram when the image decoding apparatus according to the first modification of the above expresses the decoded image and the high-quality decoded image using the discrete wavelet transform coefficients in a multi-resolution representation. (Modification 1 of Embodiment 3)
  • FIG. 20B is another schematic diagram in the case where the image decoding apparatus according to the first modification of the above expresses the decoded image and the high-quality decoded image using the discrete wavelet transform coefficients in a multi-resolution manner. (Modification 1 of Embodiment 3)
  • FIG. 21 is a block diagram showing a configuration example of a high quality video processing unit according to Modification 2 of the above. (Modification 2 of Embodiment 3)
  • FIG. 22 is a diagram showing an example of a Laplacian image obtained by a Laplacian generation unit according to Modification 2 of the above. (Modification 2 of Embodiment 3)
  • FIG. 23 is a block diagram showing a configuration example of a high quality video processing unit according to Modification 3 of the above. (Modification 3 of Embodiment 3)
  • FIG. 24 is a block diagram showing a configuration example of an optimum high-quality video processing unit according to Modification 4 of the above. (Modification 4 of Embodiment 3)
  • FIG. 25 is a block diagram of an image decoding apparatus using an image decoding method according to Embodiment 4 of the present invention. (Embodiment 4)
  • FIG. 26 is a block diagram of an image decoding apparatus according to a modification of the above. (Modification of Embodiment 4)
  • FIG. 27A shows an image encoding method and an image decoding method according to the present invention. It is explanatory drawing about the recording medium for storing the program for implement
  • FIG. 27B is another explanatory diagram of a recording medium for storing a program for realizing the image encoding method and the image decoding method of the present invention by a computer system. (Embodiment 5)
  • FIG. 27C is still another explanatory diagram of a recording medium for storing a program for realizing the image encoding method and the image decoding method of the present invention by a computer system. (Embodiment 5)
  • FIG. 28 is a block diagram showing an overall configuration of a content supply system. (Embodiment 6)
  • FIG. 29 is a diagram showing an example of a mobile phone using the image encoding method and the image decoding method of the present invention. (Embodiment 6)
  • FIG. 30 is a block diagram of the above mobile phone. (Embodiment 6)
  • FIG. 31 is a diagram showing an example of a digital broadcasting system. (Embodiment 6) Explanation of symbols
  • FIG. 1 is a block diagram of an image encoding device 100 using the image encoding method according to Embodiment 1 of the present invention.
  • the image coding apparatus 100 includes an image coding unit 101 and a parameter extraction unit 102a.
  • the input image OR is input to the image encoding unit 101.
  • the image encoding unit 101 encodes the input image OR by an image encoding method defined by the standard.
  • Image coding methods specified by the standards can use the ISOZIEC standard JPEGOoint Photographic Experts Group (MPEG) system, MPEG (Moving Picture Experts Group) system, ITU-T standard H.26x system, etc. .
  • the image code key unit 101 outputs a code string BS obtained by encoding the input image OR and a local decoded image LD obtained by decoding the encoded input image OR.
  • the code string BS is output to the outside of the image coding apparatus 100 and is subjected to processing such as transmission and storage.
  • the locally decoded image LD is input to the parameter extraction unit 102a. Further, the input image OR is also input to the parameter extraction unit 102a.
  • the parameter extraction unit 102a uses the input image OR and the local decoded image LD to extract the image quality improvement parameter PR for making the local decoded image LD close to the input image OR.
  • the image quality improvement parameter PR is output to the outside of the image encoding device 100, and is subjected to processing such as transmission and storage together with the code string BS.
  • the meter extraction unit 102a may include the image quality improvement parameter PR in a header area or a user data area in the code string BS, or may output it as a code string different from the code string BS. .
  • FIG. 2 is a block diagram illustrating a configuration example of the parameter extraction unit 102a.
  • the parameter extraction unit 102a includes discrete cosine transform units 201 and 202 and an extraction unit 203.
  • the discrete cosine transform unit 201 performs a discrete cosine transform on the input image OR and outputs a discrete cosine transform coefficient OT.
  • Discrete cosine transform section 202 performs discrete cosine transform on local decoded image LD and outputs discrete cosine transform coefficient DT.
  • the input image OR and the local decoded image LD may be divided into blocks each having 8 horizontal pixels and 8 vertical pixels, and processing may be performed for each block. Alternatively, it may be divided into blocks of different sizes for each region. In this case, for example, there is a method in which the block size is increased in a flat portion and the block size is decreased in a complicated pattern portion including an edge.
  • Discrete cosine transform coefficients OT and DT obtained by discrete cosine transform sections 201 and 202 for each of input image OR and local decoded image LD are input to extraction section 203.
  • the extraction unit 203 determines the frequency distribution of the discrete cosine transform coefficient DT of the local decoded image LD as the input image OR.
  • the parameters for obtaining the frequency distribution of the discrete cosine transform coefficient OT are obtained.
  • FIG. 3 is a block diagram illustrating a configuration example of the extraction unit 203.
  • the extraction unit 203 includes a coefficient correction unit 301, a correction pattern holding unit 302, a distance calculation unit 303, and an optimum value detection unit 304.
  • the coefficient correction unit 301 receives the discrete cosine transform coefficient DT of the locally decoded image LD.
  • the coefficient correction unit 301 corrects the discrete cosine transform coefficient DT of the locally decoded image LD using each of the plurality of correction patterns held in the correction pattern holding unit 302 in order.
  • FIG. 4 is a schematic diagram for explaining a processing method in the coefficient correction unit 301.
  • (A) in Fig. 4 shows the frequency distribution of the discrete cosine transform coefficient DT of the locally decoded image LD.
  • the force expressing the discrete cosine transform coefficient DT as one-dimensional data is actually two-dimensional data.
  • FIG. 4 (b) shows a correction pattern. Correction parameter The turn has a different gain for each frequency.
  • the coefficient correction unit 301 multiplies the frequency distribution of the discrete cosine transform coefficient DT of the locally decoded image LD shown in (a) of FIG. 4 by the correction pattern shown in (b) of FIG. Obtain the frequency distribution of the discrete cosine transform coefficient CDT shown in Fig. 4 (c). Then, the coefficient correction unit 301 outputs the discrete cosine transform coefficient CDT to the distance calculation unit 303.
  • the distance calculation unit 303 receives the above-described discrete cosine transform coefficient CDT and the discrete cosine transform coefficient OT of the input image OR.
  • the distance calculation unit 303 calculates a distance DS between the discrete cosine transform coefficient CDT and the discrete cosine transform coefficient OT of the input image OR.
  • this distance D S for example, the sum of squares of the difference values for each coefficient corresponding to each frequency, the weighted sum of squares, or the like can be used. Then, the distance calculation unit 303 outputs this distance DS to the optimum value detection unit 304.
  • the processes of the coefficient correction unit 301 and the distance calculation unit 303 are repeated by the number of correction patterns held in the correction pattern holding unit 302. Then, the optimum value detection unit 304 finds a correction pattern that minimizes the distance DS.
  • the correction pattern number PN at this time is the optimal correction pattern number.
  • the optimum value detection unit 304 outputs the optimum correction pattern number PN as the image quality improvement parameter PR.
  • FIG. 5 is a flowchart showing the operation of the image coding apparatus 100 according to the present embodiment.
  • the image coding apparatus 100 acquires an input image OR (step S 100), and codes the input image OR to generate a code string BS (step S 102). Furthermore, the image encoding device 100 generates a local decoded image LD by decoding the encoded input image OR (step S104).
  • image coding apparatus 100 performs discrete cosine transform on input image OR and local decoded image LD to generate discrete cosine transform coefficients OT and DT (step S106). Then, the image coding apparatus 100 identifies a correction pattern for bringing the discrete cosine transform coefficient DT of the locally decoded image LD closer to the discrete cosine transform coefficient ⁇ of the input image OR (step S108).
  • the image encoding device 100 is generated in step S102.
  • the code string BS and the high-quality key parameter PR indicating the correction pattern specified in step S108 are output (step S110).
  • an input image is encoded by an image encoding method (CFPEG method, MPEG method, etc.) defined by the standard, and a high-quality image component is further generated.
  • the image quality improvement parameter for generation is obtained using the frequency components of the input image and the locally decoded image.
  • This image quality improvement parameter is a parameter for bringing the local decoded image closer to the input image, and is obtained using discrete cosine transform.
  • a code string compatible with the image encoding method (CFPEG system, MPEG system, etc.) defined by the standard is generated, Apart from that, it is possible to generate a higher image quality parameter.
  • This high image quality parameter is a parameter generated based on the frequency components of the input image and local decoded image that are not image data! Therefore, the amount of data can be extremely reduced, and the amount of information can be increased. Thus, it is possible to improve the quality of the decoded image.
  • an image decoding apparatus that has received a code string generated by the image encoding method according to the present embodiment only supports decoding of an image encoding method (CFPEG method, MPEG method, etc.) defined by the standard.
  • the image decoding apparatus can also process the image quality improvement parameter PR, it is possible to reproduce a high quality image. That is, by using the image coding method of the present embodiment, the image quality can be greatly improved with a slight increase in the amount of code compared to the image coding method defined by the standard. In addition, while having the characteristics of a so-called scalable code, it is possible to significantly reduce the code amount as compared with a conventional image coding method having a scalable function.
  • the noram extracting unit 102a calculates the discrete cosine transform coefficient between the input image OR and the locally decoded image LD.
  • the image code key unit 101 calculates the discrete cosine transform coefficient.
  • the discrete cosine transform coefficient obtained by the image code sign part 101 is used instead of obtaining the discrete cosine transform coefficient again by the parameter extracting part 102a. May be. As a result, the amount of calculation can be reduced.
  • the parameter extraction unit of the image coding apparatus generates a high quality key parameter PR by performing discrete wavelet transform instead of discrete cosine transform.
  • FIG. 6 is a block diagram illustrating a configuration example of the parameter extraction unit according to the present modification.
  • the parameter extraction unit 102b includes discrete wavelet transform units 501, 502 and an extraction unit 503.
  • the discrete wavelet transform unit 501 performs a discrete wavelet transform on the input image OR and outputs a discrete wavelet transform coefficient OW.
  • Discrete wavelet transform section 502 performs discrete wavelet transform on the local decoded image LD and outputs a discrete wavelet transform coefficient LW.
  • processing is performed on the entire screen of the input image OR and the local decoded image LD.
  • the screen may be divided into regions and processing may be performed for each region. In this case, for example, there is a method in which the screen is divided into regions according to the complexity (flatness) of the image.
  • the discrete wavelet transform coefficients OW and LW obtained by the discrete wavelet transform units 501 and 502 for the input image OR and the local decoded image LD are input to the extraction unit 503.
  • Extraction section 503 performs frequency distribution of discrete wavelet transform coefficients LW of local decoded image LD based on the frequency distribution of discrete wavelet transform coefficients OW and LW of input image OR and local decoded image LD, respectively. Determine the high-quality parameter PR for obtaining the frequency distribution of the discrete wavelet transform coefficient OW of the force input image OR.
  • FIG. 7 is a schematic diagram when the input image OR and the local decoded image LD are expressed in multi-resolution using discrete wavelet transform coefficients.
  • the discrete wavelet transform is applied once in the horizontal and vertical directions is shown.
  • “L” indicates a low frequency component
  • “H” indicates a high frequency component.
  • the first shows the horizontal frequency and the second shows the vertical frequency. So, for example, the symbol “LH” is low frequency in the horizontal direction.
  • the component indicates that the image component is a high frequency component in the vertical direction.
  • FIG. 7 (a) shows the multi-resolution representation using the discrete wavelet transform coefficient OW of the input image OR
  • Fig. 7 (b) shows the multi-resolution using the discrete wavelet transform coefficient LW of the local decoded image LD. Show the expression.
  • Extraction section 503 performs gain GO1 of LL component of input image OR for LL component of local decoded image LD, gain G1 'of HL component of input image OR for HL component of local decoded image LD, and local The gain G2 ′ of the LH component of the input image OR with respect to the LH component of the decoded image LD and the gain G3 ′ of the HH component of the input image OR with respect to the HH component of the local decoded image LD are obtained, and these gains are set as image quality improvement parameters. Output as PR.
  • the high image quality parameter PR is a parameter generated based on the frequency components of the input image and the local decoded image that are not image data. The amount of data can be extremely reduced.
  • the gain G0, the gain G1, the gain G2, and the gain G3 are used as the high image quality parameters PR.
  • Other gains may be used as the high image quality parameters PR.
  • the extraction unit 503 includes the gain G1 of the HL component of the input image OR with respect to the LL component of the input image OR, the gain G2 of the LH component of the input image OR with respect to the LL component of the input image OR, and the input image Obtain the gain G3 of the HH component of the input image OR for the LL component of OR. This can be calculated, for example, by calculating the energy value of each component and taking the ratio. Then, the extraction unit 503 outputs these gains as the high image quality parameter PR.
  • the extraction unit 503 may output the gains G1, G2, G3, G0, G1, G2, G3 as the high image quality parameter PR.
  • the discrete wavelet transform coefficients 501 and 502 are used to determine the discrete wavelet transform coefficients for each of the input image OR and the local decoded image LD.
  • the discrete wavelet transform function obtained by the image coding unit 101 is used. A number may be used. Thereby, the amount of calculation can be reduced.
  • a different high-quality key parameter PR is sent for each region. May be.
  • the wavelet transform may be performed on the entire screen, divided into regions, and different image quality improvement parameters PR may be generated for each region. By doing so, it is possible to generate an image quality improvement parameter PR that can be processed more finely than the force that increases the number of image quality improvement parameters PR.
  • the parameter extraction unit of the image encoding device generates a high quality key parameter PR by extracting an edge component instead of the discrete cosine transform.
  • FIG. 8 is a block diagram illustrating a configuration example of the parameter extraction unit according to the present modification.
  • the parameter extraction unit 102c includes Laplacian generation units 701 and 702, and an extraction unit 703.
  • a Laplacian generation unit 701 generates a Laplacian image OLP from the input image OR
  • a Laplacian generation unit 702 generates a Laplacian image LLP as well as a local decoded image LD force.
  • processing may be performed on the entire screen of the input image OR and the local decoded image LD.
  • the screen may be divided into areas and processing may be performed for each area. In this case, for example, there is a method of dividing the inside of the screen into regions according to the complexity (flatness) of the image.
  • Laplacian generation units 701 and 702 A processing method performed by Laplacian generation units 701 and 702 will be described with reference to FIG.
  • FIG. 9 is a block diagram of Laplacian generation units 701 and 702.
  • Laplacian generation units 701 and 702 include low-pass filters 801 and 802 and subtraction units 8 03 and 804, respectively.
  • the low-pass filter 801 applies a Gaussian low-pass filter to the input image OR to generate a low-frequency component image LF1. Then, the subtraction unit 803 subtracts the low frequency component image LF1 from the input image OR to generate a first level Laplacian image LP1. Next, the low-pass filter 802 applies a Gaussian low-pass filter to the low-frequency component image LF1, and generates a low-frequency component image LF2. Generate. Then, the subtracting unit 804 subtracts the low frequency component image LF2 from the low frequency component image LF1 to generate a second level Laplacian image LP2.
  • the first-level and second-level Laplacian images LP1, LP2 of the input image OR generated in this way are output as the above-mentioned Laplacian image OLP.
  • the low-pass filter 801 applies a Gaussian low-pass filter to the local decoded image LD to generate a low-frequency component image LF1. Then, the subtracting unit 803 subtracts the low-frequency component image LF1 from the local decoded image LD to generate a first level Laplacian image LP1. Next, the low-pass filter 802 applies a Gaussian low-pass filter to the low-frequency component image LF1 to generate a low-frequency component image LF2. Then, the subtracting unit 804 subtracts the low frequency component image LF1 from the low frequency component image LF to generate a second level Laplacian image LP2.
  • the first-level and second-level Laplacian images LP1, LP2 of the local decoded image LD generated in this way are output as the Laplacian image LLP described above.
  • the Laplacian image is generated by subtracting the low frequency component of the input image from the input image.
  • a Laplacian image is an image generated by a kind of high-pass filter, and the edge component of the image can be extracted. Then, as the level of the Laplacian image increases, a lower edge component can be extracted.
  • FIG. 10 is a diagram illustrating an example of a Laplacian image.
  • FIG. 10A shows the input image OR
  • FIGS. 10B and 10C show the first-level and second-level Laplacian images LP1 and LP2 with respect to the input image OR, respectively.
  • (D) in FIG. 10 shows the local decoded image LD
  • (e) and (f) in FIG. 10 show the first-level and second-level Laplacian images LP1 and LP2 for the local decoded image LD, respectively.
  • Extraction unit 703 compares the same level Laplacian images of input image OR and local decoded image LD, and extracts parameters. For example, the gain G1 for obtaining the first level Laplacian image LP1 of the input image OR from the first level Laplacian image LP1 of the local decoded image LD and the second level Laplacian image LP2 of the local decoded image LD Input image O
  • the gain G2 for obtaining the second level Laplacian image LP2 of R is a parameter.
  • the extraction unit 703 outputs these gains as the high image quality parameter PR.
  • the high image quality parameter PR is a parameter generated based on the frequency components of the input image and the local decoded image that are not image data. The amount of data can be extremely reduced.
  • the first-level and second-level Laplacian images LP1 and LP2 are obtained. However, up to any level of Laplacian images that can be obtained with more levels of Laplacian images. Information indicating whether it has been obtained may be included in the high-quality key parameter PR.
  • a different high-quality key parameter PR is sent for each region. May be.
  • a Laplacian image may be generated for the entire screen, divided into regions, and different high-quality key parameters may be generated for each region. By doing so, it is possible to generate a high quality image parameter PR that can be processed more finely than the power of increasing the number of high image quality parameters PR.
  • the parameter extraction unit of the image encoding device generates a high image quality parameter PR by using a filter process based on a point spread function (Point Spread Function) instead of the discrete cosine transform. To do.
  • a point spread function Point Spread Function
  • FIG. 11 is a block diagram illustrating a configuration example of the parameter extraction unit according to the present modification.
  • This parameter extraction unit 102d assumes that the image obtained by subjecting the input image OR to the filtering process by the point spread function (convolution process) is the local decoded image LD, The parameters of the image intensity distribution function are obtained.
  • the point spread function is generally approximated as a Gaussian function
  • the parameter is a parameter of the Gaussian function (standard deviation ⁇ ).
  • the parameter extraction unit 102d includes a convolution processing unit 1401, a function parameter A holding unit 1402, an error energy calculation unit 1403, and a parameter determination unit 1404 are provided.
  • the function parameter holding unit 1402 includes a plurality of predetermined point image intensity distribution function parameters.
  • the convolution processing unit 1401 selects any one of the parameters of the parameters held by the function parameter holding unit 1402. Then, the convolution processing unit 1401 performs convolution processing on the input image OR using the selected parameter, and outputs an image CR obtained as a result.
  • Error energy calculation section 1403 obtains error energy ER between image CR and locally decoded image LD. The error energy ER is input to the parameter determination unit 1404. Such calculation of the error energy 1 ER is performed for each of the parameters of the point image intensity distribution function held in the function parameter holding unit 1402.
  • Parameter determination unit 1404 selects a parameter of a point spread function that minimizes error energy ER, and outputs the parameter number PN as a high-quality key parameter PR.
  • the high image quality parameter PR is a parameter generated by performing filter processing based on frequency on an input image that is not image data. Therefore, the amount of data can be extremely reduced.
  • the convolution process is performed on the input image OR, and the parameter of the point spread function that minimizes the error energy between the result and the local decoded image LD is obtained. It is also possible to perform a deconvolution process on the local decoded image LD and obtain a parameter of a point spread function that minimizes the error energy between the result and the input image OR.
  • the point image intensity distribution function parameters for the entire screen are obtained.
  • the screen may be divided into regions, and the point image intensity distribution function parameters may be obtained for each region. .
  • information about the area may be included as the image quality improvement parameter PR.
  • the image coding apparatus is configured to include an optimum parameter extraction unit instead of the parameter extraction unit 102a shown in FIG.
  • FIG. 12 is a block diagram showing a configuration of the optimum parameter extraction unit according to this modification.
  • the optimum parameter extraction unit 102 includes parameter extraction units 102a, 102b, 102c, and 102d, and a selection unit 112.
  • Each of the parameter extraction units 102a, 102b, 102c, and 102d is an input image as described above.
  • the OR and the local decoded image LD are acquired, and the image quality improvement parameter PR is output based on each processing procedure.
  • the selection unit 112 acquires the high image quality improvement parameters PR output from the parameter extraction units 102a, 102b, 102c, and 102d. Then, the selection unit 112 selects a high image quality parameter PR that can bring the local decoded image LD closest to the input image OR from among the image quality enhancement parameters PR.
  • the selection unit 112 generates a high-quality decoded image from the local decoded image LD using the high-quality key parameter PR for each high-quality parameter PR output from each parameter extraction unit. Then, the selection unit 112 finds a high-quality decoded image that is closest to the input image OR from the high-quality decoded image generated for each image quality improvement parameter PR, and uses the high-level decoded image that is used to generate the high-quality decoded image. Select the image quality improvement parameter PR.
  • the selection unit 112 outputs the high quality key parameter PR thus selected and an identifier Pid indicating a method for generating the high quality video parameter PR.
  • the image decoding apparatus uses the high-quality key parameter PR to input the input image from the code string BS.
  • a high-quality decoded image closer to OR can be generated.
  • the force with which the parameter extraction units 102a, 102b, 102c, and 102d all generate the image quality improvement parameter PR for the input image OR depends on the input image OR and a predetermined condition. Only one of the parameter extraction units generates the high quality key parameter PR. May be.
  • the high-quality image parameter PR is set using a discrete cosine transform coefficient, a discrete doublet transform coefficient, a Laplacian image, and a point spread function. Generated force Use other frequency conversion methods such as Fourier transform and Hadamard transform, image processing methods such as edge image generation method by Sobel operator, edge image generation method using Gabor function, etc.
  • the high-quality key parameter PR may be generated.
  • FIG. 13 is a block diagram of an image encoding device 1000 using the image encoding method according to Embodiment 2 of the present invention.
  • the image encoding device 1000 includes an image encoding unit 1001, an additional parameter extraction unit 1002a, and a preprocessing unit 1003.
  • the input image OR is input to the preprocessing unit 1003.
  • the preprocessing unit 1003 performs an image size reduction process, a filter process using a low-pass filter, a frame rate reduction process using temporal frame skipping, and the like on the input image OR. All of these processes may be performed, or only one of them may be performed.
  • the preprocessing unit 1003 outputs the preprocessed image PI generated by the above-described processing to the image code key unit 1001 and the additional parameter extraction unit 1002a. Then, the preprocessing unit 1003 preprocesses the processing performed on the input image OR and the parameters of the processing (for example, the reduction ratio, the frequency characteristics of the low-pass filter, the frame thinning method, etc.).
  • the processed parameter PP is output to the attached calo parameter extraction unit 1002a.
  • the image encoding unit 1001 performs an image encoding method defined by the standard on the input preprocessed image PI.
  • the image coding method defined by the standard the JPEG method, the MPEG method, the H.26x method, etc. can be used as in the first embodiment.
  • the image encoding unit 1001 outputs a code string BS and a locally decoded image LD obtained by encoding the preprocessed image PI.
  • the code string BS is output to the outside of the image coding apparatus 1000 and is subjected to processing such as transmission and storage.
  • the locally decoded image LD is output to the additional parameter extraction unit 1002a.
  • the additional parameter extraction unit 1002a may include the image quality enhancement parameter PR 'in the header area or the user data area in the code string BS. It may be output as a code string different from the string BS.
  • FIG. 14 is a block diagram illustrating a configuration example of the additional parameter extraction unit 1002a.
  • the additional parameter extraction unit 1002a includes the parameter extraction unit 102a described in the first embodiment.
  • the parameter extraction unit 102a described in the first embodiment has the ability to acquire the input image OR and the local decoded image LD.
  • the parameter extraction unit 102a in the present embodiment uses the preprocessed image PI instead of the input image OR. To get. Then, the parameter extraction unit 102a in the present embodiment processes the acquired information and outputs a parameter Pr.
  • the processing content by the parameter extraction unit 102a is the same as the processing content of the first embodiment.
  • the additional parameter extraction unit of the image coding apparatus performs reverse preprocessing to generate a high image quality improvement parameter PR '.
  • FIG. 15 is a block diagram showing a configuration example of the additional parameter extraction unit 1002b according to the present modification.
  • This additional parameter extraction unit 1002b includes a reverse preprocessing unit 1201 and the parameter extraction unit 102a described in the first embodiment.
  • the locally decoded image LD and the preprocessing parameter PP are input to the reverse preprocessing unit 1201.
  • the reverse preprocessing unit 1201 performs a process reverse to the process performed by the preprocessing unit 1003 on the locally decoded image LD using the preprocessing parameter PP.
  • the pre-processing unit 1003 performs image size reduction processing
  • the reverse pre-processing unit 1201 performs enlargement processing.
  • the preprocessing unit 1003 performs filtering using a low-pass filter
  • the processing unit 1201 performs processing using an inverse filter of a low-pass filter.
  • the reverse pre-processing unit 1201 performs frame rate improvement processing.
  • the inverse preprocessing unit 1201 outputs the locally decoded image LD ′ subjected to such processing to the parameter extraction unit 102a.
  • the parameter extraction unit 102a described in the first embodiment has the ability to acquire the input image OR and the local decoded image LD.
  • the parameter extraction unit 102a according to the present modification uses the reverse operation instead of the local decoded image LD.
  • the locally decoded image LD ′ processed by the processing unit 1201 is acquired.
  • the parameter extraction unit 102a according to the present modification processes the acquired information and outputs a parameter Pr.
  • the processing content by the parameter extraction unit 102a according to this modification is the same as the processing content of the first embodiment.
  • the additional parameter extraction unit 1002b outputs the parameter Pr and the preprocessing parameter PP output from the parameter extraction unit 102a as the high image quality parameter PR '.
  • additional parameter extraction units 1002a and 1002b are the force provided with the parameter extraction unit 102a of the first embodiment.
  • the parameter extraction unit 102b in the first modification of the first embodiment Any one of the parameter extraction unit 102c in the second modification of the first embodiment, the parameter extraction unit 102d in the third modification of the first embodiment, and the optimum parameter extraction unit 102 in the fourth modification of the first embodiment. It may be provided in place of the meter extraction unit 102a.
  • FIG. 16 is a block diagram of an image decoding apparatus 1500 using the image decoding method according to Embodiment 3 of the present invention.
  • the image decoding apparatus 1500 includes an image decoding unit 1501 and a high quality video processing unit 1502a.
  • the image decoding apparatus 1500 receives the code string BS generated by the image encoding apparatus using the image encoding method of the present invention described in Embodiment 1 and the image quality improvement parameter PR.
  • the code string BS is input to the image decoding unit 1501.
  • the image decoding unit 1501 performs image decoding specified by the standard on the code string BS.
  • the image decoding key unit 1501 is decoded by the JPEG method and the code string BS is encoded by the MPEG method.
  • decoding is performed using the MPEG method
  • the code string BS is encoded using the H. 26x method
  • decoding is performed using the H. 26x method.
  • the image decoding unit 1501 outputs the decoded image DC to the image quality improvement processing unit 1502a.
  • the image quality improvement parameter PR is input to the correction pattern holding unit 1603.
  • the correction pattern holding unit 1603 holds the same pattern as the correction pattern held in the correction pattern holding unit 302 described in the first embodiment. Then, the correction pattern holding unit 1603 outputs, to the coefficient correction unit 1602, the correction pattern PT specified by the image quality improvement parameter PR from among the correction patterns held by itself.
  • the coefficient correction unit 1602 performs the discrete cosine transform coefficient CT and the correction pattern PT of the decoded image DC. And the discrete cosine transform coefficient CT is corrected using the correction pattern PT. The coefficient correction unit 1602 performs correction using the same method as described with reference to FIG. 4 in the first embodiment. Then, the coefficient correction unit 1602 outputs the discrete cosine transform coefficient CCT, which is the corrected discrete cosine transform coefficient CT, to the inverse discrete cosine transform unit 1604.
  • the inverse discrete cosine transform unit 1604 generates and outputs a high-quality decoded image HQ by performing inverse discrete cosine transform on the discrete cosine transform coefficient CCT.
  • FIG. 18 is a flowchart showing the operation of the image decoding apparatus 1500 according to the present embodiment.
  • the image decoding apparatus 1500 performs discrete cosine transform on the decoded image DC to generate a discrete cosine transform coefficient CT (step S204). Then, the image decoding apparatus 1500 applies the correction pattern PT indicated by the image quality improvement parameter PR to the generated discrete cosine transform coefficient CT to correct the discrete cosine transform coefficient CT (step S206). .
  • the image decoding apparatus 1500 performs inverse discrete cosine transform on the corrected discrete cosine transform coefficient CT, that is, the discrete cosine transform coefficient CCT, to generate a high-quality decoded image HQ (step S208). ).
  • a code string BS generated by encoding using an image encoding method (CFPEG method, MPEG method, etc.) defined by the standard Furthermore, an image quality improvement parameter PR for generating an image quality improvement component is acquired. Then, the code sequence BS is decoded by an image decoding method defined by the standard to generate a decoded image DC, and image processing is performed on the decoded image DC using the image quality improvement parameter PR, thereby increasing the image quality. Image quality decoded image HQ is generated. In the processing using the image quality improvement parameter PR, a high frequency that is not included in the decoded image DC is used by using a discrete cosine transform or the like. The wave number component can be added to the decoded image DC.
  • the image decoding method according to the present embodiment since the image decoding method according to the present embodiment is used, the image quality can be greatly improved with a slight increase in the amount of code compared to the image decoding method defined by the standard. Further, while having the characteristics of so-called scalable decoding, it is possible to greatly reduce the amount of codes compared to a conventional image decoding method having a scalable function.
  • the coefficient correction unit 1602 when the high image quality parameter PR is generated for each region, the coefficient correction unit 1602 performs the coefficient correction processing for each region.
  • FIG. 19 is a block diagram illustrating a configuration example of the image quality improvement processing unit according to the present modification.
  • the high quality video processing unit 1502b includes a discrete wavelet transform unit 1701, a coefficient correction unit 1702, and an inverse discrete wavelet transform unit 1703.
  • Discrete wavelet transform section 1701 outputs discrete wavelet transform coefficient WC obtained for decoded image DC to coefficient correction section 1702.
  • the coefficient correction unit 1702 performs high image quality on the discrete wavelet transform coefficients WC of the LL component, HL component, LH component, and HH component in the decoded image DC as shown in (a) of FIG. 20A.
  • the gain correction is performed using the gains GO ′, G1 ′, G2 ′, and G3 ′ described in the first embodiment as the parameter PR.
  • the coefficient CWC is generated.
  • the coefficient correction unit 1702 performs gain correction using the high image quality parameter PR indicating the gains G0, G1, G2, G3, but will be described in the first embodiment. Use the high-quality key parameter PR to indicate the gains Gl, G2, and G3.
  • coefficient correction section 1702 copies the LL component of discrete wavelet transform coefficient WC corresponding to decoded image DC as it is as the LL 'component. Then, coefficient correction section 1702 is described in Embodiment 1 as image quality improvement parameter PR for each of the HL component, LH component, and HH component of discrete wavelet transform coefficient WC corresponding to decoded image DC. Gain correction is performed using the gains Gl, G2, and G3. As a result, as shown in (b) of FIG. 20B, the discrete wavelet transform coefficient CWC having the LL ′ component, the HL ′ component, the LH ′ component, and the HH ′ component corresponding to the high-quality decoded image HQ is generated. .
  • the inverse discrete wavelet transform unit 1703 generates and outputs a high-quality decoded image HQ by performing inverse discrete wavelet transform on the discrete wavelet transform coefficient CWC generated by the correction.
  • the high-quality video processing unit of the image decoding device acquires the high-quality parameter PR generated by the parameter extraction unit 102c described in the second modification of the first embodiment. . Then, the high image quality processing unit generates the high quality decoded image HQ by extracting the edge component instead of the discrete cosine transform and the inverse cosine transform.
  • the image quality improvement processing unit 1502c includes a Laplacian generation unit 1901, a Laplacian correction unit 1902, and a synthesis unit 1903.
  • the Laplacian correction unit 1902 displays the Laplacian image LP and the image quality improvement parameter PR. Acquire and correct Laplacian image LP.
  • the Laplacian correction unit 1902 uses the gain G 1 and the gain G 2 described in the second modification of the first embodiment as the high image quality parameter PR. Then, as shown in FIG. 22, the Laplacian correction unit 1902 generates a Laplacian image CLP1 by applying a gain G1 to the first-level Laplacian image LP1 ((b) in FIG. 22) ((d in FIG. 22). )), And applying the gain G2 to the second-level Laplacian image LP2 (Fig. 22 (c)) to generate the Laplacian image CLP2 (Fig.
  • the Laplacian correction unit 1902 outputs the Laplacian images CLP1 and CLP2 generated by the correction to the synthesis unit 1903 as a Laplacian image CLP.
  • the synthesizing unit 1903 obtains the decoded image DC and the Laplacian image CLP, and adds these images to generate and output a high quality image HQ ((f) in FIG. 22).
  • the decoded image is obtained by decoding the code string BS using the image decoding method (CFPEG method, MPEG method, etc.) defined by the standard. It is possible to generate DC and further improve the image quality of the decoded image DC using the image quality improvement parameter PR.
  • This image quality improvement parameter PR is based on the frequency components of the input image (original image) and the local decoded image by an image encoding device that is not image data! Since the parameters are generated in a long time, the amount of data can be extremely reduced, and high image quality can be achieved by increasing the amount of information.
  • the Laplacian correction unit 1902 performs correction processing for each region.
  • the image quality improvement processing unit of the image decoding apparatus acquires the high image quality parameter PR generated by the parameter extraction unit 102d described in the modification 3 of the first embodiment.
  • the image quality improvement processing unit generates a high-quality decoded image HQ by performing a filtering process using a point spread function instead of discrete cosine transform and inverse discrete cosine transform.
  • FIG. 23 is a block diagram illustrating a configuration example of an image quality improvement processing unit according to the present modification.
  • the function parameter storage unit 2102 has a plurality of predetermined point image intensity distribution function parameters.
  • the deconvolution unit 2101 obtains the decoded image DC and the parameters of the point spread function, and convolves (filters) the inverse function of the function that also obtains the parameter power with the decoded image DC.
  • a decoded image HQ is generated, and the high-quality decoded image HQ is output.
  • the image decoding apparatus is configured to include an optimum image quality improvement processing unit instead of the high image quality processing unit 1502a shown in FIG.
  • This optimum image quality improvement processing unit obtains the image quality parameter PR and the identifier Pid generated by the optimum parameter extraction unit 102 described in the fourth modification of the first embodiment.
  • FIG. 24 is a block diagram illustrating a configuration example of the optimum image quality enhancement processing unit according to the present modification.
  • the optimum high-quality key processing 1502 includes a high-quality key processing 1502a 1502b 1502c 15 02d and a selection unit 1512.
  • the selection unit 1512 acquires the image quality improvement parameter PR and the identifier Pid indicating the generation method of the image quality improvement parameter PR from the image encoding device.
  • the selection unit 1512 outputs the image quality improvement parameter PR to the image quality improvement processing unit 1502a, and the identifier Pid is converted into the discrete wavelet transform.
  • the image quality improvement parameter PR is output to the image quality improvement processing unit 1502b.
  • the selection unit 1512 outputs the image quality improvement parameter PR to the image quality improvement processing unit 1502c, and the identifier Pid is converted into the point spread function.
  • the image quality improvement parameter PR is output to the image quality improvement processing unit 1502d.
  • Image quality processing 1502a, 1502b, 1502c, and 1502d can be selected, respectively.
  • the image quality improvement parameter PR is acquired, the image quality parameter PR and the decoded image DC are respectively obtained as described above.
  • a high-quality decoded image HQ is generated and output based on this processing procedure.
  • a high-quality decoded image HQ is generated using the high-quality key parameter PR regardless of the high-quality key parameter PR generated by any generation method. It can be done.
  • a high-quality image is generated using a discrete cosine transform coefficient, a discrete wavelet transform coefficient, a Laplacian image, and a point spread function.
  • Power as parameter PR This can be achieved by other frequency conversion methods, such as Fourier transform, Hadamard transform, etc., image processing methods, for example, edge image generation by Sobel operators, and edge image generation using Gabor functions.
  • the parameter generated using the method, etc. can be used as the image quality improvement parameter PR.
  • the code string BS generated by the image coding apparatus using the image coding method of the present invention described in the second embodiment and the modification thereof and the image quality improvement parameter PR ′ are used.
  • an image decoding method when generating a high-quality decoded image HQ will be described.
  • FIG. 25 is a block diagram of an image decoding apparatus 2200 using the image decoding method according to the present embodiment.
  • the image decoding apparatus 2200 includes an image decoding unit 2201, an image quality improvement processing unit 2202, and a post-processing unit 2203.
  • the image decoding device 2200 receives the code string BS generated by the image coding apparatus using the image coding method of the present invention described in the second embodiment and the high-quality key parameter PR ′.
  • the high image quality improving parameter PR ′ is obtained by the method described with reference to FIG. 14 of the second embodiment.
  • the image decoding unit 2201 extracts the image quality information from the acquired code string BS. Separate the parameter PR '. Then, the image decoding unit 2201 outputs the separated high image quality parameter PR ′ to the high image quality processing unit 2202 and the post-processing unit 2203. [0182]
  • the decoded image DC and the image quality improvement parameter PR ' are input to the image quality improvement processing unit 2202.
  • the high image quality processing unit 2202 performs the same processing on the decoded image DC as the high image quality processing unit 1502a of the third embodiment, using the high image quality key parameter PR ′. Through this processing, the image quality improvement processing unit 2202 generates a high-quality decoded image HDC and outputs the high-quality decoded image HDC.
  • the image decoding defined by the standard is performed.
  • the decoding method DC is generated by decoding the code string BS using the encoding method (CFPEG method, MPEG method, etc.), and the image quality of the decoded image DC is improved using the image quality improvement parameter PR ′.
  • This image quality improvement parameter PR ' is a parameter generated based on the frequency components of the input image (original image) and the local decoded image by an image encoding device that is not image data. It can be extremely small, and high image quality can be achieved with a small increase in the amount of information.
  • FIG. 26 is a block diagram of an image decoding apparatus 2300 according to this modification.
  • the image decoding apparatus 2300 includes an image decoding unit 2301, a post-processing unit 2302, and a high-quality image processing unit 2303.
  • the image decoding apparatus 2300 includes a code string BS generated by the image encoding apparatus using the image encoding method of the present invention described in the modification of Embodiment 2, a high image quality parameter PR ', and Is entered.
  • the image quality improvement parameter PR ′ is obtained by the method described with reference to FIG. 15 in the modification of the second embodiment. It is.
  • the code string BS is input to the image decoding unit 2301.
  • the image decoding key unit 2301 performs the same processing as the image decoding key unit 2201. Then, the image decoding unit 2301 outputs the decoded image DC generated by the processing to the post-processing unit 2302. If the high-quality key parameter PR is included in the header area or user data area of the code string BS, the image decoding unit 2301 reads the high-quality key parameter PR from the acquired code string BS. , Are separated. Then, the image decoding unit 2301 outputs the separated image quality improvement parameter PR ′ to the post-processing unit 2302 and the image quality improvement processing unit 2303.
  • the post-processed decoded image DC 'and the image quality enhancement parameter PR' are input to the image quality enhancement processing unit 2303.
  • the image quality improvement processing unit 2303 performs the same processing as the image quality improvement processing unit 1502a described in Embodiment 3 on the post-processed decoded image DC ′ using the image quality improvement parameter PR ′.
  • the processing result is output as a high-quality decoded image HQ.
  • FIG. 27A, FIG. 27B, and FIG. 27C show the image encoding method and the image decoding method of the above embodiments and modifications using a program recorded on a recording medium such as a flexible disk. It is explanatory drawing in the case of implementing by a computer system.
  • FIG. 27C shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the program for realizing the image encoding method and the image decoding method is recorded on the flexible disk FD
  • the program is written from the computer system Cs via the flexible disk drive FDD.
  • the flexible disk drive FDD To read the program from the flexible disk and transfer it to the computer system Cs.
  • This content supply system exlOO is, for example, connected to the Internet exlOl via the Internet service provider exl02 and the telephone network exl04, and the base stations exl07 to exl l0, the computer exl 11, the PDA (personal digital assistant) exl 12, the camera Various devices such as exl 13, mobile phone exl l4, mobile phone with camera exl l5, etc. are connected.
  • the content supply system exlOO is not limited to the combination shown in FIG. 28, and may be connected in any combination.
  • each device may be directly connected to the telephone network exl04 without going through the base stations exlO 7 to exl 10 which are fixed radio stations.
  • the streaming server exl03 is connected to the camera 6113 and the base station 6109 via the telephone network exl04, and based on the code-processed data transmitted by the user using the camera exll3, Live distribution is possible.
  • the encoding process of the captured data may be performed by the camera exl 13 or may be performed by a server or the like that performs the data transmission process.
  • the moving image data shot by the camera 116 may be transmitted to the streaming server exl03 via the computer exl11.
  • the camera exl 16 is a device such as a digital camera that can shoot still images and videos. In this case, the sign of the moving image data may be performed by the camera exl 16 or the computer ex 111.
  • the content that the user shoots with the camera exl 13, camera exl l6, etc. (for example, video shot of music live, etc.) is the same as in the above embodiments and modifications.
  • the streaming server exl03 streams the content data to the requested client.
  • the client include a computer exl 11, a PDA exl l2, a camera exl l 3, a mobile phone ex 114, and the like that can decrypt the encoded data.
  • the content supply system exlOO can receive and play back the encoded data at the client, and further receive, decode, and play back at the client in real time. It is a system that can also be realized.
  • the image coding method or the image decoding method shown in the above embodiments and modification examples may be used for coding and decoding of each device constituting this system.
  • a mobile phone will be described as an example.
  • FIG. 29 is a diagram showing a mobile phone exl5 using the image coding method and the image decoding method described in the above embodiments and modifications.
  • the mobile phone exl l5 is an antenna ex201 for transmitting and receiving radio waves to and from the base station e xl lO, images from a CCD camera, camera unit ex203 capable of taking still images, images taken by the camera unit ex203, Display unit such as a liquid crystal display that displays the decoded data of the video received by the antenna ex20 1, etc.
  • the power circuit unit ex310 can operate the digital mobile phone exl l5 with a camera by supplying power to each unit when the end call and the power key are turned on by a user operation. Start to state.
  • the image encoding unit ex312 has a configuration including the image encoding unit described in the present invention, and the image data supplied from the camera unit ex203 is the image shown in each of the above embodiments and modifications.
  • the data is converted into encoded image data by compression encoding using the encoding method used in the encoding apparatus, and is sent to the demultiplexing unit ex308.
  • the mobile phone exl5 sends the voice collected by the voice input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital voice data via the voice processing unit ex305.
  • the demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result Is modulated by the modulation / demodulation circuit unit ex306, digital-analog conversion processing and frequency conversion processing are performed by the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
  • the present invention is not limited to the above system example, and recently, digital broadcasting by satellite and terrestrial waves has become a hot topic.
  • an image encoding device or an image decoding device can be incorporated.
  • the code bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves.
  • the broadcast satellite ex410 that receives this signal transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex406 having a satellite broadcast receiving facility, and the television (receiver) ex401 or set top box (STB) ex 407, etc.
  • the apparatus decodes the code stream and reproduces it.
  • the image decoding device shown in each of the above-described embodiments and modifications is also applied to the reproduction device ex403 that reads and decodes the code stream recorded on the storage medium ex402 such as a CD or DVD that is a recording medium. Can be implemented. In this case, the reproduced video signal is displayed on the monitor ex404.
  • a configuration in which an image decoding device is mounted in a set-top box ex407 connected to a cable ex405 for cable TV or an antenna ex406 for satellite Z terrestrial broadcasting, and this is reproduced on a monitor ex408 on the TV is also conceivable. At this time, an image decoding apparatus may be incorporated in the television, not in the set top box.
  • a car ex412 having an antenna ex411 also receives a signal, it is also allowed Live for reproducing moving pictures on a display device such as a car navigation ex413 car ex 412 has.
  • the image signal can be encoded by the image encoding device shown in each of the above embodiments and modifications and recorded on a recording medium.
  • a recorder ex 420 such as a DVD recorder that records image signals on a DVD disk ex421 and a disk recorder that records on a hard disk. It can also be recorded on the SD card ex422. Recorder ex4 If the image decoding apparatus shown in each of the above embodiments and modifications is provided, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408. .
  • the configuration of the car navigation ex413 is, for example, the configuration shown in FIG. 30 except for the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312. The same applies to the computer. Exl 11 and TV (receiver) ex401 are also considered.
  • the mobile phone exl 14 and the like 3 are a transmitting terminal having only an encoder and a receiving terminal having only a decoder. A possible implementation format is possible.
  • each functional block in the block diagrams is typically realized as an LSI that is an integrated circuit. These may be individually integrated into one chip.
  • One chip may be included to include some or all. (For example, a function block other than a memory may be provided on a single chip.)
  • IC integrated circuit
  • system LSI system LSI
  • super LSI monolithic LSI
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use a field programmable gate array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA field programmable gate array
  • each functional block a method of storing data to be encoded or decoded. Only one stage may be used instead of one chip.
  • the image encoding method and the image decoding method according to the present invention have an effect that it is possible to achieve high image quality of a decoded image while significantly reducing the amount of codes. It can be applied to devices that convert and decode, digital video cameras that include such devices, mobile phones, PDAs, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　符号量を大幅に削減しながらも、復号画像の高画質化を図ることができる画像符号化方法および画像復号化方法を提供する。 　このような画像符号化方法は、入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ステップ（Ｓ１０２）と、符号化された入力画像を復号化することにより復号画像を生成する復号画像生成ステップ（Ｓ１０４）と、前記入力画像および前記復号画像の少なくとも一方に対して周波数に基づく処理を行うことにより、前記処理に応じて前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成ステップ（Ｓ１０６，Ｓ１０８）とを含む。                                                                                 

Description

明 細 書
画像符号化方法および画像復号化方法
技術分野
[0001] 本発明は、動画像信号を圧縮符号化する際の画像符号化方法および画像復号化 方法に関する。
背景技術
[0002] 従来の画像符号化装置 (例えば、特許文献 1参照。 )は、第 1および第 2の符号ィ匕 部を備え、階層的動画像符号ィ匕方式 (スケーラブル符号ィ匕方式）により画像を符号 化する。第 1の符号化部は、入力画像 (高解像度画像)を縮小して低解像度画像に 変換し、低解像度画像に対して符号化を実施する。第 2の符号ィ匕部は、第 1の符号 化部により得られた低解像度画像に対する局所復号画像を拡大処理した画像と入 力画像 (高解像度画像)との差分画像に対して符号化を実施する。
[0003] つまり、このような従来の方法では、入力画像の高解像度成分を、低解像度画像の 局所復号画像を拡大した画像と入力画像との差分画像として符号化する。言 ヽ換え れば、この差分画像が高解像度成分となる。
特許文献 1：特開平 6 - 78292号公報
発明の開示
発明が解決しょうとする課題
[0004] しカゝしながら、この高解像度成分はあくまでも画像データ (差分画像)として符号ィ匕 されており、符号ィ匕により生成される符号量が大きくなるという問題がある。
[0005] 本発明は、力かる問題に鑑みてなされたものであって、符号量を大幅に削減しなが らも、復号画像の高画質ィ匕を図ることができる画像符号ィ匕方法および画像復号ィ匕方 法を提供することを目的とする。
課題を解決するための手段
[0006] 上記目的を達成するために、本発明に係る画像符号化方法は、入力画像を符号 化する画像符号化方法であって、入力画像を符号化して、符号化された入力画像を 含む符号列を生成する符号化ステップと、符号化された入力画像を復号化すること により復号画像を生成する復号画像生成ステップと、前記入力画像および前記復号 画像の少なくとも一方の周波数成分に基づ!ヽて、前記復号画像を前記入力画像に 近づけるためのパラメータを生成するパラメータ生成ステップとを含むことを特徴とす る。例えば、前記パラメータ生成ステップでは、前記復号画像および前記入力画像を 周波数変換し、前記周波数変換により得られるそれぞれの周波数変換係数の差分を 特定することにより前記パラメータを生成する。
[0007] これにより、入力画像および復号画像の少なくとも一方の周波数成分に基づいてパ ラメータが生成されるため、そのノ メータの情報量を、従来のような画像データ (差 分画像)よりも少なくすることができる。即ち、符号列とパラメータを含む符号量を大幅 に削減しながらも、画像復号化装置では、そのパラメータを用いて復号画像の高画 質ィ匕を図ることができる。
[0008] また、前記パラメータ生成ステップでは、前記復号画像および前記入力画像のそれ ぞれの画像領域ごとに前記周波数変換係数の差分を特定することにより、前記画像 領域ごとの前記パラメータを生成することを特徴としてもよい。
[0009] これにより、画像領域ごとにその画像領域に応じたパラメータが生成されるため、復 号画像を入力画像により近づけて高画質ィ匕をさらに図ることができる。
[0010] また、前記画像符号化方法は、さらに、前記パラメータ生成ステップで前記パラメ一 タを生成するために用いられる処理を識別するための識別情報を生成する識別情報 生成ステップを含むことを特徴としてもょ ヽ。
[0011] これにより、画像復号ィ匕装置がその識別情報を取得すれば、画像復号化装置は、 その識別情報の示す処理に基づいて、復号画像を入力画像に適切に近づけて高画 質ィ匕を図ることができる。
[0012] また、前記画像符号化方法は、さらに、前記入力画像に対して所定の前処理を行う 前処理ステップを含み、前記符号化ステップでは、前記前処理が行われた入力画像 を符号化して符号列を生成し、前記パラメータ生成ステップでは、前記復号画像と、 前記前処理が行われた入力画像または前記前処理が行われて ヽな ヽ入力画像との うち少なくとも一方の周波数成分に基づいて前記パラメータを生成することを特徴とし てもよい。例えば、前記前処理ステップでは、前記入力画像に対して、画像サイズの 縮小処理、低域通過フィルタ処理、またはフレームレート削減処理を行う。
[0013] これにより、入力画像に対して前処理が行われるため符号量をさらに削減すること ができる。
[0014] また、前記画像生成方法は、さらに、前記前処理ステップで行われる前記前処理の 内容を示す前処理パラメータを生成する前処理パラメータ生成ステップを含むことを 特徴としてもよい。
[0015] これにより、画像復号ィ匕装置がその前処理パラメータを取得すれば、その画像復号 化装置は、その前処理パラメータの示す前処理の内容に基づいて、適切に復号画 像を生成して高画質ィ匕を図ることができる。
[0016] ここで本発明に係る画像復号化方法は、符号化された入力画像を復号化する画像 復号化方法であって、符号列を取得する符号列取得ステップと、前記符号列に含ま れる符号化された入力画像を復号化することにより、復号画像を生成する復号化ステ ップと、前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づい て生成されたパラメータを取得するパラメータ取得ステップと、前記復号画像に対し て前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高 画質復号画像を生成する高画質化ステップとを含むことを特徴とする。
[0017] これにより、画像符号ィ匕装置力 パラメータが出力されたときには、そのパラメータを 用いて復号画像を適切に高画質化して高画質復号画像を生成することができる。
[0018] なお、本発明は、このような画像符号化方法および画像復号化方法として実現する ことができるだけでなぐその方法を用いた処理を行う画像符号ィ匕装置および画像復 号化装置や、集積回路、その方法を実現するためのプログラム、そのプログラムを格 納する記憶媒体としても実現することができる。
発明の効果
[0019] 本発明の画像符号化方法および画像復号化方法は、符号量を大幅に削減しなが らも、復号画像の高画質ィ匕を図ることができるという作用効果を奏し、その実用的価 値が高い。
図面の簡単な説明
[0020] [図 1]図 1は、本発明の実施の形態 1における画像符号ィ匕方法を用いた画像符号ィ匕 装置のブロック図（実施の形態 1)である。
[図 2]図 2は、同上の画像符号ィ匕装置におけるパラメータ抽出部の構成例を示すプロ ック図である。 （実施の形態 1)
[図 3]図 3は、同上の画像符号ィ匕装置における抽出部の構成例を示すブロック図であ る。（実施の形態 1)
[図 4]図 4は、同上の画像符号ィ匕装置における係数補正部での処理方法を説明する ための模式図である。（実施の形態 1)
[図 5]図 5は、同上の画像符号ィ匕装置の動作を示すフロー図である。 （実施の形態 1) [図 6]図 6は、同上の変形例 1に係るパラメータ抽出部の構成例を示すブロック図であ る。（実施の形態 1の変形例 1)
[図 7]図 7は、同上の変形例 1に係る画像符号ィ匕装置が離散ウェーブレット変換係数 を用いて入力画像および局所復号画像を多重解像度表現した場合の模式図である 。 （実施の形態 1の変形例 1)
[図 8]図 8は、同上の変形例 2に係るパラメータ抽出部の構成例を示すブロック図であ る。（実施の形態 1の変形例 2)
[図 9]図 9は、同上の変形例 2に係るラプラシアン生成部の構成例を示すブロック図で ある。（実施の形態 1の変形例 2)
[図 10]図 10は、同上の変形例 2に係るラプラシアン画像の例を示す図である。（実施 の形態 1の変形例 2)
[図 11]図 11は、同上の変形例 3に係るパラメータ抽出部の構成例を示すブロック図 である。 （実施の形態 1の変形例 3)
[図 12]図 12は、同上の変形例 4に係る最適パラメータ抽出部の構成を示すブロック 図である。 （実施の形態 1の変形例 4)
[図 13]図 13は、本発明の実施の形態 2における画像符号ィ匕方法を用いた画像符号 化装置のブロック図である。 （実施の形態 2)
[図 14]図 14は、同上の画像符号ィ匕装置の付加パラメータ抽出部の構成例を示すブ ロック図である。（実施の形態 2)
[図 15]図 15は、同上の変形例に係る画像符号ィ匕装置の付加パラメータ抽出部の構 成例を示すブロック図である。（実施の形態 2の変形例）
[図 16]図 16は、本発明の実施の形態 3における画像復号ィ匕方法を用いた画像復号 化装置のブロック図である。（実施の形態 3)
[図 17]図 17は、同上の画像復号ィ匕装置における高画質ィ匕処理部の構成例を示すブ ロック図である。（実施の形態 3)
[図 18]図 18は、同上の画像復号ィ匕装置の動作を示すフロー図である。（実施の形態 3)
[図 19]図 19は、同上の変形例 1に係る高画質化処理部の構成例を示すブロック図で ある。（実施の形態 3の変形例 1)
圆 20A]図 20Aは、同上の変形例 1に係る画像復号ィ匕装置が離散ウェーブレット変 換係数を用いて復号画像および高画質復号画像を多重解像度表現した場合の模 式図である。（実施の形態 3の変形例 1)
圆 20B]図 20Bは、同上の変形例 1に係る画像復号ィ匕装置が離散ウェーブレット変換 係数を用いて復号画像および高画質復号画像を多重解像度表現した場合の他の模 式図である。（実施の形態 3の変形例 1)
[図 21]図 21は、同上の変形例 2に係る高画質ィ匕処理部の構成例を示すブロック図で ある。（実施の形態 3の変形例 2)
[図 22]図 22は、同上の変形例 2に係るラプラシアン生成部により得られたラプラシァ ン画像の例を示す図である。（実施の形態 3の変形例 2)
[図 23]図 23は、同上の変形例 3に係る高画質ィ匕処理部の構成例を示すブロック図で ある。（実施の形態 3の変形例 3)
[図 24]図 24は、同上の変形例 4に係る最適高画質ィ匕処理部の構成例を示すブロック 図である。（実施の形態 3の変形例 4)
[図 25]図 25は、本発明の実施の形態 4における画像復号ィ匕方法を用いた画像復号 化装置のブロック図である。（実施の形態 4)
[図 26]図 26は、同上の変形例に係る画像復号ィ匕装置のブロック図ある。（実施の形 態 4の変形例）
[図 27A]図 27Aは、本発明の画像符号ィ匕方法および画像復号ィ匕方法をコンピュータ システムにより実現するためのプログラムを格納するための記録媒体についての説明 図である。 （実施の形態 5)
[図 27B]図 27Bは、本発明の画像符号ィ匕方法および画像復号ィ匕方法をコンピュータ システムにより実現するためのプログラムを格納するための記録媒体についての他の 説明図である。 （実施の形態 5)
圆 27C]図 27Cは、本発明の画像符号ィ匕方法および画像復号ィ匕方法をコンピュータ システムにより実現するためのプログラムを格納するための記録媒体についてのさら に他の説明図である。（実施の形態 5)
[図 28]図 28は、コンテンツ供給システムの全体構成を示すブロック図である。（実施 の形態 6)
[図 29]図 29は、本発明の画像符号ィ匕方法および画像復号ィ匕方法を用いた携帯電 話の例を示す図である。（実施の形態 6)
[図 30]図 30は、同上の携帯電話のブロック図である。（実施の形態 6)
[図 31]図 31は、ディジタル放送用システムの例を示す図である。（実施の形態 6) 符号の説明
100 画像符号化装置
101 画像符号化部
102 最適パラメータ抽出部
102a〜102d パラメータ抽出部
201, 202 離散コサイン変換部
203 抽出部
301 係数補正部
302 補正パターン保持部
303 距離計算部
304 最適値検出部
1500 画像復号化装置
1501 画像復号化部
1502 最適高画質化処理部 1502a〜1502d 高画質ィ匕処理咅
1601 離散コサイン変換部
1602 係数補正部
1603 補正パターン保持部
1604 逆離散コサイン変換部
発明を実施するための最良の形態
[0022] 以下、本発明の実施の形態について、図面を用いて説明する。
[0023] (実施の形態 1)
図 1は、本発明の実施の形態 1における画像符号ィ匕方法を用いた画像符号ィ匕装置 100のブロック図である。図 1に示すように、画像符号化装置 100は画像符号化部 10 1およびパラメータ抽出部 102aを備えている。
[0024] 入力画像 ORは、画像符号化部 101に入力される。画像符号ィ匕部 101は、規格に より規定された画像符号化方法によりその入力画像 ORを符号化する。規格により規 定された画像符号化方法としては、 ISOZIEC規格である JPEGOoint Photographic Experts Group)方式や MPEG(Moving Picture Experts Group)方式、 ITU— T規格 である H. 26x方式、等を用いることができる。画像符号ィ匕部 101からは、入力画像 O Rを符号化して得られる符号列 BSと、符号化された入力画像 ORを復号化して得ら れる局所復号画像 LDが出力される。符号列 BSは、画像符号ィ匕装置 100の外部に 出力され、伝送、蓄積、等の処理が施される。
[0025] 局所復号画像 LDは、パラメータ抽出部 102aに入力される。また、パラメータ抽出 部 102aには、入力画像 ORも入力される。パラメータ抽出部 102aは、入力画像 OR と局所復号画像 LDとを用いて、局所復号画像 LDを入力画像 ORに近づけるための 高画質化パラメータ PRを抽出する。高画質化パラメータ PRは、画像符号化装置 10 0の外部に出力され、符号列 BSと共に、伝送、蓄積、等の処理が施される。
[0026] ノ メータ抽出部 102aは、高画質化パラメータ PRを、符号列 BS中のヘッダ領域 やユーザデータ領域に含めても良いし、符号列 BSとは別の符号列として出力しても 良い。
[0027] 以下、パラメータ抽出部 102aにおいて高画質ィ匕パラメータ PRを求める際の処理例 について説明する。
[0028] 図 2は、パラメータ抽出部 102aの構成例を示すブロック図である。
[0029] パラメータ抽出部 102aは、離散コサイン変換部 201、 202、および抽出部 203を備 えている。離散コサイン変換部 201は入力画像 ORに対して離散コサイン変換を施し て離散コサイン変換係数 OTを出力する。離散コサイン変換部 202は局所復号画像 LDに対して離散コサイン変換を施して離散コサイン変換係数 DTを出力する。離散 コサイン変換を施す場合には、例えば入力画像 ORと局所復号画像 LDを水平 8画素 、垂直 8画素のブロックに分割し、ブロック毎に処理を行えば良い。または、領域毎に 異なる大きさのブロックに分割しても良い。この場合には例えば、平坦な部分ではブ ロックサイズを大きくし、エッジ等を含む複雑な絵柄の部分ではブロックサイズを小さく する、等の方法がある。
[0030] 離散コサイン変換部 201、 202で、入力画像 ORと局所復号画像 LDのそれぞれに 対して得られた離散コサイン変換係数 OT、 DTは、抽出部 203に入力される。抽出 部 203は、入力画像 ORと局所復号画像 LDとの離散コサイン変換係数 OT, DTの 周波数分布に基づ!ヽて、局所復号画像 LDの離散コサイン変換係数 DTの周波数分 布力も入力画像 ORの離散コサイン変換係数 OTの周波数分布を得るためのパラメ ータを求める。
[0031] 図 3は、抽出部 203の構成例を示すブロック図である。図 3に示すように、抽出部 20 3は、係数補正部 301、補正パターン保持部 302、距離計算部 303、および最適値 検出部 304を備えている。
[0032] 係数補正部 301には、局所復号画像 LDの離散コサイン変換係数 DTが入力される 。係数補正部 301は、補正パターン保持部 302に保持されている複数の補正パター ンのそれぞれを順に用いて、局所復号画像 LDの離散コサイン変換係数 DTに対し て補正を施す。
[0033] 図 4は、係数補正部 301での処理方法を説明するための模式図である。図 4の（a) は、局所復号画像 LDの離散コサイン変換係数 DTの周波数分布を示している。ここ では簡単ィ匕のために、離散コサイン変換係数 DTを 1次元データとして表現している 力 実際には 2次元データである。図 4の（b)は、補正パターンを示している。補正パ ターンは、周波数毎に異なるゲインを有している。
[0034] 係数補正部 301は、図 4の（a)に示す局所復号画像 LDの離散コサイン変換係数 D Tの周波数分布に対して、図 4の（b)に示す補正パターンを乗じることによって、図 4 の（c)に示す離散コサイン変換係数 CDTの周波数分布を得る。そして、係数補正部 301は、その離散コサイン変換係数 CDTを距離計算部 303に対して出力する。
[0035] 距離計算部 303には、上述の離散コサイン変換係数 CDTと入力画像 ORの離散コ サイン変換係数 OTとが入力される。距離計算部 303は、離散コサイン変換係数 CD Tと、入力画像 ORの離散コサイン変換係数 OTとの距離 DSを計算する。この距離 D Sとしては、例えば各周波数に対応する係数毎の差分値の 2乗和や、重み付き 2乗和 、等を用いることができる。そして距離計算部 303は、この距離 DSを最適値検出部 3 04に対して出力する。
[0036] 上記の係数補正部 301と距離計算部 303との処理は、補正パターン保持部 302に 保持されている補正パターンの数だけ繰り返される。そして、最適値検出部 304は、 距離 DSが最小となる補正パターンを見つける。このときの補正パターンの番号 PNが 最適な補正パターンの番号となる。最適値検出部 304は、この最適な補正パターン の番号 PNを高画質化パラメータ PRとして出力する。
[0037] 図 5は、本実施の形態における画像符号ィ匕装置 100の動作を示すフロー図である
[0038] まず、画像符号ィ匕装置 100は、入力画像 ORを取得し (ステップ S 100)、その入力 画像 ORを符号ィ匕して符号列 BSを生成する (ステップ S 102)。さらに、画像符号化装 置 100は、符号化された入力画像 ORを復号化することで局所復号画像 LDを生成 する（ステップ S 104)。
[0039] 次に、画像符号ィ匕装置 100は、入力画像 ORおよび局所復号画像 LDに対して離 散コサイン変換を施して離散コサイン変換係数 OT、 DTを生成する (ステップ S106) 。そして、画像符号ィ匕装置 100は、局所復号画像 LDの離散コサイン変換係数 DTを 、入力画像 ORの離散コサイン変換係数 ΟΤに近づけるための補正パターンを特定 する（ステップ S 108)。
[0040] 補正パターンを特定すると、画像符号ィ匕装置 100は、ステップ S 102で生成された 符号列 BSと、ステップ S108で特定された補正パターンを示す高画質ィ匕パラメータ P Rとを出力する (ステップ S 110)。
[0041] 以上のように、本実施の形態の画像符号ィ匕方法では、入力画像を規格により規定 された画像符号化方法 CFPEG方式や MPEG方式等)で符号化し、さらに高画質ィ匕 成分を生成するための高画質化パラメータを入力画像と局所復号画像との周波数成 分を用いて求める。この高画質化パラメータは、局所復号画像をより入力画像に近づ けるためのパラメータであり、離散コサイン変換を用いて求められる。
[0042] したがって、本実施の形態の画像符号ィ匕方法を用いることにより、規格により規定さ れた画像符号化方法 CFPEG方式や MPEG方式等)等と互換性を有する符号列を生 成し、それとは別に、さらに高画質化パラメータを生成することができる。この高画質 化パラメータは、画像データではなぐ入力画像および局所復号画像の周波数成分 に基づ!/、て生成されたパラメータであるので、データ量を極めて少なくすることができ 、少ない情報量の増加で復号画像の高画質ィ匕を図ることができる。例えば、本実施 の形態の画像符号ィ匕方法により生成した符号列を受信した画像復号ィ匕装置が、規 格により規定された画像符号化方法 CFPEG方式や MPEG方式等）の復号化のみに 対応している場合には、符号列 BSのみを復号ィ匕することにより、低画質ではあるが 画像の再生を行うことができる。また、画像復号化装置が、高画質化パラメータ PRの 処理も行うことができる場合には、高画質な画像の再生を行うことができる。すなわち 、本実施の形態の画像符号化方法を用いることにより、規格により規定された画像符 号ィ匕方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができ る。また、いわゆるスケーラブル符号ィ匕の特徴も有しながらも、従来のスケーラブル機 能を有する画像符号化方法と比較して、大幅に符号量を削減することができる。
[0043] なお、上記の実施の形態では、ノラメータ抽出部 102aにおいて、入力画像 ORと 局所復号画像 LDとの離散コサイン変換係数を求めたが、例えば画像符号ィ匕部 101 が離散コサイン変換係数を用いて符号ィ匕を行う場合には (例えば、 MPEG方式)、改 めてパラメータ抽出部 102aで離散コサイン変換係数を求める代わりに、画像符号ィ匕 部 101で求められた離散コサイン変換係数を用いても良い。これにより、計算量の削 減を図ることができる。 [0044] (変形例 1)
ここで、高画質ィ匕パラメータ PRの生成方法における第 1の変形例について説明す る。
[0045] 本変形例に係る画像符号ィ匕装置のパラメータ抽出部は、離散コサイン変換の代わ りに離散ウェーブレット変換を行うことで高画質ィ匕パラメータ PRを生成する。
[0046] 図 6は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。
[0047] このパラメータ抽出部 102bは、離散ウェーブレット変換部 501、 502、および抽出 部 503を備えている。離散ウェーブレット変換部 501は、入力画像 ORに対して離散 ウェーブレット変換を施して離散ウェーブレット変換係数 OWを出力する。離散ゥエー ブレット変換部 502は、局所復号画像 LDに対して離散ウェーブレット変換を施して離 散ウェーブレット変換係数 LWを出力する。離散ウェーブレット変換を施す場合には、 例えば入力画像 ORと局所復号画像 LDの全画面に対して処理を行えば良 ヽ。また は、画面を領域に分割して、領域毎に処理を行えばよい。この場合、例えば画面内 を画像の複雑さ（平坦さ）に応じて各領域に分割する方法がある。
[0048] 離散ウェーブレット変換部 501、 502で、入力画像 ORと局所復号画像 LDのそれぞ れに対して得られた離散ウェーブレット変換係数 OW、 LWは、抽出部 503に入力さ れる。
[0049] 抽出部 503は、入力画像 ORと局所復号画像 LDとのそれぞれの離散ウェーブレツ ト変換係数 OW、 LWの周波数分布に基づいて、局所復号画像 LDの離散ウェーブレ ット変換係数 LWの周波数分布力 入力画像 ORの離散ウェーブレット変換係数 OW の周波数分布を得るための高画質ィ匕パラメータ PRを求める。
[0050] 図 7を用いて、高画質ィ匕パラメータ PRの求め方の例を説明する。
[0051] 図 7は、離散ウェーブレット変換係数を用いて入力画像 ORおよび局所復号画像 L Dを多重解像度表現した場合の模式図である。ここでは、水平および垂直方向に 1 回ずつ離散ウェーブレット変換を施した場合を示している。図 7に示す記号「LL」、 「 HL」、 「LH」、及び「HH」において、「L」は低周波数成分を示し、「H」は高周波数成 分を示す。また 2つの記号の並びについて、 1つ目は水平方向周波数を示し、 2つ目 は垂直方向周波数を示している。よって例えば、記号「LH」は水平方向が低周波数 成分で、垂直方向が高周波数成分である画像成分であることを示している。図 7の（a )は、入力画像 ORの離散ウェーブレット変換係数 OWを用いた多重解像度表現を示 し、図 7の (b)は、局所復号画像 LDの離散ウェーブレット変換係数 LWを用いた多重 解像度表現を示す。
[0052] 抽出部 503は、局所復号画像 LDの LL成分に対する入力画像 ORの LL成分のゲ イン GO'と、局所復号画像 LDの HL成分に対する入力画像 ORの HL成分のゲイン G1 'と、局所復号画像 LDの LH成分に対する入力画像 ORの LH成分のゲイン G2' と、局所復号画像 LDの HH成分に対する入力画像 ORの HH成分のゲイン G3'とを 求めて、これらのゲインを高画質化パラメータ PRとして出力する。
[0053] このように本変形例では、上述の実施の形態と同様、この高画質パラメータ PRは、 画像データではなぐ入力画像および局所復号画像の周波数成分に基づいて生成 されたパラメータであるので、データ量を極めて少なくすることができる。
[0054] ここで、本変形例では、ゲイン G0，、ゲイン G1，、ゲイン G2，、およびゲイン G3，を高 画質パラメータ PRとした力 それら以外のゲインを高画質パラメータ PRとしてもよ 、。
[0055] 例えば、抽出部 503は、入力画像 ORの LL成分に対する入力画像 ORの HL成分 のゲイン G 1と、入力画像 ORの LL成分に対する入力画像 ORの LH成分のゲイン G 2 と、入力画像 ORの LL成分に対する入力画像 ORの HH成分のゲイン G 3とを求める 。これは例えば、各成分のエネルギー値を計算し、その比を取ることによって計算す ることができる。そして、抽出部 503は、これらのゲインを高画質ィ匕パラメータ PRとし て出力する。
[0056] また、抽出部 503は、上記のゲイン Gl、 G2、 G3、 G0，、 Gl，、 G2，、 G3，を高画質 ィ匕パラメータ PRとして出力してもよ 、。
[0057] なお、本変形例では、離散ウェーブレット変換部 501、 502を用いて、入力画像 OR と局所復号画像 LDのそれぞれに対する離散ウェーブレット変換係数を求めたが、例 えば画像符号ィ匕部 101が離散ウェーブレット変換係数を用いて符号ィ匕を行う場合に は（例えば、 JPEG2000方式）、改めてパラメータ抽出部 102bで離散ウェーブレット 変換係数を求める代わりに、画像符号ィ匕部 101で求めた離散ウェーブレット変換係 数を用いても良い。これにより、計算量の削減を図ることができる。 [0058] また、本変形例にお!ヽて、入力画像 ORおよび局所復号画像 LDを領域ごとに分割 してウェーブレット変換を施した場合には、領域毎に異なる高画質ィ匕パラメータ PRを 送っても良い。または、ウェーブレット変換は全画面で施し、領域に分割して、領域毎 に異なる高画質化パラメータ PRを生成しても良い。このようにすることにより、高画質 化パラメータ PRの数は多くなる力 より細力 、処理が可能な高画質化パラメータ PR を生成することができる。
[0059] (変形例 2)
ここで、高画質ィ匕パラメータ PRの生成方法における第 2の変形例について説明す る。
[0060] 本変形例に係る画像符号化装置のパラメータ抽出部は、離散コサイン変換の代わ りにエッジ成分を抽出することで高画質ィ匕パラメータ PRを生成する。
[0061] 図 8は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。
[0062] このパラメータ抽出部 102cは、ラプラシアン生成部 701、 702、および抽出部 703 を備えている。ラプラシアン生成部 701は、入力画像 ORからラプラシアン画像 OLP を生成し、ラプラシアン生成部 702は、局所復号画像 LD力もラプラシアン画像 LLP を生成する。ラプラシアン画像の生成を行う場合には、例えば入力画像 ORと局所復 号画像 LDの全画面に対して処理を行えば良い。または、画面を領域に分割して、領 域毎に処理を行えば良い。この場合、例えば画面内を画像の複雑さ（平坦さ）に応じ て各領域に分割する方法がある。
[0063] 図 9を用いて、ラプラシアン生成部 701、 702による処理方法を説明する。
[0064] 図 9は、ラプラシアン生成部 701、 702のブロック図である。
[0065] ラプラシアン生成部 701、 702はそれぞれ、低域通過フィルタ 801、 802と減算部 8 03、 804とを備えて!/ヽる。
[0066] ラプラシアン生成部 701では、まず、低域通過フィルタ 801が入力画像 ORに対し て、ガウス型の低域通過フィルタを施し、低周波数成分画像 LF1を生成する。そして 、減算部 803が、入力画像 ORからその低周波数成分画像 LF1を減じて、第 1レベル のラプラシアン画像 LP 1を生成する。次に、低域通過フィルタ 802が低周波数成分 画像 LF1に対して、ガウス型の低域通過フィルタを施し、低周波数成分画像 LF2を 生成する。そして、減算部 804が、低周波数成分画像 LF1からその低周波数成分画 像 LF2を減じて、第 2レベルのラプラシアン画像 LP2を生成する。
[0067] このように生成された入力画像 ORの第 1レベルおよび第 2レベルのラプラシアン画 像 LP1, LP2は、上述のラプラシアン画像 OLPとして出力される。
[0068] ラプラシアン生成部 702においても上述と同様、まず、低域通過フィルタ 801が局 所復号画像 LDに対して、ガウス型の低域通過フィルタを施し、低周波数成分画像 L F1を生成する。そして、減算部 803が、局所復号画像 LDからその低周波数成分画 像 LF1を減じて、第 1レベルのラプラシアン画像 LP 1を生成する。次に、低域通過フ ィルタ 802が低周波数成分画像 LF1に対して、ガウス型の低域通過フィルタを施し、 低周波数成分画像 LF2を生成する。そして、減算部 804が、低周波数成分画像 LF 1カゝらその低周波数成分画像 LF2を減じて、第 2レベルのラプラシアン画像 LP2を生 成する。
[0069] このように生成された局所復号画像 LDの第 1レベルおよび第 2レベルのラプラシァ ン画像 LP1, LP2は、上述のラプラシアン画像 LLPとして出力される。
[0070] このようなラプラシアン生成部 701、 702の処理方法からわ力るように、ラプラシアン 画像は、入力画像から入力画像の低周波数成分を減ずることにより生成される。すな わち、ラプラシアン画像は一種の高域通過フィルタにより生成される画像であり、画像 のエッジ成分を抽出することができる。そして、ラプラシアン画像のレベルが上がるご とに、より低域のエッジ成分を抽出することができる。
[0071] 図 10は、ラプラシアン画像の例を示す図である。図 10の（a)は入力画像 ORを示し 、図 10の（b)および (c)はそれぞれ、入力画像 ORに対する第 1レベルおよび第 2レ ベルのラプラシアン画像 LP 1、 LP2を示している。また、図 10の（d)は局所復号画像 LDを示し、図 10の（e)および (f)はそれぞれ、局所復号画像 LDに対する第 1レベル および第 2レベルのラプラシアン画像 LP1、 LP2を示して!/、る。
[0072] 抽出部 703は、入力画像 ORと局所復号画像 LDとの同レベルのラプラシアン画像 を比較して、パラメータを抽出する。例えば、局所復号画像 LDの第 1レベルのラプラ シアン画像 LP 1から入力画像 ORの第 1レベルのラプラシアン画像 LP 1を得るための ゲイン G1と、局所復号画像 LDの第 2レベルのラプラシアン画像 LP2から入力画像 O Rの第 2レベルのラプラシアン画像 LP2を得るためのゲイン G2とがパラメータとなる。 抽出部 703は、これらのゲインを高画質ィ匕パラメータ PRとして出力する。
[0073] このように本変形例では、上述の実施の形態と同様、この高画質パラメータ PRは、 画像データではなぐ入力画像および局所復号画像の周波数成分に基づいて生成 されたパラメータであるので、データ量を極めて少なくすることができる。
[0074] なお、本変形例では、第 1レベルおよび第 2レベルのラプラシアン画像 LP1、 LP2 を求めたが、さらに多くのレベルのラプラシアン画像を求めても良ぐさらにどのレべ ルのラプラシアン画像まで求めたかを示す情報も高画質ィ匕パラメータ PRに含めても 良い。
[0075] また、本変形例にお!ヽて、入力画像 ORおよび局所復号画像 LDを領域ごとに分割 してラプラシアン画像を生成した場合には、領域毎に異なる高画質ィ匕パラメータ PR を送っても良い。または、全画面に対してラプラシアン画像を生成し、領域に分割し て、領域毎に異なる高画質ィ匕パラメータを生成しても良い。このようにすることにより、 高画質化パラメータ PRの数は多くなる力 より細力 、処理が可能な高画質化パラメ ータ PRを生成することができる。
[0076] (変形例 3)
ここで、高画質ィ匕パラメータ PRの生成方法における第 3の変形例について説明す る。
[0077] 本変形例に係る画像符号ィ匕装置のパラメータ抽出部は、離散コサイン変換の代わ りに点像強度分布関数 (Point Spread Function)によるフィルタ処理を用いることで高 画質化パラメータ PRを生成する。
[0078] 図 11は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。
[0079] このパラメータ抽出部 102dは、入力画像 ORに対して点像強度分布関数によるフィ ルタ処理を施して (畳み込み処理を施して)得られる画像が局所復号画像 LDである と仮定し、点像強度分布関数のパラメータを求める。ここで、点像強度分布関数は一 般にガウス関数として近似されるので、ここでのパラメータはガウス関数のパラメータ（ 標準偏差 σ )とする。
[0080] 具体的に、このパラメータ抽出部 102dは、畳み込み処理部 1401、関数パラメータ 保持部 1402、誤差エネルギー計算部 1403、およびパラメータ決定部 1404を備え ている。
[0081] 関数パラメータ保持部 1402は、予め定めた複数の点像強度分布関数のパラメータ
(例えばガウス関数のパラメータ）を保持している。畳み込み処理部 1401は、関数パ ラメータ保持部 1402が保持しているパラメータの中力も何れかのパラメータを選択す る。そして畳み込み処理部 1401は、選択したパラメータを用いて入力画像 ORに対 して畳み込み処理を行い、その結果得られる画像 CRを出力する。誤差エネルギー 計算部 1403は、画像 CRと局所復号画像 LDとの誤差エネルギー ERを求める。この 誤差エネルギー ERはパラメータ決定部 1404に入力される。このような誤差エネルギ 一 ERの算出は、関数パラメータ保持部 1402に保持されている点像強度分布関数 のパラメータのそれぞれに対して行われる。
[0082] パラメータ決定部 1404は、誤差エネルギー ERが最小となる点像強度分布関数の ノ ラメータを選択し、そのパラメータの番号 PNを高画質ィ匕パラメータ PRとして出力す る。
[0083] このように本変形例では、上述の実施の形態と同様、この高画質パラメータ PRは、 画像データではなぐ入力画像に対して周波数に基づくフィルタ処理を行って生成さ れたパラメータであるので、データ量を極めて少なくすることができる。
[0084] なお、本変形例では、入力画像 ORに対して畳み込み処理を行、、その結果と局 所復号画像 LDとの誤差エネルギーが最小となる点像強度分布関数のパラメータを 求めたが、局所復号画像 LDに対して逆畳み込み処理を行い、その結果と入力画像 ORとの誤差エネルギーが最小となる点像強度分布関数のパラメータを求めても良い
[0085] また、本変形例では、全画面に対する点像強度分布関数のパラメータを求めたが、 画面を領域ごとに分割して、領域毎に点像強度分布関数のパラメータを求めても良 い。この場合には、高画質化パラメータ PRとして、領域に関する情報を含めれば良 い。このようにすることにより、高画質化パラメータ PRの数は多くなる力 より細かい処 理が可能な高画質ィ匕パラメータ PRを生成することができる。
[0086] (変形例 4) ここで、高画質ィ匕パラメータ PRの生成方法における第 4の変形例について説明す る。
[0087] 本変形例に係る画像符号ィ匕装置は、図 1に示すパラメータ抽出部 102aの代わりに 最適パラメータ抽出部を備えて構成されて!、る。
[0088] 図 12は、本変形例に係る最適パラメータ抽出部の構成を示すブロック図である。
[0089] この最適パラメータ抽出部 102は、パラメータ抽出部 102a、 102b, 102c, 102dと 選択部 112とを備えている。
[0090] パラメータ抽出部 102a、 102b, 102c, 102dはそれぞれ、上述のように入力画像
ORおよび局所復号画像 LDを取得して、各々の処理手順に基づいて高画質化パラ メータ PRを出力する。
[0091] 選択部 112は、各パラメータ抽出部 102a、 102b, 102c, 102dから出力される高 画質化パラメータ PRを取得する。そして、選択部 112は、それらの高画質化パラメ一 タ PRのうち、局所復号画像 LDを入力画像 ORに最も近づけることができる高画質ィ匕 ノ ラメータ PRを選択する。
[0092] 即ち、選択部 112は、各パラメータ抽出部から出力された高画質化パラメータ PRご とに、その高画質ィ匕パラメータ PRを用いて局所復号画像 LDから高画質復号画像を 生成する。そして、選択部 112は、高画質化パラメータ PRごとに生成された高画質 復号画像から、入力画像 ORに最も近い高画質復号画像を見つけ、その高画質復号 画像を生成するのに用いられた高画質化パラメータ PRを選択する。
[0093] 選択部 112は、そのように選択した高画質ィ匕パラメータ PRと、その高画質化パラメ ータ PRの生成方法を示す識別子 Pidとを出力する。
[0094] これにより、本変形例では、最適な高画質ィ匕パラメータ PRを生成することができる。
また、高画質ィ匕パラメータ PRの生成方法を示す識別子 Pidも高画質ィ匕パラメータ PR とともに出力されるため、画像復号化装置では、その高画質ィ匕パラメータ PRを用いて 符号列 BSから入力画像 ORにより近い高画質な復号画像を生成することができる。
[0095] なお、本変形例では、入力画像 ORに対して各パラメータ抽出部 102a、 102b, 10 2c、 102dが全て高画質化パラメータ PRを生成した力 その入力画像 ORや所定の 条件に応じて何れか 1つのパラメータ抽出部のみが高画質ィ匕パラメータ PRを生成し てもよい。
[0096] また、本実施の形態および変形例 1〜4では、離散コサイン変換係数や、離散ゥ 一ブレット変換係数、ラプラシアン画像、点像強度分布関数を用いて高画質ィ匕パラメ ータ PRを生成した力 他の周波数変換方法、例えばフーリエ変換や、アダマール変 換、等や、画像処理方法、例えば、ソーベルオペレータによるエッジ画像生成法や、 ガボール関数を用いたエッジ画像生成法、等を用いて高画質ィ匕パラメータ PRを生成 しても良い。
[0097] (実施の形態 2)
図 13は、本発明の実施の形態 2における画像符号ィ匕方法を用いた画像符号ィ匕装 置 1000のブロック図である。図 13に示すように、画像符号ィ匕装置 1000は、画像符 号ィ匕部 1001、付加パラメータ抽出部 1002a、および前処理部 1003を備えている。
[0098] 入力画像 ORは、前処理部 1003に入力される。前処理部 1003は、入力画像 OR に対して、画像サイズの縮小処理や、低域通過型フィルタによるフィルタ処理、時間 方向のフレーム間引きによるフレームレート削減処理、等を行う。これらの処理を全て 行っても良いし、いずれか一つだけの処理を行っても良い。前処理部 1003は、上述 の処理によって生成された前処理画像 PIを、画像符号ィ匕部 1001と付加パラメータ 抽出部 1002aに対して出力する。そして、前処理部 1003は、入力画像 ORに対して 施した処理、およびその処理のパラメータ (例えば、縮小の比率や、低域通過フィル タの周波数特性、フレーム間引きの間引き方、等）を前処理パラメータ PPとして、付 カロパラメータ抽出部 1002aに出力する。
[0099] 画像符号ィ匕部 1001は、入力された前処理画像 PIに対して、規格により規定された 画像符号化方法を実施する。規格により規定された画像符号化方法としては、実施 の形態 1と同様に、 JPEG方式や MPEG方式、 H. 26x方式等を用いることができる。 画像符号化部 1001は、前処理画像 PIを符号化して得られる符号列 BSと局所復号 画像 LDとを出力する。符号列 BSは、画像符号ィ匕装置 1000の外部に出力され、伝 送、蓄積、等の処理が施される。局所復号画像 LDは、付加パラメータ抽出部 1002a に対して出力される。
[0100] 付加パラメータ抽出部 1002aは、入力された入力画像 OR、前処理画像 PI、局所 復号画像 LD、および前処理パラメータ PPのいずれかを用いて、局所復号画像 LD を入力画像 ORに近づけるための高画質化パラメータ PR'を抽出する。高画質化パ ラメータ PR'は、画像符号ィ匕装置 1000の外部に出力され、符号列 BSと共に、伝送、 蓄積、等の処理が施される。
[0101] 付加パラメータ抽出部 1002aは、実施の形態 1のパラメータ抽出部 102aと同様に、 高画質化パラメータ PR'を、符号列 BS中のヘッダ領域やユーザデータ領域に含め ても良いし、符号列 BSとは別の符号列として出力しても良い。
[0102] 以下、付加パラメータ抽出部 1002aにおいて高画質ィ匕パラメータ PR，を求める際 の処理例について説明する。
[0103] 図 14は、付加パラメータ抽出部 1002aの構成例を示すブロック図である。付加パラ メータ抽出部 1002aは、実施の形態 1で説明したパラメータ抽出部 102aを備えてい る。
[0104] 実施の形態 1で説明したパラメータ抽出部 102aは、入力画像 ORと局所復号画像 LDとを取得する力 本実施の形態におけるパラメータ抽出部 102aは、入力画像 OR の代わりに前処理画像 PIを取得する。そして、本実施の形態におけるパラメータ抽出 部 102aは、それらの取得した情報に対して処理を行い、パラメータ Prを出力する。こ のようなパラメータ抽出部 102aによる処理内容は、実施の形態 1の処理内容と同様 である。
[0105] 付加パラメータ抽出部 1002aは、パラメータ抽出部 102aから出力されたパラメータ Prと前処理パラメータ PPとを高画質ィ匕パラメータ PR'として出力する。
[0106] このように、本実施の形態の画像符号ィ匕方法では、入力画像に対して、画像サイズ の縮小処理や、低域通過型フィルタによるフィルタ処理、時間方向のフレーム間引き によるフレームレート削減処理、等の処理を行った後、規格により規定された画像符 号化方法 CFPEG方式や MPEG方式等)で符号化を行う。さらに、高画質化成分を生 成するための高画質化パラメータ PR'を、入力画像 ORと局所復号画像 LDと前処理 パラメータ PPとを用いて求める。
[0107] したがって、本実施の形態の画像符号ィ匕方法を用いることにより、規格により規定さ れた画像符号化方法 CFPEG方式や MPEG方式等)等と互換性を有する符号列を生 成し、それとは別に、さらに高画質化パラメータを生成することができる。この高画質 化パラメータは、画像データではなぐ前処理画像および局所復号画像の周波数成 分に基づ 、て生成されたパラメータであるので、データ量を極めて少なくすることが でき、少ない情報量の増加で復号画像の高画質ィ匕を図ることができる。また、前処理 部 1003において、入力画像 ORのデータ量を削減するので、符号列 BSの符号量自 体も削減することができる。例えば、本実施の形態の画像符号ィ匕方法により生成した 符号列 BSを受信した画像復号化装置が、規格により規定された画像符号化方法 CF PEG方式や MPEG方式等）の復号ィ匕のみに対応している場合には、その符号列 B Sのみを復号ィ匕することにより、低画質ではあるが画像の再生を行うことができる。ま た、画像復号化装置が、高画質化パラメータ PR'の処理も行うことができる場合には 、高画質な画像の再生を行うことができる。すなわち、本実施の形態の画像符号化方 法を用いることにより、規格により規定された画像符号化方法と比較して、わずかな符 号量の増加で大幅に画質を向上させることができる。また、いわゆるスケーラブル符 号ィ匕の特徴も有しながら、従来のスケーラブル機能を有する符号ィ匕方法と比較して、 大幅に符号量を削減することができる。
[0108] (変形例）
ここで、高画質ィ匕パラメータ PR'の生成方法における変形例について説明する。
[0109] 本変形例に係る画像符号ィ匕装置の付加パラメータ抽出部は、逆前処理を行って高 画質化パラメータ PR'を生成する。
[0110] 図 15は、本変形例に係る付加パラメータ抽出部 1002bの構成例を示すブロック図 である。
[0111] この付加パラメータ抽出部 1002bは、逆前処理部 1201と、実施の形態 1で説明し たパラメータ抽出部 102aとを備えている。
[0112] 逆前処理部 1201には、局所復号画像 LDと前処理パラメータ PPが入力される。逆 前処理部 1201は、前処理パラメータ PPを用いて、局所復号画像 LDに対して前処 理部 1003で施した処理と逆の処理を施す。例えば、前処理部 1003で画像サイズの 縮小処理が施されている場合には、逆前処理部 1201は拡大処理を行う。また、前処 理部 1003で低域通過型フィルタによるフィルタ処理が行われている場合には、逆前 処理部 1201は低域通過型フィルタの逆フィルタによる処理を行う。また、前処理部 1 003で時間方向のフレーム間引きによるフレームレート削減処理が施されている場合 には、逆前処理部 1201はフレームレートの向上処理を行う。逆前処理部 1201は、 そのような処理を施された局所復号画像 LD'をパラメータ抽出部 102aに対して出力 する。
[0113] 実施の形態 1で説明したパラメータ抽出部 102aは、入力画像 ORと局所復号画像 LDとを取得する力 本変形例に係るパラメータ抽出部 102aは、局所復号画像 LDの 代わりに、逆前処理部 1201により処理を施された局所復号画像 LD'を取得する。そ して、本変形例に係るパラメータ抽出部 102aは、それらの取得した情報に対して処 理を行い、パラメータ Prを出力する。このような本変形例に係るパラメータ抽出部 102 aによる処理内容は、実施の形態 1の処理内容と同様である。
[0114] 付加パラメータ抽出部 1002bは、パラメータ抽出部 102aから出力されたパラメータ Prと前処理パラメータ PPとを高画質ィ匕パラメータ PR'として出力する。
[0115] このように本変形例においても、上記実施の形態と同様、また、前処理部 1003に おいて、入力画像 ORのデータ量を削減するので、符号列 BSの符号量自体を削減 することができる。
[0116] なお、本実施の形態および変形例では、付加パラメータ抽出部 1002a、 1002bは 実施の形態 1のパラメータ抽出部 102aを備えた力 実施の形態 1の変形例 1におけ るパラメータ抽出部 102b、実施の形態 1の変形例 2におけるパラメータ抽出部 102c 、実施の形態 1の変形例 3におけるパラメータ抽出部 102d、および実施の形態 1の 変形例 4における最適パラメータ抽出部 102のうち何れかを、ノ メータ抽出部 102a の代わりに備えてもよい。
[0117] (実施の形態 3)
図 16は、本発明の実施の形態 3における画像復号ィ匕方法を用いた画像複号ィ匕装 置 1500のブロック図である。図 16に示すように、画像復号化装置 1500は画像復号 化部 1501および高画質ィ匕処理部 1502aを備えている。画像復号化装置 1500には 、実施の形態 1で説明した本発明の画像符号方法を用いた画像符号ィ匕装置により生 成された符号列 BSと高画質化パラメータ PRとが入力される。 [0118] 符号列 BSは、画像復号化部 1501に入力される。画像復号ィ匕部 1501は、符号列 BSに対して、規格で規定された画像復号化を実施する。画像復号ィ匕部 1501は、例 えば、符号列 BSが JPEG方式で符号ィ匕されたものである場合には、 JPEG方式で復 号化し、符号列 BSが MPEG方式で符号化されたものである場合には、 MPEG方式 で復号ィ匕し、符号列 BSが H. 26x方式で符号ィ匕されたものである場合には、 H. 26x 方式で復号化する。そして画像復号ィ匕部 1501は、高画質化処理部 1502aに対して 復号画像 DCを出力する。
[0119] なお、高画質化パラメータ PRが符号列 BSのヘッダ領域やユーザデータ領域に含 められている場合には、画像復号ィ匕部 1501は、取得した符号列 BSからその高画質 化パラメータ PRを分離する。そして、画像復号化部 1501は、その分離された高画質 化パラメータ PRを復号画像 DCとともに高画質化処理部 1502aに出力する。
[0120] 高画質ィ匕処理部 1502aには、復号画像 DCと高画質化パラメータ PRとが入力され る。高画質化処理部 1502aは、高画質化パラメータ PRを用いて復号画像 DCに対し て処理を施し、高画質復号画像 HQを出力する。
[0121] 図 17は、高画質化処理部 1502aの構成例を示すブロック図である。高画質化処理 部 1502aは、離散コサイン変換部 1601、係数補正部 1602、補正パターン保持部 1 603、および逆離散コサイン変換部 1604を備えている。
[0122] 離散コサイン変換部 1601は、復号画像 DCを取得して、その復号画像 DCに対し て離散コサイン変換を施す。離散コサイン変換を施す場合には、例えば復号画像 D Cを水平 8画素、垂直 8画素のブロックに分割し、ブロック毎に処理を行えば良い。離 散コサイン変換部 1601は、復号画像 DCに対して得られた離散コサイン変換係数 C Tを、係数補正部 1602に対して出力する。
[0123] 高画質化パラメータ PRは、補正パターン保持部 1603に入力される。補正パターン 保持部 1603は、実施の形態 1で説明した補正パターン保持部 302で保持されてい る補正パターンと同じパターンを保持している。そして、補正パターン保持部 1603は 、自らが保持している補正パターンの中から、高画質化パラメータ PRにより指定され る補正パターン PTを係数補正部 1602に対して出力する。
[0124] 係数補正部 1602は、復号画像 DCの離散コサイン変換係数 CTと補正パターン PT とを取得し、離散コサイン変換係数 CTに対して、その補正パターン PTを用いて補正 を行う。係数補正部 1602は、実施の形態 1で図 4を用いて説明した方法と同様の方 法で補正を行う。そして係数補正部 1602は、補正された離散コサイン変換係数 CT である離散コサイン変換係数 CCTを逆離散コサイン変換部 1604に対して出力する
[0125] 逆離散コサイン変換部 1604は、離散コサイン変換係数 CCTに対して逆離散コサイ ン変換を施すことにより、高画質復号画像 HQを生成して出力する。
[0126] 図 18は、本実施の形態における画像復号ィ匕装置 1500の動作を示すフロー図であ る。
[0127] まず、画像復号ィ匕装置 1500は、画像符号ィ匕装置カゝら符号列 BSと高画質ィ匕パラメ ータ PRとを取得する（ステップ S200)。そして、画像復号ィ匕装置 1500は、ステップ S 200で取得した符号列 BSに対して復号化処理を施して復号画像 DCを生成する (ス テツプ S202)。
[0128] 次に、画像復号ィ匕装置 1500は、復号画像 DCに対して離散コサイン変換を施して 離散コサイン変換係数 CTを生成する (ステップ S 204)。そして、画像復号化装置 15 00は、生成された離散コサイン変換係数 CTに対して高画質化パラメータ PRの示す 補正パターン PTを適用して、その離散コサイン変換係数 CTの補正を行う（ステップ S206)。
[0129] その後、画像復号ィ匕装置 1500は、補正された離散コサイン変換係数 CT、つまり離 散コサイン変換係数 CCTに対して逆離散コサイン変換を施して高画質復号画像 HQ を生成する（ステップ S208)。
[0130] 以上のように、本実施の形態の画像復号ィ匕方法では、規格により規定された画像 符号化方法 CFPEG方式や MPEG方式等）を用いて符号化して生成された符号列 B Sと、さらに高画質化成分を生成するための高画質化パラメータ PRとを取得する。そ して、符号列 BSを規格により規定された画像復号化方法により復号化して復号画像 DCを生成し、復号画像 DCに対して高画質化パラメータ PRを用いて画像処理を行う ことにより、高画質復号画像 HQを生成する。高画質化パラメータ PRを用いた処理で は、離散コサイン変換などを用いることにより、復号画像 DCには含まれていない高周 波数成分を復号画像 DCに付加することができる。
[0131] したがって、本実施の形態の画像復号ィ匕方法では、規格により規定された画像復 号化方法 CFPEG方式や MPEG方式等）を用いて符号列 BSを復号ィヒして復号画像 DCを生成し、さらに高画質化パラメータ PRを用いて復号画像 DCの高画質ィ匕を図る ことができる。この高画質化パラメータ PRは、画像データではなぐ画像符号化装置 によって入力画像 (原画像)および局所復号画像の周波数成分に基づ！ヽて生成され たパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増 加で高画質ィ匕を図ることができる。すなわち、本実施の形態の画像復号ィ匕方法を用 いること〖こより、規格により規定された画像復号化方法と比較して、わずかな符号量 の増加で大幅に画質を向上させることができ、また、いわゆるスケーラブル復号ィ匕の 特徴も有しながら、従来のスケーラブル機能を有する画像復号化方法と比較して、大 幅に符号量を削減することができる。
[0132] なお、本実施の形態では、離散コサイン変換部 1601で、復号画像 DCの離散コサ イン変換係数 CTを求めたが、例えば符号列 BSが離散コサイン変換係数を用いて符 号ィ匕されているものであれば (例えば、 MPEG方式）、画像復号ィ匕部 1501で符号列 BSから得られた離散コサイン変換係数を用いても良い。これにより、計算量の削減を 図ることができる。
[0133] また、本変形例では、高画質パラメータ PRが領域毎に生成されている場合には、 係数補正部 1602は、領域毎に係数補正処理を行う。
[0134] (変形例 1)
ここで、復号画像 DCから高画質復号画像 HQを生成する方法における第 1の変形 例について説明する。
[0135] 本変形例に係る画像復号ィ匕装置の高画質ィ匕処理部は、実施の形態 1の変形例 1 で説明したパラメータ抽出部 102bにより生成された高画質ィ匕パラメータ PRを取得す る。そして高画質化処理部は、復号画像 DCに対して、離散コサイン変換および逆離 散コサイン変換の代わりに離散ウェーブレット変換および逆離散ウェーブレット変換を 行うことで高画質復号画像 HQを生成する。
[0136] 図 19は、本変形例に係る高画質化処理部の構成例を示すブロック図である。 [0137] この高画質ィ匕処理部 1502bは、離散ウェーブレット変換部 1701、係数補正部 170 2、および逆離散ウェーブレット変換部 1703を備えている。
[0138] 離散ウェーブレット変換部 1701は、復号画像 DCに対して離散ウェーブレット変換 を施す。離散ウェーブレット変換を施す場合には、例えば復号画像 DCの全画面に 対して処理を行っても良いし、または、画面を領域に分割して領域毎に処理を行って もよい。この場合、例えば画面内を画像の複雑さ（平坦さ）に応じて分割して得る方法 がある。ただし、領域に分割する際には、符号化で分割した方法と同じ方法を用いる
[0139] 離散ウェーブレット変換部 1701は、復号画像 DCに対して得られた離散ウェーブレ ット変換係数 WCを係数補正部 1702に対して出力する。
[0140] 係数補正部 1702には、離散ウェーブレット変換係数 WCと高画質ィ匕パラメータ PR とが入力される。図 20Aおよび図 20Bを用いて、係数補正部 1702での処理方法に ついて説明する。
[0141] 図 20Aは、離散ウェーブレット変換係数を用いて復号画像 DCおよび高画質復号 画像 HQを多重解像度表現した場合の模式図である。図 20Aにおける表記方法（「 H」および「L」などの表記方法）は、図 7における表記方法と同じである。図 20Aの（a )は、復号画像 DCの離散ウェーブレット変換係数 WCを用いた多重解像度表現を示 す。
[0142] 係数補正部 1702は、図 20Aの（a)に示すように、復号画像 DCにおける LL成分、 HL成分、 LH成分、および HH成分のそれぞれの離散ウェーブレット変換係数 WC に対して、高画質ィ匕パラメータ PRとして実施の形態 1で説明したゲイン GO'、 Gl '、 G2'、 G3'を用いてゲイン補正を行う。その結果、図 20Aの (b)に示すように、高画 質復号画像 HQに対応する、 LL' '成分、 HL' '成分、 LH' '成分、および HH' '成 分を有する離散ウェーブレット変換係数 CWCが生成される。
[0143] ここで、係数補正部 1702は、上記ゲイン G0，、 Gl，、 G2，、 G3，を示す高画質ィ匕 ノ ラメータ PRを用いてゲイン補正を行ったが、実施の形態 1で説明したゲイン Gl、 G 2、 G3を示す高画質ィ匕パラメータ PRを用いてゲイン補正を行ってもょ 、。
[0144] 図 20Bは、離散ウェーブレット変換係数を用いて復号画像 DCおよび高画質復号 画像 HQを多重解像度表現した場合の他の模式図である。図 20Bにおける表記方 法（「H」および「L」などの表記方法）は、図 7における表記方法と同じである。図 20B の（a)は、復号画像 DCの離散ウェーブレット変換係数 WCを用いた多重解像度表現 を示す。
[0145] 係数補正部 1702は、図 20Bの（a)および (b)に示すように、復号画像 DCに対応 する離散ウェーブレット変換係数 WCの LL成分を LL'成分としてそのままコピーする 。そして、係数補正部 1702は、復号画像 DCに対応する離散ウェーブレット変換係 数 WCの HL成分、 LH成分、および HH成分のそれぞれに対して、高画質化パラメ ータ PRとして実施の形態 1で説明したゲイン Gl、 G2、 G3を用いてゲイン補正を行う 。その結果、図 20Bの（b)に示すように、高画質復号画像 HQに対応する、 LL'成分 、 HL'成分、 LH'成分、および HH'成分を有する離散ウェーブレット変換係数 CWC が生成される。
[0146] また、係数補正部 1702は、上記のゲイン Gl、 G2、 G3、 GO，、 Gl，、 G2，、 G3，の すべてを用いてゲイン補正を行っても良 、。
[0147] 逆離散ウェーブレット変換部 1703は、補正によって生成された離散ウェーブレット 変換係数 CWCに対して逆離散ウェーブレット変換を行うことにより、高画質復号画像 HQを生成して出力する。
[0148] このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復 号化方法 CFPEG方式や MPEG方式等）を用いて符号列 BSを復号ィヒして復号画像 DCを生成し、さらに高画質化パラメータ PRを用いて復号画像 DCの高画質ィ匕を図る ことができる。この高画質化パラメータ PRは、画像データではなぐ画像符号化装置 によって入力画像 (原画像)および局所復号画像の周波数成分に基づ！ヽて生成され たパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増 加で高画質ィ匕を図ることができる。
[0149] なお、本変形例では、離散ウェーブレット変換部 1701が復号画像 DCに対する離 散ウェーブレット係数 WCを求めた力 例えば符号列 BSが離散ウェーブレット変換係 数を用いて符号ィ匕されているものであれば (例えば、 JPEG2000方式）、画像復号化 部 1501で符号列 BSから得られた離散ウェーブレット変換係数を用いても良い。これ により、計算量の削減を図ることができる。
[0150] また、本変形例では、高画質パラメータ PRが領域毎に生成されている場合には、 係数補正部 1702は、領域毎に係数補正処理を行う。
[0151] (変形例 2)
ここで、復号画像 DCから高画質復号画像 HQを生成する方法における第 2の変形 例について説明する。
[0152] 本変形例に係る画像復号ィ匕装置の高画質ィ匕処理部は、実施の形態 1の変形例 2 で説明したパラメータ抽出部 102cにより生成された高画質化パラメータ PRを取得す る。そして高画質化処理部は、離散コサイン変換および逆コサイン変換の代わりにェ ッジ成分の抽出を行うことで高画質復号画像 HQを生成する。
[0153] 図 21は、本変形例に係る高画質化処理部の構成例を示すブロック図である。
[0154] この高画質化処理部 1502cは、ラプラシアン生成部 1901、およびラプラシアン補 正部 1902、および合成部 1903を備えている。
[0155] ラプラシアン生成部 1901は、復号画像 DCに対して処理を行い、ラプラシアン画像 LPを生成する。ラプラシアン画像 LPの生成を行う場合には、例えば復号画像 DCの 全画面に対して処理を行っても良いし、領域に分割して領域毎に行っても良い。ラブ ラシアン生成部 1901の構成は、実施の形態 1の変形例 2におけるラプラシアン生成 部 701、 702と同様の構成であって、ラプラシアン生成部 1901は、実施の形態 1の 変形例 2で図 9を用いて説明した内容と同様の処理を行う。ここでは例えば、ラプラシ アン生成部 1901は、ラプラシアン画像 LPとして、第 1レベルおよび第 2レベルのラプ ラシアン画像 LP1、 LP2を求める。なお、ラプラシアン画像を生成するレベルは、符 号ィ匕方法と同じにすれば良い。
[0156] 図 22は、ラプラシアン生成部 1901により得られたラプラシアン画像 LPの例を示す 図である。図 22の（a)は復号画像 DCを示し、図 22の（b)および (c)はそれぞれ、復 号画像 DCに対する第 1レベルおよび第 2レベルのラプラシアン画像 LP 1、LP2を示 している。ラプラシアン生成部 1901は生成されたラプラシアン画像 LPをラプラシアン 補正部 1902に対して出力する。
[0157] ラプラシアン補正部 1902は、ラプラシアン画像 LPおよび高画質化パラメータ PRを 取得してラプラシアン画像 LPの補正を行う。ラプラシアン補正部 1902は、高画質ィ匕 ノ ラメータ PRとして実施の形態 1の変形例 2で説明したゲイン G 1およびゲイン G2を 用いる。そして、ラプラシアン補正部 1902は、図 22に示すように、第 1レベルのラプ ラシアン画像 LP1 (図 22の（b) )にゲイン G1を施してラプラシアン画像 CLP1を生成 するとともに（図 22の（d) )、第 2レベルのラプラシアン画像 LP2 (図 22の（c) )にゲイ ン G2を施してラプラシアン画像 CLP2を生成することで（図 22の（e) )、ラプラシアン 画像 LP1, LP2の補正を行う。ラプラシアン補正部 1902は、補正によって生成され たラプラシアン画像 CLP1、 CLP2を、ラプラシアン画像 CLPとして合成部 1903に対 して出力する。
[0158] 合成部 1903は、復号画像 DCおよびラプラシアン画像 CLPを取得し、これらの画 像を加算することにより、高画質化画像 HQ (図 22の (f) )を生成して出力する。
[0159] このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復 号化方法 CFPEG方式や MPEG方式等）を用いて符号列 BSを復号ィヒして復号画像 DCを生成し、さらに高画質化パラメータ PRを用いて復号画像 DCの高画質ィ匕を図る ことができる。この高画質化パラメータ PRは、画像データではなぐ画像符号化装置 によって入力画像 (原画像)および局所復号画像の周波数成分に基づ！ヽて生成され たパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増 加で高画質ィ匕を図ることができる。
[0160] なお、本変形例では、高画質パラメータ PRが領域毎に生成されている場合には、 ラプラシアン補正部 1902は、領域毎に補正処理を行う。
[0161] (変形例 3)
ここで、復号画像 DCから高画質復号画像 HQを生成する方法における第 3の変形 例について説明する。
[0162] 本変形例に係る画像復号化装置の高画質化処理部は、実施の形態 1の変形例 3 で説明したパラメータ抽出部 102dにより生成された高画質ィ匕パラメータ PRを取得す る。そして高画質化処理部は、離散コサイン変換および逆離散コサイン変換の代わり に点像強度分布関数によるフィルタ処理を行うことで高画質復号画像 HQを生成する [0163] 図 23は、本変形例に係る高画質化処理部の構成例を示すブロック図である。
[0164] この高画質ィ匕処理部 1502dは、逆畳み込み部 2101および関数パラメータ保持部 2102を備えている。
[0165] 関数パラメータ保持部 2102は、予め定めた複数の点像強度分布関数のパラメータ
(例えばガウス関数のパラメータ:標準偏差 σ )を保持している。ここでは、実施の形 態 1の変形例 3における関数パラメータ保持部 1402と同じパラメータが保持されてい るものとする。関数パラメータ保持部 2102は、高画質化パラメータ PRを取得する。こ の高画質ィ匕パラメータ PRには、点像強度分布関数のパラメータの番号が記述されて いる。関数パラメータ保持部 2102は、保持している複数の点像強度分布関数のパラ メータから、その番号に対応するパラメータを選択して、その選択したパラメータを逆 畳み込み部 2101に対して出力する。
[0166] 逆畳み込み部 2101は、復号画像 DCと点像強度分布関数のパラメータとを取得し 、そのパラメータ力も得られる関数の逆関数を復号画像 DCに畳み込む (フィルタ処 理する）ことで高画質復号画像 HQを生成し、その高画質復号画像 HQを出力する。
[0167] このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復 号化方法 CFPEG方式や MPEG方式等）を用いて符号列 BSを復号ィヒして復号画像 DCを生成し、さらに高画質化パラメータ PRを用いて復号画像 DCの高画質ィ匕を図る ことができる。この高画質化パラメータ PRは、画像データではなぐ画像符号化装置 によって入力画像 (原画像)および局所復号画像の周波数成分に基づ！ヽて生成され たパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増 加で高画質ィ匕を図ることができる。
[0168] なお、本変形例では、関数パラメータ保持部 2102は、実施の形態 1の変形例 3に おける関数パラメータ保持部 1402と同じパラメータを保持していた力 関数パラメ一 タ保持部 1402に対応する逆関数のパラメータを初め力も保持しておいても良い。こ れにより、逆畳み込み部 2101は、逆関数を畳み込むのではなぐ通常の畳み込み 処理を行うことになり、処理の簡易化を図ることができる。
[0169] また、本変形例では、全画面に対する点像強度分布関数のパラメータを求めたが、 高画質化パラメータ PRにお 、て、画面の領域毎に点像強度分布関数のパラメータ が指定されて 、る場合には、領域毎に異なるパラメータを用いて逆関数の畳み込み を行う。
[0170] (変形例 4)
ここで、復号画像 DCから高画質復号画像 HQを生成する方法における第 4の変形 例について説明する。
[0171] 本変形例に係る画像復号ィ匕装置は、図 16に示す高画質ィ匕処理部 1502aの代わり に最適高画質化処理部を備えて構成されている。この最適高画質化処理部は、実 施の形態 1の変形例 4で説明した最適パラメータ抽出部 102により生成された高画質 ィ匕パラメータ PRおよび識別子 Pidを取得する。
[0172] 図 24は、本変形例に係る最適高画質化処理部の構成例を示すブロック図である。
[0173] この最適高画質ィ匕処理咅 1502は、高画質ィ匕処理咅 1502aゝ 1502bゝ 1502cゝ 15 02dと選択部 1512とを備えて ヽる。
[0174] 選択部 1512は、画像符号化装置から高画質化パラメータ PRと、その高画質化パ ラメータ PRの生成方法を示す識別子 Pidとを取得する。そして、選択部 1512は、そ の識別子 Pidが離散コサイン変換に基づく生成方法を示す場合には、高画質化パラ メータ PRを高画質化処理部 1502aに出力し、その識別子 Pidが離散ウェーブレット 変換に基づく生成方法を示す場合には、高画質化パラメータ PRを高画質化処理部 1502bに出力する。また、選択部 1512は、その識別子 Pidがラプラシアン画像に基 づく生成方法を示す場合には、高画質化パラメータ PRを高画質化処理部 1502cに 出力し、その識別子 Pidが点像強度分布関数に基づく生成方法を示す場合には、高 画質化パラメータ PRを高画質化処理部 1502dに出力する。
[0175] 高画質ィ匕処理咅 1502aゝ 1502bゝ 1502cゝ 1502dはそれぞれ、選択咅 1512力も 高画質化パラメータ PRを取得すると、上述のように高画質ィヒパラメータ PRおよび復 号画像 DCから、各々の処理手順に基づいて高画質復号画像 HQを生成して出力す る。
[0176] これにより、本変形例では、どのような生成方法により生成された高画質ィ匕パラメ一 タ PRであっても、その高画質ィ匕パラメータ PRを用いて高画質復号画像 HQを生成す ることがでさる。 [0177] なお、本実施の形態およびその変形例 1〜4では、離散コサイン変換係数や、離散 ウェーブレット変換係数、ラプラシアン画像、点像強度分布関数を用いて生成された ノ メータを高画質ィ匕パラメータ PRとした力 これは他の周波数変換方法、例えばフ 一リエ変換や、アダマール変換、等や、画像処理方法、例えば、ソーベルオペレータ によるエッジ画像生成法や、ガボール関数を用いたエッジ画像生成法、等を用いて 生成されたパラメータを高画質化パラメータ PRとしても良 、。
[0178] (実施の形態 4)
本実施の形態では、実施の形態 2およびその変形例で説明した本発明の画像符 号方法を用いた画像符号ィ匕装置により生成された符号列 BSと高画質化パラメータ P R'を用いて、高画質復号画像 HQを生成する際の画像復号化方法を説明する。
[0179] 図 25は、本実施の形態の画像復号ィ匕方法を用いた画像復号ィ匕装置 2200のプロ ック図である。図 25に示すように、画像復号ィ匕装置 2200は、画像復号化部 2201、 高画質化処理部 2202、および後処理部 2203を備えている。画像復号化装置 220 0には、実施の形態 2で説明した本発明の画像符号方法を用いた画像符号ィ匕装置 により生成された符号列 BSと高画質ィ匕パラメータ PR'とが入力される。ここで、高画 質化パラメータ PR'は、実施の形態 2の図 14を用いて説明した方法で求められたも のである。
[0180] 符号列 BSは、画像復号ィ匕部 2201に入力される。画像復号ィ匕部 2201は、符号列 BSに対して、規格により規定された画像復号化を実施する。画像復号化部 2201は 、例えば、符号列 BSが JPEG方式で符号ィ匕されたものである場合には、 JPEG方式 で復号ィ匕し、符号列 BSが MPEG方式で符号ィ匕されたものである場合には、 MPEG 方式で復号ィ匕し、符号列 BSが H. 26x方式で符号ィ匕されたものである場合には、 H . 26x方式で復号化する。画像復号化部 2201は、高画質化処理部 2202に対して、 画像復号化処理の結果である復号画像 DCを出力する。
[0181] なお、符号列 BSのヘッダ領域やユーザデータ領域に高画質化パラメータ PR，が含 まれている場合には、画像復号ィ匕部 2201は、取得した符号列 BSからその高画質ィ匕 ノ ラメータ PR'を分離する。そして、画像復号ィ匕部 2201は、その分離された高画質 化パラメータ PR'を高画質化処理部 2202および後処理部 2203に出力する。 [0182] 高画質化処理部 2202には、復号画像 DCと高画質化パラメータ PR'とが入力され る。高画質化処理部 2202は、高画質ィ匕パラメータ PR'を用いて、実施の形態 3の高 画質化処理部 1502aと同様の処理を復号画像 DCに対して施す。この処理によって 高画質化処理部 2202は、高画質復号画像 HDCを生成し、その高画質復号画像 H DCを出力する。
[0183] 後処理部 2203は、高画質復号画像 HDCに対して、高画質化パラメータ PR'に含 まれる前処理パラメータ PPを用いて、後処理を行う。後処理部 2203は、実施の形態 2の変形例における逆前処理部 1201と同様の処理を行う。すなわち、後処理部 220 3は、前処理パラメータ PPを用いて、高画質復号画像 HDCに対して本発明の画像 符号化装置の前処理部 1003で施した処理と逆の処理を施す。後処理部 2203は、 前処理部 1003で施された処理内容を、前処理パラメータ PPから知ることができる。 例えば、後処理部 2203は、前処理部 1003で画像サイズの縮小処理が施されてい る場合には、拡大処理を行う。また、後処理部 2203は、前処理部 1003で低域通過 型フィルタによるフィルタ処理が行われて ヽる場合には、低域通過型フィルタの逆フィ ルタによる処理を行う。また、後処理部 2203は、前処理部 1003で時間方向のフレ ーム間引きによるフレームレート削減処理が施されている場合には、フレームレート の向上処理を行う。後処理部 2203は、このように処理された高画質復号画像 HDC を、高画質復号画像 HQとして出力する。
[0184] 以上のように、本実施の形態の画像復号ィ匕方法では、入力画像に対して、画像サ ィズの縮小処理、低域通過型フィルタによるフィルタ処理、時間方向のフレーム間引 きによるフレームレート削減処理、等の前処理を行った後、規格により規定された画 像符号化方法 CFPEG方式や MPEG方式等)を用いて符号ィ匕して生成された符号列 BSと、さらに高画質化成分を生成するための高画質化パラメータ PR'とを取得する。 そして、符号列 BSを規格により規定された画像復号化方法により復号化して復号画 像 DCを生成し、その復号画像 DCに対して高画質ィ匕パラメータ PR，を用いて、前処 理に対応する後処理と高画質化処理とを行うことにより、高画質復号画像 HQを生成 する。
[0185] したがって、本実施の形態の画像復号ィ匕方法では、規格により規定された画像復 号化方法 CFPEG方式や MPEG方式等）を用いて符号列 BSを復号ィヒして復号画像 DCを生成し、さらに高画質化パラメータ PR'を用いて復号画像 DCの高画質ィ匕を図 る。この高画質化パラメータ PR'は、画像データではなぐ画像符号ィ匕装置によって 入力画像 (原画像)および局所復号画像の周波数成分に基づ ヽて生成されたパラメ ータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高 画質ィ匕を図ることができる。また、画像符号化装置側における符号化時の前処理に おいて、入力画像のデータ量が削減されているので、符号列 BSの符号量自体も削 減されている。すなわち、本実施の形態の画像復号ィ匕方法を用いることにより、規格 により規定された画像復号化方法と比較して、わずかな符号量の増加で大幅に画質 を向上させることができ、また、いわゆるスケーラブル復号ィ匕の特徴も有しながらも、 従来のスケーラブル機能を有する画像復号化方法と比較して、大幅に符号量を削減 することができる。
[0186] なお、本実施の形態では、高画質化処理部 2202は、実施の形態 3の高画質化処 理部 1502aと同様の処理を復号画像 DCに対して施した力 実施の形態 3の変形例 1〜3における高画質化処理部 1502b、 1502c, 1502dと同様の処理を施してもよく 、実施の形態 3の変形例 4における最適高画質ィ匕処理部 1502と同様の処理を施し てもよ 、。このように本実施の形態における高画質化パラメータ PR'を用いた処理で は、離散コサイン変換や、離散ゥヱーブレット変換、ラプラシアン画像、点像強度分布 関数、等を用いることにより、復号画像には含まれていない高周波数成分等を復号 画像に付加することができる。
[0187] (変形例）
ここで、本実施の形態における画像復号ィ匕装置の変形例について説明する。
[0188] 図 26は、本変形例に係る画像復号ィ匕装置 2300のブロック図である。図 26に示す ように、画像復号ィ匕装置 2300は、画像復号化部 2301、後処理部 2302、および高 画質ィ匕処理部 2303を備えている。画像復号ィ匕装置 2300には、実施の形態 2の変 形例で説明した本発明の画像符号方法を用いた画像符号ィ匕装置により生成された 符号列 BSと高画質ィ匕パラメータ PR'とが入力される。ここで、高画質化パラメータ PR 'は、実施の形態 2の変形例における図 15を用いて説明した方法で求められたもの である。
[0189] 符号列 BSは、画像復号ィ匕部 2301に入力される。画像復号ィ匕部 2301は、画像復 号ィ匕部 2201と同様の処理を行う。そして、画像復号ィ匕部 2301は、後処理部 2302 に対して、その処理によって生成された復号画像 DCを出力する。なお、符号列 BS のヘッダ領域やユーザデータ領域に高画質ィ匕パラメータ PR，が含まれて 、る場合に は、画像復号化部 2301は、取得した符号列 BSからその高画質ィ匕パラメータ PR，を 分離する。そして、画像復号化部 2301は、その分離された高画質化パラメータ PR' を後処理部 2302および高画質化処理部 2303に出力する。
[0190] 後処理部 2302は、復号画像 DCに対して、高画質化パラメータ PR'のうち前処理 ノ ラメータ PPを用いて、後処理を行う。後処理部 2302は、実施の形態 2の変形例に おける逆前処理部 1201と同様の処理を行う。すなわち、後処理部 2302は、前処理 ノ メータ PPを用いて、復号画像 LDに対して本発明の画像符号化装置の前処理部 1003で施した処理と逆の処理を施す。後処理部 2302は、前処理部 1003で施され た処理内容を、前処理パラメータ PPから知ることができる。後処理部 2302は、例え ば、前処理部 1003で画像サイズの縮小処理が施されている場合には、拡大処理を 行う。また、後処理部 2302は、前処理部 1003で低域通過型フィルタによるフィルタ 処理が行われて 、る場合には、低域通過型フィルタの逆フィルタによる処理を行う。 また、後処理部 2302は、前処理部 1003で時間方向のフレーム間引きによるフレー ムレート削減処理が施されている場合には、フレームレートの向上処理を行う。後処 理部 2302は、このように処理された結果である後処理後復号画像 DC'を、高画質 化処理部 2303に対して出力する。
[0191] 高画質化処理部 2303には、後処理後復号画像 DC'と高画質化パラメータ PR'と が入力される。高画質化処理部 2303は、高画質化パラメータ PR'を用いて、実施の 形態 3で説明した高画質化処理部 1502aと同様の処理を、後処理後復号画像 DC' に対して施し、その処理結果を高画質復号画像 HQとして出力する。
[0192] なお、本変形例では、高画質化処理部 2303は、実施の形態 3の高画質化処理部 1502aと同様の処理を後処理後復号画像 DC'に対して施した力 実施の形態 3の 変形例 1〜3における高画質化処理部 1502b、 1502c, 1502dと同様の処理を施し てもよく、実施の形態 3の変形例 4における最適高画質ィ匕処理部 1502と同様の処理 を施してもよい。
[0193] (実施の形態 5)
上記各実施の形態および変形例で示した画像符号化方法および画像復号化方法 を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するように することにより、上記各実施の形態および変形例で示した処理を、独立したコンビュ ータシステムにおいて簡単に実施することが可能となる。
[0194] 図 27A、図 27Bおよび図 27Cは、上記各実施の形態および変形例の画像符号ィ匕 方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプ ログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
[0195] 図 27Bは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブ ルディスクを示し、図 27Aは、記録媒体本体であるフレキシブルディスクの物理フォ 一マットの例を示している。フレキシブルディスク FDはケース F内に内蔵され、該ディ スクの表面には、同心円状に外周からは内周に向力つて複数のトラック Trが形成さ れ、各トラックは角度方向に 16のセクタ Seに分割されている。従って、上記プログラム を格納したフレキシブルディスクでは、上記フレキシブルディスク FD上に割り当てら れた領域に、上記プログラムが記録されている。
[0196] また、図 27Cは、フレキシブルディスク FDに上記プログラムの記録再生を行うため の構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラム をフレキシブルディスク FDに記録する場合は、コンピュータシステム Csから上記プロ グラムをフレキシブルディスクドライブ FDDを介して書き込む。また、フレキシブルディ スク内のプログラムにより画像符号ィ匕方法および画像復号ィ匕方法を実現する上記画 像符号ィ匕方法および画像復号ィ匕方法をコンピュータシステム中に構築する場合は、 フレキシブルディスクドライブ FDDによりプログラムをフレキシブルディスクから読み出 し、コンピュータシステム Csに転送する。
[0197] なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行った 力 光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 ROMカセット等、プログラムを記録できるものであれば同様に実施すること ができる。
[0198] (実施の形態 6)
さらにここで、上記各実施の形態および変形例で示した画像符号化方法および画 像復号ィ匕方法の応用例とそれを用いたシステムを説明する。
[0199] 図 28は、コンテンツ配信サービスを実現するコンテンツ供給システム exlOOの全体 構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基地局 exl07〜exl 10が設置されて!、る。
[0200] このコンテンツ供給システム exlOOは、例えば、インターネット exlOlにインターネッ トサービスプロバイダ exl02および電話網 exl04、および基地局 exl07〜exl l0を 介して、コンピュータ exl 11、 PDA (personal digital assistant) exl 12、カメラ exl 13、 携帯電話 exl l4、カメラ付きの携帯電話 exl l5などの各機器が接続される。
[0201] し力し、コンテンツ供給システム exlOOは図 28のような組合せに限定されず、いず れかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exlO 7〜exl 10を介さずに、各機器が電話網 exl04に直接接続されてもょ ヽ。
[0202] カメラ exl 13はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携 帯電話は、 PDC (Personal Digital Communications)方式、 CDMA (Code Division M ultiple Access)方式、 W— CDMA (Wideband- Code Division Multiple Access)方式 、若しくは GSM (Global System for Mobile Communications)方式の携帯電話機、ま たは PHS (Personal Handyphone System)等であり、いずれでも構わない。
[0203] また、ストリーミングサーバ exl03は、カメラ 6 113カら基地局6 109、電話網 exl04 を通じて接続されており、カメラ exl l3を用いてユーザが送信する符号ィ匕処理された データに基づ 、たライブ配信等が可能になる。撮影したデータの符号化処理はカメ ラ exl 13で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ 116で撮影した動画データはコンピュータ exl 11を介してストリーミングサーバ exl03 に送信されてもよい。カメラ exl 16はデジタルカメラ等の静止画、動画が撮影可能な 機器である。この場合、動画データの符号ィ匕はカメラ exl 16で行ってもコンピュータ ex 111で行ってもどちらでもよい。また、符号化処理はコンピュータ exl 11やカメラ exl 1 6が有する LSIexl 17において処理することになる。なお、画像符号化'復号化用の ソフトウェアをコンピュータ exl 11等で読み取り可能な記録媒体である何らかの蓄積メ ディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい 。さらに、カメラ付きの携帯電話 exl 15で動画データを送信してもよい。このときの動 画データは携帯電話 exl l5が有する LSIで符号化処理されたデータである。
[0204] このコンテンツ供給システム exlOOでは、ユーザがカメラ exl 13、カメラ exl l6等で 撮影して ヽるコンテンツ (例えば、音楽ライブを撮影した映像等）を上記各実施の形 態および変形例と同様に符号ィ匕処理してストリーミングサーバ exl03に送信する一 方で、ストリーミングサーバ exl03は要求のあったクライアントに対して上記コンテンツ データをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復 号化することが可能な、コンピュータ exl 11、 PDAexl l2、カメラ exl l 3、携帯電話 ex 114等がある。このようにすることでコンテンツ供給システム exlOOは、符号化された データをクライアントにおいて受信して再生することができ、さらにクライアントにおい てリアルタイムで受信して復号ィ匕し、再生することにより、個人放送をも実現可能にな るシステムである。
[0205] このシステムを構成する各機器の符号化、復号化には上記各実施の形態および変 形例で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよ!ヽ。
[0206] その一例として携帯電話につ 、て説明する。
[0207] 図 29は、上記各実施の形態および変形例で説明した画像符号化方法および画像 復号ィ匕方法を用いた携帯電話 exl l5を示す図である。携帯電話 exl l5は、基地局 e xl lOとの間で電波を送受信するためのアンテナ ex201、 CCDカメラ等の映像、静止 画を撮ることが可能なカメラ部 ex203、カメラ部 ex203で撮影した映像、アンテナ ex20 1で受信した映像等が復号ィ匕されたデータを表示する液晶ディスプレイ等の表示部 e x202、操作キー ex204群から構成される本体部、音声出力をするためのスピーカ等 の音声出力部 ex208、音声入力をするためのマイク等の音声入力部 ex205、撮影し た動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静 止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための 記録メディア ex207、携帯電話 exl 15に記録メディア ex207を装着可能とするための スロット部 ex206を有して!/、る。記録メディア ex207は SDカード等のプラスチックケー ス内に電気的に書換えや消去が可能な不揮発性メモリである EEPROM (Electricall y Erasable and PRogrammable Read Only Memory)の一種であるフラッシュメモリ素子 を格納したものである。
[0208] さらに、携帯電話 exl l5について図 30を用いて説明する。携帯電話 exl l5は表示 部 ex202及び操作キー ex204を備えた本体部の各部を統括的に制御するようになさ れた主制御部 ex311に対して、電源回路部 ex310、操作入力制御部 ex304、画像符 号ィ匕部 ex312、カメラインターフェース部 ex303、 LCD (Liquid Crystal Display)制御 部 ex302、画像復号化部 ex309、多重分離部 ex308、記録再生部 ex307、変復調回 路部 ex306及び音声処理部 ex305が同期バス ex313を介して互!、に接続されて!ヽ る。
[0209] 電源回路部 ex310は、ユーザの操作により終話及び電源キーがオン状態にされる と、バッテリパック力も各部に対して電力を供給することによりカメラ付ディジタル携帯 電話 exl l5を動作可能な状態に起動する。
[0210] 携帯電話 exl l5は、 CPU、 ROM及び RAM等でなる主制御部 ex311の制御に基 づ 、て、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 e x305によってディジタル音声データに変換し、これを変復調回路部 ex306でスぺタト ラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数変 換処理を施した後にアンテナ ex201を介して送信する。また携帯電話機 ex 115は、 音声通話モード時にアンテナ ex201で受信した受信信号を増幅して周波数変換処 理及びアナログディジタル変換処理を施し、変復調回路部 ex306でスペクトラム逆拡 散処理し、音声処理部 ex305によってアナログ音声信号に変換した後、これを音声 出力部 ex208を介して出力する。
[0211] さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー ex2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex304 を介して主制御部 ex311に送出される。主制御部 ex311は、テキストデータを変復調 回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ 変換処理及び周波数変換処理を施した後にアンテナ ex201を介して基地局 exl lO へ送信する。 [0212] データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画 像データをカメラインターフェース部 ex303を介して画像符号ィ匕部 ex312に供給する 。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データを カメラインターフェース部 ex303及び LCD制御部 ex302を介して表示部 ex202に直 接表示することも可能である。
[0213] 画像符号ィ匕部 ex312は、本願発明で説明した画像符号ィ匕装置を備えた構成であり 、カメラ部 ex203から供給された画像データを上記各実施の形態および変形例で示 した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号ィ匕 画像データに変換し、これを多重分離部 ex308に送出する。また、このとき同時に携 帯電話機 exl l5は、カメラ部 ex203で撮像中に音声入力部 ex205で集音した音声を 音声処理部 ex305を介してディジタルの音声データとして多重分離部 ex308に送出 する。
[0214] 多重分離部 ex308は、画像符号化部 ex312から供給された符号化画像データと音 声処理部 ex305から供給された音声データとを所定の方式で多重化し、その結果得 られる多重化データを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路 部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。
[0215] データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受 信する場合、アンテナ ex201を介して基地局 exl 10から受信した受信信号を変復調 回路部 ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重 分離部 ex308に送出する。
[0216] また、アンテナ ex201を介して受信された多重化データを復号ィ匕するには、多重分 離部 ex308は、多重化データを分離することにより画像データの符号化ビットストリー ムと音声データの符号ィ匕ビットストリームとに分け、同期バス ex313を介して当該符号 化画像データを画像復号化部 ex309に供給すると共に当該音声データを音声処理 部 ex305に供給する。
[0217] 次に、画像復号ィ匕部 ex309は、本願発明で説明した画像復号化装置を備えた構 成であり、画像データの符号ィ匕ビットストリームを上記各実施の形態および変形例で 示した符号化方法に対応した復号化方法で復号することにより再生動画像データを 生成し、これを LCD制御部 ex302を介して表示部 ex202に供給し、これにより、例え ばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 このとき同時に音声処理部 ex305は、音声データをアナログ音声信号に変換した後 、これを音声出力部 ex208に供給し、これにより、例えばホームページにリンクされた 動画像ファイルに含まる音声データが再生される。
[0218] なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が 話題となっており、図 31に示すようにディジタル放送用システムにも上記各実施の形 態および変形例の少なくとも画像符号化装置または画像復号化装置のいずれかを 組み込むことができる。具体的には、放送局 ex409では映像情報の符号ィ匕ビットスト リームが電波を介して通信または放送衛星 ex410に伝送される。これを受けた放送 衛星 ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭の アンテナ ex406で受信し、テレビ（受信機） ex401またはセットトップボックス（STB) ex 407などの装置により符号ィ匕ビットストリームを復号ィ匕してこれを再生する。また、記 録媒体である CDや DVD等の蓄積メディア ex402に記録した符号ィ匕ビットストリームを 読み取り、復号化する再生装置 ex403にも上記各実施の形態および変形例で示し た画像復号ィ匕装置を実装することが可能である。この場合、再生された映像信号は モニタ ex404に表示される。また、ケーブルテレビ用のケーブル ex405または衛星 Z 地上波放送のアンテナ ex406に接続されたセットトップボックス ex407内に画像復号 化装置を実装し、これをテレビのモニタ ex408で再生する構成も考えられる。このとき セットトップボックスではなぐテレビ内に画像復号ィ匕装置を組み込んでも良い。また、 アンテナ ex411を有する車 ex412で衛星 ex410からまたは基地局 exl07等力も信号 を受信し、車 ex412が有するカーナビゲーシヨン ex413等の表示装置に動画を再生 することも可會である。
[0219] 更に、画像信号を上記各実施の形態および変形例で示した画像符号化装置で符 号化し、記録媒体に記録することもできる。具体例としては、 DVDディスク ex421に画 像信号を記録する DVDレコーダや、ハードディスクに記録するディスクレコーダなど のレコーダ ex420がある。更に SDカード ex422に記録することもできる。レコーダ ex4 20が上記各実施の形態および変形例で示した画像復号ィ匕装置を備えて ヽれば、 D VDディスク ex421や SDカード ex422に記録した画像信号を再生し、モニタ ex408で 表示することができる。
[0220] なお、カーナビゲーシヨン ex413の構成は例えば図 30に示す構成のうち、カメラ部 e x203とカメラインターフェース部 ex303、画像符号ィ匕部 ex312を除いた構成が考え られ、同様なことがコンピュータ exl 11やテレビ (受信機) ex401等でも考えられる。
[0221] また、上記携帯電話 exl 14等の端末は、符号化器'復号化器を両方持つ送受信型 の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実 装形式が考えられる。
[0222] このように、上記各実施の形態および変形例で示した画像符号化方法および画像 復号ィ匕方法を上述したいずれの機器 'システムに用いることは可能であり、そうするこ とで、上記各実施の形態で説明した効果を得ることができる。
[0223] なお、本発明は力かる上記各実施の形態および変形例に限定されるものではなぐ 本発明の範囲を逸脱することなく種々の変形または修正が可能である。
[0224] また、ブロック図（図 1、図 13、図 16、図 25、図 26など）の各機能ブロックは典型的 には集積回路である LSIとして実現される。これらは個別に 1チップ化されても良いし
、一部又は全てを含むように 1チップィ匕されても良い。（例えばメモリ以外の機能プロ ックが 1チップィ匕されていても良い。 )
ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ノレ卜ラ LSIと呼称されることちある。
[0225] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで 実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギ ュラブノレ ·プロセッサーを利用しても良 、。
[0226] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性としてありえる。
[0227] また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手 段だけ 1チップィ匕せずに別構成としても良い。
産業上の利用可能性
本発明にかかる画像符号ィ匕方法および画像復号ィ匕方法は、符号量を大幅に削減 しながらも、復号画像の高画質ィ匕を図ることができるという効果を有し、例えば、画像 を符号化および復号化する装置や、その装置を含むデジタルビデオカメラや、携帯 電話、 PDAなどに適用することができる。

Claims

請求の範囲
[1] 入力画像を符号化する画像符号化方法であって、
入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ス テツプと、
符号化された入力画像を復号化することにより復号画像を生成する復号画像生成 ステップと、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前 記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成 ステップと
を含むことを特徴とする画像符号化方法。
[2] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像を周波数変換し、前記周波数変換により得られ るそれぞれの周波数変換係数の差分を特定することにより前記パラメータを生成する ことを特徴とする請求項 1記載の画像符号化方法。
[3] 前記パラメータ生成ステップでは、
前記周波数変換として離散コサイン変換を用いることにより前記パラメータを生成す る
ことを特徴とする請求項 2記載の画像符号化方法。
[4] 前記パラメータ生成ステップでは、
前記周波数変換として離散ウェーブレット変換を用いることにより前記パラメータを 生成する
ことを特徴とする請求項 2記載の画像符号化方法。
[5] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のそれぞれの画像領域ごとに前記周波数変換 係数の差分を特定することにより、前記画像領域ごとの前記パラメータを生成する ことを特徴とする請求項 2記載の画像符号化方法。
[6] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のそれぞれのエッジ成分を抽出して差分を特 定することにより前記パラメータを生成する
ことを特徴とする請求項 1記載の画像符号化方法。
[7] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のそれぞれのラプラシアン画像を前記エッジ成 分として生成して差分を特定することにより前記パラメータを生成する
ことを特徴とする請求項 6記載の画像符号化方法。
[8] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のそれぞれの画像領域ごとに前記エッジ成分 の差分を特定することにより、前記画像領域ごとの前記パラメータを生成する ことを特徴とする請求項 6記載の画像符号化方法。
[9] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のうち何れか一方の画像に対して周波数に基 づくフィルタ処理を行 、、前記フィルタ処理が行われた一方の画像と他方の画像とを 比較することにより前記パラメータを生成する
ことを特徴とする請求項 1記載の画像符号化方法。
[10] 前記パラメータ生成ステップでは、
前記フィルタ処理として点像強度分布関数によるフィルタ処理を行う
ことを特徴とする請求項 9記載の画像符号化方法。
[11] 前記パラメータ生成ステップでは、
前記復号画像および前記入力画像のうち前記フィルタ処理が行われた一方の画像 と他方の画像とをそれぞれの画像領域ごとに比較することにより、前記画像領域ごと の前記パラメータを生成する
ことを特徴とする請求項 9記載の画像符号化方法。
[12] 前記画像符号化方法は、さらに、
前記パラメータ生成ステップで前記パラメータを生成するために用いられる処理を 識別するための識別情報を生成する識別情報生成ステップを含む
ことを特徴とする請求項 1記載の画像符号化方法。
[13] 前記画像符号化方法は、さらに、 前記符号化ステップで生成される符号列に対して、前記パラメータ生成ステップで 生成されるパラメータを多重化する多重化ステップを含む
ことを特徴とする請求項 1記載の画像符号化方法。
[14] 前記画像符号化方法は、さらに、
前記入力画像に対して所定の前処理を行う前処理ステップを含み、
前記符号化ステップでは、
前記前処理が行われた入力画像を符号ィヒして符号列を生成し、
前記パラメータ生成ステップでは、
前記復号画像と、前記前処理が行われた入力画像または前記前処理が行われて V、な 、入力画像とのうち少なくとも一方の周波数成分に基づ 、て前記パラメータを生 成する
ことを特徴とする請求項 1記載の画像符号化方法。
[15] 前記前処理ステップでは、
前記入力画像に対して、画像サイズの縮小処理、低域通過フィルタ処理、またはフ レームレート削減処理を行う
ことを特徴とする請求項 14記載の画像符号化方法。
[16] 前記画像生成方法は、さらに、
前記前処理ステップで行われる前記前処理の内容を示す前処理パラメータを生成 する前処理パラメータ生成ステップを含む
ことを特徴とする請求項 14記載の画像符号化方法。
[17] 符号化された入力画像を復号化する画像復号化方法であって、
符号列を取得する符号列取得ステップと、
前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を 生成する復号化ステップと、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生 成されたパラメータを取得するパラメータ取得ステップと、
前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前 記入力画像に近い高画質復号画像を生成する高画質化ステップと を含むことを特徴とする画像復号化方法。
[18] 前記高画質化ステップは、
前記復号画像を周波数変換することにより第 1の周波数変換係数を生成する周波 数変換ステップと、
前記第 1の周波数変換係数に対して前記パラメータを用いた補正を行うことにより 第 2の周波数変換係数を生成する係数補正ステップと、
前記第 2の周波数変換係数を逆周波数変換することにより前記高画質復号画像を 生成する逆周波数変換ステップとを含む
ことを特徴とする請求項 17記載の画像復号化方法。
[19] 前記周波数変換ステップでは、
前記周波数変換として離散コサイン変換を用いることにより前記第 1の周波数変換 係数を生成し、
前記逆周波数変換ステップでは、
前記逆周波数変換として逆離散コサイン変換を用いることにより前記高画質復号画 像を生成する
ことを特徴とする請求項 18記載の画像復号化方法。
[20] 前記周波数変換ステップでは、
前記周波数変換として離散ウェーブレット変換を用いることにより前記第 1の周波数 変換係数を生成し、
前記逆周波数変換ステップでは、
前記逆周波数変換として逆離散ウェーブレット変換を用いることにより前記高画質 復号画像を生成する
ことを特徴とする請求項 18記載の画像復号化方法。
[21] 前記高画質化ステップでは、
前記復号画像力 第 1のエッジ成分を抽出するエッジ抽出ステップと、 前記第 1のエッジ成分に対して前記パラメータを用いた補正を行うことにより第 2の エッジ成分を生成するエッジ成分補正ステップと、
前記第 2のエッジ成分を前記復号画像に適用することにより前記高画質復号画像 を生成すエッジ適用ステップとを含む
ことを特徴とする請求項 17記載の画像復号化方法。
[22] 前記エッジ抽出ステップでは、
前記復号画像力 ラプラシアン画像を生成することにより前記第 1のエッジ成分を 抽出する
ことを特徴とする請求項 21記載の画像復号化方法。
[23] 前記高画質化ステップでは、
前記パラメータに応じた周波数に基づくフィルタ処理を前記復号画像に対して行う ことにより前記高画質復号画像を生成する
ことを特徴とする請求項 17記載の画像復号化方法。
[24] 前記高画質化ステップでは、
前記フィルタ処理として点像強度分布関数によるフィルタ処理を行うことにより前記 高画質復号画像を生成する
ことを特徴とする請求項 23記載の画像復号化方法。
[25] 前記画像復号化方法は、さら〖こ、
前記パラメータを生成するために用いられた処理を識別するための識別情報を取 得する識別情報取得ステップを含み、
前記高画質化ステップでは、
前記識別情報の示す処理に応じて前記パラメータを前記復号画像に対して適用す ることにより前記高画質復号画像を生成する
ことを特徴とする請求項 17記載の画像復号化方法。
[26] 前記パラメータ取得ステップでは、
前記符号列と前記パラメータとが多重化された多重化情報から、前記パラメータを 分離することにより前記パラメータを取得する
ことを特徴とする請求項 17記載の画像復号化方法。
[27] 前記画像復号化方法は、さらに、
前記復号画像または前記高画質復号画像に対して所定の後処理を行う後処理ス テツプを含み、 前記高画質化ステップでは、
前記後処理ステップで前記復号画像に対して前記後処理が行われたときには、前 記後処理が行われた復号画像に対して前記パラメータを適用することにより前記高 画質復号画像を生成する
ことを特徴とする請求項 17記載の画像復号化方法。
[28] 前記後処理ステップでは、前記復号画像または前記高画質復号画像に対して、画 像サイズの拡大処理、高域通過フィルタ処理、またはフレームレート向上処理を行う ことを特徴とする請求項 27記載の画像復号化方法。
[29] 前記画像復号化方法は、さらに、
前記後処理の内容を示す後処理パラメータを取得する後処理パラメータ取得ステ ップを含み、
前記後処理ステップでは、前記後処理パラメータの示す内容の後処理を行う ことを特徴とする請求項 27記載の画像復号化方法。
[30] 入力画像を符号化する画像符号化装置であって、
入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号ィ匕 手段と、
符号化された入力画像を復号化することにより復号画像を生成する復号画像生成 手段と、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前 記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成 手段と
を備えることを特徴とする画像符号化装置。
[31] 符号化された入力画像を復号ィ匕する画像復号ィ匕装置であって、
符号列を取得する符号列取得手段と、
前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を 生成する復号化手段と、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生 成されたパラメータを取得するパラメータ取得手段と、 前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前 記入力画像に近い高画質復号画像を生成する高画質化手段と
を備えることを特徴とする画像復号化装置。
[32] 入力画像を符号ィ匕する集積回路であって、
入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号ィ匕 手段と、
符号化された入力画像を復号化することにより復号画像を生成する復号画像生成 手段と、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前 記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成 手段と
を備えることを特徴とする集積回路。
[33] 符号化された入力画像を復号ィ匕する集積回路であって、
符号列を取得する符号列取得手段と、
前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を 生成する復号化手段と、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生 成されたパラメータを取得するパラメータ取得手段と、
前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前 記入力画像に近い高画質復号画像を生成する高画質化手段と
を備えることを特徴とする集積回路。
[34] 入力画像を符号ィ匕するためのプログラムであって、
入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ス テツプと、
符号化された入力画像を復号化することにより復号画像を生成する復号画像生成 ステップと、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前 記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成 ステップと
をコンピュータに実行させることを特徴とするプログラム。
符号ィ匕された入力画像を復号ィ匕するためのプログラムであって、
符号列を取得する符号列取得ステップと、
前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を 生成する復号化ステップと、
前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生 成されたパラメータを取得するパラメータ取得ステップと、
前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前 記入力画像に近い高画質復号画像を生成する高画質化ステップと
をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2005/011642 2004-06-25 2005-06-24 画像符号化方法および画像復号化方法 WO2006001384A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05765122A EP1763251A4 (en) 2004-06-25 2005-06-24 IMAGE ENCODING METHOD AND IMAGE DECODING METHOD
US10/589,289 US20070160147A1 (en) 2004-06-25 2005-06-24 Image encoding method and image decoding method
JP2006528634A JP5138933B2 (ja) 2004-06-25 2005-06-24 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、集積回路、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004188568 2004-06-25
JP2004-188568 2004-06-25

Publications (1)

Publication Number Publication Date
WO2006001384A1 true WO2006001384A1 (ja) 2006-01-05

Family

ID=35781827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/011642 WO2006001384A1 (ja) 2004-06-25 2005-06-24 画像符号化方法および画像復号化方法

Country Status (5)

Country Link
US (1) US20070160147A1 (ja)
EP (2) EP1763251A4 (ja)
JP (1) JP5138933B2 (ja)
CN (1) CN100563342C (ja)
WO (1) WO2006001384A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2008022530A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
WO2010064674A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4808634B2 (ja) * 2004-11-19 2011-11-02 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
JP2014017739A (ja) * 2012-07-10 2014-01-30 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置およびプログラム
JP2014022845A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、超解像装置およびそれらのプログラム
KR20180030005A (ko) * 2018-03-12 2018-03-21 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
US7684626B1 (en) * 2005-12-01 2010-03-23 Maxim Integrated Products Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
KR101385957B1 (ko) * 2007-10-04 2014-04-17 삼성전자주식회사 복호화기에서의 양자화 계수 조정 방법 및 장치
JP4435843B1 (ja) * 2008-09-10 2010-03-24 ミツミ電機株式会社 映像表示装置
US20110299604A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
MX2013013508A (es) 2011-06-23 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103535036B (zh) 2011-06-24 2017-04-05 太阳专利托管公司 解码方法和解码装置
KR102067683B1 (ko) 2011-06-24 2020-01-17 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
MY169636A (en) 2011-06-27 2019-04-24 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN107105254B (zh) 2011-06-28 2020-03-20 太阳专利托管公司 编码方法及编码装置
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
JP5905884B2 (ja) 2011-06-30 2016-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法及び復号装置
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
US9992252B2 (en) 2015-09-29 2018-06-05 Rgb Systems, Inc. Method and apparatus for adaptively compressing streaming video
US11503306B2 (en) 2020-04-09 2022-11-15 Jianghong Yu Image and video data processing method and system
US11528488B2 (en) 2020-04-09 2022-12-13 Jianghong Yu Image and video data processing method and system
CN113518227B (zh) 2020-04-09 2023-02-10 于江鸿 数据处理的方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01311782A (ja) * 1988-06-10 1989-12-15 Toshiba Corp 変換符号化方式
JPH08251418A (ja) * 1995-03-10 1996-09-27 Kawasaki Steel Corp ブロック歪低減装置および低減方法
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP2002223445A (ja) * 2001-01-26 2002-08-09 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置と画像復号装置および画像符号化方法と画像復号方法および画像符号化プログラムを記録した記録媒体と画像復号プログラムを記録した記録媒体および画像符号化プログラムと画像復号プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135692B2 (ja) 1992-08-28 2001-02-19 株式会社日立製作所 階層的動画像信号符号化装置及び方法
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US7483581B2 (en) * 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
EP1303143A3 (fr) * 2001-10-16 2004-01-14 Koninklijke Philips Electronics N.V. Procédé de détection d'artefacts de bloc
CN100518315C (zh) * 2001-10-26 2009-07-22 皇家飞利浦电子股份有限公司 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
WO2004086293A1 (en) * 2003-03-19 2004-10-07 Nik Multimedia, Inc. Selective enhancement of digital images
JP5007228B2 (ja) * 2004-06-14 2012-08-22 プレコード，インコーポレイテッド 画像クリーンアップおよび前置符号化

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01311782A (ja) * 1988-06-10 1989-12-15 Toshiba Corp 変換符号化方式
JPH08251418A (ja) * 1995-03-10 1996-09-27 Kawasaki Steel Corp ブロック歪低減装置および低減方法
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP2002223445A (ja) * 2001-01-26 2002-08-09 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置と画像復号装置および画像符号化方法と画像復号方法および画像符号化プログラムを記録した記録媒体と画像復号プログラムを記録した記録媒体および画像符号化プログラムと画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1763251A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4808634B2 (ja) * 2004-11-19 2011-11-02 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
US8165212B2 (en) 2004-11-19 2012-04-24 Panasonic Corporation Video encoding method, and video decoding method
US8681872B2 (en) 2004-11-19 2014-03-25 Panasonic Corporation Video encoding method, and video decoding method
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2008022530A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
WO2010064674A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2014017739A (ja) * 2012-07-10 2014-01-30 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置およびプログラム
JP2014022845A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、超解像装置およびそれらのプログラム
KR20180030005A (ko) * 2018-03-12 2018-03-21 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치

Also Published As

Publication number Publication date
US20070160147A1 (en) 2007-07-12
CN100563342C (zh) 2009-11-25
JP5138933B2 (ja) 2013-02-06
JPWO2006001384A1 (ja) 2008-04-17
CN1922887A (zh) 2007-02-28
EP2309754A3 (en) 2012-02-01
EP2309754A2 (en) 2011-04-13
EP1763251A4 (en) 2009-03-25
EP1763251A1 (en) 2007-03-14

Similar Documents

Publication Publication Date Title
WO2006001384A1 (ja) 画像符号化方法および画像復号化方法
WO2006054507A1 (ja) 動画像符号化方法及び動画像復号方法
WO2006025339A1 (ja) 復号化装置、符号化装置、復号化方法、符号化方法
TWI317107B (en) Filtering strength determination method , moving picture coding method and moving picture decoding method
WO2006118288A1 (ja) 動画像符号化方法、動画像復号化方法およびその装置
JP2005080301A (ja) 動画像符号化方法および動画像復号化方法
JP2006074777A (ja) 動画像符号化方法および動画像復号方法
CN101383898A (zh) 图像处理设备、图像处理方法和计算机程序
WO2006013854A1 (ja) 画像復号化装置および画像符号化装置
CN102238314A (zh) 视觉处理装置、视觉处理方法、程序、存储介质、显示装置及集成电路
CN112150400B (zh) 图像增强方法、装置和电子设备
EP2960855B1 (en) Method and device for determining a set of modifiable elements in a group of pictures
TW200421877A (en) Moving picture encoding method and moving picture decoding method
CN102884791A (zh) 图像处理设备和方法
WO2006087989A1 (ja) 動画像処理方法
CN102792693A (zh) 图像处理设备和方法
TW201208381A (en) Encoding distortion removal method, encoding method, decoding method, encoding distortion removal device, encoding device and decoding device
CN103561264B (zh) 一种基于云计算的媒体解码方法及解码器
CN102668570A (zh) 图像处理设备及其方法
JP2008153812A (ja) ノイズ除去装置
JP2007525902A (ja) 圧縮デジタルビデオにおけるｍｐｅｇ損傷のグローバル指示に関するシステム及び方法
WO2006003873A1 (ja) 画像符号化方法および画像復号化方法
Ierodiaconou et al. Unsupervised image compression using graphcut texture synthesis
JP5846357B2 (ja) 画像処理装置及び画像処理プログラム
US8934720B2 (en) Image processing device, image processing method, and integrated circuit in which super resolution process data is output as output data for input pixel data that is classified as high-frequency region data and that has noise less than or equal to a threshold

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2006528634

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007160147

Country of ref document: US

Ref document number: 10589289

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2005765122

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200580006055.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2005765122

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10589289

Country of ref document: US