WO2009090884A1 - 画像符号化方法及び画像復号方法 - Google Patents

画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
WO2009090884A1
WO2009090884A1 PCT/JP2009/000150 JP2009000150W WO2009090884A1 WO 2009090884 A1 WO2009090884 A1 WO 2009090884A1 JP 2009000150 W JP2009000150 W JP 2009000150W WO 2009090884 A1 WO2009090884 A1 WO 2009090884A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
block
edge
prediction mode
decoded
Prior art date
Application number
PCT/JP2009/000150
Other languages
English (en)
French (fr)
Inventor
Virginie Drugeon
Thomas Wedi
Torsten Palfner
Hisao Sasai
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EA201070745A priority Critical patent/EA201070745A1/ru
Priority to CA002680698A priority patent/CA2680698A1/en
Priority to MX2009010053A priority patent/MX2009010053A/es
Priority to CN2009800001590A priority patent/CN101682781B/zh
Priority to AU2009205202A priority patent/AU2009205202A1/en
Priority to NZ586840A priority patent/NZ586840A/en
Priority to BRPI0906880-5A priority patent/BRPI0906880A2/pt
Priority to EP09702704.9A priority patent/EP2230851B1/en
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to JP2009534005A priority patent/JP5530181B2/ja
Priority to US12/529,813 priority patent/US8442334B2/en
Publication of WO2009090884A1 publication Critical patent/WO2009090884A1/ja
Priority to IL207018A priority patent/IL207018A0/en
Priority to ZA2010/05102A priority patent/ZA201005102B/en
Priority to US13/862,829 priority patent/US8971652B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • the present invention relates to an image encoding method that compresses and encodes image and video data with better encoding efficiency, an image decoding method that restores the compression-encoded image and video data, and a corresponding image encoding device and image
  • the present invention relates to a decoding device.
  • the number of applications for video-on-demand services is rising, and these applications Rely on sending.
  • video data is transmitted or recorded, a significant amount of data is transmitted through a conventional transmission line with limited bandwidth or stored in a conventional storage medium with limited data capacity. Is done.
  • it is essential to compress or reduce the amount of digital data.
  • Such a video coding standard is, for example, H.264. ITU-T standard indicated by 26x and ISO / IEC standard indicated by MPEG-x.
  • the latest and most advanced video coding standard is currently H.264. H.264 / MPEG-4 AVC standard (see Non-Patent Document 1).
  • the prediction mode used to predict each macroblock is different.
  • Most video coding standards use motion detection and motion compensation (interframe prediction) to predict video data from previously encoded and decoded frames.
  • the block data may be extrapolated from adjacent blocks in the same frame (intra frame prediction).
  • H.264 / AVC standard defines several different intra-frame prediction modes, for example, for reference pixels used for extrapolation or for the direction in which the pixels are extrapolated.
  • FIG. 1A and FIG. It is a figure which shows the intra prediction mode defined by H.264 / AVC specification.
  • the target block 10 of 4 ⁇ 4 pixels is predicted by extrapolating 13 reference pixels 20 located above and to the left of the target block 10 to be predicted.
  • a prediction block corresponding to the target block 10 is generated.
  • the DC prediction mode may be selected. In the DC prediction mode, the average value of the reference pixels is used to predict the target block 10.
  • intra-frame prediction spatial prediction of sub-blocks having a size of 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixels is performed in order to reduce spatial redundancy existing in natural images.
  • the already encoded pixel values of the surrounding blocks pixel values of the reference pixels
  • These reference pixels are extrapolated according to a predefined prediction mode.
  • the nine prediction modes are composed of eight prediction directions (see FIG. 1B) suitable for predicting the directional structure and so-called DC prediction modes.
  • the DC prediction mode all the pixels of the target block are predicted with a single value that is an average value of surrounding reference pixels.
  • the direction mode the reference pixel is repeated along the corresponding direction.
  • the vertical mode the reference pixels in the row immediately above the target block are repeated (extrapolated) in the vertical direction.
  • the horizontal mode the pixels in the column immediately to the left of the target block are repeated (extrapolated) in the horizontal direction.
  • the remaining modes are diagonally derived modes that are similarly derived.
  • the traditional predefined intra prediction direction has its limitations. That is, the intra prediction directions are limited to the eight directions shown in FIG. 1B. Therefore, in the above prior art, only intra prediction according to any one of the eight directions can be executed.
  • an intra prediction mode having an angle closest to the angle of the edge is selected from the eight directions in FIG. 1B, and the target block is predicted according to the prediction mode in the selected direction.
  • the prediction mode angle is slightly different from the true angle of the edge, the prediction block will also contain edges in a direction different from the actual edge direction. For this reason, in the difference image calculated by subtracting the prediction block from the target block, a large high frequency component is generated particularly in the pixel farthest from the reference pixel.
  • the high frequency component normally requires many bits for encoding, the amount of generated code increases. Alternatively, when the high frequency component is cut to suppress the generation of the code amount, distortion occurs in the encoded image.
  • the present invention has been made to solve the above-described problem, and is an image encoding method for encoding image and video data so that higher encoding efficiency is achieved and encoding distortion is suppressed. It is an object to provide a method and an image decoding method for decoding encoded image and video data.
  • an image encoding method is an image encoding method for encoding image data for each block, the dividing step for dividing the image data into a plurality of blocks, and the plurality of the plurality of blocks.
  • a prediction step for generating a prediction block by predicting a target block that is one of the blocks, a subtraction step for calculating a difference between the target block and the prediction block, and a difference calculated in the subtraction step are encoded.
  • a prediction block can be generated with the direction of the edge detected in the blocks around the target block as the prediction direction. Therefore, particularly when the target picture includes a sharp edge, it is possible to generate a prediction block more appropriate than the prediction block generated using the conventional predefined direction prediction mode. Therefore, the prediction residual, which is the difference between the target block and the prediction block, becomes small, so that encoding distortion can be suppressed and encoding efficiency can be increased.
  • the prediction block may be generated by extrapolating or interpolating the decoded image data linearly.
  • the prediction block generation step at least two weighted addition sums of pixel values of a plurality of decoded pixels included in the decoded image data are calculated for each prediction pixel constituting the prediction block, and the calculated weighted addition sum is calculated.
  • the prediction block is generated by extrapolation or interpolation, and the weight used for calculating the weighted sum may be determined based on the direction of the edge detected in the edge detection step.
  • each of the weights may be determined corresponding to the position of the predicted pixel. Specifically, the smaller the distance between the prediction pixel and the decoded pixel used for prediction block generation, the larger the value may be determined.
  • the prediction block may be generated by combining pixel values of the plurality of decoded pixels for performing and extrapolating or interpolating the combined pixel values.
  • the weighted sum is calculated by multiplying each of the pixel values of the plurality of decoded pixels by a weight, and the calculated weighted sum is extrapolated or interpolated.
  • the prediction block is generated, and each of the weights has a larger value as the distance from the decoded pixel corresponding to the weight to the decoded block in which one of the at least two edges is detected is smaller. It may be determined to be.
  • each of the weights may be determined so as to increase as the distance from the decoded pixel corresponding to the weight to the extension line of one of the at least two edges decreases.
  • the prediction step further includes a prediction mode selection step of selecting one prediction mode from a plurality of prediction modes including an edge prediction mode, and when the edge prediction mode is selected in the prediction block generation step.
  • the prediction block may be generated by extrapolating or interpolating the decoded image data along the edge direction detected in the edge detection mode.
  • an edge prediction mode for performing extrapolation or interpolation along the direction of the detected edge can be executed, and when an edge is not detected, a normal prediction mode is set. Can be executed.
  • the plurality of prediction modes further includes a DC prediction mode and a plurality of predefined direction prediction modes.
  • the prediction block generation step when the DC prediction mode is selected, the decoded image
  • the prediction block is generated by calculating an average value of data, and when one of the plurality of direction prediction modes is selected, the decoded image data is converted along a direction corresponding to the selected direction prediction mode.
  • the prediction block may be generated by extrapolation.
  • one prediction mode is selected from the edge prediction mode and the plurality of direction prediction modes, and in the edge detection step When no edge is detected, one prediction mode may be selected from the DC prediction mode and the plurality of directional prediction modes.
  • the optimal prediction mode can be selected using the edge prediction mode and the conventional direction prediction mode as candidates for the prediction mode.
  • the DC prediction mode and the conventional prediction mode can be selected. It is possible to select an optimal prediction mode using the direction prediction mode as a candidate for the prediction mode.
  • the target block is unlikely to be flat, and the difference between the prediction block generated in the DC prediction mode and the target block is usually large. For this reason, since the coding efficiency is deteriorated, the DC prediction mode is rarely selected when an edge is detected. Therefore, the DC prediction mode can be excluded from the prediction mode candidates.
  • a mode instruction indicating the selected directional prediction mode is encoded, and the DC prediction mode or the When the edge prediction mode is selected, a mode instruction indicating any one of the DC prediction mode and the edge prediction mode may be encoded.
  • the information indicating the conventional DC prediction mode can be used as the information indicating the edge prediction mode, it is not necessary to newly encode the information indicating the edge prediction mode at the time of encoding, thereby improving the encoding efficiency. Can do.
  • the DC prediction mode is unlikely to be selected when the edge prediction mode can be selected, such as when an edge is detected.
  • the possibility that the edge prediction mode is selected is low. Accordingly, since both the edge prediction mode and the DC prediction mode are rarely required as prediction mode candidates, information indicating the DC prediction mode can be assigned as information indicating the edge prediction mode.
  • the edge prediction mode and the plurality of direction prediction modes are selected.
  • the DC prediction mode and the prediction mode are selected.
  • One prediction mode may be selected from a plurality of direction prediction modes.
  • the edge detecting step calculates a gradient vector corresponding to each of a plurality of pixels of a previously generated (encoded and decoded) decoded block corresponding to a block close to the target block. And among the gradient vectors calculated in the gradient vector calculation step, at least one gradient satisfying a condition that a norm exceeds a predetermined threshold and an orthogonal vector orthogonal to the gradient vector indicates the target block.
  • a vector determining step for determining whether or not a vector exists, and an orthogonal orthogonal to at least one gradient vector satisfying the condition when it is determined in the vector determining step that at least one gradient vector satisfying the condition exists Detect edges with vector direction as edge direction It may comprise an edge direction determination step that.
  • the edge can be detected using the surrounding block instead of the target block, it is not necessary to transmit information necessary for the edge prediction mode such as information indicating the direction of the edge to the decoder side. Therefore, encoding efficiency can be further increased.
  • a direction determined from a gradient vector having the maximum norm among at least one gradient vector satisfying the condition may be determined as the edge direction.
  • a direction determined from a direction obtained by averaging the directions of at least one gradient vector among at least one gradient vector satisfying the condition may be determined as the direction of the edge.
  • the image decoding method of the present invention is an image decoding method for decoding image data including an encoded prediction residual for each block, the decoding step for decoding the prediction residual of a target block, and the target A prediction step of generating a prediction block by predicting a block; an addition step of generating a decoded block by adding the prediction block generated in the prediction step and the prediction residual decoded in the decoding step;
  • the prediction step includes an edge detection step for detecting an edge in a previously generated decoded block corresponding to a block close to the target block, and an edge direction detected in the edge detection step.
  • a prediction block generation step corresponding to pixels included in a block adjacent to the target block.
  • a prediction block can be generated with the direction of the edge detected in the blocks around the target block as the prediction direction. Therefore, particularly when the target picture includes a sharp edge, it is possible to generate a prediction block more appropriate than the prediction block generated using the conventional predefined direction prediction mode. Therefore, the prediction residual, which is the difference between the target block and the prediction block, becomes small, so that coding distortion can be suppressed.
  • the prediction block generation step at least two weighted addition sums of pixel values of a plurality of decoded pixels included in the decoded image data are calculated for each prediction pixel constituting the prediction block, and the calculated weighted addition sum is calculated.
  • the prediction block is generated by extrapolation or interpolation, and the weight used for calculating the weighted sum may be determined based on the direction of the edge detected in the edge detection step.
  • the prediction block may be generated by combining pixel values of the plurality of decoded pixels for performing and extrapolating or interpolating the combined pixel values.
  • the prediction step further includes a prediction mode selection step of selecting one prediction mode from a plurality of prediction modes including an edge prediction mode, and when the edge prediction mode is selected in the prediction block generation step.
  • the prediction block may be generated by extrapolating or interpolating the decoded image data along the edge direction detected in the edge detection mode.
  • an edge prediction mode for performing extrapolation or interpolation along the direction of the detected edge can be executed, and when an edge is not detected, a normal prediction mode is set. Can be executed.
  • one prediction mode is selected from the edge prediction mode and the plurality of direction prediction modes, and in the edge detection step When no edge is detected, one prediction mode may be selected from the DC prediction mode and the plurality of directional prediction modes.
  • the optimal prediction mode can be selected using the edge prediction mode and the conventional direction prediction mode as candidates for the prediction mode.
  • the DC prediction mode and the conventional prediction mode can be selected. It is possible to select an optimal prediction mode using the direction prediction mode as a candidate for the prediction mode.
  • the image data further includes a prediction mode instruction indicating a prediction mode.
  • the prediction mode instruction indicates the DC prediction mode or the edge prediction mode.
  • the edge prediction mode may be selected when an edge is detected in the edge detection step, and the DC prediction mode may be selected when an edge is not detected in the edge detection step.
  • the edge detecting step includes a gradient vector calculating step for calculating a gradient vector corresponding to each of a plurality of pixels of a previously generated decoded block corresponding to a block close to the target block, and the gradient vector calculating Whether or not there is at least one gradient vector satisfying the condition that the norm exceeds a predetermined threshold and the orthogonal vector orthogonal to the gradient vector indicates the target block among the gradient vectors calculated in the step If it is determined in the vector determination step and the vector determination step that at least one gradient vector satisfying the condition exists, the direction of the orthogonal vector orthogonal to the at least one gradient vector satisfying the condition is determined.
  • Edge direction determination to detect edge as direction It may include the step.
  • edges can be detected using surrounding blocks instead of the target block, so that information necessary for the edge prediction mode such as information indicating the direction of the edge is not transmitted from the encoder side.
  • the bitstream can be correctly decoded.
  • the present invention can be realized not only as an image encoding method and an image decoding method, but also as an image encoding device and an image decoding device using each step included in the image encoding method and the image decoding method as processing means. You can also Moreover, you may implement
  • a communication network such as the Internet.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • Computer system is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like.
  • the target block can be predicted more accurately, encoding distortion can be suppressed and encoding efficiency can be increased.
  • FIG. 1A shows the conventional H.264. It is a figure which shows an example of the relationship between the object block to which the intra prediction according to H.264 / AVC standard is applied, and a reference pixel.
  • FIG. 1B shows conventional H.264. It is a figure which shows the prediction direction contained in the intra prediction mode set according to H.264 / AVC standard.
  • FIG. 2 is a block diagram illustrating an example of a configuration of an image encoding device that performs hybrid encoding according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a detailed configuration of the intra prediction mode determination unit provided in the image encoding device according to the present embodiment.
  • FIG. 4 is a schematic diagram illustrating a method for detecting an edge and estimating the direction of the detected edge.
  • FIG. 5 is a block diagram showing an example of the configuration of the image decoding apparatus according to the present embodiment.
  • FIG. 6 is a block diagram illustrating an example of a detailed configuration of the intra prediction unit included in the image decoding apparatus according to the present embodiment.
  • FIG. 7 is a flowchart showing edge detection processing in the present embodiment.
  • FIG. 8 is a flowchart showing processing for determining a prediction mode set in the present embodiment.
  • FIG. 9 is a flowchart showing an encoding process of image or video data based on intra prediction in the present embodiment.
  • FIG. 10 is a flowchart showing the edge angle calculation processing in this embodiment.
  • FIG. 10 is a flowchart showing the edge angle calculation processing in this embodiment.
  • FIG. 11A is a schematic diagram illustrating a process of generating a prediction block according to an edge prediction mode using extrapolation of previously encoded and decoded image data in the present embodiment.
  • FIG. 11B is a different schematic diagram illustrating a process of generating a prediction block according to the edge prediction mode using extrapolation of previously encoded and decoded image data in the present embodiment.
  • FIG. 12 is a schematic diagram illustrating edge prediction using interpolation of previously encoded and decoded image data in the present embodiment.
  • FIG. 13 is a flowchart illustrating a method for generating a prediction block in the edge prediction mode according to the present embodiment.
  • FIG. 14 is a schematic diagram illustrating processing for generating a prediction block according to an edge prediction mode based on at least two edges in the present embodiment.
  • FIG. 15 is a flowchart showing processing for decoding image and video data based on intra prediction in the present embodiment.
  • FIG. 16 is a flowchart showing an intra prediction method according to the present embodiment.
  • FIG. 17A is a diagram showing a rate / distortion curve of the first 10 frames of the Foreman sequence (CIF).
  • FIG. 17B is a diagram showing a rate / distortion curve of the spin calendar sequence (720p).
  • FIG. 18 is a diagram showing a ratio of blocks encoded using the edge prediction mode and a bit rate reduction rate.
  • FIG. 19 is a block diagram illustrating an example of a different configuration of the image encoding device according to the present embodiment.
  • FIG. 20 is a schematic diagram illustrating an example of a pixel stored in the memory according to the present embodiment.
  • Target block 20 Reference pixel 30
  • Surrounding block 40 41, 61, 62 Edge 50, 51, 52, 65, 66 Edge direction 63, 64 Target pixel 71, 72 Pixel group 100, 500 Image encoding device 101, 304 frames Memory 102 Subtraction unit 103 Frequency conversion unit 104 Quantization unit 105, 505 Variable length encoding unit 106, 301 Inverse quantization unit 107, 302 Inverse frequency conversion unit 108, 303 Addition unit 109, 509 Reference picture memory 110, 510 Intra prediction Mode determination unit 111 Motion detection unit 112, 305 Intra prediction unit 113, 306 Motion compensation unit 114, 115, 308, 309 Switch 116, 307 Control unit 117 Probability table holding unit 118 Encoding mode determination unit 120 Differential encoding unit 130 Difference Decoding unit 201, 401 Edge detection Units 202 and 402 Direction determination units 203 and 403 Norm determination unit 204 Prediction mode set determination unit 205 Prediction mode selection unit 300 Image decoding device 404 Prediction mode determination
  • the image encoding device and the image decoding device When encoding and decoding image and video data, the image encoding device and the image decoding device according to the present embodiment detect edges included in surrounding blocks located around the target block, and the detected edge direction An edge prediction mode that uses as the intra prediction direction can be used. That is, in the present embodiment, when a picture including a sharp edge is encoded by intra prediction, it is possible to perform intra prediction encoding taking the edge direction into consideration.
  • FIG. 2 is a block diagram showing an example of the configuration of the image encoding device 100 that performs hybrid encoding according to the present embodiment.
  • the image coding apparatus 100 shown in the figure includes a frame memory 101, a subtracting unit 102, a frequency converting unit 103, a quantizing unit 104, a variable length coding unit 105, an inverse quantization unit 106, and an inverse frequency.
  • the frequency conversion unit 103 and the quantization unit 104 are included in the differential encoding unit 120.
  • the inverse quantization unit 106 and the inverse frequency conversion unit 107 are included in the differential decoding unit 130.
  • each processing unit will be described along the operation when the image encoding apparatus 100 encodes input video data composed of a plurality of frames.
  • Each picture of the input video data is stored in the frame memory 101.
  • Each picture is divided into a plurality of blocks and output from the frame memory 101 in units of blocks (for example, in units of macroblocks of 16 horizontal pixels and 16 vertical pixels).
  • the input video data may be either a progressive format or an interlace format.
  • Each macroblock is encoded in either intra or inter prediction mode. First, a case where the target macroblock is encoded in the intra prediction mode will be described.
  • the intra prediction mode determination unit 110 determines how to perform intra prediction on the input macroblock. Specifically, the intra prediction mode determination unit 110 uses an intra prediction block size (one of the following sizes: horizontal 4 pixels ⁇ vertical 4 pixels, horizontal 8 pixels ⁇ ) as an intra prediction mode (IPM: Intra-Prediction Mode). It is necessary to determine 8 vertical pixels, 16 horizontal pixels ⁇ 16 vertical pixels), and the intra prediction direction. The detailed configuration of the intra prediction mode determination unit 110 will be described later with reference to FIG.
  • the target block 10 (4 horizontal pixels ⁇ 4 vertical pixels) illustrated in FIG. 1A may be predicted using the reference pixels 20 according to eight predefined intra prediction directions.
  • the reference pixel 20 (the diagonally shaded square in FIG. 1A) used for intra prediction has already been encoded and decoded and stored in the reference picture memory 109.
  • Information indicating the determined intra prediction mode IPM is output to the intra prediction unit 112 and the encoding mode determination unit 118.
  • the intra prediction unit 112 acquires reference pixels (intra reference pixels) used for intra prediction from the reference picture memory 109 based on the intra prediction mode IPM determined by the intra prediction mode determination unit 110. Then, the intra prediction unit 112 generates an intra-predicted image IP by extrapolating or interpolating the pixel value of the reference pixel, and outputs the generated intra-predicted image IP to the subtraction unit 102 (at this time, the switch 115 is connected to the terminal “a” by the control unit 116).
  • the subtraction unit 102 receives from the frame memory 101 the macro block (target macro block) of the picture included in the input video data and the intra predicted image IP generated by the intra prediction unit 112. Then, the subtraction unit 102 generates a difference image by calculating a difference (also referred to as a prediction residual) between the target macroblock and the intra prediction image IP, and outputs the generated difference image to the frequency conversion unit 103.
  • a difference also referred to as a prediction residual
  • the frequency conversion unit 103 performs frequency conversion such as discrete cosine conversion on the difference image generated by the subtraction unit 102 to generate a frequency conversion coefficient, and outputs the generated frequency conversion coefficient.
  • the quantization unit 104 quantizes the frequency conversion coefficient generated by the frequency conversion unit 103, and outputs the quantized frequency conversion coefficient QT.
  • the quantization is a process of dividing the frequency conversion coefficient by a predetermined value (quantization step). It is assumed that this quantization step is given by the control unit 116 (the quantization step may be included in the control signal CTL input to the control unit 116).
  • the quantized frequency transform coefficient QT is output to the variable length coding unit 105 and the inverse quantization unit 106.
  • the inverse quantization unit 106 inversely quantizes the quantized frequency transform coefficient QT and outputs the inversely quantized frequency transform coefficient to the inverse frequency transform unit 107.
  • the same quantization step as that used at the time of quantization by the quantization unit 104 is input from the control unit 116 to the inverse quantization unit 106.
  • the inverse frequency transform unit 107 generates a decoded difference image LDD by performing inverse frequency transform on the inversely quantized frequency transform coefficient.
  • the inverse frequency conversion unit 107 outputs the generated decoded difference image LDD to the addition unit 108.
  • the addition unit 108 generates a decoded image LD by adding the decoded difference image LDD to the predicted image IP or MP.
  • the adder 108 stores the generated decoded image LD in the reference picture memory 109.
  • the decoded image LD stored in the reference picture memory 109 is used as a reference image for later encoding.
  • variable length coding unit 105 performs variable length coding on the quantized frequency transform coefficient QT input from the quantization unit 104, and is input from the intra prediction mode determination unit 110 via the coding mode determination unit 118.
  • Information indicating the intra prediction mode IPM is processed in the same manner, and a bit stream referred to as an encoded sequence is output.
  • variable-length encoding method used by the variable-length encoding unit 105
  • the international standard H.264 for encoding moving images There is a context adaptive arithmetic coding method employed in H.264.
  • the context adaptive arithmetic coding method is a method of switching a probability table used for arithmetic coding according to target data for variable length coding and data that has already been subjected to variable length coding (context adaptive type). is there.
  • a block size for intra prediction, a block size for frequency conversion, and the like are used as contexts for performing variable length coding of the quantized frequency transform coefficient QT.
  • the probability table is held in the probability table holding unit 117.
  • the macroblock output from the frame memory 101 is input to the motion detection unit 111 (At this time, the switch 114 is connected to the terminal “b” by the control unit 116. ).
  • the motion detection unit 111 performs motion (motion vector) on a reference picture (a reconstructed picture held in the reference picture memory 109, which is different from a picture to be encoded) with respect to the input macroblock. To detect.
  • motion detection the following motion vectors are generally selected. That is, it is a motion vector having a minimum difference value between a block to be encoded and a predicted image, and a minimum sum of weights of code amounts of motion vectors.
  • the detected motion vector is output to the motion compensation unit 113 and the encoding mode determination unit 118.
  • the motion compensation unit 113 acquires a reference pixel (inter reference pixel) used for inter prediction from the reference picture memory 109 based on the motion vector determined by the motion detection unit 111. Then, the motion compensation unit 113 generates a predicted image MP, and outputs the generated predicted image MP to the subtracting unit 102 (at this time, the switch 115 is connected to the terminal “b” by the control unit 116).
  • a reference pixel inter reference pixel
  • the processing executed by the subtraction unit 102, the frequency conversion unit 103, the quantization unit 104, the inverse quantization unit 106, the inverse frequency conversion unit 107, and the addition unit 108 is the process described in the case of intra prediction. Is the same. Therefore, description of these processes is omitted here.
  • the encoding mode determination unit 118 is a macroblock that is encoded using outputs from the intra prediction mode determination unit 110, the motion detection unit 111, the quantization unit 104, the frame memory 101, the addition unit 108, and the like.
  • the encoding mode is determined.
  • any one of intra-picture predictive coding and inter-picture predictive coding is used for coding a macroblock to be coded.
  • the encoding mode determination unit 118 generally determines an encoding mode by selecting an encoding mode having a value that minimizes the sum of weights of the generated bit amount and encoding distortion.
  • the coding mode determination unit 118 When intra picture predictive coding is selected as the coding mode, the coding mode determination unit 118 changes the coding mode MD and information indicating the intra prediction mode IPM (intra prediction block size, intra prediction direction, etc.). The data is output to the long encoding unit 105. On the other hand, when inter-picture predictive coding is selected as the coding mode, the coding mode determination unit 118 outputs the coding mode MD and the motion vector MV to the variable length coding unit 105.
  • IPM intra prediction block size, intra prediction direction, etc.
  • H. A cost function using the H.264 standard bit rate and encoding distortion may be used to determine the best prediction mode for encoding the target block. For each prediction mode, the difference image is orthogonally transformed, quantized, and variable-length coded. Then, the bit rate and coding distortion are calculated for each prediction mode.
  • the cost function for example, a Lagrangian cost function J expressed by Equation 1 is used.
  • R is a bit rate used to encode a difference image (also referred to as prediction residual) and prediction mode information
  • D is encoding distortion
  • ⁇ is encoding.
  • I is a Lagrangian multiplier calculated according to the quantization parameter QP selected for.
  • the encoding mode determination unit 118 selects the prediction mode in which the lowest cost function J is the lowest as the prediction mode for predicting the target block.
  • the encoding mode determination unit 118 includes a memory that temporarily stores the cost function J in order to select an optimal prediction mode.
  • the variable length coding unit 105 is variable to a quantization frequency transform coefficient QT input from the quantization unit 104, a coding mode MD and an intra prediction mode IPM or a motion vector MV output from the coding mode determination unit 118. Perform long coding and output a bitstream.
  • variable length coding unit 105 codes the motion vector MV using context adaptive arithmetic coding
  • the probability table depending on the size (context) of the motion vector of the encoded peripheral block is changed.
  • a method can be used.
  • the probability table is held in the probability table holding unit 117.
  • the prediction mode the prediction executed on the encoder (image encoding device 100) side in the process of encoding the video data is reproduced on the decoder (for example, image decoding device 300 (see FIG. 5) described later) side.
  • the prediction mode defines for each macroblock which coding mode, ie, intra or inter prediction, has been applied. Further, the prediction mode includes information on how the macroblock is subdivided. H. According to H.264 / AVC, a 16 ⁇ 16 pixel macroblock may be further subdivided into 8 ⁇ 8 or 4 ⁇ 4 pixel blocks, for example, in the case of intra prediction.
  • the prediction mode further includes a set of motion vectors used for motion compensation or information specifying an intra prediction mode applied to intra prediction of the target block.
  • FIG. 3 is a block diagram illustrating an example of a detailed configuration of the intra prediction mode determination unit 110.
  • the intra prediction mode determination unit 110 includes an edge detection unit 201, a direction determination unit 202, a norm determination unit 203, a prediction mode set determination unit 204, and a prediction mode selection unit 205.
  • the edge detection unit 201 reads a reference image from the reference picture memory 109 and detects an edge included in the read reference image. For example, the edge detection unit 201 detects the gradient vector field of the reference image by evaluating the gradient norm that gives the maximum edge value. The direction of the edge is the direction of the vector orthogonal to the direction of the corresponding gradient.
  • the reference image used for the edge detection process is a pixel included in a block that has already been encoded and decoded among pixels belonging to a block directly adjacent to the target block.
  • the gradient value is calculated for the neighboring pixels using the vertical and horizontal Sobel operators shown in Equation 2.
  • the edge detection unit 201 calculates the vertical and horizontal gradient magnitudes (gradient values) of the corresponding pixels by using a vertical Sobel operator and a horizontal Sobel operator for each pixel. By performing vector synthesis of the calculated vertical and horizontal gradient values, the gradient direction is determined for each pixel.
  • FIG. 4 is a schematic diagram showing a method for detecting an edge and estimating the direction of the detected edge.
  • the area shaded diagonally to the left indicates the pixels of the surrounding block 30 that are considered for calculating the gradient.
  • the edge detection unit 201 calculates a gradient value using Equation 2 for each pixel shaded diagonally downward to the left in FIG. Then, the direction of the gradient is calculated based on the calculated gradient value, and the direction orthogonal to the direction of the gradient is determined as the edge direction.
  • a vector in a direction orthogonal to the gradient direction is also referred to as an edge vector.
  • the norm of the edge vector is, for example, the same as the norm of the gradient vector of the pixel in which the edge vector is detected.
  • the direction determination unit 202 determines whether or not the edge direction detected by the edge detection unit 201 indicates the target block for intra prediction. For example, when the edge 40 shown in FIG. 4 is detected, since the extension line of the edge 40 is included in the target block 10, the direction determination unit 202 determines that the edge 40 points to the target block 10 for intra prediction. . On the other hand, when the edge 41 shown in FIG. 4 is detected, since the extension line of the edge 41 is not included in the target block 10, the direction determination unit 202 does not indicate that the edge 41 points to the target block 10 for intra prediction. judge.
  • the norm determination unit 203 calculates the norm of the edge determined by the direction determination unit 202 to point to the intra prediction target block, and determines whether the calculated norm is larger than a predetermined threshold.
  • the norm of an edge is a norm of an edge vector or a gradient vector.
  • the norm determination unit 203 determines that an edge has been detected when the calculated norm is greater than the threshold value. If the calculated norm is less than or equal to the threshold, it is determined that no edge has been detected.
  • the threshold used at this time is empirically selected based on, for example, comparing the difference between different maximum vector norms and different sequences including both sharp edges and smooth regions.
  • the prediction mode set determination unit 204 determines a prediction mode set used when encoding the target block according to whether or not an edge is detected. Specifically, a prediction mode set (conventional prediction mode set) composed of a DC prediction mode and eight direction modes (conventional prediction mode set) or a prediction mode set (new prediction) composed of an edge prediction mode and eight direction modes, as in the past Mode set).
  • a prediction mode set (conventional prediction mode set) composed of a DC prediction mode and eight direction modes (conventional prediction mode set) or a prediction mode set (new prediction) composed of an edge prediction mode and eight direction modes, as in the past Mode set).
  • the prediction mode set determination unit 204 uses H.264 as an available prediction mode set.
  • Nine conventional prediction mode sets used in the H.264 video coding standard are determined.
  • the prediction mode set determination unit 204 determines a new prediction mode set as an available prediction mode set.
  • the target block tends to include a highly directional structure, and thus it is considered that the DC prediction mode is not a good candidate for predicting the target block. Therefore, the DC prediction mode is replaced with the edge prediction mode.
  • H.C The remaining eight directional prediction modes of the H.264 video coding standard are retained. They are particularly useful when the direction of the edge changes between the previous block (the block in which the edge is detected) and the target block.
  • the prediction mode selection unit 205 selects one prediction mode from the prediction mode set determined by the prediction mode set determination unit 204.
  • the image coding apparatus 100 includes a new edge prediction mode as a prediction mode selected when coding a target block. Further, in order to intra-encode the target block according to the edge prediction mode, an edge is detected from blocks around the target block, and intra-prediction encoding is performed using the detected edge direction as the intra-prediction direction. Specific operations of the image coding apparatus 100 according to the present embodiment will be described later with reference to flowcharts.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the image decoding apparatus 300 according to the present embodiment.
  • the image decoding apparatus 300 shown in the figure includes an inverse quantization unit 301, an inverse frequency conversion unit 302, an addition unit 303, a frame memory 304, an intra prediction unit 305, a motion compensation unit 306, a control unit 307, , Switches 308 and 309.
  • the image decoding apparatus 300 decodes encoded video data including a prediction residual as either an intra frame or an inter frame predictive coding block for each block.
  • the encoding mode MD is input to the control unit 307, information indicating the intra prediction mode IPM or the motion vector MV is input to the switch 308, and the quantization frequency transform coefficient QT is input to the inverse quantization unit 301.
  • the control unit 307 controls the switches 308 and 309 based on the encoding mode MD.
  • the switch 308 When the encoding mode MD indicates intra prediction encoding, the switch 308 is connected to the terminal “a”, and information indicating the intra prediction mode IPM is input to the intra prediction unit 305.
  • the switch 308 When the encoding mode MD indicates inter prediction encoding, the switch 308 is connected to the terminal “b”, and the motion vector MV is input to the motion compensation unit 306.
  • the switches 308 and 309 are connected to the terminal “a”.
  • Information indicating the intra prediction mode is input to the intra prediction unit 305, and the quantized frequency transform coefficient QT is input to the inverse quantization unit 301.
  • the quantized frequency transform coefficient QT corresponds to a prediction error encoded by an encoder (for example, the image encoding device 100).
  • the intra prediction unit 305 acquires an intra prediction reference pixel from the frame memory 304 based on the input intra prediction mode, generates an intra-predicted image (prediction block), and outputs the intra-predicted image to the adding unit 303 To do.
  • the inverse quantization unit 301 inversely quantizes the quantized frequency transform coefficient QT and outputs the inversely quantized frequency transform coefficient to the inverse frequency transform unit 302. Then, the inverse frequency transform unit 302 generates a decoded difference image LDD by performing inverse frequency transform on the inversely quantized frequency transform coefficient. The inverse frequency transform unit 302 outputs the generated decoded difference image LDD to the addition unit 303.
  • the addition unit 303 generates a decoded image LD by adding the decoded difference image LDD and the intra predicted image IP.
  • the generated decoded image LD is stored in the frame memory 304. Note that the decoded image stored in the frame memory 304 is used as a reference picture in later decoding.
  • the decoded image is output so as to form decoded video data.
  • the switches 308 and 309 are connected to the terminal “b”.
  • Information indicating the motion vector MV is input to the motion compensation unit 306, and the quantized frequency transform coefficient QT is input to the inverse quantization unit 301.
  • the motion compensation unit 306 acquires reference pixels from the frame memory 304 based on the input motion vector MV, generates a predicted picture, and outputs the predicted picture to the addition unit 303.
  • the processes of the inverse quantization unit 301, the inverse frequency conversion unit 302, and the addition unit 303 are the same as those described for the intra prediction block.
  • the decoded image LD is stored in the frame memory 304.
  • the decoded image stored in the frame memory 304 is used as a reference picture in later decoding.
  • the decoded image is output so as to form decoded video data.
  • FIG. 6 is a diagram illustrating an example of a detailed configuration of the intra prediction unit 305 according to the present embodiment.
  • the intra prediction unit 305 includes an edge detection unit 401, a direction determination unit 402, a norm determination unit 403, a prediction mode determination unit 404, and a prediction block generation unit 405.
  • the edge detection unit 401 reads a reference image from the frame memory 304 and detects an edge included in the read reference image. To do. Specific edge detection processing is the same as that of the edge detection unit 201, and will be described in detail later.
  • the direction determination unit 402 determines whether or not the edge direction detected by the edge detection unit 401 indicates the target block for intra prediction.
  • the specific edge direction determination process is the same as that of the direction determination unit 202, and will be described in detail later.
  • the norm determination unit 403 calculates the norm of the edge that has been determined by the direction determination unit 402 to point to the intra prediction target block, and determines whether or not the calculated norm is greater than a predetermined threshold.
  • the threshold value used at this time is preferably the same threshold value used in the norm determination process at the time of encoding. Therefore, if the threshold value is not a value unique to the apparatus, it is transmitted from the encoding apparatus.
  • the specific norm determination process is the same as that of the norm determination unit 203, and will be described in detail later.
  • the prediction mode determination unit 404 acquires information indicating the intra prediction mode IPM included in the bitstream, and determines whether the intra prediction mode is the edge prediction mode or the DC prediction mode. In the case of either the edge prediction mode or the DC prediction mode, the prediction mode determination unit 404 causes the edge detection unit 401 to perform edge detection processing. Based on the determination result of the norm determination unit 403, the prediction block generation unit 405 is notified of whether the intra prediction mode is the DC prediction mode or the edge prediction mode.
  • the prediction mode determination unit 404 determines that the intra prediction mode is the direction prediction mode. Notify the generation unit 405.
  • the prediction block generation unit 405 generates a prediction block according to the intra prediction mode notified from the prediction mode determination unit 404. Specifically, a reference pixel is read from the frame memory 304, and a prediction block is generated by extrapolating or interpolating the read reference pixel. The generated prediction block is output to the addition unit 303 via the switch 309.
  • the image decoding apparatus 300 includes a new edge prediction mode as a prediction mode selected when a target block is decoded. Furthermore, in order to decode the target block according to the edge prediction mode, an edge is detected from blocks around the target block, and intra prediction decoding is performed using the detected edge direction as the intra prediction direction. A specific operation of the image decoding apparatus 300 according to the present embodiment will be described later using a flowchart.
  • FIG. 7 is a flowchart showing edge detection processing according to the present embodiment.
  • the edge detection process is executed for all the pixels considered for calculating the gradient (for example, pixels shaded in the diagonally lower left direction in FIG. 4) (S101).
  • the edge detection unit 201 calculates the gradient vector of the target pixel position by applying the Sobel operator of Expression 2 (S102). Then, the edge detection unit 201 calculates an edge vector orthogonal to the calculated gradient vector, and detects the direction of the calculated edge vector (S103).
  • the direction determination unit 202 determines whether or not the gradient indicates an edge crossing the target block, that is, whether or not an edge vector orthogonal to the gradient vector points to the prediction target block (S104). If the edge vector does not point to the prediction target block (No in S104) and there is a next pixel (Yes in S105), the process proceeds to the next pixel. That is, the calculation is repeated from the calculation of the gradient vector (S102) for the next pixel.
  • the norm determination unit 203 calculates the norm of the gradient vector (S106). Then, the norm determination unit 203 determines whether or not the calculated norm is larger than a predetermined threshold (S107). If the calculated norm is equal to or less than the threshold value (No in S107) and if there is a next pixel (Yes in S105), the process proceeds to the next pixel. That is, the calculation is repeated from the calculation of the gradient vector (S102) for the next pixel.
  • the norm determination unit 203 determines whether the calculated norm is larger than the norm of the gradient vector having the maximum norm among all the gradient vectors previously determined. Is determined (S108). When the calculated norm is larger than the maximum norm (Yes in S108), the gradient vector is set as a new maximum vector (S109).
  • the norm determination unit 203 stores the pixel vector and the position in the memory (S110). At this time, it is desirable that the pixel vector stored in the memory is an edge vector.
  • the memory is a memory provided in the norm determination unit 203, for example.
  • next pixel If there is a next pixel (Yes in S105), the process proceeds to the next pixel. That is, the calculation is repeated from the calculation of the gradient vector (S102) for the next pixel.
  • Edge detection processing is executed for the pixels shaded in the direction, and the position of the pixel where the edge is detected and its edge vector are stored in the memory.
  • the intra prediction mode set used to encode the block of image data depends on the result of the edge detection process performed on the block that has been encoded and decoded before approaching. . That is, instead of detecting an edge from the target block, an edge is detected from surrounding blocks, and an intra prediction mode set for encoding the target block is determined based on the detection result.
  • the edge detection unit 401, the direction determination unit 402, and the norm determination unit 403 respectively execute the processes performed by the edge detection unit 201, the direction determination unit 202, and the norm determination unit 203.
  • FIG. 8 is a flowchart showing a process for determining an appropriate intra prediction mode set.
  • the edge detection process of FIG. 7 is executed by the edge detection unit 201, the direction determination unit 202, and the norm determination unit 203 (S201).
  • the prediction mode set determination unit 204 determines whether at least one edge vector is stored, that is, whether there is a vector having a norm larger than the threshold in the direction corresponding to the edge indicating the target block.
  • the intra prediction mode set determination unit 204 sets a new prediction mode set as an available intra prediction mode set. Select (S203).
  • the new prediction mode set includes eight conventional prediction directions (directional prediction modes of the H.264 coding standard) and a new edge prediction mode.
  • the intra prediction mode set determination unit 204 sets the conventional prediction mode set as a set of available intra prediction modes. Is selected (S204).
  • the conventional prediction mode set is H.264.
  • Each of the H.264 encoders consists of nine conventional prediction modes, ie, eight conventional prediction directions and a conventional DC prediction mode.
  • the image coding apparatus 100 determines an intra prediction mode set according to whether or not an edge is detected. That is, when an edge is detected, an intra prediction mode set including an edge prediction mode is selected, and when an edge is not detected, an intra prediction mode set including a DC prediction mode is selected.
  • the prediction mode selection unit 205 selects one intra prediction mode from a set of available intra prediction modes in order to perform intra prediction using the intra prediction unit 112.
  • FIG. 9 is a flowchart showing a process for encoding image or video data based on intra prediction in the present embodiment.
  • the encoding process shown in FIG. 9 is executed for each macroblock of 16 ⁇ 16 pixels (S301). Furthermore, it is executed for each division size (4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels) obtained by dividing the macroblock into possible sizes (S302). Further, it is executed for each block (4 ⁇ 4 pixels) obtained by dividing the division size (S303).
  • the intra prediction mode determination unit 110 executes the processing described with reference to FIG. 8, and the prediction mode set determination unit 204 selects a suitable intra prediction mode set (S304). Then, the optimal prediction mode is selected by executing the following processing (S305 to S314) for each prediction mode included in the intra prediction mode set.
  • the prediction mode selection unit 205 selects one prediction mode among the nine prediction modes included in the intra prediction mode set as the target prediction mode for the target block B (S305).
  • the selected target prediction mode is output to the intra prediction unit 112.
  • the intra prediction unit 112 generates a prediction block B pred corresponding to the target block B according to the target prediction mode (S306).
  • the generated prediction block B pred is output to the subtraction unit 102.
  • the calculated prediction residual B res is output to the frequency conversion unit 103.
  • the frequency conversion unit 103 performs frequency conversion on the calculated prediction residual B res and outputs the frequency converted prediction residual (frequency conversion coefficient) to the quantization unit 104.
  • the quantization unit 104 quantizes the frequency-converted prediction residual (S308).
  • the quantized frequency transform coefficient QT obtained by the quantization is output to the inverse quantization unit 106 and the variable length coding unit 105.
  • the inverse quantization unit 106 inversely quantizes the quantized frequency transform coefficient QT and outputs the inversely quantized frequency transform coefficient to the inverse frequency transform unit 107. Then, the inverse frequency transform unit 107 performs the inverse frequency transform on the inversely quantized frequency transform coefficient to generate the decoded difference block B resq (S309). The generated difference block B resq is output to the adding unit 108. The adding unit 108 adds the difference block B resq and the prediction block B pred to generate a decoded block B pred + B resq .
  • the encoding mode determination unit 118 determines whether or not the calculated target value of the cost function J is smaller than the previously stored cost function minimum value Jmin (S312). When the calculated cost function J is smaller than the minimum value Jmin (Yes in S312), the encoding mode determination unit 118 stores the target prediction mode and the target division size in the memory, and uses the previously stored minimum value Jmin as the current value. The calculated cost function J is updated to the target value (S313).
  • prediction The mode selection unit 205 selects one prediction mode for which the cost function J has not been calculated. And it repeats from the production
  • a prediction mode set determination process (S304) is performed with the next block as a target block. ) Is repeated.
  • the case where there is the next block is a case where there is a block for which the cost function is not calculated among all the blocks included in one macroblock.
  • the macro block is divided by the next division size, and the above processing is repeated for each block obtained by the division. It is.
  • the case where there is the next division size is a case where there is a division size in which processing for each block is not performed among a plurality of division sizes that can divide one macroblock. For example, since one macroblock can be divided into three division sizes (4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels), each of the three division sizes can be divided into blocks.
  • the processing (S302 to S316) is repeated until the processing is completed.
  • the encoding mode determination unit 118 selects the division size having the lowest value of the cost function and the corresponding prediction mode (S317). Information indicating the selected division size and prediction mode is output to the variable length coding unit 105.
  • variable length encoding unit 105 encodes the selected division size, prediction mode, and corresponding residual, and writes the result generated by the encoding to the output bitstream (S318). Note that the variable length encoding unit 105 performs encoding using, for example, a statistical encoder.
  • the information (mode instruction) indicating the prediction mode to be encoded is information indicating the selected direction prediction mode when a plurality of direction prediction modes are selected, and the DC prediction mode or the edge prediction mode is selected. If it is, it is information indicating either the DC prediction mode or the edge prediction mode. That is, the variable length coding unit 105 assigns one codeword to both the DC prediction mode and the edge prediction mode.
  • the image encoding device 100 determines a prediction mode for each block and encodes input video data.
  • a prediction mode set is determined before selecting a prediction mode.
  • the prediction mode set as a selection candidate includes a conventional prediction mode set and a new prediction mode set, and the new prediction mode set includes an edge prediction mode instead of the DC prediction mode. .
  • the information indicating the edge prediction mode which is a new prediction mode
  • the decoder that receives this codeword determines whether it is the DC prediction mode or the edge prediction mode. This eliminates the need to assign a new code word to the information indicating the edge prediction mode, thereby preventing an increase in code amount.
  • the gradient is calculated for each pixel included in the surrounding blocks and subjected to gradient calculation processing, and the intra prediction unit 112 obtains a vector having the maximum norm and a vector having the maximum norm.
  • the angle of the edge is calculated using a vector of pixels adjacent to. Specifically, for each adjacent pixel, the norm of the corresponding edge vector (or gradient vector) is compared to the norm of the maximum vector. Only when the norm of the edge vector of the adjacent pixel is larger than 50% of the norm of the maximum vector, the edge vector of the adjacent pixel is stored in the memory in order to use it. Then, the intra prediction unit 112 calculates the average of the angles of the maximum vector and the surrounding vector stored in the memory as the angle ⁇ in the direction of the new edge prediction mode. Specifically, it is executed according to the flowchart shown in FIG.
  • FIG. 10 is a flowchart showing processing for calculating the angle of the edge in the present embodiment. This process depends on the result of the edge detection process described with reference to FIG. As a result of the edge detection processing shown in FIG. 7, one or more edge vectors determined to be larger than the threshold value and the corresponding pixel positions are stored.
  • the norm determination unit 203 calculates the angle of the maximum edge vector detected by the edge detection process, and stores it in the memory (S401). The following processing is executed for all pixels adjacent to the pixel for which the maximum edge vector is calculated (S402). That is, the norm determination unit 203 performs the following processing using the position of one pixel among the pixels adjacent to the pixel for which the maximum edge vector is calculated as the target pixel position.
  • the norm determination unit 203 determines whether or not the edge vector corresponding to the target pixel position is stored in the memory of the norm determination unit 203 (S403). That is, it is determined whether or not an edge vector having a norm larger than the threshold and indicating the target block is stored.
  • the norm determination unit 203 calculates the norm of this vector (S404). Then, the norm determination unit 203 compares the calculated norm with the norm of the maximum edge vector (S405). When the calculated norm is larger than 50% of the maximum norm (Yes in S405), the norm determination unit 203 calculates the vector angle of the target pixel position and stores it in the memory (S406).
  • the above processing (S403 to S406) is executed for all target pixel positions.
  • the norm determination unit 203 calculates the edge angle by averaging the angles stored in the memory. Calculate (S408).
  • the edge angle may be determined from the direction of only the maximum edge vector. Alternatively, it may be determined from the direction of a greater or lesser number of adjacent vectors or other vectors along the edge. Further, although the vector stored in the memory is an edge vector, it may be a gradient vector.
  • the intra prediction unit 112 When the prediction mode selection unit 205 selects the edge prediction mode, the intra prediction unit 112 generates a prediction block using the edge angle determined as described above, that is, the edge direction as a prediction direction.
  • the intra-prediction unit 112 may perform the above-described edge angle calculation processing.
  • the intra prediction unit 112 includes processing units corresponding to the edge detection unit 201, the direction determination unit 202, and the norm determination unit 203.
  • the edge detection unit 401, the direction determination unit 402, and the norm determination unit 403 respectively execute the processes performed by the edge detection unit 201, the direction determination unit 202, and the norm determination unit 203.
  • FIG. 11A, FIG. 11B, and FIG. 12 are schematic diagrams showing the edge prediction mode of the present embodiment.
  • the target block is predicted by extrapolating or interpolating video data previously encoded and decoded along a certain direction.
  • the intra prediction mode in the conventional direction (FIG. 1B) has a fixed intra prediction direction, whereas the edge prediction mode can predict the target block along an arbitrary direction.
  • the direction of prediction is determined by detecting edges in previously encoded and decoded image data.
  • FIG. 11A is a diagram when the detected edge direction 50 crosses the upper boundary of the target block 10.
  • the target block 10 extrapolates the previously encoded and decoded video data, and in particular, causes the reference pixels 20 to continue along the detected edge direction 50. Is predicted. That is, the intra prediction unit 112 uses the pixel value of the reference pixel 20 (or the interpolation value calculated from two or more reference pixels 20) determined from the edge direction as the pixel value of the pixel constituting the prediction block ( A prediction block is formed by setting the prediction value.
  • the intra prediction unit 112 uses linear interpolation between the reference pixels 20 to calculate the predicted value of the pixel in order to maintain the sharpness of the edge. As shown in FIG. 11A, the translation of the reference pixel along the determined angle ⁇ does not coincide with the integer pixel position.
  • the reference position x ⁇ x is found depending on the edge angle ⁇ indicated by the edge direction 50.
  • the reference value of the reference position is calculated by linearly interpolating two surrounding integer reference pixels a and b.
  • the reference value calculated in this way is used as the predicted value p of the predicted pixel.
  • the reference pixels that can be used are the reference pixels 20 that are directly adjacent to the target block 10.
  • the predicted value p is calculated by Equation 3 as a weighted sum of pixel values a and b of two reference pixels.
  • w a ⁇ x ⁇ floor ( ⁇ x )
  • w b ceil ( ⁇ x ) ⁇ x
  • ⁇ x ycot ⁇ .
  • the increase amount ⁇ x in the horizontal direction is calculated from the detected edge angle ⁇ and the predicted pixel position (x, y) in the block.
  • the position (0, 0) is the position of the upper left corner of the reference pixel 20 adjacent to the target block 10. Therefore, in the same figure, the pixel position of the predicted value p is indicated by (3, 2).
  • FIG. 11B is a diagram when the detected edge direction 51 crosses the left boundary of the target block 10.
  • the amount of increase in the vertical direction is ⁇ y
  • the predicted value p for the pixel at the position (x, y) is calculated using Equation 4 using the reference pixel values c and d.
  • the position (0, 0) is the position of the upper left corner of the reference pixel 20 adjacent to the target block 10. Therefore, in the same figure, the pixel position of the predicted value p is indicated by (4, 4).
  • a line passing through the pixel and parallel to the detected edge not only crosses the left boundary of the target block, but also to the upper boundary or to the right of the target block.
  • the target block 10 may be predicted not by extrapolation but by interpolation of previously encoded and decoded video data so that both reference positions are used for prediction.
  • the predicted value is the result of linear interpolation of the interpolated pixel values at the two reference positions.
  • the predicted value p may be calculated as a weighted sum of four reference pixel values a, b, c, and d, for example, as shown in Equation 5.
  • w up N ⁇ y
  • w left N ⁇ x
  • N depends on the block size.
  • true interpolation of two reference positions that is, w up and w left that are Euclidean distances between the two reference positions may be calculated.
  • the intra prediction unit 112 generates (encodes and decodes) previously corresponding to the pixels included in the block close to the target block along the detected edge direction.
  • a prediction block is generated by extrapolating or interpolating the decoded image data (that is, a reference pixel (also referred to as a decoded pixel)). The extrapolation or interpolation at this time is linear extrapolation or interpolation.
  • At least two weighted addition sums of pixel values of a plurality of reference pixels are calculated for each prediction pixel constituting the prediction block (see Equation 3, Equation 4 or Equation 5), and the calculated weighted addition sum is calculated.
  • a prediction block is generated by extrapolating or interpolating.
  • Weight at this time (w a, w b, w c and w d) is determined based on the edge direction. For example, the smaller the distance from the reference pixel corresponding to the weight to the straight line passing through the predicted pixel and the straight line in the edge direction (such as the edge direction 50), the larger the value is determined.
  • FIG. 13 is a flowchart showing a method for calculating a prediction value (that is, generating a prediction block) according to the edge prediction mode in the present embodiment.
  • the intra prediction unit 112 determines the angle of the edge (S501).
  • the following processing is executed for all pixels of the target block to be predicted (S502).
  • the intra prediction unit 112 determines whether there is an upper reference pixel in the direction indicated by the determined angle from the target pixel (S503). If there is a top of the reference pixel (Yes in S503), the intra prediction unit 112, an upper reference value r up is calculated in accordance with Equation 3 (S504).
  • the upper reference value r up is calculated by replacing p with r up in Equation 3.
  • the intra prediction unit 112 determines whether there is a left reference pixel in the direction indicated by the determined angle from the target pixel (S505).
  • the intra prediction unit 112 calculates a left reference value r left according to Equation 4 (S506).
  • the left reference value r left is calculated by replacing p with r left in Equation 4.
  • Equation 6 p (x, y) represents a predicted value at the position (x, y).
  • the image coding apparatus 100 when the edge prediction mode is selected, the image coding apparatus 100 according to the present embodiment can generate a prediction block by calculating a prediction value along the detected edge direction.
  • the intra prediction unit 305 executes processing performed by the intra prediction unit 112.
  • a prediction block is generated along one direction, but a prediction block may be generated along a plurality of directions.
  • FIG. 14 is a schematic diagram showing that a prediction pixel is predicted according to two or more directions in the present embodiment.
  • the pixel value is May be predicted by extrapolating or interpolating in one of two directions, or more preferably in the direction of the two edge directions 65 and 66 combined.
  • the direction obtained by combining the two edge directions 65 and 66 may be determined by calculating a weighted addition sum as shown in Equation 5.
  • each increment [delta] y horizontal increment [delta] x and vertical is calculated from the first and second edge direction 65 and 66 (angle).
  • the number of edges and directions used for prediction is not limited, and the method for synthesizing individual results is not limited.
  • the weight used to calculate the weighted sum is according to the distance from each predicted pixel predicted to each straight extension of the detected edge. It may be calculated. For example, each of the weights has a larger value as the distance from the reference pixel corresponding to the weight (a, b, c, and d in FIG. 14) to the extension line of at least two edges is smaller. It is determined.
  • the weights w left and w up may be set to 1 and 0, respectively, for all pixels through which an edge (or an extension line of the edge) detected in the left block of the target block passes.
  • the weights w left and w up may be set to 1 and 0, respectively, for all pixels through which an edge (or an extension line of the edge) detected in the block above the target block passes. . That is, each of the weights becomes larger as the distance from the reference pixel corresponding to the weight (a, b, c, and d in FIG. 14) to the decoded block in which at least two edges are detected is smaller. To be determined.
  • the weights for the remaining pixels that is, the pixels through which none of the detected edges (or edge extension lines) pass may be set based on the distance from the predicted pixel as described above.
  • FIG. 15 is a flowchart showing processing for decoding image and video data based on intra prediction in the present embodiment.
  • the decoding process shown in FIG. 15 is executed for each macro block of 16 ⁇ 16 pixels (S601).
  • the division size is read from the input bitstream, that is, decoded using a statistical decoder (S602).
  • the decoding process is executed for each block of the target macroblock according to the division size (S603).
  • the prediction mode of the target block and the residual information indicating the encoded prediction error are read from the input bitstream (S604).
  • the read prediction mode is output to the intra prediction unit 305 or the motion compensation unit 306 via the control unit 307 and the switch 308.
  • the residual information is output to the inverse quantization unit 301.
  • the intra prediction unit 305 or the motion compensation unit 306 generates a prediction block corresponding to the target block based on the read prediction mode (S605).
  • processing executed by the intra prediction unit 305 will be described in detail later with reference to FIG.
  • the inverse quantization unit 301 inversely quantizes the residual information and outputs the inversely quantized residual information to the inverse frequency transform unit 302. Then, the inverse frequency transform unit 302 performs inverse frequency transform on the inversely quantized residual information (S606).
  • the decoded difference image obtained by the inverse frequency conversion is output to the adding unit 303.
  • the addition unit 303 reconstructs the target block by adding the prediction block and the decoded difference image (S607).
  • the decoded image generated by the adding unit 303 is stored in the frame memory 304 and used by the intra prediction unit 305 or the motion compensation unit 306 as a reference picture.
  • next block If there is a next block (Yes in S608), the process is repeated from the reading process (S604) of the prediction mode and the prediction residual for the next block. If there is no next block (No in S608) and if there is a next macroblock (Yes in S609), the process is repeated from the division size reading process (S602) for the next macroblock.
  • FIG. 16 is a flowchart showing intra prediction processing in the present embodiment.
  • the intra prediction process shown in the figure is performed by the intra prediction unit 305 when generating a prediction block (S605 in FIG. 15).
  • the prediction mode determination unit 404 determines whether or not the prediction mode is 2, that is, whether or not the prediction mode indicates a DC prediction mode or an edge prediction mode (S701).
  • the edge detection unit 401, the direction determination unit 402, and the norm determination unit 403 execute edge detection processing (FIG. 7) (S702).
  • the prediction mode determination unit 404 selects an edge prediction mode, and the prediction block generation unit 405 generates a prediction block according to the edge prediction mode (S704). Note that the prediction block generation process at this time is as described with reference to FIG.
  • the prediction mode determination unit 404 selects a DC prediction mode, and the prediction block generation unit 405 generates a prediction block according to the conventional DC prediction mode (S705).
  • the prediction mode determination unit 404 selects the direction prediction mode indicated by the prediction mode, and the prediction block generation unit 405 generates a prediction block according to the conventional direction prediction mode ( S706).
  • the image decoding apparatus 300 determines the prediction mode of the target block, and when the mode of the intra prediction mode is 2, that is, the prediction mode indicating the DC prediction mode or the edge prediction mode. If so, edge detection processing is performed. When the edge is detected, the prediction mode is determined to be the edge prediction mode, and when the edge is not detected, the prediction mode is determined to be the DC prediction mode.
  • the edge detection process is not always performed, but the case where the edge detection process is performed is limited, the processing load on the image decoding apparatus 300 can be reduced, and a large amount of time can be prevented in the decoding process. it can.
  • the image coding apparatus 100 and the image decoding apparatus 300 can use a new edge prediction mode when performing intra prediction. Thereby, especially when encoding the encoding object picture containing a sharp linear edge, encoding efficiency can be improved more.
  • the image encoding device 100 encodes information indicating the new edge prediction mode as information indicating the DC prediction mode. That is, the same code is used when transmitting the conventional DC prediction mode and the new edge prediction mode. Thereby, the code amount accompanying the introduction of a new edge prediction mode does not increase.
  • the image encoding apparatus 100 does not encode information necessary for the edge prediction mode such as the edge direction in order to detect the edge direction from the blocks around the target block.
  • the image decoding apparatus 300 includes a processing unit that performs edge detection processing in the same manner as the image encoding apparatus 100, so that it is not necessary to transmit information necessary for the edge prediction mode.
  • the codec device including the image encoding device 100 and the image decoding device 300 according to the present embodiment can avoid any additional transmission overhead when introducing a new intra prediction mode.
  • FIG. 17A, FIG. 17B, and FIG. 18 are diagrams for explaining the effects of the image coding apparatus 100 according to the present embodiment.
  • FIG. 17A is a diagram showing the relationship between PSNR (Peak Signal-to-Noise Ratio) and bit rate when the first 10 frames of the Forman sequence (CIF: Common Intermediate Format (resolution 352 ⁇ 288)) are encoded. It is.
  • FIG. 17B is a diagram illustrating a relationship between PSNR and bit rate when a spin calendar sequence is encoded.
  • FIG. 18 is a diagram showing the ratio of blocks encoded using the edge prediction mode for various sequences and the bit rate reduction rate.
  • the reduction rate of the bit rate exceeds 8%, which indicates that the encoding efficiency is sufficiently improved for a sequence including many sharp edges.
  • the encoding efficiency was further improved when it was performed only in the first 10 frames of the sequence rather than 300 frames (entire sequence) (6.44%). Bitrate reduction). This is because the Foreman sequence contains many sharp linear edges at the beginning of the sequence. In these frames, the edge prediction mode is well selected (on average about 15% of the blocks) and the edges are detected more appropriately. On the other hand, there are few edges at the end of the sequence. In these frames, the edge prediction mode is rarely used (on average about 3-4% of the block). For this reason, the reduction rate of the average bit rate in the whole sequence is 3.37%.
  • edge prediction largely depends on the image content. That is, the edge prediction mode is rarely used in an image having few edges or including blurred edges.
  • the image coding method according to the present embodiment has no advantage but no disadvantage for such a sequence as compared with the conventional coding method. This is because the DC prediction mode is almost always used for the prediction mode set.
  • Such images are described in H.264. H.264 nine conventional prediction modes.
  • the following table shows the results of the high-precision edge prediction technique in terms of the bit rate reduction rate and the PSNR improvement of the simulated sequence.
  • the edge is detected by calculating the gradient using the Sobel operator.
  • the present invention is not limited to this point. Instead, any edge detection tool may be used as long as the directionality of the detected edge is calculated.
  • the Sobel operator is just one example of a possible edge detection technique. For example, a pre-wit operator shown in Expression 7 may be used.
  • the gradient may be calculated for a block that has been subjected to a low pass filter (LPF) process.
  • the gradient can be calculated using an operator obtained by convolving a filter coefficient constituting the low-pass filter and a Sobel operator or a pre-wit operator. Therefore, for example, in the present embodiment, the edge detection unit 201 or 401 includes only a Sobel operator, only a pre-wit operator, a synthesis filter of a Sobel operator and a low-pass filter, or a pre-wit operator and a low-pass filter.
  • the gradient may be calculated by selecting from the four types of synthesis filters. Which filter is selected is determined based on, for example, an external user instruction or a feature of the target picture. For example, when the target picture includes a lot of noise, that is, when the target picture is not a flat image, a filter including a low-pass filter is used.
  • the norm determination unit 203 or 403 performs norm determination using a predetermined threshold, whereas the sequence, picture, slice, or block It may be changed in units. In this case, it is necessary to transmit the determined threshold value to the decoder side by including it in the bit stream. For example, information indicating the threshold is included in the sequence parameter set (SPS), the picture parameter set (PPS), or the slice header (SH) according to the unit for determining the threshold.
  • SPS sequence parameter set
  • PPS picture parameter set
  • SH slice header
  • FIG. 19 is a block diagram showing an example of the configuration of an image encoding device 500 having a different form from the present embodiment.
  • the image encoding device 500 of FIG. 2 includes a variable length encoding unit 505 instead of the variable length encoding unit 105, and a reference picture memory instead of the reference picture memory 109. 509, an intra prediction mode determination unit 510 instead of the intra prediction mode determination unit 110, and a threshold determination unit 519.
  • the image coding apparatus 500 may receive an edge detection flag from the outside.
  • the edge detection flag is a flag for switching validity / invalidity of the edge detection process.
  • the edge detection processing can be switched between valid and invalid in sequence, picture, or slice units.
  • the variable length coding unit 505 includes, in addition to the processing of the variable length coding unit 105, the threshold value determined by the threshold value determination unit 519 and the edge detection flag in the bitstream.
  • the information indicating the threshold and the edge detection flag are included in SPS, PPS, SH, and the like, for example.
  • the reference picture memory 509 stores the decoded image LD generated by the adding unit 108. Then, the decoded image LD stored not only in the intra prediction mode determination unit 510, the motion detection unit 111, the intra prediction unit 112, and the motion compensation unit 113 but also in the threshold determination unit 519 is output as a reference picture.
  • the intra prediction mode determination unit 510 receives an edge detection flag. Then, the intra prediction mode determination unit 510 switches the edge detection process between valid and invalid according to the received edge detection flag. Specifically, when the edge detection flag indicates that the edge detection process is valid, the same process as the above-described intra prediction mode determination unit 110 is performed. When the edge detection flag indicates that the edge detection process is invalid, the intra prediction mode set is always set to a prediction mode set including a conventional DC prediction mode and eight direction prediction modes. That is, the edge detection process is not performed.
  • the intra prediction mode determination unit 510 performs norm determination using the threshold value determined by the threshold value determination unit 519. Since the specific norm determination process is the same as the above-described content, the description thereof is omitted.
  • the threshold value determination unit 519 determines a threshold value by reading a reference picture from the reference picture memory 509 and calculating an image feature amount of the read reference picture.
  • the image feature amount of the reference picture is, for example, the dispersion and strength of the reference picture on which the edge detection process is performed.
  • the larger the variance the larger the threshold used for norm determination is determined.
  • a large variance means that the reference picture contains a lot of noise, and the possibility that an edge is erroneously detected increases. Therefore, by increasing the threshold used for norm determination, the possibility of erroneous edge detection can be reduced.
  • the threshold value determination unit 519 may determine the threshold value based on the result of the edge detection process for the previous picture. For example, the threshold value is determined to be larger as more edges in different directions are detected with respect to the previous picture. The fact that many edges in different directions are detected means that accurate edges may not be detected due to the influence of noise, etc., so it is possible to detect edges incorrectly by increasing the threshold used for norm determination. Can be reduced.
  • the image coding apparatus 500 shown in FIG. 19 can adaptively change the threshold, it is possible to determine a more appropriate threshold and generate a more appropriate prediction block. . Thereby, encoding distortion etc. can be reduced.
  • the edge detection process can be invalidated for a flat image or the like for which the effect of the present invention cannot be sufficiently obtained, the processing load on the image encoding apparatus 100 is reduced, and the speed of the encoding process is reduced. Can be increased.
  • edge detection flag is transmitted also to the decoder side, it is possible to prevent the edge detection process from being performed on the bit stream on which the edge detection process is not performed on the decoder side.
  • the gradient calculation processing is performed, and only the gradient calculation processing result is stored in the frame memory 304. It may be stored. At this time, for example, by storing only the norm (or gradient value) exceeding the threshold, memory resources can be further saved. Alternatively, only the maximum norm of each block and its pixel position may be stored.
  • the pixels included in the pixel group 72 immediately above the target block 10 are stored as reference pixels that are referred to when generating a prediction block, as in the conventional and the above description.
  • the frame memory 304 or the norm determination unit 403 includes the norm (or gradient value) calculated for the pixels of the pixel group 71 for which the edge direction is calculated, instead of the pixel values included in the surrounding block 30. Store in memory etc.
  • the memory resources provided in the image decoding apparatus 300 can be used effectively.
  • the above-described method for calculating the predicted value may be replaced with any other method within the scope of the present invention, formally taking into account the direction of the detected edge. Specifically, more reference pixels than the reference pixels used in the above description, or another reference pixel may be used instead of the reference pixel close to the target block to be predicted.
  • the present invention relates to H.264.
  • the present invention is not limited to the H.264 video coding standard, and is not limited to the above-described conventional intra prediction mode set.
  • the inventive edge prediction mode may be used in any block-based video encoder that uses spatial prediction.
  • the edge prediction mode instead of using the edge prediction mode as a replacement for the DC prediction mode, It can also be used as an additional mode of H.264 / AVC.
  • the edge prediction mode of the present invention may be used together with a transmission mechanism different from the above-described transmission in which the edge prediction mode and the DC prediction mode are combined.
  • the edge prediction mode may be transmitted by a dedicated codeword that is independent of the DC prediction mode, or may be transmitted in one or more combinations of predefined direction prediction modes.
  • the present invention is not limited to video encoding applications, and may be used for block-based still image encoding.
  • the present invention can be realized not only as an image encoding device, an image decoding device, and a method thereof, but also for causing a computer to execute each of the image encoding method and the image decoding method according to the present embodiment.
  • It may be realized as a program.
  • it may be realized as a computer-readable recording medium such as a CD-ROM for recording the program.
  • it may be realized as information, data, or a signal indicating the program.
  • These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • the constituent elements constituting each of the image encoding device and the image decoding device may be configured from one system LSI.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip.
  • the system LSI is a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • the present invention relates to encoding and decoding of image and video data, and more particularly, to a new spatial prediction mode for predicting a target block from image data of previously encoded and decoded blocks.
  • this prediction mode a block including a sharp edge is predicted with higher reliability by taking into account the exact direction of the edge.
  • the new prediction mode does not require additional transmission overhead. This is because (1) the edge direction is estimated from the previously coded block, and (2) the new prediction mode can be replaced with the conventional DC prediction mode for blocks containing sharp edges. .
  • the image encoding method and the image decoding method of the present invention have an effect that the encoding efficiency can be further improved, and can be used for, for example, a digital camera, a digital television, a BD (Blu-ray Disc) recorder, and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　より符号化効率の高いイントラ予測を行う画像符号化方法を提供する。 　画像データをブロック毎に符号化する画像符号化方法であって、対象ブロックを予測することで予測ブロックを生成する予測ステップと、対象ブロックと予測ブロックとの差分を算出する減算ステップと、減算ステップで算出された差分を符号化する符号化ステップと、符号化された差分を復号する復号ステップと、復号された差分と予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、予測ステップは、対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、検出されたエッジの方向に沿って、対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで予測ブロックを生成する予測ブロック生成ステップとを含む。

Description

画像符号化方法及び画像復号方法
　本発明は、より良い符号化効率で画像及び映像データを圧縮符号化する画像符号化方法と、圧縮符号化された画像及び映像データを復元する画像復号方法と、対応する画像符号化装置及び画像復号装置に関する。
　インターネットを介したビデオ会議、デジタルビデオ放送、及び、映像コンテンツのストリーミングを含む、例えば、ビデオ・オン・デマンドタイプのサービスのためのアプリケーションの数は右肩上がりであり、これらのアプリケーションは、映像情報の送信に頼っている。映像データが送信され、又は、記録される時、かなりの量のデータは、限られたバンド幅の従来の伝送路を通って送信され、又は、限られたデータ容量の従来の記憶媒体に記憶される。従来の伝送チャネル及び記憶媒体に映像情報を送信及び記憶するためには、デジタルデータの量を圧縮又は削減することが不可欠である。
　そこで、映像データの圧縮のために、複数の映像符号化規格が開発されている。このような映像符号化規格は、例えば、Ｈ．２６ｘで示されるＩＴＵ－Ｔ規格、及び、ＭＰＥＧ－ｘで示されるＩＳＯ／ＩＥＣ規格である。最新かつ最も進んだ映像符号化規格は、現在、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣで示される規格である（非特許文献１参照）。
　これらの規格のほとんどの基礎をなす符号化アプローチは、以下の（ａ）～（ｄ）で示される主な段階を含む予測符号化に基づいている。
　（ａ）映像フレームのそれぞれをブロックレベルでデータ圧縮するために、映像フレームを画素のブロックに分割する。
　（ｂ）先に符号化された映像データから個々のブロックを予測することで、時間的及び空間的冗長性を特定する。
　（ｃ）映像データから予測データを減ずることで、特定された冗長性を除去する。
　（ｄ）フーリエ変換、量子化、及び、エントロピー符号化によって、残りのデータを圧縮する。
　現在の映像符号化規格では、各マクロブロックを予測するのに用いられる予測モードが異なる。ほとんどの映像符号化規格は、前に符号化及び復号されたフレームから映像データを予測するために動き検出及び動き補償を用いる（インターフレーム予測）。あるいは、ブロックデータは、同じフレームの隣接するブロックから外挿されてもよい（イントラフレーム予測）。Ｈ．２６４／ＡＶＣ規格は、例えば、外挿のために用いられる参照画素に対して、又は、画素が外挿される方向に対して、いくつかの異なるイントラフレーム予測モードを定義する。
　図１Ａ及び図１Ｂは、Ｈ．２６４／ＡＶＣ規格で定められたイントラ予測モードを示す図である。図１Ａに示すように、４×４画素の対象ブロック１０は、予測される対象ブロック１０の上と左とに位置する１３個の参照画素２０を外挿することで予測される。この予測により、対象ブロック１０に対応する予測ブロックが生成される。このとき、外挿を実行するために、図１Ｂに示される８個のとり得る外挿方向（イントラ予測方向）から１つが選択される。あるいは、ＤＣ予測モードが選択されてもよい。ＤＣ予測モードでは、対象ブロック１０を予測するために参照画素の平均値を用いる。
　イントラフレーム予測では、４×４、８×８又は１６×１６画素のサイズのサブブロックの空間予測が、自然画像に存在する空間的冗長性を低減するために実行される。既に符号化された周囲ブロックの画素値（参照画素の画素値）は、対象ブロックの画素値を予測するために用いられる。これらの参照画素は、予め定義された予測モードに従って外挿される。Ｈ．２６４／ＡＶＣ規格では、４×４及び８×８サイズのサブブロックのために９つの予測モードが、１６×１６画素サイズのマクロブロックのために４つの予測モードがある。
　８×８画素より小さいサブブロックに対して、９つの予測モードは、方向性構造を予測するのに適した８つの予測方向（図１Ｂ参照）と、いわゆるＤＣ予測モードとから構成される。ＤＣ予測モードでは、対象ブロックの全ての画素は、周囲参照画素の平均値である単一の値で予測される。方向モードでは、参照画素が、対応する方向に沿って繰り返される。例えば、垂直モードの場合、対象ブロックのすぐ上の行の参照画素が、垂直方向に繰り返される（外挿される）。一方で、水平モードの場合、対象ブロックのすぐ左の列の画素が水平方向に繰り返される（外挿される）。残りのモードは、同様に派生する斜め方向モードである。
ＩＳＯ／ＩＥＣ　１４４９６－１０「ＭＰＥＧ－４　Ｐａｒｔ　１０　Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ」
　しかしながら、上記従来技術では、対象ブロックにシャープな直線のエッジが含まれ、適切な予測ブロックを生成することができない場合には、符号量が多くなる、又は、符号化画像内に歪みが生じるという課題がある。具体的には、以下の通りである。
　従来の予め定義されたイントラ予測方向には、限界がある。すなわち、イントラ予測方向は、図１Ｂに示す８方向に限られている。したがって、上記従来技術では、８方向のいずれか１つの方向に従ったイントラ予測しか実行することができない。
　シャープな直線のエッジがある場合、エッジの角度に最も近い角度を持つイントラ予測モードが、図１Ｂの８方向の中から選択され、選択された方向の予測モードに従って対象ブロックは予測される。しかし、予測モードの角度が、エッジの本当の角度からわずかに異なっている場合、予測ブロックは、実際のエッジの方向とは異なる方向にもエッジを含む。このため、対象ブロックから予測ブロックを減算することで算出される差分画像には、特に、参照画素から最も離れた画素で大きな高周波成分が生じる。
　高周波成分は、通常符号化するのに多くのビットが必要であるので、発生する符号量が多くなる。あるいは、符号量の発生を抑えるために高周波成分をカットすると符号化画像内に歪みが生じる。
　そこで、本発明は、上記課題を解決するためになされたものであって、より高い符号化効率が達成され、符号化歪みが抑制されるように、画像及び映像データを符号化する画像符号化方法、及び、符号化された画像及び映像データを復号する画像復号方法を提供することを目的とする。
　上記課題を解決するため、本発明の画像符号化方法は、画像データをブロック毎に符号化する画像符号化方法であって、前記画像データを複数のブロックに分割する分割ステップと、前記複数のブロックの１つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、前記減算ステップで算出された差分を符号化する符号化ステップと、前記符号化ステップで符号化された差分を復号する復号ステップと、前記予測ブロックと前記復号ステップで復号された差分とを加算する加算ステップとを含み、前記予測ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む。
　これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向を予測方向として予測ブロックを生成することができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、従来の予め定義された方向予測モードを用いて生成した予測ブロックよりも適切な予測ブロックを生成することができる。したがって、対象ブロックと予測ブロックとの差分である予測残差は小さくなるので、符号化歪みを抑制することができ、また、符号化効率を高めることができる。
　また、前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成してもよい。
　また、前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも２つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定されてもよい。
　これにより、予測値の算出の対象となる予測画素を通り、検出されたエッジの方向の直線上に整数画素がない場合であっても、近傍の画素の重み付け加算和を算出することにより、適切な予測値を算出することができる。
　また、前記重みのそれぞれは、前記予測画素の位置に対応して決定されてもよい。具体的には、前記予測画素と予測ブロック生成に用いられる前記復号画素の距離が小さいほど、大きな値になるように決定されてもよい。
　また、前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも２つのエッジを検出し、前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも２つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成してもよい。
　これにより、複数のエッジが対象ブロックの周囲のブロックにおいて検出された場合であっても、複数のエッジのそれぞれの方向に沿って予測値を算出することができるので、適切な予測値を算出することができる。
　また、前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定されてもよい。
　また、前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定されてもよい。
　また、前記予測ステップは、さらに、エッジ予測モードを含む複数の予測モードから１つの予測モードを選択する予測モード選択ステップを含み、前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成してもよい。
　これにより、エッジが検出された場合には検出されたエッジの方向に沿った外挿又は内挿を行うエッジ予測モードを実行することができ、エッジが検出されない場合には、通常の予測モードを実行することができる。
　また、前記複数の予測モードは、さらに、ＤＣ予測モードと予め定義された複数の方向予測モードとを含み、前記予測ブロック生成ステップでは、前記ＤＣ予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの１つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成してもよい。
　また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択してもよい。
　これにより、エッジが検出された場合にはエッジ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができ、エッジが検出されない場合にはＤＣ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができる。なお、エッジが検出された場合には、対象ブロックは平坦である可能性は低く、ＤＣ予測モードで生成した予測ブロックと対象ブロックとの差分は通常大きくなる。このため、符号化効率は悪くなるので、エッジが検出された場合にＤＣ予測モードが選択されることはほとんどないため、ＤＣ予測モードを予測モードの候補から除外することができる。
　また、前記符号化ステップでは、さらに、前記予測モード選択ステップで前記複数の方向予測モードの１つが選択された場合、選択された方向予測モードを示すモード指示を符号化し、前記ＤＣ予測モード又は前記エッジ予測モードが選択された場合、前記ＤＣ予測モード及び前記エッジ予測モードのいずれかのモードであることを示すモード指示を符号化してもよい。
　これにより、従来のＤＣ予測モードを示す情報をエッジ予測モードを示す情報として用いることができるので、符号化時にエッジ予測モードを示す情報を新たに符号化する必要がなく、符号化効率を高めることができる。上述のように、エッジが検出された場合などのようなエッジ予測モードが選択されうる場合に、ＤＣ予測モードが選択される可能性は低い。また、ＤＣ予測モードが選択されうる場合に、エッジ予測モードが選択される可能性も低い。したがって、予測モードの候補としてエッジ予測モードとＤＣ予測モードとの双方が必要となる場合はほとんどないため、ＤＣ予測モードを示す情報をエッジ予測モードを示す情報としても割り当てることができる。
　また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択してもよい。
　また、前記エッジ検出ステップは、前記対象ブロックに近接するブロックに対応する、前に生成（符号化及び復号）された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも１つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、前記ベクトル判定ステップで前記条件を満たす少なくとも１つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも１つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含んでもよい。
　これにより、対象ブロックからではなく周囲のブロックを利用してエッジを検出することができるので、エッジの方向を示す情報などのエッジ予測モードに必要な情報を復号器側に伝送する必要がなくなる。よって、符号化効率をより高めることができる。
　また、前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルから決められる方向を前記エッジの方向として決定してもよい。
　また、前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち少なくとも１つの勾配ベクトルの方向を平均することで得られる方向から決められる方向を前記エッジの方向として決定してもよい。
　また、本発明の画像復号方法は、符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法であって、対象ブロックの前記予測残差を復号する復号ステップと、前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、前記予測ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する予測ブロック生成ステップとを含む。
　これにより、対象ブロックの周囲のブロックにおいて検出されたエッジの方向を予測方向として予測ブロックを生成することができる。このため、特に対象ピクチャがシャープなエッジを含む場合には、従来の予め定義された方向予測モードを用いて生成した予測ブロックよりも適切な予測ブロックを生成することができる。したがって、対象ブロックと予測ブロックとの差分である予測残差は小さくなるので、符号化歪みを抑制することができる。
　また、前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも２つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定されてもよい。
　これにより、予測値の算出の対象となる予測画素を通り、検出されたエッジの方向の直線上に整数画素がない場合であっても、近傍の画素の重み付け加算和を算出することにより、適切な予測値を算出することができる。
　また、前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも２つのエッジを検出し、前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも２つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成してもよい。
　これにより、複数のエッジが対象ブロックの周囲のブロックにおいて検出された場合であっても、複数のエッジのそれぞれの方向に沿って予測値を算出することができるので、適切な予測値を算出することができる。
　また、前記予測ステップは、さらに、エッジ予測モードを含む複数の予測モードから１つの予測モードを選択する予測モード選択ステップを含み、前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成してもよい。
　これにより、エッジが検出された場合には検出されたエッジの方向に沿った外挿又は内挿を行うエッジ予測モードを実行することができ、エッジが検出されない場合には、通常の予測モードを実行することができる。
　また、前記予測モード選択ステップでは、前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択してもよい。
　これにより、エッジが検出された場合にはエッジ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができ、エッジが検出されない場合にはＤＣ予測モードと従来の方向予測モードとを予測モードの候補として最適な予測モードを選択することができる。
　また、前記画像データは、さらに、予測モードを示す予測モード指示を含み、前記予測モード選択ステップでは、前記予測モード指示が前記ＤＣ予測モード又は前記エッジ予測モードを示す場合であって、さらに、前記エッジ検出ステップでエッジが検出された場合には前記エッジ予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合には前記ＤＣ予測モードを選択してもよい。
　これにより、従来のＤＣ予測モードを示す情報をエッジ予測モードを示す情報として符号化されたビットストリームを正しく復号することができるので、符号化時にエッジ予測モードを示す情報を新たに符号化する必要がなく、符号化効率を高めることができる。
　また、前記エッジ検出ステップは、前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも１つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、前記ベクトル判定ステップで前記条件を満たす少なくとも１つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも１つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含んでもよい。
　これにより、対象ブロックからではなく周囲のブロックを利用してエッジを検出することができるので、エッジの方向を示す情報などのエッジ予測モードに必要な情報が符号化器側から伝送されなくても、正しくビットストリームを復号することができる。
　なお、本発明は、画像符号化方法及び画像復号方法として実現できるだけではなく、当該画像符号化方法及び画像復号方法に含まれるそれぞれのステップを処理手段とする画像符号化装置及び画像復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
　また、上記の画像符号化装置及び画像復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
　本発明によれば、対象ブロックをより正確に予測することができるので、符号化歪みを抑制し、かつ、符号化効率を高めることができる。
図１Ａは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測が適用される対象ブロックと参照画素との関係の一例を示す図である。 図１Ｂは、従来のＨ．２６４／ＡＶＣ規格に従ったイントラ予測モードセットに含まれる予測方向を示す図である。 図２は、本実施の形態のハイブリッド符号化を行う画像符号化装置の構成の一例を示すブロック図である。 図３は、本実施の形態の画像符号化装置が備えるイントラ予測モード決定部の詳細な構成の一例を示す図である。 図４は、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。 図５は、本実施の形態の画像復号装置の構成の一例を示すブロック図である。 図６は、本実施の形態の画像復号装置が備えるイントラ予測部の詳細な構成の一例を示すブロック図である。 図７は、本実施の形態におけるエッジ検出処理を示すフローチャートである。 図８は、本実施の形態における予測モードセットを決定する処理を示すフローチャートである。 図９は、本実施の形態におけるイントラ予測に基づいた画像又は映像データの符号化処理を示すフローチャートである。 図１０は、本実施の形態におけるエッジの角度の算出処理を示すフローチャートである。 図１１Ａは、本実施の形態における前に符号化及び復号された画像データの外挿を用いて、エッジ予測モードに従って予測ブロックを生成する処理を示す概略図である。 図１１Ｂは、本実施の形態における前に符号化及び復号された画像データの外挿を用いて、エッジ予測モードに従って予測ブロックを生成する処理を示す異なる概略図である。 図１２は、本実施の形態における前に符号化及び復号された画像データの内挿を用いたエッジ予測を示す概略図である。 図１３は、本実施の形態におけるエッジ予測モードによる予測ブロックを生成する方法を示すフローチャートである。 図１４は、本実施の形態における少なくとも２つのエッジに基づいたエッジ予測モードに従って予測ブロックを生成する処理を示す概略図である。 図１５は、本実施の形態におけるイントラ予測に基づいて画像及び映像データを復号する処理を示すフローチャートである。 図１６は、本実施の形態におけるイントラ予測方法を示すフローチャートである。 図１７Ａは、フォアマンシーケンス（ＣＩＦ）の最初の１０フレームのレート／ディストーションカーブを示す図である。 図１７Ｂは、スピンカレンダーシーケンス（７２０ｐ）のレート／ディストーションカーブを示す図である。 図１８は、エッジ予測モードを用いて符号化されたブロックの割合とビットレート減少率とを示す図である。 図１９は、本実施の形態の画像符号化装置の異なる構成の一例を示すブロック図である。 図２０は、本実施の形態におけるメモリに格納される画素の一例を示す概略図である。
符号の説明
１０　対象ブロック
２０　参照画素
３０　周囲ブロック
４０、４１、６１、６２　エッジ
５０、５１、５２、６５、６６　エッジの方向
６３、６４　対象画素
７１、７２　画素群
１００、５００　画像符号化装置
１０１、３０４　フレームメモリ
１０２　減算部
１０３　周波数変換部
１０４　量子化部
１０５、５０５　可変長符号化部
１０６、３０１　逆量子化部
１０７、３０２　逆周波数変換部
１０８、３０３　加算部
１０９、５０９　参照ピクチャメモリ
１１０、５１０　イントラ予測モード決定部
１１１　動き検出部
１１２、３０５　イントラ予測部
１１３、３０６　動き補償部
１１４、１１５、３０８、３０９　スイッチ
１１６、３０７　制御部
１１７　確率テーブル保持部
１１８　符号化モード決定部
１２０　差分符号化部
１３０　差分復号部
２０１、４０１　エッジ検出部
２０２、４０２　方向判定部
２０３、４０３　ノルム判定部
２０４　予測モードセット決定部
２０５　予測モード選択部
３００　画像復号装置
４０４　予測モード判定部
４０５　予測ブロック生成部
５１９　閾値決定部
　本実施の形態の画像符号化装置及び画像復号装置は、画像及び映像データを符号化及び復号する際に、対象ブロックの周囲に位置する周囲ブロックに含まれるエッジを検出し、検出したエッジの方向をイントラ予測方向として用いるエッジ予測モードを利用することができる。つまり、本実施の形態では、シャープなエッジを含むピクチャをイントラ予測により符号化する際に、エッジの方向を考慮に入れたイントラ予測符号化を行うことができる。
　図２は、本実施の形態のハイブリッド符号化を行う画像符号化装置１００の構成の一例を示すブロック図である。同図に示す画像符号化装置１００は、フレームメモリ１０１と、減算部１０２と、周波数変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆周波数変換部１０７と、加算部１０８と、参照ピクチャメモリ１０９と、イントラ予測モード決定部１１０と、動き検出部１１１と、イントラ予測部１１２と、動き補償部１１３と、スイッチ１１４及び１１５と、制御部１１６と、確率テーブル保持部１１７と、符号化モード決定部１１８とを備える。なお、図２に示すように、周波数変換部１０３と量子化部１０４とは、差分符号化部１２０に含まれる。また、逆量子化部１０６と逆周波数変換部１０７とは、差分復号部１３０に含まれる。
　以下では、画像符号化装置１００が複数のフレームから構成される入力映像データを符号化するときの動作に沿って、各処理部の処理について説明する。
　入力映像データの各ピクチャは、フレームメモリ１０１に格納される。各ピクチャは、複数のブロックに分割され、フレームメモリ１０１からブロック単位で（例えば、水平１６画素、垂直１６画素のマクロブロック単位で）出力される。なお、入力映像データは、プログレッシブ形式及びインターレース形式のいずれでもよい。
　各マクロブロックは、イントラ又はインター予測モードのいずれかで符号化される。まず、対象マクロブロックがイントラ予測モードで符号化される場合について説明する。
　イントラ予測モード（イントラフレーム予測）の場合、フレームメモリ１０１から出力されたマクロブロックは、イントラ予測モード決定部１１０に入力される（このとき、スイッチ１１４は、制御部１１６によって端子“ａ”に接続される）。イントラ予測モード決定部１１０は、入力されたマクロブロックにどのようにイントラ予測を実行するかを決定する。具体的には、イントラ予測モード決定部１１０は、イントラ予測モード（ＩＰＭ：Ｉｎｔｒａ－Ｐｒｅｄｉｃｔｉｏｎ　Ｍｏｄｅ）として、イントラ予測ブロックサイズ（以下のサイズの１つ：水平４画素×垂直４画素、水平８画素×垂直８画素、水平１６画素×垂直１６画素）と、イントラ予測方向とを決定する必要がある。イントラ予測モード決定部１１０の詳細な構成については、図３を用いて後で説明する。
　例えば、図１Ａに示す対象ブロック１０（水平４画素×垂直４画素）は、参照画素２０を用いて、８つの予め定義されたイントラ予測方向に従って、予測されてもよい。ここで、イントラ予測に用いられる参照画素２０（図１Ａで対角方向の網掛けされた四角）は、既に符号化及び復号され、参照ピクチャメモリ１０９に格納されているとする。決定されたイントラ予測モードＩＰＭを示す情報は、イントラ予測部１１２と符号化モード決定部１１８とに出力される。
　イントラ予測部１１２は、イントラ予測モード決定部１１０によって決定されたイントラ予測モードＩＰＭに基づいて、参照ピクチャメモリ１０９からイントラ予測に用いられる参照画素（イントラ参照画素）を取得する。そして、イントラ予測部１１２は、参照画素の画素値を外挿又は内挿することでイントラ予測された画像ＩＰを生成し、生成したイントラ予測画像ＩＰを減算部１０２に出力する（このとき、スイッチ１１５は、制御部１１６によって端子“ａ”に接続される）。
　減算部１０２は、フレームメモリ１０１から入力映像データに含まれるピクチャのマクロブロック（対象マクロブロック）と、イントラ予測部１１２によって生成されたイントラ予測画像ＩＰとを受け取る。そして、減算部１０２は、対象マクロブロックとイントラ予測画像ＩＰとの差分（予測残差とも記載）を算出することで差分画像を生成し、生成した差分画像を周波数変換部１０３に出力する。
　周波数変換部１０３は、減算部１０２によって生成された差分画像に、離散コサイン変換などの周波数変換を実行することで周波数変換係数を生成し、生成した周波数変換係数を出力する。
　量子化部１０４は、周波数変換部１０３によって生成された周波数変換係数の量子化を行い、量子化された周波数変換係数ＱＴを出力する。ここで、量子化は、予め定められた値（量子化ステップ）によって周波数変換係数を割り算する処理である。この量子化ステップは、制御部１１６によって与えられるとする（量子化ステップは、制御部１１６に入力される制御信号ＣＴＬに含まれてもよい）。量子化周波数変換係数ＱＴは、可変長符号化部１０５と逆量子化部１０６とに出力される。
　逆量子化部１０６は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部１０７に出力する。このとき、量子化部１０４による量子化時に用いられた量子化ステップと同じ量子化ステップが、制御部１１６から逆量子化部１０６に入力される。
　逆周波数変換部１０７は、逆量子化された周波数変換係数を逆周波数変換することで復号された差分画像ＬＤＤを生成する。逆周波数変換部１０７は、生成した復号差分画像ＬＤＤを加算部１０８に出力する。
　加算部１０８は、復号差分画像ＬＤＤを予測画像ＩＰ又はＭＰに加算することで、復号画像ＬＤを生成する。加算部１０８は、生成した復号画像ＬＤを参照ピクチャメモリ１０９に格納する。参照ピクチャメモリ１０９に格納された復号画像ＬＤは、参照画像として後の符号化に用いられる。
　可変長符号化部１０５は、量子化部１０４から入力される量子化周波数変換係数ＱＴに可変長符号化を実行し、イントラ予測モード決定部１１０から符号化モード決定部１１８を介して入力されるイントラ予測モードＩＰＭを示す情報を同様に処理し、符号化シーケンスとしても参照されるビットストリームを出力する。
　ここで、可変長符号化部１０５が用いる可変長符号化方法の１つの方法として、動画像を符号化する国際規格Ｈ．２６４で採用されるコンテキスト適応型算術符号化方法がある。コンテキスト適応型算術符号化方法は、可変長符号化の対象データと、既に可変長符号化（コンテキスト適応型）が実行されたデータとに従って、算術符号化するために用いられる確率テーブルを切り替える方法である。例えば、量子化周波数変換係数ＱＴの可変長符号化を実行するためのコンテキストとして、イントラ予測のためのブロックサイズと、周波数変換のためのブロックサイズとなどが用いられる。ここでは、確率テーブルは、確率テーブル保持部１１７に保持される。
　次に、対象マクロブロックがインター予測モードで符号化される場合について説明する。
　インター予測モード（インターフレーム予測）の場合、フレームメモリ１０１から出力されるマクロブロックは、動き検出部１１１に入力される（このとき、スイッチ１１４は、制御部１１６によって端子“ｂ”に接続される）。動き検出部１１１は、入力されたマクロブロックに対して、参照ピクチャ（参照ピクチャメモリ１０９に保持された再構成されたピクチャで、符号化されるピクチャとは異なるピクチャ）に対する動き（動きベクトル）を検出する。動き検出では、以下に示す動きベクトルが一般的には選択される。すなわち、符号化されるブロックと予測画像との最小差分値と、動きベクトルの符号量の重みの最小和とを有する動きベクトルである。検出された動きベクトルは、動き補償部１１３と符号化モード決定部１１８とに出力される。
　動き補償部１１３は、動き検出部１１１によって決定された動きベクトルに基づいて、インター予測に用いられる参照画素（インター参照画素）を参照ピクチャメモリ１０９から取得する。そして、動き補償部１１３は、予測画像ＭＰを生成し、生成した予測画像ＭＰを減算部１０２に出力する（このとき、スイッチ１１５は、制御部１１６によって端子“ｂ”に接続される）。
　減算部１０２と、周波数変換部１０３と、量子化部１０４と、逆量子化部１０６と、逆周波数変換部１０７と、加算部１０８とによって実行される処理は、イントラ予測の場合に説明した処理と同じである。それゆえに、これらの処理についての説明はここでは省略する。
　符号化モード決定部１１８は、イントラ予測モード決定部１１０と、動き検出部１１１と、量子化部１０４と、フレームメモリ１０１と、加算部１０８となどからの出力を用いて符号化されるマクロブロックの符号化モードを決定する。ここでは、イントラピクチャ予測符号化とインターピクチャ予測符号化とのいずれか１つが、符号化対象のマクロブロックの符号化に用いられる。符号化モード決定部１１８は、一般的に、生成されるビット量と符号化歪みとの重み和が最も小さくなる値を有する符号化モードが選択することで、符号化モードを決定する。イントラピクチャ予測符号化が符号化モードとして選択された場合、符号化モード決定部１１８は、符号化モードＭＤと、イントラ予測モードＩＰＭを示す情報（イントラ予測ブロックサイズ、イントラ予測方向など）とを可変長符号化部１０５に出力する。一方で、インターピクチャ予測符号化が符号化モードとして選択された場合、符号化モード決定部１１８は、符号化モードＭＤと動きベクトルＭＶとを可変長符号化部１０５に出力する。
　例えば、Ｈ．２６４規格のビットレートと符号化歪みとを用いたコスト関数が、対象ブロックを符号化するための最良の予測モードを決定するために用いられてもよい。それぞれの予測モードに対して、差分画像が、直交変換され、量子化され、可変長符号化される。そして、それぞれの予測モードに対して、ビットレートと、符号化歪みとが計算される。なお、コスト関数として、例えば、式１で示されるラグランジュコスト関数Ｊが用いられる。
Figure JPOXMLDOC01-appb-M000001
　式１において、Ｒは、差分画像（予測残差とも記載）と予測モード情報とを符号化するのに用いられるビットレートであり、Ｄは、符号化歪みであり、λは、符号化するのに選択される量子化パラメータＱＰに応じて算出されるラグランジュ乗数である。符号化モード決定部１１８は、最も低いコスト関数Ｊが最も低くなる予測モードを、対象ブロックを予測する際の予測モードとして選択する。
　なお、符号化モード決定部１１８は、最適な予測モードを選択するためにコスト関数Ｊを一時的に格納するメモリを備える。
　可変長符号化部１０５は、量子化部１０４から入力される量子化周波数変換係数ＱＴと、符号化モード決定部１１８から出力される符号化モードＭＤとイントラ予測モードＩＰＭ又は動きベクトルＭＶとに可変長符号化を実行し、ビットストリームを出力する。
　ここで、可変長符号化部１０５が、コンテキスト適応型算術符号化を用いて動きベクトルＭＶを符号化する場合、符号化された周辺ブロックの動きベクトルのサイズ（コンテキスト）に依存する確率テーブルを変更する方法が用いられることができる。ここでは、確率テーブルは、確率テーブル保持部１１７に保持される。
　予測モードは、映像データを符号化する処理において符号化器（画像符号化装置１００）側で実行された予測を復号器（例えば、後述する画像復号装置３００（図５参照））側で再現するために、復号器によって必要とされる情報のフルセットを含む。それゆえに、予測モードは、マクロブロック毎に符号化モード、すなわち、イントラ及びインター予測のいずれが適用されたかを定義する。さらに、予測モードは、マクロブロックがどのようにサブ分割されたかについての情報を含む。Ｈ．２６４／ＡＶＣによると、１６×１６画素からなるマクロブロックは、例えば、イントラ予測の場合に、さらに、８×８又は４×４画素のブロックにサブ分割されてもよい。
　符号化モードに依存して、予測モードは、さらに、動き補償に用いられる動きベクトルのセット、又は、対象ブロックをイントラ予測するのに適用されたイントラ予測モードを特定する情報を含んでいる。
　続いて、本実施の形態のイントラ予測モード決定部１１０の詳細な構成について図３を用いて説明する。
　図３は、イントラ予測モード決定部１１０の詳細な構成の一例を示すブロック図である。同図に示すように、イントラ予測モード決定部１１０は、エッジ検出部２０１と、方向判定部２０２と、ノルム判定部２０３と、予測モードセット決定部２０４と、予測モード選択部２０５とを備える。
　エッジ検出部２０１は、参照ピクチャメモリ１０９から参照画像を読み出し、読み出した参照画像に含まれるエッジを検出する。例えば、エッジ検出部２０１は、参照画像の勾配ベクトル場を算出し、エッジの最大値を与える勾配のノルムを評価することによって検出する。エッジの方向は、対応する勾配の方向に直交するベクトルの方向である。
　なお、エッジ検出処理に用いられる参照画像は、対象ブロックに直接隣接するブロックに属する画素のうち、既に符号化及び復号されているブロックに含まれる画素である。勾配値は、式２に示す垂直及び水平ソーベル演算子を用いて近接画素で算出される。
Figure JPOXMLDOC01-appb-M000002
　エッジ検出部２０１は、画素毎に、垂直ソーベル演算子及び水平ソーベル演算子を用いることで、対応する画素の垂直方向及び水平方向の勾配の大きさ（勾配値）をそれぞれ算出する。算出した垂直方向及び水平方向の勾配値のベクトル合成などを行うことで、画素毎に勾配の方向が決定される。
　図４は、エッジを検出し、検出したエッジの方向を推定する方法を示す概略図である。左斜め下方向に網掛けされた領域は、勾配を計算するために考慮される周囲ブロック３０の画素を示す。エッジ検出部２０１は、図４の左斜め下方向に網掛けされた画素のそれぞれに対して、式２を用いて勾配値を算出する。そして、算出した勾配値に基づいて勾配の方向を算出し、勾配の方向に直交する方向をエッジの方向として決定する。このとき勾配の方向に直交する方向のベクトルをエッジベクトルとも記載する。なお、エッジベクトルのノルムは、例えば、当該エッジベクトルが検出された画素の勾配ベクトルのノルムと同じである。
　図３に戻ると、方向判定部２０２は、エッジ検出部２０１によって検出されたエッジの方向が、イントラ予測の対象ブロックを指しているか否かを判定する。例えば、図４に示すエッジ４０が検出された場合、エッジ４０の延長線が対象ブロック１０に含まれるので、方向判定部２０２は、エッジ４０はイントラ予測の対象ブロック１０を指していると判定する。一方で、図４に示すエッジ４１が検出された場合、エッジ４１の延長線は対象ブロック１０に含まれないので、方向判定部２０２は、エッジ４１はイントラ予測の対象ブロック１０を指していないと判定する。
　ノルム判定部２０３は、方向判定部２０２によってイントラ予測の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。エッジのノルムとは、エッジベクトル又は勾配ベクトルのノルムである。ノルム判定部２０３は、算出したノルムが閾値より大きい場合に、エッジは検出されたと判定する。算出したノルムが閾値以下の場合に、エッジは検出されなかったと判定する。なお、このときに用いられる閾値は、例えば、異なる最大ベクトルノルムと、シャープなエッジ及び滑らかな領域の両方を含む異なるシーケンスとの違いの比較に基づいて、経験的に選択される。
　予測モードセット決定部２０４は、対象ブロックを符号化する際に用いられる予測モードのセットをエッジが検出されたか否かに応じて決定する。具体的には、従来と同様にＤＣ予測モードと８つの方向モードとからなる予測モードセット（従来の予測モードセット）か、エッジ予測モードと８つの方向モードとからなる予測モードセット（新たな予測モードセット）かを決定する。
　エッジベクトルのノルムが閾値以下であるとき、エッジは検出されないので、予測モードセット決定部２０４は、利用可能な予測モードセットとして、Ｈ．２６４映像符号化規格で用いられる９つの従来の予測モードセットに決定する。
　エッジベクトル（又は、勾配ベクトル）のノルムが閾値より大きいとき、エッジは検出されるので、予測モードセット決定部２０４は、利用可能な予測モードセットとして、新たな予測モードセットに決定する。なお、エッジが検出された場合、対象ブロックは、方向性の強い構造を含む傾向にあるので、ＤＣ予測モードが対象ブロックを予測するのに良い候補ではないと考えられる。それゆえに、ＤＣ予測モードが、エッジ予測モードに置き換えられる。しかしながら、Ｈ．２６４映像符号化規格の残りの８つの方向性予測モードは、保持される。それらは、特に、前のブロック（エッジが検出されたブロック）と対象ブロックとの間でエッジの方向が変更した時に有用である。
　予測モード選択部２０５は、予測モードセット決定部２０４によって決定された予測モードセットの中から１つの予測モードを選択する。
　以上のように本実施の形態の画像符号化装置１００は、対象ブロックを符号化する際に選択される予測モードとして、新たなエッジ予測モードを備える。さらに、エッジ予測モードに従って対象ブロックをイントラ符号化するために、対象ブロックの周囲のブロックからエッジを検出し、検出したエッジの方向をイントラ予測方向としてイントラ予測符号化を行う。本実施の形態の画像符号化装置１００の具体的な動作については、フローチャートを用いて後で説明する。
　次に、本実施の形態の画像復号装置３００の構成について説明する。
　図５は、本実施の形態の画像復号装置３００の構成の一例を示すブロック図である。同図に示す画像復号装置３００は、逆量子化部３０１と、逆周波数変換部３０２と、加算部３０３と、フレームメモリ３０４と、イントラ予測部３０５と、動き補償部３０６と、制御部３０７と、スイッチ３０８及び３０９とを備える。
　以下では、画像復号装置３００が、ビットストリーム（符号化された映像データ）を復号するときの動作に沿って、各処理部の処理について説明する。本実施の形態の画像復号装置３００は、予測残差を含む符号化映像データをブロック毎にイントラ又はインターフレーム予測符号化ブロックのいずれかとして復号する。符号化モードＭＤは、制御部３０７に入力され、イントラ予測モードＩＰＭ又は動きベクトルＭＶを示す情報は、スイッチ３０８に入力され、量子化周波数変換係数ＱＴは、逆量子化部３０１に入力される。
　制御部３０７は、符号化モードＭＤに基づいてスイッチ３０８及び３０９を制御する。符号化モードＭＤがイントラ予測符号化を示す場合、スイッチ３０８は、端子“ａ”に接続され、イントラ予測モードＩＰＭを示す情報がイントラ予測部３０５に入力される。符号化モードＭＤがインター予測符号化を示す場合、スイッチ３０８は、端子“ｂ”に接続され、動きベクトルＭＶが動き補償部３０６に入力される。
　対象ブロックがイントラ予測符号化ブロックの場合、スイッチ３０８及び３０９は、端子“ａ”に接続される。そして、イントラ予測モードを示す情報は、イントラ予測部３０５に入力され、量子化周波数変換係数ＱＴは、逆量子化部３０１に入力される。なお、量子化周波数変換係数ＱＴが、符号化器（例えば、画像符号化装置１００）によって符号化された予測誤差に相当する。
　イントラ予測部３０５は、入力されたイントラ予測モードに基づいて、イントラ予測参照画素をフレームメモリ３０４から取得し、イントラ予測された画像（予測ブロック）を生成し、加算部３０３にイントラ予測画像を出力する。
　逆量子化部３０１は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化した周波数変換係数を逆周波数変換部３０２に出力する。そして、逆周波数変換部３０２は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分画像ＬＤＤを生成する。逆周波数変換部３０２は、生成した復号差分画像ＬＤＤを加算部３０３に出力する。
　加算部３０３は、復号差分画像ＬＤＤとイントラ予測画像ＩＰとを加算することで、復号画像ＬＤを生成する。生成した復号画像ＬＤは、フレームメモリ３０４に格納される。なお、フレームメモリ３０４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。
　対象ブロックがインター予測ブロックの場合、スイッチ３０８及び３０９は、端子“ｂ”に接続される。そして、動きベクトルＭＶを示す情報が動き補償部３０６に入力され、量子化周波数変換係数ＱＴが逆量子化部３０１に入力される。
　動き補償部３０６は、入力された動きベクトルＭＶに基づいて、参照画素をフレームメモリ３０４から取得し、予測されたピクチャを生成し、加算部３０３に予測ピクチャを出力する。
　逆量子化部３０１、逆周波数変換部３０２及び加算部３０３の処理は、イントラ予測ブロックの場合に説明した処理と同じである。復号画像ＬＤは、フレームメモリ３０４に格納される。フレームメモリ３０４に格納された復号画像は、後の復号で参照ピクチャとして用いられる。また、復号画像は、復号映像データを成すように出力される。
　続いて、本実施の形態のイントラ予測部３０５の詳細な構成について図６を用いて説明する。
　図６は、本実施の形態のイントラ予測部３０５の詳細な構成の一例を示す図である。同図に示すように、イントラ予測部３０５は、エッジ検出部４０１と、方向判定部４０２と、ノルム判定部４０３と、予測モード判定部４０４と、予測ブロック生成部４０５とを備える。
　エッジ検出部４０１は、予測モード判定部４０４によってイントラ予測モードがエッジ予測モード又はＤＣ予測モードであると判定された場合、フレームメモリ３０４から参照画像を読み出し、読み出した参照画像に含まれるエッジを検出する。具体的なエッジ検出処理は、エッジ検出部２０１と同様であり、後で詳しく説明する。
　方向判定部４０２は、エッジ検出部４０１によって検出されたエッジの方向が、イントラ予測の対象ブロックを指しているか否かを判定する。具体的なエッジの方向判定処理は、方向判定部２０２と同様であり、後で詳しく説明する。
　ノルム判定部４０３は、方向判定部４０２によってイントラ予測の対象ブロックを指していると判定されたエッジのノルムを算出し、算出したノルムが予め定められた閾値より大きいか否かを判定する。なお、このときに用いられる閾値は、符号化時のノルム判定処理で用いられた閾値と同じ閾値であることが望ましい。したがって、閾値が装置に固有の値でない場合は、符号化装置から送信される。具体的なノルム判定処理は、ノルム判定部２０３と同様であり、後で詳しく説明する。
　予測モード判定部４０４は、ビットストリームに含まれるイントラ予測モードＩＰＭを示す情報を取得し、イントラ予測モードがエッジ予測モード又はＤＣ予測モードであるかを判定する。エッジ予測モード又はＤＣ予測モードのいずれかである場合は、予測モード判定部４０４は、エッジ検出部４０１にエッジ検出処理を行わせる。そして、ノルム判定部４０３の判定結果に基づいて、イントラ予測モードがＤＣ予測モードであるかエッジ予測モードであるかを予測ブロック生成部４０５に通知する。
　なお、エッジ予測モード及びＤＣ予測モードのいずれでもない場合、すなわち、従来の方向予測モード（図１Ｂ）である場合、予測モード判定部４０４は、イントラ予測モードが方向予測モードであることを予測ブロック生成部４０５に通知する。
　予測ブロック生成部４０５は、予測モード判定部４０４から通知されるイントラ予測モードに従って予測ブロックを生成する。具体的には、フレームメモリ３０４から参照画素を読み出し、読み出した参照画素を外挿又は内挿することで予測ブロックを生成する。生成した予測ブロックは、スイッチ３０９を介して加算部３０３に出力される。
　以上のように、本実施の形態の画像復号装置３００は、対象ブロックを復号する際に選択される予測モードとして、新たなエッジ予測モードを備える。さらに、エッジ予測モードに従って対象ブロックを復号するために、対象ブロックの周囲のブロックからエッジを検出し、検出したエッジの方向をイントラ予測方向としてイントラ予測復号を行う。本実施の形態の画像復号装置３００の具体的な動作については、フローチャートを用いて後で説明する。
　続いて、本実施の形態の画像符号化装置１００の動作について説明する。まず、以下ではエッジ検出処理について図７を用いて説明する。図７は、本実施の形態のエッジ検出処理を示すフローチャートである。
　エッジ検出処理は、勾配を算出するために考慮される全ての画素（例えば、図４の左斜め下方向に網掛けされた画素）に対して実行される（Ｓ１０１）。
　エッジ検出部２０１は、対象画素位置の勾配ベクトルを式２のソーベル演算子を適用することで算出する（Ｓ１０２）。そして、エッジ検出部２０１は、算出した勾配ベクトルに直交するエッジベクトルを算出し、算出したエッジベクトルの方向を検出する（Ｓ１０３）。
　次に、方向判定部２０２は、勾配が対象ブロックを横切るエッジを示すか否か、すなわち、勾配ベクトルに直交するエッジベクトルが予測の対象ブロックを指しているか否かを判定する（Ｓ１０４）。エッジベクトルが予測の対象ブロックを指していない場合であって（Ｓ１０４でＮｏ）、かつ、次の画素がある場合（Ｓ１０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出（Ｓ１０２）から繰り返される。
　エッジベクトルが予測の対象ブロックを指している場合には（Ｓ１０４でＹｅｓ）、ノルム判定部２０３は、勾配ベクトルのノルムを算出する（Ｓ１０６）。そして、ノルム判定部２０３は、算出したノルムが予め定められた閾値より大きいか否かを判定する（Ｓ１０７）。算出したノルムが閾値以下である場合（Ｓ１０７でＮｏ）、かつ、次の画素がある場合（Ｓ１０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出（Ｓ１０２）から繰り返される。
　算出したノルムが閾値より大きい場合には（Ｓ１０７でＹｅｓ）、ノルム判定部２０３は、算出したノルムが、前に決定された全ての勾配ベクトルのうち最大ノルムを有する勾配ベクトルのノルムより大きいか否かを判定する（Ｓ１０８）。算出したノルムが最大ノルムより大きい場合は（Ｓ１０８でＹｅｓ）、当該勾配ベクトルを、新たな最大ベクトルとして設定する（Ｓ１０９）。
　そして、算出したノルムと最大ノルムとの比較結果に関わらず、ノルム判定部２０３は、画素のベクトルと位置とをメモリに格納する（Ｓ１１０）。このとき、メモリに格納する画素のベクトルは、エッジベクトルであることが望ましい。また、メモリは、例えばノルム判定部２０３が内部に備えるメモリである。
　そして、次の画素がある場合（Ｓ１０５でＹｅｓ）、処理は次の画素に進む。すなわち、次の画素に対して、勾配ベクトルの算出（Ｓ１０２）から繰り返される。
　以上のようにして、対象ブロック（対象ブロック１０）の周囲に位置する周囲ブロック（周囲ブロック３０）に含まれる画素であって、エッジ検出処理の対象となる全ての画素（図４の左斜め下方向に網掛けされた画素）に対して、エッジ検出処理が実行され、エッジが検出された画素の位置と、そのエッジベクトルとがメモリに格納される。
　また、本実施の形態によると、画像データのブロックを符号化するのに用いられるイントラ予測モードセットは、近接する前に符号化及び復号されたブロックに実行されるエッジ検出処理の結果に依存する。すなわち、対象ブロックからエッジを検出するのではなく、周囲ブロックからエッジを検出し、その検出結果に基づいて対象ブロックを符号化する際のイントラ予測モードセットを決定する。
　なお、上述のエッジ検出処理を画像復号装置３００が実行する場合も同様である。具体的には、エッジ検出部２０１、方向判定部２０２及びノルム判定部２０３のそれぞれが行う処理を、エッジ検出部４０１、方向判定部４０２及びノルム判定部４０３がそれぞれ実行する。
　続いて、イントラ予測モードセットを決定する処理について図８を用いて説明する。図８は、適切なイントラ予測モードセットを決定する処理を示すフローチャートである。
　まず始めに、図７のエッジ検出処理が、エッジ検出部２０１、方向判定部２０２及びノルム判定部２０３によって実行される（Ｓ２０１）。次に、予測モードセット決定部２０４は、少なくとも１つのエッジベクトルが格納されているか、すなわち、対象ブロックを指すエッジに対応する方向で閾値より大きなノルムを有するベクトルがあるかを判定する。
　少なくとも１つのエッジベクトルが格納されている場合、すなわち、エッジが検出された場合（Ｓ２０２でＹｅｓ）、イントラ予測モードセット決定部２０４は、利用可能なイントラ予測モードセットとして、新たな予測モードセットを選択する（Ｓ２０３）。新たな予測モードセットは、上述のように、８つの従来の予測方向（Ｈ．２６４符号化規格の方向性予測モード）と新たなエッジ予測モードとで構成される。
　エッジベクトルが１つも格納されていない場合、すなわち、エッジが検出されなかった場合（Ｓ２０２でＮｏ）、イントラ予測モードセット決定部２０４は、利用可能なイントラ予測モードのセットとして、従来の予測モードセットを選択する（Ｓ２０４）。従来の予測モードセットは、上述のように、Ｈ．２６４符号化器各の９つの従来の予測モード、すなわち、８つの従来の予測方向と従来のＤＣ予測モードとで構成される。
　以上のようにして、本実施の形態の画像符号化装置１００は、エッジが検出されたか否かに応じて、イントラ予測モードセットを決定する。すなわち、エッジが検出された場合は、エッジ予測モードを含むイントラ予測モードセットを選択し、エッジが検出されない場合は、ＤＣ予測モードを含むイントラ予測モードセットを選択する。
　なお、続く処理では、予測モード選択部２０５は、イントラ予測部１１２を用いてイントラ予測を実行するために、利用可能なイントラ予測モードのセットから１つのイントラ予測モードを選択する。
　続いて、本実施の形態の画像符号化装置１００のイントラ予測に基づいた符号化処理について図９を用いて説明する。図９は、本実施の形態において、イントラ予測に基づいて画像又は映像データを符号化する処理を示すフローチャートである。
　図９に示す符号化処理は、１６×１６画素のマクロブロック毎に実行される（Ｓ３０１）。さらに、マクロブロックを可能なサイズに分割した分割サイズ（４×４画素、８×８画素、１６×１６画素）毎に実行される（Ｓ３０２）。さらに、分割サイズを分割したブロック（４×４画素）毎に実行される（Ｓ３０３）。
　イントラ予測モード決定部１１０は、図８を用いて説明した処理を実行し、予測モードセット決定部２０４は、適したイントラ予測モードセットを選択する（Ｓ３０４）。そして、イントラ予測モードセットに含まれる各予測モードに対して以下の処理（Ｓ３０５～Ｓ３１４）を実行することで、最適な予測モードが選択される。
　具体的には、まず、予測モード選択部２０５は、イントラ予測モードセットに含まれる９つの予測モードのうち１つの予測モードを、対象ブロックＢに対する対象予測モードとして選択する（Ｓ３０５）。選択した対象予測モードは、イントラ予測部１１２に出力される。
　イントラ予測部１１２は、対象予測モードに従って、対象ブロックＢに対応する予測ブロックＢpredを生成する（Ｓ３０６）。生成した予測ブロックＢpredは、減算部１０２に出力される。
　減算部１０２は、対象ブロックＢと予測ブロックＢpredとの差分、すなわち、予測残差（予測誤差）Ｂres＝Ｂ－Ｂpredを算出する（Ｓ３０７）。算出した予測残差Ｂresは、周波数変換部１０３に出力される。
　周波数変換部１０３は、算出した予測残差Ｂresを周波数変換し、周波数変換された予測残差（周波数変換係数）を量子化部１０４に出力する。量子化部１０４は、周波数変換された予測残差を量子化する（Ｓ３０８）。量子化により得られた量子化周波数変換係数ＱＴは、逆量子化部１０６と可変長符号化部１０５とに出力される。
　逆量子化部１０６は、量子化周波数変換係数ＱＴを逆量子化し、逆量子化された周波数変換係数を逆周波数変換部１０７に出力する。そして、逆周波数変換部１０７は、逆量子化された周波数変換係数を逆周波数変換することで、復号された差分ブロックＢresqを生成する（Ｓ３０９）。生成された差分ブロックＢresqは、加算部１０８に出力される。加算部１０８は、差分ブロックＢresqと予測ブロックＢpredとを加算することで、復号ブロックＢpred＋Ｂresqを生成する。
　符号化モード決定部１１８は、原ブロックである対象ブロックＢと再構成ブロックＢpred＋Ｂresqとの差分である符号化歪みＤ＝Ｂ－（Ｂpred＋Ｂresq）と、予測残差Ｂresと予測モードとを符号化するのに必要とされるビットレートの和であるビットレートＲ＝Ｒres＋Ｒmodeとを算出する（Ｓ３１０）。さらに、符号化モード決定部１１８は、算出した符号化歪みＤとビットレートＲとを用いて、コスト関数Ｊ＝Ｄ＋λＲを算出する（Ｓ３１１）。
　符号化モード決定部１１８は、算出したコスト関数Ｊの対象値が、前に格納されたコスト関数の最小値Ｊｍｉｎより小さいか否かを判定する（Ｓ３１２）。算出したコスト関数Ｊが最小値Ｊｍｉｎより小さい場合（Ｓ３１２でＹｅｓ）、符号化モード決定部１１８は、対象予測モードと対象分割サイズとをメモリに格納し、前に格納した最小値Ｊｍｉｎを、今回算出したコスト関数Ｊの対象値に更新する（Ｓ３１３）。
　続いて、次の予測モードがある場合、すなわち、決定された予測モードセットに含まれる複数の予測モードのうち、まだコスト関数Ｊが算出されていない予測モードがある場合（Ｓ３１４でＹｅｓ）、予測モード選択部２０５は、コスト関数Ｊが算出されていない予測モードを１つ選択する。そして、選択された予測モードを対象予測モードとして、予測ブロックの生成処理（Ｓ３０６）から繰り返される。
　全ての予測モードに対するコスト関数Ｊが算出された場合で（Ｓ３１４でＮｏ）、かつ、次のブロックがある場合（Ｓ３１５でＹｅｓ）、次のブロックを対象ブロックとして、予測モードセットの決定処理（Ｓ３０４）から繰り返される。なお、次のブロックがある場合とは、１つのマクロブロックに含まれる全てのブロックのうち、コスト関数の算出を行っていないブロックがある場合である。
　次のブロックがない場合で（Ｓ３１５でＮｏ）、次の分割サイズがある場合（Ｓ３１６でＹｅｓ）、マクロブロックを次の分割サイズで分割し、分割により得られたブロック毎に以上の処理が繰り返される。なお、次の分割サイズがある場合とは、１つのマクロブロックを分割可能な複数の分割サイズのうち、ブロック毎の処理が行われていない分割サイズがある場合である。例えば、１つのマクロブロックは、３通りの分割サイズ（４×４画素、８×８画素、１６×１６画素）に分割することができるので、３通りの分割サイズのそれぞれに対してブロック毎の処理が完了するまで処理（Ｓ３０２～Ｓ３１６）が繰り返される。
　全ての分割サイズに対する処理が完了すると（Ｓ３１６でＮｏ）、符号化モード決定部１１８は、コスト関数の最も低い値を有する分割サイズと、対応する予測モードとを選択する（Ｓ３１７）。選択した分割サイズと予測モードとを示す情報は、可変長符号化部１０５に出力される。
　最後に、可変長符号化部１０５は、選択された分割サイズ、予測モード、及び、対応する残差とを符号化し、符号化により生成された結果を出力ビットストリームに書き込む（Ｓ３１８）。なお、可変長符号化部１０５は、例えば、統計的符号化器を用いて符号化する。
　このとき、符号化される予測モードを示す情報（モード指示）は、複数の方向予測モードが選択された場合は選択された方向予測モードを示す情報であり、ＤＣ予測モード又はエッジ予測モードが選択された場合はＤＣ予測モード及びエッジ予測モードのいずれかを示す情報である。すなわち、可変長符号化部１０５は、１つの符号語をＤＣ予測モードとエッジ予測モードとの双方に割り当てる。
　そして、次のマクロブロックがある場合（Ｓ３１９でＹｅｓ）、次のマクロブロックに対して以上に示す処理（Ｓ３０１～Ｓ３１９）は繰り返される。
　以上のようにして、本実施の形態の画像符号化装置１００は、ブロック毎に予測モードを決定し、入力映像データを符号化する。上述のように、予測モードを選択する前に予測モードセットが決定される。本実施の形態では、選択候補となる予測モードセットは、従来の予測モードセットと新たな予測モードセットとがあり、新たな予測モードセットには、ＤＣ予測モードの代わりにエッジ予測モードが含まれる。
　このとき新たな予測モードであるエッジ予測モードを示す情報は、ＤＣ予測モードを示す情報と同一の符号語を用いて符号化される。したがって、この符号語を受け取った復号器側で、ＤＣ予測モードであるかエッジ予測モードであるかを判定する。これにより、エッジ予測モードを示す情報に新たな符号語を割り当てる必要がなくなるので、符号量の増加を防ぐことができる。
　以下では、新たなエッジ予測モードについてより詳細に説明する。
　上述したように周囲ブロックに含まれる、勾配の算出処理の対象となる画素毎に、勾配が算出され、イントラ予測部１１２は、最大ノルムを有するベクトルと、最大ノルムを有するベクトルが得られた画素に隣接する画素のベクトルとを用いてエッジの角度を算出する。具体的には、隣接画素のそれぞれに対して、対応するエッジベクトル（又は勾配ベクトル）のノルムは、最大ベクトルのノルムと比較される。隣接画素のエッジベクトルのノルムが、最大ベクトルのノルムの５０％より大きい場合のみ、当該隣接画素のエッジベクトルを利用するためにメモリに格納する。そして、イントラ予測部１１２は、メモリに格納された最大ベクトルと周囲ベクトルとのそれぞれの角度の平均を、新たなエッジ予測モードの方向の角度αとして算出する。具体的には、以下の図１０に示すフローチャートに従って実行される。
　図１０は、本実施の形態においてエッジの角度を算出する処理を示すフローチャートである。この処理は、図７を用いて説明したエッジ検出処理の結果に依存する。図７に示すエッジ検出処理を行った結果、閾値より大きいと判定された１つ以上のエッジベクトルと対応する画素の位置とが格納される。
　ノルム判定部２０３は、エッジ検出処理で検出された最大エッジベクトルの角度を算出し、メモリに格納する（Ｓ４０１）。そして、以下の処理は、最大エッジベクトルが算出された画素に隣接する全ての画素に対して実行される（Ｓ４０２）。すなわち、ノルム判定部２０３は、最大エッジベクトルが算出された画素に隣接する画素のうち、１つの画素の位置を対象画素位置として以下の処理を行う。
　次に、ノルム判定部２０３は、対象画素位置に対応するエッジベクトルがノルム判定部２０３の有するメモリに格納されるか否かを判定する（Ｓ４０３）。すなわち、閾値より大きいノルムを有し、かつ、対象ブロックを指すエッジベクトルが格納されているか否かを判定する。
　エッジベクトルが格納されている場合（Ｓ４０３でＹｅｓ）、ノルム判定部２０３は、このベクトルのノルムを算出する（Ｓ４０４）。そして、ノルム判定部２０３は、算出したノルムと最大エッジベクトルのノルムとを比較する（Ｓ４０５）。算出したノルムが最大ノルムの５０％より大きい場合（Ｓ４０５でＹｅｓ）、ノルム判定部２０３は、対象画素位置のベクトルの角度を算出し、メモリに格納する（Ｓ４０６）。
　以上の処理（Ｓ４０３～Ｓ４０６）を全ての対象画素位置に対して実行する。次の画素がない場合、すなわち、全ての対象画素位置に対して処理が終了した場合（Ｓ４０７でＮｏ）、ノルム判定部２０３は、メモリに格納された角度を平均することで、エッジの角度を算出する（Ｓ４０８）。
　なお、図１０に示すような検出したエッジの角度を決定する上述の処理は、単なる例示である。本発明は、エッジを検出し、又は、その方向を決定するいかなる特定の方法にも限定されない。例えば、エッジの角度は、最大エッジベクトルのみの方向から決定されてもよい。あるいは、より多く又はより少ない数の近接するベクトル、又は、エッジに沿った他のベクトルの方向から決定されてもよい。また、メモリに格納するベクトルはエッジベクトルであるとしたが、勾配ベクトルであってもよい。
　予測モード選択部２０５がエッジ予測モードを選択した場合、イントラ予測部１１２は、以上のようにして決定したエッジの角度、すなわち、エッジの方向を予測方向として予測ブロックを生成する。なお、以上のエッジの角度算出処理をイントラ予測部１１２が行ってもよい。このとき、イントラ予測部１１２は、エッジ検出部２０１、方向判定部２０２及びノルム判定部２０３に相当する処理部を有する。
　なお、上述のエッジの角度算出処理を画像復号装置３００が実行する場合も同様である。具体的には、エッジ検出部２０１、方向判定部２０２及びノルム判定部２０３のそれぞれが行う処理を、エッジ検出部４０１、方向判定部４０２及びノルム判定部４０３がそれぞれ実行する。
　続いて、本実施の形態のエッジ予測モードに従って予測ブロックを生成する動作について図１１Ａ～図１３を用いて説明する。
　図１１Ａ、図１１Ｂ及び図１２は、本実施の形態のエッジ予測モードを示す概略図である。このモードによれば、対象ブロックは、ある方向に沿って前に符号化及び復号された映像データを外挿又は内挿することによって予測される。従来の方向のイントラ予測モード（図１Ｂ）は、イントラ予測の方向が固定的であったのに対して、エッジ予測モードは、任意の方向に沿って対象ブロックを予測することができる。本実施の形態によれば、予測の方向は、前に符号化及び復号された画像データ内のエッジを検出することによって決定される。
　図１１Ａは、検出されたエッジの方向５０が対象ブロック１０の上境界を横切る場合の図である。図１１Ａに示すように、対象ブロック１０は、前に符号化及び復号された映像データを外挿することによって、具体的には、検出されたエッジの方向５０に沿って参照画素２０を連続させることによって、予測される。すなわち、イントラ予測部１１２は、エッジの方向から決定される参照画素２０の画素値（あるいは、２つ以上の参照画素２０から算出される補間値）を、予測ブロックを構成する画素の画素値（予測値）とすることで、予測ブロックを構成する。
　イントラ予測部１１２は、エッジのシャープさを保つために、参照画素２０の間の線形補間を、画素の予測値を算出するために用いる。図１１Ａに示すように、決定された角度αに沿った参照画素の平行移動は、整数画素位置に一致しない。
　位置（ｘ，ｙ）で予測する各画素に対して、参照位置ｘ－δxは、エッジの方向５０によって示されるエッジの角度αに依存して見つけられる。そして、参照位置の参照値は、２つの周囲の整数参照画素ａとｂとを線形補間することによって算出される。このように算出された参照値は、予測される画素の予測値ｐとして用いられる。なお、利用可能な参照画素は、対象ブロック１０に直接隣接する参照画素２０である。
　予測値ｐは、２つの参照画素の画素値ａとｂとの重み付け加算和として式３によって算出される。
Figure JPOXMLDOC01-appb-M000003
 　なお、ｗa＝δx－ｆｌｏｏｒ（δx）、ｗb＝ｃｅｉｌ（δx）－δx、かつδx＝ｙｃｏｔαである。
　水平方向の増加量δxは、検出されたエッジの角度αと、ブロック内の予測される画素の位置（ｘ，ｙ）とから算出される。なお、図１１Ａにおいて、位置（０，０）は、対象ブロック１０に隣接する参照画素２０の左上角の位置である。よって、同図において、予測値ｐの画素位置は、（３，２）で示される。
　画素を通過し、検出されたエッジに平行な線（エッジの方向５１）が、対象ブロックの上境界ではなく左境界を横切る場合、式３に類似の式が用いられる。図１１Ｂは、検出されたエッジの方向５１が対象ブロック１０の左境界を横切る場合の図である。ここで、垂直方向の増加量は、δyであり、参照画素値ｃとｄとを用いて位置（ｘ，ｙ）の画素に対する予測値ｐは、式４を用いて算出される。
Figure JPOXMLDOC01-appb-M000004
 　なお、ｗc＝δy－ｆｌｏｏｒ（δy）、ｗd＝ｃｅｉｌ（δy）－δy、かつδy＝ｘｔａｎαである。
　なお、図１１Ｂにおいて、位置（０，０）は、対象ブロック１０に隣接する参照画素２０の左上角の位置である。よって、同図において、予測値ｐの画素位置は、（４，４）で示される。
　図１２に示すように、画素を通過し、検出されたエッジに平行な線（エッジの方向５２）が、対象ブロックの左境界を横切るだけでなく、その上境界、又は、対象ブロックの右に位置するブロックの上境界を横切る場合、２つの関連のある参照位置（ａ及びｂと、ｃ及びｄ）があってもよい。この場合、両方の参照位置が予測に用いられるように、対象ブロック１０は、外挿ではなく、前に符号化及び復号された映像データの内挿によって予測されてもよい。予測値は、２つの参照位置の補間された画素値の線形補間の結果である。
　具体的には、予測値ｐは、例えば、式５のように、４つの参照画素値ａ、ｂ、ｃ及びｄの重み付け加算和として算出されてもよい。
Figure JPOXMLDOC01-appb-M000005
 　なお、ｗup＝Ｎ－ｙ、ｗleft＝Ｎ－ｘ、かつ、Ｎ＝４又はＮ＝８であり、Ｎは、ブロックサイズに依存する。
　別の例として、２つの参照位置の本当の補間、すなわち、２つの参照位置間のユークリッド距離であるｗupとｗleftを算出してもよい。
　以上のように、本実施の形態では、イントラ予測部１１２は、検出されたエッジの方向に沿って、対象ブロックに近接するブロックに含まれる画素に対応する、前に生成（符号化及び復号）された復号画像データ（すなわち、参照画素（復号画素とも記載））を外挿又は内挿することで予測ブロックを生成する。このときの外挿又は内挿は、線形の外挿又は内挿である。
　より具体的には、予測ブロックを構成する予測画素毎に、複数の参照画素の画素値の少なくとも２つの重み付け加算和を算出し（式３、式４又は式５参照）、算出した重み付け加算和を外挿又は内挿することで、予測ブロックを生成する。このときの重み（ｗa、ｗb、ｗc及びｗd）は、エッジの方向に基づいて決定される。例えば、重みに対応する参照画素から、予測画素を通る直線であって、エッジの方向の直線（エッジの方向５０など）までの距離が小さいほど、大きな値になるように決定される。
　図１３は、本実施の形態におけるエッジ予測モードに従って予測値を算出する（すなわち、予測ブロックを生成する）方法を示すフローチャートである。
　まず始めに、例えば、図１０を用いて説明した処理に従って、イントラ予測部１１２は、エッジの角度を決定する（Ｓ５０１）。以下の処理は、予測される対象ブロックの全ての画素に対して実行される（Ｓ５０２）。
　イントラ予測部１１２は、例えば、図１１Ａに示すように、対象画素から、決定された角度が示す方向に上部の参照画素があるか否かを判定する（Ｓ５０３）。上部の参照画素がある場合（Ｓ５０３でＹｅｓ）、イントラ予測部１１２は、上部の参照値ｒupを式３に従って算出する（Ｓ５０４）。なお、ここでは、式３においてｐをｒupに置き換えることで上部の参照値ｒupを算出する。
　続いて、イントラ予測部１１２は、例えば、図１１Ｂに示すように、対象画素から、決定された角度が示す方向に左の参照画素があるか否かを判定する（Ｓ５０５）。左の参照画素がある場合（Ｓ５０５でＹｅｓ）、イントラ予測部１１２は、左の参照値ｒleftを式４に従って算出する（Ｓ５０６）。なお、ここでは、式４においてｐをｒleftに置き換えることで左の参照値ｒleftを算出する。
　そして、イントラ予測部１１２は、対象画素の予測値ｐを上部の参照値及び左の参照値の利用可能性に従って算出する（Ｓ５０７）。両方が利用可能である場合、予測値ｐは、ｐ＝（ｗupｒup＋ｗleftｒleft）／（ｗup＋ｗleft）により算出される。上部の参照値又は左の参照値のみが利用できる場合、予測値ｐはそれぞれ、ｐ＝ｒup及びｐ＝ｒleftである。双方共に利用できない場合、予測値ｐは、前に予測された、近接画素の平均値、すなわち、式６に従って算出される。
Figure JPOXMLDOC01-appb-M000006
 　なお、式６において、ｐ（ｘ，ｙ）は、位置（ｘ，ｙ）における予測値を表している。
　次の画素がある場合（Ｓ５０８でＹｅｓ）、以上の処理（Ｓ５０３～Ｓ５０７）は、繰り返される。すなわち、対象ブロックに含まれる全ての画素について予測値が算出されるまで以上の処理が実行される。
　以上のように、本実施の形態の画像符号化装置１００は、エッジ予測モードが選択した場合、検出したエッジの方向に沿って予測値を算出することで予測ブロックを生成することができる。
　なお、上述の予測値の算出処理を画像復号装置３００が実行する場合も同様である。具体的には、イントラ予測部１１２が行う処理を、イントラ予測部３０５が実行する。
　また、以上に説明したように本実施の形態では、１つの方向に沿って予測ブロックを生成したが、複数の方向に沿って予測ブロックを生成してもよい。
　図１４は、本実施の形態において、予測画素が２つ以上の方向に従って予測されることを示す概略図である。例えば、同図に示すように、異なる方向であるが、対象ブロックを指す方向を有する２つの強いエッジ６１及び６２が２つの隣接しない対象画素６３及び６４に検出された場合、画素値は、前に復号された参照画素２０を、２つの方向のいずれか、又は、より好ましくは、２つのエッジの方向６５及び６６を合わせた方向に外挿又は内挿することによって予測されてもよい。例えば、２つのエッジの方向６５及び６６を合わせた方向は、式５のように重み付け加算和を算出することにより決定されてもよい。このとき、水平方向の増加分δx及び垂直方向の増加分δyはそれぞれ、第１及び第２エッジの方向６５及び６６（角度）から算出される。
　なお、本実施の形態では、予測に用いられるエッジ及び方向の数に対しては限定されることはなく、また、個々の結果を合成する方法に対しても限定されることはない。
　これらの複数のエッジのそれぞれのシャープさを保護するために、重み付け加算和の算出に用いられる重みは、検出されたエッジのそれぞれのまっすぐな延長線までの予測される各予測画素からの距離に従って計算されてもよい。例えば、重みのそれぞれは、重みに対応する参照画素（図１４のａ、ｂ、ｃ及びｄ）から、少なくとも２つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される。
　特に、重みｗleft及びｗupは、対象ブロックの左のブロックで検出されたエッジ（又は、エッジの延長線）が通過する全ての画素に対して、それぞれ１及び０に設定されてもよい。逆に、重みｗleft及びｗupは、対象ブロックの上のブロックで検出されたエッジ（又は、エッジの延長線）が通過する全ての画素に対して、それぞれ１及び０に設定されてもよい。すなわち、重みのそれぞれは、重みに対応する参照画素（図１４のａ、ｂ、ｃ及びｄ）から、少なくとも２つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される。なお、残りの画素、すなわち、検出されたエッジ（又は、エッジの延長線）のいずれも通過しない画素に対する重みは、上述のように予測画素からの距離に基づいて設定されてもよい。
　次に、本実施の形態の画像復号装置３００のイントラ予測を用いた復号処理について図１５を用いて説明する。図１５は、本実施の形態におけるイントラ予測に基づいて画像及び映像データを復号する処理を示すフローチャートである。
　図１５に示す復号処理は、１６×１６画素のマクロブロック毎に実行される（Ｓ６０１）。まず、分割サイズが、入力ビットストリームから読み出され、すなわち、統計的復号器を用いて復号される（Ｓ６０２）。そして、分割サイズに従って対象マクロブロックのブロック毎に復号処理は実行される（Ｓ６０３）。
　入力ビットストリームから対象ブロックの予測モードと符号化された予測誤差を示す残差情報とが読み出される（Ｓ６０４）。読み出された予測モードは、制御部３０７と、スイッチ３０８を介してイントラ予測部３０５又は動き補償部３０６に出力される。残差情報は、逆量子化部３０１に出力される。
　次に、イントラ予測部３０５又は動き補償部３０６は、読み出された予測モードに基づいて、対象ブロックに対応する予測ブロックを生成する（Ｓ６０５）。なお、この予測ブロックの生成処理のうち特にイントラ予測部３０５が実行する処理については、図１６を用いてより詳細に後で説明する。
　逆量子化部３０１は、残差情報を逆量子化し、逆量子化された残差情報を逆周波数変換部３０２に出力する。そして、逆周波数変換部３０２は、逆量子化された残差情報を逆周波数変換する（Ｓ６０６）。逆周波数変換により得られた復号差分画像は加算部３０３に出力される。
　加算部３０３は、予測ブロックと復号差分画像とを加算することで対象ブロックを再構成する（Ｓ６０７）。加算部３０３によって生成された復号画像は、フレームメモリ３０４に格納され、参照ピクチャとしてイントラ予測部３０５又は動き補償部３０６によって用いられる。
　そして、次のブロックがある場合（Ｓ６０８でＹｅｓ）、次のブロックに対して予測モードと予測残差との読み出し処理（Ｓ６０４）から繰り返される。次のブロックがない場合（Ｓ６０８でＮｏ）、かつ、次のマクロブロックがある場合（Ｓ６０９でＹｅｓ）、次のマクロブロックに対して分割サイズの読み出し処理（Ｓ６０２）から繰り返される。
　次に、本実施の形態の画像復号装置３００のイントラ予測処理について図１６を用いて説明する。図１６は、本実施の形態におけるイントラ予測処理を示すフローチャートである。なお、同図に示すイントラ予測処理は、予測ブロックを生成する際（図１５のＳ６０５）にイントラ予測部３０５によって行われる。
　予測モード判定部４０４は、予測モードが２であるか否か、すなわち、予測モードがＤＣ予測モード又はエッジ予測モードを示しているか否かを判定する（Ｓ７０１）。予測モードが２である場合（Ｓ７０１でＹｅｓ）、エッジ検出部４０１、方向判定部４０２及びノルム判定部４０３は、エッジ検出処理（図７）を実行する（Ｓ７０２）。
　エッジが検出された場合（Ｓ７０３でＹｅｓ）、予測モード判定部４０４は、エッジ予測モードを選択し、予測ブロック生成部４０５は、エッジ予測モードに従って予測ブロックを生成する（Ｓ７０４）。なお、このときの予測ブロックの生成処理は、図１３を用いて説明した通りである。
　エッジが検出されない場合（Ｓ７０３でＮｏ）、予測モード判定部４０４は、ＤＣ予測モードを選択し、予測ブロック生成部４０５は、従来のＤＣ予測モードに従って予測ブロックを生成する（Ｓ７０５）。
　予測モードが２ではない場合（Ｓ７０１でＮｏ）、予測モード判定部４０４は、予測モードが示す方向予測モードを選択し、予測ブロック生成部４０５は、従来の方向予測モードに従って予測ブロックを生成する（Ｓ７０６）。
　以上のように、本実施の形態の画像復号装置３００は、対象ブロックの予測モードを判定し、イントラ予測モードのモードが２である場合、すなわち、ＤＣ予測モードかエッジ予測モードかを示す予測モードである場合に、エッジ検出処理を行う。そして、エッジが検出された場合に、予測モードをエッジ予測モードであると判定し、エッジが検出されない場合に、予測モードをＤＣ予測モードであると判定する。
　これにより、エッジ予測モードに従って符号化されたビットストリームを正しく復号することができる。また、常にエッジ検出処理を行うのではなく、エッジ検出処理を行う場合を制限するので画像復号装置３００の処理負担を軽減することができ、復号処理に多くの時間が費やされることを防ぐことができる。
　以上のように、本実施の形態の画像符号化装置１００及び画像復号装置３００は、イントラ予測を行う際に新たなエッジ予測モードを利用することができる。これにより、特に、シャープな線形エッジを含む符号化対象ピクチャを符号化する際に、符号化効率をより高めることができる。
　また、本実施の形態の画像符号化装置１００は、新たなエッジ予測モードを示す情報をＤＣ予測モードを示す情報として符号化する。すなわち、従来のＤＣ予測モードと新たなエッジ予測モードとを伝送する際に、全く同一の符号を用いる。これにより、新たなエッジ予測モードを導入したことに伴う符号量は増加しない。
　さらに、本実施の形態の画像符号化装置１００は、対象ブロックの周囲のブロックからエッジの方向を検出するために、エッジの方向などのエッジ予測モードに必要な情報を符号化しない。さらに、画像復号装置３００は、画像符号化装置１００と同様にエッジ検出処理を行う処理部を備えることで、エッジ予測モードに必要な情報を伝送する必要もなくなる。
　したがって、本実施の形態の画像符号化装置１００と画像復号装置３００とを備えるコーデック装置では、新たなイントラ予測モードを導入するときのいかなる追加的な伝送オーバーヘッドも避けることができる。
　図１７Ａ、図１７Ｂ及び図１８は、本実施の形態の画像符号化装置１００による効果を説明するための図である。図１７Ａは、フォアマンのシーケンス（ＣＩＦ：Ｃｏｍｍｏｎ　Ｉｎｔｅｒｍｅｄｉａｔｅ　Ｆｏｒｍａｔ（解像度３５２×２８８））の最初の１０フレームを符号化したときのＰＳＮＲ（Ｐｅａｋ　Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ　Ｒａｔｉｏ）とビットレートとの関係を示す図である。図１７Ｂは、スピンカレンダーのシーケンスを符号化したときのＰＳＮＲとビットレートとの関係を示す図である。また、図１８は、様々なシーケンスに対するエッジ予測モードを用いて符号化されたブロックの割合とビットレート減少率とを示す図である。
　例えば、スピンカレンダーシーケンスを符号化した場合には、ビットレートの減少率は８％を超えており、多くのシャープなエッジを含むシーケンスに対して、充分に符号化効率が高められたことを示す。また、フォアマンシーケンスを符号化した場合は、３００フレーム（シーケンス全部）よりもシーケンスの最初の１０フレームだけに行われた場合に、より符号化効率が高められたことが分かった（６．４４％のビットレートの減少）。なぜなら、フォアマンシーケンスは、シーケンスの最初にシャープな線形エッジを多く含むためである。これらのフレームでは、エッジ予測モードがよく選択され（平均でブロックのおよそ１５％）、エッジがより適切に検出される。他方で、シーケンスの終わりにはほとんどエッジはない。これらのフレームでは、エッジ予測モードは、ほとんど用いられていない（平均でブロックのおよそ３～４％）。このため、シーケンス全体での平均ビットレートの減少率は、３．３７％である。
　以上のことから、エッジ予測の実行は、大きく画像内容に依存していることも示している。すなわち、ほとんどエッジのない、又は、ボケたエッジを含む画像では、エッジ予測モードは、ほとんど用いられない。本実施の形態の画像符号化方法は、そのようなシーケンスにとって、従来の符号化方法と比較して有利な点はないが、不利な点もない。なぜなら、予測モードセットには、ＤＣ予測モードがほとんど常に用いられるからである。そのような画像は、Ｈ．２６４の９つの従来の予測モードで符号化される。
　次の表は、ビットレートの減少率とシミュレートされたシーケンスのＰＳＮＲ改良度との点から見た高精度エッジ予測技術の結果を示す。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、結果は、異なるシーケンス間で大きく異なっている。エッジ予測モードの使用の頻度と、最終的なゲインとの間に線形の関係はないが、最も良いゲインは、エッジ予測モードで簡単に予測されたエッジを多く含む画像に対して得られている。
　以上、本発明の画像符号化装置、画像復号装置及びこれらの方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
　例えば、本実施の形態によれば、ソーベル演算子を用いて勾配を算出することで、エッジの検出を行った。しかしながら、本発明は、この点には限定されない。代わりに、検出されたエッジの方向性が算出されれば、どのようなエッジ検出ツールが用いられてもよい。ソーベル演算子は、可能なエッジ検出技術の一例に過ぎない。例えば、式７に示すプレウィット演算子を用いてもよい。
Figure JPOXMLDOC01-appb-M000007
　また、ローパスフィルタ（ＬＰＦ：Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）処理を行ったブロックに対して勾配を算出してもよい。具体的には、ローパスフィルタを構成するフィルタ係数とソーベル演算子又はプレウィット演算子とを畳み込んだ演算子を用いて勾配を算出することができる。したがって、例えば、本実施の形態では、エッジ検出部２０１又は４０１は、ソーベル演算子のみ、プレウィット演算子のみ、ソーベル演算子とローパスフィルタとの合成フィルタ、又は、プレウィット演算子とローパスフィルタとの合成フィルタの４種類の中から選択して、勾配を算出してもよい。いずれのフィルタを選択するかは、例えば、外部からのユーザの指示、又は、対象ピクチャの特徴に基づいて決定される。例えば、対象ピクチャに多くのノイズが含まれる場合、すなわち、対象ピクチャが平坦な画像でない場合は、ローパスフィルタを含むフィルタを用いる。
　また、本実施の形態の画像符号化装置１００は、ノルム判定部２０３又は４０３は、予め定められた閾値を用いてノルムの判定を行ったのに対して、シーケンス、ピクチャ、スライス、又は、ブロック単位で変更してもよい。この場合、決定した閾値をビットストリームに含めることで復号器側に伝送する必要がある。例えば、閾値を決定する単位に応じて、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、又はスライスヘッダ（ＳＨ）などに閾値を示す情報は含められる。
　図１９は、本実施の形態とは異なる形態の画像符号化装置５００の構成の一例を示すブロック図である。同図の画像符号化装置５００は、図２の画像符号化装置１００と比べて、可変長符号化部１０５の代わりに可変長符号化部５０５を備え、参照ピクチャメモリ１０９の代わりに参照ピクチャメモリ５０９を備え、イントラ予測モード決定部１１０の代わりにイントラ予測モード決定部５１０を備え、さらに新たに閾値決定部５１９を備える点が異なっている。以下では、図２の画像符号化装置１００と同じ点は説明を省略し、異なる点を中心に説明する。
　また、図１９に示すように、画像符号化装置５００は、外部からエッジ検出フラグを受け取ってもよい。エッジ検出フラグは、エッジ検出処理の有効又は無効を切り替えるためのフラグである。例えば、シーケンス、ピクチャ、又はスライス単位でエッジ検出処理の有効又は無効を切り替えることができる。
　可変長符号化部５０５は、可変長符号化部１０５の処理に加えて、さらに、閾値決定部５１９によって決定された閾値と、エッジ検出フラグとをビットストリームに含める。閾値を示す情報及びエッジ検出フラグは、例えば、ＳＰＳ、ＰＰＳ、ＳＨなどに含められる。
　参照ピクチャメモリ５０９は、加算部１０８によって生成された復号画像ＬＤを格納する。そして、イントラ予測モード決定部５１０、動き検出部１１１、イントラ予測部１１２、及び、動き補償部１１３だけでなく、閾値決定部５１９にも格納している復号画像ＬＤを参照ピクチャとして出力する。
　イントラ予測モード決定部５１０は、イントラ予測モード決定部１１０の処理に加えて、エッジ検出フラグを受け取る。そして、イントラ予測モード決定部５１０は、受け取ったエッジ検出フラグに応じて、エッジ検出処理の有効又は無効を切り替える。具体的には、エッジ検出フラグがエッジ検出処理の有効を示す場合には、上述したイントラ予測モード決定部１１０と同様の処理を行う。エッジ検出フラグがエッジ検出処理の無効を示す場合には、イントラ予測モードセットは常に従来のＤＣ予測モードと８つの方向予測モードとを含む予測モードセットに設定する。すなわち、エッジの検出処理を行わない。
　また、イントラ予測モード決定部５１０は、閾値決定部５１９によって決定された閾値を用いてノルムの判定を行う。具体的なノルムの判定処理については上述した内容と同じであるため、説明を省略する。
　閾値決定部５１９は、参照ピクチャメモリ５０９から参照ピクチャを読み出し、読み出した参照ピクチャの画像特徴量を算出することで、閾値を決定する。参照ピクチャの画像特徴量は、例えば、エッジ検出処理が行われる参照ピクチャの分散、強度などである。例えば、分散が大きいほど、ノルム判定に用いる閾値が大きな値になるように決定する。分散が大きいということは、参照ピクチャに多くのノイズが含まれることであり、エッジが誤検出されてしまう可能性が大きくなる。したがって、ノルム判定に用いる閾値を大きくすることで、エッジの誤検出される可能性を小さくすることができる。
　また、閾値決定部５１９は、前のピクチャに対するエッジ検出処理の結果に基づいて閾値を決定してもよい。例えば、前のピクチャに対して異なる方向のエッジが多く検出されるほど、閾値が大きな値になるように決定する。異なる方向のエッジが多く検出されるということは、ノイズなどの影響で正確なエッジが検出されていない可能性があるので、ノルム判定に用いる閾値を大きくすることで、エッジが誤検出される可能性を小さくすることができる。
　以上のように、図１９に示す画像符号化装置５００は、閾値を適応的に変更することができるので、より適切な閾値を決定することができ、より適切な予測ブロックを生成することができる。これにより、符号化歪みなどを削減することができる。
　また、本発明の効果が充分に得られない平坦な画像などに対しては、エッジ検出処理を無効にすることができるので、画像符号化装置１００に対する処理負担を軽減し、符号化処理の速度を高めることができる。
　また、エッジ検出フラグを復号器側にも伝送するので、復号器側で、エッジ検出処理が行われていないビットストリームに対してエッジ検出処理が行われることを防ぐことができる。
　なお、本実施の形態の画像復号装置３００では、エッジ検出処理を行うために、図１Ａに示す参照画素２０だけではなく、参照画素２０を含むブロックに含まれる全画素のデータを、フレームメモリ３０４に格納する必要がある。これに対して、周囲のブロックを復号すると同時に、すなわち、勾配の算出に必要な参照画素の画素値が得られると同時に、勾配の算出処理を行い、勾配の算出処理結果だけをフレームメモリ３０４に格納してもよい。このとき、例えば、閾値を超えたノルム（又は、勾配値）のみを格納することで、よりメモリ資源を節約することができる。あるいは、各ブロックの最大のノルムとその画素位置のみを格納してもよい。
　この場合、図２０に示すように、従来及び上述の説明と同様に、対象ブロック１０の直ぐ上の画素群７２に含まれる画素は、予測ブロックを生成する際に参照される参照画素として格納される。さらに、周囲ブロック３０に含まれる画素値ではなく、エッジの方向を算出する対象となる画素群７１の画素に対して算出したノルム（又は、勾配値）をフレームメモリ３０４又はノルム判定部４０３が備えるメモリなどに格納する。
　これにより、画像復号装置３００が備えるメモリ資源を有効に利用することができる。
　また、予測値を算出する上述の方法は、検出されたエッジの方向を正式に考慮に入れて、本発明の範囲内で、いかなる他の方法に置き換えられてもよい。具体的には、上記の説明で用いた参照画素より多くの参照画素、又は、別の参照画素を、予測される対象ブロックに近接する参照画素の代わりに用いてもよい。
　また、本発明は、Ｈ．２６４映像符号化規格に限定されず、上述の従来のイントラ予測モードセットに限定されない。事実、発明のエッジ予測モードは、空間予測を用いるいかなるブロックベースの映像符号化器に用いられてもよい。特に、ＤＣ予測モードの置き換えとしてエッジ予測モードを用いるのではなく、Ｈ．２６４／ＡＶＣの付加的モードとして用いることもできる。
　また、本発明のエッジ予測モードは、エッジ予測モードとＤＣ予測モードとを合わせた上述の伝送とは異なる伝送メカニズムと共に用いられてもよい。例えば、エッジ予測モードは、ＤＣ予測モードとは無関係の専用符号語によって伝送されてもよく、又は、予め定義された方向予測モードの１つ以上の組み合わせで伝送されてもよい。
　また、本発明は、映像符号化アプリケーションに限られず、ブロックベースの静止画像符号化に用いられてもよい。
　また、本発明は、上述したように、画像符号化装置、画像復号装置及びこれらの方法として実現できるだけではなく、本実施の形態の画像符号化方法及び画像復号方法のそれぞれをコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
　また、本発明は、画像符号化装置及び画像復号装置のそれぞれを構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
　要約すると、本発明は、画像及び映像データの符号化及び復号に関し、特に、前に符号化及び復号されたブロックの画像データから対象ブロックを予測する新たな空間予測モードに関する。この予測モードによれば、シャープなエッジを含むブロックは、エッジの正確な方向を考慮に入れることでより信頼性の高い予測が行われる。さらに、本発明では、新たな予測モードは、追加の伝送オーバーヘッドを必要としない。なぜなら、（１）エッジの方向は、前に符号化されたブロックから推定され、（２）新たな予測モードは、シャープなエッジを含むブロックに対する従来のＤＣ予測モードに置き換えることができるためである。
　本発明の画像符号化方法及び画像復号方法は、符号化効率をより高めることができるという効果を奏し、例えば、デジタルカメラ、デジタルテレビ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）レコーダなどに利用することができる。

Claims (35)

  1. 　画像データをブロック毎に符号化する画像符号化方法であって、
    　前記画像データを複数のブロックに分割する分割ステップと、
    　前記複数のブロックの１つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、
    　前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、
    　前記減算ステップで算出された差分を符号化する符号化ステップと、
    　前記符号化ステップで符号化された差分を復号する復号ステップと、
    　前記復号ステップで復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、
    　前記予測ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    　前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
    　画像符号化方法。
  2. 　前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成する
    　請求項１記載の画像符号化方法。
  3. 　前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも２つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
    　前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定される
    　請求項２記載の画像符号化方法。
  4. 　前記重みのそれぞれは、当該重みに対応する復号画素から、前記予測画素への距離が小さいほど、大きな値になるように決定される
    　請求項３記載の画像符号化方法。
  5. 　前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも２つのエッジを検出し、
    　前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも２つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成する
    　請求項４記載の画像符号化方法。
  6. 　前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
    　前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される
    　請求項５記載の画像符号化方法。
  7. 　前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される
    　請求項６記載の画像符号化方法。
  8. 　前記予測ステップは、さらに、
    　エッジ予測モードを含む複数の予測モードから１つの予測モードを選択する予測モード選択ステップを含み、
    　前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成する
    　請求項１記載の画像符号化方法。
  9. 　前記複数の予測モードは、さらに、ＤＣ予測モードと予め定義された複数の方向予測モードとを含み、
    　前記予測ブロック生成ステップでは、前記ＤＣ予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの１つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成する
    　請求項８記載の画像符号化方法。
  10. 　前記予測モード選択ステップでは、
    　前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、
    　前記エッジ検出ステップでエッジが検出されない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択する
    　請求項９記載の画像符号化方法。
  11. 　前記符号化ステップでは、さらに、
    　前記予測モード選択ステップで前記複数の方向予測モードの１つが選択された場合、選択された方向予測モードを示すモード指示を符号化し、
    　前記ＤＣ予測モード又は前記エッジ予測モードが選択された場合、前記ＤＣ予測モード及び前記エッジ予測モードのいずれかのモードであることを示すモード指示を符号化する
    　請求項１０記載の画像符号化方法。
  12. 　前記予測モード選択ステップでは、
    　前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、
    　前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択する
    　請求項９記載の画像符号化方法。
  13. 　前記エッジ検出ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、
    　前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも１つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、
    　前記ベクトル判定ステップで前記条件を満たす少なくとも１つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも１つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含む
    　請求項１記載の画像符号化方法。
  14. 　前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルの方向から前記エッジの方向を決定する
    　請求項１３記載の画像符号化方法。
  15. 　前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち少なくとも１つの勾配ベクトルの方向を平均することで得られる方向から前記エッジの方向を決定する
    　請求項１３記載の画像符号化方法。
  16. 　符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法であって、
    　対象ブロックの前記予測残差を復号する復号ステップと、
    　前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、
    　前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、
    　前記予測ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    　前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
    　画像復号方法。
  17. 　前記予測ブロック生成ステップでは、前記復号画像データを線形に外挿又は内挿することで前記予測ブロックを生成する
    　請求項１６記載の画像復号方法。
  18. 　前記予測ブロック生成ステップでは、前記予測ブロックを構成する予測画素毎に前記復号画像データに含まれる複数の復号画素の画素値の少なくとも２つの重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
    　前記重み付け加算和の算出に用いられる重みは、前記エッジ検出ステップで検出されたエッジの方向に基づいて決定される
    　請求項１７記載の画像復号方法。
  19. 　前記重みのそれぞれは、当該重みに対応する復号画素から、前記予測画素への距離が小さいほど、大きな値になるように決定される
    　請求項１８記載の画像復号方法。
  20. 　前記エッジ検出ステップでは、互いに異なる方向を有する少なくとも２つのエッジを検出し、
    　前記予測ブロック生成ステップでは、前記予測画素毎に、前記少なくとも２つのエッジそれぞれの方向に沿って外挿又は内挿するための前記複数の復号画素の画素値を合成し、合成した画素値を外挿又は内挿することで、前記予測ブロックを生成する
    　請求項１９記載の画像復号方法。
  21. 　前記予測ブロック生成ステップでは、前記予測画素毎に、前記複数の復号画素の画素値のそれぞれに重みを乗じることで前記重み付け加算和を算出し、算出した重み付け加算和を外挿又は内挿することで、前記予測ブロックを生成し、
    　前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかが検出された復号ブロックまでの距離が小さいほど、大きな値になるように決定される
    　請求項２０記載の画像復号方法。
  22. 　前記重みのそれぞれは、当該重みに対応する復号画素から、前記少なくとも２つのエッジのいずれかの延長線までの距離が小さいほど、大きな値になるように決定される
    　請求項２１記載の画像復号方法。
  23. 　前記予測ステップは、さらに、
    　エッジ予測モードを含む複数の予測モードから１つの予測モードを選択する予測モード選択ステップを含み、
    　前記予測ブロック生成ステップでは、前記エッジ予測モードが選択された場合に、前記エッジ検出モードで検出されたエッジの方向に沿って前記復号画像データを外挿又は内挿することで、前記予測ブロックを生成する
    　請求項１６記載の画像復号方法。
  24. 　前記複数の予測モードは、さらに、ＤＣ予測モードと予め定義された複数の方向予測モードとを含み、
    　前記予測ブロック生成ステップでは、前記ＤＣ予測モードが選択された場合には、前記復号画像データの平均値を算出することで前記予測ブロックを生成し、前記複数の方向予測モードの１つが選択された場合には、選択された方向予測モードに対応する方向に沿って前記復号画像データを外挿することで前記予測ブロックを生成する
    　請求項２３記載の画像復号方法。
  25. 　前記予測モード選択ステップでは、
    　前記エッジ検出ステップでエッジが検出された場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、
    　前記エッジ検出ステップでエッジが検出されない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択する
    　請求項２４記載の画像復号方法。
  26. 　前記画像データは、さらに、予測モードを示す予測モード指示を含み、
    　前記予測モード選択ステップでは、前記予測モード指示が前記ＤＣ予測モード又は前記エッジ予測モードを示す場合であって、さらに、前記エッジ検出ステップでエッジが検出された場合には前記エッジ予測モードを選択し、前記エッジ検出ステップでエッジが検出されない場合には前記ＤＣ予測モードを選択する
    　請求項２５記載の画像復号方法。
  27. 　前記予測モード選択ステップでは、
    　前記エッジ検出ステップでエッジが検出され、かつ、検出されたエッジの方向が前記対象ブロックを指す場合に、前記エッジ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択し、
    　前記エッジ検出ステップでエッジが検出されない場合、又は、エッジが検出され、検出されたエッジの方向が前記対象ブロックを指さない場合に、前記ＤＣ予測モードと前記複数の方向予測モードとの中から１つの予測モードを選択する
    　請求項２４記載の画像復号方法。
  28. 　前記エッジ検出ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロックの複数の画素のそれぞれに対応する勾配ベクトルを算出する勾配ベクトル算出ステップと、
    　前記勾配ベクトル算出ステップで算出された勾配ベクトルのうち、ノルムが予め定められた閾値を超え、かつ、当該勾配ベクトルに直交する直交ベクトルが前記対象ブロックを指すという条件を満たす少なくとも１つの勾配ベクトルが存在するか否かを判定するベクトル判定ステップと、
    　前記ベクトル判定ステップで前記条件を満たす少なくとも１つの勾配ベクトルが存在すると判定された場合、前記条件を満たす少なくとも１つの勾配ベクトルに直交する直交ベクトルの方向をエッジの方向とするエッジを検出するエッジ方向決定ステップとを含む
    　請求項１６記載の画像復号方法。
  29. 　前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち最大のノルムを有する勾配ベクトルの方向から前記エッジの方向を決定する
    　請求項２８記載の画像復号方法。
  30. 　前記エッジ方向決定ステップでは、前記条件を満たす少なくとも１つの勾配ベクトルのうち少なくとも１つの勾配ベクトルの方向を平均することで得られる方向から前記エッジの方向を決定する
    　請求項２８記載の画像復号方法。
  31. 　画像データをブロック毎に符号化する画像符号化装置であって、
    　前記画像データを複数のブロックに分割する分割手段と、
    　前記複数のブロックの１つである対象ブロックを予測することで予測ブロックを生成する予測手段と、
    　前記対象ブロックと前記予測ブロックとの差分を算出する減算手段と、
    　前記減算手段によって算出された差分を符号化する符号化手段と、
    　前記符号化手段によって符号化された差分を復号する復号手段と、
    　前記復号手段によって復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算手段とを備え、
    　前記予測手段は、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    　前記エッジ検出部によって検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成部とを有する
    　画像符号化装置。
  32. 　符号化された予測残差を含む画像データをブロック毎に復号する画像復号装置であって、
    　対象ブロックの前記予測残差を復号する復号手段と、
    　前記対象ブロックを予測することで予測ブロックを生成する予測手段と、
    　前記予測手段によって生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算手段とを備え、
    　前記予測手段は、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出部と、
    　前記エッジ検出部によって検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成部とを有する
    　画像復号装置。
  33. 　請求項３１記載の画像符号化装置と、請求項３２記載の画像復号装置とを備える
    　コーデック装置。
  34. 　画像データをブロック毎に符号化する画像符号化方法をコンピュータに実行させるためのプログラムであって、
    　前記画像データを複数のブロックに分割する分割ステップと、
    　前記複数のブロックの１つである対象ブロックを予測することで予測ブロックを生成する予測ステップと、
    　前記対象ブロックと前記予測ブロックとの差分を算出する減算ステップと、
    　前記減算ステップで算出された差分を符号化する符号化ステップと、
    　前記符号化ステップで符号化された差分を復号する復号ステップと、
    　前記復号ステップで復号された差分と前記予測ブロックとを加算することで復号ブロックを生成する加算ステップとを含み、
    　前記予測ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    　前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
    　プログラム。
  35. 　符号化された予測残差を含む画像データをブロック毎に復号する画像復号方法をコンピュータに実行させるためのプログラムであって、
    　対象ブロックの前記予測残差を復号する復号ステップと、
    　前記対象ブロックを予測することで予測ブロックを生成する予測ステップと、
    　前記予測ステップで生成された予測ブロックと、前記復号ステップで復号された予測残差とを加算することで復号ブロックを生成する加算ステップとを含み、
    　前記予測ステップは、
    　前記対象ブロックに近接するブロックに対応する、前に生成された復号ブロック内のエッジを検出するエッジ検出ステップと、
    　前記エッジ検出ステップで検出されたエッジの方向に沿って、前記対象ブロックに近接するブロックに含まれる画素に対応する、前に生成された復号画像データを外挿又は内挿することで前記予測ブロックを生成する予測ブロック生成ステップとを含む
    　プログラム。
PCT/JP2009/000150 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法 WO2009090884A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
BRPI0906880-5A BRPI0906880A2 (pt) 2008-01-18 2009-01-16 Método de codificação de imagem e método de decodificação de imagem
MX2009010053A MX2009010053A (es) 2008-01-18 2009-01-16 Metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
CN2009800001590A CN101682781B (zh) 2008-01-18 2009-01-16 图像编码方法以及图像解码方法
AU2009205202A AU2009205202A1 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method
NZ586840A NZ586840A (en) 2008-01-18 2009-01-16 Image coding method and image decoding method
EA201070745A EA201070745A1 (ru) 2008-01-18 2009-01-16 Способ кодирования изображения и способ декодирования изображения
EP09702704.9A EP2230851B1 (en) 2008-01-18 2009-01-16 Image encoding method and image decoding method
CA002680698A CA2680698A1 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method
JP2009534005A JP5530181B2 (ja) 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法
US12/529,813 US8442334B2 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method based on edge direction
IL207018A IL207018A0 (en) 2008-01-18 2010-07-15 Image coding method and image decoding method
ZA2010/05102A ZA201005102B (en) 2008-01-18 2010-07-16 Image encoding method and image decoding method
US13/862,829 US8971652B2 (en) 2008-01-18 2013-04-15 Image coding method and image decoding method for coding and decoding image data on a block-by-block basis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08000979.8 2008-01-18
EP08000979A EP2081386A1 (en) 2008-01-18 2008-01-18 High precision edge prediction for intracoding

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/529,813 A-371-Of-International US8442334B2 (en) 2008-01-18 2009-01-16 Image coding method and image decoding method based on edge direction
US13/862,829 Continuation US8971652B2 (en) 2008-01-18 2013-04-15 Image coding method and image decoding method for coding and decoding image data on a block-by-block basis

Publications (1)

Publication Number Publication Date
WO2009090884A1 true WO2009090884A1 (ja) 2009-07-23

Family

ID=39535617

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000150 WO2009090884A1 (ja) 2008-01-18 2009-01-16 画像符号化方法及び画像復号方法

Country Status (15)

Country Link
US (2) US8442334B2 (ja)
EP (2) EP2081386A1 (ja)
JP (1) JP5530181B2 (ja)
KR (1) KR20100113448A (ja)
CN (2) CN102883159B (ja)
AU (1) AU2009205202A1 (ja)
BR (1) BRPI0906880A2 (ja)
CA (1) CA2680698A1 (ja)
EA (1) EA201070745A1 (ja)
IL (1) IL207018A0 (ja)
MX (1) MX2009010053A (ja)
NZ (1) NZ586840A (ja)
RU (1) RU2010129443A (ja)
WO (1) WO2009090884A1 (ja)
ZA (1) ZA201005102B (ja)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
WO2011129085A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
WO2011129084A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
WO2011129074A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2011145328A1 (ja) * 2010-05-18 2011-11-24 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
WO2012043678A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、データ構造
WO2012043676A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 復号装置、符号化装置、および、データ構造
WO2012077795A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像符号化装置、画像復号装置、およびデータ構造
JP2012119892A (ja) * 2010-11-30 2012-06-21 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器、及びプログラム
WO2012090413A1 (ja) * 2010-12-27 2012-07-05 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
WO2012161318A1 (ja) * 2011-05-25 2012-11-29 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置
JP2013502808A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
CN102948144A (zh) * 2010-04-26 2013-02-27 松下电器产业株式会社 用于从周围块的统计推断出针对帧内预测的滤波模式
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシング 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
JP2013059131A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2013059132A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014507857A (ja) * 2011-01-14 2014-03-27 シーメンス アクチエンゲゼルシヤフト 予測値を形成するための方法および装置
JP2014509119A (ja) * 2011-01-21 2014-04-10 トムソン ライセンシング 幾何学ベースのイントラ予測の方法および装置
JP2014086961A (ja) * 2012-10-25 2014-05-12 Sharp Corp 画像符号化装置
JP2014112941A (ja) * 2014-02-20 2014-06-19 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014135742A (ja) * 2014-02-20 2014-07-24 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014519768A (ja) * 2011-06-20 2014-08-14 メディア テック シンガポール ピーティーイー．リミテッド 方向性イントラ予測の方法及び装置
JP2014225795A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
US8989796B2 (en) 2010-04-26 2015-03-24 Kyocera Corporation Method for adjusting parameter of radio communication system and radio communication system
JP2015149778A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
US9123109B2 (en) 2009-04-24 2015-09-01 Sony Corporation Image processing device and method
JP2015211466A (ja) * 2014-04-24 2015-11-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャを符号化および復号するための方法ならびに対応するデバイス
JPWO2019150435A1 (ja) * 2018-01-30 2020-11-19 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP2022137229A (ja) * 2017-09-28 2022-09-21 サムスン エレクトロニクス カンパニー リミテッド 映像復号方法

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US9736486B2 (en) 2010-02-08 2017-08-15 Nokia Technologies Oy Apparatus, a method and a computer program for video coding
WO2011130051A1 (en) * 2010-04-12 2011-10-20 Sony Corporation Context adaptive directional intra prediction
CN105847814B (zh) 2010-04-13 2019-01-08 太阳专利托管公司 图像编码方法及图像编码装置
US8559512B2 (en) 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
US20110274169A1 (en) * 2010-05-05 2011-11-10 Paz Adar Device, system, and method for spatially encoding video data
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
SI3962081T1 (sl) 2010-05-25 2024-05-31 Lg Electronics Inc. Nov planarni način napovedovanja
CN106131557A (zh) * 2010-06-07 2016-11-16 数码士有限公司 解码高分辨率图像的方法和装置
EP2583457A4 (en) 2010-06-21 2015-07-29 Thomson Licensing METHOD AND APPARATUS FOR ENCODING / DECODING IMAGE DATA
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8787444B2 (en) * 2010-07-16 2014-07-22 Sony Corporation Differential coding of intra directions (DCIC)
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101663762B1 (ko) * 2010-07-20 2016-10-07 에스케이 텔레콤주식회사 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
KR101673025B1 (ko) * 2010-07-22 2016-11-04 에스케이 텔레콤주식회사 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
EP3125555B1 (en) * 2010-08-17 2018-04-18 M&K Holdings Inc. Method for encoding an intra prediction mode
CN103416065A (zh) 2010-09-24 2013-11-27 诺基亚公司 用于视频编码的方法、装置和计算机程序
ES2926171T3 (es) * 2010-09-27 2022-10-24 Lg Electronics Inc Método para partición de bloque y dispositivo de decodificación
US20130136178A1 (en) * 2010-09-30 2013-05-30 Hisao Sasai Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9258573B2 (en) 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
WO2012081193A1 (ja) * 2010-12-17 2012-06-21 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
PL2658263T3 (pl) 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
JP2012142702A (ja) * 2010-12-28 2012-07-26 Sony Corp 画像処理装置および方法、並びにプログラム
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
AU2012205077B2 (en) * 2011-01-06 2016-04-07 Samsung Electronics Co., Ltd. Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof
CN102595124B (zh) 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
CN102595120A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 一种空域预测编码方法、解码方法、装置和***
JP2012169762A (ja) 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
WO2012120840A1 (ja) * 2011-03-07 2012-09-13 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
CN102685473B (zh) * 2011-03-10 2015-03-25 华为技术有限公司 一种帧内预测方法和装置
US10368090B2 (en) * 2011-04-25 2019-07-30 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN102137262B (zh) * 2011-05-03 2017-04-12 深圳市云宙多媒体技术有限公司 一种不规则划分视频编码模式选择方法、装置
CN102186081B (zh) * 2011-05-11 2013-09-18 北京航空航天大学 一种基于梯度向量的h.264帧内模式选择方法
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9280835B2 (en) * 2011-10-18 2016-03-08 Nokia Technologies Oy Method for coding and an apparatus based on a DC prediction value
MX2014005114A (es) 2011-10-28 2014-08-27 Samsung Electronics Co Ltd Metodo y aparato para intra-prediccion de video.
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
CN104247422B (zh) * 2011-11-07 2018-09-11 华为技术有限公司 用于改进帧内预测的新的角度表的方法和装置
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
KR101606661B1 (ko) 2011-11-18 2016-03-25 모토로라 모빌리티 엘엘씨 고효율 비디오 코딩(ｈｅｖｃ)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
US20140056356A1 (en) * 2012-08-21 2014-02-27 Motorola Mobility Llc Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes
CN104782119B (zh) * 2012-09-17 2018-05-18 谷歌有限责任公司 带宽降低***和方法
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
CN103067715B (zh) 2013-01-10 2016-12-28 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103067716B (zh) * 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103237214B (zh) * 2013-04-12 2016-06-08 华为技术有限公司 深度图像的编解码方法和编解码装置
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
US9986236B1 (en) 2013-11-19 2018-05-29 Google Llc Method and apparatus for encoding a block using a partitioned block and weighted prediction values
JP6268989B2 (ja) * 2013-11-29 2018-01-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
RU2696316C1 (ru) 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Адаптивный фильтр увеличения резкости для кодирования с предсказанием
WO2017052405A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
RU2696309C1 (ru) * 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ компенсации движения видео
RU2696311C1 (ru) 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
MX2018003673A (es) 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
WO2017093604A1 (en) * 2015-11-30 2017-06-08 Nokia Technologies Oy A method, an apparatus and a computer program product for encoding and decoding video
US10469841B2 (en) * 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
WO2017188565A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2018062702A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
BR112019005213B1 (pt) * 2016-09-30 2024-01-09 Huawei Technologies Co., Ltd Aparelhos, métodos, e mídia legível por computador para codificar e decodificar sinal de vídeo panorâmico
EP3565248A4 (en) * 2016-12-28 2020-12-02 LG Electronics Inc. -1- INTERPREDICTION-BASED IMAGE PROCESSING METHOD AND DEVICE FOR IT
KR20190112776A (ko) * 2017-01-31 2019-10-07 샤프 가부시키가이샤 평면 내적 예측 비디오 코딩을 수행하기 위한 시스템들 및 방법들
EP3402190A1 (en) * 2017-05-11 2018-11-14 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
GB2563204B (en) * 2017-06-01 2022-01-12 Bae Systems Plc LAR display system and method
CN107105208A (zh) * 2017-06-06 2017-08-29 山东大学 一种Bayer图像的无损编码与解码方法
GB2564151A (en) * 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
BR112020019740A2 (pt) * 2018-03-29 2021-02-17 Huawei Technologies Co., Ltd. aparelho e método de processamento de imagem
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
EP3554071A1 (en) 2018-04-12 2019-10-16 InterDigital VC Holdings, Inc. Method and apparatus for intra prediction using a composite reference array
CN108763671B (zh) * 2018-05-15 2022-07-08 中车青岛四方机车车辆股份有限公司 一种计算车间减振器参数的方法及装置
WO2020056798A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
CN111355959B (zh) * 2018-12-22 2024-04-09 华为技术有限公司 一种图像块划分方法及装置
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
JP7494850B2 (ja) * 2019-06-19 2024-06-04 ソニーグループ株式会社 画像処理装置および方法
TWI802831B (zh) * 2020-12-14 2023-05-21 大陸商北京集創北方科技股份有限公司 特徵圖像擴展方法及利用其之控制晶片和觸控顯示裝置及手持裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277982A (ja) * 1991-03-06 1992-10-02 Matsushita Electric Ind Co Ltd 映像信号の高能率符号化装置
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2007166617A (ja) * 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100459715C (zh) 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
JP2900998B2 (ja) * 1997-07-31 1999-06-02 日本ビクター株式会社 ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
JP4277982B2 (ja) 2003-05-19 2009-06-10 横浜ゴム株式会社 氷雪路用空気入りラジアルタイヤ
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US7587098B2 (en) * 2005-07-14 2009-09-08 Mavs Lab. Inc. Pixel data generating method
KR100678911B1 (ko) 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN100484249C (zh) * 2005-09-25 2009-04-29 海信集团有限公司 视频帧间编码基于边缘方向的帧内预测方法
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
ES2660663T3 (es) * 2005-11-08 2018-03-23 Sun Patent Trust Procedimiento de codificación de imágenes en movimiento, procedimiento de descodificación de imágenes en movimiento y aparatos de los mismos
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法
JP5746182B2 (ja) * 2009-09-14 2015-07-08 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ イントラ予測モードの効率的なビデオ符号化及び復号化方法及び装置
WO2011130051A1 (en) * 2010-04-12 2011-10-20 Sony Corporation Context adaptive directional intra prediction
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8787444B2 (en) * 2010-07-16 2014-07-22 Sony Corporation Differential coding of intra directions (DCIC)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277982A (ja) * 1991-03-06 1992-10-02 Matsushita Electric Ind Co Ltd 映像信号の高能率符号化装置
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2007166617A (ja) * 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2230851A4 *

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107251B2 (en) 2009-04-24 2021-08-31 Sony Corporation Image processing device and method
US9123109B2 (en) 2009-04-24 2015-09-01 Sony Corporation Image processing device and method
US10755444B2 (en) 2009-04-24 2020-08-25 Sony Corporation Image processing device and method
US10755445B2 (en) 2009-04-24 2020-08-25 Sony Corporation Image processing device and method
JP2014180027A (ja) * 2009-08-17 2014-09-25 Samsung Electronics Co Ltd 映像復号化方法
US9369715B2 (en) 2009-08-17 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313502B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9277224B2 (en) 2009-08-17 2016-03-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9319686B2 (en) 2009-08-17 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2015156708A (ja) * 2009-08-17 2015-08-27 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP2015156707A (ja) * 2009-08-17 2015-08-27 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
US9374591B2 (en) 2009-08-17 2016-06-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置
JP2013502808A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、並びに映像の復号化方法及びその装置
JP2014195290A (ja) * 2009-08-17 2014-10-09 Samsung Electronics Co Ltd 映像復号化方法
JP2015111908A (ja) * 2009-08-17 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
JP2015111907A (ja) * 2009-08-17 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
US9049458B2 (en) 2009-08-17 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2014180026A (ja) * 2009-08-17 2014-09-25 Samsung Electronics Co Ltd 映像復号化方法
US9036703B2 (en) 2009-08-17 2015-05-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US8989266B2 (en) 2009-08-17 2015-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9071839B2 (en) 2009-08-17 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2016195445A (ja) * 2009-08-17 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
JP2016195444A (ja) * 2009-08-17 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 映像復号化方法
US9392283B2 (en) 2009-08-17 2016-07-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313503B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR101629475B1 (ko) 2009-09-23 2016-06-22 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシング 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
US10291938B2 (en) 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
JP5798550B2 (ja) * 2010-04-12 2015-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 空間予測方法および空間予測装置
WO2011129085A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
US9961367B2 (en) 2010-04-12 2018-05-01 Sun Patent Trust Spatial prediction method, image decoding method, and image coding method
US9215465B2 (en) 2010-04-12 2015-12-15 Panasonic Intellectual Property Corporation Of America Spatial prediction method, image decoding method, and image coding method
JP2015213377A (ja) * 2010-04-12 2015-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像符号化装置
US9602837B2 (en) 2010-04-12 2017-03-21 Sun Patent Trust Spatial prediction method, image decoding method, and image coding method
WO2011129084A1 (ja) * 2010-04-12 2011-10-20 パナソニック株式会社 空間予測方法、画像復号方法、および画像符号化方法
US8824817B2 (en) 2010-04-12 2014-09-02 Panasonic Intellectual Property Corporation Of America Spatial prediction method, image decoding method, and image coding method
JP2017055409A (ja) * 2010-04-12 2017-03-16 サン パテント トラスト 画像復号化方法および画像復号化装置
US10567797B2 (en) 2010-04-12 2020-02-18 Sun Patent Trust Spatial prediction method, image decoding method, and image coding method
WO2011129074A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
CN102948144A (zh) * 2010-04-26 2013-02-27 松下电器产业株式会社 用于从周围块的统计推断出针对帧内预测的滤波模式
US20160021383A1 (en) * 2010-04-26 2016-01-21 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US8989796B2 (en) 2010-04-26 2015-03-24 Kyocera Corporation Method for adjusting parameter of radio communication system and radio communication system
US20130101032A1 (en) * 2010-04-26 2013-04-25 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
US9197893B2 (en) * 2010-04-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US10477229B2 (en) 2010-04-26 2019-11-12 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
US10116955B2 (en) 2010-04-26 2018-10-30 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
AU2011247331B2 (en) * 2010-04-26 2015-11-26 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
US9973772B2 (en) 2010-04-26 2018-05-15 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2011145328A1 (ja) * 2010-05-18 2011-11-24 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
JP2015164337A (ja) * 2010-08-17 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
US9654800B2 (en) 2010-08-17 2017-05-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9674553B2 (en) 2010-08-17 2017-06-06 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
JP2015164338A (ja) * 2010-08-17 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
JP2015149777A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
JP2015149778A (ja) * 2010-08-17 2015-08-20 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化方法及びその装置
US9661347B2 (en) 2010-08-17 2017-05-23 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9654799B2 (en) 2010-08-17 2017-05-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US10154287B2 (en) 2010-08-17 2018-12-11 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
US9648349B2 (en) 2010-08-17 2017-05-09 Samsung Electronics Co., Ltd. Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
WO2012043676A1 (ja) * 2010-09-29 2012-04-05 シャープ株式会社 復号装置、符号化装置、および、データ構造
WO2012043678A1 (ja) * 2010-09-30 2012-04-05 シャープ株式会社 画像復号装置、画像符号化装置、および、データ構造
JP2012119892A (ja) * 2010-11-30 2012-06-21 Nippon Hoso Kyokai <Nhk> イントラ予測装置、符号化器、復号器、及びプログラム
WO2012077795A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像符号化装置、画像復号装置、およびデータ構造
WO2012090413A1 (ja) * 2010-12-27 2012-07-05 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US9225985B2 (en) 2011-01-14 2015-12-29 Siemens Aktiengesellschaft Methods and devices for forming a prediction value
JP2014507857A (ja) * 2011-01-14 2014-03-27 シーメンス アクチエンゲゼルシヤフト 予測値を形成するための方法および装置
JP2014509119A (ja) * 2011-01-21 2014-04-10 トムソン ライセンシング 幾何学ベースのイントラ予測の方法および装置
WO2012161318A1 (ja) * 2011-05-25 2012-11-29 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10306222B2 (en) 2011-06-20 2019-05-28 Hfi Innovation Inc. Method and apparatus of directional intra prediction
JP2014519768A (ja) * 2011-06-20 2014-08-14 メディア テック シンガポール ピーティーイー．リミテッド 方向性イントラ予測の方法及び装置
JP2014086961A (ja) * 2012-10-25 2014-05-12 Sharp Corp 画像符号化装置
JP2013059131A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2013059132A (ja) * 2012-12-28 2013-03-28 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014225795A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
JP2014112941A (ja) * 2014-02-20 2014-06-19 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2014135742A (ja) * 2014-02-20 2014-07-24 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2015211466A (ja) * 2014-04-24 2015-11-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャを符号化および復号するための方法ならびに対応するデバイス
JP2022137229A (ja) * 2017-09-28 2022-09-21 サムスン エレクトロニクス カンパニー リミテッド 映像復号方法
US11805258B2 (en) 2017-09-28 2023-10-31 Samsung Electronics Co., Ltd. Image encoding and decoding method and apparatus generating an angular intra prediction mode
JPWO2019150435A1 (ja) * 2018-01-30 2020-11-19 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP6992825B2 (ja) 2018-01-30 2022-01-13 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム

Also Published As

Publication number Publication date
CN101682781B (zh) 2012-11-07
JPWO2009090884A1 (ja) 2011-05-26
JP5530181B2 (ja) 2014-06-25
US8971652B2 (en) 2015-03-03
KR20100113448A (ko) 2010-10-21
IL207018A0 (en) 2010-12-30
CA2680698A1 (en) 2009-07-23
ZA201005102B (en) 2011-04-28
US20130251039A1 (en) 2013-09-26
EA201070745A1 (ru) 2011-02-28
RU2010129443A (ru) 2012-02-27
AU2009205202A1 (en) 2009-07-23
EP2230851A1 (en) 2010-09-22
MX2009010053A (es) 2009-10-12
EP2081386A1 (en) 2009-07-22
CN101682781A (zh) 2010-03-24
CN102883159B (zh) 2016-03-02
EP2230851A4 (en) 2011-01-19
US20100128995A1 (en) 2010-05-27
NZ586840A (en) 2012-03-30
BRPI0906880A2 (pt) 2015-07-07
EP2230851B1 (en) 2020-05-27
US8442334B2 (en) 2013-05-14
CN102883159A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5530181B2 (ja) 画像符号化方法及び画像復号方法
JP6498679B2 (ja) 動きベクトル精度の選択
US11910013B2 (en) Image encoding method using a skip mode, and a device using the method
KR101441269B1 (ko) 동화상 복호 장치 및 동화상 복호 방법
US7830963B2 (en) Decoding jointly coded transform type and subblock pattern information
US20160073107A1 (en) Method and apparatus for video encoding/decoding using intra prediction
KR101390620B1 (ko) 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
JP2011514095A (ja) 映像イントラ予測方法及び装置
KR20130137674A (ko) 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
JP2019520743A (ja) 画像データ符号化及び復号化
US20120033737A1 (en) Image processing device and method
US20120121019A1 (en) Image processing device and method
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
CN115988202A (zh) 一种用于帧内预测的设备和方法
WO2013005966A2 (ko) 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
JP2012235278A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN117178549A (zh) 基于帧内预测模式推导的帧内预测方法和装置
JP2008028882A (ja) 動画像符号化装置
JP2012235277A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980000159.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009534005

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12529813

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009702704

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2680698

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 1020097018990

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 5472/CHENP/2009

Country of ref document: IN

Ref document number: PI20093875

Country of ref document: MY

WWE Wipo information: entry into national phase

Ref document number: MX/A/2009/010053

Country of ref document: MX

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09702704

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 207018

Country of ref document: IL

Ref document number: 201070745

Country of ref document: EA

WWE Wipo information: entry into national phase

Ref document number: 586840

Country of ref document: NZ

Ref document number: 12010501614

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009205202

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2009205202

Country of ref document: AU

Date of ref document: 20090116

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010129443

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0906880

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100716