WO2010113227A1 - 画像復号装置 - Google Patents

画像復号装置 Download PDF

Info

Publication number
WO2010113227A1
WO2010113227A1 PCT/JP2009/004761 JP2009004761W WO2010113227A1 WO 2010113227 A1 WO2010113227 A1 WO 2010113227A1 JP 2009004761 W JP2009004761 W JP 2009004761W WO 2010113227 A1 WO2010113227 A1 WO 2010113227A1
Authority
WO
WIPO (PCT)
Prior art keywords
image decoding
macroblock
stream
divided
block
Prior art date
Application number
PCT/JP2009/004761
Other languages
English (en)
French (fr)
Inventor
山口哲
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42827560&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010113227(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011506858A priority Critical patent/JP5275454B2/ja
Publication of WO2010113227A1 publication Critical patent/WO2010113227A1/ja
Priority to US13/246,503 priority patent/US8971401B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • This disclosure relates to an image decoding device that decodes an encoded bitstream.
  • HDTV high-definition television
  • HD high-definition
  • Patent Document 1 discloses a device that uses a plurality of image decoding devices and performs a decoding process on a plurality of slices in a picture in parallel, thereby speeding up the processing.
  • MPEG2 Motion Picture Experts Group 2
  • one picture (picture) is composed of one or more slices
  • one slice is composed of one macroblock line or less.
  • an HD image (1920 ⁇ 1080 pixels)
  • there are always 68 or more slices in a picture there are always 68 or more slices in a picture, and if the apparatus of Patent Document 1 is used, the processing speed is increased by processing a plurality of slices in parallel. be able to.
  • the ITU-T International Telecommunication Union-Telecommunication Sector
  • H.T High-efficiency image coding standards
  • VC-1 allow one picture to be composed of one slice.
  • the size of the slice is also defined more flexibly than MPEG2, and the slice can include any number of macroblocks of 1 or more. When there are a plurality of slices, the size of each slice may not be constant.
  • the device of Patent Literature 1 performs decoding processing in parallel on a bitstream divided in units of slices. For example, when a picture is configured by one slice, this device performs parallel processing. I can't. Also, even if a picture is composed of a plurality of slices, if the size of the slice is not uniform, for example, 80% of the macroblocks constituting the picture are included in one specific slice, and the remaining When only a few macroblocks exist in a slice, the decoding processing time of this specific slice becomes dominant. For this reason, even if a plurality of decoding units are provided for parallel operation, it is not always possible to increase the processing speed corresponding to the number of decoding units.
  • An object of the present invention is to provide an image decoding apparatus that performs decoding processing in parallel regardless of the size of slices constituting a picture.
  • An image decoding apparatus is an image decoding apparatus that processes an input bitstream having encoded data obtained by performing intra prediction and encoding a moving image, and the input bit A stream divider that divides the stream into a plurality of divided streams; and a plurality of image decoding units that respectively decode the plurality of divided streams.
  • the stream divider includes, in each of the plurality of divided streams, encoded data corresponding to one or more prediction units of the plurality of prediction units in the intra prediction included in the macroblock of the moving image. Thus, the input bit stream is divided.
  • a macroblock is divided in units of one or more prediction units (for example, blocks) included in the macroblock, the macroblock can be divided regardless of the size of slices constituting the picture. it can. For this reason, efficient parallel decoding processing can be performed regardless of the size of slices constituting a picture.
  • the present invention it is possible to divide a macroblock regardless of the size of slices constituting a picture. For this reason, an efficient parallel decoding process is realizable.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing blocks included in the macroblock in the case of the color format 4: 2: 0.
  • FIG. 3 is an explanatory diagram illustrating an example of blocks referred to when the image decoding apparatus in FIG. 1 performs decoding.
  • FIG. 2 is an explanatory diagram illustrating an example of pixels referred to when decoding according to H.264.
  • FIG. 5 is an explanatory diagram of bit stream division in the stream divider of FIG.
  • FIG. 6 is a timing chart showing an example of the operation of the image decoding apparatus in FIG.
  • FIG. 7 is an explanatory diagram illustrating an example of pixels referred to by the image decoding unit in FIG.
  • FIG. 8 is a block diagram illustrating a configuration example of the image decoding unit in FIG. 1.
  • FIG. 9 is a timing chart showing an example of a basic operation of the image decoding unit in FIG.
  • FIG. 10 is a timing chart specifically showing an example of the internal operation of the image decoding unit in FIG. 1 that processes the luminance signal.
  • FIG. 11 is a block diagram illustrating a configuration of a first modification of the image decoding device in FIG. 1.
  • FIG. 12 is an explanatory diagram showing blocks included in a macroblock in the case of the color format 4: 2: 2.
  • FIG. 13 is an explanatory diagram of bit stream division in the stream divider shown in FIG. FIG.
  • FIG. 14 is a timing chart showing an example of the operation of the image decoding apparatus in FIG.
  • FIG. 15 is a block diagram illustrating a configuration of a second modification of the image decoding device in FIG. 1.
  • FIG. 16 is an explanatory diagram showing blocks included in a macroblock in the case of the color format 4: 4: 4.
  • FIG. 17 is a block diagram illustrating a configuration of a third modification of the image decoding device in FIG. 1.
  • FIG. 18 is a timing chart showing an example of the operation of the image decoding apparatus in FIG.
  • FIG. 19 is an explanatory diagram illustrating an example of blocks referred to in motion vector prediction.
  • FIG. 20 is an explanatory diagram illustrating an example of blocks referred to in the DC / AC prediction.
  • FIG. 21A is an explanatory diagram for predicting a DC coefficient.
  • FIG. 21B is an explanatory diagram regarding the prediction of the AC coefficient.
  • each functional block in this specification can be typically realized by hardware.
  • each functional block can be formed on a semiconductor substrate as part of an IC (integrated circuit).
  • the IC includes an LSI (Large-Scale Integrated Circuit), an ASIC (Application-Specific Integrated Circuit), a gate array, an FPGA (Field Programmable Gate Array), and the like.
  • some or all of each functional block can be implemented in software.
  • such a functional block can be realized by a program executed on a processor.
  • each functional block described in the present specification may be realized by hardware, may be realized by software, or may be realized by any combination of hardware and software.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus in FIG. 1 is an image decoding apparatus that decodes an input bitstream IST having encoded data obtained by encoding a moving image by performing intra prediction, and includes a stream divider 110, The stream buffers 120, 121, 122, 123, the parameter decoder 132, the decoding timing controller 134, the reference information storage unit 136, the image decoding units 141, 142, 143, and the frame memory 152 are included. .
  • FIG. 2 is an explanatory diagram showing blocks included in the macro block in the case of the color format 4: 2: 0.
  • Each picture included in the moving image of the input bitstream IST is composed of a large number of macroblocks.
  • each macro block has luminance signal blocks Y0, Y1, Y2, and Y3, a blue color difference signal block Cb, and a red color difference signal block Cr.
  • the luminance signal blocks Y0 to Y3 are arranged in 2 rows and 2 columns in the macroblock.
  • the blocks Y0 to Y3, Cb, and Cr are all prediction units in the intra prediction.
  • the macroblock is, for example, H.264. H.264.
  • each macro block will be described as having encoded data corresponding to 16 ⁇ 16 pixels.
  • each of the blocks Y0 to Y3, Cb, and Cr has encoded data corresponding to 8 ⁇ 8 pixels.
  • the number of pixels corresponding to the macroblock is not limited to this, and may be 8 ⁇ 8 pixels, for example.
  • H.264 in order to improve the compression efficiency by utilizing the correlation between adjacent blocks in the screen, a compression encoding technique called intra prediction is introduced to improve the encoding efficiency.
  • FIG. 3 is an explanatory diagram illustrating an example of blocks referred to when the image decoding apparatus in FIG. 1 performs decoding.
  • intra prediction for example, at least one of intra prediction for predicting pixel values, motion vector prediction for predicting motion vectors, and DC / AC prediction for predicting DC components and AC components of DCT coefficients is performed. .
  • H The intra prediction according to H.264 will be described.
  • four blocks arranged on the left, upper left, upper, and upper right of this block can be referred to in the screen of the decoding target block.
  • An optimal prediction direction can be selected for each decoding target block.
  • blocks in different frames are referenced, but blocks in the same screen are not referenced.
  • FIG. 2 is an explanatory diagram illustrating an example of pixels referred to when decoding according to H.264.
  • H.264 intra 8 ⁇ 8 prediction pixel information adjacent to the target block is used as reference information as shown in FIG. 4 when the target block is decoded.
  • FIG. 5 is an explanatory diagram of bit stream division in the stream divider 110 of FIG.
  • the decoding processing operation below the macroblock layer by the image decoding apparatus of FIG. 1 will be described.
  • the stream divider 110 performs bit pattern analysis of the input bit stream IST, and divides the input bit stream IST into divided streams STP, STA, STB, and STC according to the analysis result. At this time, the stream divider 110 does not perform a decoding process for obtaining pixel data.
  • the stream divider 110 divides each macro block (MB) of the input bit stream IST so that encoded data of one or more blocks included in the macro block is included in each of the divided streams STA, STB, and STC. To do.
  • the stream divider 110 includes a macroblock header for the divided stream STP, encoded data of the luminance signal blocks Y0 and Y1 for the divided stream STA, and a luminance signal block Y2 for the divided stream STB.
  • the input bit stream IST is divided so that the encoded data of Y3 and the divided stream STC include the encoded data of the color difference signal blocks Cb and Cr.
  • the stream divider 110 outputs the divided streams STP, STA, STB, and STC to the stream buffers 120, 121, 122, and 123, respectively.
  • the stream buffers 120, 121, 122, and 123 store the divided streams STP, STA, STB, and STC, respectively. Therefore, the stream buffer 120 has encoded data indicating the encoding information of each macroblock, the stream buffer 121 has encoded data of blocks Y0 and Y1 of each macroblock, and the stream buffer 122 has blocks Y2 of each macroblock.
  • the encoded data of Y3 and the stream buffer 123 store the encoded data of blocks Cb and Cr of each macroblock.
  • the parameter decoder 132 reads the macroblock header MBH from the stream buffer 120 storing the divided stream STP and decodes it.
  • the parameter decoder 132 outputs the macroblock coding information MBI obtained by decoding to the image decoding unit 141, and outputs a completion signal EP indicating that decoding is complete to the decoding timing controller 134.
  • the decoding timing controller 134 outputs the activation signals SP, SA, SB, and SC to the parameter decoding unit 132 and the image decoding units 141 to 143, respectively, so that the parameter decoder 132 and the image decoding units 141 to 143 Controls the start timing of the decoding process.
  • the decoding timing controller 134 causes the image decoding unit for which an image of an adjacent block necessary for decoding processing has already been obtained among the image decoding units 141 to 143 to start processing.
  • the image decoding units 141 to 143 transfer data between the image decoding units 141 to 143 when notified by the activation signals SA, SB, and SC from the decoding timing controller 134 that processing should be started.
  • the transferred data includes macroblock coding information MBI.
  • intra prediction is performed.
  • the image decoding unit 141 is activated by the activation signal SA from the decoding timing controller 134, reads the encoded data CYA from the stream buffer 121 storing the divided stream STA, and stores the frame memory 152 and reference information as necessary.
  • the encoded data CYA is decoded while accessing the unit 136.
  • the image decoding unit 141 stores the decoded image DYA obtained by decoding in the frame memory 152, outputs a completion signal EA indicating that the decoding is completed to the decoding timing controller 134, and sets the macroblock coding information MBI as the macroblock coding information MBI.
  • the image is output to the image decoding unit 142.
  • the image decoding unit 142 is activated by the activation signal SB from the decoding timing controller 134, reads the encoded data CYB from the stream buffer 122 storing the divided stream STB, and stores the frame memory 152 and reference information as necessary.
  • the encoded data CYB is decoded while accessing the unit 136.
  • the image decoding unit 142 stores the decoded image DYB obtained by decoding in the frame memory 152, outputs a completion signal EB indicating that the decoding is completed to the decoding timing controller 134, and sets the macroblock coding information MBI.
  • the image is output to the image decoding unit 143.
  • the image decoding unit 143 is activated by the activation signal SC from the decoding timing controller 134, reads the encoded data CC from the stream buffer 123 storing the divided stream STC, and stores the frame memory 152 and reference information as necessary.
  • the encoded data CC is decoded while accessing the unit 136.
  • the image decoding unit 143 stores the decoded image DC obtained by decoding in the frame memory 152, and outputs a completion signal EC indicating that decoding is complete to the decoding timing controller 134.
  • the reference information storage unit 136 stores reference information necessary in the process of decoding the encoded data CYA, CYB, and CC in the image decoding units 141 to 143.
  • the stored reference information is, for example, an image (intra prediction pixel) or a predicted motion vector obtained as a result of decoding processing by the image decoding units 141 to 143.
  • the reference information may be an intermediate processing result (for example, an image before passing through the deblocking filter) in the image decoding units 141 to 143.
  • the frame memory 152 stores the decoded images DYA, DYB, and DC decoded by the image decoding units 141 to 143.
  • FIG. 6 is a timing chart showing an example of the operation of the image decoding apparatus in FIG. The processing for each period will be described in detail with reference to FIG.
  • the decoding timing controller 134 When the divided streams are stored in the stream buffers 120 to 123, the decoding timing controller 134 outputs an activation signal SP to the parameter decoder 132.
  • the parameter decoder 132 receives the activation signal SP, the parameter decoder 132 reads the macroblock header MBH from the stream buffer 120 and decodes it to obtain macroblock coding information of the macroblock # 0.
  • the parameter decoder 132 notifies the completion by outputting a completion signal EP to the decoding timing controller 134.
  • the decoding timing controller 134 Upon receipt of the completion signal EP, the decoding timing controller 134 recognizes the end of the macroblock processing period MI0 and outputs the activation signal SP to obtain the encoding information of the next macroblock # 1 and outputs the parameter decoder. 132 is started. Further, the decoding timing controller 134 outputs an activation signal SA to the image decoding unit 141 in order to perform decoding processing of the blocks Y0 and Y1 of the macroblock # 0.
  • the parameter decoder 132 When receiving the activation signal SP, the parameter decoder 132 reads and decodes the macroblock header MBH from the stream buffer 120, similarly to the period MI0, and obtains macroblock coding information of the macroblock # 1. The parameter decoder 132 notifies the completion by outputting a completion signal EP to the decoding timing controller 134.
  • the image decoding unit 141 Upon receiving the activation signal SA, the image decoding unit 141 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the parameter decoder 132, and reads the encoded data CYA from the stream buffer 121. The image decoding unit 141 decodes the read encoded data using the macroblock encoding information MBI of the macroblock # 0, and outputs the obtained decoded images DYA of the blocks Y0 and Y1 to the frame memory 152. . When the decoding is completed, the image decoding unit 141 notifies the completion by outputting a completion signal EA to the decoding timing controller 134.
  • the image decoding unit 141 stores, in the reference information storage unit 136, reference portions that are necessary for decoding the blocks Y2 and Y3 of the macroblock # 0. Store.
  • the decoding timing controller 134 Upon receipt of the completion signals EP and EA, the decoding timing controller 134 recognizes the end of the macroblock processing period MI1 and outputs the activation signal SP to obtain the encoding information of the next macroblock # 2 and outputs the parameter The decoder 132 is activated. Further, the decoding timing controller 134 outputs an activation signal SA to the image decoding unit 141 in order to perform the decoding process of the blocks Y0 and Y1 of the macroblock # 1.
  • the decoding timing controller 134 outputs an activation signal SB to the image decoding unit 142 in order to perform the decoding processing of the blocks Y2 and Y3 of the macroblock # 0.
  • parameter decoder 132 receives activation signal SP, parameter decoder 132 obtains macroblock encoding information of macroblock # 2 in the same manner as in period MI0.
  • the image decoding unit 141 performs the same operation as in the period MI1 except that the processing is performed on the macroblock # 1 instead of the macroblock # 0.
  • the image decoding unit 141 stores, in the reference information storage unit 136, reference portions that are necessary for decoding processing of the blocks Y2 and Y3 of the macroblock # 1. Store.
  • FIG. 7 is an explanatory diagram illustrating an example of pixels referred to by the image decoding unit 142 in FIG. 1 that decodes the blocks Y2 and Y3.
  • each macroblock has four blocks Y0, Y1, Y2, and Y3 as shown in FIG. Focusing on the information necessary for the image decoding unit 142, when the blocks Y2 and Y3 are decoded, information of pixels adjacent to the blocks Y2 and Y3 is used as reference information as shown in FIG.
  • These pixels are (1) Blocks Y0 and Y1 belonging to the same macroblock as the blocks Y2 and Y3, (2) Block Y1 of the left adjacent macroblock, and (3) Block Y3 of the left adjacent macroblock Included.
  • (1) and (2) are stored in the reference information storage unit 136 by the image decoding unit 141 as a decoding processing result.
  • (1) and (2) are stored before the image decoding unit 142 processes the blocks Y2 and Y3.
  • the image decoding unit 142 reads (1) and (2) from the reference information storage unit 136 and uses them.
  • (3) is a block processed by the image decoding unit 142, and is a decoding result of the macroblock processed before processing the blocks Y2 and Y3. Therefore, the image decoding unit 142 sets the reference information storage unit 136 to (3) can be used without going through.
  • the image decoding unit 142 When receiving the activation signal SB, the image decoding unit 142 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the image decoding unit 141, reads out the encoded data CYB from the stream buffer 122, and is read out. The encoded data is decoded to obtain decoded images of blocks Y2 and Y3. The decoded image data of the blocks Y0 and Y1 of the macroblock # 0 that need to be referenced in the intra prediction process is stored in the reference information storage unit 136 as reference information by the image decoding unit 141 in the period MI1. In decoding, the image decoding unit 142 reads the decoded images of the blocks Y0 and Y1 of the macroblock # 0 and other reference information and performs processing.
  • the image decoding unit 142 outputs the obtained decoded images DYB of the blocks Y2 and Y3 to the frame memory 152.
  • the image decoding unit 142 notifies the completion by outputting a completion signal EB to the decoding timing controller 134.
  • the decoding timing controller 134 Upon receiving the completion signals EP, EA, and EB, the decoding timing controller 134 recognizes the end of the macroblock processing period MI2 and outputs the activation signal SP to obtain the encoded information of the next macroblock # 3. Then, the parameter decoder 132 is activated. In addition, the decoding timing controller 134 outputs an activation signal SA to the image decoding unit 141 in order to perform decoding processing of the blocks Y0 and Y1 of the macroblock # 2.
  • the decoding timing controller 134 outputs an activation signal SB to the image decoding unit 142 in order to perform decoding processing of the blocks Y2 and Y3 of the macroblock # 1. Further, the decoding timing controller 134 outputs an activation signal SC to the image decoding unit 143 in order to perform the decoding process of the blocks Cb and Cr of the macroblock # 0.
  • parameter decoder 132 receives activation signal SP, parameter decoder 132 obtains macroblock encoding information of macroblock # 3 in the same manner as in period MI0.
  • the image decoding unit 141 performs the same operation as in the period MI1 except that the processing is performed on the macroblock # 2 instead of the macroblock # 0.
  • the image decoding unit 141 stores, in the reference information storage unit 136, reference portions that are necessary for decoding the blocks Y2 and Y3 of the macroblock # 2.
  • the image decoding unit 142 performs the same operation as in the period MI2 except that the processing is performed on the macroblock # 1 instead of the macroblock # 0.
  • the image decoding unit 143 When receiving the activation signal SC, the image decoding unit 143 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the image decoding unit 142, reads out the encoded data CC from the stream buffer 123, and is read out. The encoded data is decoded to obtain decoded images of the blocks Cb and Cr. The image decoding unit 143 outputs the obtained decoded images DC of the blocks Cb and Cr to the frame memory 152. When the decoding is completed, the image decoding unit 143 notifies the completion by outputting a completion signal EC to the decoding timing controller 134.
  • ⁇ Macro block processing period MI4> Upon receiving the completion signals EP, EA, EB, and EC, the decoding timing controller 134 recognizes the end of the macroblock processing period MI3 and outputs the activation signals SP, SA, SB, and SC. Each of the image decoding units 141, 142, and 143 performs the same processing as in the period MI3, except that the next macroblock is processed.
  • the same processing as that in the period MI3 is repeated except that the macroblock to be processed is changed to a subsequent macroblock for each period.
  • the parameter decoder 132 and the image decoding units 141 to 143 perform processing related to macroblocks in a pipeline manner.
  • the image decoding units 141 to 143 receive Coded_Block_Pattern or skip information as one of the parameters to determine whether the encoded data of each block is included in the divided stream, and indicate the corresponding block of Coded_Block_Pattern When the bit is 0, at least the variable length decoding process is not performed.
  • the reference information storage unit 136 has at least two areas, and the image decoding units 141 to 143 alternately write to the two areas of the reference information storage unit 136 each time a new macroblock is processed. May be.
  • the image decoding units 141 to 143 write the processing results of the macro blocks # 0, # 2, # 4,... Into the first area of the reference information storage unit 136, and the macro blocks # 1, # 3, # 5, Are written in the second area of the reference information storage unit 136.
  • the case where the stream divider 110 divides the input bitstream IST so that each of the divided streams STA, STB, and STC includes two blocks of a certain macroblock has been described.
  • the input bitstream IST may be divided so that a block of a certain macroblock is included one by one or three or more.
  • a stream buffer and an image decoding unit corresponding to each of the divided streams are used.
  • the macroblock can be used regardless of the size of slices constituting the picture. Can be divided. For this reason, even if the picture is composed of any slice, an efficient parallel decoding process can be realized. For example, parallel processing can be performed without any problem even when a picture is composed of one slice or when a picture is composed of a plurality of slices but there is an extreme bias in the size of each slice. it can.
  • the image decoding unit refers to the decoding results of other image decoding units as reference information used for intra-screen prediction, and a plurality of image decoding units perform processing in synchronism in units of macroblocks. Decoding processing is possible. Since the encoded data of each macroblock is equally divided into three, the processing load in the three image decoding units 141 to 143 can be made almost equal.
  • a parallel decoding process can be performed on a bitstream compliant with an image coding standard such as H.264 with low power consumption and low cost.
  • the image decoding units 141 to 143 are pipelined. However, since the image decoding unit 143 that processes the blocks Cb and Cr does not need to use the decoding results of the image decoding units 141 and 142, the image decoding unit 143 performs processing of the same macroblock simultaneously with the image decoding unit 141 or 142. You may make it perform.
  • the image decoding units 141 and 142 that decode the luminance signal block and the image decoding unit 143 that decodes the chrominance signal block may be configured in the same manner, and the image decoding units 141 and 142 perform the decoding process of the luminance signal.
  • the image decoding unit 143 may have a configuration specialized for color difference signal decoding processing.
  • FIG. 8 is a block diagram illustrating a configuration example of the image decoding unit 141 in FIG.
  • the image decoding unit 141 includes a variable length decoding unit 161, an inverse quantization unit 162, an inverse transform unit 163, a motion compensation unit 164, an intra prediction unit 165, and a deblocking filter 166.
  • the image decoding units 142 and 143 in FIG. 1 are configured similarly to the image decoding unit 141.
  • the image decoding units 141 to 143 can operate as follows.
  • FIG. 9 is a timing chart showing an example of the operation of the image decoding unit 141 in FIG.
  • the variable length decoding unit 161 performs processing on the macroblocks # 0, # 1, # 2, # 3, # 4,... In the periods NI0, NI1, NI2, NI3, NI4,. To the conversion unit 162.
  • the processing for each macroblock includes the processing for the six blocks Y0 to Y3, Cb and Cr in FIG.
  • the inverse quantization unit 162 performs processing on the processing results performed by the variable length decoding unit 161 during the periods NI0, NI1, NI2, NI3,... During the periods NI1, NI2, NI3, NI4,. Is output to the inverse transform unit 163.
  • the inverse transform unit 163 performs processing on the processing results performed by the inverse quantization unit 162 in the periods NI1, NI2, NI3,... In the periods NI2, NI3, NI4,. And output to the intra prediction unit 165.
  • the motion compensation unit 164 and the intra prediction unit 165 respectively process the processing results performed by the inverse transform unit 163 in the periods NI2, NI3,. Output to.
  • the deblocking filter 166 performs processing on the processing results performed by the motion compensation unit 164 and the intra prediction unit 165 in the periods NI3, NI4,.
  • the image decoding unit 141 performs pipeline processing.
  • the image decoding units 142 and 143 also operate in the same manner as in FIG.
  • FIG. 10 is a timing chart specifically showing an example of the internal operation of the image decoding units 141 and 142 in FIG. 1 for processing the luminance signal.
  • the variable length decoding unit 161 of the image decoding unit 141 reads the encoded data CYA from the stream buffer 121, performs variable length decoding, and performs inverse quantization on the decoding results of the obtained blocks Y0 and Y1 of the macroblock # 0. To the conversion unit 162.
  • variable length decoding unit 161 reads the encoded data CYA from the stream buffer 121, performs variable length decoding, and outputs the obtained decoding results of the blocks Y0 and Y1 of the macroblock # 1 to the inverse quantization unit 162. To do.
  • the inverse quantization unit 162 performs inverse quantization on the decoding result of the macroblock # 0 obtained by the variable length decoding unit 161, and outputs the result to the inverse conversion unit 163.
  • variable length decoding unit 161 reads the encoded data CYA from the stream buffer 121, performs variable length decoding, and outputs the obtained decoding results of the blocks Y0 and Y1 of the macroblock # 2 to the inverse quantization unit 162.
  • the inverse quantization unit 162 performs inverse quantization on the decoding result of the macroblock # 1 obtained by the variable length decoding unit 161, and outputs the result to the inverse transform unit 163.
  • the inverse transform unit 163 performs inverse orthogonal transform on the processing result of the macroblock # 0 obtained by the inverse quantization unit 162, and outputs the result to the motion compensation unit 164 and the intra prediction unit 165.
  • variable length decoding unit 161 reads the encoded data CYA from the stream buffer 121, performs variable length decoding, and outputs the obtained decoding results of the blocks Y0 and Y1 of the macroblock # 3 to the inverse quantization unit 162.
  • the inverse quantization unit 162 performs inverse quantization on the decoding result of the macroblock # 2 obtained by the variable length decoding unit 161, and outputs the result to the inverse transform unit 163.
  • the inverse transform unit 163 performs inverse orthogonal transform on the processing result of the macroblock # 1 obtained by the inverse quantization unit 162, and outputs the result to the motion compensation unit 164 and the intra prediction unit 165.
  • the motion compensation unit 164 and the intra prediction unit 165 perform motion compensation and intra prediction on the processing result of the macroblock # 0 obtained by the inverse transform unit 163, and output the result to the deblocking filter 166.
  • variable length decoding unit 161 reads the encoded data CYA from the stream buffer 121, performs variable length decoding, and outputs the obtained decoding results of the blocks Y0 and Y1 of the macroblock # 4 to the inverse quantization unit 162. To do.
  • the inverse quantization unit 162 performs inverse quantization on the decoding result of the macroblock # 3 obtained by the variable length decoding unit 161, and outputs the result to the inverse transform unit 163.
  • the inverse transform unit 163 performs inverse orthogonal transform on the processing result of the macroblock # 2 obtained by the inverse quantization unit 162, and outputs the result to the motion compensation unit 164 and the intra prediction unit 165.
  • the motion compensation unit 164 and the intra prediction unit 165 perform motion compensation and intra prediction on the processing result of the macroblock # 1 obtained by the inverse transform unit 163, and output the result to the deblocking filter 166.
  • the deblocking filter 166 performs a deblocking process on the processing result of the macroblock # 0 obtained by the motion compensation unit 164 and the intra prediction unit 165, and outputs the result as a decoding result DYA.
  • variable length decoding unit, the inverse quantization unit, the inverse transform unit, the motion compensation unit, the intra prediction unit, and the deblocking filter of the image decoding unit 142 are also connected to the image decoding unit 141 for the blocks Y2 and Y3 of each macroblock. The same processing is performed. However, the processing of the image decoding unit 142 starts from the period NJ1.
  • the length of each stage is shorter than when processing is performed as shown in FIG. Can do.
  • FIG. 11 is a block diagram showing a configuration of a first modification of the image decoding apparatus in FIG.
  • the image decoding apparatus in FIG. 11 includes stream buffers 223 and 224 instead of the stream buffer 123, and image decoding sections 243 and 244 in place of the image decoding section 143. Is different.
  • FIG. 12 is an explanatory diagram showing blocks included in the macro block in the case of the color format 4: 2: 2.
  • Each picture included in the moving image of the input bitstream IST is composed of a large number of macroblocks.
  • each macroblock has luminance signal blocks Y0, Y1, Y2, and Y3, blue color difference signal blocks Cb0 and Cb1, and red color difference signal blocks Cr0 and Cr1.
  • the luminance signal blocks Y0 to Y3 are arranged in 2 rows and 2 columns in the macroblock.
  • the blue color difference signal blocks Cb0 and Cb1 are arranged in 2 rows and 1 column in the macroblock.
  • the red color difference signal blocks Cr0 and Cr1 are arranged in 2 rows and 1 column in the macroblock.
  • the blocks Y0 to Y3, Cb0, Cb1, Cr0, and Cr1 are all prediction units in the intra prediction.
  • the blocks Y0 to Y3, Cb0, Cb1, Cr0, and Cr1 each have encoded data corresponding to 8 ⁇ 8 pixels.
  • the number of pixels corresponding to the macroblock is not limited to this, and may be 8 ⁇ 8 pixels, for example.
  • FIG. 13 is an explanatory diagram of bit stream division in the stream divider 210 of FIG.
  • the decoding processing operation below the macroblock layer by the image decoding apparatus in FIG. 11 will be described.
  • the stream divider 210 performs bit pattern analysis of the input bit stream IST, and divides the input bit stream IST into divided streams STP, STA, STB, STC, STD according to the analysis result. At this time, the stream divider 210 does not perform a decoding process for obtaining pixel data.
  • the stream divider 210 converts each macroblock of the input bitstream IST so that encoded data corresponding to one or more blocks included in the macroblock is included in each of the divided streams STA, STB, STC, STD. To divide.
  • the stream divider 210 has a macroblock header for the divided stream STP, encoded data of the luminance signal blocks Y0 and Y1 for the divided stream STA, and a luminance signal block Y2 for the divided stream STB.
  • the input bit stream IST is divided so that the encoded data of Y3, the divided stream STC includes the encoded data of the color difference signal blocks Cb0 and Cr0, and the divided stream STD includes the encoded data of the color difference signal blocks Cb1 and Cr1. .
  • the stream divider 210 outputs the divided streams STP, STA, STB, STC, STD to the stream buffers 120, 121, 122, 223, 224, respectively.
  • the stream buffers 120, 121, 122, 223, and 224 store the divided streams STP, STA, STB, STC, and STD, respectively. Therefore, the stream buffer 120 has encoded data indicating the encoding information of each macroblock, the stream buffer 121 has encoded data of blocks Y0 and Y1 of each macroblock, and the stream buffer 122 has blocks Y2 of each macroblock.
  • the encoded data of Y3, the stream buffer 223, the encoded data of blocks Cb0 and Cr0 of each macroblock, and the stream buffer 224 store the encoded data of blocks Cb1 and Cr1 of each macroblock.
  • FIG. 14 is a timing chart showing an example of the operation of the image decoding apparatus in FIG. The processing for each period will be described in detail with reference to FIG.
  • the macro block processing periods MI0 to MI2 are the same as those described with reference to FIG.
  • the decoding timing controller 234 Upon receiving the completion signals EP, EA, and EB, the decoding timing controller 234 recognizes the end of the macroblock processing period MI2 and outputs the activation signal SP to obtain the encoding information of the next macroblock # 3. Then, the parameter decoder 132 is activated. In addition, the decoding timing controller 234 outputs an activation signal SA to the image decoding unit 141 in order to perform decoding processing of the blocks Y0 and Y1 of the macroblock # 2.
  • the decoding timing controller 234 outputs an activation signal SB to the image decoding unit 142 in order to perform the decoding process of the blocks Y2 and Y3 of the macroblock # 1. Further, the decoding timing controller 234 outputs an activation signal SC to the image decoding unit 243 in order to perform the decoding process of the blocks Cb0 and Cr0 of the macroblock # 0.
  • parameter decoder 132 receives activation signal SP, parameter decoder 132 obtains macroblock encoding information of macroblock # 3 in the same manner as in period MI0.
  • the image decoding units 141 and 142 are the same as those in FIG.
  • the image decoding unit 243 Upon receiving the activation signal SC, the image decoding unit 243 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the image decoding unit 142, reads out the encoded data CC0 from the stream buffer 223, and decodes it. Decoded images of blocks Cb0 and Cr0 of macroblock # 0 are obtained. The image decoding unit 243 outputs the obtained decoded image DC0 of the blocks Cb0 and Cr0 to the frame memory 252. When the decoding is completed, the image decoding unit 243 notifies the completion by outputting a completion signal EC to the decoding timing controller 234. Of the obtained decoded images of the blocks Cb0 and Cr0 of the macroblock # 0, the image decoding unit 243 stores in the reference information storage unit 236, as reference information, portions necessary for decoding the blocks Cb1 and Cr1 of the macroblock # 0. Store.
  • ⁇ Macro block processing period MI4> When receiving the completion signals EP, EA, EB, and EC, the decoding timing controller 234 recognizes the end of the macroblock processing period MI3 and outputs the activation signals SP, SA, SB, and SC. Each of the image decoding units 141, 142, and 243 performs the same processing as in the period MI3, except that the next macroblock is processed.
  • the decoding timing controller 234 outputs an activation signal SD to the image decoding unit 243 in order to perform the decoding processing of the blocks Cb1 and Cr1 of the macroblock # 0.
  • parameter decoder 132 receives activation signal SP, parameter decoder 132 obtains macroblock coding information of macroblock # 4 in the same manner as in period MI0.
  • the image decoding unit 244 Upon receiving the activation signal SD, the image decoding unit 244 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the image decoding unit 243, reads out the encoded data CC1 from the stream buffer 224, decodes it, Decoded images of the blocks Cb1 and Cr1 of the macroblock # 0 are obtained.
  • the decoded image data of the blocks Cb0 and Cr0 of the macroblock # 0 that need to be referred to in the intra prediction process is stored in the reference information storage unit 236 as reference information in the period MI3.
  • the image decoding unit 244 reads and processes the decoded images of the blocks Cb0 and Cr0 of the macroblock # 0 and other reference information.
  • the image decoding unit 244 outputs the obtained decoded image DC1 of the blocks Cb1 and Cr1 to the frame memory 252. When the decoding is completed, the image decoding unit 244 notifies the completion by outputting a completion signal ED to the decoding timing controller 234.
  • ⁇ Macro block processing period MI5> When receiving the completion signals EP, EA, EB, EC, and ED, the decoding timing controller 234 recognizes the end of the macroblock processing period MI4 and outputs the activation signals SP, SA, SB, SC, and SD. Each of the image decoding units 141, 142, 243, and 244 performs the same processing as in the period MI4 except that the next macroblock is processed.
  • the same processing as that in the period MI4 is repeated except that the macroblock to be processed is changed to a subsequent macroblock for each period.
  • the parameter decoder 132 and the image decoding units 141, 142, 243, and 244 perform processing related to macroblocks in a pipeline manner.
  • the image decoding unit refers to the decoding results of other image decoding units as reference information used for intra prediction, and the plurality of image decoding units are in units of macroblocks. Since the processes are performed in synchronization with each other, parallel decoding processing of the divided streams is possible. Since the encoded data of each macroblock is equally divided into four, the processing load in the four image decoding units 141, 142, 243, and 244 can be substantially equalized.
  • the image decoding unit 243 performs the same macroblock processing as the image decoding unit 141, and the image decoding unit 244 The same macroblock processing may be performed simultaneously with the decoding unit 142.
  • FIG. 15 is a block diagram showing a configuration of a second modification of the image decoding device of FIG.
  • the image decoding apparatus in FIG. 15 includes stream buffers 323, 324, 325, and 326 instead of the stream buffer 123, and image decoding units 343, 344, 345, and 346 instead of the image decoding unit 143.
  • FIG. 16 is an explanatory diagram showing blocks included in the macro block in the case of the color format 4: 4: 4.
  • Each picture included in the moving image of the input bitstream IST is composed of a large number of macroblocks.
  • each macro block has luminance signal blocks Y0, Y1, Y2, and Y3, blue color difference signal blocks Cb0, Cb1, Cb2, and Cb3, and red color difference signal blocks Cr0, Cr1, Cr2, and Cr3.
  • the luminance signal blocks Y0 to Y3 are arranged in 2 rows and 2 columns in the macroblock.
  • the blue color difference signal blocks Cb0 to Cb3 are arranged in 2 rows and 2 columns in the macroblock.
  • the red color difference signal blocks Cr0 to Cr3 are arranged in 2 rows and 2 columns in the macro block.
  • the blocks Y0 to Y3, Cb0 to Cb3, and Cr0 to Cr3 are all prediction units in intra prediction.
  • the blocks Y0 to Y3, Cb0 to Cb3, and Cr0 to Cr3 each have encoded data corresponding to 8 ⁇ 8 pixels.
  • the number of pixels corresponding to the macroblock is not limited to this, and may be 8 ⁇ 8 pixels, for example.
  • the stream divider 310 performs bit pattern analysis of the input bit stream IST, and divides the input bit stream IST into divided streams STP, STA, STB, STC, STD, STE, and STF according to the analysis result. At this time, the stream divider 310 does not perform a decoding process for obtaining pixel data.
  • the stream divider 310 includes, in each of the divided streams STA, STB, STC, STD, STE, and STF, each macroblock of the input bitstream IST, and encoded data corresponding to one or more blocks included in the macroblock. Divide as you can.
  • the stream divider 310 includes a macroblock header for the divided stream STP, encoded data of the luminance signal blocks Y0 and Y1 for the divided stream STA, and encoded data of the luminance signal blocks Y2 and Y3 for the divided stream STB,
  • the divided stream STC is encoded data of the color difference signal blocks Cb0 and Cb1
  • the divided stream STD is encoded data of the color difference signal blocks Cb2 and Cr3
  • the divided stream STE is encoded data of the color difference signal blocks Cr0 and Cr1
  • the divided stream The input bit stream IST is divided so that the STF includes encoded data of the color difference signal blocks Cr2 and Cr3.
  • the stream divider 310 outputs the divided streams STP, STA, STB, STC, STD, STE, and STF to the stream buffers 120, 121, 122, 323, 324, 325, and 326, respectively.
  • the stream buffers 120 to 122, 323 to 326 store the divided streams STP, STA, STB, STC, STD, STE, and STF, respectively.
  • the decoding timing controller 334 outputs start signals SC, SD, SE, and SF to the image decoding units 343 to 346, respectively, thereby controlling the start timing of decoding processing of the image decoding units 343 to 346.
  • the configuration is substantially the same as the decoding timing controller 134 of FIG.
  • the image decoding units 141 and 142 are the same as in the case of FIG.
  • the image decoding unit 343 is activated by the activation signal SC from the decoding timing controller 334, reads the encoded data CCA from the stream buffer 323 storing the divided stream STC, and stores the frame memory 352 and reference information as necessary.
  • the encoded data CCA is decoded while accessing the unit 336.
  • the image decoding unit 343 stores the decoded image DCA obtained by decoding in the frame memory 352, outputs a completion signal EC indicating completion of decoding to the decoding timing controller 334, and sets the macroblock encoding information MBI.
  • the image is output to the image decoding unit 344.
  • the image decoding unit 344 is activated by the activation signal SD from the decoding timing controller 334, reads the encoded data CCB from the stream buffer 324 storing the divided stream STD, and stores the frame memory 352 and reference information as necessary.
  • the encoded data CCB is decoded while accessing the unit 336.
  • the image decoding unit 344 stores the decoded image DCB obtained by decoding in the frame memory 352, outputs a completion signal ED indicating that the decoding is completed to the decoding timing controller 334, and sets the macroblock coding information MBI.
  • the image is output to the image decoding unit 345.
  • the image decoding unit 345 is activated by the activation signal SE from the decoding timing controller 334, reads the encoded data CCC from the stream buffer 325 storing the divided stream STE, and stores the frame memory 352 and reference information as necessary.
  • the encoded data CCC is decoded while accessing the unit 336.
  • the image decoding unit 345 stores the decoded image DCC obtained by decoding in the frame memory 352, outputs a completion signal EE indicating that the decoding is completed to the decoding timing controller 334, and sets the macroblock coding information MBI.
  • the image is output to the image decoding unit 346.
  • the image decoding unit 346 is activated by the activation signal SF from the decoding timing controller 334, reads the encoded data CCD from the stream buffer 326 storing the divided stream STF, and stores the frame memory 352 and reference information as necessary.
  • the encoded data CCD is decoded while accessing the unit 336.
  • the image decoding unit 346 stores the decoded image DCD obtained by decoding in the frame memory 352, and outputs a completion signal EF indicating that the decoding is completed to the decoding timing controller 334.
  • the image decoding units 343 to 346 do not need to use the decoding results of the image decoding units 141 and 142, the image decoding units 343 and 345 perform the same macroblock processing simultaneously with the image decoding unit 141, and the image decoding units 344 and 346 The same macroblock processing can be performed simultaneously with the image decoding unit 142.
  • the image decoding unit refers to the decoding results of other image decoding units as reference information used for intra prediction, and a plurality of image decoding units perform processing in synchronization with each macroblock. Therefore, parallel decoding processing of the divided streams is possible. Since the encoded data of each macroblock is equally divided into six, the processing load in the six image decoding units 141, 142, 343 to 346 can be made almost equal.
  • FIG. 17 is a block diagram showing the configuration of the third modification of the image decoding apparatus in FIG.
  • the image decoding apparatus in FIG. 17 is different from the image decoding apparatus in FIG. 1 in that it further includes an image output unit 454.
  • the image output unit 454 stores the images decoded by the image decoding units 141 to 143, and the decoded images for all the blocks (here, the blocks Y0 to Y3, Cb, and Cr) included in one macroblock. Is stored, the decoded image for that macroblock is output.
  • FIG. 18 is a timing chart showing an example of the operation of the image decoding apparatus in FIG. The processing for each period will be described in detail with reference to FIG.
  • the image decoding unit 141 outputs the decoded images DYA of the blocks Y0 and Y1 obtained by decoding not to the frame memory 452 but to the image output unit 454.
  • the image output unit 454 stores the decoded image DYA. The same applies to the following periods. Other points are the same as in the case of FIG.
  • the image decoding unit 142 outputs the decoded images DYB of the blocks Y2 and Y3 obtained by decoding to the image output unit 454 instead of the frame memory 452.
  • the image decoding unit 143 outputs the decoded images DC of the blocks Cb and Cr obtained by decoding to the image output unit 454 instead of the frame memory 452.
  • ⁇ Macro block processing period MI4> When the decoded images for all the blocks included in the macroblock # 0 are stored in the image output unit 454, the decoding timing controller 434 receives the completion signals EP, EA, EB, and EC. Then, the decoding timing controller 434 recognizes the end of the macroblock processing period MI3 and outputs activation signals SP, SA, SB, SC, and SO.
  • the image output unit 454 When receiving the activation signal SO, the image output unit 454 receives the macroblock encoding information MBI of the macroblock # 0 necessary for the decoding process from the image decoding unit 143, and the decoded image DMB of all the blocks included in the macroblock # 0. Are output to the frame memory 452 in units of one macroblock.
  • the frame memory 452 stores the decoded image DMB.
  • the image output unit 454 When the output is completed, the image output unit 454 notifies the completion by outputting a completion signal EO to the decoding timing controller 434. Thereafter, the image output unit 454 stores the decoded images DYA, DYB, and DC decoded by the image decoding units 141 to 143.
  • the same processing as that in the period MI4 is repeated except that the macroblock to be processed is changed to a subsequent macroblock for each period.
  • the image decoding apparatus of FIG. 17 has the image output unit 454 that collectively outputs the decoded images of the image decoding units 141 to 143 that perform decoding processing in parallel, so that data of one macroblock can be transferred collectively. become. Since a plurality of transfers with a relatively small amount of data to be transferred are combined into one transfer, overhead during the transfer can be reduced and an increase in required bandwidth can be suppressed.
  • FIG. 19 is an explanatory diagram illustrating an example of blocks referred to in motion vector prediction.
  • FIG. 19 is an explanatory diagram illustrating an example of blocks referred to in motion vector prediction.
  • three blocks arranged on the left, upper, and upper right of this block can be referred to in the screen of the decoding target block.
  • the block arranged in the upper left is referred to (see FIG. 3).
  • the image decoding units 141 to 143 and the like are based on the reference information stored in the reference information storage unit 136, for example, the motion vector MVA of the block NA, the motion vector MVB of the block NB, and the motion vector MVC of the block NC.
  • Motion vector MVT is obtained, and the obtained motion vector MVT is output to the reference information storage unit 136, the frame memory 152, and the like.
  • the reference information storage unit 136 stores a motion vector MVT as reference information for motion vector prediction of other blocks.
  • FIG. 20 is an explanatory diagram illustrating an example of blocks referred to in the DC / AC prediction.
  • FIG. 20 is an explanatory diagram illustrating an example of blocks referred to in the DC / AC prediction.
  • three blocks arranged on the left, top, and top left of this block can be referred to in the screen of the decoding target block (see FIG. 20).
  • FIG. 21 (a) is an explanatory diagram of DC prediction.
  • the DCT coefficient DCA of the block NA and the DCT coefficient DCB of the block NB are DC components.
  • the image decoding units 141 to 143 and the like use the DCT coefficient DCA or DCB as the corresponding DCT coefficient (DC component) of the decoding target block.
  • FIG. 21B is an explanatory diagram of AC prediction.
  • the DCT coefficient ACA in the leftmost column of the block NA and the DCT coefficient ACB in the uppermost row of the block NB are AC components.
  • the image decoding units 141 to 143 and the like use the DCT coefficient ACA as the DCT coefficient of the corresponding column of the decoding target block or the DCT coefficient ACB as the DCT coefficient of the corresponding row of the decoding target block.
  • the reference information storage unit 136 stores the DCT coefficients of the decoding target block as reference information for DC / AC prediction of other blocks.
  • the macroblock includes the luminance signal blocks Y0 to Y3 and the color difference signal blocks (Cb, Cr, etc.) has been described as an example.
  • the macroblock has R (red) G (green) B ( a block of signals representing blue), or a block of signals representing H (hue) S (saturation) V (value).
  • each macroblock is divided using two blocks (for example, blocks Y0 and Y1, blocks Y2 and Y3, or blocks Cb and Cr) as a division unit. It may be one or more sub-blocks included in the block. When one macroblock is composed of more than four blocks, each macroblock may be divided using three or more blocks as a division unit. For example, when a macroblock is composed of 16 blocks (or 16 subblocks), each macroblock may be divided into 4 blocks (or 4 subblocks).
  • each block has, for example, 16 ⁇ 8 pixels, 8 ⁇ 8 pixels It may have encoded data corresponding to 16 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, or 4 ⁇ 4 pixels.
  • a macroblock can be divided regardless of the size of a slice constituting a picture. Therefore, the present invention is useful for an image decoding device or the like.
  • the present invention is further useful as an optical disk reproducing device and recording device, a digital television receiving device, a movie device, a mobile phone, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　ピクチャを構成するスライスのサイズに関係なく、復号処理を並列に行う。画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームを処理する画像復号装置であって、前記入力ビットストリームを複数の分割ストリームに分割するストリーム分割器と、前記複数の分割ストリームをそれぞれ復号する複数の画像復号部とを有する。前記ストリーム分割器は、前記動画像のマクロブロックに含まれる前記画面内予測における複数の予測単位のうちの１つ以上の予測単位に対応する符号化データが前記複数の分割ストリームのそれぞれに含まれるように、前記入力ビットストリームを分割する。

Description

画像復号装置
　本開示は、符号化されたビットストリームを復号する画像復号装置に関する。
　近年、デジタル画像伝送技術や撮像技術の進歩に伴い、高精細テレビジョン（ＨＤＴＶ）放送、高精細（ＨＤ）画像記録の普及が本格化してきている。また、更なる高画質化・高精細化のために、画像サイズ３８４０×２１６０画素の動画像や、カラーフォーマット４：２：２又は４：４：４の動画像の需要が高まりつつある。このような高画質化・高精細化された動画像の圧縮データを復号する際には、単純に画素数比を考えると、これまでのＨＤ画像（１９２０×１０８０画素）に比べ４～８倍の量のデータを処理する必要があり、膨大な演算能力を備えた画像復号装置が必要となる。このため、単一の画像復号装置で処理することはコスト的にも、消費電力の面でも実用的ではなくなってきている。
　これを解決するための方法として、画像復号装置を複数個用いてピクチャ内の複数のスライスの復号処理を並列に行うことにより処理を高速化する装置が、特許文献１に開示されている。ＭＰＥＧ２（Moving Picture Experts Group 2）では、１つの画像（ピクチャ）は１つ以上のスライスで構成され、１つのスライスは１マクロブロックライン以下で構成される。例えばＨＤ画像（１９２０×１０８０画素）では、ピクチャ内には必ず６８個以上のスライスが存在しており、特許文献１の装置を用いれば、複数のスライスを並列処理することによって処理を高速化することができる。
特開２００１－２１８２０１号公報
　しかしながら、現在、主流となりつつあるＩＴＵ－Ｔ（International Telecommunication Union-Telecommunication Sector）　Ｈ．２６４やＶＣ－１といった高効率画像符号化規格では、ＭＰＥＧ２とは異なり、１ピクチャを１スライスで構成することも許容されている。スライスの大きさについてもＭＰＥＧ２に比べて柔軟に規定されており、スライスは１以上の任意の数のマクロブロックを含むことができる。複数のスライスが存在する場合には、各スライスの大きさは一定でなくてもよい。
　特許文献１の装置は、スライスを単位として分割されたビットストリームに対して並列に復号処理を行うが、例えばピクチャが１つのスライスで構成されている場合には、この装置では並列処理をすることができない。また、ピクチャが複数のスライスで構成されていたとしても、スライスの大きさが均一ではない場合、例えば、ピクチャを構成するマクロブロックの８０％が１つの特定のスライスに含まれており、残りのスライスにはわずかな数のマクロブロックしか存在していない場合には、この特定スライスの復号処理時間が支配的になる。このため、並列動作のために複数の復号部を有していても、その個数に見合う処理の高速化ができるとは限らない。
　本発明は、ピクチャを構成するスライスのサイズに関係なく、復号処理を並列に行う画像復号装置を提供することを目的とする。
　本発明の実施形態に係る画像復号装置は、画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームを処理する画像復号装置であって、前記入力ビットストリームを複数の分割ストリームに分割するストリーム分割器と、前記複数の分割ストリームをそれぞれ復号する複数の画像復号部とを有する。前記ストリーム分割器は、前記動画像のマクロブロックに含まれる前記画面内予測における複数の予測単位のうちの１つ以上の予測単位に対応する符号化データが前記複数の分割ストリームのそれぞれに含まれるように、前記入力ビットストリームを分割する。
　これによると、マクロブロックを、そのマクロブロックに含まれる１つ以上の予測単位（例えばブロック）を単位として分割するので、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができる。このため、ピクチャを構成するスライスの大きさにかかわらず、効率的な並列復号処理を行うことができる。
　本発明によれば、ピクチャを構成するスライスのサイズに関係なく、マクロブロックを分割することができる。このため、効率的な並列復号処理を実現することができる。特に、スライスのサイズに制約がない場合や、画像サイズが大きい動画像のビットストリームを復号処理する場合に有利である。
図１は、本発明の実施形態に係る画像復号装置の構成を示すブロック図である。 図２は、カラーフォーマット４：２：０の場合のマクロブロックに含まれるブロックを示す説明図である。 図３は、図１の画像復号装置が復号する際に参照するブロックの例を示す説明図である。 図４は、Ｈ．２６４に従って復号する際に参照される画素の例を示す説明図である。 図５は、図１のストリーム分割器におけるビットストリームの分割についての説明図である。 図６は、図１の画像復号装置の動作の例を示すタイミングチャートである。 図７は、ブロックＹ２、Ｙ３を復号する図１の画像復号部によって参照される画素の例を示す説明図である。 図８は、図１の画像復号部の構成例を示すブロック図である。 図９は、図１の画像復号部の基本的な動作の例を示すタイミングチャートである。 図１０は、輝度信号を処理する図１の画像復号部の内部の動作の例を具体的に示すタイミングチャートである。 図１１は、図１の画像復号装置の第１の変形例の構成を示すブロック図である。 図１２は、カラーフォーマット４：２：２の場合のマクロブロックに含まれるブロックを示す説明図である。 図１３は、図１１のストリーム分割器におけるビットストリームの分割についての説明図である。 図１４は、図１１の画像復号装置の動作の例を示すタイミングチャートである。 図１５は、図１の画像復号装置の第２の変形例の構成を示すブロック図である。 図１６は、カラーフォーマット４：４：４の場合のマクロブロックに含まれるブロックを示す説明図である。 図１７は、図１の画像復号装置の第３の変形例の構成を示すブロック図である。 図１８は、図１７の画像復号装置の動作の例を示すタイミングチャートである。 図１９は、動きベクトル予測の際に参照されるブロックの例を示す説明図である。 図２０は、ＤＣ／ＡＣ予測の際に参照されるブロックの例を示す説明図である。 図２１（ａ）は、ＤＣ係数の予測についての説明図である。図２１（ｂ）は、ＡＣ係数の予測についての説明図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。
　本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（Large-Scale Integrated circuit）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ゲートアレイ、ＦＰＧＡ（Field Programmable Gate Array）等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。
　図１は、本発明の実施形態に係る画像復号装置の構成を示すブロック図である。図１の画像復号装置は、画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームＩＳＴを復号する画像復号装置であって、ストリーム分割器１１０と、ストリームバッファ１２０、１２１、１２２、１２３と、パラメータ復号器１３２と、復号タイミング制御器１３４と、参照情報格納部１３６と、画像復号部１４１、１４２、１４３と、フレームメモリ１５２とを有している。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：２：０（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：２：０）の動画像がＩＴＵ－Ｔ　Ｈ．２６４（以下ではＨ．２６４と称する）に従って符号化されて得られたビットストリームであるとする。
　図２は、カラーフォーマット４：２：０の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図２のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂと、赤色差信号ブロックＣｒとを有しているとする。輝度信号ブロックＹ０～Ｙ３は、マクロブロック内において２行２列に配置される。ブロックＹ０～Ｙ３、Ｃｂ、及びＣｒは、いずれも、画面内予測における予測単位である。マクロブロックは、例えばＨ．２６４に定義されている。
　以下では例として、各マクロブロックは１６×１６画素に対応する符号化データを有するものとして説明する。この場合、ブロックＹ０～Ｙ３、Ｃｂ、及びＣｒは、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。
　いずれも動画像符号化技術であるＭＰＥＧ２とＨ．２６４との間の違いについて簡単に説明する。Ｈ．２６４には、画面内の隣接ブロック間の相関関係を利用して圧縮効率を向上させるため、イントラ予測と呼ばれる圧縮符号化技術が導入され、符号化効率の向上が図られている。
　図３は、図１の画像復号装置が復号する際に参照するブロックの例を示す説明図である。図１の画像復号装置による復号の際には、画面内予測が行われる。画面内予測としては、例えば、画素値の予測を行うイントラ予測、動きベクトルを予測する動きベクトル予測、並びにＤＣＴ係数のＤＣ成分及びＡＣ成分を予測するＤＣ／ＡＣ予測のうちの少なくとも１つが行われる。ここでは、Ｈ．２６４に従ったイントラ予測について説明する。例えばフレーム構造の画像の場合には、図３に示すように、復号対象ブロックの画面内で、このブロックの左、左上、上、及び右上に配置される４つのブロックが参照され得る。復号対象ブロック毎に最適な予測方向を選択できるようになっている。ＭＰＥＧ２の場合には、異なるフレームのブロックが参照されるが、同一の画面内のブロックは参照されない。
　図４は、Ｈ．２６４に従って復号する際に参照される画素の例を示す説明図である。例えばフレーム構造の画像を対象としてＨ．２６４のイントラ８×８予測が行われる場合には、対象ブロックを復号する際に、図４のように対象ブロックに隣接している画素情報が参照情報として用いられる。
　図５は、図１のストリーム分割器１１０におけるビットストリームの分割についての説明図である。以下では、図１の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。
　ストリーム分割器１１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣに分割する。この際、ストリーム分割器１１０は、画素データを求める復号処理は行わない。
　ストリーム分割器１１０は、入力ビットストリームＩＳＴの各マクロブロック（ＭＢ）を、マクロブロックに含まれる１つ以上のブロックの符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器１１０は、図５のように、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ及びＣｒの符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。
　ストリーム分割器１１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣをストリームバッファ１２０、１２１、１２２、１２３にそれぞれ出力する。ストリームバッファ１２０、１２１、１２２、１２３は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣをそれぞれ格納する。したがって、ストリームバッファ１２０には各マクロブロックの符号化情報を示す符号化データ、ストリームバッファ１２１には各マクロブロックのブロックＹ０及びＹ１の符号化データ、ストリームバッファ１２２には各マクロブロックのブロックＹ２及びＹ３の符号化データ、ストリームバッファ１２３には各マクロブロックのブロックＣｂ及びＣｒの符号化データが格納される。
　パラメータ復号器１３２は、分割ストリームＳＴＰを格納しているストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出し、復号する。パラメータ復号器１３２は、復号して得られたマクロブロック符号化情報ＭＢＩを画像復号部１４１に出力し、復号が完了したことを示す完了信号ＥＰを復号タイミング制御器１３４に出力する。
　復号タイミング制御器１３４は、パラメータ復号部１３２、及び画像復号部１４１～１４３に、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣをそれぞれ出力することによって、パラメータ復号器１３２、及び画像復号部１４１～１４３の復号処理の開始タイミングを制御する。この際、復号タイミング制御器１３４は、画像復号部１４１～１４３のうち、復号処理に必要な隣接ブロックの画像が既に求められている画像復号部に処理を開始させる。
　画像復号部１４１～１４３は、処理を開始すべきことを復号タイミング制御器１３４から起動信号ＳＡ、ＳＢ、ＳＣによって通知されると、画像復号部１４１～１４３の間でデータの転送を行う。転送されるデータには、マクロブロック符号化情報ＭＢＩが含まれる。画像復号部１４１～１４３による復号の際には、イントラ予測が行われる。
　画像復号部１４１は、復号タイミング制御器１３４からの起動信号ＳＡにより起動され、分割ストリームＳＴＡを格納しているストリームバッファ１２１から符号化データＣＹＡを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＹＡを復号する。画像復号部１４１は、復号して得られた復号画像ＤＹＡをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＡを復号タイミング制御器１３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部１４２に出力する。
　画像復号部１４２は、復号タイミング制御器１３４からの起動信号ＳＢにより起動され、分割ストリームＳＴＢを格納しているストリームバッファ１２２から符号化データＣＹＢを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＹＢを復号する。画像復号部１４２は、復号して得られた復号画像ＤＹＢをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＢを復号タイミング制御器１３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部１４３に出力する。
　画像復号部１４３は、復号タイミング制御器１３４からの起動信号ＳＣにより起動され、分割ストリームＳＴＣを格納しているストリームバッファ１２３から符号化データＣＣを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＣを復号する。画像復号部１４３は、復号して得られた復号画像ＤＣをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＣを復号タイミング制御器１３４に出力する。
　参照情報格納部１３６は、画像復号部１４１～１４３において符号化データＣＹＡ、ＣＹＢ、ＣＣを復号する過程で必要な参照情報を格納する。格納される参照情報は、例えば、画像復号部１４１～１４３での復号処理結果として得られた、画像（イントラ予測画素）や予測された動きベクトルである。参照情報は、画像復号部１４１～１４３での中間段階の処理結果（例えばデブロッキングフィルタを通す前の画像）であってもよい。フレームメモリ１５２は、画像復号部１４１～１４３で復号された復号画像ＤＹＡ、ＤＹＢ、ＤＣを格納する。
　図６は、図１の画像復号装置の動作の例を示すタイミングチャートである。図６を参照しながら各期間の処理について詳しく説明する。
　＜マクロブロック処理期間ＭＩ０＞
　ストリームバッファ１２０～１２３に分割ストリームがそれぞれ格納されると、復号タイミング制御器１３４は、パラメータ復号器１３２に対して起動信号ＳＰを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、ストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出して復号し、マクロブロック＃０のマクロブロック符号化情報を得る。マクロブロックヘッダＭＢＨの復号が完了すると、パラメータ復号器１３２は、復号タイミング制御器１３４に対して完了信号ＥＰを出力することによって完了通知を行う。
　＜マクロブロック処理期間ＭＩ１＞
　完了信号ＥＰを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ０の終了を認識し、次のマクロブロック＃１の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。更に復号タイミング制御器１３４は、マクロブロック＃０のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様に、ストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出して復号し、マクロブロック＃１のマクロブロック符号化情報を得る。パラメータ復号器１３２は、復号タイミング制御器１３４に対して完了信号ＥＰを出力することによって完了通知を行う。
　起動信号ＳＡを受け取ると、画像復号部１４１は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩをパラメータ復号器１３２から受け取り、ストリームバッファ１２１から符号化データＣＹＡを読み出す。画像復号部１４１は、読み出された符号化データを、マクロブロック＃０のマクロブロック符号化情報ＭＢＩを用いて復号し、得られたブロックＹ０、Ｙ１の復号画像ＤＹＡをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４１は、復号タイミング制御器１３４に対して完了信号ＥＡを出力することによって完了通知を行う。画像復号部１４１は、得られたマクロブロック＃０のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃０のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。
　＜マクロブロック処理期間ＭＩ２＞
　完了信号ＥＰ及びＥＡを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ１の終了を認識し、次のマクロブロック＃２の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器１３４は、マクロブロック＃１のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。
　更に、復号タイミング制御器１３４は、マクロブロック＃０のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃２のマクロブロック符号化情報を得る。
　画像復号部１４１は、マクロブロック＃０に代えてマクロブロック＃１に関して処理を行う点の他は、期間ＭＩ１と同様の動作を行う。画像復号部１４１は、得られたマクロブロック＃１のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。
　図７は、ブロックＹ２、Ｙ３を復号する図１の画像復号部１４２によって参照される画素の例を示す説明図である。各マクロブロックが図７のように４つのブロックＹ０、Ｙ１、Ｙ２、及びＹ３を有しているとする。画像復号部１４２に必要な情報に着目すると、ブロックＹ２及びＹ３が復号される際には、図７のようにブロックＹ２及びＹ３に隣接する画素の情報が参照情報として用いられる。これらの画素は、
（１）ブロックＹ２及びＹ３と同じマクロブロックに属するブロックＹ０及びＹ１、
（２）左隣接マクロブロックのブロックＹ１、並びに、
（３）左隣接マクロブロックのブロックＹ３
に含まれている。
　これらのうち、（１）及び（２）については、画像復号部１４１が復号処理結果として参照情報格納部１３６に格納する。（１）及び（２）は、画像復号部１４２がブロックＹ２及びＹ３を処理する前に格納される。画像復号部１４２は、（１）及び（２）を参照情報格納部１３６から読み出して用いる。（３）は、画像復号部１４２で処理されるブロックであり、ブロックＹ２及びＹ３を処理する前に処理されるマクロブロックの復号結果であるので、画像復号部１４２は、参照情報格納部１３６を経由することなく（３）を用いることができる。
　起動信号ＳＢ受け取ると、画像復号部１４２は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４１から受け取り、ストリームバッファ１２２から符号化データＣＹＢを読み出し、読み出された符号化データを復号し、ブロックＹ２、Ｙ３の復号画像を得る。イントラ予測処理で参照が必要なマクロブロック＃０のブロックＹ０、Ｙ１の復号画像データは、期間ＭＩ１において画像復号部１４１によって参照情報として参照情報格納部１３６に格納されている。画像復号部１４２は、復号の際には、マクロブロック＃０のブロックＹ０、Ｙ１の復号画像及びその他の参照情報を読み出して処理を行う。
　画像復号部１４２は、得られたブロックＹ２、Ｙ３の復号画像ＤＹＢをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４２は、復号タイミング制御器１３４に対して完了信号ＥＢを出力することによって完了通知を行う。
　＜マクロブロック処理期間ＭＩ３＞
　完了信号ＥＰ、ＥＡ及びＥＢを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ２の終了を認識し、次のマクロブロック＃３の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器１３４は、マクロブロック＃２のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。
　また、復号タイミング制御器１３４は、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。更に、復号タイミング制御器１３４は、マクロブロック＃０のブロックＣｂ、Ｃｒの復号処理を行うために、画像復号部１４３に対して起動信号ＳＣを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃３のマクロブロック符号化情報を得る。
　画像復号部１４１は、マクロブロック＃０に代えてマクロブロック＃２に関して処理を行う点の他は、期間ＭＩ１と同様の動作を行う。画像復号部１４１は、得られたマクロブロック＃２のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃２のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。画像復号部１４２は、マクロブロック＃０に代えてマクロブロック＃１に関して処理を行う点の他は、期間ＭＩ２と同様の動作を行う。
　起動信号ＳＣ受け取ると、画像復号部１４３は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４２から受け取り、ストリームバッファ１２３から符号化データＣＣを読み出し、読み出された符号化データを復号し、ブロックＣｂ、Ｃｒの復号画像を得る。画像復号部１４３は、得られたブロックＣｂ、Ｃｒの復号画像ＤＣをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４３は、復号タイミング制御器１３４に対して完了信号ＥＣを出力することによって完了通知を行う。
　＜マクロブロック処理期間ＭＩ４＞
　完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ及びＳＣを出力する。画像復号部１４１、１４２、１４３は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ３と同様の処理を行う。
　マクロブロック処理期間ＭＩ５以降においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ３と同様の処理を繰り返して行う。以上のように、パラメータ復号器１３２、画像復号部１４１～１４３は、マクロブロックに関する処理をパイプライン式に行う。
　なお、Ｈ．２６４規格においては、スキップマクロブロックや符号量が０のブロックも存在する。これらのマクロブロックやブロックが存在することは、パラメータＣｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎ、Ｍｂ＿Ｓｋｉｐ＿Ｆｌａｇ、又はＭｂ＿Ｓｋｉｐ＿ｒｕｎから判断することができる。このため、画像復号部１４１～１４３は、パラメータの１つとしてＣｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎ又はスキップ情報を受け取ることによって、各ブロックの符号化データが分割ストリームに含まれているかどうかを判断し、Ｃｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎの該当ブロックを示すビットが０の場合には少なくとも可変長復号処理は行わない。
　参照情報格納部１３６が少なくとも２つの領域を有し、画像復号部１４１～１４３は、新たなマクロブロックの処理を行う毎に、参照情報格納部１３６の２つの領域に交互に書き込みを行うようにしてもよい。例えば、画像復号部１４１～１４３は、マクロブロック＃０、＃２、＃４、…の処理結果を参照情報格納部１３６の第１の領域に書き込み、マクロブロック＃１、＃３、＃５、…の処理結果を参照情報格納部１３６の第２の領域に書き込む。
　ストリーム分割器１１０が、分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣのそれぞれに、あるマクロブロックのブロックが２つずつ含まれるように入力ビットストリームＩＳＴを分割する場合について説明したが、複数の分割ストリームのそれぞれに、あるマクロブロックのブロックが１つずつ又は３つ以上ずつ含まれるように入力ビットストリームＩＳＴを分割してもよい。この場合には、分割ストリームのそれぞれに対応する、ストリームバッファ及び画像復号部を用いるようにする。
　以上のように、図１の画像復号装置によると、マクロブロックを、そのマクロブロックに含まれる１つ以上のブロックを単位として分割するので、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができる。このため、ピクチャがいかなるスライスで構成されている場合であっても、効率的な並列復号処理を実現できる。例えばピクチャが１つのスライスで構成されている場合や、ピクチャが複数のスライスで構成されているが各スライスの大きさに極端な偏りがある場合であっても、問題なく並列処理を行うことができる。
　また、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に３分割するので、３つの画像復号部１４１～１４３における処理の負荷をほぼ均等にすることができる。
　したがって、ピクチャを構成するスライスに対する制約がないＨ．２６４等の画像符号化規格に準拠したビットストリームに対して、低消費電力かつ低コストで、並列復号処理を行うことができる。
　図１の画像復号装置では画像復号部１４１～１４３をパイプライン動作させている。しかし、ブロックＣｂ及びＣｒを処理する画像復号部１４３は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部１４３が画像復号部１４１又は１４２と同時に、同じマクロブロックの処理を行うようにしてもよい。
　輝度信号ブロックを復号する画像復号部１４１、１４２と色差信号ブロックを復号する画像復号部１４３とは、同様に構成されていてもよいし、画像復号部１４１、１４２は輝度信号の復号処理に、画像復号部１４３は色差信号の復号処理に特化した構成を有していてもよい。
　図８は、図１の画像復号部１４１の構成例を示すブロック図である。画像復号部１４１は、可変長復号部１６１と、逆量子化部１６２と、逆変換部１６３と、動き補償部１６４と、イントラ予測部１６５と、デブロッキングフィルタ１６６とを有している。図１の画像復号部１４２及び１４３も、画像復号部１４１と同様に構成されている。画像復号部１４１～１４３は、次のように動作することができる。
　図９は、図１の画像復号部１４１の動作の例を示すタイミングチャートである。可変長復号部１６１は、期間ＮＩ０、ＮＩ１、ＮＩ２、ＮＩ３、ＮＩ４、…において、マクロブロック＃０、＃１、＃２、＃３、＃４、…に処理をそれぞれ行い、その結果を逆量子化部１６２に出力する。各マクロブロックに対する処理には、図２の６ブロックＹ０～Ｙ３、Ｃｂ及びＣｒに対する処理を含む。
　逆量子化部１６２は、期間ＮＩ１、ＮＩ２、ＮＩ３、ＮＩ４、…において、可変長復号部１６１が期間ＮＩ０、ＮＩ１、ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、期間ＮＩ２、ＮＩ３、ＮＩ４、…において、逆量子化部１６２が期間ＮＩ１、ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。
　動き補償部１６４及びイントラ予測部１６５は、期間ＮＩ３、ＮＩ４、…において、逆変換部１６３が期間ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果をデブロッキングフィルタ１６６に出力する。デブロッキングフィルタ１６６は、期間ＮＩ４、ＮＩ５、…において、動き補償部１６４及びイントラ予測部１６５が期間ＮＩ３、ＮＩ４、…に行った処理結果に対してそれぞれ処理を行い、その結果を出力する。
　このように、画像復号部１４１は、パイプライン処理を行う。画像復号部１４２及び１４３も、図９と同様に動作を行う。
　図１０は、輝度信号を処理する図１の画像復号部１４１及び１４２の内部の動作の例を具体的に示すタイミングチャートである。期間ＮＪ０において、画像復号部１４１の可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃０のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。
　期間ＮＪ１において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃１のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃０の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。
　期間ＮＪ２において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃２のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃１の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃０の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。
　期間ＮＪ３において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃３のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃２の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃１の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。動き補償部１６４及びイントラ予測部１６５は、逆変換部１６３で求められたマクロブロック＃０の処理結果に動き補償及びイントラ予測を行い、その結果をデブロッキングフィルタ１６６に出力する。
　期間ＮＪ４において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃４のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃３の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃２の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。動き補償部１６４及びイントラ予測部１６５は、逆変換部１６３で求められたマクロブロック＃１の処理結果に動き補償及びイントラ予測を行い、その結果をデブロッキングフィルタ１６６に出力する。デブロッキングフィルタ１６６は、動き補償部１６４及びイントラ予測部１６５で求められたマクロブロック＃０の処理結果にデブロッキング処理を行い、その結果を復号結果ＤＹＡとして出力する。
　画像復号部１４２の可変長復号部、逆量子化部、逆変換部、動き補償部、イントラ予測部、及びデブロッキングフィルタも、各マクロブロックのブロックＹ２、Ｙ３に対して、画像復号部１４１と同様に処理を行う。但し、画像復号部１４２の処理は、期間ＮＪ１から開始される。
　このように、画像復号部の内部においてもパイプライン処理を行うようにすると、図６のように処理を行う場合に比べて、各ステージの長さが短くなるので、より高速に処理を行うことができる。
　図１１は、図１の画像復号装置の第１の変形例の構成を示すブロック図である。図１１の画像復号装置は、ストリームバッファ１２３に代えてストリームバッファ２２３、２２４を、画像復号部１４３に代えて画像復号部２４３、２４４を有している点が、図１の画像復号装置とは異なっている。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：２：２（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：２：２）の動画像がＨ．２６４に従って符号化されて得られたビットストリームであるとする。
　図１２は、カラーフォーマット４：２：２の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図１２のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂ０、Ｃｂ１と、赤色差信号ブロックＣｒ０、Ｃｒ１とを有しているとする。輝度信号ブロックＹ０～Ｙ３は、マクロブロック内において２行２列に配置される。青色差信号ブロックＣｂ０、Ｃｂ１は、マクロブロック内において２行１列に配置される。赤色差信号ブロックＣｒ０、Ｃｒ１は、マクロブロック内において２行１列に配置される。ブロックＹ０～Ｙ３、Ｃｂ０、Ｃｂ１、Ｃｒ０及びＣｒ１は、いずれも、画面内予測における予測単位である。
　各マクロブロックが１６×１６画素に対応する符号化データを有する場合、ブロックＹ０～Ｙ３、Ｃｂ０、Ｃｂ１、Ｃｒ０及びＣｒ１は、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。
　図１３は、図１１のストリーム分割器２１０におけるビットストリームの分割についての説明図である。以下では、図１１の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。
　ストリーム分割器２１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤに分割する。この際、ストリーム分割器２１０は、画素データを求める復号処理は行わない。
　ストリーム分割器２１０は、入力ビットストリームＩＳＴの各マクロブロックを、マクロブロックに含まれる１つ以上のブロックに対応する符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器２１０は、図１３のように、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ０及びＣｒ０の符号化データ、分割ストリームＳＴＤには色差信号ブロックＣｂ１及びＣｒ１の符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。
　ストリーム分割器２１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤをストリームバッファ１２０、１２１、１２２、２２３、２２４にそれぞれ出力する。ストリームバッファ１２０、１２１、１２２、２２３、２２４は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤをそれぞれ格納する。したがって、ストリームバッファ１２０には各マクロブロックの符号化情報を示す符号化データ、ストリームバッファ１２１には各マクロブロックのブロックＹ０及びＹ１の符号化データ、ストリームバッファ１２２には各マクロブロックのブロックＹ２及びＹ３の符号化データ、ストリームバッファ２２３には各マクロブロックのブロックＣｂ０及びＣｒ０の符号化データ、ストリームバッファ２２４には各マクロブロックのブロックＣｂ１及びＣｒ１の符号化データが格納される。
　図１４は、図１１の画像復号装置の動作の例を示すタイミングチャートである。図１１を参照しながら各期間の処理について詳しく説明する。マクロブロック処理期間ＭＩ０～ＭＩ２については、図６を参照して行った説明と同様であるので、説明を省略する。
　＜マクロブロック処理期間ＭＩ３＞
　完了信号ＥＰ、ＥＡ及びＥＢを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ２の終了を認識し、次のマクロブロック＃３の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器２３４は、マクロブロック＃２のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。
　また、復号タイミング制御器２３４は、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。更に、復号タイミング制御器２３４は、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号処理を行うために、画像復号部２４３に対して起動信号ＳＣを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃３のマクロブロック符号化情報を得る。画像復号部１４１及び１４２に関しては、図６と同様であるので、説明を省略する。
　起動信号ＳＣ受け取ると、画像復号部２４３は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４２から受け取り、ストリームバッファ２２３から符号化データＣＣ０を読み出して復号し、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像を得る。画像復号部２４３は、得られたブロックＣｂ０、Ｃｒ０の復号画像ＤＣ０をフレームメモリ２５２に出力する。復号が完了すると、画像復号部２４３は、復号タイミング制御器２３４に対して完了信号ＥＣを出力することによって完了通知を行う。画像復号部２４３は、得られたマクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像のうち、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号処理に必要な部分を参照情報として参照情報格納部２３６に格納させる。
　＜マクロブロック処理期間ＭＩ４＞
　完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ及びＳＣを出力する。画像復号部１４１、１４２、２４３は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ３と同様の処理を行う。
　復号タイミング制御器２３４は、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号処理を行うために、画像復号部２４３に対して起動信号ＳＤを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃４のマクロブロック符号化情報を得る。
　起動信号ＳＤ受け取ると、画像復号部２４４は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部２４３から受け取り、ストリームバッファ２２４から符号化データＣＣ１を読み出して復号し、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号画像を得る。イントラ予測処理で参照が必要なマクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像データは、期間ＭＩ３において参照情報として参照情報格納部２３６に格納されている。画像復号部２４４は、復号の際には、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像及びその他の参照情報を読み出して処理を行う。
　画像復号部２４４は、得られたブロックＣｂ１、Ｃｒ１の復号画像ＤＣ１をフレームメモリ２５２に出力する。復号が完了すると、画像復号部２４４は、復号タイミング制御器２３４に対して完了信号ＥＤを出力することによって完了通知を行う。
　＜マクロブロック処理期間ＭＩ５＞
　完了信号ＥＰ、ＥＡ、ＥＢ、ＥＣ及びＥＤを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ４の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣ及びＳＤを出力する。画像復号部１４１、１４２、２４３、２４４は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ４と同様の処理を行う。
　その後のマクロブロック処理期間においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ４と同様の処理を繰り返して行う。以上のように、パラメータ復号器１３２、画像復号部１４１、１４２、２４３、２４４は、マクロブロックに関する処理をパイプライン式に行う。
　以上のように、図１１の画像復号装置によると、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に４分割するので、４つの画像復号部１４１、１４２、２４３、２４４における処理の負荷をほぼ均等にすることができる。
　なお、画像復号部２４３、２４４は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部２４３が画像復号部１４１と同時に同じマクロブロックの処理を行い、画像復号部２４４が画像復号部１４２と同時に同じマクロブロックの処理を行うようにしてもよい。
　図１５は、図１の画像復号装置の第２の変形例の構成を示すブロック図である。図１５の画像復号装置は、ストリームバッファ１２３に代えてストリームバッファ３２３、３２４、３２５、３２６を、画像復号部１４３に代えて画像復号部３４３、３４４、３４５、３４６を有している点が、図１の画像復号装置とは異なっている。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：４：４（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：４：４）の動画像がＨ．２６４に従って符号化されて得られたビットストリームであるとする。
　図１６は、カラーフォーマット４：４：４の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図１６のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂ０、Ｃｂ１、Ｃｂ２、Ｃｂ３と、赤色差信号ブロックＣｒ０、Ｃｒ１、Ｃｒ２、Ｃｒ３とを有しているとする。輝度信号ブロックＹ０～Ｙ３は、マクロブロック内において２行２列に配置される。青色差信号ブロックＣｂ０～Ｃｂ３は、マクロブロック内において２行２列に配置される。赤色差信号ブロックＣｒ０～Ｃｒ３は、マクロブロック内において２行２列に配置される。ブロックＹ０～Ｙ３、Ｃｂ０～Ｃｂ３、及びＣｒ０～Ｃｒ３は、いずれも、画面内予測における予測単位である。
　各マクロブロックが１６×１６画素に対応する符号化データを有する場合、ブロックＹ０～Ｙ３、Ｃｂ０～Ｃｂ３、及びＣｒ０～Ｃｒ３は、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。
　以下では、図１５の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。ストリーム分割器３１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦに分割する。この際、ストリーム分割器３１０は、画素データを求める復号処理は行わない。
　ストリーム分割器３１０は、入力ビットストリームＩＳＴの各マクロブロックを、マクロブロックに含まれる１つ以上のブロックに対応する符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器３１０は、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ０及びＣｂ１の符号化データ、分割ストリームＳＴＤには色差信号ブロックＣｂ２及びＣｒ３の符号化データ、分割ストリームＳＴＥには色差信号ブロックＣｒ０及びＣｒ１の符号化データ、分割ストリームＳＴＦには色差信号ブロックＣｒ２及びＣｒ３の符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。
　ストリーム分割器３１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦをストリームバッファ１２０、１２１、１２２、３２３、３２４、３２５、３２６にそれぞれ出力する。ストリームバッファ１２０～１２２、３２３～３２６は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦをそれぞれ格納する。
　復号タイミング制御器３３４は、画像復号部３４３～３４６に、起動信号ＳＣ、ＳＤ、ＳＥ、ＳＦをそれぞれ出力することによって、画像復号部３４３～３４６の復号処理の開始タイミングを制御する点の他は、図１の復号タイミング制御器１３４とほぼ同様に構成されている。画像復号部１４１、１４２については、図１の場合と同様であるので説明を省略する。
　画像復号部３４３は、復号タイミング制御器３３４からの起動信号ＳＣにより起動され、分割ストリームＳＴＣを格納しているストリームバッファ３２３から符号化データＣＣＡを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＡを復号する。画像復号部３４３は、復号して得られた復号画像ＤＣＡをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＣを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４４に出力する。
　画像復号部３４４は、復号タイミング制御器３３４からの起動信号ＳＤにより起動され、分割ストリームＳＴＤを格納しているストリームバッファ３２４から符号化データＣＣＢを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＢを復号する。画像復号部３４４は、復号して得られた復号画像ＤＣＢをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＤを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４５に出力する。
　画像復号部３４５は、復号タイミング制御器３３４からの起動信号ＳＥにより起動され、分割ストリームＳＴＥを格納しているストリームバッファ３２５から符号化データＣＣＣを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＣを復号する。画像復号部３４５は、復号して得られた復号画像ＤＣＣをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＥを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４６に出力する。
　画像復号部３４６は、復号タイミング制御器３３４からの起動信号ＳＦにより起動され、分割ストリームＳＴＦを格納しているストリームバッファ３２６から符号化データＣＣＤを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＤを復号する。画像復号部３４６は、復号して得られた復号画像ＤＣＤをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＦを復号タイミング制御器３３４に出力する。
　画像復号部３４３～３４６は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部３４３、３４５が画像復号部１４１と同時に同じマクロブロックの処理を行い、画像復号部３４４、３４６が画像復号部１４２と同時に同じマクロブロックの処理を行うことができる。
　図１５の画像復号装置によると、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に６分割するので、６つの画像復号部１４１、１４２、３４３～３４６における処理の負荷をほぼ均等にすることができる。
　図１７は、図１の画像復号装置の第３の変形例の構成を示すブロック図である。図１７の画像復号装置は、画像出力部４５４を更に有する点が、図１の画像復号装置とは異なっている。画像出力部４５４は、画像復号部１４１～１４３で復号された画像を格納し、１つのマクロブロックに含まれる全てのブロック（ここではブロックＹ０～Ｙ３、Ｃｂ、及びＣｒ）についての復号された画像が格納されると、そのマクロブロックについての復号された画像を出力する。
　図１８は、図１７の画像復号装置の動作の例を示すタイミングチャートである。図１７を参照しながら各期間の処理について詳しく説明する。
　＜マクロブロック処理期間ＭＩ０＞
　図６の場合と同様である。
　＜マクロブロック処理期間ＭＩ１＞
　画像復号部１４１は、復号して得られたブロックＹ０、Ｙ１の復号画像ＤＹＡを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。画像出力部４５４は、復号画像ＤＹＡを格納する。以下の期間においても同様である。その他の点は、図６の場合と同様である。
　＜マクロブロック処理期間ＭＩ２＞
　画像復号部１４２は、復号して得られたブロックＹ２、Ｙ３の復号画像ＤＹＢを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。以下の期間においても同様である。その他の点は、図６の場合と同様である。
　＜マクロブロック処理期間ＭＩ３＞
　画像復号部１４３は、復号して得られたブロックＣｂ、Ｃｒの復号画像ＤＣを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。以下の期間においても同様である。その他の点は、図６の場合と同様である。
　＜マクロブロック処理期間ＭＩ４＞
　マクロブロック＃０に含まれる全てのブロックについての復号された画像が画像出力部４５４に格納されると、復号タイミング制御器４３４は、完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受ける。すると、復号タイミング制御器４３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣ及びＳＯを出力する。
　画像出力部４５４は、起動信号ＳＯを受け取ると、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４３から受け取り、マクロブロック＃０に含まれる全ブロックの復号画像ＤＭＢを１マクロブロック単位でフレームメモリ４５２に出力する。フレームメモリ４５２は、復号画像ＤＭＢを格納する。出力が完了すると、画像出力部４５４は、復号タイミング制御器４３４に対して完了信号ＥＯを出力することによって完了通知を行う。その後、画像出力部４５４は、画像復号部１４１～１４３で復号された復号画像ＤＹＡ、ＤＹＢ、ＤＣを格納する。
　マクロブロック処理期間ＭＩ５以降においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ４と同様の処理を繰り返して行う。
　図１７の画像復号装置によると、並列に復号処理を行う各画像復号部１４１～１４３の復号画像を一括して出力する画像出力部４５４を有するので、１マクロブロックのデータをまとめて転送できるようになる。転送されるデータの量が比較的少ない複数回の転送が１回の転送にまとめられるので、転送の際のオーバーヘッドを削減し、必要となるバンド幅の増加を抑えることができる。
　次に、動きベクトル予測について説明する。図１９は、動きベクトル予測の際に参照されるブロックの例を示す説明図である。例えばフレーム構造の画像の場合には、図１９のように、復号対象ブロックの画面内で、このブロックの左、上、及び右上に配置される３つのブロックが参照され得る。右上に配置されるブロックが存在しない場合は左上に配置されるブロックが参照される（図３参照）。
　画像復号部１４１～１４３等は、参照情報格納部１３６に格納された参照情報、例えば、ブロックＮＡの動きベクトルＭＶＡ、ブロックＮＢの動きベクトルＭＶＢ、及びブロックＮＣの動きベクトルＭＶＣに基づいて復号対象ブロックの動きベクトルＭＶＴを求め、求められた動きベクトルＭＶＴを参照情報格納部１３６、フレームメモリ１５２等に出力する。参照情報格納部１３６は、他のブロックの動きベクトル予測のための参照情報として動きベクトルＭＶＴを格納する。
　次に、ＤＣ／ＡＣ予測について説明する。図２０は、ＤＣ／ＡＣ予測の際に参照されるブロックの例を示す説明図である。例えばフレーム構造の画像の場合には、図２０のように、復号対象ブロックの画面内で、このブロックの左、上、及び左上に配置される３つのブロックが参照され得る（図２０参照）。
　図２１（ａ）は、ＤＣ予測についての説明図である。ブロックＮＡのＤＣＴ係数ＤＣＡ、及びブロックＮＢのＤＣＴ係数ＤＣＢは、ＤＣ成分である。画像復号部１４１～１４３等は、ＤＣＴ係数ＤＣＡ、又はＤＣＢを、復号対象ブロックの対応するＤＣＴ係数（ＤＣ成分）として用いる。図２１（ｂ）は、ＡＣ予測についての説明図である。ブロックＮＡの左端の列のＤＣＴ係数ＡＣＡ及びブロックＮＢの上端の行のＤＣＴ係数ＡＣＢは、ＡＣ成分である。画像復号部１４１～１４３等は、ＤＣＴ係数ＡＣＡを復号対象ブロックの対応する列のＤＣＴ係数として、又は、ＤＣＴ係数ＡＣＢを復号対象ブロックの対応する行のＤＣＴ係数として用いる。参照情報格納部１３６は、他のブロックのＤＣ／ＡＣ予測のための参照情報として復号対象ブロックのＤＣＴ係数を格納する。
　なお、以上の実施形態ではマクロブロックが輝度信号ブロックＹ０～Ｙ３、及び色差信号ブロック（Ｃｂ及びＣｒ等）を含む場合を例として説明したが、マクロブロックがＲ（red）Ｇ（green）Ｂ（blue）を表す信号のブロックを有していてもよいし、Ｈ（hue）Ｓ（saturation）Ｖ（value）を表す信号のブロックを有していてもよい。
　また、以上の実施形態では、２ブロック（例えばブロックＹ０及びＹ１、ブロックＹ２及びＹ３、又はブロックＣｂ及びＣｒ）を分割単位として、各マクロブロックを分割する例について説明したが、分割単位は１ブロックであってもよいし、ブロックに含まれる１以上のサブブロックであってもよい。１つのマクロブロックが４ブロックより多くのブロックで構成されている場合には、３ブロック以上を分割単位として、各マクロブロックを分割してもよい。例えばマクロブロックが１６ブロック（又は１６サブブロック）で構成されている場合には、４ブロック（又は４サブブロック）毎に各マクロブロックを分割してもよい。
　ブロックＹ０～Ｙ３、Ｃｂ０～Ｃｂ３、及びＣｒ０～Ｃｒ３がいずれも８×８画素に対応する符号化データを有する場合について説明したが、各ブロックが、例えば縦１６×横８画素、縦８×横１６画素、縦８×横４画素、縦４×横８画素、又は４×４画素に対応する符号化データを有していてもよい。
　本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
　以上説明したように、本発明の実施形態によると、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができるので、本発明は、画像復号装置等について有用である。本発明は、更には光ディスク再生装置及び記録装置、デジタルテレビジョン受信装置、ムービー装置、並びに携帯電話等としても有用である。
１１０、２１０、３１０　ストリーム分割器
１３２　パラメータ復号器
１３４、２３４、３３４、４３４　復号タイミング制御器
１３６、２３６、３３６　参照情報格納部
１４１～１４３、２４３、２４４、３４３～３４６　画像復号部
４５４　画像出力部

Claims (14)

  1. 　画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームを処理する画像復号装置であって、
    　前記入力ビットストリームを複数の分割ストリームに分割するストリーム分割器と、
    　前記複数の分割ストリームをそれぞれ復号する複数の画像復号部とを備え、
    　前記ストリーム分割器は、前記動画像のマクロブロックに含まれる前記画面内予測における複数の予測単位のうち、１つ以上の予測単位の符号化データが前記複数の分割ストリームのそれぞれに含まれるように、前記入力ビットストリームを分割する
    画像復号装置。
  2. 　請求項１に記載の画像復号装置において、
    　前記複数の画像復号部のうちの少なくとも１つは、前記複数の画像復号部のうちの他の画像復号部の処理結果を参照して復号を行う
    画像復号装置。
  3. 　請求項２に記載の画像復号装置において、
    　前記複数の画像復号部の復号処理のタイミングを制御する復号タイミング制御器を更に備える
    画像復号装置。
  4. 　請求項３に記載の画像復号装置において、
    　前記複数の画像復号部は、前記復号タイミング制御器から処理を開始すべきことを通知されると、前記複数の画像復号部の間でデータの転送を行う
    画像復号装置。
  5. 　請求項４に記載の画像復号装置において、
    　前記複数の画像復号部の間で転送されるデータには、マクロブロック符号化情報が含まれる
    画像復号装置。
  6. 　請求項２に記載の画像復号装置において、
    　前記複数の画像復号部の処理結果を格納する参照情報格納部を更に備え、
    　前記複数の画像復号部のうちの少なくとも１つは、前記他の画像復号部の処理結果を、前記参照情報格納部から読み出して用いる
    画像復号装置。
  7. 　請求項２に記載の画像復号装置において、
    　前記参照情報格納部は、少なくとも２つの領域を有しており、
    　前記複数の画像復号部は、マクロブロックの処理毎に、前記参照情報格納部の２つの領域に交互に書き込みを行う
    画像復号装置。
  8. 　請求項１に記載の画像復号装置において、
    　前記複数の画像復号部で復号された画像を格納し、前記マクロブロックに含まれる全ての予測単位についての復号された画像が格納されると、当該マクロブロックについての復号された画像を出力する画像出力部を更に備える
    画像復号装置。
  9. 　請求項１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記入力ビットストリームの解析を行い、前記解析の結果に従って前記入力ビットストリームを、復号することなく分割する
    画像復号装置。
  10. 　請求項１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記複数の分割ストリームのそれぞれに前記マクロブロックの予測単位が１つのみ含まれるように、前記入力ビットストリームを分割する
    画像復号装置。
  11. 　請求項１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記複数の分割ストリームのそれぞれに前記マクロブロックの予測単位が２つ以上含まれるように、前記入力ビットストリームを分割する
    画像復号装置。
  12. 　請求項１１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記動画像のカラーフォーマットが４：２：０であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、１つの青色差信号ブロック、及び１つの赤色差信号ブロックを有する場合には、
    　前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロック及び前記赤色差信号ブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして出力する
    画像復号装置。
  13. 　請求項１１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記動画像のカラーフォーマットが４：２：２であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、２行１列の２つの青色差信号ブロック、及び２行１列の２つの赤色差信号ブロックを有する場合には、
    　前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロックのうちの第１行のブロック及び前記赤色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして、前記青色差信号ブロックのうちの第２行のブロック及び前記赤色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第４の分割ストリームとして出力する
    画像復号装置。
  14. 　請求項１１に記載の画像復号装置において、
    　前記ストリーム分割器は、前記動画像のカラーフォーマットが４：４：４であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、２行２列の４つの青色差信号ブロック、及び２行２列の４つの赤色差信号ブロックを有する場合には、
    　前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして、前記青色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第４の分割ストリームとして、前記赤色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第５の分割ストリームとして、前記赤色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第６の分割ストリームとして出力する
    画像復号装置。
PCT/JP2009/004761 2009-03-31 2009-09-18 画像復号装置 WO2010113227A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011506858A JP5275454B2 (ja) 2009-03-31 2009-09-18 画像復号装置
US13/246,503 US8971401B2 (en) 2009-03-31 2011-09-27 Image decoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-087249 2009-03-31
JP2009087249 2009-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/246,503 Continuation US8971401B2 (en) 2009-03-31 2011-09-27 Image decoding device

Publications (1)

Publication Number Publication Date
WO2010113227A1 true WO2010113227A1 (ja) 2010-10-07

Family

ID=42827560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004761 WO2010113227A1 (ja) 2009-03-31 2009-09-18 画像復号装置

Country Status (3)

Country Link
US (1) US8971401B2 (ja)
JP (1) JP5275454B2 (ja)
WO (1) WO2010113227A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130005233A (ko) * 2011-07-05 2013-01-15 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
CN104685875A (zh) * 2012-10-01 2015-06-03 高通股份有限公司 用于视频译码中的4:2:2样本格式的帧内译码
JP2015518342A (ja) * 2012-04-26 2015-06-25 ソニー株式会社 データ符号化及び復号化
KR20200139116A (ko) * 2011-07-05 2020-12-11 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957914B (zh) * 2008-05-23 2016-01-06 松下知识产权经营株式会社 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法
US10841617B2 (en) 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008020470A1 (en) * 2006-08-15 2008-02-21 Fujitsu Limited Decoding method and device
JP2009246539A (ja) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd 符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
WO2009142021A1 (ja) * 2008-05-23 2009-11-26 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置、及び画像符号化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
JP2001218201A (ja) 2000-02-01 2001-08-10 Nippon Telegr & Teleph Corp <Ntt> 並列画像復号装置，並列画像復号方法および並列画像復号用プログラム記録媒体
US7263128B2 (en) * 2002-11-13 2007-08-28 Sony Corporation Triple-buffering method for overlapped motion compensation in a video decoder
CN100534193C (zh) * 2004-08-04 2009-08-26 松下电器产业株式会社 图像解码装置
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
JP5042568B2 (ja) * 2006-09-07 2012-10-03 富士通株式会社 Ｍｐｅｇデコーダ及びｍｐｅｇエンコーダ
JP2008072647A (ja) * 2006-09-15 2008-03-27 Toshiba Corp 情報処理装置、デコーダおよび再生装置の動作制御方法
JP2009038501A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 復号化装置および復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008020470A1 (en) * 2006-08-15 2008-02-21 Fujitsu Limited Decoding method and device
JP2009246539A (ja) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd 符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
WO2009142021A1 (ja) * 2008-05-23 2009-11-26 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置、及び画像符号化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, T.W. ET AL.: "Architecture design of H.264/AVC decoder with hybrid task pipelining for high definition videos", PROC. OF IEEE INT. SYMP. ON CIRCUITS AND SYSTEMS, vol. 3, 23 May 2005 (2005-05-23), pages 2931 - 2934, XP010816206, DOI: doi:10.1109/ISCAS.2005.1465241 *
MEENDERINCK, C. ET AL.: "Parallel Scalability of VideoDecoders", DELFT UNIVERSITY COMPUTER ENGINEERING DEPARTMENT TECHNICAL REPORT CE-TR- 2008-03, 30 June 2008 (2008-06-30) *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139116A (ko) * 2011-07-05 2020-12-11 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR102618513B1 (ko) 2011-07-05 2023-12-27 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR20230050289A (ko) * 2011-07-05 2023-04-14 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR102518242B1 (ko) 2011-07-05 2023-04-05 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR20130005233A (ko) * 2011-07-05 2013-01-15 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR20220123200A (ko) * 2011-07-05 2022-09-06 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR102438021B1 (ko) 2011-07-05 2022-08-30 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR20210148049A (ko) * 2011-07-05 2021-12-07 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR102333153B1 (ko) 2011-07-05 2021-12-01 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
KR102187246B1 (ko) 2011-07-05 2020-12-04 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
US9693058B2 (en) 2012-04-26 2017-06-27 Sony Corporation Filtering of prediction units according to intra prediction direction
US10674144B2 (en) 2012-04-26 2020-06-02 Sony Corporation Filtering of prediction units according to intra prediction direction
US10419750B2 (en) 2012-04-26 2019-09-17 Sony Corporation Filtering of prediction units according to intra prediction direction
JP2015518342A (ja) * 2012-04-26 2015-06-25 ソニー株式会社 データ符号化及び復号化
CN110225359B (zh) * 2012-10-01 2021-06-25 维洛媒体国际有限公司 用于视频译码中的4:2:2样本格式的帧内译码
CN110225359A (zh) * 2012-10-01 2019-09-10 维洛媒体国际有限公司 用于视频译码中的4:2:2样本格式的帧内译码
CN104685875B (zh) * 2012-10-01 2019-07-05 维洛媒体国际有限公司 用于视频译码的方法、设备、计算机可读存储媒体
JP2015534780A (ja) * 2012-10-01 2015-12-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングにおける４：２：２サンプルフォーマットのためのイントラコーディング
CN104685875A (zh) * 2012-10-01 2015-06-03 高通股份有限公司 用于视频译码中的4:2:2样本格式的帧内译码

Also Published As

Publication number Publication date
JP5275454B2 (ja) 2013-08-28
JPWO2010113227A1 (ja) 2012-10-04
US20120027087A1 (en) 2012-02-02
US8971401B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
JP6471786B2 (ja) 画像処理装置及び画像処理方法
JP6471787B2 (ja) 画像処理装置及び画像処理方法
JP5393736B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法および動画像復号化方法
US8422803B2 (en) Image encoding device, image decoding device, image encoding method and image decoding method
JP5275454B2 (ja) 画像復号装置
US20150319444A1 (en) Video compression device, video decoding device, image compression device, image decoding device, imaging device, and program
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
JP4879269B2 (ja) 復号化方法及び装置
JP2006166308A (ja) 復号化装置及び復号化方法
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
JP2007180862A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842584

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011506858

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09842584

Country of ref document: EP

Kind code of ref document: A1