WO2009088196A2 - 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 - Google Patents

다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 Download PDF

Info

Publication number
WO2009088196A2
WO2009088196A2 PCT/KR2009/000036 KR2009000036W WO2009088196A2 WO 2009088196 A2 WO2009088196 A2 WO 2009088196A2 KR 2009000036 W KR2009000036 W KR 2009000036W WO 2009088196 A2 WO2009088196 A2 WO 2009088196A2
Authority
WO
WIPO (PCT)
Prior art keywords
picture
current
block
additional information
motion vector
Prior art date
Application number
PCT/KR2009/000036
Other languages
English (en)
French (fr)
Other versions
WO2009088196A3 (ko
Inventor
Gwang-Hoon Park
Kyu-Heon Kim
Min-Woo Park
Jong-Tae Park
Doug-Young Suh
Original Assignee
Samsung Electronics Co., Ltd.
Industry Academic Cooperation Foundation Of Kyunghee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co., Ltd., Industry Academic Cooperation Foundation Of Kyunghee University filed Critical Samsung Electronics Co., Ltd.
Priority to US12/811,939 priority Critical patent/US9860545B2/en
Publication of WO2009088196A2 publication Critical patent/WO2009088196A2/ko
Publication of WO2009088196A3 publication Critical patent/WO2009088196A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to encoding and decoding of multi-view video.
  • FIG. 1 is a block diagram of a multi-view video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a multi-view video decoding apparatus according to an embodiment of the present invention.
  • 3 shows a prediction method of a multi-view video.
  • 4A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a block type according to an embodiment of the present invention.
  • 4B is a flowchart illustrating a method of determining whether to decode additional information in consideration of a block type according to an embodiment of the present invention.
  • 5A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a first picture type according to an embodiment of the present invention.
  • 5B is a flowchart illustrating a method of determining whether to decode additional information in consideration of a first picture type according to an embodiment of the present invention.
  • 6A illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of a block type and a first picture type according to an embodiment of the present invention.
  • 6B illustrates a rear end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of a block type and a first picture type according to an embodiment of the present invention.
  • FIG. 7A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a second picture type according to an embodiment of the present invention.
  • 7B is a flowchart illustrating a method of determining whether to decode additional information in consideration of the second picture type according to an embodiment of the present invention.
  • FIG. 8 illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of the second picture type according to an embodiment of the present invention.
  • 9A is a flowchart illustrating a method of determining whether to encode additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • 9B is a flowchart illustrating a method of determining whether to decode additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • FIG. 10 shows a syntax of additional information coding information according to an embodiment of the present invention.
  • FIG. 11 illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • 12A is a flowchart illustrating a method of encoding additional information including color difference compensation information according to an embodiment of the present invention.
  • 12B is a flowchart illustrating a method of decoding additional information including color difference compensation information according to an embodiment of the present invention.
  • FIG. 13 illustrates a syntax of additional information including color difference compensation information according to an embodiment of the present invention.
  • 14A is a flowchart illustrating a method of encoding additional information including luminance compensation information according to an embodiment of the present invention.
  • 14B is a flowchart illustrating a method of decoding additional information including luminance compensation information according to an embodiment of the present invention.
  • 15 shows a syntax of additional information coding information including luminance compensation information according to an embodiment of the present invention.
  • 16 is a flowchart illustrating a method of determining a motion vector using additional information including a reference index for motion prediction according to an embodiment of the present invention.
  • 17A is a flowchart of a method of encoding additional information including motion vector information according to an embodiment of the present invention.
  • 17B is a flowchart illustrating a method of decoding additional information including motion vector information according to an embodiment of the present invention.
  • 18A illustrates a syntax of additional information including motion vector information according to an embodiment of the present invention.
  • 18B illustrates a syntax of additional information including motion vector information according to another embodiment of the present invention.
  • 19A is a flowchart illustrating a method of encoding additional information including motion vector coding information according to an embodiment of the present invention.
  • 19B is a flowchart illustrating a method of decoding additional information including motion vector coding information according to an embodiment of the present invention.
  • 20A illustrates a syntax of additional information including motion vector coding information according to an embodiment of the present invention.
  • 20B illustrates a syntax of additional information including motion vector coding information according to another embodiment of the present invention.
  • 21 is a block diagram of a multi-view video encoding apparatus according to another embodiment of the present invention.
  • FIG. 22 is a block diagram of a multi-view video decoding apparatus according to another embodiment of the present invention.
  • FIG. 23 is a flowchart of a multi-view video encoding method according to an embodiment of the present invention.
  • FIG. 24 is a flowchart of a multi-view video decoding method according to an embodiment of the present invention.
  • An object of the present invention is to efficiently encode or decode a multi-view video.
  • a multi-view video encoding method includes: determining a block type indicating a method of determining a motion vector of a current block in a current picture; determining a first picture type indicating whether the current picture is a reference picture type for inter prediction; determining additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and encoding additional information about the current picture.
  • a multi-view video decoding method includes: reading a block type indicating a method of determining a motion vector of a current block in a current picture; reading a first picture type indicating whether the current picture is a reference picture type for inter prediction; reading additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and reconstructing the current block and the current picture by using the additional information about the current picture.
  • a multi-view video encoding method includes: determining a block type indicating a method of determining a motion vector of a current block in a current picture; determining a first picture type indicating whether the current picture is a reference picture type for inter prediction; determining additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and encoding additional information about the current picture.
  • the determining of the block type of the multi-view video encoding method may include determining whether the current block is a skip mode block type and setting block type information for the current block.
  • the current picture is a reference picture for inter prediction of another picture on the same view, and a picture for inter-view prediction of another picture on another view
  • the method may include determining whether it is an in-picture type and setting the first picture type information.
  • the current block is a skip mode block type
  • the first picture type of the current picture is a reference picture for inter prediction of another picture on the same view
  • additional information about the current picture may be determined.
  • the multi-view video encoding method of an embodiment further includes determining a second picture type of the current picture and setting second picture type information for the current picture, wherein the determining additional information includes: determining additional information about the current picture based on a block type of a current block, a first picture type of the current picture, and a second picture type, wherein the second picture type is an I picture type, P It may include at least one of a picture type and a B picture type.
  • the multi-view video encoding method of an embodiment further includes determining additional information coding information indicating whether to code additional information for the current picture, wherein the determining additional information includes: a block type of the current block , determining the additional information for the current picture based on the first picture type of the current picture and the additional information coding information.
  • the determining of the additional information coding information of the multi-view video encoding method may include: calculating an average of Y component values, U component values, and V component values of pixels of the current picture; calculating an average of Y component values, U component values, and V component values of pixels of a reference picture of the current picture; calculating an absolute value of a difference between the average of the Y component values of the current picture and the average of the Y component values of the reference picture; calculating an absolute value of a difference between the average of the U component values of the current picture and the average of the U component values of the reference picture; calculating an absolute value of a difference between an average of V component values of the current picture and an average of V component values of the reference picture; calculating the sum of the absolute value of the difference of the mean of the Y component values, the absolute value of the difference of the mean of the U component values, and the absolute value of the difference of the mean of the V component values; and determining to code the additional information when the sum of the absolute values is greater than
  • the determining of the additional information of the multiview video encoding method may include calculating a chrominance compensation value between the current block and a corresponding block of a reference picture in a reference relationship.
  • the determining of the additional information of the multiview video encoding method may further include performing chrominance compensation on the current block using the chrominance compensation value.
  • the chrominance compensation value may be separately calculated for each U component and V component, and chrominance compensation may be performed.
  • the chrominance compensation may be performed together with motion compensation for the current block.
  • the additional information may include a chrominance compensation value for the current block.
  • the additional information includes a difference value between a chrominance compensation value for the current block and a chrominance compensation predicted value for the current block, and a chrominance compensation predicted value for the current block may be based on a chrominance compensation value of a neighboring block of the current block.
  • the determining of the additional information of the multi-view video encoding method may include calculating a luminance compensation value between the current block and a corresponding block in a reference relationship.
  • the determining of the additional information of the multi-view video encoding method according to an embodiment may further include performing luminance compensation on the current block using the luminance compensation value.
  • the luminance compensation may be performed together with motion compensation for the current block.
  • the additional information may include a luminance compensation value for the current block.
  • the additional information includes a difference value between a luminance compensation value for the current block and a luminance compensation predicted value for the current block, and the luminance compensation predicted value for the current block is , may be based on a luminance compensation value of a neighboring block of the current block.
  • the determining of the additional information of the multi-view video encoding method may determine a motion vector of a neighboring block of the current block as a motion vector of the current block.
  • the motion vector of the neighboring block is referenced with the neighboring block among blocks in the nearest previous reference picture among the reference pictures for the current picture. It may be a motion vector between a corresponding block in a relationship and the neighboring block.
  • the neighboring block may not be a skip mode block.
  • the determining of the additional information of the multiview video encoding method according to an embodiment may further include performing motion compensation on the current block using the motion vector.
  • the encoding of the additional information of the multi-view video encoding method includes setting the reference index of the current block to determine a motion vector of a neighboring block of the current block as a motion vector of the current block. can do.
  • the determining of the additional information of the multi-view video encoding method may include: performing motion prediction on the current block; and determining a motion vector of the current block by the motion prediction.
  • a reference picture for a motion vector of the current block is selected from among the reference pictures of the current picture.
  • the method may further include determining the closest previous reference picture.
  • reference pictures for the motion vector of the current block are selected from among the reference pictures of the current picture.
  • the method may further include determining as two of the nearest previous reference pictures and the nearest subsequent reference pictures.
  • the determining of the additional information of the multiview video encoding method according to an embodiment may further include performing motion compensation on the current block using the motion vector.
  • the additional information may include a motion vector of the current block.
  • the additional information includes a difference value between a motion vector and a motion vector prediction value of the current block
  • the motion vector prediction value of the current block includes: It may be based on a motion vector of a neighboring block of the current block.
  • the additional information may include a reference picture for a motion vector of the current block.
  • the additional information encoding step of the multi-view video encoding method encodes the additional information based on motion vector coding information, and the additional information encodes a motion vector of a current block of the current picture may include motion vector coding information indicating
  • the motion vector coding information of the multi-view video encoding method is set to indicate that the motion vector is not coded when the motion vector of the current block and the motion vector prediction value are the same, and the motion of the current block When the vector and the motion vector prediction value are different from each other, it is set to indicate coding the motion vector, and the motion vector prediction value of the current block may be based on a motion vector of a neighboring block of the current block.
  • the reference picture in a reference relationship with the current picture is a picture of the same time and different view as the current picture, and each reference picture is inter prediction of another picture on the corresponding view. It may be a reference picture for
  • a multi-view video decoding method includes: reading a block type indicating a method of determining a motion vector of a current block in a current picture; reading a first picture type indicating whether the current picture is a reference picture type for inter prediction; reading additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and reconstructing the current block and the current picture by using the additional information about the current picture.
  • the block type reading step of the multi-view video decoding method may include reading block type information on the current block; and determining whether the current block is a skip mode block based on the block type information.
  • the step of reading the first picture type of the multiview video decoding method may include reading first picture type information for the current picture; and determining, based on the first picture type information, whether the current picture is a picture type that is a reference picture for inter prediction of another picture on the same view and a picture for inter-view prediction of another picture on another view. may include.
  • the current block is a skip mode block type
  • the first picture type of the current picture is a reference picture for inter prediction of another picture on the same view
  • additional information about the current picture may be read.
  • the multi-view video decoding method of an embodiment further includes reading second picture type information for the current picture, wherein the reading additional information includes: based on the second picture type information, the current block reading additional information about the current picture based on the block type of the current picture, the first picture type of the current picture, and the second picture type, wherein the second picture type is an I picture type, a P picture type and at least one of a B picture type.
  • the multi-view video decoding method of an embodiment further includes reading additional information coding information indicating whether to code additional information for the current picture, wherein the reading additional information includes: a block type of the current block , reading additional information about the current picture based on the first picture type of the current picture and the additional information coding information.
  • the additional information coding information is greater than a predetermined threshold, the additional information based on the block type of the current block and the first picture type of the current picture can be read.
  • the step of reading the additional information of the multiview video decoding method may include reading a color difference compensation value between the current block and a corresponding block in a reference relationship.
  • the step of reading the additional information of the multi-view video decoding method may include: reading a chrominance compensation difference value with respect to a chrominance compensation value between the current block and a corresponding block in a reference relationship; and calculating a chrominance compensation value of the current block by adding the chrominance compensation difference value to a chrominance compensation predicted value based on a chrominance compensation value of a neighboring block of the current block.
  • the reconstructing of the multiview video decoding method may include: performing chrominance compensation on the current block using a chrominance compensation value of the current block; and reconstructing the current block and the current picture by the color difference compensation.
  • the performing of the color difference compensation of the multi-view video decoding method according to an embodiment may be performed simultaneously with the motion compensation of the current block.
  • the step of reading the chrominance compensation value of the multiview video decoding method may include separately reading the chrominance compensation value for each U component and each V component, and the performing of the chrominance compensation may include separately reading the chrominance compensation value for each of the U and V components. compensation can be performed.
  • the step of reading the additional information of the multi-view video decoding method may include reading a luminance compensation value between the current block and a corresponding block in a reference relationship.
  • the step of reading the luminance compensation value of the multi-view video decoding method may include: reading a luminance compensation difference value with respect to the luminance compensation value between the current block and a corresponding block in a reference relationship; and calculating a luminance compensation value of the current block by adding the luminance compensation difference value to a luminance compensation predicted value based on a luminance compensation value of a neighboring block of the current block.
  • the reconstructing of the multi-view video decoding method may include: performing luminance compensation on the current block using a luminance compensation value of the current block; and reconstructing the current block and the current picture by the luminance compensation.
  • the performing of the luminance compensation of the multi-view video decoding method according to an embodiment may be performed simultaneously with motion compensation for the current block.
  • the step of reading the additional information of the multi-view video decoding method includes reading a reference index of the current block and determining a motion vector of a neighboring block of the current block as a motion vector of the current block can do.
  • the step of determining the motion vector of the multi-view video decoding method includes a corresponding block in a reference relationship with the neighboring block among blocks in the nearest previous reference picture among the reference pictures for the current picture and the neighboring blocks.
  • a motion vector between blocks may be determined as a motion vector of the neighboring block.
  • the neighboring block may not be a skip mode block.
  • the restoring step of an embodiment may include: performing motion compensation on the current block using the motion vector; and reconstructing the current block and the current picture by the motion compensation.
  • the step of reading the additional information of the multi-view video decoding method may include reading a motion vector of the current block.
  • the step of reading the additional information of the multi-view video decoding method may include: reading a motion vector difference value with respect to the motion vector of the current block; and calculating a motion vector of the current block by adding the motion vector difference to a motion vector prediction value based on a motion vector of a neighboring block of the current block.
  • the step of reading the additional information of the multi-view video decoding method may further include reading a reference picture for a motion vector of the current block.
  • the step of reading the motion vector of the multiview video decoding method may include: reading motion vector coding information indicating whether to code a motion vector of a current block of the current picture; determining whether to read a motion vector for the current picture based on the motion vector coding information; and reading the motion vector based on the determination.
  • a motion vector prediction value based on a motion vector of a neighboring block of the current block is determined as the motion vector of the current block, and when it is determined to perform motion vector coding based on the motion vector coding information, the motion vector may be read using the additional information.
  • the reconstructing of the multi-view video decoding method may include: performing motion compensation on the current block using the motion vector; and reconstructing the current block and the current picture by the motion compensation.
  • the performing of the motion compensation of the multi-view video decoding method includes, when the current block is in the P skip mode, a reference picture for a motion vector of the current block is moved to the nearest previous reference picture of the current picture. determining as a reference picture of ; and performing motion compensation on the current block using the reference picture and the motion vector.
  • reference pictures for the motion vector of the current block are selected from among the reference pictures of the current picture. determining as two of the nearest previous reference pictures and the nearest subsequent reference pictures; and performing motion compensation on the current block using the reference picture and the motion vector.
  • the reference picture in a reference relationship with the current picture is a picture of the same time and different view as the current picture, and each reference picture is for inter prediction of another picture on the corresponding view. It may be a reference picture.
  • a multi-view video encoding apparatus includes: a block type determiner configured to determine a block type indicating a method of determining a motion vector of a current block in a current picture; a first picture type determiner configured to determine a first picture type indicating whether the current picture is a reference picture type for inter prediction; an additional information determiner configured to determine additional information on the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and an additional information encoding unit for encoding additional information on the current picture.
  • the block type determiner of the multiview video encoding apparatus may determine whether the current block is a skip mode block type, and set block type information on the current block.
  • the first picture type determiner of the multi-view video encoding apparatus may include that the current picture is a reference picture for inter prediction of another picture on the same view, and a picture for inter-view prediction of another picture on another view. It is possible to determine whether it is a picture type and set the first picture type information.
  • the additional information determiner may include: the current block is a skip mode block type; In the case of a picture type that is a picture for prediction, additional information about the current picture may be determined.
  • the multi-view video encoding apparatus of the multi-viewpoint video encoding apparatus determines a second picture type for determining a second picture type of the current picture and further setting second picture type information for the current picture further comprising a unit, wherein the additional information determining unit determines the additional information about the current picture based on the block type of the current block, the first picture type of the current picture, and the second picture type, and the second
  • the picture type may include at least one of an I picture type, a P picture type, and a B picture type.
  • the multi-view video encoding apparatus further includes an additional information coding information determining unit configured to determine additional information coding information indicating whether to code additional information for the current picture, wherein the additional information determining unit comprises: the current block Based on the block type of , the first picture type of the current picture, and the additional information coding information, additional information for the current picture may be determined.
  • the additional information coding information determiner of the multiview video encoding apparatus may include: an average of Y component values, U component values, and V component values of pixels of the current picture; and calculating the average of Y component values, U component values, and V component values of pixels of the reference picture of the current picture, and the absolute difference between the average of the Y component values of the current picture and the average of the Y component values of the reference picture value; an absolute value of a difference between the average of the U component values of the current picture and the average of the U component values of the reference picture; and calculating an absolute value of a difference between the average of the V component values of the current picture and the average of the V component values of the reference picture; It is possible to calculate the sum of the absolute values of the difference between the values and the mean of the V component values, and if the sum of the absolute values is greater than a predetermined threshold, it may be determined to code the additional information.
  • the additional information determiner of the multiview video encoding apparatus may include a color difference information determiner that calculates a color difference compensation value between the current block and a corresponding block of a reference picture in a reference relationship.
  • the additional information determiner of the multiview video encoding apparatus may further include a chrominance compensation performing unit configured to perform chrominance compensation on the current block by using the chrominance compensation value.
  • the additional information determiner of the multiview video encoding apparatus may separately calculate the chrominance compensation value for each U component and V component and perform chrominance compensation.
  • the chrominance compensation performing unit of the multiview video encoding apparatus may perform the chrominance compensation together with motion compensation for the current block.
  • the additional information encoder of the multi-view video encoding apparatus may include the additional information including a chrominance compensation value for the current block.
  • the additional information encoder of the multi-view video encoding apparatus may include, wherein the additional information includes a difference value between a chrominance compensation value for the current block and a chrominance compensation predicted value for the current block, and the chrominance compensation predicted value for the current block is , may be based on a chrominance compensation value of a neighboring block of the current block.
  • the additional information determiner of the multiview video encoding apparatus may include a luminance information determiner configured to calculate a luminance compensation value between the current block and a corresponding block in a reference relationship.
  • the additional information determiner of the multiview video encoding apparatus may further include a luminance compensation performing unit configured to perform luminance compensation on the current block by using the luminance compensation value.
  • the luminance compensation performing unit of the multiview video encoding apparatus may perform the luminance compensation together with motion compensation for the current block.
  • the additional information encoder of the multi-view video encoding apparatus may include a luminance compensation value for the current block.
  • the additional information encoding unit of the multi-view video encoding apparatus encodes a difference value between a luminance compensation value and a luminance compensation predicted value for the current block as the additional information, and the luminance compensation predicted value for the current block includes: It may be based on a luminance compensation value of a neighboring block of the current block.
  • the additional information determiner of the multiview video encoding apparatus may include a motion vector determiner that determines a motion vector of a neighboring block of the current block as a motion vector of the current block.
  • the motion vector of the neighboring block has a reference relationship with the neighboring block among blocks in the nearest previous reference picture among the reference pictures for the current picture. It may be a motion vector between the corresponding block in , and the neighboring block.
  • the neighboring block may not be a skip mode block.
  • the additional information determiner of the multiview video encoding apparatus may further include a motion compensation performer configured to perform motion compensation on the current block by using the motion vector.
  • the additional information encoder of the multiview video encoding apparatus may set the reference index of the current block to determine a motion vector of a neighboring block of the current block as a motion vector of the current block.
  • the additional information determiner of the multiview video encoding apparatus may include a motion vector determiner configured to perform motion prediction on the current block and determine a motion vector of the current block by the motion prediction. .
  • the additional information determiner of the multiview video encoding apparatus selects a reference picture for a motion vector of the current block from among the reference pictures of the current picture. It can be determined as a nearby previous reference picture.
  • the additional information determiner of the multi-view video encoding apparatus may select reference pictures for a motion vector of the current block among the reference pictures of the current picture. Two of the nearest previous reference pictures and the nearest subsequent reference pictures may be determined.
  • the additional information determiner of the multiview video encoding apparatus may further include a motion compensation performer configured to perform motion compensation on the current block by using the motion vector.
  • the additional information encoder of the multiview video encoding apparatus may include the additional information including a motion vector of the current block.
  • the additional information encoding unit of the multi-view video encoding apparatus wherein the additional information includes a difference value between a motion vector and a motion vector prediction value of the current block, and the motion vector prediction value of the current block is It may be based on a motion vector of a neighboring block of the block.
  • the additional information encoder of the multiview video encoding apparatus may include a reference picture for a motion vector of the current block, wherein the additional information may include a reference picture.
  • the additional information encoder of the multiview video encoding apparatus encodes the additional information based on motion vector coding information, and the additional information determines whether to code a motion vector of a current block of the current picture.
  • the motion vector coding information is set to indicate that the motion vector is not coded when the motion vector and the motion vector prediction value of the current block are the same, and the motion of the current block When the vector and the motion vector prediction value are different from each other, it is set to indicate coding the motion vector, and the motion vector prediction value of the current block may be based on a motion vector of a neighboring block of the current block.
  • the reference picture in a reference relationship with the current picture is a picture at the same time and a different viewpoint as the current picture, and each reference picture performs inter prediction of another picture on the corresponding viewpoint. It may be a reference picture for
  • a multi-view video decoding apparatus includes: a block type reading unit for reading a block type indicating a method of determining a motion vector of a current block in a current picture; a first picture type reading unit for reading a first picture type indicating whether the current picture is a reference picture type for inter prediction; an additional information reading unit configured to read additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and a restoration unit that reconstructs the current block and the current picture by using the additional information on the current picture.
  • the block type reading unit of the multi-view video decoding apparatus may read block type information on the current block and determine whether the current block is a skip mode block type based on the block type information have.
  • the first picture type reading unit of the multiview video decoding apparatus reads first picture type information for the current picture, and based on the first picture type information, the current picture is the same view It may be determined whether the picture type is a reference picture for inter prediction of other pictures on the image and a picture for inter-view prediction of other pictures on a different view.
  • the additional information reading unit of the multi-view video decoding apparatus wherein the current block is a skip mode block type, and a first picture type of the current picture is a reference picture for inter prediction of another picture on the same view , in the case of a picture type that is a picture for inter-view prediction of another picture on a different viewpoint, additional information on the current picture may be read.
  • the multi-view video decoding apparatus further includes a second picture type reading unit for reading second picture type information for the current picture, wherein the additional information reading unit is configured to read, based on the second picture type information, Based on the block type of the current block, the first picture type and the second picture type of the current picture, additional information about the current picture is read, and the second picture type is an I picture type, a P picture type, and It may include at least one of B picture types.
  • the multi-view video decoding apparatus further includes an additional information coding information reading unit configured to read additional information coding information indicating whether to code additional information for the current picture, wherein the additional information reading unit includes: the current block Based on the block type of , the first picture type of the current picture, and the additional information coding information, additional information for the current picture may be read.
  • the additional information reading unit of the multiview video decoding apparatus may read the additional information based on the block type of the current block and the first picture type of the current picture. can be read
  • the additional information reading unit of the multiview video decoding apparatus may include a chrominance compensation reading unit reading a chrominance compensation value between the current block and a corresponding block in a reference relationship.
  • the additional information reading unit of the multi-view video decoding apparatus reads a chrominance compensation difference value for a chrominance compensation value between the current block and a corresponding block in a reference relationship, and compensates for the chrominance of a neighboring block of the current block and a chrominance compensation reading unit configured to calculate a chrominance compensation value of the current block by adding the chrominance compensation difference value to a chrominance compensation predicted value based on a value.
  • the reconstructor of the multi-view video decoding apparatus performs chrominance compensation on the current block using a chrominance compensation value of the current block, and reconstructs the current block and the current picture by the chrominance compensation.
  • a color difference compensation performing unit may be included.
  • the chrominance compensation performing unit of the multiview video decoding apparatus may simultaneously perform motion compensation on the current block.
  • the chrominance compensation reading unit of the multiview video decoding apparatus separately reads the chrominance compensation value for each U component and V component, and the chrominance compensation performing unit separately performs chrominance compensation for each of the U and V components. can do.
  • the additional information reading unit of the multiview video decoding apparatus may include a luminance compensation reading unit reading a luminance compensation value between the current block and a corresponding block in a reference relationship.
  • the luminance compensation value reading unit of the multiview video decoding apparatus reads a luminance compensation difference value for a luminance compensation value between the current block and a corresponding block in a reference relationship, and the luminance of a neighboring block of the current block and a luminance compensation reading unit configured to calculate a luminance compensation value of the current block by adding the luminance compensation difference value to a luminance compensation predicted value based on the compensation value.
  • the restoration unit of the multi-view video decoding apparatus performs luminance compensation on the current block using a luminance compensation value of the current block, and reconstructs the current block and the current picture by the luminance compensation. It may include a luminance compensator.
  • the luminance compensation performing unit of the multiview video decoding apparatus may simultaneously perform motion compensation on the current block.
  • the additional information reading unit of the multi-view video decoding apparatus may include a motion vector determiner configured to read a reference index of the current block and determine a motion vector of a neighboring block of the current block as a motion vector of the current block.
  • the motion vector determiner of the multiview video decoding apparatus may include a corresponding block and the neighboring block in a reference relationship with the neighboring block among blocks in the nearest previous reference picture among the reference pictures for the current picture.
  • a motion vector between the blocks may be determined as a motion vector of the neighboring block.
  • the neighboring block may not be a skip mode block.
  • the restoration unit of an embodiment may include a motion compensation performing unit that performs motion compensation on the current block by using the motion vector, and reconstructs the current block and the current picture by the motion compensation.
  • the additional information reading unit of the multi-view video decoding apparatus may include a motion vector reading unit reading a motion vector of the current block.
  • the additional information reading unit of the multi-view video decoding apparatus reads a motion vector difference value with respect to the motion vector of the current block, and adds the motion vector prediction value based on a motion vector of a neighboring block of the current block. and a motion vector reading unit for calculating the motion vector of the current block by summing motion vector differences.
  • the additional information reading unit of the multiview video decoding apparatus may further include a reference picture reading unit reading a reference picture for the motion vector of the current block.
  • the motion vector reading unit of the multi-view video decoding apparatus reads motion vector coding information indicating whether to code a motion vector of a current block of the current picture, and based on the motion vector coding information,
  • the method may further include a motion vector coding information reading unit for determining whether to read a motion vector for a current picture, and reading the motion vector based on the determination.
  • the motion vector reading unit of an embodiment determines a motion vector prediction value based on a motion vector of a neighboring block of the current block as the motion vector of the current block. and, when it is determined based on the motion vector coding information to perform motion vector coding, the motion vector may be read using the additional information.
  • the reconstructor of the multi-view video decoding apparatus performs motion compensation on the current block using the motion vector, and performs motion compensation for reconstructing the current block and the current picture by the motion compensation. may include wealth.
  • the motion compensation performing unit of the multiview video decoding apparatus may select a reference picture for a motion vector of the current block from among the reference pictures of the current picture. It may be determined as a reference picture, and motion compensation may be performed on the current block using the reference picture and the motion vector.
  • the motion compensation performing unit of the multiview video decoding apparatus is configured to select reference pictures for a motion vector of the current block among the reference pictures of the current picture. Two of the nearest previous reference pictures and the nearest subsequent reference pictures may be determined, and motion compensation may be performed on the current block using the reference picture and the motion vector.
  • the reference picture in a reference relationship with the current picture is a picture at the same time and a different viewpoint as the current picture, and each reference picture performs inter prediction of another picture on the corresponding viewpoint. It may be a reference picture for
  • the present invention discloses a computer-readable recording medium having a program recorded thereon, wherein the computer program is for implementing a multi-view video encoding method according to an embodiment of the present invention, wherein the multi-view video encoding method is currently determining a block type indicating a method of determining a motion vector of a current block in a picture; determining a first picture type indicating whether the current picture is a reference picture type for inter prediction; determining additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and encoding additional information about the current picture.
  • the present invention discloses a computer-readable recording medium in which a program is recorded, the program is for implementing a multi-view video decoding method according to an embodiment, wherein the multi-view video decoding method includes a current block in a current picture reading a block type indicating a method of determining a motion vector of ; reading a first picture type indicating whether the current picture is a reference picture type for inter prediction; reading additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and reconstructing the current block and the current picture by using the additional information on the current picture.
  • the multi-view video decoding method includes a current block in a current picture reading a block type indicating a method of determining a motion vector of ; reading a first picture type indicating whether the current picture is a reference picture type for inter prediction; reading additional information about the current picture based on at least one of a block type of the current block and a first picture type of the current picture; and reconstructing the
  • FIG. 1 is a block diagram of a multi-view video encoding apparatus according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 includes a block type determiner 110 , a first picture type determiner 120 , an additional information determiner 130 , and an additional information encoder 140 . includes
  • the block type determiner 110 determines a block type indicating a method of determining a motion vector of a current block in the current picture among pictures of a multi-view video to be encoded, and the determined block type information is obtained by the additional information determiner 130 . is output as
  • the determination of the block type determiner 110 may affect the first picture type determiner 120 .
  • the block type determiner 110 may determine whether the current block is a skip mode block type and set block type information for the current block.
  • the block type may include at least one of a skip mode block, a direct mode block, and an inter mode block. have.
  • the skip mode block does not have a unique motion vector of the current block. That is, the motion vector of the skip mode block is 0 or is determined from the motion vectors of neighboring blocks of the current block.
  • data of the block including a residual image is not coded.
  • An embodiment of the present invention may determine whether the current block is a skip mode block.
  • the first picture type determiner 120 determines a first picture type indicating whether a current picture is a reference picture type for inter prediction among pictures of a multi-view video to be encoded, and adds the determined first picture type information output to the information determining unit 130 . In an embodiment, if block type information as well as the first picture type are considered to determine the additional information, whether the first picture type determiner 120 operates according to the result of the block type determiner 110 may be determined. have.
  • the first picture type may include an anchor picture type and a non-anchor picture type.
  • the anchor picture type is a picture on which inter-view prediction is performed, a picture for inter-view prediction of another picture on a different view, and a picture that serves as a reference for inter prediction of another picture on the same view.
  • An embodiment of the present invention may determine whether the current picture is an anchor picture.
  • the additional information determiner 130 determines the current picture based on at least one of the block type of the current block determined by the block type determiner 110 and the first picture type of the current picture determined by the first picture type determiner 120 . Additional information is determined, and the additional information is output to the additional information encoding unit 140 .
  • the additional information determiner 130 determines additional information about the current picture only when the current block is a skip mode block. In another example, the additional information determiner 130 determines additional information on the current picture when the current block is a skip mode block and the current picture is an anchor picture.
  • an embodiment of the multi-view video encoding apparatus 100 includes a second picture type determiner that determines second picture type information of a current picture, and the additional information determiner 130 determines the current block Additional information about the current picture may be determined by considering the block type of , not only the first picture type of the current picture but also the second picture type. For example, when the second picture type information includes at least one of an I picture type, a P picture type, and a B picture type, the additional information determiner 130 may determine the additional information only for the current picture of the P picture type. have.
  • an embodiment of the multi-view video encoding apparatus 100 includes an additional information coding information determining unit that determines additional information coding information indicating whether to code additional information for the current picture
  • the additional information determiner 130 may determine the additional information about the current picture by considering not only the block type of the current block but also the additional information coding information of the current picture. A method of determining additional information coding information is detailed below with reference to FIGS. 9A to 11 .
  • the additional information determiner 130 includes a color difference information determiner that determines color difference information of a current block for compensating for a color difference of the current block and a color difference compensation performer that performs color difference compensation using the color difference information.
  • a color difference information determiner that determines color difference information of a current block for compensating for a color difference of the current block
  • a color difference compensation performer that performs color difference compensation using the color difference information.
  • the additional information determiner 130 may include a luminance information determiner that determines luminance information of the current block for luminance compensation of the current block and a luminance compensation performer that performs chrominance compensation using the luminance information.
  • a luminance information determiner that determines luminance information of the current block for luminance compensation of the current block
  • a luminance compensation performer that performs chrominance compensation using the luminance information. The luminance information and its determination method will be described in detail below with reference to FIGS. 14A to 15 .
  • the additional information determiner 130 may include a motion vector determiner that determines a motion vector of the current block for motion compensation of the current block and a motion compensation performer that performs motion compensation using the motion vector.
  • a motion vector determiner that determines a motion vector of the current block for motion compensation of the current block
  • a motion compensation performer that performs motion compensation using the motion vector. The motion vector and its determination method will be described in detail below with reference to FIGS. 16 to 20B.
  • the additional information encoder 140 receives additional information about the current picture from the additional information determiner 130 and encodes it.
  • the encoded additional information may be inserted into a bitstream into which a multi-view video to be encoded by the multi-view video encoding apparatus 100 is encoded and inserted.
  • the additional information encoded by the additional information encoder 140 may include chrominance information, luminance information, motion vector information, and the like.
  • the color difference information may be a color difference compensation value for the current block itself or a difference value based on a color difference compensation value predicted value of a neighboring block.
  • the luminance information may be a luminance compensation value for the current block itself or a difference value based on a luminance compensation value predicted value of a neighboring block.
  • the motion vector information may be a motion vector itself for the current block or a difference value based on a motion vector predicted value of a neighboring block.
  • the motion vector information may include information about a reference picture for motion prediction.
  • FIG. 2 is a block diagram of a multi-view video decoding apparatus according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 includes a block type reading unit 210 , a first picture type reading unit 220 , an additional information reading unit 230 , and a restoration unit 240 . do.
  • An embodiment of the multi-view video decoding apparatus 200 parses the received bitstream to extract information necessary for image reconstruction, such as picture image data, picture information, block information, and other coding-related information, and a block type reader 210 , may be transmitted to the first picture type reading unit 220 , the additional information reading unit 230 , and the restoration unit 240 .
  • concepts such as first and second picture types and block types are the same as those described above in the description of the multi-view video encoding apparatus 200 .
  • the block type reading unit 210 reads a block type indicating a method of determining a motion vector of a current block in a current picture among pictures of a multi-view video to be decoded, and the read block type information is an additional information reading unit 230 . ) is output.
  • the decision of the block type reader 210 may affect the first picture type reader 220 .
  • the block type reading unit 210 may read block type information on the current block to determine whether the current block is a skip mode block type.
  • the block type may include at least one of a skip mode block, a direct mode block, and an inter mode block.
  • An embodiment of the present invention may determine whether the current block is a skip mode block.
  • the first picture type reading unit 220 reads a first picture type indicating whether a current picture among pictures of a multi-view video to be decoded is a reference picture type for inter prediction, and adds the read first picture type information output to the information reading unit 230 . According to an embodiment, if block type information as well as the first picture type are considered to read the additional information, it may be determined whether the first picture type reading unit 220 operates according to the result of the block type reading unit 210 . have.
  • the first picture type may include an anchor picture type and a non-anchor picture type.
  • An embodiment of the present invention may read whether the current picture is an anchor picture.
  • the additional information reading unit 230 based on at least one of the block type of the current block read from the block type reading unit 210 and the first picture type of the current picture read from the first picture type reading unit 220, Additional information about the current picture is read, and the additional information is output to the restoration unit 240 .
  • the additional information reading unit 230 reads additional information about the current picture only when the current block is a skip mode block. In another example, the additional information reading unit 230 reads additional information about the current picture when the current block is a skip mode block and the current picture is an anchor picture.
  • an embodiment of the multi-view video decoding apparatus 200 includes a second picture type reading unit for reading second picture type information of a current picture, and the additional information reading unit 230 is a current block
  • the additional information about the current picture may be read by considering the block type of , the first picture type as well as the second picture type of the current picture. For example, when the second picture type information includes at least one of an I picture type, a P picture type, and a B picture type, the additional information reading unit 230 reads the additional information only for the current picture of the P picture type.
  • an embodiment of the multi-view video decoding apparatus 200 includes an additional information coding information reading unit that reads additional information coding information indicating whether additional information for the current picture has been coded,
  • the additional information reading unit 230 may read the additional information about the current picture from the bitstream by considering not only the block type of the current block but also the additional information coding information of the current picture.
  • the additional information coding information reading method is detailed below with reference to Figs. 9A to 11 .
  • the additional information reading unit 230 may include a color difference information reading unit reading the color difference information of the current block for compensating for the color difference of the current block.
  • the color difference information may be a color difference compensation value for the current block itself or a difference value based on a color difference compensation value predicted value of a neighboring block. The color difference information and its determination method will be described in detail below with reference to FIGS. 12A to 13 .
  • the additional information reading unit 230 may include a luminance information reading unit for reading the luminance information of the current block for luminance compensation of the current block.
  • the luminance information may be a luminance compensation value for the current block itself or a difference value based on a luminance compensation value predicted value of a neighboring block. The luminance information and its determination method will be described in detail below with reference to FIGS. 14A to 15 .
  • the additional information reading unit 230 may include a motion vector reading unit reading a motion vector of the current block for motion compensation of the current block.
  • the motion vector information may be a motion vector itself for the current block or a difference value based on a motion vector predicted value of a neighboring block.
  • the motion vector information may include information about a reference picture for motion prediction. The motion vector and its determination method will be described in detail below with reference to FIGS. 16 to 20B.
  • the restoration unit 240 reconstructs the current block and the current picture by using the additional information input from the additional information reading unit 230 .
  • the additional information used by the restoration unit 240 may include chrominance information, luminance information, motion vector information, and the like.
  • An embodiment of the restoration unit 240 may perform color difference compensation using the color difference information input from the additional information reading unit 230 and restore the current block.
  • An exemplary embodiment of the restoration unit 240 may perform luminance compensation using luminance information input from the additional information reading unit 230 and restore the current block.
  • An embodiment of the reconstruction unit 240 may perform motion compensation using a motion vector input from the additional information reader 230 and reconstruct the current block.
  • the reference picture for prediction of the current picture is also an anchor picture of another view.
  • 3 shows a prediction method of a multi-view video.
  • Multi-view video encoding/decoding uses prediction between pictures.
  • a partial picture set 300 constituting a multi-view video is an example of a case in which 8 views exist in multi-view video encoding and decoding.
  • the prediction structure is shown.
  • S0, S1, ..., S7 indicate each view
  • T0, T1, ..., T8 indicate each time in the time direction.
  • prediction is performed using a hierarchical B-picture structure, and the images of the first time (T0) of each view and the time that preceded by 8 frames in the temporal direction thereafter Frames located at (ie, frames located at a time earlier by the GOP in the time direction, ie, T8, T16, T24, etc.) may be referred to as anchor pictures.
  • the S2 view is the S0 view in the same time zone
  • the S1 view is the S0 view and the S2 view in the same time zone
  • the S4 view is the S2 view in the same time zone
  • the S3 view is the S2 view in the same time zone.
  • Prediction is performed using time point S4 and time S6, time S4 in the same time zone as time S5, time S4 and time S6 in the same time zone as time S5, and time S6 in the same time zone as time S7.
  • the non-anchor picture In a non-anchor picture other than an anchor picture, prediction in the temporal direction is basically performed. Accordingly, the non-anchor picture directly or indirectly refers to the anchor picture on the GOP of the same view. Accordingly, since the image quality of the anchor picture affects the image quality of the non-anchor picture, the image quality of the anchor picture affects the image quality of all pictures on the same GOP. Therefore, the image quality of the anchor picture is particularly important for accurate and efficient prediction. do.
  • the notation Tn/Sm/Xk for each picture indicates that the corresponding picture is the nth time Tn, the mth time Sm, and the kth X-type picture in the reference order.
  • Type X includes type I, type B, and type P.
  • the anchor pictures T0/S2/P0 (310) and T8/S2/P0 (350) are directly linked to each other.
  • the prediction efficiency of the T8/S4/P0 370 may be lowered, and thus image quality may be deteriorated.
  • the prediction efficiency of S6/P0 is lowered, the image quality may be further deteriorated.
  • the prediction efficiency of the anchor pictures T0/S7/P0 and T8/S7/P0 referring to the T0/S6/P0 and T8/S6/P0 of which the picture quality is degraded may decrease, and thus the picture quality may be continuously deteriorated.
  • the quality degradation is propagated to the non-anchor picture T4/S2/B1 (390) that directly refers to T0/S2/P0 (310) and T8/S2/P0 (350),
  • the image quality degradation is propagated to T2/S2/B2 (392) and T6/S2/B2 (396) referring to T4/S2/B1 (390), and the remaining B3 pictures (T1/S2/B3 (394) ), T7/S2/B3 (398, etc.), the image quality degradation may propagate.
  • the anchor pictures T0/S2/P0 (310) and T8/S2/P0 (350) are the S0 viewpoints (the viewpoints referenced by the anchor pictures T0/S2 (P0) and T8/S2 (P0), T0/S0/I0). (320), T8/S0/I0 (360), etc.), will affect all pictures in the GOP. Therefore, accuracy of anchor picture information is required for accurate encoding and decoding of GOP.
  • 4A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a block type according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 sets and encodes additional information for a skip mode block ( 400 ).
  • the block type determiner 110 it is determined whether the current block is a skip mode type (step 410). If the current block is not in the skip mode, an encoding process for a general block type is performed (step 420). If the current block is in the skip mode, the additional information determiner 130 determines the additional information, and the additional information encoder 140 encodes the additional information (step 430).
  • 4B is a flowchart illustrating a method of determining whether to decode additional information in consideration of a block type according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 reads additional information about the skip mode block and attempts to reconstruct the current block ( 440 ).
  • the block type reading unit 210 it is read whether the current block is of the skip mode type (step 450). If the current block is not in the skip mode, a decoding process for a general block type is performed (step 460). If the current block is in the skip mode, the additional information reading unit 230 reads the additional information, and the restoration unit 240 restores the current block using the additional information (step 470).
  • image quality deterioration may occur in the block portion of the skip mode because the difference in levels of the luminance signal and the chrominance signal generated between viewpoints, the residual image, etc. are not coded, and the image quality of the anchor picture is deteriorated may adversely affect the overall prediction efficiency. Accordingly, if additional information for improving the quality of the skip mode block is encoded, prediction performance and efficiency may be improved even in the decoding step.
  • 5A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a first picture type according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 sets additional information if the current picture of the current block is an anchor picture type among the first picture types and attempts to encode (500) .
  • the first picture type determiner 120 it is determined whether the current picture is an anchor picture type (step 510). If the current picture is not an anchor picture, an encoding process according to a general skip mode block is performed on the current block (step 520). If the current picture is an anchor picture, the additional information determiner 130 determines the additional information, and the additional information encoder 140 encodes the additional information (step 530).
  • 5B is a flowchart illustrating a method of determining whether to decode additional information in consideration of a first picture type according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 When the current block is a skip mode block, the multi-view video decoding apparatus 200 according to the embodiment reads additional information and reconstructs the current block if the current picture of the current block is an anchor picture type among the first picture types (540).
  • the first picture type reading unit 220 it is read whether the current picture is an anchor picture type (step 550). If the current picture is not an anchor picture, a decoding process according to a general skip mode block is performed on the current block (step 560). If the current picture is an anchor picture, the additional information reading unit 230 reads the additional information, and the restoration unit 240 restores the current block using the additional information (step 570).
  • the block of the skip mode is the block of the anchor picture, if it is predicted with reference to the information of the picture of the same time period at a different time, the information of the anchor picture is sequentially transmitted to all pictures on the multi-view video, so that the With respect to a point video, accurate prediction is possible in consideration of both information in the time direction and information in the view direction.
  • FIGS. 6A and 6B an embodiment of a syntax for implementing a multi-view video encoding/decoding method will be described with reference to FIGS. 6A and 6B .
  • 6A illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of a block type and a first picture type according to an embodiment of the present invention.
  • M x N may be 16 x 16, 8 x 8, and any of various combinations.
  • an embodiment of the present invention can be implemented by changing only necessary information in the syntax without significantly changing the structure of the existing multi-view video encoding system or decoding system. have.
  • 'mb_skip_run' 610 of the 11th line of the slice_data syntax 600 is a syntax representing a skip mode block when entropy coding is performed using the CAVLC (Context-based Adaptive VLC) method in multi-view video encoding and decoding, This is information indicating how many macroblocks are continuously skipped. In line 13, the loop statement is executed as many as the number of macroblocks skipped.
  • CAVLC Context-based Adaptive VLC
  • conditional part of the 14th line or less of the slice_data syntax 600 indicates that if the corresponding picture is an anchor picture, additional information 'anchor_enhancement_information()' 620 is used to encode and decode the additional information.
  • 'mb_skip_flag' 630 of the 21st line of the slice_data syntax 600 is a syntax representing a skip mode block when entropy coding is performed using the CABAC (Context-based Adaptive Binary Arithmetic Coding) method in multi-view video encoding and decoding. am. That is, 'mb_skip_flag' 630 is information indicating whether the current block has been skipped, and when 'mb_skip_flag' 630 is 1, it indicates that the current block has been skipped.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • 'anchor_enhancement_information()' 640 is used to encode and decode additional information.
  • Various embodiments of the 'anchor_enhancement_information()' (620, 640) syntax will be described in detail below with reference to FIGS. 13, 15, 18a, 18b, 20a, and 20b.
  • FIG. 6B illustrates a rear end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of a block type and a first picture type according to an embodiment of the present invention.
  • the syntax 605 is a rear end connected to the slice_data syntax 600 of FIG. 6A .
  • FIG. 7A is a flowchart illustrating a method of determining whether to encode additional information in consideration of a second picture type according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 adds, when the current block is a skip mode block, if the current picture of the current block is an anchor picture type among the first picture types and a P picture type among the second picture types We want to set and encode information (700).
  • the first picture type determiner 120 and the second picture type determiner it is determined whether the current picture is an anchor picture type and a P picture type, respectively (step 710). If the current picture is not an anchor picture or a P picture, an encoding process according to a general skip mode block is performed on the current block (step 720). If the current picture is an anchor picture type and a P picture type, the additional information determiner 130 determines the additional information, and the additional information encoder 140 encodes the additional information (step 730).
  • 7B is a flowchart illustrating a method of determining whether to decode additional information in consideration of the second picture type according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 adds, when the current block is a skip mode block, if the current picture of the current block is the anchor picture type among the first picture types and the P picture type among the second picture types We want to read the information and restore the current block (step 740).
  • the first picture type reading unit 220 and the second picture type reading unit respectively, it is read whether the current picture is an anchor picture type and a P picture type (step 750). If the current picture is not an anchor picture or a P picture, a decoding process according to a general skip mode block is performed on the current block (step 760). If the current picture is an anchor picture type and a P picture type, additional information is read in the additional information reading unit 230 and the current block is reconstructed using the additional information in the restoration unit 240 (step 770).
  • FIG. 8 illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of the second picture type according to an embodiment of the present invention.
  • an encoding/decoding method for improving the quality of an anchor picture while using the skip mode syntax of the existing multi-view video encoding/decoding method as it is information indicating whether the M x N block to be currently decoded is a skip mode block, the current picture is the anchor If the current picture is an anchor picture and a P picture according to information indicating whether it is a picture or not and information indicating whether it is a P picture, additional information for improving the image quality of the current picture is inserted into the existing skip mode syntax.
  • 'mb_skip_run' 810 of the 11th line and 'mb_skip_flag' 830 of the 21st line of the slice_data syntax 800 have the same functions as the aforementioned 'mb_skip_run' 610 and 'mb_skip_flag' 630, respectively.
  • conditional part of the 14th line or less of the slice_data syntax 800 indicates that if the corresponding picture is an anchor picture and a P picture, additional information 'anchor_enhancement_information()' 820 is used to encode and decode the additional information.
  • 'anchor_enhancement_information()' 840 is used to encode and decode additional information.
  • Various embodiments of the 'anchor_enhancement_information()' (820, 840) syntax will be described in detail below with reference to FIGS. 13, 15, 18a, 18b, 20a, and 20b.
  • the syntax of FIG. 6B described above may be inserted into the rear end of the slice_data syntax 800 .
  • 9A is a flowchart illustrating a method of determining whether to encode additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 When the current block is a skip mode block, the multi-view video encoding apparatus 100 according to the embodiment selectively sets and encodes the additional information according to whether to code the additional information for the current picture of the current block (900). ).
  • the additional information coding information determining unit it is determined whether additional information is to be coded for the current picture (step 910). If additional information about the current picture is not coded, an encoding process according to a general skip mode block is performed on the current block (step 920). If the additional information is coded with respect to the current picture, the additional information is determined by the additional information determiner 130 and the additional information is encoded by the additional information encoder 140 (step 930).
  • An embodiment of the additional information coding information determining unit determines the additional information coding information by comparing pixel values of the current picture and the reference picture. For example, an embodiment of the additional information coding information determining unit provides an average of each of the Y component value, U component value, and V component value of the pixel of the current picture, and the Y component value and U component value of the pixel of the reference picture of the current picture. , calculate the average of each V component value.
  • An embodiment of the additional information coding information determining unit obtains the absolute value of the average difference of the color component values of the current picture and the reference picture for each Y, U, and V component, and obtains the sum of the absolute values of the average difference of the Y, U, and V components. Calculate. That is, the absolute value of the difference between the average of the Y component values of the current picture and the average of the Y component values of the reference picture, the absolute value of the difference between the average of the U component values of the current picture and the average of the U component values of the reference picture, the current picture The absolute value of the difference between the average of the V component values of , and the average of the V component values of the reference picture is calculated, respectively.
  • an embodiment of the additional information coding information determining unit calculates the sum of the absolute value of the difference of the mean of the Y component values, the absolute value of the difference of the mean of the U component values, and the absolute value of the difference of the mean of the V component values.
  • An embodiment of the additional information coding information determining unit sets the additional information coding information to code the additional information if the sum of the absolute values of the differences of the averages of the Y, U, and V component values of the current picture and the reference picture is greater than a predetermined threshold. For example, when the predetermined threshold is 1, when the sum of the absolute values of the differences of the averages of Y, U, and V component values of the current picture and the reference picture is greater than 1, the additional information coding information may be set to 1. . Also, if the current picture is not an anchor picture, additional information coding information may be set to 0.
  • 9B is a flowchart illustrating a method of determining whether to decode additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 When the current block is a skip mode block, the multi-view video decoding apparatus 200 according to the embodiment reads and decodes the additional information if the additional information is coded with respect to the current picture of the current block (S940).
  • the additional information coding information reading unit it is read whether additional information has been coded for the current picture (step 950). If additional information about the current picture is not coded, a decoding process according to a general skip mode block is performed on the current block (step 960). If the additional information is coded for the current picture, the additional information is read by the additional information reading unit 230 and the current block is reconstructed using the additional information in the restoration unit 240 (step 970).
  • FIG. 10 shows a syntax of additional information coding information according to an embodiment of the present invention.
  • the slice_header syntax 1000 inserts 'use_anchor_enh_inform_flag' 1010 in the if conditional part to indicate whether additional information is coded when the current picture is an anchor picture.
  • FIG. 11 illustrates a front end of a syntax for implementing a multi-view video encoding/decoding method including additional information in consideration of additional information coding information according to an embodiment of the present invention.
  • an encoding/decoding method for improving the quality of an anchor picture while using the skip mode syntax of the existing multi-view video encoding/decoding method as it is information indicating whether the M x N block to be currently decoded is a skip mode block and information about the current picture Based on the information indicating whether the additional information is coded, additional information for improving the current picture quality is inserted into the existing skip mode syntax.
  • 'mb_skip_run' 1110 and 'mb_skip_flag' 1130 of the 21st line of the slice_data syntax 1100 have the same functions as the above-described 'mb_skip_run' 610 and 'mb_skip_flag' 630, respectively.
  • conditional part of the 14th line or less of the slice_data syntax (1100) is additional information coding information for the picture, that is, if 'use_anchor_enh_inform_flag' (1010) is '1', then 'anchor_enhancement_information()' (1120) is used and additional information indicates that it is encrypted.
  • the syntax of FIG. 6B described above may be inserted into the rear end of the slice_data syntax 1100 .
  • 12A is a flowchart illustrating a method of encoding additional information including color difference compensation information according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 determines and encodes the color difference information when the color difference information can be coded as additional information on the current picture ( 1200 ).
  • a color difference and a color difference may occur for each viewpoint. If a multi-view video is encoded or decoded in a state where there is a color difference, it is unavoidable that the image quality is deteriorated. Since such a color difference cannot be expressed with luminance, the color difference must be expressed using color components of an image.
  • a color difference compensation value is determined as color difference information for the current block (step 1210).
  • the chrominance compensation value may be an average of differences between the current block and all chrominance pixels in the reference block corresponding to the current block.
  • color difference compensation is performed using the color difference compensation value (step 1220). Color difference compensation may be performed together with motion compensation for the current block, or may be performed after motion compensation is finished.
  • the color difference compensation value is encoded as additional information (step 1230).
  • additional information As an example of a method of encoding a chrominance compensation value, a predicted value of the chrominance compensation value is derived using neighboring blocks of the current block, and the difference between the chrominance compensation predicted value and the chrominance compensation value of the current block is encoded as chrominance information (Equation 1) .
  • Encoded chrominance information chrominance compensation value of the current block - predicted value of chrominance compensation value
  • the chrominance compensation value of the current block may be coded without predictive coding.
  • steps 1220 and 1230 may be changed. Also, step 1220 and step 1230 may be simultaneously performed.
  • 12B is a flowchart illustrating a method of decoding additional information including color difference compensation information according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 can read the color difference information from the additional information on the current picture, it reads the color difference information and tries to reconstruct the current block by using the color difference information ( 1240 ). .
  • the color difference compensation value is decoded and read as color difference information for the current block (step 1250).
  • a predicted value of the chrominance compensation value is derived using neighboring blocks of the current block, and the chrominance compensation value of the current block is restored by summing the chrominance compensation predicted value and the read chrominance compensation value (Equation 2).
  • Color difference compensation value of current block read chrominance compensation value + predicted value of chrominance compensation value
  • the chrominance compensation value of the current block may be restored by determining the read chrominance compensation value as the chrominance compensation value of the current block without predictive coding.
  • color difference compensation is performed on the current block using the restored color difference compensation value (step 1260). Color difference compensation may be performed together with motion compensation for the current block or may be performed after motion compensation is finished. A current block may be reconstructed by chrominance compensation and motion compensation, and a current picture may be reconstructed by reconstructing the blocks.
  • FIG. 13 illustrates a syntax of additional information including color difference compensation information according to an embodiment of the present invention.
  • An 'anchor_enhancement_information' 1300 including color difference information may be inserted at positions of the 'anchor_enhancement_information' 620, 640, 820, 840, 1120, 1140 of FIGS. 6A, 8, and 11 described above.
  • the additional information may include color difference information for each color difference component.
  • An embodiment of the 'anchor_enhancement_information' 1300 includes a 'cb_offset' 1310 that is a chrominance compensation value of the U component and a 'cr_offset' 1320 that is a chrominance compensation value of the V component.
  • 14A is a flowchart illustrating a method of encoding additional information including luminance compensation information according to an embodiment of the present invention.
  • the additional information determiner 130 and the additional information encoder 140 of the multi-view video encoding apparatus 100 determines and encodes the luminance information ( 1400 ).
  • a luminance compensation value is determined as luminance information for the current block (step 1410).
  • the luminance compensation value may be an average of differences between the current block and all luminance pixels in the reference block corresponding to the current block.
  • luminance compensation is performed using the luminance compensation value (step 1420). Luminance compensation may be performed together with motion compensation for the current block, or may be performed after motion compensation is finished.
  • the luminance compensation value is encoded as additional information (step 1430).
  • a predicted value of the luminance compensation value is derived using neighboring blocks of the current block, and the difference between the luminance compensation predicted value and the luminance compensation value of the current block is encoded as luminance information (Equation 3) .
  • Encoded luminance information luminance compensation value of current block - predicted value of luminance compensation value
  • the luminance compensation value of the current block may be inserted into a bitstream by encoding the luminance compensation value without predictive coding.
  • steps 1420 and 1430 may be changed. Also, steps 1420 and 1430 may be performed simultaneously.
  • 14B is a flowchart illustrating a method of decoding additional information including luminance compensation information according to an embodiment of the present invention.
  • the additional information reading unit 230 and the restoration unit 240 of the multi-view video decoding apparatus 200 will be described with reference to FIG. 14B .
  • the multi-view video decoding apparatus 200 When the luminance information can be read from the additional information on the current picture, the multi-view video decoding apparatus 200 according to the embodiment reads the luminance information and attempts to reconstruct the current block using the luminance information ( 1440 ). .
  • the luminance compensation value is decoded and read as luminance information for the current block (step 1450).
  • An example of a method for decoding a luminance compensation value is to derive a luminance compensation value predicted value using neighboring blocks of the current block, and add the luminance compensation predicted value and the read luminance compensation value to restore the luminance compensation value of the current block (Equation 4).
  • the luminance compensation value of the current block the read luminance compensation value + the predicted value of the luminance compensation value
  • the luminance compensation value of the current block may be restored by determining the read luminance compensation value as the luminance compensation value of the current block without predictive coding.
  • luminance compensation is performed on the current block using the restored luminance compensation value (step 1460).
  • Luminance compensation may be performed together with motion compensation for the current block, or may be performed after motion compensation is finished.
  • a current block may be reconstructed by luminance compensation and motion compensation, and a current picture may be reconstructed by reconstructing the blocks.
  • 15 shows a syntax of additional information coding information including luminance compensation information according to an embodiment of the present invention.
  • An 'anchor_enhancement_information' 1500 including luminance information may be inserted at a position of the 'anchor_enhancement_information' (620, 640, 820, 840, 1120, 1140) of FIGS. 6A, 8, and 11 described above.
  • An embodiment of 'anchor_enhancement_information' 1500 includes 'mb_ic_flag' 1510 indicating whether to use a luminance compensation value in the current block and 'dpcm_of_dvic' 1520 indicating luminance information.
  • 'dpcm_of_dvic' 1520 is a value representing the difference between the actual luminance compensation value of the current block and the luminance compensation predicted value (Equation 5).
  • dpcm_of_dvic actual luminance compensation value - luminance compensation predicted value
  • 16 is a flowchart illustrating a method of determining a motion vector using additional information including a reference index for motion prediction according to an embodiment of the present invention.
  • the additional information determiner 130 of the multi-view video encoding apparatus 100 according to an embodiment of the present invention determines the luminance information and attempt to encode and decode the luminance information ( 1600 ).
  • a reference index is set to 0 in order to determine a reference picture for prediction (step 1610).
  • the reference index refers to an index indicating a picture in a reference relationship with the current picture for motion prediction and compensation of the current block. If the reference index is 0, the previous picture closest to the current picture among pictures that can be reference pictures becomes the reference picture for the current picture.
  • a motion vector predicted value MV P is determined as a motion vector for the current block (step 1610).
  • the motion vector prediction value MV P is determined according to the same method as the method of determining the motion vector prediction value using the reference picture corresponding to the reference index 0 in the block of the inter mode block.
  • the current block is a skip mode, and a motion vector is not separately set according to the existing method.
  • motion information for the current block is determined in the same way as a method for determining a motion vector prediction value in an inter mode block.
  • a motion vector prediction value MV P is determined as a motion vector of the current block (step 1630).
  • 17A is a flowchart of a method of encoding additional information including motion vector information according to an embodiment of the present invention.
  • the additional information determiner 130 and the additional information encoder 140 of the multi-view video encoding apparatus 100 determines and encodes the motion information ( 1700 ).
  • the additional information determiner 130 performs motion prediction on the current block to determine motion information on the current block (step 1710).
  • a reference picture for motion prediction may be determined by various methods. For example, when the current block of the current picture is in the P skip mode, the reference picture may be determined as the nearest previous reference picture among reference pictures of the current picture. According to another example, when the current block of the current picture is in the B skip mode, reference pictures for the motion vector of the current block are selected among the closest previous reference pictures and the nearest subsequent reference pictures of the current picture. It can be determined with two pictures.
  • motion compensation is performed using a motion vector (step 1720).
  • the motion vector is encoded as additional information (step 1730).
  • An example of an encoding method of a motion vector the prediction values of the current motion vectors using neighboring blocks of the block (motion vector predictor, MV P) for induction, and the motion vector predicted value and the difference value of the motion vector of the current block (motion vector difference, MV D ) is encoded as motion vector information (Equation 6).
  • Encoded motion vector motion vector of current block - predicted value of motion vector
  • a motion vector of a current block may be inserted into a bitstream by encoding without predictive coding.
  • an embodiment of the additional information encoder 140 may directly encode a reference picture and insert it into a bitstream.
  • 17B is a flowchart illustrating a method of decoding additional information including motion vector information according to an embodiment of the present invention.
  • the additional information determiner 230 and the restorer 240 of the multi-view video decoding apparatus 200 will be described with reference to FIG. 17B .
  • the multi-view video decoding apparatus 200 reads the motion vector to reconstruct the current block and the current picture ( 1740 ).
  • the additional information reading unit 230 determines a motion vector predicted value (MV P ) using neighboring blocks of the current block, and adds the motion vector difference value (MVD) read to the motion vector predicted value (MV P ) to obtain a motion vector ( MV) can be decoded (Equation 7) to decode the motion vector (step 1750).
  • Reconstructed motion vector read motion vector + predicted value of motion vector
  • a reference picture for motion prediction may be determined by various methods. For example, when the current block of the current picture is in the P skip mode, the reference picture may be determined as the nearest previous reference picture among reference pictures of the current picture. According to another example, when the current block of the current picture is in the B skip mode, reference pictures for the motion vector of the current block are selected among the closest previous reference pictures and the nearest subsequent reference pictures of the current picture. It can be determined with two pictures. In addition, if the reference picture is transmitted separately, the read reference picture can be used for motion prediction and compensation.
  • motion compensation may be performed using a motion vector, a current block may be reconstructed by motion compensation, and a current picture may be reconstructed by reconstructing the blocks (step 1760 ).
  • 18A illustrates a syntax of additional information including motion vector information according to an embodiment of the present invention.
  • An 'anchor_enhancement_information' 1800 including motion information may be inserted at a position of the 'anchor_enhancement_information' (620, 640, 820, 840, 1120, 1140) of FIGS. 6A, 8, and 11 described above.
  • An embodiment of 'anchor_enhancement_information' 1800 may include 'mvd_l0' 1810 indicating a motion vector of a previous slice when the current slice is P-type or B-type.
  • an embodiment of 'anchor_enhancement_information' 1800 may include 'mvd_11' 1820 indicating a motion vector of a subsequent picture when the current slice is of type B.
  • 'mvd_l0' 1810 and 'mvd_l1' 1820 may be motion vector differential values (MVDs).
  • 18B illustrates a syntax of additional information including motion vector information according to another embodiment of the present invention.
  • An 'anchor_enhancement_information' 1830 including motion information may be inserted at a position of the 'anchor_enhancement_information' (620, 640, 820, 840, 1120, 1140) of FIGS. 6A, 8, and 11 described above.
  • reference index related information is additionally included in the 'anchor_enhancement_information' 1800 .
  • An embodiment of 'anchor_enhancement_information' 1830 may include 'ref_idx_l0' 1840 indicating a reference index of a previous slice of P slice or B slice when the current slice is P type or B type. When there is only one previous reference slice used in the current slice, 'ref_idx_10' (1840) is not set.
  • 'anchor_enhancement_information' 1830 may include 'ref_idx_11' 1850 indicating a reference index of a subsequent slice of the B slice when the current slice is of the B type. When there is only one subsequent reference picture used in the current slice, 'ref_idx_11' (1850) is not set.
  • 'mvd_l0' (1860) and 'mvd_l1' (1870) of 'anchor_enhancement_information' 1830 have the same characteristics as 'mvd_l0' (1810) and 'mvd_l1' (1820).
  • 19A is a flowchart illustrating a method of encoding additional information including motion vector coding information according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 100 sets information indicating whether to code a motion vector as additional information on the current picture, and selectively determines and encodes the motion information (1900).
  • the additional information determiner 130 performs motion prediction on the current block and determines a motion vector (step 1910).
  • a reference picture for motion prediction may be determined by various methods as in step 1710.
  • motion compensation is performed using a motion vector (step 1920).
  • the additional information encoder 140 compares the motion vector predicted value with the motion vector determined in step 1910 (step 1930). If the motion vector prediction value and the motion vector are the same, the motion vector prediction value may be used instead of the motion vector, so that the motion vector may not be coded.
  • An example of the additional information encoder 140 sets the motion vector coding information to '1' if the motion vector prediction value and the motion vector are the same (step 1945).
  • an example of the additional information encoder 140 sets the motion vector coding information to '0' to code the motion vector, and the motion vector is encoded as the additional information. (Step 1940).
  • the motion vector encoding method may be the same as the motion vector encoding method in operation 1730 .
  • 19B is a flowchart illustrating a method of decoding additional information including motion vector coding information according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 200 reads information indicating whether a motion vector is coded as additional information about the current picture, and selectively reads motion information to reconstruct the current block and the current picture (Step 1950).
  • the additional information reading unit 230 it is determined whether the motion vector for the current block has been coded by reading the motion vector coding information (step 1960). For example, if the motion vector coding information is '1', it means that the motion vector is not coded, and if the motion vector coding information is '0', it means that the motion vector is coded.
  • the additional information reading unit 230 reads the motion vector from the additional information (step 1970).
  • the motion vector for the current block is the read motion vector. It may be determined by summing the information and a motion prediction value obtained by motion prediction. As a reference picture for motion prediction, the reference picture method in operation 1750 may be applied.
  • the additional information reading unit 230 uses the motion vector prediction value as the motion vector for the current block (step 1980). That is, the motion vector prediction value based on the motion vectors of neighboring blocks of the current block becomes the motion vector of the current block.
  • motion compensation is performed on the current block by using the motion vector determined in step 1970 or 1980 above.
  • a current block may be reconstructed by motion compensation, and a current picture may be reconstructed as the blocks are reconstructed.
  • 20A illustrates a syntax of additional information including motion vector coding information according to an embodiment of the present invention.
  • An 'anchor_enhancement_information' 2000 including motion information may be inserted at a position of the 'anchor_enhancement_information' (620, 640, 820, 840, 1120, 1140) of FIGS. 6A, 8, and 11 described above.
  • An embodiment of 'anchor_enhancement_information' 2000 may include 'use_predictor_as_mv_flag' 2010 as information indicating whether to code a motion vector.
  • An embodiment of 'anchor_enhancement_information' (2000) may include 'mvd_l0' (2020) indicating the motion vector of the previous slice when the motion vector for the current slice is coded and the current slice is P type or B type.
  • an embodiment of 'anchor_enhancement_information' 2000 may include 'mvd_11' 2030 indicating a motion vector of a subsequent slice when a motion vector for the current slice is coded and the current picture is of type B.
  • 'mvd_l0' (2020) and 'mvd_l1' 2030 may have the same characteristics as the aforementioned 'mvd_l0' (1810, 1860) and 'mvd_l1' (1820, 1870), respectively.
  • 20B illustrates a syntax of additional information including motion vector coding information according to another embodiment of the present invention.
  • An 'anchor_enhancement_information' 2040 including motion information may be inserted at a position of the 'anchor_enhancement_information' (620, 640, 820, 840, 1120, 1140) of FIGS. 6A, 8, and 11 described above.
  • reference index related information is additionally included in 'anchor_enhancement_information' (2000).
  • An embodiment of 'anchor_enhancement_information' 2040 may include 'use_predictor_as_mv_flag' 2050 as information indicating whether to code a motion vector.
  • An embodiment of 'anchor_enhancement_information' (2040) is 'ref_idx_l0' (2060) indicating a reference index of a previous slice of a P slice or a B slice when a motion vector for the current slice is coded and the current slice is P type or B type. ) may be included. When there is only one previous reference slice used in the current slice, 'ref_idx_10' (2060) is not set.
  • 'anchor_enhancement_information' 2040 may include a 'ref_idx_11' 2070 indicating a reference index of a subsequent slice of the B slice when the current slice is of the B type. When there is only one subsequent reference slice used in the current slice, 'ref_idx_11' 2070 is not set.
  • 'mvd_l0' 2080 and 'mvd_l1' 2090 of 'anchor_enhancement_information' 2040 have the same characteristics as 'mvd_l0' (1810) and 'mvd_l1' (1820).
  • the multi-view video encoding apparatus 100 according to an embodiment of the present invention and the multi-view video decoding apparatus 200 according to an embodiment of the present invention combine and use the additional information described with reference to FIGS. 12A to 20B.
  • prediction and compensation processes for blocks or pictures may also be performed in combination with each other. That is, at least one of chrominance information, luminance information, and motion vector related information may be combined and used as additional information, and at least one of chrominance compensation, luminance compensation, and motion prediction/compensation may be combined and performed according to the additional information. .
  • 21 is a block diagram of a multi-view video encoding apparatus according to another embodiment of the present invention.
  • the multi-view video encoding apparatus 2100 includes a skip mode determiner 2110 , an additional information encoding or not determining unit 2120 , an additional information determiner/encoder 2130 , a skip mode encoder 2140 , and Other mode encoder 2150 is included.
  • the skip mode determining unit 2110 receives the current input image and the reference image, and determines whether the current block is in the skip mode through various mode determination processes. If it is determined that the current block is in skip mode, it branches to the additional information encoding or not determining unit 2120 , and if it is determined that the current block is not in skip mode, it branches to other mode encoding unit 2150 .
  • the additional information encoding or not determining unit 2120 determines whether additional information on the skip mode current block is encoded in consideration of an anchor picture presence flag, user input information, picture type, and the like. Here, whether the additional information is encoded may be determined based on the block type, the first and second picture types, and the additional information coding information described above with reference to FIGS. 4A to 11 .
  • the additional information encoding or not determining unit 2120 determines to encode the additional information, it branches to the additional information determiner/encoder 2130 , and if it is determined not to encode the additional information, it branches to the skip mode encoder 2140 .
  • the additional information determiner/encoder 2130 may be configured by a combination of at least one of determining chrominance information and performing chrominance compensation, determining luminance information and performing luminance compensation, determining motion information, and performing motion compensation, as described above with reference to FIGS. 12A to 20B .
  • the additional information is encoded, and the encoded information is inserted into a bitstream and output.
  • the skip mode encoder 2140 determines not to encode the additional information in the additional information encoding or not determining unit 2120, the skip mode encoder 2140 performs the same encoding as in the existing skip mode on the current block, and inserts the encoded information into the bitstream. to output
  • the other mode encoder 2150 outputs a bitstream by performing corresponding encoding on a block other than the skip mode based on the block type of the corresponding block.
  • FIG. 22 is a block diagram of a multi-view video decoding apparatus according to another embodiment of the present invention.
  • the multi-view video decoding apparatus 2200 includes a skip mode determining unit 2210 , an additional information decoding or not determining unit 2220 , an additional information determining/decoding unit 2230 , a skip mode decoding unit 2240 , and Other mode decoding unit 2250 is included.
  • the skip mode determining unit 2210 receives the bitstream and determines whether the current block is in the skip mode from information on the current block. If it is determined that the current block is in the skip mode, it branches to the additional information decoding determination unit 2220 , and if it is determined that the current block is not in the skip mode, it branches to the other mode decoding unit 2250 .
  • the additional information decoding decision unit 2220 determines whether the additional information on the skip mode current block is decoded in consideration of the anchor picture presence flag, the additional information coding information, the picture type, and the like. Here, whether the additional information is decoded may be determined based on the block type, first and second picture types, and additional information coding information described above with reference to FIGS. 4A to 11 .
  • the additional information decoding or not determining unit 2220 determines to decode the additional information, it branches to the additional information determining/decoding unit 2230, and if it is determined not to decode the additional information, it branches to the skip mode decoding unit 2240.
  • the additional information determining/decoding unit 2230 reads the additional information, and uses the additional information to read the chrominance information and perform the chrominance compensation described above with reference to FIGS. 12A to 20B, read the luminance information and perform the luminance compensation, read the motion information, and The current block is reconstructed by decoding the current block by a combination of at least one of motion compensation, and the reconstructed block image is output.
  • the skip mode decoding unit 2240 determines not to decode the additional information
  • the skip mode decoding unit 2240 performs the same decoding as in the existing skip mode on the current block and restores the current block, when the additional information decoding unit 2220 determines not to decode the additional information. Output the image.
  • the other mode encoder 2250 performs corresponding decoding on a block other than the skip mode based on the block type of the corresponding block, reconstructs the current block, and outputs a reconstructed block image.
  • FIG. 23 is a flowchart of a multi-view video encoding method according to an embodiment of the present invention.
  • a block type indicating a method of determining a motion vector of a current block in a current picture of an input image is determined.
  • the block type is a block type classified according to a method of determining a motion vector for a corresponding block, and may include, for example, a skip mode and a direct mode.
  • a first picture type indicating whether the current picture is a reference picture type for inter prediction is determined.
  • the corresponding picture may be classified into an anchor picture type and a non-anchor picture type, which are pictures that refer only to pictures of other viewpoints in the same time zone and are reference objects of other pictures on the same viewpoint. have.
  • additional information about the current picture is determined based on at least one of a block type of the current block and a first picture type of the current picture.
  • An embodiment sets additional information only when the skip mode block is an anchor picture.
  • the additional information may be at least one of chrominance information, luminance information, and motion information.
  • additional information about the current picture is encoded. At least one of chrominance compensation, luminance compensation, and motion compensation is performed according to the additional information, and the additional information may be encoded. Although the additional information itself is encoded, in another embodiment, encoding efficiency may be achieved by encoding a difference value with respect to a prediction value of a neighboring block. Additional information may be inserted into the bitstream of the multi-view video. Alternatively, additional information may be inserted into a separate bitstream.
  • FIG. 24 is a flowchart of a multi-view video decoding method according to an embodiment of the present invention.
  • step 2410 the block type indicating the method of determining the motion vector of the current block in the current picture of the received bitstream is read. For example, it is possible to determine whether the current block is in the skip mode by reading a syntax indicating the block type of the current block on the bitstream.
  • a first picture type indicating whether the current picture is a reference picture type for inter prediction is read. For example, it is possible to determine whether the current picture is an anchor picture by reading a syntax indicating the first picture type of the current picture on the bitstream.
  • additional information about the current picture is read based on at least one of the block type of the current block and the first picture type of the current picture.
  • additional information about the current block or picture may be further read from the syntax on the bitstream.
  • the additional information includes at least one of chrominance information, luminance information, and motion information, and when the additional information is transmitted as a difference value, a chrominance compensation value, a luminance compensation value, a motion vector, etc. are restored using prediction values of neighboring blocks.
  • the current block and the current picture are reconstructed using additional information about the current picture. Based on the additional information, at least one of chrominance compensation, luminance compensation, and motion compensation may be performed to reconstruct the current block and the current picture.
  • the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optically readable medium (eg, CD-ROM, DVD, etc.) and a carrier wave (eg, Internet storage media such as transmission).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 다시점 비디오를 효율적으로 부호화하거나 복호화하고자 한다. 본 발명의 일 실시예는, 수신된 비트스트림으로부터 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하고, 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하여, 현재 블록의 블록 타입 및 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 현재 픽처에 대한 추가 정보를 판독하고, 현재 픽처에 대한 추가 정보를 이용하여 현재 블록 및 현재 픽처를 복원하는 다시점 영상의 복호화 방법을 개시한다.

Description

[규칙 제26조에 의한 보정]　다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
기술분야
본 발명은 다시점 비디오의 부호화 및 복호화에 관한 것이다.
배경기술
종래 다시점 비디오 코딩에서는 기존의 동영상 국제 표준인 MPEG-4 part 10 Advanced Video Coding(AVC; H.264)를 기반으로 코딩 성능을 향상시키고자 하는 시도가 있다. 시간 방향으로는 JSVC (Joint Scalable Video Coding)에서 시간적 스케일러빌러티(temporal scalability)를 지원하기 위해 수행되는 기법인 계층적인 B-픽처(hierarchical B-pictures) 코딩이 이용되고 있으며, 시점간(inter-view) 예측이 수행되어 코딩 향상을 꾀하고 있다.
도면의 간단한 설명
도 1 은 본 발명의 일 실시예에 의한 다시점 비디오 부호화 장치의 블록도를 도시한다.
도 2 은 본 발명의 일 실시예에 의한 다시점 비디오 복호화 장치의 블록도를 도시한다.
도 3 는 다시점 비디오의 예측 방식을 도시한다.
도 4a 는 본 발명의 일 실시예에 의해, 블럭 타입을 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 4b 는 본 발명의 일 실시예에 의해, 블럭 타입을 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 5a 는 본 발명의 일 실시예에 의해, 제 1 픽처 타입을 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 5b 는 본 발명의 일 실시예에 의해, 제 1 픽처 타입을 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 6a 는 본 발명의 일 실시예에 의해, 블럭 타입 및 제 1 픽처 타입을 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
도 6b 는 본 발명의 일 실시예에 의해, 블럭 타입 및 제 1 픽처 타입을 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 후단부을 도시한다.
도 7a 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 7b 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 8 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
도 9a 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 9b 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 10 는 본 발명의 일 실시예에 의한 추가 정보 코딩 정보의 신택스를 도시한다.
도 11 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
도 12a 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 12b 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 13 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 신택스를 도시한다.
도 14a 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 14b 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 15 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보 코딩 정보의 신택스를 도시한다.
도 16 는 본 발명의 일 실시예에 의해, 움직임 예측을 위한 참조 인덱스를 포함하는 추가 정보에 의한 움직임 벡터 결정 방법의 흐름도를 도시한다.
도 17a 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 17b 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 18a 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 신택스를 도시한다.
도 18b 는 본 발명의 다른 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 신택스를 도시한다.
도 19a 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 19b 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 20a 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 신택스를 도시한다.
도 20b 는 본 발명의 다른 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 신택스를 도시한다.
도 21 은 본 발명의 다른 실시예에 의한 다시점 비디오 부호화 장치의 블록도를 도시한다.
도 22 는 본 발명의 다른 실시예에 의한 다시점 비디오 복호화 장치의 블록도를 도시한다.
도 23 은 본 발명의 일 실시예에 의한 다시점 비디오 부호화 방법의 흐름도를 도시한다.
도 24 는 본 발명의 일 실시예에 의한 다시점 비디오 복호화 방법의 흐름도를 도시한다.
 기술적 과제
본 발명은, 다시점 비디오를 효율적으로 부호화하거나 복호화하고자 한다.
기술적 해결방법
본 발명의 일 실시예에 의한 다시점 비디오 부호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 부호화하는 단계를 포함한다.
본 발명의 일 실시예에 의한 다시점 비디오 복호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함할 수 있다.
발명의 실시를 위한 최선의 형태
본 발명의 일 실시예에 의한 다시점 비디오 부호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 부호화하는 단계를 포함한다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 블록 타입 결정 단계는, 상기 현재 블록이 스킵 모드 블록 타입인지 여부를 결정하고, 상기 현재 블록에 대한 블록 타입 정보를 설정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 제 1 픽처 타입 결정 단계는, 상기 현재 픽처가, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인지 여부를 결정하고, 상기 제 1 픽처 타입 정보를 설정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 블록이 스킵 모드 블록 타입이고, 상기 현재 픽처의 제 1 픽처 타입이, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인 경우, 상기 현재 픽처에 대한 추가 정보를 결정할 수 있다.
일 실시예의 상기 다시점 비디오 부호화 방법은, 상기 현재 픽처의 제 2 픽처 타입을 결정하고, 상기 현재 픽처에 대한 제 2 픽처 타입 정보를 설정하는 단계를 더 포함하고, 상기 추가 정보 결정 단계는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 제 2 픽처 타입에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계를 포함하고, 상기 제 2 픽처 타입은 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함할 수 있다.
일 실시예의 상기 다시점 비디오 부호화 방법은, 상기 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 결정하는 단계를 더 포함하고, 상기 추가 정보 결정 단계는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 추가 정보 코딩 정보에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 코딩 정보 결정 단계는, 상기 현재 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값의 평균을 계산하는 단계; 상기 현재 픽처의 참조 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값의 평균을 계산하는 단계; 상기 현재 픽처의 Y 성분값의 평균 및 상기 참조 픽처의 Y 성분값의 평균 간의 차의 절대값을 계산하는 단계; 상기 현재 픽처의 U 성분값의 평균 및 상기 참조 픽처의 U 성분값의 평균 간의 차의 절대값을 계산하는 단계; 상기 현재 픽처의 V 성분값의 평균 및 상기 참조 픽처의 V 성분값의 평균 간의 차의 절대값을 계산하는 단계; 상기 Y 성분값의 평균의 차의 절대값, U 성분값의 평균의 차의 절대값 및 V 성분값의 평균의 차의 절대값의 합을 계산하는 단계; 및 상기 절대값의 합이 소정 임계치보다 크면 상기 추가 정보를 코딩하는 것을 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 블록과 참조 관계에 있는 참조 픽처의 대응 블록 간의 색차 보상값을 계산하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 색차 보상값을 이용하여 상기 현재 블록에 대한 색차 보상을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 색차 보상값을 U 성분 및 V 성분마다 별도로 계산하고, 색차 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 색차 보상 수행 단계는, 상기 색차 보상을 상기 현재 블록에 대한 움직임 보상과 함께 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록에 대한 색차 보상값을 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록에 대한 색차 보상값 및 색차 보상 예측값 간의 차분값을 포함하고, 상기 현재 블록에 대한 색차 보상 예측값은, 상기 현재 블록의 주변 블록의 색차 보상값에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값을 계산하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 휘도 보상값을 이용하여 상기 현재 블록에 대한 휘도 보상을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 휘도 보상 수행 단계는, 상기 휘도 보상을 상기 현재 블록에 대한 움직임 보상과 함께 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록에 대한 휘도 보상값을 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록에 대한 휘도 보상값 및 휘도 보상 예측값 간의 차분값을 포함하고 상기 현재 블록에 대한 휘도 보상 예측값은, 상기 현재 블록의 주변 블록의 휘도 보상값에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 움직임 벡터 결정 단계는, 상기 주변 블록의 움직임 벡터는, 상기 현재 픽처에 대한 참조 픽처들 중 가장 가까운 이전의 참조 픽처 내의 블록들 중 상기 주변 블록과 참조 관계에 있는 대응 블록과 상기 주변 블록 간의 움직임 벡터일 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 움직임 벡터 결정 단계는, 상기 주변 블록이 스킵 모드 블록이 아닐 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하도록 상기 현재 블록의 상기 참조 인덱스를 설정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 블록에 대한 움직임 예측을 수행하는 단계; 및 상기 움직임 예측에 의한 상기 현재 블록의 움직임 벡터를 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 픽처의 현재 블록이 P 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처들을 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 둘로 결정하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 결정 단계는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터 및 움직임 벡터 예측값 간의 차분값을 포함하고, 상기 현재 블록의 움직임 벡터 예측값은, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 추가 정보 부호화 단계는, 움직임 벡터 코딩 정보에 기초하여 상기 추가 정보를 부호화하고, 상기 추가 정보는, 상기 현재 픽처의 현재 블록의 움직임 벡터를 코딩할지 여부를 나타내는 움직임 벡터 코딩 정보를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법의 상기 움직임 벡터 코딩 정보는, 상기 현재 블록의 움직임 벡터와 움직임 벡터 예측값이 동일한 경우, 상기 움직임 벡터를 코딩하지 않는 것을 나타내도록 설정되고, 상기 현재 블록의 움직임 벡터와 상기 움직임 벡터 예측값이 상이한 경우, 상기 움직임 벡터를 코딩하는 것을 나타내도록 설정되고, 상기 현재 블록의 움직임 벡터 예측값은, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 방법에서, 상기 현재 픽처과 참조 관계에 있는 참조 픽처는, 상기 현재 픽처와 동일 시간 및 다른 시점의 픽처이며, 각각의 참조 픽처는 해당 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처일 수 있다.
본 발명의 일 실시예에 의한 다시점 비디오 복호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 블록 타입 판독 단계는, 상기 현재 블록에 대한 블록 타입 정보를 판독하는 단계; 및 상기 블록 타입 정보에 기초하여, 상기 현재 블록이 스킵 모드 블록인지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 제 1 픽처 타입 판독 단계는, 상기 현재 픽처에 대한 제 1 픽처 타입 정보를 판독하는 단계; 및 상기 제 1 픽처 타입 정보에 기초하여, 상기 현재 픽처가, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록이 스킵 모드 블록 타입이고, 상기 현재 픽처의 제 1 픽처 타입이, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인 경우, 상기 현재 픽처에 대한 추가 정보를 판독할 수 있다.
일 실시예의 상기 다시점 비디오 복호화 방법은, 상기 현재 픽처에 대한 제 2 픽처 타입 정보를 판독하는 단계를 더 포함하고, 상기 추가 정보 판독 단계는, 상기 제 2 픽처 타입 정보에 기초하여, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 제 2 픽처 타입에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계를 포함하고, 상기 제 2 픽처 타입은 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함할 수 있다.
일 실시예의 상기 다시점 비디오 복호화 방법은, 상기 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 판독하는 단계를 더 포함하고, 상기 추가 정보 판독 단계는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 추가 정보 코딩 정보에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 추가 정보 코딩 정보가 소정 임계치보다 크면, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입에 기초하여 상기 추가 정보를 판독할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값을 판독하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값에 대한 색차 보상 차분값을 판독하는 단계; 및 상기 현재 블록의 주변 블록의 색차 보상값에 기초하는 색차 보상 예측값에 상기 색차 보상 차분값을 합하여 상기 현재 블록의 색차 보상값을 계산하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 복원 단계는, 상기 현재 블록의 색차 보상값을 이용하여 상기 현재 블록에 대한 색차 보상을 수행하는 단계; 및 상기 색차 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 색차 보상 수행 단계는, 상기 현재 블록에 대한 움직임 보상과 동시에 수행될 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 색차 보상값 판독 단계는, 상기 색차 보상값을 U 성분 및 V 성분마다 별도로 판독하고, 상기 색차 보상 수행 단계는, 상기 U 성분 및 V 성분마다 별도로 색차 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값을 판독하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 휘도 보상값 판독 단계는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값에 대한 휘도 보상 차분값을 판독하는 단계; 및 상기 현재 블록의 주변 블록의 휘도 보상값에 기초하는 휘도 보상 예측값에 상기 휘도 보상 차분값을 합하여 상기 현재 블록의 휘도 보상값을 계산하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 복원 단계는, 상기 현재 블록의 휘도 보상값을 이용하여 상기 현재 블록에 대한 휘도 보상을 수행하는 단계; 및 상기 휘도 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 휘도 보상 수행 단계는, 상기 현재 블록에 대한 움직임 보상과 동시에 수행될 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록의 참조 인덱스를 판독하여, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 벡터 결정 단계는, 상기 현재 픽처에 대한 참조 픽처들 중 가장 가까운 이전의 참조 픽처 내의 블록들 중 상기 주변 블록과 참조 관계에 있는 대응 블록과 상기 주변 블록 간의 움직임 벡터를, 상기 주변 블록의 움직임 벡터로 결정할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 벡터 결정 단계는, 상기 주변 블록이 스킵 모드 블록이 아닐 수 있다.
일 실시예의 상기 복원 단계는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및 상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록의 움직임 벡터를 판독하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록의 움직임 벡터에 대한 움직임 벡터 차분값을 판독하는 단계; 및 상기 현재 블록의 주변 블록의 움직임 벡터에 기초하는 움직임 벡터 예측값에 상기 움직임 벡터 차분값을 합하여 상기 현재 블록의 움직임 벡터를 계산하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 추가 정보 판독 단계는, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 판독하는 단계를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 벡터 판독 단계는, 상기 현재 픽처의 현재 블록의 움직임 벡터를 코딩할지 여부를 나타내는 움직임 벡터 코딩 정보를 판독하는 단계; 상기 움직임 벡터 코딩 정보에 기초하여, 상기 현재 픽처에 대한 움직임 벡터를 판독할지 여부를 결정하는 단계; 및 상기 결정에 기초하여 상기 움직임 벡터를 판독하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 벡터 판독 단계는, 상기 움직임 벡터 코딩 정보에 의해 움직임 벡터 코딩을 수행하지 않는 것으로 결정되면, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초한 움직임 벡터 예측값을 상기 현재 블록의 움직임 벡터로 결정하고, 상기 움직임 벡터 코딩 정보에 의해, 움직임 벡터 코딩을 수행하는 것으로 결정되면, 상기 추가 정보를 이용하여 움직임 벡터를 판독할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 복원 단계는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및 상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 보상 수행 단계는, 상기 현재 블록이 P 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정하는 단계; 및 상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법의 상기 움직임 보상 수행 단계는, 상기 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처들을 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 둘로 결정하는 단계; 및 상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 방법에서 상기 현재 픽처과 참조 관계에 있는 참조 픽처는, 상기 현재 픽처와 동일 시간 및 다른 시점의 픽처이며, 각각의 참조 픽처는 해당 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처일 수 있다.
본 발명의 일 실시예에 의한 다시점 비디오 부호화 장치는, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 블록 타입 결정부; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 제 1 픽처 타입 결정부; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 추가 정보 결정부; 및 상기 현재 픽처에 대한 추가 정보를 부호화하는 추가 정보 부호화부를 포함한다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 블록 타입 결정부는, 상기 현재 블록이 스킵 모드 블록 타입인지 여부를 결정하고, 상기 현재 블록에 대한 블록 타입 정보를 설정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 제 1 픽처 타입 결정부는, 상기 현재 픽처가, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인지 여부를 결정하고, 상기 제 1 픽처 타입 정보를 설정할 수 있다.
일 실시예의 상기 추가 정보 결정부는, 상기 현재 블록이 스킵 모드 블록 타입이고, 상기 현재 픽처의 제 1 픽처 타입이, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인 경우, 상기 현재 픽처에 대한 추가 정보를 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 다시점 비디오 부호화 장치는, 상기 현재 픽처의 제 2 픽처 타입을 결정하고, 상기 현재 픽처에 대한 제 2 픽처 타입 정보를 더 설정하는 제 2 픽처 타입 결정부를 더 포함하고, 상기 추가 정보 결정부는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 제 2 픽처 타입에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하고, 상기 제 2 픽처 타입은 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함할 수 있다.
일 실시예의 상기 다시점 비디오 부호화 장치는, 상기 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 결정하는 추가 정보 코딩 정보 결정부를 더 포함하고, 상기 추가 정보 결정부는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 추가 정보 코딩 정보에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 코딩 정보 결정부는, 상기 현재 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값의 평균; 및 상기 현재 픽처의 참조 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값의 평균을 계산하고, 상기 현재 픽처의 Y 성분값의 평균 및 상기 참조 픽처의 Y 성분값의 평균 간의 차의 절대값; 상기 현재 픽처의 U 성분값의 평균 및 상기 참조 픽처의 U 성분값의 평균 간의 차의 절대값; 및 상기 현재 픽처의 V 성분값의 평균 및 상기 참조 픽처의 V 성분값의 평균 간의 차의 절대값을 계산하고, 상기 Y 성분값의 평균의 차의 절대값, U 성분값의 평균의 차의 절대값 및 V 성분값의 평균의 차의 절대값의 합을 계산하고, 상기 절대값의 합이 소정 임계치보다 크면 상기 추가 정보를 코딩하는 것을 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 블록과 참조 관계에 있는 참조 픽처의 대응 블록 간의 색차 보상값을 계산하는 색차 정보 결정부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 색차 보상값을 이용하여 상기 현재 블록에 대한 색차 보상을 수행하는 색차 보상 수행부를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 색차 보상값을 U 성분 및 V 성분마다 별도로 계산하고, 색차 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 색차 보상 수행부는, 상기 색차 보상을 상기 현재 블록에 대한 움직임 보상과 함께 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록에 대한 색차 보상값을 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록에 대한 색차 보상값 및 색차 보상 예측값 간의 차분값을 포함하고, 상기 현재 블록에 대한 색차 보상 예측값은, 상기 현재 블록의 주변 블록의 색차 보상값에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값을 계산하는 휘도 정보 결정부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 휘도 보상값을 이용하여 상기 현재 블록에 대한 휘도 보상을 수행하는 휘도 보상 수행부를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 휘도 보상 수행부는, 상기 휘도 보상을 상기 현재 블록에 대한 움직임 보상과 함께 수행할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록에 대한 휘도 보상값을 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보로써, 상기 현재 블록에 대한 휘도 보상값 및 휘도 보상 예측값 간의 차분값을 부호화하고 상기 현재 블록에 대한 휘도 보상 예측값은, 상기 현재 블록의 주변 블록의 휘도 보상값에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하는 움직임 벡터 결정부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 움직임 벡터 결정부는, 상기 주변 블록의 움직임 벡터는, 상기 현재 픽처에 대한 참조 픽처들 중 가장 가까운 이전의 참조 픽처 내의 블록들 중 상기 주변 블록과 참조 관계에 있는 대응 블록과 상기 주변 블록 간의 움직임 벡터일 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 움직임 벡터 결정부는, 상기 주변 블록이 스킵 모드 블록이 아닐 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상 수행부를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하도록 상기 현재 블록의 상기 참조 인덱스를 설정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 블록에 대한 움직임 예측을 수행하고, 상기 움직임 예측에 의한 상기 현재 블록의 움직임 벡터를 결정하는 움직임 벡터 결정부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 픽처의 현재 블록이 P 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처들을 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 둘로 결정할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 결정부는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상 수행부를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터 및 움직임 벡터 예측값 간의 차분값을 포함하고, 상기 현재 블록의 움직임 벡터 예측값은, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 상기 추가 정보는, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치의 상기 추가 정보 부호화부는, 움직임 벡터 코딩 정보에 기초하여 상기 추가 정보를 부호화하고, 상기 추가 정보는, 상기 현재 픽처의 현재 블록의 움직임 벡터를 코딩할지 여부를 나타내는 움직임 벡터 코딩 정보를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치에서 상기 움직임 벡터 코딩 정보는, 상기 현재 블록의 움직임 벡터와 움직임 벡터 예측값이 동일한 경우, 상기 움직임 벡터를 코딩하지 않는 것을 나타내도록 설정되고, 상기 현재 블록의 움직임 벡터와 상기 움직임 벡터 예측값이 상이한 경우, 상기 움직임 벡터를 코딩하는 것을 나타내도록 설정되고, 상기 현재 블록의 움직임 벡터 예측값은, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초할 수 있다.
일 실시예에 의한 다시점 비디오 부호화 장치에서, 상기 현재 픽처과 참조 관계에 있는 참조 픽처는, 상기 현재 픽처와 동일 시간 및 다른 시점의 픽처이며, 각각의 참조 픽처는 해당 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처일 수 있다.
본 발명의 일 실시예에 의한 다시점 비디오 복호화 장치는, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 블록 타입 판독부; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 제 1 픽처 타입 판독부; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 추가 정보 판독부; 및 상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 복원부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 블록 타입 판독부는, 상기 현재 블록에 대한 블록 타입 정보를 판독하고, 상기 블록 타입 정보에 기초하여, 상기 현재 블록이 스킵 모드 블록 타입인지 여부를 결정할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 제 1 픽처 타입 판독부는, 상기 현재 픽처에 대한 제 1 픽처 타입 정보를 판독하고, 상기 제 1 픽처 타입 정보에 기초하여, 상기 현재 픽처가, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인지 여부를 결정할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록이 스킵 모드 블록 타입이고, 상기 현재 픽처의 제 1 픽처 타입이, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인 경우, 상기 현재 픽처에 대한 추가 정보를 판독할 수 있다.
일 실시예의 상기 다시점 비디오 복호화 장치는, 상기 현재 픽처에 대한 제 2 픽처 타입 정보를 판독하는 제 2 픽처 타입 판독부를 더 포함하고, 상기 추가 정보 판독부는, 상기 제 2 픽처 타입 정보에 기초하여, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 제 2 픽처 타입에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하고, 상기 제 2 픽처 타입은 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함할 수 있다.
일 실시예의 상기 다시점 비디오 복호화 장치는, 상기 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 판독하는 추가 정보 코딩 정보 판독부를 더 포함하고, 상기 추가 정보 판독부는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 추가 정보 코딩 정보에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 추가 정보 코딩 정보가 소정 임계치보다 크면, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입에 기초하여 상기 추가 정보를 판독할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값을 판독하는 색차 보상 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값에 대한 색차 보상 차분값을 판독하고, 상기 현재 블록의 주변 블록의 색차 보상값에 기초하는 색차 보상 예측값에 상기 색차 보상 차분값을 합하여 상기 현재 블록의 색차 보상값을 계산하는 색차 보상 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 복원부는, 상기 현재 블록의 색차 보상값을 이용하여 상기 현재 블록에 대한 색차 보상을 수행하고, 상기 색차 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 색차 보상 수행부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 색차 보상 수행부는, 상기 현재 블록에 대한 움직임 보상과 동시에 수행될 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 색차 보상 판독부는, 상기 색차 보상값을 U 성분 및 V 성분마다 별도로 판독하고, 상기 색차 보상 수행부는, 상기 U 성분 및 V 성분마다 별도로 색차 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값을 판독하는 휘도 보상 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 휘도 보상값 판독부는, 상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값에 대한 휘도 보상 차분값을 판독하고, 상기 현재 블록의 주변 블록의 휘도 보상값에 기초하는 휘도 보상 예측값에 상기 휘도 보상 차분값을 합하여 상기 현재 블록의 휘도 보상값을 계산하는 휘도 보상 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 복원부는, 상기 현재 블록의 휘도 보상값을 이용하여 상기 현재 블록에 대한 휘도 보상을 수행하고, 상기 휘도 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 휘도 보상부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 휘도 보상 수행부는, 상기 현재 블록에 대한 움직임 보상과 동시에 수행될 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록의 참조 인덱스를 판독하여, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하는 움직임 벡터 결정부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 움직임 벡터 결정부는, 상기 현재 픽처에 대한 참조 픽처들 중 가장 가까운 이전의 참조 픽처 내의 블록들 중 상기 주변 블록과 참조 관계에 있는 대응 블록과 상기 주변 블록 간의 움직임 벡터를, 상기 주변 블록의 움직임 벡터로 결정할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 움직임 벡터 결정부는, 상기 주변 블록이 스킵 모드 블록이 아닐 수 있다.
일 실시예의 상기 복원부는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하고, 상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 움직임 보상 수행부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록의 움직임 벡터를 판독하는 움직임 벡터 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록의 움직임 벡터에 대한 움직임 벡터 차분값을 판독하고, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초하는 움직임 벡터 예측값에 상기 움직임 벡터 차분값을 합하여 상기 현재 블록의 움직임 벡터를 계산하는 움직임 벡터 판독부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 추가 정보 판독부는, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 판독하는 참조 픽처 판독부를 더 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 움직임 벡터 판독부는, 상기 현재 픽처의 현재 블록의 움직임 벡터를 코딩할지 여부를 나타내는 움직임 벡터 코딩 정보를 판독하고, 상기 움직임 벡터 코딩 정보에 기초하여, 상기 현재 픽처에 대한 움직임 벡터를 판독할지 여부를 결정하는 움직임 벡터 코딩 정보 판독부를 더 포함하고, 상기 결정에 기초하여 상기 움직임 벡터를 판독할 수 있다.
일 실시예의 상기 움직임 벡터 판독부는, 상기 움직임 벡터 코딩 정보에 의해 움직임 벡터 코딩을 수행하지 않는 것으로 결정되면, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초한 움직임 벡터 예측값을 상기 현재 블록의 움직임 벡터로 결정하고, 상기 움직임 벡터 코딩 정보에 의해, 움직임 벡터 코딩을 수행하는 것으로 결정되면, 상기 추가 정보를 이용하여 움직임 벡터를 판독할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 복원부는, 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하고, 상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 움직임 보상 수행부를 포함할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 움직임 보상 수행부는, 상기 현재 블록이 P 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정하고, 상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치의 상기 움직임 보상 수행부는, 상기 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처들을 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 둘로 결정하고, 상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행할 수 있다.
일 실시예에 의한 다시점 비디오 복호화 장치에서, 상기 현재 픽처과 참조 관계에 있는 참조 픽처는, 상기 현재 픽처와 동일 시간 및 다른 시점의 픽처이며, 각각의 참조 픽처는 해당 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처일 수 있다.
본 발명은, 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 개시하며, 상기 컴퓨터 프로그램은 본 발명의 일 실시예에 의한 다시점 비디오 부호화 방법을 구현하기 위한 것이며, 상기 다시점 비디오 부호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 부호화하는 단계를 포함한다.
본 발명은, 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 개시하며, 상기 프로그램은 일 실시예에 의한 다시점 비디오 복호화 방법을 구현하기 위한 것이며, 상기 다시점 비디오 복호화 방법은, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 단계; 상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 단계; 상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계; 및 상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함한다.
 발명의 실시를 위한 형태
도 1 은 본 발명의 일 실시예에 의한 다시점 비디오 부호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 블록 타입 결정부(110), 제 1 픽처 타입 결정부(120), 추가 정보 결정부(130) 및 추가 정보 부호화부(140)를 포함한다.
블록 타입 결정부(110)는 부호화하고자 하는 다시점 비디오의 픽처 중, 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하고, 결정된 블록 타입의 정보는 추가 정보 결정부(130)로 출력된다.
일 실시예에서, 다시점 비디오 부호화 장치(100)가 제 1 픽처 타입도 고려하는 추가 정보를 이용한다면, 블록 타입 결정부(110)의 결정은 제 1 픽처 타입 결정부(120)에 영향을 미칠 수 있다.
블록 타입 결정부(110)는, 현재 블록이 스킵 모드 블록 타입인지 여부를 결정하고, 현재 블록에 대한 블록 타입 정보를 설정할 수 있다.
예를 들어, 본 발명의 일 실시예가 종래 다시점 비디오 코딩 기법인 MVC(Multi-view Video Coding)에 적용된다면, 블록 타입은 스킵 모드 블록, 다이렉트 모드 블록, 인터 모드 블록 중 적어도 하나를 포함할 수 있다. 스킵 모드 블록은 현재 블록의 고유 움직임 벡터가 없다. 즉, 스킵 모드 블록의 움직임 벡터가 0이거나, 상기 현재 블록의 주변 블록의 움직임 벡터로부터 결정된다. 스킵 모드 블록은 잔여(residual) 영상을 포함하여 블록의 데이터가 코딩되지 않는다. 본 발명의 일 실시예는, 현재 블록이 스킵 모드 블록인지 여부를 결정할 수 있다.
제 1 픽처 타입 결정부(120)는 부호화하고자 하는 다시점 비디오의 픽처 중, 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하고, 결정된 제 1 픽처 타입 정보를 추가 정보 결정부(130)로 출력한다. 일 실시예에서, 추가 정보를 결정하기 위해 제 1 픽처 타입 뿐만 아니라 블록 타입 정보도 고려된다면, 블록 타입 결정부(110)의 결과에 따라 제 1 픽처 타입 결정부(120)의 동작 여부가 결정될 수 있다.
예를 들어, 본 발명의 일 실시예가 종래 MVC에 적용된다면, 제 1 픽처 타입은 앵커 픽처 타입과 넌-앵커 픽처 타입을 포함할 수 있다. 앵커 픽처 타입은 뷰간 예측(Inter-View Prediction)이 수행되는 픽처로써 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처이면서, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준이 되는 픽처이다. 본 발명의 일 실시예는, 현재 픽처가 앵커 픽처인지 여부를 결정할 수 있다.
추가 정보 결정부(130)는 블록 타입 결정부(110)로부터 결정된 현재 블록의 블록 타입 및 제 1 픽처 타입 결정부(120)로부터 결정된 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 현재 픽처에 대한 추가 정보를 결정하고, 추가 정보는 추가 정보 부호화부(140)로 출력된다.
일례로, 추가 정보 결정부(130)는 현재 블록이 스킵 모드 블록인 경우에만 현재 픽처에 대한 추가 정보를 결정한다. 다른 예의 추가 정보 결정부(130)는 현재 블록이 스킵 모드 블록이고, 현재 픽처가 앵커 픽처일 때 현재 픽처에 대한 추가 정보를 결정한다.
도면에는 도시되지 않았지만, 다시점 비디오 부호화 장치(100)의 일 실시예는, 현재 픽처의 제 2 픽처 타입 정보를 결정하는 제 2 픽처 타입 결정부를 포함하고, 추가 정보 결정부(130)는 현재 블록의 블록 타입, 현재 픽처의 제 1 픽처 타입 뿐만 아니라 제 2 픽처 타입도 고려하여, 현재 픽처에 대한 추가 정보를 결정할 수도 있다. 예를 들어, 제 2 픽처 타입 정보가 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함하는 경우, 추가 정보 결정부(130)는 P 픽처 타입의 현재 픽처에 대해서만 추가 정보를 결정할 수 있다.
또한, 도면에는 도시되지 않았지만, 다시점 비디오 부호화 장치(100)의 일 실시예는, 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 결정하는 추가 정보 코딩 정보 결정부를 포함하고, 추가 정보 결정부(130)는 현재 블록의 블록 타입만 아니라 현재 픽처의 추가 정보 코딩 정보도 고려하여, 현재 픽처에 대한 추가 정보를 결정할 수도 있다. 추가 정보 코딩 정보 결정 방법은 이하 도 9a 내지 11 을 참조하여 상술된다.
본 발명의 일 실시예에 따른, 추가 정보 결정부(130)는 현재 블록의 색차 보상을 위한 현재 블록의 색차 정보를 결정하는 색차 정보 결정부 및 색차 정보를 이용한 색차 보상을 수행하는 색차 보상 수행부를 포함할 수 있다. 색차 정보 및 그 결정 방법은 이하 도 12a 내지 13을 참조하여 상술된다.
또한, 추가 정보 결정부(130)는 현재 블록의 휘도 보상을 위한 현재 블록의 휘도 정보를 결정하는 휘도 정보 결정부 및 휘도 정보를 이용한 색차 보상을 수행하는 휘도 보상 수행부를 포함할 수 있다. 휘도 정보 및 그 결정 방법은 이하 도 14a 내지 15을 참조하여 상술된다.
또한, 추가 정보 결정부(130)는 현재 블록의 움직임 보상을 위한 현재 블록의 움직임 벡터를 결정하는 움직임 벡터 결정부 및 움직임 벡터를 이용한 움직임 보상을 수행하는 움직임 보상 수행부를 포함할 수 있다. 움직임 벡터 및 그 결정 방법은 이하 도 16 내지 20b을 참조하여 상술된다.
추가 정보 부호화부(140)는 추가 정보 결정부(130)로부터 현재 픽처에 대한 추가 정보를 입력 받아 부호화한다. 부호화된 추가 정보는 다시점 비디오 부호화 장치(100)에서 부호화하고자 하는 다시점 비디오가 부호화되어 삽입된 비트스트림에 함께 삽입될 수 있다.
일 실시예의 추가 정보 부호화부(140)가 부호화하는 추가 정보는, 색차 정보, 휘도 정보, 움직임 벡터 정보 등을 포함할 수 있다. 색차 정보는, 현재 블록에 대한 색차 보상값 그 자체이거나, 주변 블록의 색차 보상값 예측값에 기초한 차분값일 수 있다. 휘도 정보는, 현재 블록에 대한 휘도 보상값 그 자체이거나, 주변 블록의 휘도 보상값 예측값에 기초한 차분값일 수 있다. 움직임 벡터 정보는, 현재 블록에 대한 움직임 벡터 그 자체이거나, 주변 블록의 움직임 벡터 예측값에 기초한 차분값일 수 있다. 또한, 움직임 벡터 정보는 움직임 예측을 위한 참조 픽처에 관한 정보를 포함할 수도 있다.
도 2 은 본 발명의 일 실시예에 의한 다시점 비디오 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 의한 다시점 비디오 복호화 장치(200)는 블록 타입 판독부(210), 제 1 픽처 타입 판독부(220), 추가 정보 판독부(230) 및 복원부(240)를 포함한다. 다시점 비디오 복호화 장치(200)의 일 실시예는 수신된 비트스트림을 파싱하여 픽처 영상 데이터, 픽처 정보, 블록 정보, 기타 코딩 관련 정보 등 영상 복원에 필요한 정보들을 추출하여 블록 타입 판독부(210), 제 1 픽처 타입 판독부(220), 추가 정보 판독부(230) 및 복원부(240)로 전송할 수 있다. 이하, 제 1, 2 픽처 타입, 블록 타입 등의 개념은 다시점 비디오 부호화 장치(200)의 설명부분에서 전술된 내용과 동일하다.
블록 타입 판독부(210)는, 복호화하고자 하는 다시점 비디오의 픽처 중 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하고, 판독된 블록 타입의 정보는 추가 정보 판독부(230)로 출력된다.
다시점 비디오 복호화 장치(200)에서 추가 정보를 판독하기 위해 제 1 픽처 타입도 고려한다면, 블록 타입 판독부(210)의 결정은 제 1 픽처 타입 판독부(220)에 영향을 미칠 수 있다.
블록 타입 판독부(210)는, 현재 블록에 대한 블록 타입 정보를 판독하여, 현재 블록이 스킵 모드 블록 타입인지 여부를 알아낼 수 있다.
예를 들어, 본 발명의 일 실시예가 MVC(Multi-view Video Coding)에 적용된다면, 블록 타입은 스킵 모드 블록, 다이렉트 모드 블록, 인터 모드 블록 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예는, 현재 블록이 스킵 모드 블록인지 여부를 결정할 수 있다.
제 1 픽처 타입 판독부(220)는 복호화하고자 하는 다시점 비디오의 픽처 중 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하고, 판독된 제 1 픽처 타입 정보를 추가 정보 판독부(230)로 출력한다. 일 실시예는, 추가 정보를 판독하기 위해 제 1 픽처 타입 뿐만 아니라 블록 타입 정보도 고려한다면, 블록 타입 판독부(210)의 결과에 따라 제 1 픽처 타입 판독부(220)의 동작 여부가 결정될 수 있다.
예를 들어, 본 발명의 일 실시예가 종래 MVC에 적용된다면, 제 1 픽처 타입은 앵커 픽처 타입과 넌-앵커 픽처 타입을 포함할 수 있다. 본 발명의 일 실시예는, 현재 픽처가 앵커 픽처인지 여부를 판독할 수 있다.
추가 정보 판독부(230)는 블록 타입 판독부(210)로부터 판독된 현재 블록의 블록 타입 및 제 1 픽처 타입 판독부(220)로부터 판독된 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 현재 픽처에 대한 추가 정보를 판독하고, 추가 정보는 복원부(240)로 출력된다.
일례로, 추가 정보 판독부(230)는 현재 블록이 스킵 모드 블록인 경우에만 현재 픽처에 대한 추가 정보를 판독한다. 다른 예의 추가 정보 판독부(230)는 현재 블록이 스킵 모드 블록이고, 현재 픽처가 앵커 픽처일 때 현재 픽처에 대한 추가 정보를 판독한다.
도면에는 도시되지 않았지만, 다시점 비디오 복호화 장치(200)의 일 실시예는, 현재 픽처의 제 2 픽처 타입 정보를 판독하는 제 2 픽처 타입 판독부를 포함하고, 추가 정보 판독부(230)는 현재 블록의 블록 타입, 현재 픽처의 제 1 픽처 타입 뿐만 아니라 제 2 픽처 타입도 고려하여, 현재 픽처에 대한 추가 정보를 판독할 수도 있다. 예를 들어, 제 2 픽처 타입 정보가 I 픽처 타입, P 픽처 타입 및 B 픽처 타입 중 적어도 하나를 포함하는 경우, 추가 정보 판독부(230)는 P 픽처 타입의 현재 픽처에 대해서만 추가 정보를 판독할 수 있다.
또한, 도면에는 도시되지 않았지만, 다시점 비디오 복호화 장치(200)의 일 실시예는, 현재 픽처에 대한 추가 정보를 코딩했는지 여부를 나타내는 추가 정보 코딩 정보를 판독하는 추가 정보 코딩 정보 판독부를 포함하고, 추가 정보 판독부(230)는 현재 블록의 블록 타입만 아니라 현재 픽처의 추가 정보 코딩 정보도 고려하여, 비트스트림으로부터 현재 픽처에 대한 추가 정보를 판독할 수도 있다. 추가 정보 코딩 정보 판독 방법은 이하 도 9a 내지 11 을 참조하여 상술된다.
본 발명의 일 실시예에 따른, 추가 정보 판독부(230)는 현재 블록의 색차 보상을 위한 현재 블록의 색차 정보를 판독하는 색차 정보 판독부를 포함할 수 있다. 색차 정보는 현재 블록에 대한 색차 보상값 그 자체이거나, 주변 블록의 색차 보상값 예측값에 기초한 차분값일 수 있다. 색차 정보 및 그 결정 방법은 이하 도 12a 내지 13을 참조하여 상술된다.
또한, 추가 정보 판독부(230)는 현재 블록의 휘도 보상을 위한 현재 블록의 휘도 정보를 판독하는 휘도 정보 판독부를 포함할 수 있다. 휘도 정보는, 현재 블록에 대한 휘도 보상값 그 자체이거나, 주변 블록의 휘도 보상값 예측값에 기초한 차분값일 수 있다. 휘도 정보 및 그 결정 방법은 이하 도 14a 내지 15을 참조하여 상술된다.
또한, 추가 정보 판독부(230)는 현재 블록의 움직임 보상을 위한 현재 블록의 움직임 벡터를 판독하는 움직임 벡터 판독부를 포함할 수 있다. 움직임 벡터 정보는, 현재 블록에 대한 움직임 벡터 그 자체이거나, 주변 블록의 움직임 벡터 예측값에 기초한 차분값일 수 있다. 또한, 움직임 벡터 정보는 움직임 예측을 위한 참조 픽처에 관한 정보를 포함할 수도 있다. 움직임 벡터 및 그 결정 방법은 이하 도 16 내지 20b을 참조하여 상술된다.
복원부(240)는 추가 정보 판독부(230)로부터 입력된 추가 정보를 이용하여, 현재 블록 및 현재 픽처를 복원한다.
일 실시예의 복원부(240)가 이용하는 추가 정보는, 색차 정보, 휘도 정보, 움직임 벡터 정보 등을 포함할 수 있다. 복원부(240)의 일 실시예는 추가 정보 판독부(230)로부터 입력된 색차 정보를 이용하여 색차 보상을 수행하고, 현재 블록를 복원할 수 있다. 복원부(240)의 일 실시예는 추가 정보 판독부(230)로부터 입력된 휘도 정보를 이용하여 휘도 보상을 수행하고, 현재 블록를 복원할 수 있다. 복원부(240)의 일 실시예는 추가 정보 판독부(230)로부터 입력된 움직임 벡터를 이용하여 움직임 보상을 수행하고, 현재 블록를 복원할 수 있다.
본 발명의 일 실시예에 의한 다시점 비디오 부호화 장치(100) 및 다시점 비디오 복호화 장치(200)에서 현재 픽처가 소정 시점의 앵커 픽처라면, 현재 픽처의 예측을 위한 참조 픽처 역시 다른 시점의 앵처 픽처일 수 있다.
도 3 는 다시점 비디오의 예측 방식을 도시한다.
다시점 비디오 부복호화는 픽처 간의 예측을 이용한다. 다시점 비디오를 구성하는 일부 픽처 집합(300)은, 다시점 비디오 부복호화에서 8개의 시점(view)이 존재하는 경우의 예로써, 시간 방향의 GOP(Group of Pictures)의 크기가 8 일 경우의 예측 구조를 도시한다. S0, S1, ... , S7 는 각각의 시점(view)을 나타내고, T0, T1, ... , T8 는 시간 방향 상의 각각의 시간을 나타낸다.
각각의 시점에 대한 시간 방향의 부복호화에서는 계층적인 B-픽처 구조를 사용하여 예측을 수행하고 있고, 각각의 시점의 첫번째 시간(T0)의 영상들과 그 이후로 시간 방향으로 8 프레임씩 앞선 시간에 위치해 있는 프레임들(즉, 시간 방향의 GOP 만큼 앞선 시간에 위치해 있는 프레임들, 즉 T8, T16, T24 등)을 앵커 픽처라고 할 수 있다.
앵커 픽처는 시점 방향의 예측만이 수행된다. 앵커 픽처의 예측의 일례에 따르면, S2 시점은 동일한 시간대의 S0 시점을, S1 시점은 동일한 시간대의 S0 시점과 S2 시점을, S4 뷰는 동일한 시간대의 S2 시점을, S3 시점은 동일한 시간대의 S2 시점과 S4 시점을, S6 시점은 동일한 시간대의 S4 시점을, S5 시점은 동일한 시간대의 S4 시점과 S6 시점을, S7 시점은 동일한 시간대의 S6 시점을 이용하여 예측이 수행된다.
앵커 픽처가 아닌 넌-앵커 픽처(Non-anchor Picture)에서는 기본적으로 시간 방향의 예측이 수행된다. 따라서, 넌-앵커 픽처는 동일한 시점의 GOP 상의 앵커 픽처를 직간접적으로 참조하게 된다. 이에 따라 앵커 픽처의 화질은 넌-앵커 픽처의 화질에 영향을 미치므로, 앵커 픽처의 화질은 동일 GOP 상의 모든 픽처의 화질에 영향을 미치게 되므로, 정확하고 효율적인 예측에 있어서 앵커 픽처의 화질이 특히 중요하다.
이하 도 3 을 참조한 기술에 있어서, 각각의 픽처에 대한 표기 Tn/Sm/Xk 은해당 픽처가 n번째 시간 Tn, m번째 시점 Sm, 참조 순서상 k번째의 X 타입의 픽처임을 나타낸다. X 타입은 I 타입, B 타입, P 타입을 포함한다.
예를 들어, 앵커 픽처 T0/S2/P0(310)와 T8/S2/P0(350)의 화질이 저하된다면, 앵커 픽처 T0/S2/P0(310)와 T8/S2/P0(350)를 직접적으로 참조하는 앵커 픽처 T0/S1/B1(340), T0/S3/B1(345), T0/S4/P0(330), T8/S1/B1(380), T8/S3/B1(385), T8/S4/P0(370)의 예측 효율이 떨어져 화질 저하가 발생할 수 있다.
연속적으로, 화질 저하된 앵커 픽처 T0/S4/P0(330), T8/S4/P0(370)를 참조하는 앵커 픽처 T0/S5/B1, T0/S6/P0, T8/S5/B1, T8/S6/P0 의 예측 효율이 떨어져 화질이 더욱 저하될 수 있다.
또한, 화질이 저하된 T0/S6/P0, T8/S6/P0 를 참조하는 앵커 픽처 T0/S7/P0, T8/S7/P0 의 예측 효율이 떨어져 화질이 지속적으로 저하될 수 있다.
이런 식으로 앵커 픽처의 화질이 저하된다면, 각각의 앵커 픽처를 참조하여 예측이 수행되는 넌-앵커 픽처들에 대해서도 화질 저하가 전파된다.
S2 시점 상의 시간 예측을 예로 들면, T0/S2/P0(310)와 T8/S2/P0(350)를 직접적으로 참조하는 넌-앵커 픽처 T4/S2/B1(390)에 화질 저하가 전파되고, T4/S2/B1(390)를 참조하는 T2/S2/B2(392), T6/S2/B2(396)에 화질 저하가 전파되며, 나머지 S2 시점 상의 B3 픽처들(T1/S2/B3(394), T7/S2/B3(398) 등)에 화질 저하가 전파될 수 있다.
따라서, 앵커 픽처 T0/S2/P0(310)와 T8/S2/P0(350)는 S0 시점(앵처 픽처 T0/S2 (P0)와 T8/S2 (P0)가 참조하는 시점, T0/S0/I0(320), T8/S0/I0(360) 등)을 제외하고, GOP 안의 모든 픽처에 영향을 미치게 된다. 따라서 GOP의 정확한 부복호화를 위해서는 앵커 픽처 정보의 정확성이 요구된다.
도 4a 는 본 발명의 일 실시예에 의해, 블럭 타입을 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 4a 를 참고하여, 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 블록 타입 결정부(110) 및 추가 정보 결정부(130)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 스킵 모드 블록에 대해 추가 정보를 설정하고 부호화하고자 한다(400).
블록 타입 결정부(110)에서, 현재 블록이 스킵 모드 타입인 여부가 결정된다(단계 410). 현재 블록이 스킵 모드가 아니라면 일반적인 블록 타입에 대한 부호화 과정이 수행된다(단계 420). 현재 블록이 스킵 모드라면 추가 정보 결정부(130)에서 추가 정보가 결정되고 추가 정보 부호화부(140)에서 추가 정보가 부호화된다(단계 430).
도 4b 는 본 발명의 일 실시예에 의해, 블럭 타입을 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 4b 를 참고하여, 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 블록 타입 판독부(210) 및 추가 정보 판독부(230)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 스킵 모드 블록에 대해 추가 정보를 판독하고 현재 블록을 복원하고자 한다(440).
블록 타입 판독부(210)에서, 현재 블록이 스킵 모드 타입인 여부가 판독된다(단계 450). 현재 블록이 스킵 모드가 아니라면 일반적인 블록 타입에 대한 복호화 과정이 수행된다(단계 460). 현재 블록이 스킵 모드라면 추가 정보 판독부(230)에서 추가 정보가 판독되고 복원부(240)에서 추가 정보를 이용하여 현재 블록이 복원된다(단계 470).
앵커 픽처의 블록이 스킵 모드로 선택된다면, 시점 간에 발생한 휘도 신호, 색차 신호의 레벨의 차이, 잔여 영상 등을 코딩하지 않기 때문에 스킵 모드의 블록 부분에서 화질 열화가 발생할 수 있으며, 앵커 픽처의 화질 열화는 전체적인 예측 효율에 악영향을 미칠 수 있다. 따라서, 스킵 모드의 블록의 화질 개선을 위한 추가 정보가 부호화된다면 복호화 단계에서도 예측 성능 및 효율이 향상될 수 있다.
도 5a 는 본 발명의 일 실시예에 의해, 제 1 픽처 타입을 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 5a 를 참고하여, 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 제 1 픽처 타입 결정부(120) 및 추가 정보 결정부(130)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 블록이 스킵 모드 블록일 때, 현재 블록의 현재 픽처가 제 1 픽처 타입 중 앵커 픽처 타입이라면 추가 정보를 설정하고 부호화하고자 한다(500).
제 1 픽처 타입 결정부(120)에서, 현재 픽처가 앵커 픽처 타입인 여부가 결정된다(단계 510). 현재 픽처가 앵커 픽처가 아니라면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 부호화 과정이 수행된다(단계 520). 현재 픽처가 앵커 픽처라면 추가 정보 결정부(130)에서 추가 정보가 결정되고 추가 정보 부호화부(140)에서 추가 정보가 부호화된다(단계 530).
도 5b 는 본 발명의 일 실시예에 의해, 제 1 픽처 타입을 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 5b 를 참고하여, 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 제 1 픽처 타입 판독부(220) 및 추가 정보 판독부(230)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 블록이 스킵 모드 블록일 때, 현재 블록의 현재 픽처가 제 1 픽처 타입 중 앵커 픽처 타입이라면 추가 정보를 판독하고 현재 블록을 복원하고자 한다(540).
제 1 픽처 타입 판독부(220)에서, 현재 픽처가 앵커 픽처 타입인 여부가 판독된다(단계 550). 현재 픽처가 앵커 픽처가 아니라면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 복호화 과정이 수행된다(단계 560). 현재 픽처가 앵커 픽처라면 추가 정보 판독부(230)에서 추가 정보가 판독되고 복원부(240)에서 추가 정보를 이용하여 현재 블록이 복원된다(단계 570).
스킵 모드라 하더라도 동일 시점 상의 GOP 상에서 시간 방향의 인터 예측에 의해 다른 블록의 정보가 현재 블록에 적용된다. 다시점 비디오는 시간 방향의 다른 영상 뿐만 아니라 다른 시점의 영상들의 정보를 고려하여 예측할 필요가 있다. 따라서 스킵 모드의 블록이 앵커 픽처의 블록일 때, 다른 시점의 동일한 시간대의 픽처의 정보를 참조하여 예측된다면, 앵커 픽처의 정보가 해당 다시점 비디오 상의 모든 픽처들에 연쇄적으로 전달되므로, 해당 다시점 비디오에 대해 시간 방향의 정보 및 시점 방향의 정보를 모두 고려한 정확한 예측이 가능해진다.
이하 도 6a 및 6b 를 참고하여, 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 일 실시예가 상술된다.
도 6a 는 본 발명의 일 실시예에 의해, 블럭 타입 및 제 1 픽처 타입을 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
기존 다시점 비디오 부복호화 방식의 스킵 모드 신택스를 그대로 사용하면서 앵커 픽처의 화질을 향상시키는 부복호화 방법의 일례로, 현재 디코딩하려는 M x N 블록이 스킵 모드 블록인지 여부를 나타내는 정보, 현재 픽처가 앵커 픽처인지 여부를 나타내는 정보에 따라 현재 픽처가 앵커 픽처라면 현재 픽처 화질 향상을 위한 추가 정보가 기존 스킵 모드 신택스에 삽입된다. M x N 는 16 x 16, 8 x 8 일 수 있으며, 임의의 다양한 조합일 수 있다. 기존 다시점 비디오 부복호화 방식의 스킵 모드 신택스가 그대로 사용될 수 있으므로, 기존 다시점 비디오 부호화 시스템 또는 복호화 시스템의 구조를 크게 변경하지 않고, 신택스에서 필요한 정보만 변경함으로써 본 발명의 일 실시예가 구현될 수 있다.
slice_data 신택스(600)의 11번째 줄의 'mb_skip_run'(610)은 다시점 비디오 부복호화에서 CAVLC(Context-based Adaptive VLC) 방법을 사용하여 엔트로피 코딩이 수행될 때 스킵 모드 블록을 표현하는 신택스로, 연속적으로 몇 개의 매크로 블록이 스킵되었는지를 나타내는 정보이다. 13번째 줄에서 스킵된 매크로블록 개수만큼 루프문이 수행된다.
slice_data 신택스(600)의 14번째 줄 이하의 if 조건문 부분은 해당 픽처가 앵커 픽처라면 추가 정보 'anchor_enhancement_information()'(620)가 사용되어 추가 정보가 부복호화됨을 나타낸다.
slice_data 신택스(600)의 21번째 줄의 'mb_skip_flag'(630)는 다시점 비디오 부복호화에서 CABAC(Context-based Adaptive Binary Arithmetic Coding) 방법을 이용하여 엔트로피 코딩이 수행될 때 스킵 모드 블록을 표현하는 신택스이다. 즉, 'mb_skip_flag'(630)는 현재 블록이 스킵이 되었는지를 나타내는 정보로써, 'mb_skip_flag'(630)가 1일 때 현재 블록이 스킵되었음을 나타낸다.
slice_data 신택스(600)의 22번째 줄 이하의 if 조건문은 현재 블록이 스킵되었고 현재 픽처가 앵커 픽처라면 'anchor_enhancement_information()'(640)가 사용되어 추가 정보가 부복호화됨을 나타낸다. 'anchor_enhancement_information()'(620, 640) 신택스의 다양한 실시예는, 이후 도 13, 15, 18a, 18b, 20a, 20b 를 참고하여 상술된다.
도 6b 는 본 발명의 일 실시예에 의해, 블럭 타입 및 제 1 픽처 타입을 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 후단부을 도시한다. 신택스(605)는 도 6a의 slice_data 신택스(600)에 연결되는 후단부이다.
도 7a 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 7a 를 참고하여, 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 제 1 픽처 타입 결정부(120), 제 2 픽처 타입 결정부(미도시) 및 추가 정보 결정부(130)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 블록이 스킵 모드 블록일 때, 현재 블록의 현재 픽처가 제 1 픽처 타입 중 앵커 픽처 타입이고, 제 2 픽처 타입 중 P 픽처 타입이라면 추가 정보를 설정하고 부호화하고자 한다(700).
제 1 픽처 타입 결정부(120) 및 제 2 픽처 타입 결정부에서 각각, 현재 픽처가 앵커 픽처 타입 및 P 픽처 타입인지 여부가 결정된다(단계 710). 현재 픽처가 앵커 픽처 또는 P 픽처가 아니라면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 부호화 과정이 수행된다(단계 720). 현재 픽처가 앵커 픽처 타입 및 P 픽처 타입이라면 추가 정보 결정부(130)에서 추가 정보가 결정되고 추가 정보 부호화부(140)에서 추가 정보가 부호화된다(단계 730).
도 7b 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 7b 를 참고하여, 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 제 1 픽처 타입 판독부(220), 제 2 픽처 타입 판독부(미도시) 및 추가 정보 판독부(230)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 블록이 스킵 모드 블록일 때, 현재 블록의 현재 픽처가 제 1 픽처 타입 중 앵커 픽처 타입이고, 제 2 픽처 타입 중 P 픽처 타입이라면 추가 정보를 판독하고 현재 블록을 복원하고자 한다(단계 740).
제 1 픽처 타입 판독부(220) 및 제 2 픽처 타입 판독부에서 각각, 현재 픽처가 앵커 픽처 타입 및 P 픽처 타입인지 여부가 판독된다(단계 750). 현재 픽처가 앵커 픽처 또는 P 픽처가 아니라면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 복호화 과정이 수행된다(단계 760). 현재 픽처가 앵커 픽처 타입 및 P 픽처 타입이라면 추가 정보 판독부(230)에서 추가 정보가 판독되고 복원부(240)에서 추가 정보를 이용하여 현재 블록이 복원된다(단계 770).
도 8 는 본 발명의 일 실시예에 의해, 제 2 픽처 타입도 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
기존 다시점 비디오 부복호화 방식의 스킵 모드 신택스를 그대로 사용하면서 앵커 픽처의 화질을 향상시키는 부복호화 방법의 일례로, 현재 디코딩하려는 M x N 블록이 스킵 모드 블록인지 여부를 나타내는 정보, 현재 픽처가 앵커 픽처인지 여부를 나타내는 정보 및 P 픽처인지 여부를 나타내는 정보에 따라 현재 픽처가 앵커 픽처 및 P 픽처라면 현재 픽처 화질 향상을 위한 추가 정보가 기존 스킵 모드 신택스에 삽입된다.
slice_data 신택스(800)의 11번째 줄의 'mb_skip_run'(810) 및 21번째 줄의 'mb_skip_flag'(830)은 각각 전술된 'mb_skip_run'(610) 및 'mb_skip_flag'(630)와 동일한 기능을 한다.
slice_data 신택스(800)의 14번째 줄 이하의 if 조건문 부분은 해당 픽처가 앵커 픽처이고 P 픽처라면 추가 정보 'anchor_enhancement_information()'(820)가 사용되어 추가 정보가 부복호화됨을 나타낸다.
slice_data 신택스(800)의 22번째 줄 이하의 if 조건문은 현재 블록이 스킵되었고 현재 픽처가 앵커 픽처 및 P 픽처라면 'anchor_enhancement_information()'(840)가 사용되어 추가 정보가 부복호화됨을 나타낸다. 'anchor_enhancement_information()'(820, 840) 신택스의 다양한 실시예는, 이후 도 13, 15, 18a, 18b, 20a, 20b 를 참고하여 상술된다.
slice_data 신택스(800)의 후단부에는 전술된 도 6b의 신택스가 삽입될 수 있다.
도 9a 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보 부호화 여부 결정 방법을 흐름도를 도시한다.
도 9a 를 참고하여, 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 코딩 정보 결정부(미도시) 및 추가 정보 결정부(130)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 블록이 스킵 모드 블록일 때 현재 블록의 현재 픽처에 대해 추가 정보를 코딩할지 여부에 따라선택적으로 추가 정보를 설정하고 부호화하고자 한다(900).
추가 정보 코딩 정보 결정부에서, 현재 픽처에 대해 추가 정보가 코딩될지 여부가 결정된다(단계 910). 현재 픽처에 대한 추가 정보가 코딩되지 않는다면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 부호화 과정이 수행된다(단계 920). 현재 픽처에 대해 추가 정보가 코딩된다면 추가 정보 결정부(130)에서 추가 정보가 결정되고 추가 정보 부호화부(140)에서 추가 정보가 부호화된다(단계 930).
추가 정보 코딩 정보 결정부의 일 실시예는, 현재 픽처 및 참조 픽처의 픽셀값을 비교함으로써 추가 정보 코딩 정보를 결정한다. 예를 들어, 추가 정보 코딩 정보 결정부의 일 실시예는 현재 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값 각각의 평균과, 현재 픽처의 참조 픽처의 픽셀의 Y 성분값, U 성분값, V 성분값 각각의 평균을 계산한다.
추가 정보 코딩 정보 결정부의 일 실시예는 Y, U, V 성분별로 현재 픽처 및 참조 픽처의 색상 성분값의 평균 차의 절대값을 구하고, Y, U, V 성분의 평균 차의 절대값의 합을 계산한다. 즉, 현재 픽처의 Y 성분값의 평균 및 참조 픽처의 Y 성분값의 평균 간의 차의 절대값, 현재 픽처의 U 성분값의 평균 및 참조 픽처의 U 성분값의 평균 간의 차의 절대값, 현재 픽처의 V 성분값의 평균 및 참조 픽처의 V 성분값의 평균 간의 차의 절대값이 각각 계산된다. 그리고, 추가 정보 코딩 정보 결정부의 일 실시예는 Y 성분값의 평균의 차의 절대값, U 성분값의 평균의 차의 절대값 및 V 성분값의 평균의 차의 절대값의 합을 계산한다.
추가 정보 코딩 정보 결정부의 일 실시예는 현재 픽처 및 참조 픽처의 Y, U, V 성분값의 평균의 차의 절대값의 합이 소정 임계치보다 크면 추가 정보를 코딩하도록 추가 정보 코딩 정보를 설정한다. 예를 들어, 소정 임계치가 1 인 경우, 현재 픽처 및 참조 픽처의 Y, U, V 성분값의 평균의 차의 절대값의 합이 1 보다 큰 경우, 추가 정보 코딩 정보가 1로 설정될 수 있다. 또한 현재 픽처가 앵커 픽처가 아니라면 추가 정보 코딩 정보가 0으로 설정될 수 있다.
도 9b 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보 복호화 여부 결정 방법을 흐름도를 도시한다.
도 9b 를 참고하여, 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 코딩 정보 판독부(미도시) 및 추가 정보 판독부(130)의 일 동작예가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 블록이 스킵 모드 블록일 때, 현재 블록의 현재 픽처에 대해 추가 정보가 코딩되어 있다면 추가 정보를 판독하고 복호화하고자 한다(940).
추가 정보 코딩 정보 판독부에서, 현재 픽처에 대해 추가 정보가 코딩되었는지 여부가 판독된다(단계 950). 현재 픽처에 대한 추가 정보가 코딩되지 않았다면 현재 블록에 대해 일반적인 스킵 모드 블록에 따른 복호화 과정이 수행된다(단계 960). 현재 픽처에 대해 추가 정보가 코딩되었다면 추가 정보 판독부(230)에서 추가 정보가 판독되고 복원부(240)에서 추가 정보를 이용하여 현재 블록이 복원된다(단계 970).
도 10 는 본 발명의 일 실시예에 의한 추가 정보 코딩 정보의 신택스를 도시한다.
기존 다시점 비디오 부복호화 방식의 스킵 모드 신택스를 그대로 사용하면서 앵커 픽처의 화질을 향상시키는 부복호화 방법의 일례로, 현재 픽처에 대한 추가 정보의 코딩 여부가 슬라이스의 헤더에 대한 신택스에 삽입된다.
slice_header 신택스(1000)는 if 조건문 부분에서 'use_anchor_enh_inform_flag'(1010)을 삽입하여, 현재 픽터가 앵커 픽처일 때 추가 정보의 코딩 여부를 나타낸다.
도 11 는 본 발명의 일 실시예에 의해, 추가 정보 코딩 정보를 고려한 추가 정보를 포함하는 다시점 비디오 부복호화 방법을 구현하기 위한 신택스의 전단부을 도시한다.
기존 다시점 비디오 부복호화 방식의 스킵 모드 신택스를 그대로 사용하면서 앵커 픽처의 화질을 향상시키는 부복호화 방법의 일례로, 현재 디코딩하려는 M x N 블록이 스킵 모드 블록인지 여부를 나타내는 정보 및 현재 픽처에 대한 추가 정보 코딩 여부를 나타내는 정보에 기초하여 현재 픽처 화질 향상을 위한 추가 정보가 기존 스킵 모드 신택스에 삽입된다.
slice_data 신택스(1100)의 11번째 줄의 'mb_skip_run'(1110) 및 21번째 줄의 'mb_skip_flag'(1130)은 각각 전술된 'mb_skip_run'(610) 및 'mb_skip_flag'(630)와 동일한 기능을 한다.
slice_data 신택스(1100)의 14번째 줄 이하의 if 조건문 부분은 해당 픽처에 대해 추가 정보 코딩 정보, 즉 'use_anchor_enh_inform_flag'(1010)가 '1'이라면 라면 'anchor_enhancement_information()'(1120)가 사용되어 추가 정보가 부복호화됨을 나타낸다.
slice_data 신택스(1100)의 22번째 줄 이하의 if 조건문은 현재 블록이 스킵되었고 현재 픽처에 대해 추가 정보 코딩 정보, 즉 'use_anchor_enh_inform_flag'(1010)가 '1'이라면 'anchor_enhancement_information()'(1140)가 사용되어 추가 정보가 부복호화됨을 나타낸다. 'anchor_enhancement_information()'(1120, 1140) 신택스의 다양한 실시예는, 이후 도 13, 15, 18a, 18b, 20a, 20b 를 참고하여 상술된다.
slice_data 신택스(1100)의 후단부에는 전술된 도 6b의 신택스가 삽입될 수 있다.
도 12a 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 12a 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 결정부(130) 및 추가 정보 부호화부(140)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 픽처에 대한 추가 정보로써 색차 정보를 코딩할 수 있는 경우, 색차 정보를 결정하고 부호화하고자 한다(1200).
다시점 비디오에서는 시점 별로 다른 카메라로 촬영될 수 있으므로, 시점 별로 색상 차이, 색차가 발생할 수 있다. 색차가 있는 상태에서 다시점 비디오가 부호화 되거나 복호화된다면, 화질이 열화되는 것을 피할 수 없다. 이러한 색차는 휘도로는 표현될 수 없으므로, 영상의 색상 성분을 이용하여 색차를 나타내야 한다.
추가 정보 결정부(130)에서, 현재 블록에 대한 색차 정보로써 색차 보상값이 결정된다(단계 1210). 색차 보상값은 현재 블록 및 현재 블록에 대응하는 참조 블록 안의 모든 색차 픽셀들의 차이의 평균일 수 있다.
추가 정보 결정부(130)에서, 색차 보상값을 이용하여 색차 보상이 수행된다(단계 1220). 색차 보상은 현재 블록에 대한 움직임 보상과 함께 수행될 수 있으며, 움직임 보상이 마친 후 수행될 수 있다.
추가 정보 부호화부(140)에서, 색차 보상값이 추가 정보로써 부호화된다(단계 1230). 색차 보상값의 부호화 방법의 일례는, 현재 블록의 주변 블록들을 이용하여 색차 보상값의 예측값을 유도하고, 색차 보상 예측값과 현재 블록의 색차 보상값의 차이를 색차 정보로써 부호화한다(수학식 1).
<수학식 1>
부호화되는 색차 정보 = 현재 블록의 색차 보상값 - 색차 보상값의 예측값
색차 보상값의 부호화 방법의 다른 예는, 현재 블록의 색차 보상값을 예측 코딩 없이 부호화할 수 있다.
다시점 비디오 부호화 장치(100)의 다른 실시예는 단계 1220과 단계 1230의 순서가 변경되도 상관없다. 또한, 단계 1220과 단계 1230이 동시에 수행될 수도 있다.
도 12b 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 12b 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 판독부(230) 및 복원부(240)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 픽처에 대한 추가 정보로부터 색차 정보를 판독할 수 있는 경우, 색차 정보를 판독하고 색차 정보를 이용하여 현재 블록을 복원하고자 한다(1240).
추가 정보 판독부(230)에서, 현재 블록에 대한 색차 정보로써 색차 보상값이 복호화되어 판독된다(단계 1250). 색차 보상값의 복호화 방법의 일례는, 현재 블록의 주변 블록들을 이용하여 색차 보상값의 예측값을 유도하고, 색차 보상 예측값과 판독된 색차 보상값을 합하여 현재 블록의 색차 보상값을 복원한다(수학식 2).
<수학식 2>
현재 블록의 색차 보상값 = 판독된 색차 보상값 + 색차 보상값의 예측값
색차 보상값의 부호화 방법의 다른 예는 예측 코딩 없이, 판독된 색차 보상값을 현재 블록의 색차 보상값으로 결정함으로써 현재 블록의 색차 보상값을 복원할 수 있다.
복원부(240)에서, 복원된 색차 보상값을 이용하여 현재 블록에 대한 색차 보상이 수행된다(단계 1260). 색차 보상은 현재 블록에 대한 움직임 보상과 함께 수행되거나, 움직임 보상이 마친 후 수행될 수도 있다. 색차 보상 및 움직임 보상에 의해 현재 블록이 복원되고, 블록들이 복원됨으로써 현재 픽처가 복원될 수 있다.
도 13 는 본 발명의 일 실시예에 의해, 색차 보상 정보를 포함하는 추가 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 색차 정보를 포함하는 'anchor_enhancement_information'(1300)가 삽입될 수 있다. 추가 정보는 색차 정보를 색차 성분 별로 포함할 수 있다. 'anchor_enhancement_information'(1300)의 일 실시예는 U 성분의 색차 보상값인 'cb_offset'(1310) 및 V 성분의 색차 보상값인 'cr_offset'(1320)를 포함한다.
도 14a 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 14a 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 결정부(130) 및 추가 정보 부호화부(140)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 픽처에 대한 추가 정보로써 휘도 정보를 코딩할 수 있는 경우, 휘도 정보를 결정하고 부호화하고자 한다(1400).
추가 정보 결정부(130)에서, 현재 블록에 대한 휘도 정보로써 휘도 보상값이 결정된다(단계 1410). 휘도 보상값은 현재 블록 및 현재 블록에 대응하는 참조 블록 안의 모든 휘도 픽셀들의 차이의 평균일 수 있다.
추가 정보 결정부(130)에서, 휘도 보상값을 이용하여 휘도 보상이 수행된다(단계 1420). 휘도 보상은 현재 블록에 대한 움직임 보상과 함께 수행되거나, 움직임 보상이 마친 후 수행될 수도 있다.
추가 정보 부호화부(140)에서, 휘도 보상값이 추가 정보로써 부호화된다(단계 1430). 휘도 보상값의 부호화 방법의 일례는, 현재 블록의 주변 블록들을 이용하여 휘도 보상값의 예측값을 유도하고, 휘도 보상 예측값과 현재 블록의 휘도 보상값의 차이를 휘도 정보로써 부호화한다(수학식 3).
<수학식 3>
부호화되는 휘도 정보 = 현재 블록의 휘도 보상값 - 휘도 보상값의 예측값
휘도 보상값의 부호화 방법의 다른 예는, 현재 블록의 휘도 보상값을 예측 코딩 없이 부호화함으로써 비트스트림에 삽입할 수 있다.
다시점 비디오 부호화 장치(100)의 다른 실시예는 단계 1420과 단계 1430의 순서가 변경되어도 상관없다. 또한, 단계 1420과 단계 1430이 동시에 수행될 수도 있다.
도 14b 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 14b 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 판독부(230) 및 복원부(240)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 픽처에 대한 추가 정보로부터 휘도 정보를 판독할 수 있는 경우, 휘도 정보를 판독하고 휘도 정보를 이용하여 현재 블록을 복원하고자 한다(1440).
추가 정보 판독부(230)에서, 현재 블록에 대한 휘도 정보로써 휘도 보상값이 복호화되어 판독된다(단계 1450). 휘도 보상값의 복호화 방법의 일례는, 현재 블록의 주변 블록들을 이용하여 휘도 보상값의 예측값을 유도하고, 휘도 보상 예측값과 판독된 휘도 보상값을 합하여 현재 블록의 휘도 보상값을 복원한다(수학식 4).
<수학식 4>
현재 블록의 휘도 보상값 = 판독된 휘도 보상값 + 휘도 보상값의 예측값
휘도 보상값의 부호화 방법의 다른 예는 예측 코딩 없이, 판독된 휘도 보상값을 현재 블록의 휘도 보상값으로 결정함으로써 현재 블록의 휘도 보상값을 복원할 수 있다.
복원부(240)에서, 복원된 휘도 보상값을 이용하여 현재 블록에 대한 휘도 보상이 수행된다(단계 1460). 휘도 보상은 현재 블록에 대한 움직임 보상과 함께 수행될 수 있으며, 움직임 보상이 마친 후 수행될 수 있다. 휘도 보상 및 움직임 보상에 의해 현재 블록이 복원되고, 블록들이 복원됨으로써 현재 픽처가 복원될 수 있다.
도 15 는 본 발명의 일 실시예에 의해, 휘도 보상 정보를 포함하는 추가 정보 코딩 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 휘도 정보를 포함하는 'anchor_enhancement_information'(1500)가 삽입될 수 있다. 'anchor_enhancement_information'(1500)의 일 실시예는 현재 블록에서 휘도 보상값을 사용할지 여부를 나타내는 'mb_ic_flag'(1510) 및 휘도 정보를 나타내는 'dpcm_of_dvic'(1520)를 포함한다. 'dpcm_of_dvic'(1520)는 현재 블록의 실제 휘도 보상값과 휘도 보상 예측값의 차이를 나타내는 값이다(수학식 5).
<수학식 5>
dpcm_of_dvic = 실제 휘도 보상값 - 휘도 보상 예측값
도 16 는 본 발명의 일 실시예에 의해, 움직임 예측을 위한 참조 인덱스를 포함하는 추가 정보에 의한 움직임 벡터 결정 방법의 흐름도를 도시한다.
도 16 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 결정부(130)의 일 동작례, 그리고 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 판독부(230)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100) 및 복호화 장치(200)는 현재 픽처에 대한 추가 정보가 휘도 정보를 포함하는 경우, 휘도 정보를 결정하여 부복호화하고자 한다(1600).
먼저, 예측을 위한 참조 픽처를 정하기 위해 참조 인덱스를 0으로 설정한다(단계 1610). 참조 인덱스란 현재 블록의 움직임 예측 및 보상을 위해 현재 픽처와 참조 관계에 있는 픽처를 나타내는 인덱스를 의미한다. 참조 인덱스가 0 이면, 참조 픽처가 될 수 있는 픽처들 중 현재 픽처와 가장 가까운 이전의 픽처가 현재 픽처를 위한 참조 픽처가 된다.
추가 정보 결정부(130) 및 추가 정보 판독부(230)에서, 현재 블록에 대한 움직임 벡터로써 움직임 벡터 예측값(MVP)이 결정된다(단계 1610). 이때, 움직임 벡터 예측값(MVP)은, 인터 모드 블록의 블록에서 참조 인덱스 0 에 상응하는 참조 픽처를 이용하여 움직임 벡터 예측값를 결정하는 방식과 동일한 방식에 따라 결정된다.
따라서, 현재 블록은 스킵 모드로써 기존 방식에 의하면 움직임 벡터가 따로 설정되지 않지만, 본 발명의 일 실시예에 의하면, 인터 모드 블록에서 움직임 벡터 예측값을 결정하는 방식과 같이 현재 블록에 대한 움직임 정보를 결정하게 된다. 움직임 벡터 예측값(MVP)이 현재 블록의 움직임 벡터로 결정된다(단계 1630).
도 17a 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 17a 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 결정부(130) 및 추가 정보 부호화부(140)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 픽처에 대한 추가 정보로써 움직임 벡터 정보를 코딩할 수 있는 경우, 움직임 정보를 결정하고 부호화하고자 한다(1700).
추가 정보 결정부(130)에서, 현재 블록에 대한 움직임 정보를 결정하기 위해 본 블록에 대해 움직임 예측을 수행한다(단계 1710). 움직임 예측을 위한 참조 픽처는 다양한 방식에 의해 결정될 수 있다. 예를 들어, 현재 픽처의 현재 블록이 P 스킵 모드인 경우, 참조 픽처는 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정될 수 있다. 다른 예에 의하면, 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 현재 블록의 움직임 벡터를 위한 참조 픽처들을 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 두 픽처들로 결정할 수 있다.
추가 정보 결정부(130)에서, 움직임 벡터를 이용하여 움직임 보상이 수행된다(단계 1720).
추가 정보 부호화부(140)에서, 움직임 벡터가 추가 정보로써 부호화된다(단계 1730). 움직임 벡터의 부호화 방법의 일례는, 현재 블록의 주변 블록들을 이용하여 움직임 벡터의 예측값(motion vector predictor, MVP)을 유도하고, 움직임 벡터 예측값과 현재 블록의 움직임 벡터의 차분값(motion vector difference, MVD)을 움직임 벡터 정보로써 부호화한다(수학식 6).
<수학식 6>
부호화되는 움직임 벡터 = 현재 블록의 움직임 벡터 - 움직임 벡터의 예측값
움직임 벡터의 부호화 방법의 다른 예는, 현재 블록의 움직임 벡터를 예측 코딩 없이 부호화함으로써 비트스트림에 삽입할 수 있다. 또한, 추가 정보 부호화부(140)의 일 실시예는 참조 픽처를 직접 부호화하여 비트스트림에 삽입할 수 있다.
도 17b 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 17b 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 판단부(230) 및 복원부(240)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 픽처에 대한 추가 정보가 움직임 벡터 정보를 포함하는 경우, 움직임 벡터를 판독하여 현재 블록 및 현재 픽처를 복원하고자 한다(1740).
추가 정보 판독부(230)에서, 현재 블록의 주변 블록들을 이용하여 움직임 벡터 예측값(MVP)를 결정하고, 움직임 벡터 예측값(MVP)에 판독된 움직임 벡터 차분값(MVD)를 합하여 움직임 벡터(MV)를 복원함(수학식 7)으로써 움직임 벡터를 복호화할 수 있다(단계 1750).
<수학식 7>
복원되는 움직임 벡터 = 판독된 움직임 벡터 + 움직임 벡터의 예측값
움직임 예측을 위한 참조 픽처는 다양한 방식에 의해 결정될 수 있다. 예를 들어, 현재 픽처의 현재 블록이 P 스킵 모드인 경우, 참조 픽처는 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정될 수 있다. 다른 예에 의하면, 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 현재 블록의 움직임 벡터를 위한 참조 픽처들을 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 두 픽처들로 결정할 수 있다. 또한, 참조 픽처가 별개로 전송되었다면, 판독된 참조 픽처가 움직임 예측 및 보상에 사용될 수 있다.
복원부(240)에서, 움직임 벡터를 이용하여 움직임 보상이 수행되고, 움직임 보상에 의해 현재 블록이 복원되고, 블록들이 복원됨으로써 현재 픽처가 복원될 수 있다(단계 1760).
도 18a 는 본 발명의 일 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 움직임 정보를 포함하는 'anchor_enhancement_information'(1800)가 삽입될 수 있다. 'anchor_enhancement_information'(1800)의 일 실시예는 현재 슬라이스가 P 타입이거나 B 타입일 때, 이전 슬라이스의 움직임 벡터를 나타내는 'mvd_l0'(1810)를 포함할 수 있다. 또한, 'anchor_enhancement_information'(1800)의 일 실시예는 현재 슬라이스가 B 타입일 때 이후 픽처의 움직임 벡터를 나타내는 'mvd_l1'(1820)를 포함할 수 있다. 'mvd_l0'(1810) 및 'mvd_l1'(1820)는 움직임 벡터의 차분값(MVD)일 수 있다.
'compIdx'는 0일 때 수평 방향의 움직임 벡터 성분을 뜻하고, 1일 때 수직 방향의 움직임 벡터 성분을 뜻한다.
도 18b 는 본 발명의 다른 실시예에 의해, 움직임 벡터 정보를 포함하는 추가 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 움직임 정보를 포함하는 'anchor_enhancement_information'(1830)가 삽입될 수 있다. 'anchor_enhancement_information'(1830)의 일 실시예는 'anchor_enhancement_information'(1800)에 추가적으로 참조 인덱스 관련 정보가 포함되어 있다.
'anchor_enhancement_information'(1830)의 일 실시예는, 현재 슬라이스가 P 타입이거나 B 타입일 때, P 슬라이스나 B 슬라이스의 이전 슬라이스의 참조 인덱스를 나타내는 'ref_idx_l0'(1840)를 포함할 수 있다. 현재 슬라이스에서 사용하는 이전 참조 슬라이스가 단 하나인 경우에는 'ref_idx_l0'(1840)가 설정되지 않는다.
'anchor_enhancement_information'(1830)의 다른 실시예는, 현재 슬라이스가 B 타입일 때, B 슬라이스의 이후 슬라이스의 참조 인덱스를 나타내는 'ref_idx_l1'(1850)를 포함할 수 있다. 현재 슬라이스에서 사용하는 이후 참조 픽처가 단 하나인 경우에는 'ref_idx_l1'(1850)가 설정되지 않는다.
'anchor_enhancement_information'(1830)의 'mvd_l0'(1860) 및 'mvd_l1'(1870)는 'mvd_l0'(1810) 및 'mvd_l1'(1820)와 동일한 특성을 갖는다.
도 19a 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 부호화 방법의 흐름도를 도시한다.
도 19a 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100)의 추가 정보 결정부(130) 및 추가 정보 부호화부(140)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 부호화 장치(100)는 현재 픽처에 대한 추가 정보로써 움직임 벡터를 코딩하는지 여부를 나타내는 정보를 설정하고, 선택적으로 움직임 정보를 결정하고 부호화하고자 한다(1900).
추가 정보 결정부(130)에서, 현재 블록에 대한 움직임 정보를 결정하기 위해 본 블록에 대해 움직임 예측을 수행하고 움직임 벡터를 결정한다(단계 1910). 움직임 예측을 위한 참조 픽처는 단계 1710과 같이 다양한 방식에 의해 결정될 수 있다. 추가 정보 결정부(130)에서, 움직임 벡터를 이용하여 움직임 보상이 수행된다(단계 1920).
추가 정보 부호화부(140)에서, 움직임 벡터 예측값과 단계 1910에서 결정된 움직임 벡터를 비교한다(단계 1930). 움직임 벡터 예측값과 움직임 벡터가 동일하다면 움직임 벡터를 대신하여 움직임 벡터 예측값을 사용할 수 있으므로, 움직임 벡터는 코딩되지 않을 수 있다. 추가 정보 부호화부(140)의 일례는, 움직임 벡터 예측값과 움직임 벡터가 동일하다면 움직임 벡터 코딩 정보를 '1'로 설정한다(단계 1945).
반대로, 움직임 벡터 예측값과 움직임 벡터가 동일하지 않다면, 움직임 벡터를 코딩하기 위해 추가 정보 부호화부(140)의 일례는, 움직임 벡터 코딩 정보를 '0'으로 설정하고, 움직임 벡터가 추가 정보로써 부호화된다(단계 1940). 움직임 벡터의 부호화 방식은 단계 1730 에서의 움직임 벡터 부호화 방식과 동일할 수 있다.
도 19b 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 복호화 방법을 흐름도를 도시한다.
도 19b 를 참고하여, 본 발명의 일 실시예에 따른 다시점 비디오 복호화 장치(200)의 추가 정보 판독부(230) 및 복원부(240)의 일 동작례가 상술된다. 상기 일 실시예에 따른 다시점 비디오 복호화 장치(200)는 현재 픽처에 대한 추가 정보로써 움직임 벡터를 코딩되었는지 여부를 나타내는 정보를 판독하고, 선택적으로 움직임 정보를 판독하여 현재 블록 및 현재 픽처을 복원하고자 한다(단계 1950).
추가 정보 판독부(230)에서, 움직임 벡터 코딩 정보를 판독하여 현재 블록에 대한 움직임 벡터가 코딩되었는지 여부가 판단된다(단계 1960). 예를 들어, 움직임 벡터 코딩 정보가 '1'이라면 움직임 벡터가 코딩되지 않았음을 의미하며, 움직임 벡터 코딩 정보가 '0'이라면 움직임 벡터가 코딩되었음을 의미한다.
추가 정보 판독부(230)는, 움직임 벡터 코딩 정보에 의해 현재 블록에 대한 움직임 벡터가 코딩되었다고 판단되면, 추가 정보로부터 움직임 벡터를 판독한다.(단계 1970) 현재 블록에 대한 움직임 벡터는 판독된 움직임 정보와, 움직임 예측에 의해 구해진 움직임 예측값을 합함으로써 결정될 수 있다. 움직임 예측을 위한 참조 픽처는, 단계 1750에서의 참조 픽처 방식이 적용될 수 있다.
단계 1960에서 움직임 벡터 코딩 정보에 의해 현재 블록에 대한 움직임 벡터가 코딩되지 않았다고 판단되면, 추가 정보 판독부(230)는 현재 블록에 대한 움직임 벡터로써 움직임 벡터 예측값을 사용한다(단계 1980). 즉, 현재 블록의 주변 블록의 움직임 벡터에 기초한 움직임 벡터 예측값이 현재 블록의 움직임 벡터가 된다.
복원부(240)에서는, 앞서 단계 1970 또는 1980에 의해 결정된 움직임 벡터를 이용하여 현재 블록에 대한 움직임 보상이 수행된다. 움직임 보상에 의해 현재 블록이 복원되고, 블록들이 복원됨에 따라 현재 픽처가 복원될 수 있다.
도 20a 는 본 발명의 일 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 움직임 정보를 포함하는 'anchor_enhancement_information'(2000)가 삽입될 수 있다. 'anchor_enhancement_information'(2000)의 일 실시예는 움직임 벡터를 코딩할지 여부를 나타내는 정보로 'use_predictor_as_mv_flag'(2010)를 포함할 수 있다. 'anchor_enhancement_information'(2000)의 일 실시예는 현재 슬라이스에 대한 움직임 벡터가 코딩되고 현재 슬라이스가 P 타입이거나 B 타입일 때, 이전 슬라이스의 움직임 벡터를 나타내는 'mvd_l0'(2020)를 포함할 수 있다. 또한, 'anchor_enhancement_information'(2000)의 일 실시예는 현재 슬라이스에 대한 움직임 벡터가 코딩되고 현재 픽처가 B 타입일 때, 이후 슬라이스의 움직임 벡터를 나타내는 'mvd_l1'(2030)를 포함할 수 있다. 'mvd_l0'(2020) 및 'mvd_l1'(2030)는 각각 전술된 'mvd_l0'(1810, 1860) 및 'mvd_l1'(1820, 1870)과 동일한 특성을 가질 수 있다.
도 20b 는 본 발명의 다른 실시예에 의해, 움직임 벡터 코딩 정보를 포함하는 추가 정보의 신택스를 도시한다.
전술된 도 6a, 8, 11의 'anchor_enhancement_information'(620, 640, 820, 840, 1120, 1140)의 위치에 움직임 정보를 포함하는 'anchor_enhancement_information'(2040)가 삽입될 수 있다. 'anchor_enhancement_information'(2040)의 일 실시예는 'anchor_enhancement_information'(2000)에 추가적으로 참조 인덱스 관련 정보가 포함되어 있다.
'anchor_enhancement_information'(2040)의 일 실시예는 움직임 벡터를 코딩할지 여부를 나타내는 정보로 'use_predictor_as_mv_flag'(2050)를 포함할 수 있다. 'anchor_enhancement_information'(2040)의 일 실시예는, 현재 슬라이스에 대한 움직임 벡터가 코딩되고 현재 슬라이스가 P 타입이거나 B 타입일 때, P 슬라이스나 B 슬라이스의 이전 슬라이스의 참조 인덱스를 나타내는 'ref_idx_l0'(2060)를 포함할 수 있다. 현재 슬라이스에서 사용하는 이전 참조 슬라이스가 단 하나인 경우에는 'ref_idx_l0'(2060)가 설정되지 않는다.
'anchor_enhancement_information'(2040)의 다른 실시예는, 현재 슬라이스가 B 타입일 때, B 슬라이스의 이후 슬라이스의 참조 인덱스를 나타내는 'ref_idx_l1'(2070)를 포함할 수 있다. 현재 슬라이스에서 사용하는 이후 참조 슬라이스가 단 하나인 경우에는 'ref_idx_l1'(2070)가 설정되지 않는다.
'anchor_enhancement_information'(2040)의 'mvd_l0'(2080) 및 'mvd_l1'(2090)는 'mvd_l0'(1810) 및 'mvd_l1'(1820)와 동일한 특성을 갖는다.
본 발명의 일 실시예에 따른 다시점 비디오 부호화 장치(100) 및 일 실시예에 따른 다시점 비디오 복호화 장치(200)는, 이상 도 12a 내지 20b 를 참조하여 설명된 추가 정보를 상호 조합하여 이용함으로써, 블록 또는 픽처에 대한 예측, 보상 프로세스도 상호 조합되어 수행될 수 있다. 즉, 추가 정보로써 색차 정보, 휘도 정보, 움직임 벡터 관련 정보 중 적어도 하나가 조합되어 사용될 수 있으며, 추가 정보에 따라 색차 보상, 휘도 보상, 움직임 예측/보상 중 적어도 한 프로세스가 조합되어 수행될 수 있다.
도 21 은 본 발명의 다른 실시예에 의한 다시점 비디오 부호화 장치의 블록도를 도시한다.
다른 실시예에 의한 다시점 비디오 부호화 장치(2100)는 스킵 모드 판단부(2110), 추가 정보 부호화 여부 결정부(2120), 추가 정보 결정/부호화부(2130), 스킵 모드 부호화부(2140) 및 기타 모드 부호화부(2150)를 포함한다.
스킵 모드 판단부(2110)는 현재 입력 영상 및 참조 영상을 입력 받아, 다양한 모드 결정 과정을 통하여 현재 블록이 스킵 모드인지 판단한다. 만약 현재 블록이 스킵 모드라고 판단된다면 추가 정보 부호화 여부 결정부(2120)으로 분기하고, 현재 블록이 스킵 모드가 아니라고 판단되면 기타 모드 부호화부(2150)로 분기한다.
추가 정보 부호화 여부 결정부(2120)는 앵커 픽처 여부 플래그, 사용자 입력 정보, 픽처 타입 등을 고려하여, 스킵 모드인 현재 블록에 대한 추가 정보가 부호화되는지 여부를 결정한다. 여기서 추가 정보가 부호화되는지 여부는, 도 4a 내지 11을 참조하여 전술된 블록 타입, 제 1,2 픽처 타입, 추가 정보 코딩 정보 등에 기초하여 결정될 수 있다.
추가 정보 부호화 여부 결정부(2120)에서 추가 정보를 부호화하기로 결정하면 추가 정보 결정/부호화부(2130)로 분기하고, 추가 정보를 부호화하지 않기로 결정하면 스킵 모드 부호화부(2140)로 분기한다.
추가 정보 결정/부호화부(2130)는 도 12a 내지 20b를 참조하여 전술된 색차 정보 결정 및 색차 보상 수행, 휘도 정보 결정 및 휘도 보상 수행, 움직임 정보 결정 및 움직임 보상 수행 중 적어도 하나의 조합에 의해 결정된 추가 정보를 부호화하여, 부호화된 정보를 비트스트림에 삽입하여 출력한다.
스킵 모드 부호화부(2140)는 추가 정보 부호화 여부 결정부(2120)에서 추가 정보를 부호화하지 않기로 결정한 경우, 현재 블록에 대해 기존의 스킵 모드와 동일한 부호화를 수행하고, 부호화된 정보를 비트스트림에 삽입하여 출력한다.
기타 모드 부호화부(2150)는 스킵 모드가 아닌 블록에 대해, 해당 블록의 블록 타입에 기초하여 상응하는 부호화를 수행하여 비트스트림을 출력한다.
도 22 는 본 발명의 다른 실시예에 의한 다시점 비디오 복호화 장치의 블록도를 도시한다.
다른 실시예에 의한 다시점 비디오 복호화 장치(2200)는 스킵 모드 판단부(2210), 추가 정보 복호화 여부 결정부(2220), 추가 정보 결정/복호화부(2230), 스킵 모드 복호화부(2240) 및 기타 모드 복호화부(2250)를 포함한다.
스킵 모드 판단부(2210)는 비트스트림을 수신받아, 현재 블록에 대한 정보로부터 현재 블록이 스킵 모드인지 판단한다. 만약 현재 블록이 스킵 모드라고 판단된다면 추가 정보 복호화 여부 결정부(2220)으로 분기하고, 현재 블록이 스킵 모드가 아니라고 판단되면 기타 모드 복호화부(2250)로 분기한다.
추가 정보 복호화 여부 결정부(2220)는 앵커 픽처 여부 플래그, 추가 정보 코딩 정보, 픽처 타입 등을 고려하여, 스킵 모드인 현재 블록에 대한 추가 정보가 복호화되는지 여부를 결정한다. 여기서 추가 정보가 복호화되는지 여부는, 도 4a 내지 11을 참조하여 전술된 블록 타입, 제 1,2 픽처 타입, 추가 정보 코딩 정보 등에 기초하여 결정될 수 있다.
추가 정보 복호화 여부 결정부(2220)에서 추가 정보를 복호화하기로 결정하면 추가 정보 결정/복호화부(2230)로 분기하고, 추가 정보를 복호화하지 않기로 결정하면 스킵 모드 복호화부(2240)로 분기한다.
추가 정보 결정/복호화부(2230)는 추가 정보를 판독하고, 추가 정보를 이용하여 도 12a 내지 20b를 참조하여 전술된 색차 정보 판독 및 색차 보상 수행, 휘도 정보 판독 및 휘도 보상 수행, 움직임 정보 판독 및 움직임 보상 수행 중 적어도 하나의 조합에 의해 현재 블록을 복호화하여 현재 블록을 복원하고, 복원된 블록 영상을 출력한다.
스킵 모드 복호화부(2240)는 추가 정보 복호화 여부 결정부(2220)에서 추가 정보를 복호화하지 않기로 결정한 경우, 현재 블록에 대해 기존의 스킵 모드와 동일한 복호화를 수행하고 현재 블록을 복원하여, 복원된 블록 영상을 출력한다.
기타 모드 부호화부(2250)는 스킵 모드가 아닌 블록에 대해, 해당 블록의 블록 타입에 기초하여 상응하는 복호화를 수행하고 현재 블록을 복원하여, 복원된 블록 영상을 출력한다.
도 23 은 본 발명의 일 실시예에 의한 다시점 비디오 부호화 방법의 흐름도를 도시한다.
단계 2310 에서, 입력 영상의 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입이 결정된다. 블록 타입은 해당 블록에 대한 움직임 벡터의 결정 방식에 따라 분류되는 블록 타입으로써, 예를 들어, 스킵 모드, 다이렉트 모드 등이 있을 수 있다.
단계 2320 에서, 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입이 결정된다. 예를 들어, 제 1 픽처 타입에 의해, 해당 픽처는, 동일 시간대의 다른 시점의 픽처만 참조하고 동일 시점 상의 다른 픽처들의 참조 대상이 되는 픽처인 앵커 픽처 타입과 넌-앵커 픽처 타입으로 분류될 수 있다.
단계 2330 에서, 현재 블록의 블록 타입 및 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 현재 픽처에 대한 추가 정보가 결정된다. 일 실시예는 스킵 모드 블록이 앵커 픽처일 경우에만 추가 정보를 설정한다. 추가 정보는 색차 정보, 휘도 정보, 움직임 정보 중 적어도 하나일 수 있다.
단계 2340 에서, 현재 픽처에 대한 추가 정보가 부호화된다. 추가 정보에 따라 색차 보상, 휘도 보상, 움직임 보상 중 적어도 하나가 수행되며, 추가 정보가 부호화될 수 있다. 추가 정보는 그 자체가 부호화되기도 하지만, 다른 실시예는, 주변 블록에 대한 예측값과의 차분값을 부호화함으로써 부호화 효율을 기할 수 있다. 다시점 비디오의 비트스트림에 추가 정보가 삽입될 수 있다. 또는 별도의 비트림에 추가 정보가 삽입될 수도 있다.
도 24 는 본 발명의 일 실시예에 의한 다시점 비디오 복호화 방법의 흐름도를 도시한다.
단계 2410 에서, 수신된 비트스트림의 현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입이 판독된다. 일례로, 비트스트림 상의 현재 블록의 블록 타입을 나타내는 신택스를 판독하여 현재 블록이 스킵 모드인지 여부를 판단할 수 있다.
단계 2420 에서, 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입이 판독된다. 일례로, 비트스트림 상의 현재 픽처의 제 1 픽처 타입을 나타내는 신택스를 판독하여 현재 픽처가 앵커 픽처인지 여부를 판단할 수 있다.
단계 2430 에서, 현재 블록의 블록 타입 및 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 현재 픽처에 대한 추가 정보가 판독된다. 일례로, 스킵 모드 블록이 앵커 픽처 상의 블록일 때, 비트스트림 상의 신택스로부터 현재 블록 또는 픽처에 대한 추가 정보가 더 판독될 수 있다. 추가 정보는 색차 정보, 휘도 정보, 움직임 정보 중 적어도 하나를 포함하며, 추가 정보가 차분값으로 전송된 경우 주변 블록에 의한 예측값을 이용하여 색차 보상값, 휘도 보상값, 움직임 벡터 등이 복원된다.
단계 2440 에서, 현재 픽처에 대한 추가 정보를 이용하여, 현재 블록 및 현재 픽처가 복원된다. 추가 정보에 기초하여, 색차 보상, 휘도 보상, 움직임 보상 중 적어도 하나가 수행되어, 현재 블록 및 현재 픽처가 복원될 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (34)

1.
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 단계;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 단계;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계; 및
상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
2.
제 1 항에 있어서, 상기 블록 타입 판독 단계는,
상기 현재 블록에 대한 블록 타입 정보를 판독하는 단계; 및
상기 블록 타입 정보에 기초하여, 상기 현재 블록이 스킵 모드 블록 타입인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
3.
제 1 항에 있어서, 상기 제 1 픽처 타입 판독 단계는,
상기 현재 픽처에 대한 제 1 픽처 타입 정보를 판독하는 단계; 및
상기 제 1 픽처 타입 정보에 기초하여, 상기 현재 픽처가, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고, 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
4.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록이 스킵 모드 블록 타입이고,
상기 현재 픽처의 제 1 픽처 타입이, 동일 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처이고 다른 시점 상의 다른 픽처의 뷰간 예측을 위한 픽처인 픽처 타입인 경우,
상기 현재 픽처에 대한 추가 정보를 판독하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
5.
제 1 항에 있어서,
상기 다시점 비디오 복호화 방법은, 상기 현재 픽처에 대한 제 2 픽처 타입 정보를 판독하는 단계를 더 포함하고,
상기 추가 정보 판독 단계는, 상기 제 2 픽처 타입 정보에 기초하여, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 제 2 픽처 타입에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계를 포함하고,
상기 제 2 픽처 타입은 I 픽처 타입, P 픽처 타입 및B 픽처 타입 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
6.
제 1 항에 있어서,
상기 다시점 비디오 복호화 방법은, 상기 현재 픽처에 대한 추가 정보를 코딩할지 여부를 나타내는 추가 정보 코딩 정보를 판독하는 단계를 더 포함하고,
상기 추가 정보 판독 단계는, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입 및 상기 추가 정보 코딩 정보에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
7.
제 6 항에 있어서, 상기 추가 정보 판독 단계는,
상기 추가 정보 코딩 정보가 소정 임계치보다 크면, 상기 현재 블록의 블록 타입, 상기 현재 픽처의 제 1 픽처 타입에 기초하여 상기 추가 정보를 판독하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
8.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값을 판독하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
9.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록과 참조 관계에 있는 대응 블록 간의 색차 보상값에 대한 색차 보상 차분값을 판독하는 단계; 및
상기 현재 블록의 주변 블록의 색차 보상값에 기초하는 색차 보상 예측값에 상기 색차 보상 차분값을 합하여 상기 현재 블록의 색차 보상값을 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
10.
제 1 항에 있어서, 상기 복원 단계는,
상기 현재 블록의 색차 보상값을 이용하여 상기 현재 블록에 대한 색차 보상을 수행하는 단계; 및
상기 색차 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
11.
제 10 항에 있어서, 상기 색차 보상 수행 단계는,
상기 현재 블록에 대한 움직임 보상과 동시에 수행되는 것을 특징으로 하는 다시점 비디오 복호화 방법.
12.
제 8 항에 있어서,
상기 색차 보상값 판독 단계는, 상기 색차 보상값을 U 성분 및V 성분마다 별도로 판독하고,
상기 색차 보상 수행 단계는, 상기 U 성분 및 V 성분마다 별도로 색차 보상을 수행하는 것을 특징으로 하는 다시점 비디오 부호화 방법.
13.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값을 판독하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
14.
제 13 항에 있어서, 상기 휘도 보상값 판독 단계는,
상기 현재 블록과 참조 관계에 있는 대응 블록 간의 휘도 보상값에 대한 휘도 보상 차분값을 판독하는 단계; 및
상기 현재 블록의 주변 블록의 휘도 보상값에 기초하는 휘도 보상 예측값에 상기 휘도 보상 차분값을 합하여 상기 현재 블록의 휘도 보상값을 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
15.
제 14 항에 있어서, 상기 복원 단계는,
상기 현재 블록의 휘도 보상값을 이용하여 상기 현재 블록에 대한 휘도 보상을 수행하는 단계; 및
상기 휘도 보상에 의해 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
16.
제 15 항에 있어서, 상기 휘도 보상 수행 단계는,
상기 현재 블록에 대한 움직임 보상과 동시에 수행되는 것을 특징으로 하는 다시점 비디오 복호화 방법.
17.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록의 참조 인덱스를 판독하여, 상기 현재 블록의 주변 블록의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
18.
제 17 항에 있어서, 상기 움직임 벡터 결정 단계는,
상기 현재 픽처에 대한 참조 픽처들 중 가장 가까운 이전의 참조 픽처 내의 블록들 중 상기 주변 블록과 참조 관계에 있는 대응 블록과 상기 주변 블록 간의 움직임 벡터를, 상기 주변 블록의 움직임 벡터로 결정하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
19.
제 17 항에 있어서, 상기 움직임 벡터 결정 단계는,
상기 주변 블록이 스킵 모드 블록이 아닌 것을 특징으로 하는 다시점 비디오 복호화 방법.
20.
제 17 항에 있어서, 상기 복원 단계는,
상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및
상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
21.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록의 움직임 벡터를 판독하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
22.
제 1 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록의 움직임 벡터에 대한 움직임 벡터 차분값을 판독하는 단계; 및
상기 현재 블록의 주변 블록의 움직임 벡터에 기초하는 움직임 벡터 예측값에 상기 움직임 벡터 차분값을 합하여 상기 현재 블록의 움직임 벡터를 계산하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
23.
제 21 항에 있어서, 상기 추가 정보 판독 단계는,
상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 판독하는 단계를 더 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
24.
제 17 항에 있어서, 상기 움직임 벡터 판독 단계는,
상기 현재 픽처의 현재 블록의 움직임 벡터를 코딩할지 여부를 나타내는 움직임 벡터 코딩 정보를 판독하는 단계;
상기 움직임 벡터 코딩 정보에 기초하여, 상기 현재 픽처에 대한 움직임 벡터를 판독할지 여부를 결정하는 단계; 및
상기 결정에 기초하여 상기 움직임 벡터를 판독하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
25.
제 24 항에 있어서, 상기 움직임 벡터 판독 단계는,
상기 움직임 벡터 코딩 정보에 의해 움직임 벡터 코딩을 수행하지 않는 것으로 결정되면, 상기 현재 블록의 주변 블록의 움직임 벡터에 기초한 움직임 벡터 예측값을 상기 현재 블록의 움직임 벡터로 결정하고,
상기 움직임 벡터 코딩 정보에 의해, 움직임 벡터 코딩을 수행하는 것으로 결정되면, 상기 추가 정보를 이용하여 움직임 벡터를 판독하는 것을 특징으로 다시점 비디오 복호화 방법.
26.
제 21 항에 있어서, 상기 복원 단계는,
상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및
상기 움직임 보상에 의해 상기 현재 블록 및 상기 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
27.
제 26 항에 있어서, 상기 움직임 보상 수행 단계는,
상기 현재 블록이 P 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처를 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처로 결정하는 단계; 및
상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
28.
제 26 항에 있어서, 상기 움직임 보상 수행 단계는,
상기 현재 픽처의 현재 블록이 B 스킵 모드인 경우, 상기 현재 블록의 움직임 벡터를 위한 참조 픽처들을 상기 현재 픽처의 참조 픽처들 중 가장 가까운 이전의 참조 픽처들 및 가장 가까운 이후의 참조 픽처들 중 둘로 결정하는 단계; 및
상기 참조 픽처 및 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
29.
제 1 항에 있어서,
상기 현재 픽처과 참조 관계에 있는 참조 픽처는, 상기 현재 픽처와 동일 시간 및 다른 시점의 픽처이며, 각각의 참조 픽처는 해당 시점 상의 다른 픽처의 인터 예측을 위한 기준 픽처인 것을 특징으로 하는 다시점 비디오 복호화 방법.
30.
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 단계;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 단계;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계; 및
상기 현재 픽처에 대한 추가 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 방법.
31.
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 블록 타입 판독부;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 제 1 픽처 타입 판독부;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 추가 정보 판독부; 및
상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 복원부를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
32.
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 블록 타입 결정부;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 제 1 픽처 타입 결정부;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 추가 정보 결정부; 및
상기 현재 픽처에 대한 추가 정보를 부호화하는 추가 정보 부호화부를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
33.
컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서,
상기 컴퓨터 프로그램은 다시점 비디오 부호화 방법을 구현하기 위한 것이며, 상기 다시점 비디오 부호화 방법은,
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 결정하는 단계;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 결정하는 단계;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 결정하는 단계; 및
상기 현재 픽처에 대한 추가 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 기록 매체.
34.
컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서,
상기 컴퓨터 프로그램은 다시점 비디오 복호화 방법을 구현하기 위한 것이며, 상기 다시점 비디오 복호화 방법은,
현재 픽처 내의 현재 블록의 움직임 벡터의 결정 방식을 나타내는 블록 타입을 판독하는 단계;
상기 현재 픽처가 인터 예측을 위한 기준 픽처 타입인지 여부를 나타내는 제 1 픽처 타입을 판독하는 단계;
상기 현재 블록의 블록 타입 및 상기 현재 픽처의 제 1 픽처 타입 중 적어도 하나에 기초하여, 상기 현재 픽처에 대한 추가 정보를 판독하는 단계; 및
상기 현재 픽처에 대한 추가 정보를 이용하여, 상기 현재 블록 및 현재 픽처를 복원하는 단계를 포함하는 것을 특징으로 하는 기록 매체.
PCT/KR2009/000036 2008-01-07 2009-01-06 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 WO2009088196A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/811,939 US9860545B2 (en) 2008-01-07 2009-01-06 Method and apparatus for multi-view video encoding and method and apparatus for multiview video decoding

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2008-0001948 2008-01-07
KR20080001948 2008-01-07
US4608008P 2008-04-18 2008-04-18
US61/046,080 2008-04-18
KR10-2008-0087435 2008-09-04
KR1020080087435A KR101560182B1 (ko) 2008-01-07 2008-09-04 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치

Publications (2)

Publication Number Publication Date
WO2009088196A2 true WO2009088196A2 (ko) 2009-07-16
WO2009088196A3 WO2009088196A3 (ko) 2009-09-11

Family

ID=40853583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/000036 WO2009088196A2 (ko) 2008-01-07 2009-01-06 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치

Country Status (3)

Country Link
US (1) US9860545B2 (ko)
KR (1) KR101560182B1 (ko)
WO (1) WO2009088196A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2452491A2 (en) * 2009-07-17 2012-05-16 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video coding and decoding

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
KR101431546B1 (ko) * 2007-05-02 2014-08-22 삼성전자주식회사 다시점 동영상의 부호화 및 복호화 방법과 그 장치
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
TWI407802B (zh) * 2009-04-22 2013-09-01 Novatek Microelectronics Corp 提升畫面品質的方法及顏色補償裝置與影像處理裝置
KR101815723B1 (ko) * 2010-09-24 2018-01-05 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 및 화상 복호화 장치
CN103069804B (zh) 2010-11-24 2017-05-03 太阳专利托管公司 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置
EP2665271A4 (en) 2011-01-12 2014-06-18 Panasonic Corp VIDEO ENCODING METHOD AND VIDEO DECODING METHOD
WO2012117728A1 (ja) 2011-03-03 2012-09-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
MX2014001617A (es) 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo de codificacion de prediccion de video de multiples vistas y aparato para el mismo, y metodo de decodificacion de prediccion de video de multiples vistas y aparato para el mismo.
EP2838262A4 (en) * 2012-04-16 2016-01-06 Samsung Electronics Co Ltd METHOD FOR MULTIPLE VIEW VIDEO CODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR AND METHOD FOR MULTIPLE VIDEO VIDEO DECODING BASED ON A TREE STRUCTURE CODING UNIT AND DEVICE THEREFOR
KR102445274B1 (ko) * 2012-10-01 2022-09-20 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
KR102264679B1 (ko) 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
WO2018056603A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
EP3854099A4 (en) * 2018-09-21 2022-06-29 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
KR20220099310A (ko) * 2021-01-06 2022-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120396A1 (en) * 2001-11-21 2004-06-24 Kug-Jin Yun 3D stereoscopic/multiview video processing system and its method
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos
US20070064799A1 (en) * 2005-09-21 2007-03-22 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1465432B1 (en) * 2001-11-30 2017-01-04 NTT DoCoMo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
WO2005013623A1 (en) 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
KR20050041293A (ko) 2003-10-30 2005-05-04 삼성전자주식회사 움직임 예측 장치 및 방법
WO2006022221A1 (ja) * 2004-08-25 2006-03-02 Sony Corporation 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
WO2007129840A1 (en) 2006-05-04 2007-11-15 Electronics And Telecommunications Research Institute Method and apparatus for encoding multi-view moving pictures
KR20070111969A (ko) 2006-05-19 2007-11-22 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120396A1 (en) * 2001-11-21 2004-06-24 Kug-Jin Yun 3D stereoscopic/multiview video processing system and its method
US20060146143A1 (en) * 2004-12-17 2006-07-06 Jun Xin Method and system for managing reference pictures in multiview videos
US20070109409A1 (en) * 2004-12-17 2007-05-17 Sehoon Yea Method and System for Processing Multiview Videos for View Synthesis using Skip and Direct Modes
US20070064799A1 (en) * 2005-09-21 2007-03-22 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2452491A2 (en) * 2009-07-17 2012-05-16 Samsung Electronics Co., Ltd. Method and apparatus for multi-view video coding and decoding
EP2452491A4 (en) * 2009-07-17 2014-03-12 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILOOK VIDEO ENCRYPTION AND ENHANCEMENT

Also Published As

Publication number Publication date
WO2009088196A3 (ko) 2009-09-11
KR20090076762A (ko) 2009-07-13
US20110002392A1 (en) 2011-01-06
US9860545B2 (en) 2018-01-02
KR101560182B1 (ko) 2015-10-15

Similar Documents

Publication Publication Date Title
WO2009088196A2 (ko) 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
WO2018097693A2 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019190224A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017043816A1 (ko) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017039117A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2018226015A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019182385A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018097692A2 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019083334A1 (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
WO2021025451A1 (ko) 움직임 정보 후보를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2019177354A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018066867A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019172705A1 (ko) 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
WO2017183751A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2014058280A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2012005520A2 (en) Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
WO2013141596A1 (ko) 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 복호화 방법 및 그 장치
WO2014081226A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2011096741A2 (en) Method and apparatus for encoding video based on scanning order of hierarchical data units, and method and apparatus for decoding video based on scanning order of hierarchical data units
WO2018135885A1 (ko) 변환 처리를 제공하는 영상 복호화 및 부호화 방법
WO2009151232A2 (ko) 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2011040794A2 (ko) 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2018097589A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2012044104A2 (ko) 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치
WO2017003063A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09701372

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12811939

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09701372

Country of ref document: EP

Kind code of ref document: A2