WO2012026734A2 - Encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image - Google Patents

Encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image Download PDF

Info

Publication number
WO2012026734A2
WO2012026734A2 PCT/KR2011/006205 KR2011006205W WO2012026734A2 WO 2012026734 A2 WO2012026734 A2 WO 2012026734A2 KR 2011006205 W KR2011006205 W KR 2011006205W WO 2012026734 A2 WO2012026734 A2 WO 2012026734A2
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
depth image
image
encoding
apply
Prior art date
Application number
PCT/KR2011/006205
Other languages
French (fr)
Korean (ko)
Other versions
WO2012026734A3 (en
Inventor
오병태
박두식
위호천
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2012026734A2 publication Critical patent/WO2012026734A2/en
Publication of WO2012026734A3 publication Critical patent/WO2012026734A3/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • One embodiment of the present invention relates to an apparatus and method for encoding / decoding for a 3D image, and more particularly, to an apparatus and method for sharing a motion vector of a color image when encoding and decoding a depth image.
  • the depth image is treated as an image independent from the color image, and then encoded / decoded using the conventional H.264 / MPEG-4 AVE compression method. In this case, a bit is generated for each of the depth image and the color image, causing a problem in the limited bandwidth.
  • depth images exhibit different properties than color images.
  • the depth image includes more low-frequency components than the color image, and the flat regions form distinct outlines and thus include frequency components in the intermediate band. Because of this property, it is difficult to expect high compression efficiency when applying block DCT (Discrete Cosine Transform) or quantization-based H.264 / MPEG-4 AVC.
  • block DCT Discrete Cosine Transform
  • quantization-based H.264 / MPEG-4 AVC quantization-based H.264 / MPEG-4 AVC.
  • An encoding apparatus includes a data extractor for extracting a motion vector and mode information of a color image; And a depth image encoder configured to encode the depth image by setting the extracted data as a motion vector and mode information of the depth image.
  • the encoding apparatus may further include an MVS determination unit that determines whether to apply motion vector sharing (MVS).
  • MVS motion vector sharing
  • Decoding apparatus includes an MVS determination unit for determining whether to apply the motion vector sharing; A data setting unit configured to set motion vector and mode information of a color image as motion vector and mode information of a depth image when the motion vector sharing is applied; And a depth image decoder which decodes the depth image using the motion vector and the mode information of the depth image.
  • An encoding method includes the steps of extracting a motion vector and mode information of a color image; And encoding the depth image by setting the extracted data as a motion vector and mode information of the depth image.
  • the encoding method according to an embodiment of the present invention may further include determining whether to apply Motion Vector Sharing (MVS).
  • MVS Motion Vector Sharing
  • Decoding method comprises the steps of determining whether to apply motion vector sharing; When applying the motion vector sharing, setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image; And decoding the depth image using the motion vector and the mode information of the depth image.
  • the amount of bits generated when compressing and transmitting the depth image may be reduced.
  • whether the motion vector is shared or not is expressed as a flag or a threshold and transmitted to the decoding device, so that the decoding device may easily determine whether to apply the motion vector sharing.
  • the compression efficiency of the depth image may be improved by allocating a higher quantization parameter to a block to which motion vector sharing is applied than to a block to which motion vector sharing is not applied.
  • FIG. 1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating mode information on a depth image according to an embodiment of the present invention.
  • FIG. 5 illustrates an example of applying a quantization parameter differently for each block according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a decoding method according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
  • the encoding apparatus 101 may encode a depth image constituting a 3D image.
  • the encoded depth image may be transmitted to the decoding apparatus 102 in the form of a bitstream.
  • the encoding apparatus 101 may reduce the amount of bits generated for the depth image by sharing mode information with the motion vector of the color image. In detail, the encoding apparatus 101 may determine whether to share the mode information with the motion vector of the color image. In addition, when encoding the depth image, the encoding apparatus 101 may determine a method of processing the residual information of the depth image differently for each block.
  • the decoding apparatus 102 may decode the depth image using information indicating whether to share the mode information with the motion vector transmitted from the encoding apparatus 101.
  • FIG. 2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 201 may include an MVS determiner 202, a data extractor 203, and a depth image encoder 204.
  • the MVS determination unit 202 may determine whether to apply motion vector sharing (MVS) to the depth image. That is, when encoding the depth image, the MVS determination unit 202 may determine whether to apply motion vector sharing, which means sharing mode information and a motion vector of the color image with the depth image.
  • VMS motion vector sharing
  • the MVS determination unit 202 may use a motion vector sharing using a rate-distortion cost (RD cost) based on a rate of a depth image and a distortion of a composite image of an intermediate view. MVS) can be determined whether or not to apply.
  • the MVS determination unit 202 may determine whether to apply motion vector sharing for each block by determining a ratio distortion cost per block.
  • the MVS determination unit 202 may calculate a ratio distortion cost when the motion vector sharing is applied to each block and when it is not applied, and select a case where the ratio distortion cost is low.
  • the MVS determination unit 203 may calculate the distortion of the synthesized image of the intermediate view using at least one of a global disparity or a warping parameter. In addition, the MVS determination unit 203 may predict the distortion of the composite image of the intermediate view using the offset of the color image.
  • the MVS determination unit 203 may express information indicating that motion vector sharing is applied as a flag. For example, if the flag is 0, motion vector sharing is applied, and if the flag is 1, motion vector sharing is not applied. Such a flag may be set for each block constituting the depth image.
  • the decoding apparatus may determine whether motion vector sharing is applied to the block to be decoded through the flag.
  • the MVS determiner 203 may determine the ratio distortion cost based on the distortion of the composite image at the intermediate view and the ratio of the depth image to at least one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image.
  • Rate-Distortion Cost can be calculated to encode a threshold that represents the optimal rate of distortion.
  • the remaining information of the color image, the flatness of the color image, and the flatness of the depth image refer to information that can be used in the decoding apparatus.
  • the MVS determination unit 203 may calculate the ratio distortion cost of each of the residual information of the color image, the flatness of the color image, and the flatness of the depth image, and transmit only threshold values representing the optimal ratio distortion cost to the decoding apparatus.
  • the depth image encoder 204 may encode the depth image by setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image. For example, the depth image encoder 204 may encode the residual information of the depth image with a quantization parameter (QP) higher than a preset quantization parameter or skip (SKIP) the encoding of the residual information. Residual information of the depth image means a value remaining according to motion compensation based on a motion vector.
  • QP quantization parameter
  • SKIP skip
  • the depth image encoder 204 may apply the same quantization parameter to the entire image, or may apply a different quantization parameter for any one unit of a frame unit, a group of picture (GOP), or a block unit.
  • the depth image encoder 204 may transmit the encoded depth image to the decoding apparatus through a bitstream.
  • FIG. 3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus 301 may include an MVS determination unit 302, a data setting unit 303, and a depth image decoding unit 304.
  • the MVS determination unit 302 may determine whether to apply motion vector sharing. For example, the MVS determination unit 302 may determine whether to apply motion vector sharing based on the flag. As another example, the MVS determination unit 302 may apply motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. Can be determined.
  • the encoding apparatus may determine a motion vector sharing in which the depth image shares the motion vector and mode information of the color image, and transmit notification information of motion vector sharing such as a flag and a threshold to the decoding apparatus. Then, the decoding apparatus may determine whether to apply the motion vector sharing based on the notification information of the motion vector sharing.
  • the data setting unit 303 may set the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image.
  • the depth image decoder 304 may decode the depth image using the motion vector and the mode information of the depth image. If the motion vector sharing is not applied, the depth image decoder 304 may decode the depth image by determining an optimal motion vector and mode information in the depth image itself.
  • FIG. 4 is a diagram illustrating mode information on a depth image according to an embodiment of the present invention.
  • any one of intra prediction, motion estimation / motion compensation, or motion vector sharing (MVS) may be determined as mode information on the depth image when encoding the depth image. .
  • Intra prediction and motion estimation / motion compensation mean that encoding is performed by finding an optimal motion vector and mode information in the depth image itself.
  • motion vector sharing means setting the motion vector and the mode information found in the color image as the motion vector and the mode information of the depth image. Due to the sharing of motion vectors, the amount of bits generated in the depth image can be reduced.
  • the encoding apparatus may determine whether to apply motion vector sharing for each block.
  • the rate distortion cost may be applied to determine whether to apply motion vector sharing.
  • the 3D image unlike the conventional 2D image compression, when defining the distortion of the depth image, it is necessary to determine how accurately the composite image representing the intermediate view is generated rather than the depth image itself. This is because the depth image is a kind of additional information for generating a composite image of an intermediate view.
  • the encoding apparatus may determine whether to apply the motion vector sharing or the motion vector sharing for each block constituting the depth image through the rate distortion cost.
  • the ratio distortion cost mentioned in the present invention may be calculated based on the ratio of the depth image and the distortion of the composite image at the intermediate view. In fact, the distortion of the depth image may be expressed as the distortion of the composite image of the intermediate view.
  • the distortion of the composite image of the intermediate view may be actually calculated using at least one of global disparity or warping parameters.
  • the distortion of the composite image of the intermediate view may be predicted using the offset of the color image. For example, assuming that a depth image and a color image are acquired in a parallel camera, when the error of the depth image generated by compression or sharing of motion vectors is ⁇ D, the prediction error of the intermediate image of the intermediate view ( Dc) is shown in Equation 1 below.
  • the encoding apparatus may calculate the rate distortion cost when the motion vector sharing is applied to each block and when the motion vector sharing is not applied, thereby selecting a case in which the rate distortion cost is small.
  • the encoding apparatus may determine whether the motion vector sharing is applied for each block in the decoding apparatus through a flag indicating whether to apply the motion vector sharing.
  • the encoding apparatus may predict a bit value of the flag and transmit it to the decoding apparatus. Specifically, the encoding apparatus may reduce overhead caused by the bit value of the flag by selectively determining whether motion vector sharing is applied based on some information that can be obtained by the decoding apparatus. Examples of information that can be used in the decoding apparatus may include residual information of a color image, flatness of a color image, or flatness of a depth image.
  • the encoding apparatus calculates a ratio distortion cost for each information that can be used by the decoding apparatus, calculates a threshold value having an optimal ratio distortion cost, and sends only a partial threshold value to the bit value of the flag by not sending a flag for each block. Overhead headers can be reduced.
  • the threshold value may be changed in units of blocks, frames, or groups of pictures (GOP).
  • FIG. 5 illustrates an example of applying a quantization parameter differently for each block according to an embodiment of the present invention.
  • Blocks to which motion vector sharing is applied have a lower importance than residual blocks to which motion vector sharing is not applied. Accordingly, as shown in FIG. 5, the encoding apparatus may assign a higher quantization parameter to a block to which motion vector sharing is applied to lower the quality of the block. Alternatively, the encoding apparatus may skip without performing encoding of the residual information.
  • QP denotes a quantization parameter
  • a block denoted by QP denotes a block to which motion vector sharing is not applied
  • a block denoted by QP or a block denoted by SKIP denotes a block to which motion vector sharing is applied. do.
  • different quantization parameters may be applied to each block.
  • the quantization result is derived at a lower value, so that the depth image can be compressed / transmitted with fewer bits to benefit from substantially limited bandwidth.
  • a quantization parameter determined higher than a block to which motion vector sharing is not applied may be assigned the same value to the entire depth image.
  • different values may be assigned according to frame units, GOP units, or block units.
  • FIG. 6 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
  • the encoding apparatus may determine whether to apply motion vector sharing (S601).
  • the encoding apparatus may determine whether to apply the motion vector sharing using the ratio distortion cost based on the ratio of the depth image and the distortion of the composite image of the intermediate view. In this case, the encoding apparatus may calculate the distortion of the synthesized image of the intermediate view using at least one of a global disparity or a warping parameter. Alternatively, the encoding apparatus may predict the distortion of the synthesized image of the intermediate view using the offset of the color image.
  • the encoding apparatus may encode whether to apply motion vector sharing by using a flag.
  • the encoding apparatus may include a rate distortion cost based on a ratio of a depth image and a distortion of a composite image at an intermediate point in time to at least one of residual information of a color image, flatness of a color image, and flatness of a depth image.
  • the encoding apparatus may extract the motion vector and the mode information of the color image (S602).
  • the encoding apparatus may encode the depth image by setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image (S603).
  • the encoding apparatus may encode the depth image by finding an optimal motion vector and mode information in the depth image itself for a block to which motion vector sharing is not applied.
  • FIG. 7 is a flowchart illustrating a decoding method according to an embodiment of the present invention.
  • the decoding apparatus may determine whether to apply motion vector sharing (S701). For example, the decoding apparatus may determine whether to apply motion vector sharing based on a flag transmitted by the encoding apparatus. Alternatively, the decoding apparatus may determine whether to apply the motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. have.
  • the decoding apparatus may set the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image (S702).
  • the decoding apparatus may decode the depth image using the motion vector and the mode information of the depth image (S703).
  • Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Disclosed are an encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image. When a depth image is compressed, a motion vector of a color image and mode information are shared in order to reduce the amount of bits generated for a depth image and improve the resolution of a combined image.

Description

컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법Encoding / Decoding Apparatus and Method Using Motion Vector Sharing of Color Image and Depth Image
본 발명의 일실시예들은 3차원 영상을 위한 부호화/복호화 장치 및 방법에 관한 것으로, 보다 자세하게는 깊이 영상을 부호화/복호화할 때 컬러 영상을 모션 벡터를 공유하는 장치 및 방법에 관한 것이다.One embodiment of the present invention relates to an apparatus and method for encoding / decoding for a 3D image, and more particularly, to an apparatus and method for sharing a motion vector of a color image when encoding and decoding a depth image.
3차원 영상을 부호화/복호화할 때 깊이 영상을 컬러 영상과 독립적인 영상으 취급하여 기존의 H.264/MPEG-4 AVE 의 압축 방식을 통해 부호화/복호화하였다. 이 경우, 깊이 영상과 컬러 영상 각각에 대한 비트가 발생하여 제한된 대역폭에서 문제가 발생하였다.When encoding / decoding a 3D image, the depth image is treated as an image independent from the color image, and then encoded / decoded using the conventional H.264 / MPEG-4 AVE compression method. In this case, a bit is generated for each of the depth image and the color image, causing a problem in the limited bandwidth.
이러한 문제를 위해서는 2가지의 전제 사항을 인지할 필요가 있다.There are two prerequisites for this problem.
첫째로, 깊이 영상은 컬러 영상과 상이한 성질을 나타낸다. 예를 들어, 깊이 영상은 컬러 영상보다 저주파 성분을 많이 포함하고 있으며, 평탄한 영역끼리 뚜렷한 윤곽선을 형성하고 있어 중간 대역의 주파수 성분을 포함하고 있다. 이러한 성질로 인해 블록 DCT(Discrete Cosine Transform)이나 양자화 기반의 H.264/MPEG-4 AVC를 그대로 적용하면 높은 압축 효율을 기대하기 어렵다.First, depth images exhibit different properties than color images. For example, the depth image includes more low-frequency components than the color image, and the flat regions form distinct outlines and thus include frequency components in the intermediate band. Because of this property, it is difficult to expect high compression efficiency when applying block DCT (Discrete Cosine Transform) or quantization-based H.264 / MPEG-4 AVC.
둘째로, 컬러 영상과 깊이 영상은 같은 시간, 같은 시점에서의 영상을 각각 컬러와 깊이로 표현하기 때문에 양자간 상관도가 높다. 따라서, 컬러 영상과 깊이 영상을 각각 독립적으로 압축/전송하는 것은 상당히 비효율적이다.Second, since the color image and the depth image represent images at the same time and at the same time in color and depth, the correlation between the two is high. Therefore, compressing / transmitting the color image and the depth image independently of each other is quite inefficient.
이러한 전제 사항을 고려하여 깊이 영상과 컬러 영상을 효율적으로 압축하고 전송하는 방법이 요구된다.In view of these prerequisites, a method for efficiently compressing and transmitting a depth image and a color image is required.
본 발명의 일실시예에 따른 부호화 장치는 컬러 영상의 모션 벡터와 모드 정보를 추출하는 데이터 추출부; 및 상기 추출된 데이터를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 상기 깊이 영상을 부호화하는 깊이 영상 부호화부를 포함할 수 있다.An encoding apparatus according to an embodiment of the present invention includes a data extractor for extracting a motion vector and mode information of a color image; And a depth image encoder configured to encode the depth image by setting the extracted data as a motion vector and mode information of the depth image.
본 발명의 일실시예에 따른 부호화 장치는 모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정하는 MVS 결정부를 더 포함할 수 있다.The encoding apparatus according to an embodiment of the present invention may further include an MVS determination unit that determines whether to apply motion vector sharing (MVS).
본 발명의 일실시예에 따른 복호화 장치는 모션 벡터 공유를 적용할 지 여부를 판단하는 MVS 판단부; 상기 모션 벡터 공유를 적용하는 경우, 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하는 데이터 설정부; 및 상기 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화하는 깊이 영상 복호화부를 더 포함할 수 있다.Decoding apparatus according to an embodiment of the present invention includes an MVS determination unit for determining whether to apply the motion vector sharing; A data setting unit configured to set motion vector and mode information of a color image as motion vector and mode information of a depth image when the motion vector sharing is applied; And a depth image decoder which decodes the depth image using the motion vector and the mode information of the depth image.
본 발명의 일실시예에 따른 부호화 방법은 컬러 영상의 모션 벡터와 모드 정보를 추출하는 단계; 및 상기 추출된 데이터를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 상기 깊이 영상을 부호화하는 단계를 포함할 수 있다.An encoding method according to an embodiment of the present invention includes the steps of extracting a motion vector and mode information of a color image; And encoding the depth image by setting the extracted data as a motion vector and mode information of the depth image.
본 발명의 일실시예에 따른 부호화 방법은 모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정하는 단계를 더 포함할 수 있다.The encoding method according to an embodiment of the present invention may further include determining whether to apply Motion Vector Sharing (MVS).
본 발명의 일실시예에 따른 복호화 방법은 모션 벡터 공유를 적용할 지 여부를 판단하는 단계; 상기 모션 벡터 공유를 적용하는 경우, 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하는 단계; 및 상기 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화하는 단계를 포함할 수 있다.Decoding method according to an embodiment of the present invention comprises the steps of determining whether to apply motion vector sharing; When applying the motion vector sharing, setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image; And decoding the depth image using the motion vector and the mode information of the depth image.
본 발명의 일실시예에 따르면, 컬러 영상의 모드 정보와 모션 벡터를 깊이 영상을 부호화할 때 공유함으로써 깊이 영상을 압축하고 전송할 때 발생하는 비트량이 감소될 수 있다.According to an embodiment of the present invention, by sharing the mode information and the motion vector of the color image when encoding the depth image, the amount of bits generated when compressing and transmitting the depth image may be reduced.
본 발명의 일실시예에 따르면, 모션 벡터 공유 여부를 플래그 또는 임계값으로 표현하여 복호화 장치에 전달함으로써 복호화 장치는 보다 용이하게 모션 벡터 공유를 적용할 지 여부가 판단될 수 있다.According to an embodiment of the present invention, whether the motion vector is shared or not is expressed as a flag or a threshold and transmitted to the decoding device, so that the decoding device may easily determine whether to apply the motion vector sharing.
본 발명의 일실시예에 따르면, 모션 벡터 공유가 적용되는 블록에 대해서는 모션 벡터 공유가 적용되지 않는 블록보다 양자화 파라미터를 높게 할당함으로써 깊이 영상의 압축 효율이 향상될 수 있다.According to an embodiment of the present invention, the compression efficiency of the depth image may be improved by allocating a higher quantization parameter to a block to which motion vector sharing is applied than to a block to which motion vector sharing is not applied.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 깊이 영상에 대한 모드 정보를 나타낸 도면이다.4 is a diagram illustrating mode information on a depth image according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 블록별로 다르게 양자화 파라미터를 적용하는 예를 도시한 도면이다.5 illustrates an example of applying a quantization parameter differently for each block according to an embodiment of the present invention.
도 6은 본 발명의 일실싱예에 따른 부호화 방법을 도시한 플로우차트이다.6 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다.7 is a flowchart illustrating a decoding method according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
도 1을 참고하면, 부호화 장치(101)는 3D 영상을 구성하는 깊이 영상을 부호화할 수 있다. 부호화된 깊이 영상은 비트스트림 형태로 복호화 장치(102)에 전송될 수 있다.Referring to FIG. 1, the encoding apparatus 101 may encode a depth image constituting a 3D image. The encoded depth image may be transmitted to the decoding apparatus 102 in the form of a bitstream.
이 때, 부호화 장치(101)는 깊이 영상을 부호화할 때 컬러 영상의 모션 벡터와 모드 정보를 공유하여 깊이 영상에 대한 비트 발생량을 줄일 수 있다. 구체적으로, 부호화 장치(101)는 컬러 영상의 모션 벡터와 모드 정보를 공유할 지 여부를 결정할 수 있다. 그리고, 부호화 장치(101)는 깊이 영상을 부호화할 때 깊이 영상의 잔여 정보를 처리하는 방식을 블록별로 다르게 결정할 수 있다.In this case, when encoding the depth image, the encoding apparatus 101 may reduce the amount of bits generated for the depth image by sharing mode information with the motion vector of the color image. In detail, the encoding apparatus 101 may determine whether to share the mode information with the motion vector of the color image. In addition, when encoding the depth image, the encoding apparatus 101 may determine a method of processing the residual information of the depth image differently for each block.
그러면, 복호화 장치(102)는 부호화 장치(101)가 전송한 모션 벡터와 모드 정보를 공유할 지 여부를 나타내는 정보를 이용하여 깊이 영상을 복호화할 수 있다.Then, the decoding apparatus 102 may decode the depth image using information indicating whether to share the mode information with the motion vector transmitted from the encoding apparatus 101.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
도 2를 참고하면, 부호화 장치(201)는 MVS 결정부(202), 데이터 추출부(203) 및 깊이 영상 부호화부(204)를 포함할 수 있다.Referring to FIG. 2, the encoding apparatus 201 may include an MVS determiner 202, a data extractor 203, and a depth image encoder 204.
MVS 결정부(202)는 깊이 영상에 대해 모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정할 수 있다. 즉, MVS 결정부(202)는 깊이 영상을 부호화할 때 컬러 영상의 모드 정보와 모션 벡터를 깊이 영상과 공유하는 것을 의미하는 모션 벡터 공유를 적용할 지 여부를 결정할 수 있다.The MVS determination unit 202 may determine whether to apply motion vector sharing (MVS) to the depth image. That is, when encoding the depth image, the MVS determination unit 202 may determine whether to apply motion vector sharing, which means sharing mode information and a motion vector of the color image with the depth image.
일례로, MVS 결정부(202)는 깊이 영상의 비율(Rate)과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost: R-D cost)를 이용하여 모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정할 수 있다. MVS 결정부(202)는 블록당 비율 왜곡 비용을 결정하여 블록별로 모션 벡터 공유를 적용할 지 여부를 결정할 수 있다. MVS 결정부(202)는 블록별로 모션 벡터 공유를 적용했을 때와 적용하지 않았을 때 각각의 비율 왜곡 비용을 계산하여, 비율 왜곡 비용이 낮은 경우를 선택할 수 있다.For example, the MVS determination unit 202 may use a motion vector sharing using a rate-distortion cost (RD cost) based on a rate of a depth image and a distortion of a composite image of an intermediate view. MVS) can be determined whether or not to apply. The MVS determination unit 202 may determine whether to apply motion vector sharing for each block by determining a ratio distortion cost per block. The MVS determination unit 202 may calculate a ratio distortion cost when the motion vector sharing is applied to each block and when it is not applied, and select a case where the ratio distortion cost is low.
이 때, MVS 결정부(203)는 글로벌 디스패리티(global disparity) 또는 워핑 파라미터(warping parameter) 중 적어도 하나를 이용하여 중간 시점의 합성 영상에 대한 왜곡을 계산할 수 있다. 또한, MVS 결정부(203)는 컬러 영상의 오프셋을 이용하여 중간 시점의 합성 영상에 대한 왜곡을 예측할 수 있다.In this case, the MVS determination unit 203 may calculate the distortion of the synthesized image of the intermediate view using at least one of a global disparity or a warping parameter. In addition, the MVS determination unit 203 may predict the distortion of the composite image of the intermediate view using the offset of the color image.
이러한 과정을 통해 MVS 결정부(203)는 모션 벡터 공유가 적용된다는 정보를 플래그로 표현할 수 있다. 예를 들어, 플래그가 0이면 모션 벡터 공유가 적용되고, 플래그가 1이면 모션 벡터 공유가 적용되지 않는다는 것을 의미한다. 이러한 플래그는 깊이 영상을 구성하는 블록마다 설정될 수 있다. 복호화 장치는 플래그를 통해 복호화하고자 하는 블록이 모션 벡터 공유가 적용되는 지 여부를 판단할 수 있다.Through this process, the MVS determination unit 203 may express information indicating that motion vector sharing is applied as a flag. For example, if the flag is 0, motion vector sharing is applied, and if the flag is 1, motion vector sharing is not applied. Such a flag may be set for each block constituting the depth image. The decoding apparatus may determine whether motion vector sharing is applied to the block to be decoded through the flag.
이 때, 플래그가 블록마다 설정되기 때문에 플래그로 인한 오버헤드가 발생할 수 있다. 일례로, MVS 결정부(203)는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 적어도 하나에 대해 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)을 계산하여 최적의 비율 왜곡 비용을 나타내는 임계값을 부호화할 수 있다. 여기서, 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도는 복호화 장치에서 사용할 수 있는 정보를 의미한다. MVS 결정부(203)는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 각각의 비율 왜곡 비용을 계산하고, 최적의 비율 왜곡 비용을 나타내는 임계값들만 복호화 장치에 전송할 수 있다.At this time, since the flag is set for each block, overhead due to the flag may occur. For example, the MVS determiner 203 may determine the ratio distortion cost based on the distortion of the composite image at the intermediate view and the ratio of the depth image to at least one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image. Rate-Distortion Cost) can be calculated to encode a threshold that represents the optimal rate of distortion. Here, the remaining information of the color image, the flatness of the color image, and the flatness of the depth image refer to information that can be used in the decoding apparatus. The MVS determination unit 203 may calculate the ratio distortion cost of each of the residual information of the color image, the flatness of the color image, and the flatness of the depth image, and transmit only threshold values representing the optimal ratio distortion cost to the decoding apparatus.
깊이 영상 부호화부(204)는 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 깊이 영상을 부호화할 수 있다. 일례로, 깊이 영상 부호화부(204)는 깊이 영상의 잔여 정보를 미리 설정한 양자화 파라미터보다 높은 양자화 파라미터(Quantization Parameter: QP)로 부호화하거나 또는 잔여 정보의 부호화를 스킵(SKIP)할 수 있다. 깊이 영상의 잔여 정보는 모션 벡터에 기초한 모션 보상에 따라 남은 값을 의미한다.The depth image encoder 204 may encode the depth image by setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image. For example, the depth image encoder 204 may encode the residual information of the depth image with a quantization parameter (QP) higher than a preset quantization parameter or skip (SKIP) the encoding of the residual information. Residual information of the depth image means a value remaining according to motion compensation based on a motion vector.
즉, 모션 벡터 공유가 적용되는 블록은 잔여 정보의 중요도가 낮기 때문에, 양자화 파라미터를 증가시켜 적은 비트만으로 압축/전송하는 것이 효율적이다. 이 때, 깊이 영상 부호화부(204)는 영상 전체에 동일한 양자화 파라미터를 적용하거나 또는 프레임 단위, GOP(group of picture) 또는 블록 단위 중 어느 하나의 단위별로 다른 양자화 파라미터를 적용할 수 있다.In other words, since a block to which motion vector sharing is applied has low importance of residual information, it is efficient to increase the quantization parameter and compress / transmit with only a few bits. In this case, the depth image encoder 204 may apply the same quantization parameter to the entire image, or may apply a different quantization parameter for any one unit of a frame unit, a group of picture (GOP), or a block unit.
깊이 영상 부호화부(204)는 부호화된 깊이 영상을 비트스트림을 통해 복호화 장치에 전송할 수 있다.The depth image encoder 204 may transmit the encoded depth image to the decoding apparatus through a bitstream.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.3 is a block diagram showing a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
도 3을 참고하면, 복호화 장치(301)는 MVS 판단부(302), 데이터 설정부(303) 및 깊이 영상 복호화부(304)를 포함할 수 있다.Referring to FIG. 3, the decoding apparatus 301 may include an MVS determination unit 302, a data setting unit 303, and a depth image decoding unit 304.
MVS 판단부(302)는 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다. 일례로, MVS 판단부(302)는 플래그에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다. 다른 일례로, MVS 판단부(302)는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 어느 하나와 최적의 비율 왜곡 비용을 나타내는 임계값에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다.The MVS determination unit 302 may determine whether to apply motion vector sharing. For example, the MVS determination unit 302 may determine whether to apply motion vector sharing based on the flag. As another example, the MVS determination unit 302 may apply motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. Can be determined.
즉, 부호화 장치에서 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상이 공유하는 모션 벡터 공유를 결정하고, 플래그, 임계값과 같은 모션 벡터 공유의 알림 정보를 복호화 장치에 전송할 수 있다. 그러면, 복호화 장치는 모션 벡터 공유의 알림 정보에 기초하여 모션 벡터 공유를 적용할 것인지 여부를 판단할 수 있다.That is, the encoding apparatus may determine a motion vector sharing in which the depth image shares the motion vector and mode information of the color image, and transmit notification information of motion vector sharing such as a flag and a threshold to the decoding apparatus. Then, the decoding apparatus may determine whether to apply the motion vector sharing based on the notification information of the motion vector sharing.
데이터 설정부(303)는 모션 벡터 공유를 적용하는 경우, 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정할 수 있다When the motion vector sharing is applied, the data setting unit 303 may set the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image.
깊이 영상 복호화부(304)는 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화할 수 있다. 만약, 모션 벡터 공유를 적용하지 않는 경우, 깊이 영상 복호화부(304)는 깊이 영상 자체에서 최적의 모션 벡터와 모드 정보를 결정하여 깊이 영상을 복호화할 수 있다.The depth image decoder 304 may decode the depth image using the motion vector and the mode information of the depth image. If the motion vector sharing is not applied, the depth image decoder 304 may decode the depth image by determining an optimal motion vector and mode information in the depth image itself.
도 4는 본 발명의 일실시예에 따른 깊이 영상에 대한 모드 정보를 나타낸 도면이다.4 is a diagram illustrating mode information on a depth image according to an embodiment of the present invention.
도 4에서 볼 수 있듯이, 깊이 영상을 부호화할 때 깊이 영상에 대한 모드 정보는 인트라 예측, 모션 추정(Motion Estimation)/모션 보상(Motion Compensation) 또는 모션 벡터 공유(MVS) 중 어느 하나가 결정될 수 있다.As shown in FIG. 4, any one of intra prediction, motion estimation / motion compensation, or motion vector sharing (MVS) may be determined as mode information on the depth image when encoding the depth image. .
인트라 예측과 모션 추정/모션 보상은 깊이 영상 그 자체에서 최적의 모션 벡터와 모드 정보를 찾아 부호화를 수행하는 것을 의미한다. 그리고, 모션 벡터 공유는 컬러 영상에서 이미 찾은 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하는 것을 의미한다. 모션 벡터 공유로 인해 깊이 영상에서 발생하는 비트량을 줄일 수 있다.Intra prediction and motion estimation / motion compensation mean that encoding is performed by finding an optimal motion vector and mode information in the depth image itself. In addition, motion vector sharing means setting the motion vector and the mode information found in the color image as the motion vector and the mode information of the depth image. Due to the sharing of motion vectors, the amount of bits generated in the depth image can be reduced.
부호화 장치는 블록별로 모션 벡터 공유를 적용할 지 여부를 결정할 수 있다. 본 발명의 일실시예에 따르면, 모션 벡터 공유를 적용할 지 여부를 결정하기 위해 비율 왜곡 비용이 적용될 수 있다. 3D 영상에서는 기존의 2D 영상 압축과 달리 깊이영상의 왜곡을 정의할 때 깊이 영상 자체보다는 중간 시점을 나타내는 합성 영상이 얼마나 정확하게 생성되는 지를 판단하는 것이 필요하다. 왜냐하면, 깊이 영상은 깊이 영상은 중간 시점의 합성 영상을 생성하기 위한 일종의 부가 정보이기 때문이다.The encoding apparatus may determine whether to apply motion vector sharing for each block. According to one embodiment of the invention, the rate distortion cost may be applied to determine whether to apply motion vector sharing. In the 3D image, unlike the conventional 2D image compression, when defining the distortion of the depth image, it is necessary to determine how accurately the composite image representing the intermediate view is generated rather than the depth image itself. This is because the depth image is a kind of additional information for generating a composite image of an intermediate view.
따라서, 부호화 장치는 비율 왜곡 비용을 통해 깊이 영상을 구성하는 블록들마다 모션 벡터 공유를 적용할 지 또는 모션 벡터 공유를 적용하지 않을 것인지 여부를 결정할 수 있다. 본 발명에서 언급되는 비율 왜곡 비용은 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초하여 계산될 수 있다. 실제로 깊이 영상의 왜곡은 중간 시점의 합성 영상의 왜곡으로 표현될 수 있다.Therefore, the encoding apparatus may determine whether to apply the motion vector sharing or the motion vector sharing for each block constituting the depth image through the rate distortion cost. The ratio distortion cost mentioned in the present invention may be calculated based on the ratio of the depth image and the distortion of the composite image at the intermediate view. In fact, the distortion of the depth image may be expressed as the distortion of the composite image of the intermediate view.
이 때, 중간 시점의 합성 영상의 왜곡은 글로벌 디스패리티(global disparity) 또는 워핑 파라미터(warping parameter) 중 적어도 하나를 이용하여 실제로 계산될 수 있다. In this case, the distortion of the composite image of the intermediate view may be actually calculated using at least one of global disparity or warping parameters.
또는 중간 시점의 합성 영상의 왜곡은 컬러 영상의 오프셋을 이용하여 예측될 수 있다. 예를 들어, 병렬적인(parallel) 카메라에서 깊이 영상과 컬러 영상이 획득되었다고 가정할 때 압축이나 모션 벡터 공유로 인해 발생하는 깊이 영상의 오차를 △D라고 할 때 중간 시점의 합성 영상의 예측 오차(Dc)는 하기 수학식 1과 같다.Alternatively, the distortion of the composite image of the intermediate view may be predicted using the offset of the color image. For example, assuming that a depth image and a color image are acquired in a parallel camera, when the error of the depth image generated by compression or sharing of motion vectors is ΔD, the prediction error of the intermediate image of the intermediate view ( Dc) is shown in Equation 1 below.
Figure PCTKR2011006205-appb-I000001
Figure PCTKR2011006205-appb-I000001
이러한 과정을 통해 부호화 장치는 블록마다 모션 벡터 공유를 적용할 때와 모션 벡터 공유를 적용하지 않을 때의 비율 왜곡 비용을 계산하여, 두 가지의 경우 중 비율 왜곡 비용이 적은 경우를 선택할 수 있다.Through this process, the encoding apparatus may calculate the rate distortion cost when the motion vector sharing is applied to each block and when the motion vector sharing is not applied, thereby selecting a case in which the rate distortion cost is small.
그러면, 부호화 장치는 모션 벡터 공유를 적용할 지 여부를 나타내는 플래그를 통해 복호화 장치에서 블록별로 모션 벡터 공유가 적용될 지 여부를 판단할 수 있도록 한다. Then, the encoding apparatus may determine whether the motion vector sharing is applied for each block in the decoding apparatus through a flag indicating whether to apply the motion vector sharing.
또는, 블록별로 할당되는 플래그로 인한 오버헤드를 줄이기 위해 부호화 장치는 플래그의 비트값을 예측하여 복호화 장치에 전송할 수 있다. 구체적으로, 부호화 장치는 복호화 장치에서 획득할 수 있는 몇 가지 정보를 통해 모션 벡터 공유의 적용 유무를 선택적으로 판단함으로써 플래그의 비트값에 의해 발생하는 오버헤드를 줄일 수 있다. 복호화 장치에서 사용할 수 있는 정보의 예는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 또는 깊이 영상의 평탄도를 포함할 수 있다. Alternatively, in order to reduce overhead due to a flag allocated for each block, the encoding apparatus may predict a bit value of the flag and transmit it to the decoding apparatus. Specifically, the encoding apparatus may reduce overhead caused by the bit value of the flag by selectively determining whether motion vector sharing is applied based on some information that can be obtained by the decoding apparatus. Examples of information that can be used in the decoding apparatus may include residual information of a color image, flatness of a color image, or flatness of a depth image.
부호화 장치는 복호화 장치에서 사용할 수 있는 정보 각각에 대한 비율 왜곡 비용을 계산하고, 최적의 비율 왜곡 비용을 가지는 임계값을 계산하여 블록마다 플래그를 보내지 않고 일부의 임계값만 보냄으로써 플래그의 비트값에 따른 오버헤더를 줄일 수 있다. 임계값은 블록 단위, 프레임 단위 또는 GOP(Group of Picture) 단위로 변경될 수 있다.The encoding apparatus calculates a ratio distortion cost for each information that can be used by the decoding apparatus, calculates a threshold value having an optimal ratio distortion cost, and sends only a partial threshold value to the bit value of the flag by not sending a flag for each block. Overhead headers can be reduced. The threshold value may be changed in units of blocks, frames, or groups of pictures (GOP).
도 5는 본 발명의 일실시예에 따른 블록별로 다르게 양자화 파라미터를 적용하는 예를 도시한 도면이다.5 illustrates an example of applying a quantization parameter differently for each block according to an embodiment of the present invention.
모션 벡터 공유가 적용되는 블록은 잔여 정보의 중요도가 모션 벡터 공유가 적용되지 않은 블록보다 낮다. 따라서, 부호화 장치는 도 5에 도시된 바와 같이 모션 벡터 공유가 적용되는 블록에 대해 모션 벡터 공유가 적용되지 않은 블록보다 양자화 파라미터를 높게 할당하여 해당 블록의 퀄리티를 낮출 수 있다. 또는, 부호화 장치는 잔여 정보의 부호화를 수행하지 않고 스킵할 수도 있다.Blocks to which motion vector sharing is applied have a lower importance than residual blocks to which motion vector sharing is not applied. Accordingly, as shown in FIG. 5, the encoding apparatus may assign a higher quantization parameter to a block to which motion vector sharing is applied to lower the quality of the block. Alternatively, the encoding apparatus may skip without performing encoding of the residual information.
도 5에서 QP는 양자화 파라미터를 나타내는 것으로, QP로 표시된 블록은 모션 벡터 공유가 적용되지 않은 블록을 의미하고, QP에 일정한 값이 더해진 블록이나 SKIP으로 표시된 블록은 모션 벡터 공유가 적용되는 블록을 의미한다. 도 5에서 볼 수 있듯이, 모션 벡터 공유가 적용되더라도 블록마다 다른 양자화 파라미터가 적용될 수 있다.In FIG. 5, QP denotes a quantization parameter, and a block denoted by QP denotes a block to which motion vector sharing is not applied, and a block denoted by QP or a block denoted by SKIP denotes a block to which motion vector sharing is applied. do. As shown in FIG. 5, even if motion vector sharing is applied, different quantization parameters may be applied to each block.
양자화 파라미터를 보다 높게 결정함으로써 양자화 결과는 낮은 값으로 도출되어, 깊이 영상은 적은 비트로 압축/전송되어 실질적으로 제한된 대역폭에서 이득이 될 수 있다.By determining the quantization parameter higher, the quantization result is derived at a lower value, so that the depth image can be compressed / transmitted with fewer bits to benefit from substantially limited bandwidth.
모션 벡터 공유가 적용되지 않는 블록보다 높게 결정되는 양자화 파라미터는 깊이 영상 전체에 같은 값이 할당될 수 있다. 또한, 프레임 단위, GOP 단위 또는 블록 단위에 따라 다른 값이 할당될 수 있다.A quantization parameter determined higher than a block to which motion vector sharing is not applied may be assigned the same value to the entire depth image. In addition, different values may be assigned according to frame units, GOP units, or block units.
도 6은 본 발명의 일실싱예에 따른 부호화 방법을 도시한 플로우차트이다6 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
부호화 장치는 모션 벡터 공유를 적용할 지 여부를 결정할 수 있다(S601).The encoding apparatus may determine whether to apply motion vector sharing (S601).
일례로, 부호화 장치는 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용을 이용하여 모션 벡터 공유를 적용할 지 여부를 결정할 수 있다. 이 때, 부호화 장치는 글로벌 디스패리티(global disparity) 또는 워핑 파라미터(warping parameter) 중 적어도 하나를 이용하여 중간 시점의 합성 영상에 대한 왜곡을 계산할 수 있다. 또는, 부호화 장치는 컬러 영상의 오프셋을 이용하여 중간 시점의 합성 영상에 대한 왜곡을 예측할 수 있다.For example, the encoding apparatus may determine whether to apply the motion vector sharing using the ratio distortion cost based on the ratio of the depth image and the distortion of the composite image of the intermediate view. In this case, the encoding apparatus may calculate the distortion of the synthesized image of the intermediate view using at least one of a global disparity or a warping parameter. Alternatively, the encoding apparatus may predict the distortion of the synthesized image of the intermediate view using the offset of the color image.
이 후, 부호화 장치는 모션 벡터 공유를 적용할 지 여부를 플래그로 표현하여 부호화할 수 있다. 또는, 부호화 장치는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 적어도 하나에 대해 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)을 계산하여 최적의 비율 왜곡 비용을 나타내는 임계값을 부호화할 수 있다.Thereafter, the encoding apparatus may encode whether to apply motion vector sharing by using a flag. Alternatively, the encoding apparatus may include a rate distortion cost based on a ratio of a depth image and a distortion of a composite image at an intermediate point in time to at least one of residual information of a color image, flatness of a color image, and flatness of a depth image. We can calculate the threshold value that represents the optimal ratio distortion cost by calculating.
부호화 장치는 컬러 영상의 모션 벡터와 모드 정보를 추출할 수 있다(S602).The encoding apparatus may extract the motion vector and the mode information of the color image (S602).
그런 후, 부호화 장치는 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 깊이 영상을 부호화할 수 있다(S603). 그리고, 부호화 장치는 모션 벡터 공유가 적용되지 않는 블록에 대해 깊이 영상 자체에서 최적의 모션 벡터와 모드 정보를 찾아 깊이 영상을 부호화할 수 있다.Thereafter, the encoding apparatus may encode the depth image by setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image (S603). The encoding apparatus may encode the depth image by finding an optimal motion vector and mode information in the depth image itself for a block to which motion vector sharing is not applied.
도 7은 본 발명의 일실시예에 따른 복호화 방법을 도시한 플로우차트이다. 7 is a flowchart illustrating a decoding method according to an embodiment of the present invention.
복호화 장치는 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다(S701). 일례로, 복호화 장치는 부호화 장치가 전송한 플래그에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다. 또는, 복호화 장치는 컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 어느 하나와 최적의 비율 왜곡 비용을 나타내는 임계값에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단할 수 있다.The decoding apparatus may determine whether to apply motion vector sharing (S701). For example, the decoding apparatus may determine whether to apply motion vector sharing based on a flag transmitted by the encoding apparatus. Alternatively, the decoding apparatus may determine whether to apply the motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. have.
만약, 모션 벡터 공유를 적용하는 경우, 복호화 장치는 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정할 수 있다(S702).If motion vector sharing is applied, the decoding apparatus may set the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image (S702).
그러면, 복호화 장치는 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화할 수 있다(S703).Then, the decoding apparatus may decode the depth image using the motion vector and the mode information of the depth image (S703).
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

Claims (25)

  1. 컬러 영상의 모션 벡터와 모드 정보를 추출하는 데이터 추출부; 및A data extraction unit for extracting motion vector and mode information of a color image; And
    상기 추출된 데이터를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 상기 깊이 영상을 부호화하는 깊이 영상 부호화부A depth image encoder configured to encode the depth image by setting the extracted data as a motion vector and mode information of a depth image
    를 포함하는 부호화 장치.Encoding apparatus comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 부호화부는,The encoder,
    상기 깊이 영상의 잔여 정보를 미리 설정한 양자화 파라미터보다 높은 양자화 파라미터로 부호화하거나 또는 잔여 정보의 부호화를 스킵(SKIP)하는 것을 특징으로 하는 부호화 장치. And encoding the residual information of the depth image with a quantization parameter higher than a preset quantization parameter or skipping encoding of the residual information (SKIP).
  3. 제2항에 있어서,The method of claim 2,
    상기 부호화부는,The encoder,
    상기 깊이 영상의 잔여 정보를 미리 설정한 양자화 파라미터보다 높은 양자화 파라미터로 부호화는 경우, 영상 전체에 동일한 양자화 파라미터를 적용하거나 또는 프레임 단위, GOP(group of picture) 또는 블록 단위 중 어느 하나의 단위별로 다른 양자화 파라미터를 적용하는 것을 특징으로 하는 부호화 장치.In the case where the residual information of the depth image is encoded with a quantization parameter higher than a preset quantization parameter, the same quantization parameter is applied to the entire image or is different for each unit of frame unit, group of picture (GOP), or block unit. An encoding device characterized by applying a quantization parameter.
  4. 제1항에 있어서,The method of claim 1,
    모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정하는 MVS 결정부MVS decision unit to decide whether to apply Motion Vector Sharing (MVS)
    를 더 포함하는 부호화 장치.Encoding apparatus further comprising.
  5. 제4항에 있어서,The method of claim 4, wherein
    상기 MVS 결정부는,The MVS determination unit,
    깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)를 이용하여 모션 벡터 공유를 적용할 지 여부를 결정하는 것을 특징으로 하는 부호화 장치.And determining whether to apply motion vector sharing using a rate-distortion cost based on the ratio of the depth image and the distortion of the composite image at the intermediate view.
  6. 제5항에 있어서,The method of claim 5,
    상기 MVS 결정부는,The MVS determination unit,
    글로벌 디스패리티(global disparity) 또는 워핑 파라미터(warping parameter) 중 적어도 하나를 이용하여 상기 중간 시점의 합성 영상에 대한 왜곡을 계산하는 것을 특징으로 하는 부호화 장치.And a distortion of the composite image of the intermediate view is calculated using at least one of global disparity or warping parameter.
  7. 제5항에 있어서,The method of claim 5,
    상기 MVS 결정부는,The MVS determination unit,
    컬러 영상의 오프셋을 이용하여 상기 중간 시점의 합성 영상에 대한 왜곡을 예측하는 것을 특징으로 하는 부호화 장치.And a distortion of the composite image of the intermediate view using the offset of the color image.
  8. 제4항에 있어서,The method of claim 4, wherein
    상기 MVS 결정부는,The MVS determination unit,
    모션 벡터 공유를 적용할 지 여부를 플래그로 부호화하는 것을 특징으로 하는 부호화 장치.An encoding device characterized by encoding with a flag whether to apply motion vector sharing.
  9. 제4항에 있어서,The method of claim 4, wherein
    상기 MVS 결정부는,The MVS determination unit,
    컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 적어도 하나에 대해 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)을 계산하여 최적의 비율 왜곡 비용을 나타내는 임계값을 부호화하는 것을 특징으로 하는 부호화 장치.For at least one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, a rate-distortion cost is calculated based on the ratio of the depth image and the distortion of the composite image at the intermediate view. Encoding a threshold indicating a rate distortion cost.
  10. 모션 벡터 공유를 적용할 지 여부를 판단하는 MVS 판단부;An MVS determination unit determining whether to apply motion vector sharing;
    상기 모션 벡터 공유를 적용하는 경우, 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하는 데이터 설정부; 및A data setting unit configured to set motion vector and mode information of a color image as motion vector and mode information of a depth image when the motion vector sharing is applied; And
    상기 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화하는 깊이 영상 복호화부Depth image decoder for decoding the depth image using the motion vector and mode information of the depth image
    를 포함하는 복호화 장치.Decoding apparatus comprising a.
  11. 제10항에 있어서,The method of claim 10,
    상기 MVS 판단부는,The MVS determination unit,
    플래그에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단하는 것을 특징으로 하는 복호화 장치.And determining whether to apply motion vector sharing based on the flag.
  12. 제10항에 있어서,The method of claim 10,
    상기 MVS 판단부는,The MVS determination unit,
    컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 어느 하나와 최적의 비율 왜곡 비용을 나타내는 임계값에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단하는 것을 특징으로 하는 복호화 장치.And determining whether to apply motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. .
  13. 컬러 영상의 모션 벡터와 모드 정보를 추출하는 단계; 및Extracting motion vector and mode information of the color image; And
    상기 추출된 데이터를 깊이 영상의 모션 벡터와 모드 정보로 설정하여 상기 깊이 영상을 부호화하는 단계Encoding the depth image by setting the extracted data as a motion vector and mode information of a depth image
    를 포함하는 부호화 방법.Encoding method comprising a.
  14. 제13항에 있어서,The method of claim 13,
    상기 깊이 영상을 부호화하는 단계는,The encoding of the depth image may include:
    상기 깊이 영상의 잔여 정보를 미리 설정한 양자화 파라미터보다 높은 양자화 파라미터로 부호화하거나 또는 잔여 정보의 부호화를 스킵(SKIP)하는 것을 특징으로 하는 부호화 방법. And encoding the residual information of the depth image with a quantization parameter higher than a preset quantization parameter or skipping encoding of the residual information (SKIP).
  15. 제14항에 있어서,The method of claim 14,
    상기 깊이 영상을 부호화하는 단계는,The encoding of the depth image may include:
    상기 깊이 영상의 잔여 정보를 미리 설정한 양자화 파라미터보다 높은 양자화 파라미터로 부호화는 경우, 영상 전체에 동일한 양자화 파라미터를 적용하거나 또는 프레임 단위, GOP(group of picture) 또는 블록 단위 중 어느 하나의 단위별로 다른 양자화 파라미터를 적용하는 것을 특징으로 하는 부호화 방법.In the case where the residual information of the depth image is encoded with a quantization parameter higher than a preset quantization parameter, the same quantization parameter is applied to the entire image or is different for each unit of frame unit, group of picture (GOP), or block unit. A coding method characterized by applying a quantization parameter.
  16. 제13항에 있어서,The method of claim 13,
    모션 벡터 공유(Motion Vector Sharing: MVS)를 적용할 지 여부를 결정하는 단계Steps to determine whether to apply Motion Vector Sharing (MVS)
    를 더 포함하는 부호화 방법.Encoding method further comprising.
  17. 제16항에 있어서,The method of claim 16,
    상기 모션 벡터 공유를 적용할 지 여부를 결정하는 단계는,Determining whether to apply the motion vector sharing,
    깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)를 이용하여 모션 벡터 공유를 적용할 지 여부를 결정하는 것을 특징으로 하는 부호화 방법.And determining whether to apply motion vector sharing using a rate-distortion cost based on the ratio of the depth image and the distortion of the composite image at the intermediate view.
  18. 제17항에 있어서,The method of claim 17,
    상기 모션 벡터 공유를 적용할 지 여부를 결정하는 단계는,Determining whether to apply the motion vector sharing,
    글로벌 디스패리티(global disparity) 또는 워핑 파라미터(warping parameter) 중 적어도 하나를 이용하여 상기 중간 시점의 합성 영상에 대한 왜곡을 계산하는 것을 특징으로 하는 부호화 방법.And a distortion of the synthesized image of the intermediate view is calculated using at least one of a global disparity or a warping parameter.
  19. 제17항에 있어서,The method of claim 17,
    상기 모션 벡터 공유를 적용할 지 여부를 결정하는 단계는,Determining whether to apply the motion vector sharing,
    컬러 영상의 오프셋을 이용하여 상기 중간 시점의 합성 영상에 대한 왜곡을 예측하는 것을 특징으로 하는 부호화 방법.And a distortion of the composite image of the intermediate view using the offset of the color image.
  20. 제16항에 있어서,The method of claim 16,
    상기 모션 벡터 공유를 적용할 지 여부를 결정하는 단계는,Determining whether to apply the motion vector sharing,
    모션 벡터 공유를 적용할 지 여부를 플래그로 부호화하는 것을 특징으로 하는 부호화 방법.An encoding method characterized by encoding with a flag whether to apply motion vector sharing.
  21. 제16항에 있어서,The method of claim 16,
    상기 모션 벡터 공유를 적용할 지 여부를 결정하는 단계는,Determining whether to apply the motion vector sharing,
    컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 적어도 하나에 대해 깊이 영상의 비율과 중간 시점의 합성 영상의 왜곡에 기초한 비율 왜곡 비용(Rate-Distortion Cost)을 계산하여 최적의 비율 왜곡 비용을 나타내는 임계값을 부호화하는 것을 특징으로 하는 부호화 방법.For at least one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, a rate-distortion cost based on the ratio of the depth image and the distortion of the composite image at the intermediate view is calculated and optimized. Encoding a threshold indicating a rate distortion cost.
  22. 모션 벡터 공유를 적용할 지 여부를 판단하는 단계;Determining whether to apply motion vector sharing;
    상기 모션 벡터 공유를 적용하는 경우, 컬러 영상의 모션 벡터와 모드 정보를 깊이 영상의 모션 벡터와 모드 정보로 설정하는 단계; 및When applying the motion vector sharing, setting the motion vector and the mode information of the color image as the motion vector and the mode information of the depth image; And
    상기 깊이 영상의 모션 벡터와 모드 정보를 이용하여 깊이 영상을 복호화하는 단계Decoding the depth image using the motion vector and the mode information of the depth image.
    를 포함하는 복호화 방법.Decryption method comprising a.
  23. 제22항에 있어서,The method of claim 22,
    상기 모션 벡터 공유를 적용할 지 여부를 판단하는 단계는,The determining of whether to apply the motion vector sharing,
    플래그에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단하는 것을 특징으로 하는 복호화 방법.And determining whether to apply motion vector sharing based on the flag.
  24. 제22항에 있어서,The method of claim 22,
    상기 모션 벡터 공유를 적용할 지 여부를 판단하는 단계는,The determining of whether to apply the motion vector sharing,
    컬러 영상의 잔여 정보, 컬러 영상의 평탄도 및 깊이 영상의 평탄도 중 어느 하나와 최적의 비율 왜곡 비용을 나타내는 임계값에 기초하여 모션 벡터 공유를 적용할 지 여부를 판단하는 것을 특징으로 하는 복호화 방법.And determining whether to apply motion vector sharing based on one of the remaining information of the color image, the flatness of the color image, and the flatness of the depth image, and a threshold value indicating an optimal ratio distortion cost. .
  25. 제13항 내지 제24항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium containing a program for performing the image processing method of any one of claims 13 to 24.
PCT/KR2011/006205 2010-08-24 2011-08-23 Encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image WO2012026734A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0081873 2010-08-24
KR1020100081873A KR20120018906A (en) 2010-08-24 2010-08-24 Apparatus and method for encoding and decoding using motion vector sharing of color image and depth image

Publications (2)

Publication Number Publication Date
WO2012026734A2 true WO2012026734A2 (en) 2012-03-01
WO2012026734A3 WO2012026734A3 (en) 2012-05-03

Family

ID=45723917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/006205 WO2012026734A2 (en) 2010-08-24 2011-08-23 Encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image

Country Status (2)

Country Link
KR (1) KR20120018906A (en)
WO (1) WO2012026734A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065972A (en) * 2013-03-21 2014-09-24 乐金电子(中国)研究开发中心有限公司 Depth image coding method and apparatus, and encoder

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957873B1 (en) * 2012-06-04 2019-03-13 삼성전자주식회사 Apparatus and method for image processing for 3d image
WO2014051404A1 (en) * 2012-09-28 2014-04-03 삼성전자 주식회사 Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image
JP2016528807A (en) * 2013-07-18 2016-09-15 エルジー エレクトロニクス インコーポレイティド Video signal processing method and apparatus
EP3073739A4 (en) 2013-12-20 2017-08-02 Samsung Electronics Co., Ltd. Video encoding method using inter-view prediction and device thereof, and video decoding method and device thereof
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
CN109417629B (en) * 2016-07-12 2023-07-14 韩国电子通信研究院 Image encoding/decoding method and recording medium therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014553A (en) * 2007-04-25 2010-02-10 엘지전자 주식회사 A method and an apparatus for decoding/encoding a video signal
KR20100064196A (en) * 2008-12-04 2010-06-14 삼성전자주식회사 Method and appratus for estimating depth, and method and apparatus for converting 2d video to 3d video
KR20100087685A (en) * 2009-01-28 2010-08-05 한국전자통신연구원 Method and apparatus for improving quality of depth image
KR20100091864A (en) * 2009-02-10 2010-08-19 한국전자통신연구원 Apparatus and method for the automatic segmentation of multiple moving objects from a monocular video sequence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014553A (en) * 2007-04-25 2010-02-10 엘지전자 주식회사 A method and an apparatus for decoding/encoding a video signal
KR20100064196A (en) * 2008-12-04 2010-06-14 삼성전자주식회사 Method and appratus for estimating depth, and method and apparatus for converting 2d video to 3d video
KR20100087685A (en) * 2009-01-28 2010-08-05 한국전자통신연구원 Method and apparatus for improving quality of depth image
KR20100091864A (en) * 2009-02-10 2010-08-19 한국전자통신연구원 Apparatus and method for the automatic segmentation of multiple moving objects from a monocular video sequence

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065972A (en) * 2013-03-21 2014-09-24 乐金电子(中国)研究开发中心有限公司 Depth image coding method and apparatus, and encoder
CN104065972B (en) * 2013-03-21 2018-09-28 乐金电子(中国)研究开发中心有限公司 A kind of deepness image encoding method, device and encoder

Also Published As

Publication number Publication date
KR20120018906A (en) 2012-03-06
WO2012026734A3 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
WO2012026734A2 (en) Encoding/decoding apparatus and method using motion vector sharing of a color image and a depth image
US11902575B2 (en) Image encoding method using a skip mode, and a device using the method
WO2010087589A2 (en) Method and apparatus for processing video signals using boundary intra coding
AU2020286361B2 (en) Method and apparatus for improved implicit transform selection
WO2012057528A2 (en) Adaptive intra-prediction encoding and decoding method
WO2010068020A9 (en) Multi- view video coding/decoding method and apparatus
WO2012134085A2 (en) Method for decoding image in intra prediction mode
WO2012144830A2 (en) Methods and apparatuses for encoding and decoding image using adaptive filtering
EP1534018A2 (en) Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
US20220132113A1 (en) Video or image coding applying adaptive loop filter
WO2014107083A1 (en) Video signal processing method and device
WO2010058895A2 (en) Apparatus and method for encoding/decoding a video signal
WO2012081877A2 (en) Multi-view video encoding/decoding apparatus and method
WO2013039031A1 (en) Image encoder, image-decoding unit, and method and program therefor
KR20110073263A (en) Method and apparatus for encoding and decoding for intra prediction
WO2011090352A2 (en) Area-based encoding/decoding device and method
WO2014073877A1 (en) Method and apparatus for processing multiview video signal
WO2012128241A1 (en) Image-processing device, image-processing method, and program
WO2018070568A1 (en) Video coding method and apparatus utilizing decoder-based intra prediction mode extraction scheme
ES2964763T3 (en) Early intra-coding decision
WO2011078562A2 (en) Intra-predictive coding and decoding methods, and intra-predictive coding and decoding devices for performing the methods
WO2013141075A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and program
WO2014077573A2 (en) Method and apparatus for processing video signals
WO2014073873A1 (en) Method and apparatus for processing video signals
WO2012099352A2 (en) Device and method for encoding/deciding multi-viewpoint images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11820161

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11820161

Country of ref document: EP

Kind code of ref document: A2