WO2013133587A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2013133587A1
WO2013133587A1 PCT/KR2013/001726 KR2013001726W WO2013133587A1 WO 2013133587 A1 WO2013133587 A1 WO 2013133587A1 KR 2013001726 W KR2013001726 W KR 2013001726W WO 2013133587 A1 WO2013133587 A1 WO 2013133587A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
picture
block
target block
view
Prior art date
Application number
PCT/KR2013/001726
Other languages
English (en)
French (fr)
Inventor
성재원
예세훈
구문모
허진
김태섭
정지욱
손은용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/383,491 priority Critical patent/US9602831B2/en
Publication of WO2013133587A1 publication Critical patent/WO2013133587A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for coding a video signal.
  • Compression coding refers to a series of signal processing techniques that transmit digitized information through a communication line or store the data in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • a general feature of a multiview video image is that it has spatial redundancy, temporal redundancy and inter-view redundancy.
  • An object of the present invention is to improve the coding efficiency of a video signal.
  • the present invention is characterized by performing inter-view prediction by using the view identification information and the disparity vector of the reference view.
  • the present invention is characterized by obtaining the view identification information and the disparity vector of the reference view when the current slice belongs to the random access unit and the non-base view.
  • the present invention is characterized by deriving a disparity vector of a target block using depth data in a depth picture corresponding to the target block.
  • the present invention is characterized by deriving a motion vector of a target block using a motion vector list including at least one of a spatial motion vector, a temporal motion vector, and a disparity vector.
  • the present invention is characterized by using an area-based adaptive loop filter for depth data.
  • the accuracy of video data prediction can be improved by utilizing the correlation between the views.
  • the accuracy of video data prediction can be improved by utilizing the correlation between the views.
  • by coding a disparity vector only if the current slice belongs to a random access unit and a non-base view it is possible to minimize unnecessary or redundant bit usage.
  • by extracting the disparity vector from the bitstream based on the depth data the number of bits required for coding the disparity vector may be saved.
  • the present invention can improve the coding efficiency by constructing a motion vector candidate and deriving a motion vector of the target block from it, thereby enabling more accurate motion vector prediction, thereby reducing the amount of residual data transmitted.
  • the present invention can not only improve image quality, but also reduce the complexity of applying the filter, and at the same time, improve coding efficiency by variable filtering.
  • 1 is a diagram for explaining the concept of depth as an embodiment to which the present invention is applied.
  • FIG. 2 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • 3 illustrates variation information syntax as an embodiment to which the present invention is applied.
  • FIG. 4 is a flowchart illustrating a method of obtaining variation information from a bitstream according to an embodiment to which the present invention is applied.
  • FIG. 5 illustrates a method of deriving a disparity vector using a depth picture as an embodiment to which the present invention is applied.
  • FIG. 6 illustrates a method of generating a depth picture as an embodiment to which the present invention is applied.
  • FIG. 7 illustrates a schematic configuration of a motion vector list generator 710 as an embodiment to which the present invention is applied.
  • FIG. 8 illustrates a process of determining a spatial motion vector as an embodiment to which the present invention is applied.
  • FIG. 9 illustrates a method of adding a disparity vector included in disparity information to a motion vector list according to an embodiment to which the present invention is applied.
  • a video signal processing method obtains a disparity vector of a target block, determines a motion vector list for the target block, and motion vector identification information for the target block from a bitstream. Extracts, sets a motion vector candidate corresponding to the motion vector identification information as a predicted motion vector of the target block, and performs motion compensation based on the predicted motion vector.
  • the motion vector list may be configured as a motion vector candidate for a predicted motion vector of the target block, and the motion vector candidate may include at least one of a spatial motion vector, a temporal motion vector, and the disparity vector. have.
  • the disparity vector may be extracted from the bitstream together with the viewpoint identification information of the corresponding reference viewpoint based on the disparity number information, and the disparity number information is paired with the viewpoint identification information and the disparity vector pair of the coded reference viewpoint.
  • the view point identification information of the reference view point may mean view point identification information of the neighboring view point referenced by the current view point.
  • position information of a corresponding block of a depth picture is obtained from position information of the target block of a texture picture, depth data corresponding to position information of a corresponding block of the depth picture is obtained, and the obtained depth data is obtained.
  • the and camera parameters it can derive the disparity vector of the target block.
  • the disparity vector may be extracted when the current slice including the target block belongs to a random access unit and has a non-base view, and the pictures in the random access unit are located in the same time zone.
  • the non-base view may mean a view that is not a base view
  • the base view may mean a view that is independently decoded from another view without inter-view prediction.
  • the filtered current pixel value may be obtained by applying a weight to the pixel value.
  • the motion vector list for the target block determines whether the reference picture is the same between the target block and the neighboring block, and if the reference picture is the same between the target block and the neighboring block, the neighboring block having the same reference picture Adds a motion vector of the motion vector to the motion vector list, applies a scaling factor to the motion vector of the neighboring block if the reference picture between the target block and the neighboring block is not the same, and applies the motion vector of the scaled neighboring block to It can be obtained by adding to the motion vector list.
  • the temporal motion vector means a motion vector of a block at the same position as the target block in a reference picture belonging to the same view as the target block, and the reference picture belonging to the same view is located at the same position. It may be specified by reference index information of a picture including a block.
  • reference index information of the target block is extracted from a bitstream, and a view of a reference picture corresponding to the reference index information of the target block is compared with a view according to view identification information of the reference view. If it is determined that the comparison result is the same, the disparity vector corresponding to the view identification information of the reference view may be added to the motion vector list.
  • Techniques for compression encoding or decoding multi-view video signal data take into account spatial redundancy, temporal redundancy, and redundancy existing between views.
  • a multiview image a multiview texture image photographed at two or more viewpoints and a multiview depth image corresponding thereto must be coded in order to realize a 3D image.
  • compression coding may be performed in consideration of spatial redundancy, temporal redundancy, or inter-view redundancy.
  • Each sample value of the depth image represents distance information between a camera and a corresponding pixel. A detailed description thereof will be described with reference to FIG. 1.
  • depth information depth data, depth picture, depth sequence, depth coding, and depth bitstream may be flexibly interpreted as information related to depth within the present specification.
  • coding in this specification may include both the concepts of encoding and decoding, and may be flexibly interpreted according to the technical spirit and technical scope of the present invention.
  • 1 is a diagram for explaining the concept of depth as an embodiment to which the present invention is applied.
  • the position Oc of the camera represents the origin of the three-dimensional camera coordinate system, and the Z axis is aligned with the direction that the eyes look.
  • Pw (Xw, Yw, Zw) is a 3x3 rotation matrix R and 3x1.
  • P may be obtained as in Equation 1.
  • the depth picture may be referred to as a set of information obtained by quantifying a distance between a camera position and a real object based on the position of the camera.
  • the Z value is a value belonging to a real range, and it may be quantized to a value belonging to an integer range and used as depth information.
  • the depth information may be quantized as in Equation 2 or Equation 3 below.
  • Zq means quantized depth information.
  • Znear denotes the lower limit of the Z coordinate value
  • Zfar denotes the upper limit of the Z coordinate value.
  • Depth information quantized according to Equation 2 or Equation 3 may have an integer value in a range of 0 to 255.
  • the depth picture may be coded together with the texture image sequence or in a separate sequence, and in this case, various embodiments may be applied for compatibility with an existing codec.
  • the depth coding technique may be applied as an additional technique to be compatible with the HEVC codec, or may be applied as an extension technique within H.264 / AVC multiview video coding.
  • specific embodiments of a method and apparatus for predicting texture data using depth data will be described.
  • FIG. 2 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • the video decoder includes a NAL parser 100, an entropy decoder 200, an inverse quantization / inverse transform unit 300, an intra prediction unit 400, an in-loop filter unit 500, and a decoded picture.
  • the buffer unit 600 and the inter prediction unit 700 may be included.
  • the texture data and the depth data input to the NAL parser may be transmitted in one bitstream or may be transmitted in separate bitstreams.
  • the NAL parser 100 may parse the NAL unit to decode the input bitstream.
  • the input bitstream is multi-view related data (eg, 3-Dimensional Video)
  • the input bitstream may further include a camera parameter.
  • Camera parameters may include intrinsic camera parameters and extrinsic camera parameters, and inherent camera parameters may include focal length, aspect ratio, principal point, etc.
  • the non-unique camera parameter may include location information of the camera in the world coordinate system.
  • the entropy decoding unit 200 may extract quantized transform coefficients, coding information for predicting a texture picture and a depth picture, etc. from the parsed bitstream through entropy decoding.
  • the inverse quantization / inverse transform unit 300 may apply a quantization parameter to the quantized transform coefficients to obtain transform coefficients, and inversely transform the transform coefficients to decode texture data or depth data.
  • the decoded texture data or depth data may mean residual data according to a prediction process.
  • the quantization parameter for the depth block may be set in consideration of the complexity of the texture data.
  • a low quantization parameter may be set, and in the case of a region of low complexity, a high quantization parameter may be set.
  • the complexity of the texture block may be determined based on difference values between pixels adjacent to each other in the reconstructed texture picture as shown in Equation 4.
  • Equation 4 E denotes the complexity of the texture data, C denotes the restored texture data, and N denotes the number of pixels in the texture data area to which the complexity is to be calculated.
  • the complexity is the difference between the texture data corresponding to the (x, y) position and the texture data corresponding to the (x-1, y) position and the texture data corresponding to the (x, y) position.
  • the difference value between the texture data corresponding to the position (x + 1, y) may be calculated.
  • the complexity may be calculated for the texture picture and the texture block, respectively, and the quantization parameter may be derived using Equation 5 below.
  • the quantization parameter may be determined based on a ratio of the complexity of the texture picture and the complexity of the texture block.
  • ⁇ and ⁇ may be variable integers derived at the decoder, or may be predetermined integers at the decoder.
  • the intra predictor 400 may perform intra prediction using the reconstructed texture data in the current texture picture. Intra-prediction may be performed on the depth picture in the same manner as the texture picture. Meanwhile, the in-loop filter unit 500 may apply an in-loop filter to each coded block to reduce block distortion. The filter smoothes the edges of the block to improve the quality of the decoded picture. Filtered texture pictures or depth pictures may be output or stored in the decoded picture buffer unit 600 for use as a reference picture. On the other hand, since the characteristics of the texture data and the depth data are different from each other, when coding the texture data and the depth data using the same in-loop filter, the coding efficiency may be reduced. Therefore, it is necessary to define a separate in-loop filter for the depth data.
  • an in-loop filtering method capable of efficiently coding depth data a region-based adaptive loop filter and a trilateral loop filter will be described. .
  • the region-based adaptive loop filter it may be determined whether to apply the region-based adaptive loop filter based on the variation of the depth block.
  • the variation amount of the depth block may be defined as the difference between the maximum pixel value and the minimum pixel value in the depth block.
  • Whether to apply the filter may be determined by comparing the change amount of the depth block with a predetermined threshold. For example, when the amount of change in the depth block is greater than or equal to the predetermined threshold value, the filter may be applied because the difference between the maximum pixel value and the minimum pixel value in the depth block is large. On the contrary, when the depth change amount is smaller than the predetermined threshold value, the filter may not be applied.
  • the pixel value of the filtered depth block may be derived by applying a predetermined weight to the neighboring pixel value.
  • the predetermined weight may be determined based on a position difference between the pixel currently being filtered and the neighboring pixel and / or a difference value between the pixel value currently being filtered and the neighboring pixel value.
  • the neighbor pixel value is not the pixel value currently being filtered, and may mean any one of pixel values included in the depth block.
  • the trilateral loop filter according to the present invention is similar to the region-based adaptive loop filter except that it additionally considers texture data.
  • the trilateral loop filter compares the following three conditions and extracts depth data of neighboring pixels satisfying the following three conditions.
  • Condition 1 is to compare the positional difference between the current pixel p and the neighboring pixel q in the depth block with a predetermined parameter sigma 1
  • condition 2 is the depth data of the current pixel p and the depth of the neighboring pixel q.
  • the difference between the data is compared with the predetermined parameter? 2
  • condition 3 is comparing the difference between the texture data of the current pixel p and the texture data of the neighboring pixel q with the predetermined parameter? 3.
  • the neighboring pixels satisfying the three conditions may be extracted, and the current pixel p may be filtered by the median or average value of the depth data.
  • the decoded picture buffer unit 600 stores or opens a previously coded texture picture or a depth picture in order to perform inter prediction.
  • frame_num and POC Picture Order Count
  • POC Picture Order Count
  • some of the previously coded pictures may have depth pictures that are different from the current depth picture. Therefore, in order to use these pictures as a reference picture, view identification information for identifying the view point of the depth picture may be used. have.
  • the decoded picture buffer unit 600 may manage the reference picture using an adaptive memory management control method and a sliding window method in order to more flexibly implement inter prediction.
  • the depth pictures may be marked with a separate mark to distinguish them from texture pictures in the decoded picture buffer unit, and information for identifying each depth picture may be used in the marking process.
  • Reference pictures managed through this process may be used for depth coding in the inter prediction unit 700.
  • the inter prediction unit 700 may perform motion compensation of the current block by using the reference picture and the motion information stored in the decoded picture buffer unit 600.
  • the motion information may be understood as a broad concept including a motion vector and reference index information.
  • motion compensation may be performed using one reference picture in the L0 reference picture list, and may be performed using a plurality of reference pictures from the L1 reference picture list as well as the L0 reference picture list.
  • disparity vectors may be used to compensate for variations between these views.
  • the disparity vector may be defined as a difference between a position of a target block belonging to a current view and a position of a reference block belonging to a neighboring view.
  • 3 illustrates variation information syntax as an embodiment to which the present invention is applied.
  • the variation information of the present invention may include viewpoint identification information (ref_view_id) and a variation vector (gdv_x) of a reference viewpoint.
  • the viewpoint identification information of the reference viewpoint may mean the viewpoint identification information of the neighbor viewpoint referenced by the current viewpoint, and the variation vector, as described above, is a difference between the position of the target block belonging to the current viewpoint and the position of the reference block belonging to the neighbor viewpoint. It may mean.
  • the disparity information may be transmitted by using a pair of viewpoint identification information of a reference view and a disparity vector corresponding thereto.
  • the reference picture is specified by the view identification information of the reference view, and the reference block in the reference picture for the current block may be specified based on the disparity vector.
  • the viewpoint identification information of the reference view and the disparity vector may have a mutual relationship.
  • the disparity number information num_gdv may be further used.
  • the variation number information may mean the number of viewpoint identification information and the variation vector pair at the reference time point.
  • the disparity information syntax is called, the disparity number information may be parsed, and the viewpoint identification information and the disparity vector at the reference time may be parsed according to the parsed disparity number information.
  • the variation information may be limited to being parsed under a certain condition, which will be described with reference to FIG. 4.
  • FIG. 4 is a flowchart illustrating a method of obtaining variation information from a bitstream according to an embodiment to which the present invention is applied.
  • the base view may mean a view that is decoded independently of another view without inter-view prediction. Whether it is a base view may be confirmed using view identification information on the current slice.
  • the viewpoint identification information refers to information representing the viewpoint of the current sequence, and may be obtained from a sequence parameter set or the like. For example, when the decoded viewpoint identification information is 0, it may be understood that the current slice belongs to the base viewpoint.
  • the picture in the random access unit may refer to a picture coded with reference to only slices located in the same time zone.
  • the picture in the random access unit performs only inter-view prediction, and cannot perform inter-picture prediction in the time direction.
  • Whether the current slice belongs to the random access unit may be checked based on the NAL unit type information.
  • CRA Clean Random Access
  • IDR Instantaneous Decoding Refresh
  • CRA Clean Random Access
  • IDR Instantaneous Decoding Refresh
  • the random access unit flag information for the current slice may be set to 1 (S420).
  • the random access unit flag information for the current slice may be set to 0 (S430).
  • the random access unit flag information may mean information indicating whether the current slice belongs to the random access unit.
  • the random access unit flag information set for the slice belonging to the base view may be equally applied to all slices belonging to the same access unit. For example, if the random access unit flag information is set to 1 for slices belonging to the base view and the random access unit, the random access unit flag information may be set to 1 for other slices belonging to the non-base view and the random access unit. Can be.
  • the random access unit flag information set for the current slice belonging to the non-base view may be checked (S440). As a result of the check, when the random access unit flag information is set to 1, the variation information may be acquired (S450). That is, the variation information of the present invention may be limited to being obtained only when the current slice belongs to a non-base time point and belongs to a random access unit.
  • the method of obtaining the variation information in the slice unit has been described.
  • the method is not limited thereto and may be acquired in the unit of a sequence, a picture, and a partition having a predetermined size.
  • the partition having a predetermined size may be a coding block that is a basic unit of video signal processing, a prediction block that is a block unit that performs inter-screen or intra-screen prediction, and may be specified by partition information that determines a unit for transmitting variation information. May be
  • the variation information may be transmitted only for the first slice of the picture. In this case, a procedure for checking whether the current slice corresponds to the first slice in the picture belonging to the non-base view and the random access unit may be further needed.
  • FIG. 5 illustrates a method of deriving a disparity vector using a depth picture as an embodiment to which the present invention is applied.
  • position information of a corresponding block of a depth picture may be obtained from position information of a target block of a texture picture (S500).
  • a texture picture As the depth picture used in the present invention, any one of a) a predicted depth picture, b) a reconstructed depth picture, and c) a reconstructed and filtered depth picture may be selectively used, which will be described with reference to FIG. 6. do.
  • the position of the corresponding block of the depth picture may be determined as a block having the same position as the target block of the texture picture. However, the spatial resolution between the texture picture and the depth picture may be coded differently.
  • the decoder may involve an upsampling process for the depth picture before acquiring position information of the corresponding block of the depth picture.
  • offset information may be additionally considered when acquiring position information of a corresponding block in the upsampled depth picture.
  • the offset information may include at least one of top offset information, left offset information, right offset information, and bottom offset information.
  • the top offset information may indicate a position difference between at least one pixel located at the top of the upsampled depth picture and at least one pixel located at the top of the texture picture.
  • left, right, and bottom offset information may be defined, respectively.
  • Depth data corresponding to position information of the corresponding block in the depth picture may be obtained (S510).
  • depth data corresponding to corner pixels of the corresponding block may be used, and depth data corresponding to center pixels of the corresponding block may be used.
  • a maximum value, a minimum value, and a mode value may be selectively used among the plurality of depth data corresponding to the plurality of pixels, and an average value among the plurality of depth data may be used.
  • the disparity vector of the target block may be derived using the acquired depth data and the camera parameter (S520). A detailed derivation method will be described based on Equations 6 and 7.
  • Z means a distance from the camera of the pixel
  • D is a value quantized Z, corresponding to the depth data of the present invention.
  • Znear and Zfar mean the minimum value and the maximum value of Z defined for the viewpoint to which the depth picture belongs, respectively.
  • Znear and Zfar may be extracted from the bitstream through a sequence parameter set, a slice header, and the like, and may be information predefined in the decoder. Therefore, when the distance Z from the camera of the pixel is quantized to 256 levels, Z can be restored using depth data, Znear, and Zfar as shown in Equation (3). Then, the reconstructed Z may be used to derive the disparity vector for the target block as shown in Equation (7).
  • Equation 7 f denotes a focal length of the camera, and B denotes a distance between the cameras. f and B may be assumed to be the same for all cameras, and thus may be information predefined in the decoder.
  • FIG. 6 illustrates a method of generating a depth picture as an embodiment to which the present invention is applied.
  • the depth picture AD is a depth picture corresponding to the texture picture AT, and belongs to the same time and the same time point as the texture picture AT.
  • the texture picture AT may perform only inter-view prediction and cannot perform inter-picture prediction in the time direction.
  • texture picture AT may use the disparity vector for inter-view prediction.
  • depth data corresponding to the target block may be derived from the disparity vector of the target block in the texture picture AT.
  • the predicted depth picture can be generated by recording the derived depth data on the depth picture AD.
  • the derived depth data may be recorded in a block at the same position as the target block.
  • the depth data of the block coded in the intra mode using the depth data of the neighboring block which is already filled is used. Can be induced.
  • the depth picture may be generated using a depth picture located at another time zone generated in advance.
  • a depth picture located at another time zone may serve as a reference picture, which may be stored in a depth picture buffer.
  • motion compensation may be accompanied to improve prediction accuracy.
  • a reference block in the reference picture is specified using a motion vector and reference index information acquired in units of blocks in the depth picture DD, and the depth data of the specified reference block is estimated using the predicted depth data of the target block in the current depth picture. Can be used as
  • the depth picture DD of FIG. 6 may be generated using a depth picture located at another pre-generated time point.
  • the depth picture DD of the current view V1 may be generated by warping the depth picture CD corresponding to the neighboring view V0 and the same time zone to the current view V1.
  • the depth picture CD may be derived from a depth picture BD of another time zone belonging to the same view point with motion compensation.
  • the depth picture BD of the neighbor view V0 may be generated by warping the depth picture AD of the current view V1 from the neighbor view V0.
  • the depth picture generated by the above-described method is a predicted depth picture, and it may be desirable to use a reconstructed depth picture to derive an accurate disparity vector.
  • depth residual data for a depth picture may be extracted from a bitstream, and inverse quantization and inverse transformation may be performed on the depth residual data to decode the depth residual data.
  • the depth residual data may be defined as difference data between the reconstructed depth data and the predicted depth data.
  • the depth picture can be reconstructed by adding the decoded depth residual data to the predicted depth picture.
  • the filtered depth picture may be used in the present invention as well as reconstruction.
  • An in-loop filter may be applied to the reconstructed depth picture, thereby improving image quality and adjusting a boundary portion of each block.
  • the in-loop filter may use an area-based adaptive loop filter or a trilateral loop filter described in the in-loop filtering unit 500 of FIG. 2, and a detailed description thereof will be omitted.
  • the motion vector may be flexibly interpreted as meaning any one of a spatial motion vector, a temporal motion vector, and a disparity vector.
  • the previously obtained disparity vector may be set as a motion vector of the target block.
  • the disparity vector may be used as the predicted motion vector of the target block.
  • the motion vector difference value may be coded and transmitted through the bitstream.
  • the motion vector difference value may mean a difference vector between the reconstructed motion vector and the predicted motion vector.
  • the decoder may extract the motion vector difference value from the bitstream through entropy decoding. Furthermore, the motion vector of the target block may be reconstructed using the disparity vector and the extracted motion vector difference value.
  • the motion vector candidate list including the disparity vector may be used to derive the motion vector of the target block.
  • a method of generating a motion vector candidate list and a method of deriving a motion vector of a target block will be described with reference to FIGS. 7 to 9.
  • FIG. 7 illustrates a schematic configuration of a motion vector list generator 710 as an embodiment to which the present invention is applied.
  • the motion vector list generator 710 of the present invention may be included in the inter predictor 700 of the decoder.
  • the motion vector list generator 710 may be largely comprised of a list initializer 720 and a list corrector 730.
  • the list initializer 720 may generate a motion vector list including motion vector candidates available as the predicted motion vectors of the target block.
  • the motion vector candidate of the present invention may include at least one of a spatial motion vector, a temporal motion vector, and a disparity vector.
  • a motion vector used by a reference block in a neighbor view may also be used as a motion vector candidate.
  • the spatial motion vector determiner 740 included in the motion vector list initializer 720 may determine the spatial motion vector from the motion vectors of neighboring blocks spatially adjacent to the target block. A method of determining the spatial motion vector will be described in detail with reference to FIG. 7.
  • the temporal motion vector determiner 750 included in the list initializer 720 may determine a motion vector of a neighboring block temporally adjacent to the target block as a temporal motion vector.
  • a temporally adjacent neighboring block may correspond to a block located at the same position as the target block in a reference picture belonging to the same view as the target block.
  • the reference picture may be specified by reference index information of a picture including the block of the same position.
  • the disparity vector determiner 760 included in the list initializer 720 may determine the disparity vector added to the motion vector list. A method of adding the disparity vector to the motion vector list will be described with reference to FIG. 8.
  • the motion vector list generated by the list initialization unit 720 may be used as a final motion vector list for deriving the motion vector of the target block, and goes through the list correction unit 730 to remove redundancy between motion vector candidates. It may be modified.
  • the list corrector 730 may check whether the spatial motion vectors are the same in the motion vector list generated by the list initializer 720. As a result of the check, when the same spatial motion vectors exist, either one may be removed from the motion vector list. Furthermore, if the number of motion vector candidates remaining in the motion vector list is less than two after removing redundancy between the motion vector candidates in the motion vector list, a zero motion vector may be added.
  • the remaining motion vector candidates except for the two motion vector candidates may be removed from the motion vector list.
  • two motion vector candidates remaining in the motion vector list may have a relatively small list identification index in the motion vector list.
  • the list identification index is assigned to each motion vector candidate included in the motion vector list, and may mean a number for identifying a motion vector candidate in the motion vector list.
  • FIG. 8 illustrates a process of determining a spatial motion vector as an embodiment to which the present invention is applied.
  • the spatial motion vector may be determined from the motion vectors of neighboring blocks spatially adjacent to the target block.
  • the spatially adjacent neighboring blocks may refer to any one of blocks located at the left, top, bottom left, top left, and top right of the target block.
  • it may be determined whether the reference picture is the same between the target block and the neighboring block (S800). For example, in order to determine whether the reference picture is the same between the target block and the neighboring block, whether the reference index information is the same may be compared. Alternatively, POC (Picture Order Count) information allocated to the reference picture of the target block and POC information allocated to the reference picture of the neighboring block may be compared with each other.
  • the process of determining whether the reference picture is the same may be performed by dividing the spatially adjacent neighboring blocks into two groups. For example, the left and lower left neighboring blocks of the target block may be divided into a first group, and the upper, upper left and upper right neighboring blocks of the target block may be divided into a second group.
  • the target block may determine whether at least one of the neighboring blocks included in the first group is the same as the reference picture, and determine whether the reference picture is the same as at least one of the neighboring blocks included in the second group.
  • the determination of whether the reference picture is the same may be performed by comparing the target block and the neighboring block in a predetermined order. For example, in the first group, the reference picture may be compared in the order of the lower left neighboring block, the left neighboring block, and in the second group, the upper right neighboring block, the upper neighboring block, and the upper left neighboring block. It is possible to compare whether the reference picture is the same.
  • the motion vector of the neighboring block having the same reference picture may be added to the motion vector list (S810).
  • a predetermined scaling factor may be applied to the motion vector of the neighboring block (S820).
  • the scaling factor may be determined in consideration of the temporal distance between the current picture including the target block and the reference picture of the target block. For example, it may be determined in consideration of the difference value between the POC information allocated to the current picture and the POC information allocated to the reference picture of the target block.
  • the temporal distance between the current picture and the reference picture of the neighboring block may be further considered. For example, it may be determined in consideration of a difference value between POC information allocated to a current picture and POC information allocated to a reference picture of a neighboring block.
  • the motion vector of the scaled neighbor block may be added to the motion vector list (S830).
  • the disparity vector may be extracted from the bitstream, or may be derived using a depth picture.
  • the extracted or derived disparity vector may be added to the motion vector list as a motion vector candidate of the target block.
  • the motion vector of the reference block indicated by the disparity vector may also be added to the motion vector list as a motion vector candidate of the target block.
  • a method of adding the disparity vectors to the motion vector list will be described with reference to FIG. 9.
  • FIG. 9 illustrates a method of adding a disparity vector included in disparity information to a motion vector list according to an embodiment to which the present invention is applied.
  • disparity information and reference index information of a target block may be obtained from a bitstream (S900).
  • the variation information includes viewpoint identification information and a variation vector at the reference time point, as described above.
  • the reference index information is a number assigned to a reference picture included in the reference picture list and may mean information for identifying a reference picture of the target block.
  • a time point to which the reference picture in the reference picture list corresponding to the reference index information of the target block belongs may be checked (S910). This may be confirmed based on viewpoint identification information of the sequence to which the reference picture belongs.
  • the view corresponding to the reference picture corresponding to the reference index information may be compared with the view according to the view identification information of the reference view included in the variation information.
  • the disparity vector included in the disparity information including the viewpoint identification information of the corresponding reference viewpoint may be added to the motion vector list (S930).
  • the variation vector of the target block in the motion vector list may have the smallest list identification information. This means that only inter-view prediction will be allowed if the current picture belongs to the random access unit and non-base view, which means that only the disparity vector is used, to improve coding efficiency by assigning the smallest index.
  • the position where the disparity vector is added to the list is not limited thereto and may be added to the end of the motion vector list for compatibility with the existing codec.
  • the disparity vector in the disparity information including the view identification information of the corresponding reference view may not be added to the motion vector list.
  • Motion vector identification information for the target block may be extracted from the bitstream.
  • the motion vector identification information may be information specifying a motion vector candidate in the motion vector list used as the predicted motion vector of the target block. That is, the motion vector candidate corresponding to the extracted motion vector identification information may be extracted from the motion vector list, and it may be set as the predicted motion vector of the target block.
  • the motion vector difference value coded for the target block may be transmitted through the bitstream.
  • the motion vector difference value may mean a difference vector between the decoded motion vector and the predicted motion vector.
  • the motion vector of the target block may be decoded using the predicted motion vector obtained from the motion vector list and the motion vector difference value extracted from the bitstream.
  • the decoded motion vector and the reference picture list may be used to predict the pixel value of the target block.
  • the reference picture list may include not only a reference picture for temporal prediction but also a reference picture for inter-view prediction.
  • the decoding / encoding device to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception device such as DMB (Digital Multimedia Broadcasting), and may be used to decode video signals and data signals.
  • the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.
  • the decoding / encoding method to which the present invention is applied may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and multimedia data having a data structure according to the present invention may also be read by a computer. It can be stored in the recording medium.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (eg, transmission over the Internet). It also includes.
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.
  • the present invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 비디오 신호 처리 방법은 타겟 블록의 모션 벡터 후보자로서 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함한 모션 벡터 리스트를 결정하고, 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 후보자를 특정하는 모션 벡터 식별 정보를 추출하며, 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 타겟 블록의 예측된 모션 벡터로 설정하고, 예측된 모션 벡터에 기초하여 모션 보상을 수행하는 것을 특징으로 한다. 본 발명은 모션 벡터 후보자를 구성하고 이로부터 타겟 블록의 모션 벡터를 유도함으로써, 보다 정확한 모션 벡터 예측을 가능하게 하고, 이로써 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 참조 시점의 시점 식별 정보 및 변이 벡터를 이용하여 시점 간 예측을 수행하는 것을 특징으로 한다.
본 발명은 현재 슬라이스가 랜덤 액세스 유닛 및 넌-베이스 시점에 속하는 경우에 참조 시점의 시점 식별 정보 및 변이 벡터를 획득하는 것을 특징으로 한다.
본 발명은 타겟 블록에 대응하는 뎁스 픽쳐 내의 뎁스 데이터를 이용하여 타겟 블록의 변이 벡터를 유도하는 것을 특징으로 한다.
본 발명은 공간적 모션 벡터, 시간적 모션 벡터 및 변이 벡터 중 적어도 하나를 포함한 모션 벡터 리스트를 이용하여 타겟 블록의 모션 벡터를 유도하는 것을 특징으로 한다.
본 발명은 뎁스 데이터에 대해서 영역 기반의 적응적 루프 필터를 사용하는 것을 특징으로 한다.
본 발명은 변이 벡터를 이용한 시점 간 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높일 수 있다. 또한, 현재 슬라이스가 랜덤 액세스 유닛 및 넌-베이스 시점에 속하는 경우에만 제한적으로 변이 벡터를 코딩함으로써, 불필요하거나 중복적인 비트 사용을 최소화할 수 있다. 한편, 변이 벡터를 비트스트림으로부터 추출하지 아니하고, 뎁스 데이터에 기초하여 유도함으로써, 변이 벡터를 코딩함에 필요한 비트수를 절약할 수도 있다.
나아가, 본 발명은 모션 벡터 후보자를 구성하고 이로부터 타겟 블록의 모션 벡터를 유도함으로써, 보다 정확한 모션 벡터 예측을 가능하게 하고, 이로써 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 또한, 본 발명은 뎁스 데이터에 대해서 영역 기반의 적응적 루프 필터를 적용함으로써, 화질 개선은 물론이고 필터 적용에 따른 복잡도를 줄이고, 동시에 가변적 필터링으로 코딩 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 변이 정보 신택스를 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 비트스트림으로부터 변이 정보를 획득하는 방법을 도시한 순서도이다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 픽쳐를 이용하여 변이 벡터를 유도하는 방법을 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 뎁스 픽쳐를 생성하는 방법을 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부 (710)의 개략적인 구성을 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 변이 정보에 포함된 변이 벡터를 모션 벡터 리스트에 추가하는 방법을 도시한 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 타겟 블록의 변이 벡터를 획득하고, 상기 타겟 블록에 대한 모션 벡터 리스트를 결정하며, 비트스트림으로부터 상기 타겟 블록에 대한 모션 벡터 식별 정보를 추출하고, 상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 상기 타겟 블록의 예측된 모션 벡터로 설정하며, 상기 예측된 모션 벡터에 기초하여 모션 보상을 수행할 수 있다.
본 발명에 따르면, 상기 모션 벡터 리스트는 상기 타겟 블록의 예측된 모션 벡터를 위한 모션 벡터 후보자로 구성되고, 상기 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함할 수 있다.
본 발명에 따르면, 상기 변이 벡터는 변이 개수 정보에 기초하여 대응되는 참조 시점의 시점 식별 정보와 함께 비트스트림으로부터 추출될 수 있고, 상기 변이 개수 정보는 코딩된 참조 시점의 시점 식별 정보와 변이 벡터 쌍의 개수를 의미하고, 참조 시점의 시점 식별 정보는 상기 현재 시점이 참조하는 상기 이웃 시점의 시점 식별 정보를 의미할 수 있다.
본 발명에 따르면, 텍스쳐 픽쳐의 상기 타겟 블록의 위치 정보로부터 뎁스 픽쳐의 대응 블록의 위치 정보를 획득하고, 상기 뎁스 픽쳐의 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득하며, 상기 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 상기 타겟 블록의 변이 벡터를 유도할 수 있다.
본 발명에 따르면, 상기 변이 벡터는 상기 타겟 블록이 포함된 현재 슬라이스가 랜덤 액세스 유닛에 속하고, 넌-베이스 시점을 가진 경우에 추출될 수 있고, 상기 랜덤 액세스 유닛 내의 픽쳐는 동일 시간 대에 위치한 슬라이스만을 참조하여 코딩되는 픽쳐를 의미하고, 상기 넌-베이스 시점은 베이스 시점이 아닌 시점을 의미하며, 상기 베이스 시점은 시점간 예측없이 다른 시점과 독립적으로 디코딩되는 시점을 의미할 수 있다.
본 발명에 따르면, 상기 뎁스 픽쳐 내의 뎁스 블록의 변화량에 기초하여 현재 픽셀값에 대해 영역 기반의 적응적 루프 필터를 적용할지 여부를 결정하고, 상기 영역 기반의 적응적 루프 필터가 적용되는 경우, 이웃 픽셀값에 가중치를 적용하여 필터링된 현재 픽셀값을 획득할 수 있다.
본 발명에 따르면, 상기 타겟 블록에 대한 모션 벡터 리스트는 상기 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인하고, 상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일한 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하며, 상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일하지 아니한 경우, 상기 이웃 블록의 모션 벡터에 스케일링 팩터를 적용하고, 상기 스케일링된 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가함으로써 획득될 수 있다.
본 발명에 따르면, 상기 시간적 모션 벡터는 상기 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 상기 타겟 블록과 동일 위치의 블록이 가진 모션 벡터를 의미하고, 상기 동일 시점에 속한 참조 픽쳐는 상기 동일 위치의 블록을 포함한 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다.
본 발명에 따르면, 상기 타겟 블록의 레퍼런스 인덱스 정보를 비트스트림으로부터 추출하고, 상기 타겟 블록의 레퍼런스 인덱스 정보에 대응하는 참조 픽쳐의 시점과 상기 참조 시점의 시점 식별 정보에 따른 시점이 동일한지 여부를 비교하며, 상기 비교 결과 동일하다고 인정되는 경우, 상기 참조 시점의 시점 식별 정보에 대응하는 변이 벡터를 모션 벡터 리스트에 추가할 수 있다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상 및 이에 대응되는 다시점 뎁스 영상을 코딩해야 한다. 뎁스 영상을 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 영상의 각 샘플값은 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 이에 대한 구체적인 설명은 도 1을 참조하여 살펴보기로 한다. 또한, 본 명세서 내에서 뎁스 정보, 뎁스 데이터, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 코딩, 뎁스 비트스트림 등과 같은 용어들은 뎁스에 관련된 정보로 유연하게 해석될 수 있을 것이다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 도시한 것이다.
도 1을 참조하면, 카메라의 위치(Oc)는 3차원 카메라 좌표계의 원점을 나타내며, Z축(optical axis)은 눈이 바라보는 방향과 일직선이 된다. 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)는 Z축에 수직인 2차원 이미지 평면의 임의의 한 점 p=(x,y)으로 투영될 수 있다. 여기서, 2차원 이미지 평면 상의 임의의 한 점 p=(x,y)는 3차원 좌표계의 임의의 한 점 P=(X,Y,Z)의 텍스쳐값 또는 컬러값으로 표현될 수 있고, 이 경우의 2차원 이미지 평면은 텍스쳐 픽쳐를 의미할 수 있다. 한편, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 Z 값으로 표현될 수도 있고, 이 경우의 2차원 이미지 평면은 뎁스 픽쳐 또는 뎁스 맵을 의미할 수 있다.
또한, 상기 3차원 좌표계의 P=(X,Y,Z)는 카메라 좌표계의 임의의 한 점을 나타내나, 복수 개의 카메라로 촬영된 경우 상기 복수 개의 카메라들에 대한 공통의 기준 좌표계가 필요할 수 있다. 도 1에서 Ow 점을 기준으로 하는 기준 좌표계의 임의의 점을 Pw=(Xw, Yw, Zw)라 할 수 있고, Pw=(Xw,Yw,Zw)는 3x3 로테이션 매트릭스(rotation matrix) R과 3x1 변환 벡터(translation vector) T를 이용하여 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)으로 변환할 수 있다. 예를 들어, 상기 P는 수학식 1과 같이 획득될 수 있다.
수학식 1
Figure PCTKR2013001726-appb-M000001
상기의 설명에 기초하여 뎁스 픽쳐를 다시 정의하면, 카메라의 위치를 기준으로 카메라의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라 할 수 있다. 뎁스 픽쳐 내의 뎁스 정보는 텍스쳐 픽쳐의 임의의 픽셀에 대응하는 카메라 좌표계 상의 3차원 좌표 P=(X,Y,Z)의 Z 값으로부터 획득될 수 있다. 여기서, Z 값은 실수 범위에 속하는 값이며, 이를 정수 범위에 속하는 값으로 양자화시켜 뎁스 정보로 이용할 수도 있다. 예를 들어, 뎁스 정보는 다음 수학식 2 또는 수학식 3와 같이 양자화될 수 있다.
수학식 2
Figure PCTKR2013001726-appb-M000002
수학식 3
Figure PCTKR2013001726-appb-M000003
여기서, Zq는 양자화된 뎁스 정보를 의미하며, 도 1의 [Top view]를 참조하면, Znear는 Z 좌표값의 하한(the lower limit)을, Zfar는 Z 좌표값의 상한(the upper limit)을 의미할 수 있다. 상기 수학식 2 또는 수학식 3에 따라 양자화된 뎁스 정보는 0~255 범위 내의 정수값을 가질 수 있다.
뎁스 픽쳐는 텍스쳐 영상 시퀀스와 함께 또는 별개의 시퀀스로 코딩될 수 있으며, 이러한 경우 기존의 코덱과의 호환을 위해 다양한 실시예들이 적용될 수 있다. 예를 들어, HEVC 코덱과 호환될 수 있도록 뎁스 코딩 기술이 부가 기술로 적용될 수 있고, 또는 H.264/AVC 다시점 비디오 코딩 내에서 확장 기술로 적용될 수도 있다. 이하에서는 뎁스 데이터를 이용하여 텍스쳐 데이터를 예측하는 방법 및 장치에 대한 구체적인 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2를 참조하면, 비디오 디코더는 NAL 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다. 여기서, NAL 파싱부로 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. NAL 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행할 수 있다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3-Dimensional Video)인 경우, 입력된 비트스트림은 카메라 파라미터를 더 포함할 수 있다. 카메라 파라미터에는 고유의(intrinsic) 카메라 파라미터 및 비고유의(extrinsic) 카메라 파라미터가 있을 수 있고, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등을 포함할 수 있고, 비고유의 카메라 파라미터는 세계 좌표계에서의 카메라의 위치정보 등을 포함할 수 있다.
엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 파싱된 비트스트림으로부터 양자화된 변환 계수, 텍스쳐 픽쳐와 뎁스 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다. 역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복호화할 수 있다. 여기서, 복호화된 텍스쳐 데이터 또는 뎁스 데이터는 예측 처리에 따른 레지듀얼 데이터를 의미할 수 있다. 또한, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 설정될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 설정하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 설정할 수 있다. 텍스쳐 블록의 복잡도는 수학식 4와 같이 복원된 텍스쳐 픽쳐 내에서 서로 인접한 픽셀들 간의 차분값에 기초하여 결정될 수 있다.
수학식 4
Figure PCTKR2013001726-appb-M000004
수학식 4에서 E는 텍스쳐 데이터의 복잡도를 나타내고, C는 복원된 텍스쳐 데이터를 의미하며, N은 복잡도를 산출하고자 하는 텍스쳐 데이터 영역 내의 픽셀 개수를 의미할 수 있다. 수학식 4를 참조하면, 복잡도는 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x-1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값 및 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x+1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값을 이용하여 산출될 수 있다. 또한, 복잡도는 텍스쳐 픽쳐와 텍스쳐 블록에 대해서 각각 산출될 수 있고, 이를 이용하여 아래 수학식 5와 같이 양자화 파라미터를 유도할 수 있다.
수학식 5
Figure PCTKR2013001726-appb-M000005
수학식 5를 참조하면, 양자화 파라미터는 텍스쳐 픽쳐의 복잡도와 텍스쳐 블록의 복잡도의 비율에 기초하여 결정될 수 있다. α 및 β는 디코더에서 유도되는 가변적인 정수일 수 있고, 또는 디코더에서의 기결정된 정수일 수 있다.
인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 한편, 인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킨다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다. 한편, 텍스쳐 데이터의 특성과 뎁스 데이터의 특성이 서로 상이하기 때문에 동일한 인-루프 필터를 사용하여 텍스쳐 데이터와 뎁스 데이터의 코딩을 수행할 경우, 코딩 효율이 떨어질 수 있다. 따라서, 뎁스 데이터를 위한 별도의 인-루프 필터를 정의할 필요가 있다. 이하, 뎁스 데이터를 효율적으로 코딩할 수 있는 인-루프 필터링 방법으로서, 영역 기반의 적응적 루프 필터 (region-based adaptive loop filter)와 트라일래터럴 루프 필터 (trilateral loop filter)에 대해서 살펴 보기로 한다.
영역 기반의 적응적 루프 필터와 관련하여, 뎁스 블록의 변화량 (variance)에 기초하여 영역 기반의 적응적 루프 필터의 적용 여부를 결정할 수 있다. 여기서, 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분으로 정의될 수 있다. 뎁스 블록의 변화량과 기결정된 문턱값 간의 비교를 통해서 필터 적용 여부를 결정할 수 있다. 예를 들어, 뎁스 블록의 변화량이 기결정된 문턱값보다 크거나 같은 경우, 뎁스 블록 내의 최대 픽셀값과 최소 픽셀값 간의 차이가 큰 것을 의미하므로 필터를 적용할 수 있다. 반대로, 뎁스 변화량이 기결정된 문턱값보다 작은 경우에는 필터를 적용하지 아니할 수 있다. 상기 비교 결과에 따라 필터를 적용하는 경우, 필터링된 뎁스 블록의 픽셀값은 소정의 가중치를 이웃 픽셀값에 적용하여 유도될 수 있다. 여기서, 소정의 가중치는 현재 필터링되는 픽셀과 이웃 픽셀 간의 위치 차이 및/또는 현재 필터링되는 픽셀값과 이웃 픽셀값 간의 차분값에 기초하여 결정될 수 있다. 또한, 이웃 픽셀값은 현재 필터링되는 픽셀값이 아닌 것으로서, 뎁스 블록 내에 포함된 픽셀값 중 어느 하나를 의미할 수 있다.
본 발명에 따른 트라일래터럴 루프 필터는 영역 기반의 적응적 루프 필터와 유사하나, 텍스쳐 데이터를 추가적으로 고려한다는 점에서 차이가 있다. 구체적으로, 트라일래터럴 루프 필터는 다음의 세가지 조건을 비교하여, 이를 만족하는 이웃 픽셀의 뎁스 데이터를 추출할 수 있다.
Figure PCTKR2013001726-appb-I000001
조건 1은 뎁스 블록 내의 현재 픽셀(p)와 이웃 픽셀(q) 간의 위치 차이를 기결정된 매개변수 σ1과 비교하는 것이고, 조건 2는 현재 픽셀(p)의 뎁스 데이터와 이웃 픽셀(q)의 뎁스 데이터 간의 차분을 기결정된 매개변수 σ2와 비교하는 것이며, 조건 3은 현재 픽셀(p)의 텍스쳐 데이터와 이웃 픽셀(q)의 텍스쳐 데이터 간의 차분을 기결정된 매개변수 σ3과 비교하는 것이다.
상기 세가지 조건을 만족하는 이웃 픽셀들을 추출하고, 이들 뎁스 데이터의 중간값(median) 또는 평균값으로 현재 픽셀(p)을 필터링할 수 있다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 복호 픽쳐 버퍼부(600)는 보다 유연하게 화면 간 예측을 실현하기 위하여 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method) 등을 이용하여 참조 픽쳐를 관리할 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 뎁스 코딩을 위해 이용될 수 있다.
인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 모션 보상은 L0 참조 픽쳐 리스트 내의 하나의 참조 픽쳐를 이용하여 수행될 수 있고, L0 참조 픽쳐 리스트뿐만 아니라 L1 참조 픽쳐 리스트로부터의 복수의 참조 픽쳐를 이용하여 수행될 수도 있다.
복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 카메라의 위치 차이에 따른 시점 간의 변이가 발생할 수 있다. 이러한 시점 간의 변이를 보상하기 위해 변이 벡터 (disparity vector)가 이용될 수 있다. 변이 벡터는 현재 시점에 속한 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이로 정의될 수 있다. 이하, 도 3 내지 도 6을 참조하여 변이 벡터를 획득하는 방법에 대해서 살펴보기로 한다.
도 3은 본 발명이 적용되는 일실시예로서, 변이 정보 신택스를 도시한 것이다.
본 발명의 변이 정보는 참조 시점의 시점 식별 정보(ref_view_id) 및 변이 벡터(gdv_x)를 포함할 수 있다. 참조 시점의 시점 식별 정보는 현재 시점이 참조하는 이웃 시점의 시점 식별 정보를 의미할 수 있고, 변이 벡터는 앞서 살펴본 바와 같이 현재 시점에 속한 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이를 의미할 수 있다. 또한, 변이 정보는 참조 시점의 시점 식별 정보와 이에 대응되는 변이 벡터를 하나의 쌍으로 하여 전송될 수 있다. 예를 들어, 참조 시점의 시점 식별 정보에 의해 참조 픽쳐가 특정되고, 현재 블록을 위한 참조 픽쳐 내의 참조 블록은 변이 벡터에 기초하여 특정될 수 있다. 즉, 참조 시점의 시점 식별 정보와 변이 벡터는 상호 대응 관계를 가질 수 있다. 이와 같이, 참조 시점의 시점 식별 정보와 변이 벡터는 대응관계를 가지고 하나의 쌍으로 전송되는 경우, 변이 개수 정보(num_gdv)가 더 이용될 수 있다. 변이 개수 정보는 참조 시점의 시점 식별 정보와 변이 벡터 쌍의 개수를 의미할 수 있다. 예를 들어, 변이 정보 신택스가 호출되는 되면, 변이 개수 정보를 파싱하고, 파싱된 변이 개수 정보에 따라 참조 시점의 시점 식별 정보와 변이 벡터를 파싱할 수 있다. 한편, 변이 정보는 일정한 조건 하에서 파싱되는 것으로 제한될 수 있으며, 이는 도 4를 참조하여 살펴 보기로 한다.
도 4는 본 발명이 적용되는 일실시예로서, 비트스트림으로부터 변이 정보를 획득하는 방법을 도시한 순서도이다.
도 4를 참조하면, 현재 슬라이스가 속한 시점이 베이스 시점인지 여부를 확인할 수 있다(S400). 베이스 시점은 시점간 예측없이 다른 시점과 독립적으로 디코딩되는 시점을 의미할 수 있다. 베이스 시점인지 여부는 현재 슬라이스에 대한 시점 식별 정보를 이용하여 확인할 수 있다. 시점 식별 정보는 현재 시퀀스의 시점을 나타내는 정보를 의미하는 것으로, 시퀀스 파라미터 세트 등에서 획득될 수 있다. 예를 들어, 디코딩된 시점 식별 정보가 0인 경우, 현재 슬라이스는 베이스 시점에 속해 있는 것으로 이해될 수 있다.
현재 슬라이스가 베이스 시점에 속한 경우, 현재 슬라이스가 랜덤 액세스 유닛에 속하는지 여부를 확인할 수 있다(S410). 랜덤 액세스 유닛 내의 픽쳐는 동일 시간 대에 위치한 슬라이스만을 참조하여 코딩되는 픽쳐를 의미할 수 있다. 랜덤 액세스 유닛 내의 픽쳐는 시점 간 예측만을 수행하며, 시간 방향으로의 화면 간 예측은 수행할 수 없다. 현재 슬라이스가 랜덤 액세스 유닛에 속하는지 여부는 NAL 유닛 타입 정보에 기초하여 확인할 수 있다. 예를 들어, CRA (Clean Random Access) 픽쳐 타입 또는 IDR (Instantaneous Decoding Refresh) 픽쳐 타입은 랜덤 액세스 유닛 내의 베이스 시점을 가진 픽쳐에 할당되는 NAL 유닛 타입이다. 따라서, NAL 유닛 타입 정보가 CRA (Clean Random Access) 픽쳐 타입 또는 IDR (Instantaneous Decoding Refresh) 픽쳐 타입을 나타내는 경우, 현재 슬라이스는 랜덤 액세스 유닛에 속함을 알 수 있다.
현재 슬라이스가 베이스 시점 및 랜덤 액세스 유닛에 속하는 경우, 현재 슬라이스에 대한 랜덤 액세스 유닛 플래그 정보를 1로 설정할 수 있다(S420). 반면, 현재 슬라이스가 베이스 시점에 속하나, 랜덤 액세스 유닛에 속하지 않는 경우, 현재 슬라이스에 대한 랜덤 액세스 유닛 플래그 정보를 0으로 설정할 수 있다(S430). 랜덤 액세스 유닛 플래그 정보는 현재 슬라이스가 랜덤 액세스 유닛에 속하는지 여부를 지시하는 정보를 의미할 수 있다. 상기 베이스 시점에 속한 슬라이스에 대해서 설정된 랜덤 액세스 유닛 플래그 정보는 동일 액세스 유닛에 속한 모든 슬라이스에 대해 동일하게 적용될 수 있다. 예를 들어, 베이스 시점 및 랜덤 액세스 유닛에 속한 슬라이스에 대해서 랜덤 액세스 유닛 플래그 정보가 1로 설정되면, 넌-베이스 시점 및 랜덤 액세스 유닛에 속한 다른 슬라이스에 대해서도 랜덤 액세스 유닛 플래그 정보는 1로 설정될 수 있다.
넌-베이스 시점에 속하는 현재 슬라이스에 대해 설정된 랜덤 액세스 유닛 플래그 정보를 확인할 수 있다(S440). 확인 결과, 랜덤 액세스 유닛 플래그 정보가 1로 설정되어 있는 경우, 변이 정보를 획득할 수 있다(S450). 즉, 본 발명의 변이 정보는 현재 슬라이스가 넌-베이스 시점에 속하고, 랜덤 액세스 유닛에 속하는 경우에 한하여 획득되는 것으로 제한할 수 있다.
한편, 도 3에서는 슬라이스 단위로 변이 정보를 획득하는 방법을 설명하였으나, 이에 한정되지 아니하며, 시퀀스, 픽쳐, 일정 크기의 파티션 단위로 획득될 수 있음은 물론이다. 일정 크기의 파티션은 비디오 신호 처리의 기본 단위인 코딩 블록일 수 있고, 화면 간 또는 화면 내 예측을 수행하는 블록 단위인 예측 블록일 수도 있으며, 변이 정보를 전송하는 단위를 결정하는 파티션 정보에 의해서 특정될 수도 있다. 또한, 넌-베이스 시점 및 랜덤 액세스 유닛에 속하는 하나의 픽쳐가 복수 개의 슬라이스로 나뉘어 코딩된 경우, 해당 픽쳐의 첫번째 슬라이스에 대해서만 변이 정보를 전송할 수 있다. 이 경우, 현재 슬라이스가 넌-베이스 시점 및 랜덤 액세스 유닛에 속하는 픽쳐 내의 첫번째 슬라이스에 해당하는지 여부를 확인하는 절차가 더 필요할 수 있다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 픽쳐를 이용하여 변이 벡터를 유도하는 방법을 도시한 것이다.
도 5를 참조하면, 텍스쳐 픽쳐의 타겟 블록의 위치 정보로부터 뎁스 픽쳐의 대응 블록의 위치 정보를 획득할 수 있다(S500). 본 발명에서 이용하는 뎁스 픽쳐는 a) 예측된 뎁스 픽쳐, b) 복원된 뎁스 픽쳐, c) 복원 및 필터링된 뎁스 픽쳐 중 어느 하나가 선택적으로 이용될 수 있으며, 이에 대해서는 도 6을 참조하여 살펴보기로 한다. 뎁스 픽쳐의 대응 블록의 위치는 텍스쳐 픽쳐의 타겟 블록과 동일 위치의 블록으로 결정될 수 있다. 다만, 텍스쳐 픽쳐와 뎁스 픽쳐 간의 공간 해상도가 상이하게 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 예를 들어, 뎁스 픽쳐의 공간 해상도가 텍스쳐 픽쳐보다 낮게 코딩된 경우, 디코더는 뎁스 픽쳐의 대응 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 텍스쳐 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 대응 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 예를 들어, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 텍스쳐 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 동일한 방식으로 좌측, 우측, 하단 오프셋 정보가 각각 정의될 수 있다.
뎁스 픽쳐 내의 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S510). 대응 블록 내에 복수 개의 픽셀이 존재하는 경우, 대응 블록의 코너 픽셀 (corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있고, 대응 블록의 중앙 픽셀 (center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값이 선택적으로 이용될 수 있고, 복수 개의 뎁스 데이터 간의 평균값 등이 이용될 수도 있다.
획득된 뎁스 데이터와 카메라 파라미터를 이용하여 타겟 블록의 변이 벡터를 유도할 수 있다(S520). 구체적인 유도 방법은 수학식 6 및 7을 토대로 살펴보기로 한다.
수학식 6
Figure PCTKR2013001726-appb-M000006
수학식 6을 참조하면, Z는 해당 픽셀의 카메라로부터의 거리를 의미하며, D는 Z를 양자화한 값으로서, 본 발명의 뎁스 데이터에 대응된다. Znear 및 Zfar 는 뎁스 픽쳐가 속한 시점에 대해서 정의된 Z의 최소값 및 최대값을 각각 의미한다. 또한, Znear 및 Zfar 는 시퀀스 파라미터 세트, 슬라이스 헤더 등을 통하여 비트스트림으로부터 추출될 수 있고, 디코더 내에 미리 정의된 정보일 수도 있다. 따라서, 해당 픽셀의 카메라로부터의 거리 Z를 256레벨로 양자화한 경우, 수학식 3과 같이 뎁스 데이터, Znear 및 Zfar 를 이용하여 Z를 복원할 수 있다. 그런 다음, 복원된 Z를 이용하여 수학식 7과 같이 타겟 블록에 대한 변이 벡터를 유도할 수 있다.
수학식 7
Figure PCTKR2013001726-appb-M000007
수학식 7에서,f는 카메라의 초점 거리를 의미하고, B는 카메라 간의 거리를 의미한다. f 및 B는 모든 카메라에 대해서 동일하다고 가정할 수 있고, 따라서 디코더에 미리 정의된 정보일 수 있다.
도 6은 본 발명이 적용되는 일실시예로서, 뎁스 픽쳐를 생성하는 방법을 도시한 것이다.
도 6을 참조하면, 뎁스 픽쳐 AD 는 텍스쳐 픽쳐 AT 에 대응하는 뎁스 픽쳐로서, 텍스쳐 픽쳐 AT 와 동일 시간 및 동일 시점에 속한다. 여기서, 텍스쳐 픽쳐 AT 가 랜덤 액세스 유닛 내의 넌-베이스 시점에 속한 경우, 텍스쳐 픽쳐 AT 는 시점 간 예측만을 수행할 수 있고, 시간 방향의 화면 간 예측은 수행할 수 없다. 따라서, 텍스쳐 픽쳐 AT 는 시점 간 예측을 위해 변이 벡터를 이용할 수 있다. 앞서 살펴본 수학식 3 및 4를 역으로 이용함으로써, 텍스쳐 픽쳐 AT 내의 타겟 블록의 변이 벡터로부터 타겟 블록에 대응하는 뎁스 데이터를 유도할 수 있다. 유도된 뎁스 데이터를 뎁스 픽쳐 AD 상에 기록함으로써 예측된 뎁스 픽쳐를 생성할 수 있다. 나아가, 유도된 뎁스 데이터는 타겟 블록과 동일 위치의 블록에 기록될 수 있다. 다만, 텍스쳐 픽쳐 AT 내에 인트라 모드로 코딩된 블록이 존재하는 경우, 변이 벡터가 없어서 뎁스 데이터를 유도할 수 없으므로, 이미 채워진 이웃 블록의 뎁스 데이터를 이용하여 인트라 모드로 코딩된 블록에 대한 뎁스 데이터를 유도할 수 있다.
또는, 도 6의 뎁스 픽쳐 DD 의 경우를 살펴보면, 뎁스 픽쳐는 기생성된 다른 시간 대에 위치한 뎁스 픽쳐를 이용하여 생성될 수도 있다. 여기서, 다른 시간 대에 위치한 뎁스 픽쳐는 참조 픽쳐로서의 역할을 수행할 수 있고, 이는 뎁스 픽쳐 버퍼에 저장된 것일 수 있다. 다만, 다른 시간 대에 위치한 뎁스 픽쳐를 이용하므로, 예측의 정확성을 향상시키기 위하여 모션 보상을 수반할 수 있다. 예를 들어, 뎁스 픽쳐 DD 내의 블록 단위로 획득되는 모션 벡터와 레퍼런스 인덱스 정보를 이용하여 참조 픽쳐 내의 참조 블록을 특정하고, 특정된 참조 블록의 뎁스 데이터를 현재 뎁스 픽쳐 내의 타겟 블록의 예측된 뎁스 데이터로 이용할 수 있다.
또한, 도 6의 뎁스 픽쳐 DD 은 기생성된 다른 시점에 위치한 뎁스 픽쳐를 이용하여 생성될 수 있다. 예를 들어, 현재 시점(V1)의 뎁스 픽쳐 DD 는 이웃 시점(V0) 및 동일 시간 대에 대응하는 뎁스 픽쳐 CD 를 현재 시점(V1)으로 와핑하여 생성될 수 있다. 뎁스 픽쳐 CD 는 모션 보상을 수반하여 동일 시점에 속한 다른 시간 대의 뎁스 픽쳐 BD 로부터 유도된 것일 수도 있다. 또한, 이웃 시점(V0)의 뎁스 픽쳐 BD 는 현재 시점(V1)의 뎁스 픽쳐 AD 를 이웃 시점(V0)을 와핑하여 생성된 것일 수 있다.
앞서 살펴본 방법에 의해서 생성된 뎁스 픽쳐는 예측된 뎁스 픽쳐이며, 정확한 변이 벡터를 유도하기 위해서 복원된 뎁스 픽쳐를 이용하는 것이 바람직할 수도 있다. 예를 들어, 비트스트림으로부터 뎁스 픽쳐에 대한 뎁스 레지듀얼 데이터를 추출하고, 뎁스 레지듀얼 데이터에 대해 역양자화 및 역변환을 수행하여 뎁스 레지듀얼 데이터를 디코딩할 수 있다. 여기서, 뎁스 레지듀얼 데이터는 복원된 뎁스 데이터와 예측된 뎁스 데이터 간의 차분 데이터로 정의될 수 있다. 디코딩된 뎁스 레지듀얼 데이터를 예측된 뎁스 픽쳐에 부가함으로써 뎁스 픽쳐를 복원할 수 있다.
나아가, 본 발명에서는 복원뿐만 아니라 필터링된 뎁스 픽쳐가 이용될 수도 있다. 상기 복원된 뎁스 픽쳐에 대해서 인-루프 필터가 적용될 수 있으며, 이를 통해 영상의 화질을 높이고, 각 블록의 경계 부분을 조정할 수 있다. 여기서, 인-루프 필터는 도 2의 인-루프 필터링부(500)에서 살펴본 영역 기반의 적응적 루프 필터 또는 트라일래터럴 루프 필터가 이용될 수 있으며, 자세한 설명은 생략하기로 한다.
이하, 타겟 블록의 변이 벡터를 이용하여 타겟 블록의 모션 벡터를 유도하는 방법을 살펴보기로 한다. 본 명세서에서 모션 벡터라 함은 공간적 모션 벡터, 시간적 모션 벡터, 변이 벡터 중 어느 하나를 의미하는 것으로 유연하게 해석될 수 있다.
앞서 획득된 변이 벡터를 타겟 블록의 모션 벡터로 설정할 수 있다. 또는, 상기 변이 벡터가 타겟 블록의 예측된 모션 벡터으로 이용될 수도 있다. 이 경우, 모션 벡터 차분값이 코딩되어 비트스트림을 통해 전송될 수 있다. 모션 벡터 차분값은 복원된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 있다. 디코더는 엔트로피 디코딩을 통하여 비트스트림으로부터 모션 벡터 차분값을 추출할 수 있다. 나아가, 변이 벡터와 추출된 모션 벡터 차분값을 이용하여 타겟 블록의 모션 벡터를 복원할 수 있다.
변이 벡터를 포함한 모션 벡터 후보자 리스트를 이용하여 타겟 블록의 모션 벡터를 유도할 수도 있다. 이하, 도 7 내지 도 9를 참조하여, 모션 벡터 후보자 리스트를 생성하는 방법 및 이로부터 타겟 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.
도 7은 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부 (710)의 개략적인 구성을 도시한 것이다.
본 발명의 모션 벡터 리스트 생성부 (710)는 디코더의 인터 예측부(700)에 포함될 수 있다. 모션 벡터 리스트 생성부 (710)는 크게 리스트 초기화부(720)와 리스트 수정부(730)로 구성될 수 있다. 리스트 초기화부(720)는 타겟 블록의 예측된 모션 벡터로 이용 가능한 모션 벡터 후보자로 구성된 모션 벡터 리스트를 생성할 수 있다. 본 발명의 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 변이 벡터 중 적어도 하나를 포함할 수 있다. 또한, 변이 벡터에 의해서 지시된 것으로서, 이웃 시점 내의 참조 블록이 사용한 모션 벡터도 모션 벡터 후보자로 이용될 수 있다. 모션 벡터 리스트 초기화부 (720)에 포함된 공간적 모션 벡터 결정부(740)는 타겟 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 공간적 모션 벡터를 결정할 수 있다. 공간적 모션 벡터를 결정하는 방법에 대해서는 도 7을 참조하여 구체적으로 살펴 보기로 한다. 리스트 초기화부(720)에 포함된 시간적 모션 벡터 결정부(750)는 타겟 블록에 시간적으로 인접한 이웃 블록의 모션 벡터를 시간적 모션 벡터로 결정할 수 있다. 예를 들어, 시간적으로 인접한 이웃 블록은 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 타겟 블록과 동일 위치의 블록(collocated block)에 해당할 수 있다. 여기서, 참조 픽쳐는 상기 동일 위치의 블록을 포함하고 있는 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다. 또한, 리스트 초기화부(720)에 포함된 변이 벡터 결정부(760)는 모션 벡터 리스트에 추가되는 변이 벡터를 결정할 수 있다. 모션 벡터 리스트에 변이 벡터를 추가하는 방법에 대해서는 도 8을 참조하여 살펴 보기로 한다.
리스트 초기화부(720)에서 생성된 모션 벡터 리스트는 타겟 블록의 모션 벡터를 유도하기 위한 최종적인 모션 벡터 리스트로 이용될 수도 있고, 모션 벡터 후보자 간의 중복성 제거 등을 위하여 리스트 수정부(730)를 거쳐 수정될 수도 있다. 예를 들어, 리스트 수정부(730)는 리스트 초기화부(720)에서 생성된 모션 벡터 리스트에서 공간적 모션 벡터들 간의 동일 여부를 확인할 수 있다. 확인 결과, 동일한 공간적 모션 벡터들이 존재하는 경우, 둘 중의 어느 하나를 모션 벡터 리스트로부터 제거할 수 있다. 나아가, 모션 벡터 리스트 내에서 모션 벡터 후보자 간의 중복성을 제거한 이후에 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개 미만인 경우에는 제로 모션 벡터(zero motion vector)를 추가할 수 있다. 반면, 모션 벡터 후보자 간의 중복성을 제거한 이후에도 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개를 초과하는 경우에는 2개의 모션 벡터 후보자를 제외한 나머지 모션 벡터 후보자를 모션 벡터 리스트에서 제거할 수 있다. 여기서, 모션 벡터 리스트에 남아있는 2개의 모션 벡터 후보자는 모션 벡터 리스트 내에서 상대적으로 작은 리스트 식별 인덱스를 가진 것일 수 있다. 리스트 식별 인덱스는 모션 벡터 리스트에 포함된 모션 벡터 후보자에 각각 할당된 것으로서, 모션 벡터 리스트 내의 모션 벡터 후보자를 식별하기 위한 번호를 의미할 수 있다.
도 8은 본 발명이 적용되는 일실시예로서, 공간적 모션 벡터를 결정하는 과정을 도시한 것이다.
공간적 모션 벡터는 타겟 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 결정될 수 있다. 공간적으로 인접한 이웃 블록은 타겟 블록의 좌측, 상단, 좌측하단, 좌측상단, 우측상단에 각각 위치한 블록 중 어느 하나를 의미할 수 있다. 공간적 모션 벡터를 결정함에 있어서, 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 판단할 수 있다(S800). 예를 들어, 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 판단하기 위하여 레퍼런스 인덱스 정보가 동일한지를 비교할 수 있다. 또는, 타겟 블록의 참조 픽쳐에 할당된 POC(Picture Order Count) 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보가 동일한지를 비교할 수도 있다. 만일, 타겟 블록과 이웃 블록이 이용하는 참조 픽쳐 리스트가 상이한 경우에도 참조 픽쳐에 할당된 POC 정보를 비교함으로써 참조 픽쳐의 동일 여부를 판단할 수 있다. POC 정보는 픽쳐의 출력 순서 또는 시간적 순서를 나타내는 정보이고, 출력 순서는 각 픽쳐의 고유의 값이기 때문이다. 또한, 참조 픽쳐 동일 여부를 판단하는 과정은 공간적으로 인접한 이웃 블록을 2개의 그룹으로 나누어 수행할 수 있다. 예를 들어, 타겟 블록의 좌측과 좌측하단 이웃 블록을 제 1그룹으로, 타겟 블록의 상단, 좌측상단, 우측상단 이웃 블록을 제 2그룹으로 각각 나눌 수 있다. 이 경우, 타겟 블록은 제 1그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐 동일 여부를 판단할 수 있고, 제 2 그룹에 포함된 이웃 블록 중 적어도 하나와 참조 픽쳐 동일 여부를 판단할 수 있다. 또한, 참조 픽쳐 동일 여부에 대한 판단은 기결정된 순서대로 타겟 블록과 이웃 블록을 비교하여 수행될 수 있다. 예를 들어, 제 1그룹의 경우, 좌측하단 이웃 블록, 좌측 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있고, 제 2그룹의 경우, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 참조 픽쳐 동일 여부를 비교할 수 있다. S800에 따라 타겟 블록과 이웃 블록의 참조 픽쳐가 동일하다고 판단되는 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S810). 반면, 타겟 블록과 이웃 블록의 참조 픽쳐가 동일하지 아니하다고 판단되는 경우, 이웃 블록의 모션 벡터에 소정의 스케일링 팩터 (scaling factor)를 적용할 수 있다(S820). 스케일링 팩터는 타겟 블록을 포함한 현재 픽쳐와 타겟 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정될 수 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 타겟 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 또한, 현재 픽쳐와 이웃 블록의 참조 픽쳐 간의 시간적 거리를 더 고려할 수도 있다. 예를 들어, 현재 픽쳐에 할당된 POC 정보와 이웃 블록의 참조 픽쳐에 할당된 POC 정보 간의 차분값을 고려하여 결정될 수 있다. 스케일링된 이웃 블록의 모션 벡터는 모션 벡터 리스트에 추가될 수 있다(S830).
이하, 변이 벡터를 모션 벡터 리스트에 추가하는 방법에 대해서 살펴보기로 한다. 도 3 내지 도 6을 참조하여 살펴본 바와 같이 변이 벡터는 비트스트림으로부터 추출될 수도 있고, 뎁스 픽쳐를 이용하여 유도될 수도 있다. 추출되거나 유도된 변이 벡터는 타겟 블록의 모션 벡터 후보자로서, 모션 벡터 리스트에 추가될 수 있다. 변이 벡터뿐만 아니라, 변이 벡터에 의해 지시된 참조 블록의 모션 벡터 역시 타겟 블록의 모션 벡터 후보자로서, 모션 벡터 리스트에 추가될 수 있음은 물론이다. 다만, 도 3의 실시예와 같이 변이 벡터가 참조 시점의 시점 식별 정보와 함께 쌍으로 전송되는 경우, 변이 벡터를 모션 벡터 리스트에 추가하는 방법에 대해서 도 9를 참조하여 살펴 보기로 한다.
도 9는 본 발명이 적용되는 일실시예로서, 변이 정보에 포함된 변이 벡터를 모션 벡터 리스트에 추가하는 방법을 도시한 것이다.
도 9를 참조하면, 타겟 블록에 대한 변이 정보 및 레퍼런스 인덱스 정보를 비트스트림으로부터 획득할 수 있다(S900). 변이 정보는 참조 시점의 시점 식별 정보와 변이 벡터를 포함한 것으로 앞서 살펴본 바와 같다. 레퍼런스 인덱스 정보는 참조 픽쳐 리스트에 포함된 참조 픽쳐에 할당된 번호로서, 타겟 블록의 참조 픽쳐를 식별하는 정보를 의미할 수 있다. 타겟 블록의 레퍼런스 인덱스 정보에 대응하는 참조 픽쳐 리스트 내의 참조 픽쳐가 속한 시점을 확인할 수 있다(S910). 이는 참조 픽쳐가 속한 시퀀스에 대한 시점 식별 정보에 기초하여 확인할 수 있다. 레퍼런스 인덱스 정보에 대응하는 참조 픽쳐가 속한 시점과 변이 정보에 포함된 참조 시점의 시점 식별 정보에 따른 시점이 동일한지 여부를 비교할 수 있다(S920). S920에 따라 양 시점이 동일하다고 인정되는 경우, 해당 참조 시점의 시점 식별 정보를 포함한 변이 정보 내의 변이 벡터를 모션 벡터 리스트에 추가할 수 있다(S930). 여기서, 타겟 블록을 포함하는 현재 픽쳐가 랜덤 액세스 유닛 내의 넌-베이스 시점에 속하는 경우, 모션 벡터 리스트 내에서 타겟 블록의 변이 벡터는 가장 작은 리스트 식별 정보를 가질 수 있다. 이는 현재 픽쳐가 랜덤 액세스 유닛 및 넌-베이스 시점에 속하는 경우에는 시점 간 예측만이 허용될 것이고, 이는 변이 벡터만이 이용됨을 의미하는 바, 가장 작은 인덱스를 할당함으로써 코딩 효율을 향상시키기 위함이다. 다만, 변이 벡터가 리스트에 추가되는 위치는 이에 한정되지 아니하며, 기존 코덱과의 호환을 위해 모션 벡터 리스트의 마지막에 추가될 수도 있다. 반면, S920에 따라 양 시점이 동일하다고 인정되지 아니하는 경우, 해당 참조 시점의 시점 식별 정보를 포함한 변이 정 보 내의 변이 벡터는 모션 벡터 리스트에 추가되지 아니할 수 있다.
도 7 내지 도 9를 참조하여, 모션 벡터 리스트를 생성하는 방법에 대해서 살펴보았으며, 이하 인터 예측부(700)에서 모션 벡터 리스트로부터 타겟 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.
타겟 블록에 대한 모션 벡터 식별 정보를 비트스트림으로부터 추출할 수 있다. 모션 벡터 식별 정보는 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 리스트 내의 모션 벡터 후보자를 특정하는 정보일 수 있다. 즉, 추출된 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 모션 벡터 리스트로부터 추출하고, 이를 타겟 블록의 예측된 모션 벡터로 설정할 수 있다. 또한, 타겟 블록에 대해 코딩된 모션 벡터 차분값이 비트스트림을 통해 전송될 수 있다. 모션 벡터 차분값은 디코딩된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 있다. 모션 벡터 리스트로부터 획득된 예측된 모션 벡터와 비트스트림으로부터 추출된 모션 벡터 차분값을 이용하여 타겟 블록의 모션 벡터를 디코딩할 수 있다. 디코딩된 모션 벡터 및 참조 픽쳐 리스트를 이용하여 타겟 블록의 픽셀값을 예측할 수 있다. 여기서, 참조 픽쳐 리스트는 시간적 예측을 위한 참조 픽쳐뿐만 아니라 시점 간 예측을 위한 참조 픽쳐를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (8)

  1. 타겟 블록의 변이 벡터를 획득하는 단계;여기서, 상기 변이 벡터는 현재 시점에 속한 상기 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이를 의미함;
    상기 타겟 블록에 대한 모션 벡터 리스트를 결정하는 단계;여기서, 상기 모션 벡터 리스트는 상기 타겟 블록의 예측된 모션 벡터를 위한 모션 벡터 후보자로 구성되고, 상기 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터 및 상기 변이 벡터 중 적어도 하나를 포함함;
    비트스트림으로부터 상기 타겟 블록에 대한 모션 벡터 식별 정보를 추출하는 단계;여기서, 상기 모션 벡터 식별 정보는 상기 타겟 블록의 예측된 모션 벡터로 이용되는 모션 벡터 리스트 내의 모션 벡터 후보자를 특정하는 정보임;
    상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 상기 타겟 블록의 예측된 모션 벡터로 설정하는 단계; 및
    상기 예측된 모션 벡터에 기초하여 모션 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 변이 벡터는 변이 개수 정보에 기초하여 대응되는 참조 시점의 시점 식별 정보와 함께 비트스트림으로부터 추출되되,
    상기 변이 개수 정보는 코딩된 참조 시점의 시점 식별 정보와 변이 벡터 쌍의 개수를 의미하고, 참조 시점의 시점 식별 정보는 상기 현재 시점이 참조하는 상기 이웃 시점의 시점 식별 정보를 의미하는 것을 특징으로 하는 비디오 신호 처리 방법.
  3. 제 1항에 있어서, 상기 변이 벡터를 획득하는 단계는,
    텍스쳐 픽쳐의 상기 타겟 블록의 위치 정보로부터 뎁스 픽쳐의 대응 블록의 위치 정보를 획득하는 단계;
    상기 뎁스 픽쳐의 대응 블록의 위치 정보에 해당하는 뎁스 데이터를 획득하는 단계; 및
    상기 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 상기 타겟 블록의 변이 벡터를 유도하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  4. 제 2항에 있어서,
    상기 변이 벡터는 상기 타겟 블록이 포함된 현재 슬라이스가 랜덤 액세스 유닛에 속하고, 넌-베이스 시점을 가진 경우에 추출되되,
    상기 랜덤 액세스 유닛 내의 픽쳐는 동일 시간 대에 위치한 슬라이스만을 참조하여 코딩되는 픽쳐를 의미하고, 상기 넌-베이스 시점은 베이스 시점이 아닌 시점을 의미하며, 상기 베이스 시점은 시점간 예측없이 다른 시점과 독립적으로 디코딩되는 시점을 의미하는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 3항에 있어서,
    상기 뎁스 픽쳐 내의 뎁스 블록의 변화량에 기초하여 현재 픽셀값에 대해 영역 기반의 적응적 루프 필터를 적용할지 여부를 결정하는 단계;여기서, 상기 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분을 의미함;
    상기 영역 기반의 적응적 루프 필터가 적용되는 경우, 이웃 픽셀값에 가중치를 적용하여 필터링된 현재 픽셀값을 획득하는 단계;여기서, 상기 이웃 픽셀값은 현재 픽셀값을 제외한 뎁스 블록 내에 포함된 픽셀값 중 어느 하나를 의미함;
    를 더 포함하되,
    상기 뎁스 데이터는 상기 영역 기반의 적응적 루프 필터가 적용된 뎁스 픽쳐로부터 획득되는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 1항에 있어서,
    상기 타겟 블록에 대한 모션 벡터 리스트를 결정하는 단계는,
    상기 타겟 블록과 이웃 블록 간의 참조 픽쳐 동일 여부를 확인하는 단계;
    상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일한 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 단계;
    상기 타겟 블록과 상기 이웃 블록 간의 참조 픽쳐가 동일하지 아니한 경우, 상기 이웃 블록의 모션 벡터에 스케일링 팩터를 적용하는 단계;여기서, 상기 스케일링 팩터는 상기 타겟 블록을 포함한 현재 픽쳐와 상기 타겟 블록의 참조 픽쳐 간의 시간적 거리를 고려하여 결정됨; 및
    상기 스케일링된 이웃 블록의 모션 벡터를 상기 모션 벡터 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 1항에 있어서,
    상기 시간적 모션 벡터는 상기 타겟 블록과 동일 시점에 속한 참조 픽쳐 내에서 상기 타겟 블록과 동일 위치의 블록이 가진 모션 벡터를 의미하고, 상기 동일 시점에 속한 참조 픽쳐는 상기 동일 위치의 블록을 포함한 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정되는 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 제 2항에 있어서,
    상기 타겟 블록의 레퍼런스 인덱스 정보를 비트스트림으로부터 추출하는 단계;
    상기 타겟 블록의 레퍼런스 인덱스 정보에 대응하는 참조 픽쳐의 시점과 상기 참조 시점의 시점 식별 정보에 따른 시점이 동일한지 여부를 비교하는 단계; 및
    상기 비교 결과 동일하다고 인정되는 경우, 상기 참조 시점의 시점 식별 정보에 대응하는 변이 벡터를 모션 벡터 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
PCT/KR2013/001726 2012-03-07 2013-03-05 비디오 신호 처리 방법 및 장치 WO2013133587A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/383,491 US9602831B2 (en) 2012-03-07 2013-03-05 Method and apparatus for processing video signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261608078P 2012-03-07 2012-03-07
US61/608,078 2012-03-07

Publications (1)

Publication Number Publication Date
WO2013133587A1 true WO2013133587A1 (ko) 2013-09-12

Family

ID=49117010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001726 WO2013133587A1 (ko) 2012-03-07 2013-03-05 비디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9602831B2 (ko)
WO (1) WO2013133587A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057037A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2654301A4 (en) * 2010-12-14 2016-02-17 M&K Holdings Inc METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070033863A (ko) * 2005-09-22 2007-03-27 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR20080035429A (ko) * 2006-10-19 2008-04-23 엘지전자 주식회사 비디오 신호 디코딩 장치 및, 비디오 신호 디코딩 방법
KR20080064078A (ko) * 2007-01-03 2008-07-08 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR20100105877A (ko) * 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
KR20110006696A (ko) * 2008-04-25 2011-01-20 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
CN103891291A (zh) * 2011-08-30 2014-06-25 诺基亚公司 用于视频编码和解码的设备、方法和计算机程序
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
CN104754356B (zh) * 2011-11-08 2017-09-22 三星电子株式会社 用于在视频编码或解码中的运动矢量确定的方法和设备
WO2013068548A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070033863A (ko) * 2005-09-22 2007-03-27 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
KR20080035429A (ko) * 2006-10-19 2008-04-23 엘지전자 주식회사 비디오 신호 디코딩 장치 및, 비디오 신호 디코딩 방법
KR20080064078A (ko) * 2007-01-03 2008-07-08 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR20100105877A (ko) * 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
KR20110006696A (ko) * 2008-04-25 2011-01-20 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057037A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
US10063887B2 (en) 2013-10-18 2018-08-28 Lg Electronics Inc. Video decoding apparatus and method for decoding multi-view video

Also Published As

Publication number Publication date
US9602831B2 (en) 2017-03-21
US20150049814A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2013169031A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013162273A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
WO2014010935A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2013191436A1 (ko) 비디오 신호 처리 방법 및 장치
CN111698515B (zh) 帧间预测的方法及相关装置
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
Chi et al. A quad-tree and statistics based fast CU depth decision algorithm for 3D-HEVC
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13756993

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14383491

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13756993

Country of ref document: EP

Kind code of ref document: A1