WO2014025239A1 - 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치 - Google Patents

3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치 Download PDF

Info

Publication number
WO2014025239A1
WO2014025239A1 PCT/KR2013/007226 KR2013007226W WO2014025239A1 WO 2014025239 A1 WO2014025239 A1 WO 2014025239A1 KR 2013007226 W KR2013007226 W KR 2013007226W WO 2014025239 A1 WO2014025239 A1 WO 2014025239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
component
image component
video
information
Prior art date
Application number
PCT/KR2013/007226
Other languages
English (en)
French (fr)
Inventor
최지현
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/419,883 priority Critical patent/US9872041B2/en
Priority to EP13827195.2A priority patent/EP2884744B1/en
Priority to CN201380042553.7A priority patent/CN104541508A/zh
Priority to KR1020157002914A priority patent/KR101653319B1/ko
Priority to CA2881141A priority patent/CA2881141C/en
Publication of WO2014025239A1 publication Critical patent/WO2014025239A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present invention relates to a method and apparatus for providing a 3D broadcasting service and receiving and processing the same. More particularly, the present invention relates to a method and apparatus for decoding a texture image component and a depth map image component required for 3D image rendering.
  • 3DTV three-dimensional television
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view (left view) image for viewing in the left eye and a right view (light view) image for viewing in the right eye are provided, and the left eye through polarizing glasses or the display device itself is provided.
  • the right eye and the right eye respectively recognize the 3D image effect by viewing the left view image and the right image.
  • the viewer's position may change every moment.
  • the current 3DTV receiver can feel a proper 3D effect only when watching the 3D content from a fixed viewpoint or position, and thus, the viewer may have a problem of viewing the 3D content at a limited position.
  • the technical problem to be solved by the present invention is to solve the above-described problem, and to allow a viewer to freely select a desired view point and consume 3D content while feeling an appropriate 3D effect. More specifically, the technical task of the present invention is to provide an appropriate broadcast signaling structure, so that the receiver can generate virtual 3D images according to each viewpoint that can vary depending on the viewer.
  • a method of processing a component of a video component for 3D video includes generating at least one texture image component and at least one depth map image component, between the at least one texture image component and at least one depth map image component.
  • SEI Supplemental Enhancement Information
  • the 3D layer information element includes layer image type information for identifying whether a specific image component corresponds to a texture image component or a depth map image component.
  • the 3D layer information element further includes layer image identifier information indicating a viewpoint of the specific image component.
  • the 3D layer information element further includes embedded layer image number information indicating the number of image components to be decoded before decoding the specific image component.
  • the 3D layer information element includes embedded layer image type information for identifying whether an image component to be decoded corresponds to a texture image component or a depth map image component before decoding the specific image component, and The method further includes coding priority information indicating a decoding priority of an image component to be decoded before decoding the specific image component.
  • the method for processing video component transmission for 3D video includes generating an SEI message including a GVR information element signaling information relating to video component reconstruction using an arbitrary access point, and including the GVR information element. Generating a NAL unit including the SEI message.
  • the GVR information element may include GVR identification information indicating whether a specific access unit is a GVR random access point, and in video components to which the GVR is applied, in time than the video component of the current view.
  • GVR identification information indicating whether a specific access unit is a GVR random access point, and in video components to which the GVR is applied, in time than the video component of the current view.
  • 3D extended video number information indicating the number of video components that cannot be decoded when there is no video component, and video identification information identifying the non-decoded video components.
  • the method for transmitting a video component for a 3D video includes generating a SEI message including a 3D video dependency information element for signaling an association between the texture video component and the depth map video component, and the 3D video.
  • the 3D image dependency information element includes information indicating whether an SEI message including the 3D image dependency information element provides information on all image components included in 3D content.
  • an image component receiving apparatus for a 3D image comprises: a tuner for receiving a broadcast signal including at least one texture image component, the at least one depth map image component, and the NAL unit, the broadcast signal A demultiplexer for parsing a NAL unit including a Supplemental Enhancement Information (SEI) message including a 3D layer information element signaling coding related layer information between the one or more texture image components and the one or more depth map image components, and And an image component decoder for decoding the at least one texture image component and the at least one depth map image component using a 3D layer information element included in an SEI message.
  • SEI Supplemental Enhancement Information
  • the 3D layer information element includes layer image type information for identifying whether a specific image component corresponds to a texture image component or a depth map image component.
  • the 3D layer information element further includes embedded layer image number information indicating the number of image components to be decoded before decoding the specific image component.
  • the 3D layer information element includes embedded layer image type information for identifying whether an image component to be decoded corresponds to a texture image component or a depth map image component before decoding the specific image component, and The method further includes coding priority information indicating a decoding priority of an image component to be decoded before decoding the specific image component.
  • the demultiplexer further parses a NAL unit including an SEI message including a GVR information element signaling information relating to video component reconstruction using an arbitrary access point
  • the video component decoder is further configured to include the GVR information.
  • the GVR information element indicates whether a particular access unit is a GVR arbitrary access point.
  • GVR identification information, 3D extended video number information indicating the number of video components that cannot be decoded when there is no video component temporally ahead of the video component at the current time in the video components to which the GVR is applied, and the non-decoded video components Image to identify It includes specific information.
  • the demultiplexer further parses a NAL unit comprising an SEI message comprising a 3D image dependent information element signaling an association between the texture image component and the depth map image component, wherein the image component decoder And further using the 3D image dependent information element to decode the at least one texture image component and the at least one depth map image component, wherein the 3D image dependent information element comprises the 3D image dependent information element. It includes information indicating whether the message provides information on all image components included in the 3D content.
  • an image component transmission processing method for a 3D image may include generating at least one texture image component and at least one depth map image component, between the at least one texture image component and at least one depth map image component.
  • embedded layer image number information indicating the number of image components to be decoded before decoding the specific image component, wherein the one or more texture image components, the one or more depth map image components, and an image are displayed.
  • a step of generating a broadcast signal including 3D hierarchy descriptor including 3D hierarchy descriptor.
  • the 3D layer information descriptor is included in PMT, VCT, or SDT.
  • the 3D layer information descriptor may include embedded layer image type information for identifying whether an image component to be decoded corresponds to a texture image component or a depth map image component before decoding the specific image component.
  • the method further includes coding priority information indicating a decoding priority of an image component to be decoded before decoding a specific image component.
  • a new left image and a right image can be generated in the receiver, and the stereoscopic effect can be adjusted using this combination.
  • FIG. 1 is a diagram illustrating a part of a receiver for generating a 3D image of an arbitrary view according to an embodiment of the present invention.
  • FIG 2 illustrates video data and depth elements for 3D content, in accordance with an embodiment of the invention.
  • FIG. 3 is a diagram illustrating a coding mode for coding a 3D image according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a structure of an encoder according to a coding mode according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a procedure of coding a texture image and a depth map image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a coding order of each image component in one access unit according to an embodiment of the present invention.
  • FIG. 7 illustrates a gradual view refresh (GVR) access unit according to an embodiment of the present invention.
  • GVR gradual view refresh
  • FIG. 8 is a diagram illustrating decoding using stepped screen switching (GVR) according to an embodiment of the present invention.
  • FIG 9 illustrates a 3D view dependency descriptor according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a value of a depth_hor_upsampling_factor field and a depth_ver_upsampling_factor field according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a location of a 3D view dependency descriptor in a PMT according to an embodiment of the present invention.
  • FIG. 12 illustrates a 3D hierarchy descriptor according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating values of a hor_upsampling_factor field and a ver_upsampling_factor field according to an embodiment of the present invention.
  • FIG. 14 illustrates a location of a 3D hierarchy descriptor in a PMT according to an embodiment of the present invention.
  • 15 is a diagram illustrating meaning according to a value of a stream_type field according to an embodiment of the present invention.
  • 16 is a diagram illustrating signaling of a video level, according to an embodiment of the present invention.
  • 17 is a diagram illustrating syntax of an SEI message when 3D view dependency info is transmitted through an SEI payload according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating syntax of an SEI message when a 3D hierarchy info is transmitted through an SEI payload according to an embodiment of the present invention.
  • 19 is a diagram illustrating syntax of an SEI message when 3D hierarchy info is transmitted through an SEI payload according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating the contents of a NAL unit and a syntax structure of an RBSP according to a value of nal_unit_type according to an embodiment of the present invention.
  • 21 is a diagram for describing a decoding operation of a receiver using 3D hierarchy Info according to an embodiment of the present invention.
  • FIG. 22 illustrates a 3D hierarchy Info for decoding operation of the receiver of FIG. 21 according to an embodiment of the present invention.
  • FIG. 23 is a diagram showing the structure of a 3DTV receiver according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a part of a receiver for generating a 3D image of an arbitrary view according to an embodiment of the present invention.
  • a left image (or a left video) of stereo 3D content a texture view constituting a right image (or a right video), and a depth map corresponding to each texture image
  • a depth map view a texture view constituting a right image (or a right video)
  • the texture image corresponds to an image image composed of pixels.
  • Texture image 0 may be used to generate a left image necessary for reproducing 3D content
  • texture view 1 may be used to generate a right image required for reproducing 3D content.
  • the depth map image is an image or data including information for giving a depth to each of the left image and the right image constituting the 3D content.
  • the depth map image may include depth information of specific points in each image of the left image and the right image constituting the 3D content.
  • the depth map image may include depth information about each pixel in the image, and may include depth information about pixels of a specific unit.
  • the depth map image may provide depth information about an object included in the image.
  • the depth map image may include depth information about one or more viewpoints. That is, the depth map image may include one or more depth information about a pixel, a set of pixels, or objects in the image, and each depth information may be depth information corresponding to each viewpoint.
  • the image synthesis unit may generate a left image and a right image included in the 3D content by using the texture image (the texture image for the left image and the texture image for the right image) and the depth map image.
  • the image analyzer may use a camera parameter including environment information of a camera photographing the 3D content in addition to the depth map image.
  • the camera parameter may include a distance between the camera, a distance between the camera and a photographing target, an angle between the cameras, a height of the camera, and / or setting information of the camera itself.
  • the 3D formatter generates a 3D image by rendering the left image and the right image generated by the image analyzer.
  • FIG 2 illustrates video data and depth elements for 3D content, in accordance with an embodiment of the invention.
  • depth information about the texture image and the texture image may be provided.
  • depth information about the texture image and the texture image may be provided in one program unit, service unit, or channel unit.
  • the depth information may be the above-described depth map image.
  • the receiver needs to distinguish between the depth information of the texture image and the texture image, and determine which depth information is applied to which texture image. Therefore, it is necessary to transmit signaling information about this through a broadcast signal.
  • FIG. 3 is a diagram illustrating a coding mode for coding a 3D image according to an embodiment of the present invention.
  • the 3D video may be coded with AVC (Advanced Video Coding).
  • 3D video may be coded by Multiview Video Coding (MVC).
  • MVC Multiview Video Coding
  • the 3D image may be coded in at least two modes.
  • the “3D High” mode is a mode in which AVC and / or MVC, which was applied only to a texture image (or texture data), is also applied to depth data (or depth map image and depth information).
  • the texture image can be compatible with the MVC codec.
  • the base layer image may be compatible with both AVC and MVC codec. According to this mode, coding of the texture image and coding of the depth data are independently performed.
  • the “3D Extended High” mode is a method in which the coding of the texture image and the depth data based on AVC and / or MVC is not independent but mutually influenced and coded.
  • the texture image can be compatible with the AVC codec.
  • the base layer image may be compatible with both AVC and MVC codec. This mode is generally better coding efficiency than the "3D High” mode.
  • FIG. 4 is a diagram illustrating a structure of an encoder according to a coding mode according to an embodiment of the present invention.
  • FIG. 4A shows the structure of an encoder according to the “3D High” mode. It may be coded with AVC and / or MVC of the texture pictures T0 and T1.
  • the depth data D0 and D1 may be coded in AVC and / or MVC separately from the texture image, and there is no dependency between the depth data D0 and D1 and the texture image T0 and T1, thereby providing depth data.
  • Each of the (D0, D1) and the texture image (T0, T1) may be separately decoded.
  • the texture images T0 and T1 and the depth data D0 and D1 may be coded with AVC and / or MVC. However, coding of the texture image and coding of the depth data are performed with dependencies on each other. Therefore, the texture image and the depth data must be decoded together.
  • the base texture view (T0) may be compatible with the AVC codec in any mode.
  • FIG. 5 is a diagram illustrating a procedure of coding a texture image and a depth map image according to an embodiment of the present invention.
  • the bit stream may be encoded for each video component, and the decoding order may be performed for each video component. That is, the texture image component for the left image (texture of view 0), the component for the right image (texture of view 1), the depth map image for the left image (depth map of view 0), and the depth map for the right image An image (depth map of view 1) may be encoded and transmitted in each bit stream, and processing of data of another image component may not be performed before processing of data of one image component is terminated.
  • the bit stream may be encoded for each access unit, and the decoding order may be performed for each access unit. That is, one left image frame, one right image frame, one depth map frame for one left image frame, and one depth map frame for one right image frame may be included in one access unit.
  • the unit may be encoded and transmitted in a bit stream. Before the processing for data included in one access unit is finished, the processing for data included in another access unit may not be performed.
  • the texture image component of the AVC / MVC compatible image may be coded to be located before the corresponding depth map image component. That is, the texture image 0 may be coded to be positioned first among image components for a specific viewpoint.
  • the encoding may be encoded according to the dependency of the texture image component and the depth map image component.
  • FIG. 6 is a diagram illustrating a coding order of each image component in one access unit according to an embodiment of the present invention.
  • texture image 0 is encoded first, and texture image 1 having a dependency thereon is encoded. Thereafter, depth map image 0 for texture image 0 is encoded, and depth map image 1 for texture image 1 with dependency thereon is encoded.
  • both texture image 0 and texture image 1 may be texture images compatible with AVC / MVC.
  • texture image 0 is encoded first, and depth map image 0 for texture image 0 is encoded. Thereafter, texture image 1 is encoded with dependency on texture image 0, and depth map image 1 for texture image 1 is encoded with dependency with depth map image 0.
  • both texture image 0 and texture image 1 may be texture images compatible with AVC / MVC.
  • texture image 0 is encoded first, and depth map image 0 for texture image 0 is encoded.
  • the depth map image 0 may have a dependency on the texture image 0.
  • the depth map image 1 for the texture image 1 is encoded.
  • the depth map image 1 may have a dependency on the depth map image 0.
  • texture image 1 is encoded.
  • Texture image 1 may have a dependency on texture image 0.
  • the texture image 1 may have a dependency on the depth map image 1.
  • texture image 0 may be AVC / MVC compatible, but texture image 1 may not be compatible with MVC.
  • the fact that the B picture has a dependency on the A picture means that a specific element of the A picture may be used in the encoding process of the B picture. In this case, the A picture must be decoded first in the decoding process so that the B picture can be completely decoded.
  • encoding of the B picture may be performed by encoding data about a difference between the original A picture and the original B picture.
  • encoding of the B picture may be performed by encoding additional information about some pixels of the A picture.
  • FIG. 7 illustrates a gradual view refresh (GVR) access unit according to an embodiment of the present invention.
  • GVR gradual view refresh
  • the GVR precisely decodes the pre-selected viewpoints and allows the rest of the viewpoints to be recovered using a synthesis technique.
  • GVR is a kind of random access point that can be used in 3D video coding and has a high compression efficiency compared to the existing Random access point Instantaneous Decoding Refresh (IDR).
  • the random access point refers to a function for reproducing a video (or a frame) at a corresponding time point or after the corresponding time point when data is received in the middle of a bit string of the video data.
  • the left and right images constituting the 3D image may be immediately acquired at the corresponding time point.
  • the GVR may not immediately acquire the left and right images at that point in time, and may include one of the left and right images, or Part of the left or right image can be acquired. Thereafter, both left and right images may be acquired gradually. That is, according to the GVR, a complete left image and a right image may be acquired from a specific time point after the receiver approaches the bit string.
  • inter prediction is not used in IDR and anchor access units, some limited inter prediction is used for GVR access units, and image synthesis is used.
  • signaling of the GVR access unit may be transmitted through an SEI message and a NAL unit header.
  • Images belonging to each count may be reconstructed through prediction using images belonging to adjacent counts.
  • a P frame may be derived from an I frame (I picture) in one GVR access unit.
  • each P frame for a left image and a right image may be obtained using an I frame included in one GVR access unit.
  • FIG. 8 is a diagram illustrating decoding using stepped screen switching (GVR) according to an embodiment of the present invention.
  • a texture image component and a depth map image component to which inter prediction is not applied are first decoded.
  • “Non-refreshed” images are reconstructed through image analysis (eg depth-image-based rendering; DIBR).
  • DIBR depth-image-based rendering
  • the image reconstructed through the image analysis may have an approximate shape without completely reconstructing the original image.
  • the complete image may be restored. For example, in FIG. 8, the complete image is restored when the images corresponding to the count 30 are reached.
  • FIG 9 illustrates a 3D view dependency descriptor according to an embodiment of the present invention.
  • the 3D view dependency descriptor according to the present invention may be included in a program map table (PMT), a virtual channel table (VCT), or an event information table (EIT) of an ATSC system.
  • PMT program map table
  • VCT virtual channel table
  • EIT event information table
  • the 3D view dependency descriptor may be included in a service description table (SDT) or an event information table (EIT) of the DVB system and transmitted. According to the table in which the 3D view dependency descriptor is transmitted, it is determined whether signaling is performed at the service level, the program level, or the event level.
  • the 3D view dependency descriptor signals a connection relationship between the texture image and the depth map image included in the broadcast program, the broadcast channel, or the broadcast service, and provides information about dependency in coding between the images.
  • the 3D view dependency descriptor may include information on whether the GVR technique is used as an arbitrary access point.
  • the receiver When reconstructing an image using GVR, the receiver must support depth-image-based rendering (DIBR) function, and thus can provide information on whether the GVR technique is used at the system level. In this case, corresponding information may be transmitted through an SEI message or a NAL unit header of video data.
  • DIBR depth-image-based rendering
  • the 3D view dependency descriptor may include a 3D_mode field, view_ID field, view_PID field, independent_texture_coding_flag field, existence_of_corresponding_depth field, depth_PID field, depth_hor_upsampling_factor field, depth_ver_upsampling_factor field, GVR_included field, and / or cam_param_included.
  • the 3D_mode field is a field indicating coding dependency information between the texture image and the depth map image. For example, if this field is 0, it indicates the “3D High” mode (if the texture image and the depth map image are coded independently of each other). If this field is 1, it indicates the “3D Extended High” mode (the texture image and the depth map. High coding efficiency due to dependence between images).
  • a receiver that wants to acquire only the texture image can decode the texture image without decoding the depth map image.
  • the receiver should utilize the decoding result of the depth map image when decoding the texture image. Or, the receiver should utilize the decoding result of the texture image when decoding the depth map image.
  • the view_ID field is an identifier indicating a viewpoint of the texture video component.
  • the view_ID value for the depth map image component has the same value as that of the view_ID value of the texture image component.
  • the view_PID field is a PID value of an ES stream for transmitting a texture video component.
  • the independent_texture_coding_flag field represents whether independent coding for each texture image is possible. For example, since texture image 0 (T0) can be independently coded by default, this field is not necessarily required, and when used, it has a value of '1'. For the remaining texture images (eg, T1), it may be determined whether independent decoding is possible through this field.
  • the existence_of_corresponding_depth field is a field indicating whether a depth map image component corresponding to the texture image component is signaled. For example, a value of '0' indicates that only a texture image component exists, and a value of '1' indicates that both a texture image component and a depth map image component exist.
  • the depth_PID field is a value signaled when the existence_of_corresponding_depth field is '1' and is a PID value of an ES stream for transmitting a depth map image component corresponding to a texture image component.
  • the depth_hor_upsampling_factor field is a field for indicating information of a horizontal upsampling factor required in a process of restoring an image after the depth map image component corresponding to the texture image component is decoded.
  • the depth_ver_upsampling_factor field is a field for indicating information of a vertical upsampling factor required in a process of restoring an image after the depth map image component corresponding to the texture image component is decoded.
  • the transmitter may rescale and transmit the resolution of the depth map image component.
  • the receiving end needs to be rescaled when applying the corresponding depth map image in 3D image analysis.
  • the receiver may process the reference by referring to an upsampling factor (eg, depth_hor_upsampling_factor field or depth_ver_upsampling_factor field). This upsampling factor can also be specified for texture image components, if necessary.
  • depth_hor_upsampling_factor field and / or the depth_ver_upsampling_factor field may have and a description thereof will be described later.
  • the GVR_included field represents whether an image can be restored by the GVR technique. For example, if the GVR_included field is 0, it indicates that the GVR picture is included in the program, channel, or service. If the GVR_included field is 1, the GVR picture is not included in the program, channel, or service. Indicates. Since the GVR can be used as a random access point only when DIBR function is provided to the receiving end, receivers that do not support DIBR use this field value to enable random access point of the current program, channel or service. It is possible to determine in advance whether all points) are accessible or not.
  • the cam_param_included field is a field indicating whether a camera parameter is signaled for a specific image. Camera parameters may be required for the GVR to be used as a random access point. In this case, the receiver may know whether GVR support is possible through this field. In general, when a broadcaster sends a GVR, camera parameters can also be sent, but if the camera parameters are sent by a separate path other than the video header, the receiver can use this field to identify whether or not the camera parameters are provided. Can be.
  • All texture images may be signaled using a for loop of the texture image included in the 3D View dependency descriptor, or only some texture images may be signaled.
  • the number of for loops may be executed by including the num_of_views field in the 3D View dependency descriptor.
  • the 3D_mode field is 1, that is, in the “3D Extended High” mode, a method of informing hierarchical information between image components in terms of decoding order is required. That is, there must be a signaling method for notifying at the system level the dependency information between the texture image component and the depth map image component included in the program, channel, or service, which is to extend Hierarchy_descriptor, which is a descriptor of the existing MPEG-2 system, Alternatively, a method of signaling by including related information in a 3D view dependency descriptor or a method of separately designating and signaling a 3D hierarchy descriptor may be used. More details will be described later.
  • FIG. 10 is a diagram illustrating a value of a depth_hor_upsampling_factor field and a depth_ver_upsampling_factor field according to an embodiment of the present invention.
  • a value of the depth_hor_upsampling_factor field indicates that the upsampling factor is applied in the horizontal direction of the image frame, and a value of the depth_ver_upsampling_factor field indicates that the corresponding upsampling factor is applied in the vertical direction of the image frame.
  • the decoder may separately check information included in the video elementary stream to obtain accurate upsampling factor information.
  • the value of the depth_hor_upsampling_factor field or the depth_ver_upsampling_factor field is '0011', it indicates that the coding resolution of the depth map image component is 3/4 of the coding resolution of the texture image component.
  • FIG. 11 is a diagram illustrating a location of a 3D view dependency descriptor in a PMT according to an embodiment of the present invention.
  • the PMT includes the following.
  • It may include a table_id field, section_syntax_indicator field, section_length field, program_number field, version_number field, current_next_indicator field, section_number field, last_section_number field, PCR_PID field, program_info_length field, stream_type field, elementary_PID field, ES_info_length field and / or CRC_32 field.
  • the table_id field is an 8-bit field and may be set to a value of 0x02 to indicate that it is TS_program_map_section.
  • the section_syntax_indicator field is set to 1 as 1 bit.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the number of bytes in the section, and indicates the length from this field to the CRC.
  • the program_number field consists of 16 bits. This indicates to which program the program_map_PID is applicable.
  • One program definition is transmitted by only one TS_program_map_section.
  • the version_number field represents the version of the virtual channel. Increment by 1 for every change in the VCT. When the version value reaches 31, the next version value is 0. The value of this field may have the same value as the same field value of the MGT.
  • the current_next_indicator field consists of 1 bit and the value is set to 1 when the VCT is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the section_number field identifies the number of the section. For example, the value of this field for PMT is set to 0x00.
  • the last_section_number field identifies the number of the last section. For example, the value of this field for PMT is set to 0x00.
  • the PCR_PID field means a PID of a TS that consists of 13 bits and includes a PCR field valid for a program described by a program number.
  • the program_info_length field may consist of 12 bits, and the first two bits have a value of 00. The remaining 10 bits represent the descriptor following this field in number of bytes.
  • the stream_type field may consist of 8 bits and indicates the type of a program element transmitted by a packet having a PID value of a basic PID.
  • the elementary_PID field may consist of 13 bits and indicate a PID of a TS including a related program element.
  • the ES_info_length field may consist of 12 bits, and the first two bits are 00. The remaining 10 bits represent the descriptor of the associated program element following this field in number of bytes.
  • the descriptor following the ES_info_length field may be a 3DTV service location descriptor.
  • the CRC_32 field indicates a CRC value that causes a zero output of a register in the decoder.
  • the 3D view dependency descriptor may be included in an area where a program level descriptor may be located in the PMT. That is, the 3D view dependency descriptor may be included in the for loop below the program_info_length field.
  • the 3D View dependency descriptor when transmitted to the VCT, it may be located in a channel level descriptor loop of the VCT.
  • the 3D View dependency descriptor when the 3D View dependency descriptor is transmitted to the SDT, the 3D View dependency descriptor may be located in the service level descriptor loop and may be set to include information on all images in the 3D View dependency descriptor.
  • FIG. 12 illustrates a 3D hierarchy descriptor according to an embodiment of the present invention.
  • the 3D hierarchy descriptor includes coding related hierarchical information of a texture image component and a depth map image component constituting a program in a broadcasting system based on 3D video coding.
  • the 3D hierarchy descriptor may be located at an elementary stream level of the PMT.
  • the 3D hierarchy descriptor may include information of an image component required for decoding the corresponding ES stream.
  • the 3D hierarchy descriptor may include a hierarchy_view_type field, a hierarchy_view_ID field, a num_hierarchy_embeded_views field, a hierarchy_embeded_view_type field, a hierarchy_embeded_view_ID field, a coding_priority_index field, a hor_upsampling_factor field, and / or a ver_upsampling_factor field.
  • the hierarchy_view_type field is a field indicating the type of a video component. For example, if the value of this field is '0', it means that the image component is a texture image component. If the value of this field is '1', it means that the image component is a depth map image component.
  • the hierarchy_view_ID field is a view identifier indicating a viewpoint of an image component.
  • the num_hierarchy_embeded_views field is a field indicating the number of video components to be decoded before decoding the video components. For example, when there is a dependency between video components, there may be a video component necessary to decode the current video component. In this case, the receiver may know the number of video components required through the num_hierarchy_embeded_views field.
  • the hierarchy_embeded_view_type field is a field for indicating what kind of video component should be decoded before decoding the video component. For example, if the value of the hierarchy_embeded_view_type field is '0', it means a texture image component. If the value of the hierarchy_embeded_view_type field is '1', it means 'depth map image.'
  • the hierarchy_embeded_view_ID field is a view identifier indicating a viewpoint of an image component to be decoded before decoding the image component.
  • the receiver may find an image component necessary for decoding the current image component through the hierarchy_embeded_view_ID field. Alternatively, the receiver may find the necessary image component by using a combination of the hierarchy_embeded_view_type field and the hierarchy_embeded_view_ID field.
  • the coding_priority_index field is a field indicating a decoding priority of a video component to be decoded before decoding the video component. This field may be replaced with the value of the view_index field. This field is a field for signaling the priority when there are two or more streams to be decoded first.
  • the hor_upsampling_factor field is a field for indicating information of a horizontal upsampling factor required in a process of restoring an image component after the image component is decoded.
  • the ver_upsampling_factor field is a field for indicating information of a vertical upsampling factor required in a process of restoring an image component after the image component is decoded.
  • the transmitter may rescale and transmit the resolution of an image component.
  • the receiving end needs to be rescaled when the corresponding video component is applied, and can be processed by referring to an upsampling factor (eg, a hor_upsampling_factor field and / or a ver_upsampling_factor field).
  • an upsampling factor eg, a hor_upsampling_factor field and / or a ver_upsampling_factor field.
  • FIG. 13 is a diagram illustrating values of a hor_upsampling_factor field and a ver_upsampling_factor field according to an embodiment of the present invention.
  • a value of the hor_upsampling_factor field indicates that the upsampling factor is applied in the horizontal direction of the image frame
  • a value of the ver_upsampling_factor field indicates that the upsampling factor is applied in the vertical direction of the image frame.
  • the decoder may separately check information included in the video elementary stream to obtain accurate upsampling factor information.
  • the hor_upsampling_factor field or the ver_upsampling_factor field When the value of the hor_upsampling_factor field or the ver_upsampling_factor field is '0011', it indicates that the coding resolution of the image component is 3/4 of the coding resolution of the base texture image component.
  • FIG. 14 illustrates a location of a 3D hierarchy descriptor in a PMT according to an embodiment of the present invention.
  • the 3D hierarchy descriptor may be included in an area where a program lever descriptor of the PMT is located.
  • an additional stream_type field may also be newly signaled. That is, since streams related to 3D coding are new streams that were not present in the existing AVC / MVC, the new stream_type field is assigned a value, and receivers compatible only with the existing AVC / MVC are designed to ignore the stream corresponding to the value of the specific stream_type field. As a result, backward compatibility between the new signaling system and the existing system can be maintained.
  • 15 is a diagram illustrating meaning according to a value of a stream_type field according to an embodiment of the present invention.
  • 3D enhancement streams can be classified into three categories.
  • the AVC / MVC compatible depth map image component may be divided into an AVC compatible depth map image component and an MVC compatible depth map image component.
  • the value of the stream_type field may be set to '0x24'.
  • the value of the stream_type field may be set to '0x25'.
  • the value of the stream_type field may be set to '0x26'.
  • the stream_type field may indicate that the texture video component is coded in a new manner, which is not compatible with AVC or MVC.
  • the texture image component may be coded by inter-layer prediction using a depth map image component.
  • the value of the stream_type field may be set to '0x27'.
  • the stream_type field may indicate that the depth map image component is coded in a new manner that is not AVC or MVC compatible.
  • the depth map image component may be coded by inter-layer prediction using the texture image component.
  • a 3D Hierarchy descriptor may be transmitted to the VCT. Basically, it can be designed to have the same function as the 3D Hierarchy descriptor defined in PMT, and the following can be additionally considered.
  • the 3D Hierarchy descriptor When the 3D Hierarchy descriptor is included in the VCT, since it is a channel level descriptor, the level described is different from the 3D Hierarchy descriptor of the PMT signaled for each element stream. That is, the 3D Hierarchy descriptor included in the PMT needs a different configuration from the ES level descriptor. Therefore, in order to signal the characteristics of each stream included in the channel, a method such as listing the characteristics of each component by including a for loop in the 3D Hierarchy descriptor can be used. In this case, a field commonly applied to all streams is for You can pull it out of the loop.
  • the receiver may determine which ES stream the information included in the 3D Hierarchy descriptor is applied to through the added field.
  • the 3D Hierarchy descriptor may be transmitted in the SDT. In this case, it can basically be designed to have the same function as the 3D Hierarchy descriptor defined in the PMT, and the following may be additionally considered.
  • the 3D Hierarchy descriptor is a service level descriptor
  • the level described in the 3D Hierarchy descriptor of the PMT signaled for each element stream is different. That is, the 3D Hierarchy descriptor included in the PMT needs a different configuration from the ES level descriptor. Therefore, in order to signal the characteristics of each stream included in the channel, a method such as listing the characteristics of each component by including a for loop in the 3D Hierarchy descriptor can be used. In this case, a field commonly applied to all streams is You can pull it out of the loop.
  • a field including a component_tag value of the corresponding stream may be added. Through this field, the receiver can determine to which ES stream the information included in the 3D Hierarchy descriptor is applied.
  • the content corresponding to the newly designated stream_type field may be newly designated and may be signaled to be represented by a combination of the stream_content field and the component_type field of the component descriptor.
  • 16 is a diagram illustrating signaling of a video level, according to an embodiment of the present invention.
  • information included in the above-described 3D View dependency descriptor, information included in the 3D Hierarchy descriptor, and / or GVR related information may be transmitted at the video level.
  • the information may be transmitted to a Supplemental Enhancement Information (SEI) area including information to assist processes such as decoding and output.
  • SEI Supplemental Enhancement Information
  • 3D_view_dependency_info SEI message, 3D_hierarchy_info SEI message and GVR_info SEI message which are entered into the video level for transmission of 3D View dependency Info, 3D Hierarchy Info, and GVR Info information in SEI, respectively, or 3D View dependency Info, 3D Hierarchy Info, It is also possible to specify two or more pieces of GVR Info information by integrating them into one SEI message.
  • the SEI payloadType element When transmitting 3D View dependency Info, 3D Hierarchy Info, and GVR Info in each SEI message, it is possible to signal what information the SEI payload includes through the value of the payloadType element. For example, when the value of the payloadType element is '48', it may represent that the 3D view dependency info is transmitted through the SEI payload. When the value of the payloadType element is '49', it may represent that the 3D hierarchy info is transmitted through the SEI payload. When the value of the payloadType element is '50', it may represent that GVR info is transmitted through the SEI payload. In addition, the payloadSize element may signal the size of information included in the SEI payload.
  • 17 is a diagram illustrating syntax of an SEI message when 3D view dependency info is transmitted through an SEI payload according to an embodiment of the present invention.
  • the SEI message for transmitting the 3D view dependency info includes a 3D_view_dependency_info_id field, a 3D_complete_views_or_not_flag field, a 3D_mode field, a view_ID field, an independent_texture_coding_flag field, an existence_of_corresponding_depth field, a GVR_included field, and / or include / includedparameter, and / or include / includedparameter.
  • the 3D_view_dependency_info_id field represents an identification number for identifying a combination of information included in an SEI message for transmitting 3D view dependency info.
  • the 3D_complete_views_or_not_flag field is a field indicating whether the content included in the SEI message is applied to all images included in the current program (or channel, service, or operation point).
  • the 3D_mode field is a field indicating coding dependency information between the texture image and the depth map image. For example, if this field is 0, it indicates the “3D High” mode (if the texture image and the depth map image are coded independently of each other). If this field is 1, it indicates the “3D Extended High” mode (the texture image and the depth map. High coding efficiency due to dependence between images).
  • a receiver that wants to acquire only the texture image can decode the texture image without decoding the depth map image.
  • the receiver should utilize the decoding result of the depth map image when decoding the texture image. Or, the receiver should utilize the decoding result of the texture image when decoding the depth map image.
  • the view_ID field is an identifier indicating a viewpoint of the texture video component.
  • the view_ID value for the depth map image component has the same value as that of the view_ID value of the texture image component.
  • the independent_texture_coding_flag field represents whether independent coding for each texture image is possible. For example, since texture image 0 (T0) can be independently coded by default, this field is not necessarily required, and when used, it has a value of '1'. For the remaining texture images (eg, T1), it may be determined whether independent decoding is possible through this field.
  • the existence_of_corresponding_depth field is a field indicating whether a depth map image component corresponding to the texture image component is signaled. For example, a value of '0' indicates that only a texture image component exists, and a value of '1' indicates that both a texture image component and a depth map image component exist.
  • the GVR_included field represents whether an image can be restored by the GVR technique. For example, if the GVR_included field is 0, it indicates that the GVR picture is included in the program, channel, or service. If the GVR_included field is 1, the GVR picture is not included in the program, channel, or service. Indicates. Since the GVR can be used as a random access point only when DIBR function is provided to the receiving end, receivers that do not support DIBR use this field value to enable random access point of the current program, channel or service. It is possible to determine in advance whether all points) are accessible or not.
  • the cam_param_included field is a field indicating whether a camera parameter is signaled for a specific image. Camera parameters may be required for the GVR to be used as a random access point. In this case, the receiver may know whether GVR support is possible through this field. In general, when a broadcaster sends a GVR, camera parameters can also be sent, but if the camera parameters are sent by a separate path other than the video header, the receiver can use this field to identify whether or not the camera parameters are provided. Can be.
  • FIG. 18 is a diagram illustrating syntax of an SEI message when a 3D hierarchy info is transmitted through an SEI payload according to an embodiment of the present invention.
  • the SEI message for transmitting the 3D hierarchy info may include a 3D_hierarchy_info_id field, a hierarchy_view_type field, a hierarchy_view_ID field, a num_hierarchy_embeded_views field, a hierarchy_embeded_view_type field, a hierarchy_embeded_view_ID field, and / or a coding_priority_index field.
  • the 3D_hierarchy_info_id field represents an identification number for identifying a combination of information included in an SEI message for transmitting 3D hierarchy info.
  • the hierarchy_view_type field is a field indicating the type of a video component. For example, if the value of this field is '0', it means that the image component is a texture image component. If the value of this field is '1', it means that the image component is a depth map image component.
  • the hierarchy_view_ID field is a view identifier indicating a viewpoint of an image component.
  • the num_hierarchy_embeded_views field is a field indicating the number of video components to be decoded before decoding the video components. For example, when there is a dependency between video components, there may be a video component necessary to decode the current video component. In this case, the receiver may know the number of video components required through the num_hierarchy_embeded_views field.
  • the hierarchy_embeded_view_type field is a field for indicating what kind of video component should be decoded before decoding the video component. For example, if the value of the hierarchy_embeded_view_type field is '0', it means a texture image component. If the value of the hierarchy_embeded_view_type field is '1', it means 'depth map image.'
  • the hierarchy_embeded_view_ID field is a view identifier indicating a viewpoint of an image component to be decoded before decoding the image component.
  • the receiver may find an image component necessary for decoding the current image component through the hierarchy_embeded_view_ID field. Alternatively, the receiver may find the necessary image component by using a combination of the hierarchy_embeded_view_type field and the hierarchy_embeded_view_ID field.
  • the coding_priority_index field is a field indicating a decoding priority of a video component to be decoded before decoding the video component. This field may be replaced with the value of the view_index field. This field is a field for signaling the priority when there are two or more streams to be decoded first.
  • 19 is a diagram illustrating syntax of an SEI message when GVR info is transmitted through an SEI payload according to an embodiment of the present invention.
  • GVR generates a video corresponding to an enhancement stream through video analysis, so that the GVR acts as a random access point.
  • the GVR Info SEI message can be signaled in the form of sticking to each Access Unit, which is a GVR Random Access Point, and an image that cannot be output only by the decoding process in the corresponding Access Unit (that is, a view that can be obtained only by restoring by applying DIBR at the receiver). I can tell you what the ID is).
  • the GVR Info SEI message includes a GVR_flag field, a num_3D_extended_views field, and / or a view_ID field.
  • the GVR_flag field identifies whether the 3D video is a GVR picture or not. That is, when the value of the GVR_flag field is '1', it means that the corresponding Access Unit is a GVR Random Access Point.
  • the num_3D_extended_views field is a field indicating the number of images that cannot be decoded when there is no previous picture in time in the GVR.
  • the num_3D_extended_views field represents the number of images that can be restored by applying DIBR.
  • the num_3D_extended_views field may provide information on how many more images to decode in the future to obtain a complete image.
  • the view_ID field is a view identifier indicating a viewpoint of an image component.
  • the view_ID field plays a role of identifying an image to which DIBR is to be applied while rotating a for loop by the number of images identified by the num_3D_extended_views field.
  • the view_ID field performs a for loop as many as the number of images identified by the num_3D_extended_views field, and serves to identify an image that cannot be completely restored.
  • FIG. 20 is a diagram illustrating the contents of a NAL unit and a syntax structure of an RBSP according to a value of nal_unit_type according to an embodiment of the present invention.
  • a value for the NAL unit of the enhanced layer may be newly assigned to the nal_unit_type value of the NAL unit header. Accordingly, the existing receiver may not recognize the corresponding value, so that 3D View dependency Info, 3D hierarchy Info, and / or GVR Info may not be used in the existing receiver.
  • the information signaled by the 3D View dependency Info SEI message, the 3D hierarchy Info SEI message, and / or the GVR Info SEI message is defined in the form of nal_unit_header_3D_extension () to be signaled through nal_unit_header. Can be.
  • the case where the nal_unit_type value is 21 is newly defined.
  • a 3D view dependency SEI message, a 3D hierarchy SEI message, and / or a GVR info SEI message may be included in the NAL Unit and transmitted.
  • the receiver When transmitting 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info in the form of an SEI message to inform 3D view dependency / 3D hierarchy / GVR related information at the video level, the receiver may operate as follows.
  • the receiver may receive 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info via SEI raw byte sequence payload (RBSP).
  • RBSP SEI raw byte sequence payload
  • the receiver parses the AVC NAL unit, recognizes SEI data when the nal_unit_type value is 6, and uses the corresponding information by reading a 3D view dependency Info SEI message having a payloadType of 48.
  • the receiver parses the AVC NAL unit, recognizes SEI data when the nal_unit_type value is 6, and uses the corresponding information by reading a 3D hierarchy Info SEI message having a payloadType of 49.
  • the receiver parses the AVC NAL unit, recognizes that the SAL data is nal_unit_type value of 6, and uses the corresponding information by reading a GVR Info SEI message having a payloadType of 50.
  • the receiver parses the 3D_view_dependency_info SEI message to obtain 3D acquisition information and dependency information of an image.
  • the receiver parses the 3D_hierarchy_info SEI message to obtain 3D hierarchy information.
  • the receiver parses the GVR_info SEI message to obtain GVR information.
  • the receiver may operate as follows.
  • the receiver parses the NAL unit from the broadcast signal, obtains slice_layer_extension_rsbp () having a nal_unit_type value of 21, and parses 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info included in slice_layer_extension_rsbp () to decode 3D video. We use for.
  • 21 is a diagram for describing a decoding operation of a receiver using 3D hierarchy Info according to an embodiment of the present invention.
  • Video 2 in order to decode Video 2, a total of four video components (Video 0, Depth 0, Video 1, and Depth 1) must be decoded first. Therefore, the 3D Hierarchy Info of Video 2 should include information about four video components (Video 0, Depth 0, Video 1, and Depth 1).
  • FIG. 22 illustrates a 3D hierarchy Info for decoding operation of the receiver of FIG. 21 according to an embodiment of the present invention.
  • Video 2 corresponds to a texture video component, it indicates that the hierarchy_view_type field is a texture video.
  • the hierarchy_view_ID field has a value of '2' which is a view identifier of Video 2.
  • Video 2 there are four video components to be decoded first, Video 0, Depth 0, Video 1, and Depth 1, so the num_hierarchy_embeded_views field has a value of '4'.
  • the 3D hierarchy Info loops through a for loop by the value indicated by the num_hierarchy_embeded_views field, and signals information about each image component.
  • the receiver may predetermine necessary texture image components and / or depth map image components when decoding a specific stream in consideration of the value of the coding_priority_index field of each image component. That is, four components V0, V1, D0, and D1 must be received to decode Video 2, and since V1 and D0 have the same coding_priority_index field value, it can be understood that parallel decoding (simultaneous decoding together) is possible.
  • FIG. 23 is a diagram showing the structure of a 3DTV receiver according to an embodiment of the present invention.
  • the 3DTV receiver includes a tuner & demodulator 23010, a VSB decoder 23020, a TP demultiplexer 23030, a PSI / PSIP / SI processor 23040, an image component decoder 23050, a depth map.
  • the 3DTV receiver receives a broadcast signal through the tuner & demodulator 23010 and / or the VSB decoder 23020.
  • the VSB decoder 23020 may be interpreted as an OFDM decoder or the like regardless of its name.
  • the TP demultiplexer 23030 extracts and outputs video data, system information, and the like from the broadcast signal through filtering.
  • System information may include PMT, TVCT, EIT or / and SDT.
  • the TP demultiplexer 23030 may parse the SEI message and / or the NAL unit and obtain 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info included in the SEI message and / or the NAL unit.
  • the PSI / PSIP / SI processor 23040 may receive system information and parse the received system information to obtain 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info.
  • the PSI / PSIP / SI processor 23040 may parse the SEI message or the NAL unit header and obtain 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info included in the SEI message or NAL unit header. That is, 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info included in the SEI message or NAL unit header may be extracted from the TP demultiplexer 23030 or the PSI / PSIP / SI processor 23040.
  • Image component decoder 23050 includes a depth map image component decoder 23052 and / or a texture image component decoder 23054.
  • Depth map image component decoder 23052 decodes the depth map image component from the video data.
  • the texture image component decoder 23054 decodes the texture image component from the video data.
  • the depth map image component decoder 23052 and / or the texture image component decoder 23054 perform upsampling of image components using 3D View dependency Info, 3D Hierarchy Info, and / or GVR Info, or identify dependencies among the image components. And decode the video component according to the dependency.
  • the related operation is replaced with the description of FIGS. 21 and 22.
  • the image analysis module 23060 applies depth information obtained from the depth map image component to the texture image component.
  • the first virtual image generator 23070 and the second virtual image generator 23080 each render a left image or a right image included in the 3D image.
  • the first virtual image generator 23070 and the second virtual image generator 23080 may be included in the image analysis module 23060, and the image analysis module 23060 may render a left image or a right image according to each viewpoint. It can play a role.
  • the output formatter 23090 combines a left image or a right image generated by the first virtual image generator 23070 and the second virtual image generator 23080 to output a 3D image.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the broadcast signal processing method related to the broadcast program of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is applicable to a series of industries related to the provision of 3DTV broadcasting service.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 일 실시예에 따른, 3D 영상을 위한 영상 컴포넌트 송신 처리 방법은, 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트를 생성하는 단계, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계, 상기 3D 계층 정보 엘레먼트를 포함하는 SEI (Supplemental Enhancement Information) 메시지를 포함하는 NAL 유닛을 생성하는 단계, 및 상기 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 NAL 유닛을 포함하는 방송 신호를 생성하는 단계를 포함한다.

Description

3D 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
본 발명은 3D (3-Dimntional; 3D) 방송 서비스를 제공하고 이를 수신 처리하기 위한 방법 및 장치에 관한 것이다. 보다 상세하게는, 3D 영상 렌더링에 필요한 텍스쳐 영상 컴포넌트 및 깊이 맵 영상 컴포넌트의 디코딩에 관한 방법 및 장치에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 좌영상 (left view; 레프트 뷰) 이미지와 우안에서 시청되기 위한 우영상 (right view; 라이트 뷰) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
한편, 영화 극장이 아닌, 집에서 3DTV로 3D 콘텐트를 시청하는 경우, 시청자의 위치는 시시각각 변할 수 있다. 그러나, 현재 3DTV 수신기는 고정된 시점 또는 위치에서 3D 콘텐트를 시청하는 경우에만 적절한 3D 효과를 느낄 수 있으며, 따라서, 시청자 입장에서는 제한적인 위치에서 해당 3D 콘텐트를 시청해야 하는 문제점이 발생할 수 있다.
본 발명이 이루고자 하는 기술적 과제는, 전술한 문제점을 해결하기 위한 것으로, 시청자가 원하는 시점을 자유롭게 선택하여, 적절한 3D 효과를 느끼면서 3D 콘텐트를 소비할 수 있도록 하는 것에 있다. 보다 구체적으로, 본 발명이 이루고자 하는 기술적 과제는 시청자에 따라 변화할 수 있는 각각의 시점에 따른 가상의 3D 영상들을 수신기에서 생성할 수 있도록, 적절한 방송 시그널링 구조를 제공하는 것에 있다.
본 발명의 일 실시예에 따른, 3D 영상을 위한 영상 컴포넌트 송신 처리 방법은 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트를 생성하는 단계, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계, 상기 3D 계층 정보 엘레먼트를 포함하는 SEI (Supplemental Enhancement Information) 메시지를 포함하는 NAL 유닛을 생성하는 단계, 및 상기 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 NAL 유닛을 포함하는 방송 신호를 생성하는 단계를 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보를 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 상기 특정 영상 컴포넌트의 시점을 알려주는 계층 영상 식별자 정보를 더 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 더 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함한다.
바람직하게는, 3D 영상을 위한 영상 컴포넌트 송신 처리 방법은 임의 어세스 포인트를 이용한 영상 컴포넌트 복원과 관련한 정보를 시그널링하는 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계, 및 상기 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 생성하는 단계를 더 포함한다.
바람직하게는, 상기 GVR 정보 엘레먼트는, 특정 어세스 유닛 (access unit)이 GVR 임의 어세스 포인트인지 여부를 나타내는 GVR 식별 정보, GVR이 적용되는 영상 컴포넌트들 내에서, 현재 시점의 영상 컴포넌트 보다 시간적으로 앞서는 영상 컴포넌트가 없는 경우 디코딩이 불가능한 영상 컴포넌트의 개수를 나타내는 3D 확장 영상 개수 정보, 및 상기 디코딩이 불가능한 영상 컴포넌트를 식별하는 영상 식별 정보를 포함한다.
바람직하게는, 3D 영상을 위한 영상 컴포넌트 송신 처리 방법은 상기 텍스쳐 영상 컴포넌트와 상기 깊이 맵 영상 컴포넌트 사이의 연관관계를 시그널링하는 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계, 및 상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 생성하는 단계를 더 포함한다.
바람직하게는, 상기 3D 영상 의존 정보 엘레먼트는, 상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지가 3D 콘텐트에 포함된 모든 영상 컴포넌트들에 대한 정보를 제공하는지 여부를 나타내는 정보를 포함한다.
본 발명의 일 실시예에 따른, 3D 영상을 위한 영상 컴포넌트 수신 장치는, 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 NAL 유닛을 포함하는 방송 신호를 수신하는 튜너, 상기 방송 신호에서, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 엘레먼트를 포함하는 SEI (Supplemental Enhancement Information) 메시지를 포함하는 NAL 유닛을 파싱하는 디멀티플렉서, 및 상기 SEI 메시지에 포함된 3D 계층 정보 엘레먼트를 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하는 영상 컴포넌트 디코더를 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보를 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 더 포함한다.
바람직하게는, 상기 3D 계층 정보 엘레먼트는, 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함한다.
바람직하게는, 상기 디멀티플렉서는, 임의 어세스 포인트를 이용한 영상 컴포넌트 복원과 관련한 정보를 시그널링하는 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 더 파싱하고, 상기 영상 컴포넌트 디코더는, 상기 GVR 정보 엘레먼트를 더 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하고, 여기서, 상기 GVR 정보 엘레먼트는, 특정 어세스 유닛 (access unit)이 GVR 임의 어세스 포인트인지 여부를 나타내는 GVR 식별 정보, GVR이 적용되는 영상 컴포넌트들 내에서, 현재 시점의 영상 컴포넌트 보다 시간적으로 앞서는 영상 컴포넌트가 없는 경우 디코딩이 불가능한 영상 컴포넌트의 개수를 나타내는 3D 확장 영상 개수 정보, 및 상기 디코딩이 불가능한 영상 컴포넌트를 식별하는 영상 식별 정보를 포함한다.
바람직하게는, 상기 디멀티플렉서는, 상기 텍스쳐 영상 컴포넌트와 상기 깊이 맵 영상 컴포넌트 사이의 연관관계를 시그널링하는 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 더 파싱하고, 상기 영상 컴포넌트 디코더는, 상기 3D 영상 의존 정보 엘레먼트를 더 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하고, 여기서, 상기 3D 영상 의존 정보 엘레먼트는, 상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지가 3D 콘텐트에 포함된 모든 영상 컴포넌트들에 대한 정보를 제공하는지 여부를 나타내는 정보를 포함한다.
본 발명의 다른 실시예에 따른, 3D 영상을 위한 영상 컴포넌트 송신 처리 방법은 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트를 생성하는 단계, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 디스크립터를 생성하는 단계, 여기서 상기 3D 계층 정보 디스크립터는 특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 포함하고, 상기 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 3D 계층 정보 디스크립터를 포함하는 방송 신호를 생성하는 단계를 포함한다.
바람직하게는, 3D 계층 정보 디스크립터는, PMT, VCT, 또는 SDT에 포함된다.
바람직하게는, 3D 계층 정보 디스크립터는, 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함한다.
본 발명에 따르면, 3D 콘텐트를 시청하는 도중 시청자의 필요에 따라 입체감을 조절하고자 하는 경우, 새로운 좌영상 및 우영상을 수신기에서 생성해 이 조합을 이용해 입체감 조절을 할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 3D 콘텐트의 시청자의 시점에 따른, 임의의 시점에 대한 3D 콘텐트 영상을 생성할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 3D 영상 렌더링을 위한 텍스쳐 영상 컴포넌트 및/또는 깊이 맵 영상 컴포넌트 사이의 의존성에 따른 적절한 디코딩을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른, 임의의 시점의 3D 영상을 생성하는 수신기의 일부를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 3D 콘테트를 위한 비디오 데이터 및 깊이 요소를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 3D 영상을 코딩하는 코딩 모드를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 코딩 모드에 따른 인코더의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 텍스쳐 영상과 깊이 맵 영상을 코딩하는 순서를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 하나의 어세스 유닛내에서 각 영상 컴포넌트의 코딩 순서를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 단계적 화면 전환 (Gradual View Refresh; GVR) 어세스 유닛을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 단계적 화면 전환 (GVR) 을 이용한 디코딩을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, 3D view dependency descriptor를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, depth_hor_upsampling_factor 필드 및 depth_ver_upsampling_factor 필드가 가지는 값에 대한 설명을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, PMT 내에서의 3D view dependency descriptor의 위치를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, 3D hierarchy descriptor를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른, hor_upsampling_factor 필드 및 ver_upsampling_factor 필드가 가지는 값에 대한 설명을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른, PMT 내에서의 3D hierarchy descriptor의 위치를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른, stream_type 필드의 값에 따른 의미를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른, 비디오 레벨의 시그널링을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른, 3D view dependency info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른, 3D hierarchy info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른, 3D hierarchy info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른, nal_unit_type의 값에 따른 NAL unit의 내용 및 RBSP의 syntax 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른, 3D hierarchy Info를 이용한 수신기의 디코딩 동작을 설명하는 도면이다.
도 22는 본 발명의 일 실시예에 따른, 도 21의 수신기의 디코딩 동작을 위한 3D hierarchy Info를 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른, 3DTV 수신기의 구조를 나타낸 도면이다.
이하 전술한 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른, 임의의 시점의 3D 영상을 생성하는 수신기의 일부를 나타낸 도면이다.
임의 시점의 3D 영상을 생성하기 위해서는, 스테레오 3D 콘텐트의 좌영상 (혹은 좌 비디오), 우영상 (혹은 우 비디오)를 구성하는 각 텍스쳐 영상 (texture view), 및 각각의 텍스쳐 영상에 대응되는 깊이 맵 영상 (depth map view) 이 필요하다.
텍스쳐 영상을 픽셀들로 구성된 이미지 영상에 해당된다. 3D 콘텐트의 재생에 필요한 좌영상을 생성하기 위하여 텍스쳐 영상 0 (texture view 0) 이 사용될 수 있으며, 3D 콘텐트의 재생에 필요한 우영상을 생성하기 위하여 텍스쳐 영상 1 (texture view 1)이 사용될 수 있다.
깊이 맵 영상은 3D 콘텐트를 구성하는 좌영상 및 우영상 각각에 깊이감을 주기 위한 정보가 포함된 영상 또는 데이터 이다. 깊이 맵 영상은 3D 콘텐트를 구성하는 좌영상 및 우영상의 각각의 이미지 내에서의 특정 포인트들에 대한 깊이 정보를 포함할 수 있다. 예를 들면, 깊이 맵 영상은 이미지 내의 각각의 픽셀에 대한 깊이 정보를 포함할 수 있고, 특정 단위의 픽셀들에 대한 깊이 정보를 포함할 수 있다. 또는 깊이 맵 영상은 이미지 내에 포함되는 사물 (object) 에 대한 깊이 정보를 제공할 수 있다. 깊이 맵 영상은 하나 이상의 시점에 대한 깊이 정보를 포함할 수 있다. 즉, 깊이 맵 영상은 이미지 내의 픽셀, 픽셀의 집합 또는 사물 들에 대하여, 하나 이상의 깊이 정보를 포함할 수 있고, 각각의 깊이 정보는 각각의 시점에 대응되는 깊이 정보가 될 수 있다.
영상 분석부 (view synthesis) 는 텍스쳐 영상 (좌영상을 위한 텍스쳐 영상, 우영상을 위한 텍스쳐 영상) 과 깊이 맵 영상을 이용하여, 3D 콘텐트에 포함되는 좌영상 및 우영상을 생성할 수 있다. 영상 분석부는 좌영상 및 우영상을 생성하는 과정에서, 깊이 맵 영상 이외에 해당 3D 콘텐트를 촬영한 카메라의 환경 정보를 포함하는 카메라 파라미터 (camera parameter) 를 이용할 수 있다. 카메라 파리미터에는 카메라 사이의 거리, 카메라와 촬영 대상 사이의 거리, 카메라들 사이의 각도, 카메라의 높이 및/또는 카메라 자체의 설정 정보 등이 포함될 수 있다.
3D 포맷터 (3D formatter)는 영상 분석부에서 생성된 좌영상 및 우영상을 렌더링하여 3D 영상을 생성한다.
도 2는 본 발명의 일 실시예에 따른, 3D 콘테트를 위한 비디오 데이터 및 깊이 요소를 나타낸 도면이다.
3D 콘텐트를 제공하는 프로그램, 서비스 또는 채널을 위하여, 텍스쳐 영상와 텍스쳐 영상에 대한 깊이 정보가 제공될 수 있다.
방송 서비스에서는 하나의 프로그램 단위, 서비스 단위, 또는 채널 단위로 텍스쳐 영상과 텍스쳐 영상에 대한 깊이 정보를 제공할 수 있다. 여기서, 깊이 정보는 전술한 깊이 맵 영상이 될 수 있다.
수신기는 텍스쳐 영상과 텍스쳐 영상에 대한 깊이 정보를 구분하고, 어떠한 텍스쳐 영상에 어떠한 깊이 정보가 적용될 것인지 등을 판단할 필요가 있다. 따라서, 이에 대한 시그널링 정보를 방송 신호를 통하여 전송할 필요가 있다.
도 3은 본 발명의 일 실시예에 따른, 3D 영상을 코딩하는 코딩 모드를 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 3D 영상은 AVC (Advanced Video Coding) 으로 코딩될 수 있다. 본 발명의 다른 실시예에 따르면, 3D 영상은 MVC (Multiview Video Coding) 으로 코딩될 수 있다.
본 발명에 일 실시예에 따르면, 3D 영상은 적어도 두 가지 모드로 코딩될 수 있다.
“3D High” 모드는 텍스쳐 영상 (혹은 텍스쳐 데이터) 에만 적용되던 AVC 및/또는 MVC 가 깊이 데이터 (혹은, 깊이 맵 영상, 깊이 정보)에도 적용되는 모드이다. 이 모드에서 텍스쳐 영상은 MVC 코덱과 호환될 수 있다. 이때, base layer의 영상은 AVC와 MVC 코덱 모두와 호환될 수 있다. 이 모드에 따르면, 텍스쳐 영상의 코딩과 깊이 데이터의 코딩은 각각 독립적으로 진행된다.
“3D Extended High” 모드는 AVC 및/또는 MVC에 기반한 텍스쳐 영상과 깊이 데이터의 코딩이 독립적이 아니라 상호 영향을 미치며 코딩 되는 방식이다. 이 모드에서 텍스쳐 영상은 AVC 코덱과 호환될 수 있다. 이때, base layer의 영상은 AVC와 MVC 코덱 모두와 호환될 수 있다. 이 모드는, 일반적으로 “3D High” 모드에 비해 코딩 효율이 좋다.
도 4는 본 발명의 일 실시예에 따른, 코딩 모드에 따른 인코더의 구조를 나타낸 도면이다.
도 4의 (a)는 “3D High” 모드에 따른 인코더의 구조를 나타낸다. 텍스쳐 영상 (T0, T1)의 AVC 및/또는 MVC로 코딩될 수 있다. 깊이 데이터 (D0, D1) 은 텍스쳐 영상과는 별도로 AVC 및/또는 MVC로 코딩될 수 있고, 깊이 데이터 (D0, D1)와 텍스쳐 영상 (T0, T1) 사이에는 의존성 (dependency)이 없어, 깊이 데이터 (D0, D1)와 텍스쳐 영상 (T0, T1) 각각 별도로 디코딩될 수도 있다.
도 4의 (b)는 “3D Extended High” 모드에 따른 인코더의 구조를 나타낸다. 텍스쳐 영상 (T0, T1)과 깊이 데이터 (D0, D1)은 AVC 및/또는 MVC로 코딩될 수 있다. 그러나, 텍스쳐 영상의 코딩과 깊이 데이터의 코딩은 서로 의존성을 가지면서 이루어진다. 따라서, 텍스쳐 영상과 깊이 데이터는 함께 디코딩되어야 한다.
본 발명의 일 실시예에 따르면, 어떤 모드에서도 기본 텍스쳐 영상 (base texture view, T0) 는 AVC 코덱과 호환이 될 수 있다.
도 5는 본 발명의 일 실시예에 따른, 텍스쳐 영상과 깊이 맵 영상을 코딩하는 순서를 나타낸 도면이다.
비트 스트림은 영상 컴포넌트 별로 인코딩 될 수 있고, 디코딩 순서도 영상 컴포넌트 별로 이루어 질 수 있다. 즉, 좌영상을 위한 텍스쳐 영상 컴포넌트 (texture of view 0), 우영상을 위한 컴포넌트 (texture of view 1), 좌영상을 위한 깊이 맵 영상 (depth map of view 0), 와 우영상을 위한 깊이 맵 영상 (depth map of view 1) 은 각각의 비트 스트림으로 인코딩되어 전송될 수 있고, 하나의 영상 컴포넌트의 데이터에 대한 처리가 종료되기 전에, 다른 영상 컴포넌트의 데이터에 대한 처리가 이루어 지지 않을 수 있다.
비트 스트림은 어세스 유닛 별로 인코딩 될 수 있고, 디코딩 순서도 어세스 유닛별로 이루어 질 수 있다. 즉, 하나의 좌영상 프레임, 하나의 우영상 프레임, 하나의 좌영상 프레임을 위한 깊이 맵 프레임, 하나의 우영상 프레임을 위한 깊이 맵 프레임이 하나에 어세스 유닛에 포함될 수 있고, 이러한 어세스 유닛 단위가 비트 스트림으로 인코딩되어 전송될 수 있다. 하나의 어세스 유닛에 포함되는 데이터에 대한 처리가 종료되기 전에, 다른 어세스 유닛에 포함되는 데이터에 대한 처리가 이루어 지지 않을 수 있다.
AVC / MVC 호환이 가능한 영상의 텍스쳐 영상 컴포넌트는 대응되는 깊이 맵 영상 컴포넌트보다 먼저 위치하도록 코딩될 수 있다. 즉, 텍스쳐 영상 0 (texture of view 0)가 특정 시점에 대한 영상 컴포넌트들 중 가장 먼저 위치할 수 있도록 코딩될 수 있다.
하나의 어세스 유닛 내에서는 텍스쳐 영상 컴포넌트와 깊이 맵 영상 컴포넌트의 의존성 (dependency) 에 따라 인코딩될 수 있다.
도 6은 본 발명의 일 실시예에 따른, 하나의 어세스 유닛내에서 각 영상 컴포넌트의 코딩 순서를 나타낸 도면이다.
도 6의 (a)를 참조하면, 텍스쳐 영상 0이 먼저 인코딩되고, 이와 의존성이 있는 텍스쳐 영상 1이 인코딩된다. 그 후, 텍스쳐 영상 0을 위한 깊이 맵 영상 0이 인코딩되고, 이와 의존성이 있는 텍스쳐 영상 1을 위한 깊이 맵 영상 1이 인코딩된다. 이 경우, 텍스쳐 영상 0과 텍스쳐 영상 1은 모두 AVC / MVC 호환이 가능한 텍스쳐 영상이 될 수 있다.
도 6의 (b) 를 참조하면, 텍스쳐 영상 0이 먼저 인코딩되고, 텍스쳐 영상 0을 위한 깊이 맵 영상 0 이 인코딩된다. 그 후, 텍스쳐 영상 0과 의존성을 가지고 텍스쳐 영상 1이 인코딩되고, 텍스쳐 영상 1을 위한 깊이 맵 영상 1이, 깊이 맵 영상 0과 의존성을 가지고 인코딩된다. 이 경우, 텍스쳐 영상 0과 텍스쳐 영상 1은 모두 AVC / MVC 호환이 가능한 텍스쳐 영상이 될 수 있다.
도 6의 (c) 를 참조하면, 텍스쳐 영상 0이 먼저 인코딩되고, 텍스쳐 영상 0을 위한 깊이 맵 영상 0이 인코딩된다. 이때, 깊이 맵 영상 0은 텍스쳐 영상 0에 대하여 의존성을 가질 수 있다. 이후, 텍스쳐 영상 1을 위한 깊이 맵 영상 1이 인코딩된다. 깊이 맵 영상 1은 깊이 맵 영상 0에 대하여 의존성을 가질 수 있다. 다음으로, 텍스쳐 영상 1이 인코딩된다. 텍스쳐 영상 1은 텍스쳐 영상 0에 대하여 의존성을 가질 수 있다. 텍스쳐 영상 1은 깊이 맵 영상 1에 대하여 의존성을 가질 수 있다. 이 경우, 텍스쳐 영상 0은 AVC / MVC 호환이 가능하나, 텍스쳐 영상 1은 MVC 와의 호환은 가능하지 않을 수 있다.
본 설명에서 B 영상이 A 영상에 대하여 의존성을 가진다는 의미는, B 영상의 인코딩 과정에서 A 영상의 특정 요소가 이용될 수 있다는 의미이다. 이 경우, 디코딩 과정에서 A 영상이 먼저 디코딩되어야 B 영상이 완전하게 디코딩 될 수 있다.
예를 들면, B 영상의 인코딩은 원본 A 영상과 원본 B 영상의 차이에 대한 데이터를 인코딩하는 것으로 수행될 수 있다. 또는 B 영상의 인코딩은, A 영상의 일부 픽셀들에 대한 추가 정보를 인코딩하는 것으로 수행될 수 있다.
도 7은 본 발명의 일 실시예에 따른, 단계적 화면 전환 (Gradual View Refresh; GVR) 어세스 유닛을 나타낸 도면이다.
GVR은 미리 선택된 시점들을 정밀하게 복호화하고 나머지 시점들은 합성 기술을 이용하여 복원할 수 있도록 한다.
GVR은 3D 비디오 코딩에서 사용될 수 있는 임의 어세스 포인트 (random access point)의 한 종류로 기존의 Random access point인 Instantaneous Decoding Refresh (IDR) 에 비해 압축 효율이 높다. 여기서 임의 어세스 포인트는 영상 데이터의 비트열의 중간에 데이터를 수신하게 되는 경우, 해당 시점 또는 해당 시점 이후의 영상(또는, 프레임)을 재생할 수 있도록 하는 기능을 말한다.
IDR의 경우, 비트열의 중간에서 수신기가 해당 비트열을 디코딩하기 위하여 접근하는 경우, 해당 시점에서 즉시 3D 영상을 구성하는 좌영상 및 우영상을 획득할 수 있다. 이에 반해, GVR은 비트열의 중간에서 수신기가 해당 비트열을 디코딩하기 위하여 접근하는 경우, 해당 시점에서 즉시, 좌영상 및 우영상을 획득할 수는 없고, 좌영상 이나 우영상 중 하나의 영상, 또는 좌영상 이나 우영상 의 일부를 획득할 수 있다. 이후, 점진적으로 좌영상 및 우영상 모두를 획득할 수 있다. 즉, GVR에 따르면, 수신기가 비트열을 접근한 이후의 특정 시점부터 완전한 좌영상 및 우영상을 획득할 수 있다.
IDR 및 anchor access units 에서는 inter prediction이 사용되지 않는 반면에, GVR 어세스 유닛 (GVR access units)은 일부 제한적인 inter prediction이 사용되며, 영상 분석 (View synthesis) 를 활용된다.
Anchor access unit의 경우와 비슷하게, GVR access unit 의 시그널링은 SEI message 및 NAL unit header 를 통해 전송될 수 있다.
각 카운트에 속하는 영상들은 인접한 카운트의 속하는 영상들을 이용하여, 예측을 통하여 복원될 수 있다.
도 7의 (a) 및 (b)에서 점선으로 표시된 영상들은 각각 GVR 어세스 유닛으로 정의 될 수 있다. 하나의 GVR 어세스 유닛에서 I 프레임 (I 영상)으로부터 P 프레임 (P 영상)이 도출될 수 있다.
도 7의 (b)를 참조하면, 하나의 GVR 어세스 유닛에 포함된 I 프레임을 이용하여, 좌영상 및 우영상을 위한 각각의 P 프레임이 획득될 수 있다.
도 8은 본 발명의 일 실시예에 따른, 단계적 화면 전환 (GVR) 을 이용한 디코딩을 나타낸 도면이다.
도 8을 참조하면, GVR 어세스 유닛 (카운트 15에 해당하는 GVR 어세스 유닛) 으로부터 디코딩이 시작되는 경우, inter prediction이 적용되지 않은 텍스쳐 영상 컴포넌트 및 깊이 맵 영상 컴포넌트가 먼저 디코딩 된다. “non-refreshed” 영상들은 영상 분석 (예를 들면, depth-image-based rendering; DIBR) 을 통해서 복원된다. 이때, 영상 분석을 통해 복원된 영상은 원본 영상이 완전하게 복원되지 않고 대략적인 형태일 수 있다. 이 경우, 일정한 시점이 지난 후부터, 완전한 영상이 복원될 수 있다. 예를 들면, 도 8에서는 카운트 30에 해당하는 영상들에 이르러 완전한 영상이 복원되는 경우이다.
도 9는 본 발명의 일 실시예에 따른, 3D view dependency descriptor를 나타낸 도면이다.
본 발명에 따른 3D view dependency descriptor는 ATSC 시스템의 프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT) 혹은 이벤트 정보 테이블 (Event Information Table; EIT) 에 포함되어질 수 있다. 또는 3D view dependency descriptor는 DVB 시스템의 서비스 디스크립션 테이블 (Service Description Table; SDT) 또는 이벤트 정보 테이블 (Event Information Table; EIT)에 포함되어져 전송될 수 있다. 3D view dependency descriptor가 전송되는 테이블에 따라, 서비스 레벨, 프로그램 레벨 혹은 이벤트 레벨에서의 시그널링인지가 결정된다.
3D view dependency descriptor는 방송 프로그램, 방송 채널, 또는 방송 서비스에 포함된 텍스쳐 영상 및 깊이 맵 영상 사이의 연결관계를 시그널링하고, 각 영상 사이의 코딩에 있어서의 의존성 (dependency)에 관한 정보를 제공한다.
또한, 3D view dependency descriptor는 임의적 어세스 포인트로 GVR 기법이 사용되는지 여부에 대한 정보를 포함할 수 있다.
GVR을 이용하여 영상을 복원하는 경우, 수신기는 DIBR (depth-image-based rendering) 기능이 지원되어야 하며, 따라서, 시스템 레벨에서 GVR 기법이 사용되는지 여부에 대한 정보를 제공할 수 도 있다. 이 경우, 비디오 데이터의 SEI message 또는 NAL unit header를 통하여 해당 정보가 전송될 수도 있다.
3D view dependency descriptor는 3D_mode 필드, view_ID 필드, view_PID 필드, independent_texture_coding_flag 필드, existence_of_corresponding_depth 필드, depth_PID 필드, depth_hor_upsampling_factor 필드, depth_ver_upsampling_factor 필드, GVR_included 필드, 및/또는 cam_param_included 필드를 포함할 수 있다.
3D_mode 필드는 텍스쳐 영상과 깊이 맵 영상 간의 코딩 의존성 (dependency) 정보를 나타내는 필드이다. 예를 들면, 이 필드가 0 이면, “3D High” 모드 (텍스쳐 영상과 깊이 맵 영상이 서로 독립적으로 코딩되는 경우) 임을 나타내고, 이 필드가 1 이면 “3D Extended High” 모드 (텍스쳐 영상과 깊이 맵 영상 사이에 의존성을 두어 코딩 효율을 높인 경우) 임을 나타낸다.
“3D High” 모드인 경우에, 텍스쳐 영상만 획득하고 싶은 수신기는 깊이 맵 영상을 디코딩하지 않고도 텍스쳐 영상을 디코딩 하는 것이 가능하다.
“3D Extended High” 모드인 경우에는 의존성 (dependency) 가 존재하여, 텍스쳐 영상과 깊이 맵 영상 각각에 대한 독립적인 디코딩이 불가하다. 즉, 수신기는 텍스쳐 영상을 디코딩할 때, 깊이 맵 영상 에 대한 디코딩 결과를 활용하여야 한다. 또는, 수신기는 깊이 맵 영상을 디코딩할 때, 텍스쳐 영상의 디코딩 결과를 활용하여야 한다.
view_ID 필드는, 텍스쳐 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다. 텍스쳐 영상 컴포넌트에 대응되는 깊이 맵 영상 컴포넌트가 있을 경우, 깊이 맵 영상 컴포넌트에 대한 view_ID 값은 텍스쳐 영상 컴포넌트의 view_ID 값과 동일한 값을 가지는 것으로 서로 연결될 수 있다.
view_PID 필드는 텍스쳐 영상 컴포넌트를 전송하는 ES 스트림의 PID 값이다.
independent_texture_coding_flag 필드는 각 텍스쳐 영상에 대한 독립적인 코딩이 가능한지 여부를 나타낸다. 예를 들면, 텍스쳐 영상 0 (T0) 는 default로 독립적인 코딩이 가능하므로 이 필드가 굳이 필요 없으며, 사용할 경우, 무조건 ‘1’의 값을 갖는다. 나머지 텍스쳐 영상들 (예를 들면, T1) 에 대하여는 이 필드를 통하여, 독립적인 디코딩이 가능한지 여부를 판단할 수 있다.
existence_of_corresponding_depth 필드는 텍스쳐 영상 컴포넌트 에 대응되는 깊이 맵 영상 컴포넌트가 시그널링 되는지 여부를 알려주는 필드이다. 예를 들면, 이 필드의 값이 ‘0’이면 텍스쳐 영상 컴포넌트만 존재함을 나타내고, 이 필드의 값이 ‘1’이면 텍스쳐 영상 컴포넌트 및 깊이 맵 영상 컴포넌트가 모두 존재함을 나타낸다.
depth_PID 필드는 existence_of_corresponding_depth 필드가 ‘1’인 경우에 시그널링되는 값으로 텍스쳐 영상 컴포넌트에 대응되는 깊이 맵 영상 컴포넌트를 전송하는 ES 스트림의 PID 값이다.
depth_hor_upsampling_factor 필드는 텍스쳐 영상 컴포넌트에 대응되는 깊이 맵 영상 컴포넌트가 디코딩 된 후, 영상을 복원하는 과정에서 필요한 수평 방향의 upsampling factor의 정보를 알려주는 필드이다.
depth_ver_upsampling_factor 필드는 텍스쳐 영상 컴포넌트에 대응되는 깊이 맵 영상 컴포넌트가 디코딩 된 후, 영상을 복원하는 과정에서 필요한 수직 방향의 upsampling factor의 정보를 알려주는 필드이다.
Reduced-resolution depth coding Tool이 사용된 경우에는 송신단에서 깊이 맵 영상 컴포넌트의 해상도 (resolution)을 rescale하여 전송할 수 있다. 이 경우, 수신단에서는 3D 영상 분석에서, 해당 깊이 맵 영상을 적용 시 rescale 처리가 필요하게 되는데, 이 때, upsampling factor (예를 들면, depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드)를 참고하여 처리 가능하다. 이러한 upsampling factor는 필요시 텍스쳐 영상 컴포넌트에 대하여도 지정이 가능하다.
depth_hor_upsampling_factor 필드 및/또는 depth_ver_upsampling_factor 필드가 가질 수 있는 값 및 이에 따른 설명은 후술될 것이다.
GVR_included 필드는 GVR 기법으로 영상을 복원할 수 있는지 여부를 나타낸다. 예를 들면, GVR_included 필드가 0이면, GVR 픽쳐 (picture)가 프로그램, 채널, 또는 서비스 내에 포함됨을 나타내고, GVR_included 필드가 1이면, GVR 픽쳐 (picture)가 프로그램, 채널, 또는 서비스 내에 포함되지 않음을 나타낸다. 수신단에 DIBR 기능이 제공되는 경우에만 GVR을 임의 어세스 포인트 (Random access point) 로 사용할 수 있으므로, DIBR을 미지원하는 수신기는 이 필드 값을 통해 현재 프로그램, 채널 또는 서비스의 임의 어세스 포인트 (random access point)가 모두 접근 가능한지 아닌지 여부를 미리 판단할 수 있다.
cam_param_included 필드는 특정 영상 에 대해 카메라 파라미터가 시그널링 되고 있는지 여부를 알려주는 필드이다. GVR이 임의 어세스 포인트 (Random access point) 로 사용되려면 카메라 파라미터가 필요할 수 있다. 이 경우, 수신기는 이 필드를 통해 GVR 지원이 가능한지 여부를 알 수 있다. 일반적으로 방송국에서 GVR을 보내게 되면 카메라 파라미터도 함께 보낼 수 있으나, 카메라 파라미터가 비디오 헤더가 아닌 다른 별도의 경로로 전송되는 경우, 수신기는 이 필드를 통해 확실하게 카메라 파라미터가 제공되는지 여부를 식별할 수 있다.
3D View dependency descriptor 에 포함된 텍스쳐 영상의 for loop을 이용하여 모든 텍스쳐 영상에 대해서 시그널링 할 수도 있고, 또는 일부 텍스쳐 영상에 대해서만 시그널링 할 수도 있다. 모든 텍스쳐 영상에 대해 시그널링 하는 경우, num_of_views 필드를 3D View dependency descriptor 내에 포함시켜 그 개수만큼 for loop을 실행토록 할 수도 있다.
3D_mode 필드가 1인 경우, 즉, “3D Extended High” 모드인 경우에는 디코딩 순서 관련하여 영상 컴포넌트들 간의 계층 정보를 알려주는 방안이 필요하다. 즉, 프로그램, 채널, 또는 서비스 내에 포함된 텍스쳐 영상 컴포넌트 및 깊이 맵 영상 컴포넌트 간의 의존성 정보를 시스템 레벨에서 알려주는 시그널링 방안이 있어야 하며, 이는 기존의 MPEG-2 시스템의 서술자인 Hierarchy_descriptor를 확장하는 방안, 혹은 관련 정보를 3D view dependency descriptor에 포함시켜서 시그널링 하는 방안, 또는 3D hierarchy descriptor를 따로 지정하여 시그널링 하는 방안 등이 가능하다. 보다 상세한 내용은 후술될 것이다.
도 10은 본 발명의 일 실시예에 따른, depth_hor_upsampling_factor 필드 및 depth_ver_upsampling_factor 필드가 가지는 값에 대한 설명을 나타낸 도면이다.
depth_hor_upsampling_factor 필드가 가지는 값은 영상 프레임의 수평 방향으로 해당 upsampling factor가 적용됨을 나타내고, depth_ver_upsampling_factor 필드가 가지는 값은 영상 프레임의 수직 방향으로 해당 upsampling factor가 적용됨을 나타낸다.
depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드의 값이 ‘0001’ 인 경우, 디코더는 video elementary stream에 포함된 정보를 따로 확인하여 정확한 upsampling factor 정보를 획득할 수도 있다.
depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드의 값이 ‘0010’ 일 때에는, 깊이 맵 영상 컴포넌트에 대한 코딩 해상도가 텍스쳐 영상 컴포넌트의 코딩 해상도와 동일함을 나타낸다.
depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드의 값이 ‘0011’ 일 때에는, 깊이 맵 영상 컴포넌트에 대한 코딩 해상도가 텍스쳐 영상 컴포넌트의 코딩 해상도의 3/4 임을 나타낸다.
depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드의 값이 ‘0100’ 일 때에는, 깊이 맵 영상 컴포넌트에 대한 코딩 해상도가 텍스쳐 영상 컴포넌트의 코딩 해상도의 2/3 임을 나타낸다.
depth_hor_upsampling_factor 필드 또는 depth_ver_upsampling_factor 필드의 값이 ‘0101’ 일 때에는, 깊이 맵 영상 컴포넌트에 대한 코딩 해상도가 텍스쳐 영상 컴포넌트의 코딩 해상도의 1/2 임을 나타낸다.
도 11은 본 발명의 일 실시예에 따른, PMT 내에서의 3D view dependency descriptor의 위치를 나타낸 도면이다.
본 발명에 따른 프로그램 맵 테이블은 PMT는 다음을 포함한다.
table_id 필드, section_syntax_indicator 필드, section_length 필드, program_number 필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, PCR_PID 필드, program_info_length 필드, stream_type 필드, elementary_PID 필드, ES_info_length 필드 및/또는 CRC_32 필드를 포함할 수 있다.
table_id 필드는, 8 비트 필드로써, TS_program_map_section 임을 나타내기 위하여 0x02의 값으로 설정될 수 있다.
section_syntax_indicator 필드는, 1 비트로써, 1로 설정된다.
section_length 필드는, 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다.
program_number 필드는, 16 비트로 구성된다. 이는 어느 프로그램에 program_map_PID가 적용가능한지 나타낸다. 하나의 프로그램 정의는 오직 하나의 TS_program_map_section에 의해서만 전송된다.
version_number 필드는, Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 동일한 값을 가질 수 있다.
current_next_indicator 필드는, 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드는 섹션의 넘버를 식별한다. 예를 들면, PMT를 위한 본 필드의 값은 0x00으로 설정된다.
last_section_number 필드는 마지막 섹션의 넘버를 식별한다. 예를 들면, PMT를 위한 본 필드의 값은 0x00으로 설정된다.
PCR_PID 필드는, 13 비트로 구성되며, 프로그램 번호에 의해 상술되는 프로그램에 대해 유효한 PCR 필드를 포함하는 TS의 PID를 의미한다.
program_info_length 필드는, 12 비트로 구성될 수 있으며, 처음 두 비트는 00의 값을 갖는다. 나머지 10 비트는 이 필드 이후에 따라오는 디스크립터를 바이트 수로 나타낸다.
stream_type 필드는, 8 비트로 구성될 수 있으며, 기본 PID의 PID 값을 갖는 패킷에 의해 전송되는 프로그램 엘리먼트의 타입을 나타낸다.
elementary_PID 필드는, 13 비트로 구성될 수 있으며, 관련된 프로그램 엘리먼트를 포함하는 TS의 PID를 나타낸다.
ES_info_length 필드는, 12 비트로 구성될 수 있으며, 첫 두 비트는 00이다. 나머지 10 비트는 이 필드 이후에 따라오는 관련 프로그램 엘리먼트의 디스크립터를 바이트 수로 나타낸다.
본 발명의 실시예에 따르면, ES_info_length 필드를 뒤따르는 디스크립터가 3DTV 서비스 로케이션 디스크립터가 될 수 있다.
CRC_32 필드는, 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
본 발명의 일 실시예에 따르면, 3D view dependency descriptor는 PMT 내의 프로그램 레벨의 디스크립터가 위치할 수 있는 영역에 포함될 수 있다. 즉, program_info_length 필드 아래의 for 루프 내에 3D view dependency descriptor가 포함될 수 있다.
도시되지는 않았으나, 3D View dependency descriptor 가 VCT로 전송되는 경우, VCT의 channel level descriptor loop에 위치할 수 있다.
도시되지는 않았으나, 3D View dependency descriptor 가 SDT로 전송되는 경우, service level descriptor loop에 위치하며 모든 영상에 대한 정보가 3D View dependency descriptor에 포함되도록 설정할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 3D hierarchy descriptor를 나타낸 도면이다.
3D hierarchy descriptor는 3D 비디오 코딩에 기반한 방송 시스템에서 프로그램을 구성하는 텍스쳐 영상 컴포넌트와 깊이 맵 영상 컴포넌트의 코딩 관련 계층 정보를 포함한다.
3D hierarchy descriptor는 PMT의 elementary stream level에 위치할 수 있으며, 이 경우, 해당 ES 스트림을 디코딩 시 필요한 영상 컴포넌트의 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 3D hierarchy descriptor는, hierarchy_view_type 필드, hierarchy_view_ID 필드, num_hierarchy_embeded_views 필드, hierarchy_embeded_view_type 필드, hierarchy_embeded_view_ID 필드, coding_priority_index 필드, hor_upsampling_factor 필드, 및/또는 ver_upsampling_factor 필드를 포함할 수 있다.
hierarchy_view_type 필드는 영상 컴포넌트의 종류를 알려주는 필드이다. 예를 들면, 이 필드의 값이 ‘0’이면 영상 컴포넌트가 텍스쳐 영상 컴포넌트 임을 의미하고, 이 필드의 값이 ‘1’이면, 영상 컴포넌트가 깊이 맵 영상 컴포넌트 임을 의미한다.
hierarchy_view_ID 필드는 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다.
num_hierarchy_embeded_views 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 개수를 알려주는 필드이다. 예를 들면, 영상 컴포넌트 사이에 의존성이 존재하는 경우, 현재 영상 컴포넌트를 디코딩하기 위하여 필요한 영상 컴포넌트가 존재할 수 있는데, 이때 필요한 영상 컴포넌트의 개수를 num_hierarchy_embeded_views 필드를 통하여 수신기는 알 수 있다.
hierarchy_embeded_view_type 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 종류가 무엇인지를 알려주는 필드이다. 예를 들면, hierarchy_embeded_view_type 필드의 값이 ‘0’이면, 텍스쳐 영상 컴포넌트 임을 의미하고, hierarchy_embeded_view_type 필드의 값이 ‘1’이면, ‘깊이 맵 영상 임을 의미한다.
hierarchy_embeded_view_ID 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다. 수신기는 hierarchy_embeded_view_ID 필드를 통하여, 현재 영상 컴포넌트를 디코딩하기 위하여 필요한 영상 컴포넌트를 찾을 수 있다. 또는, 수신기는 hierarchy_embeded_view_type 필드와 hierarchy_embeded_view_ID 필드의 조합을 이용하여 필요한 영상 컴포넌트를 찾을 수 있다.
coding_priority_index 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 디코딩 우선순위를 나타내는 필드이다. 이 필드는 view_index 필드 값으로 대체할 수도 있다. 이 필드는, 먼저 decoding 해야 하는 stream이 2개 이상일 때 그 우선순위를 시그널링하기 위한 필드이다.
hor_upsampling_factor 필드는 영상 컴포넌트가 디코딩 된 후, 영상 컴포넌트를 복원하는 과정에서 필요한 수평 방향의 upsampling factor의 정보를 알려주는 필드이다.
ver_upsampling_factor 필드는 영상 컴포넌트가 디코딩 된 후, 영상 컴포넌트를 복원하는 과정에서 필요한 수직 방향의 upsampling factor의 정보를 알려주는 필드이다.
Reduced-resolution coding Tool이 사용된 경우에는 송신단에서 영상 컴포넌트의 해상도 (resolution)를 rescale하여 전송할 수 있다. 수신단에서는 해당 영상 컴포넌트를 적용 시 rescale 처리가 필요하게 되는데, upsampling factor (예를 들어, hor_upsampling_factor 필드 및/또는 ver_upsampling_factor 필드) 를 참고하여 처리 가능하다.
hor_upsampling_factor 필드 및/또는 ver_upsampling_factor 필드의 값에 따른 설명은 후술될 것이다.
도 13은 본 발명의 일 실시예에 따른, hor_upsampling_factor 필드 및 ver_upsampling_factor 필드가 가지는 값에 대한 설명을 나타낸 도면이다.
hor_upsampling_factor 필드가 가지는 값은 영상 프레임의 수평 방향으로 해당 upsampling factor가 적용됨을 나타내고, ver_upsampling_factor 필드가 가지는 값은 영상 프레임의 수직 방향으로 해당 upsampling factor가 적용됨을 나타낸다.
hor_upsampling_factor 필드 또는 ver_upsampling_factor 필드의 값이 ‘0001’ 인 경우, 디코더는 video elementary stream에 포함된 정보를 따로 확인하여 정확한 upsampling factor 정보를 획득할 수도 있다.
hor_upsampling_factor 필드 또는 ver_upsampling_factor 필드의 값이 ‘0010’ 일 때에는, 영상 컴포넌트에 대한 코딩 해상도가 베이스 텍스쳐 영상 컴포넌트의 코딩 해상도와 동일함을 나타낸다.
hor_upsampling_factor 필드 또는 ver_upsampling_factor 필드의 값이 ‘0011’ 일 때에는, 영상 컴포넌트에 대한 코딩 해상도가 베이스 텍스쳐 영상 컴포넌트의 코딩 해상도의 3/4 임을 나타낸다.
hor_upsampling_factor 필드 또는 ver_upsampling_factor 필드의 값이 ‘0100’ 일 때에는, 영상 컴포넌트에 대한 코딩 해상도가 베이스 텍스쳐 영상 컴포넌트의 코딩 해상도의 2/3 임을 나타낸다.
hor_upsampling_factor 필드 또는 ver_upsampling_factor 필드의 값이 ‘0101’ 일 때에는, 영상 컴포넌트에 대한 코딩 해상도가 베이스 텍스쳐 영상 컴포넌트의 코딩 해상도의 1/2 임을 나타낸다.
도 14는 본 발명의 일 실시예에 따른, PMT 내에서의 3D hierarchy descriptor의 위치를 나타낸 도면이다.
PMT에 포함되는 각 필드들에 대한 설명은 전술한 설명으로 대체한다.
본 발명의 일 실시예에 따르면, 3D hierarchy descriptor는 PMT의 Program lever descriptor가 위치하는 영역에 포함될 수 있다.
이 경우, 3D 코딩 관련하여, 추가되는 stream_type 필드도 새로 지정하여 시그널링될 수 있다. 즉, 3D 코딩과 관련한 스트림들은 기존 AVC / MVC에서는 없던 새로운 스트림이므로 새로운 stream_type 필드의 값을 할당하여, 기존의 AVC / MVC에만 호환되는 수신기들은 특정 stream_type 필드의 값에 해당하는 스트림을 무시하도록 설계하여, 새로운 시그널링 시스템과 기존 시스템 사이의 역호환성을 유지할 수 있다.
도 15는 본 발명의 일 실시예에 따른, stream_type 필드의 값에 따른 의미를 나타낸 도면이다.
3D 비디오 코딩에서 3D enhancement stream에 해당하는 것은 크게 세가지로 구분할 수 있다.
첫째는 AVC / MVC 호환 깊이 맵 영상 컴포넌트가 존재할 수 있다. 이 때, 필요에 따라, AVC / MVC 호환 깊이 맵 영상 컴포넌트는 AVC 호환 깊이 맵 영상 컴포넌트와 MVC 호환 깊이 맵 영상 컴포넌트로 구분될 수 있다.
둘째로, AVC / MVC 비호환 텍스쳐 영상 컴포넌트가 존재할 수 있다.
셋째로, AVC / MVC 비호환 깊이 맵 영상 컴포넌트가 존재할 수 있다.
스트림이 전송하는 영상 컴포넌트가 AVC 호환 깊이 맵 영상 컴포넌트에 해당되는 경우, stream_type 필드의 값은 ‘0x24’로 설정될 수 있다.
스트림이 전송하는 영상 컴포넌트가 MVC 호환 깊이 맵 영상 컴포넌트에 해당되는 경우, stream_type 필드의 값은 ‘0x25’로 설정될 수 있다.
스트림이 전송하는 영상 컴포넌트가 AVC / MVC 비호환 텍스쳐 영상 컴포넌트에 해당되는 경우, stream_type 필드의 값은 ‘0x26’로 설정될 수 있다. 이 경우, stream_type 필드는 텍스쳐 영상 컴포넌트가 AVC 또는 MVC와 호환되지 않는, 새로운 방식으로 코딩된 것임을 나타낼 수 있다. 예를 들어, 텍스쳐 영상 컴포넌트가 깊이 맵 영상 컴포넌트를 이용한 inter-layer prediction으로 코딩된 것일 수 있다.
스트림이 전송하는 영상 컴포넌트가 AVC / MVC 비호환 깊이 맵 영상 컴포넌트에 해당되는 경우, stream_type 필드의 값은 ‘0x27’로 설정될 수 있다. 이 경우, stream_type 필드는 깊이 맵 영상 컴포넌트가 AVC 또는 MVC 호환되지 않는, 새로운 방식으로 코딩된 것임을 나타낼 수 있다. 예를 들어, 깊이 맵 영상 컴포넌트가 텍스쳐 영상 컴포넌트를 이용한 inter-layer prediction으로 코딩된 것일 수 있다.
도시되지는 않았으나, 3D Hierarchy descriptor 가 VCT로 전송될 수 있다. 기본적으로는 앞서 PMT에서 정의한 3D Hierarchy descriptor와 동일 기능을 갖도록 설계할 수 있고, 다음의 사항이 추가적으로 고려될 수 있다.
VCT에 3D Hierarchy descriptor 가 포함될 경우, 이는 channel level descriptor 이므로 전술한 element stream 별로 시그널링하는 PMT의 3D Hierarchy descriptor와는 서술되는 레벨이 다르다. 즉, PMT내에 포함되는 3D Hierarchy descriptor 는 ES level descriptor와는 다른 구성이 필요하다. 그러므로 channel 내에 포함된 여러 스트림 별 특성을 각각 시그널링하기 위해 3D Hierarchy descriptor 내에 for loop을 포함시켜서 각 컴포넌트 별 특성을 list 하는 등의 방법을 사용할 수 있으며, 이때 모든 스트림에 대해 공통적으로 적용되는 필드는 for loop 밖으로 빼낼 수 있다.
또한, 앞서 정의한 PMT의 3D Hierarchy descriptor 에 포함되는 필드들 이외에도, stream의 PID 값을 나타내는 필드가 3D Hierarchy descriptor에 포함되어야 한다. 이 경우, 추가되는 필드를 통해, 3D Hierarchy descriptor에 포함되는 정보가 어느 ES stream에 적용되는 것인지 수신기가 파악할 수 있다.
도시되지는 않았으나, 3D Hierarchy descriptor 는 SDT로 전송될 수 있다. 이 경우, 기본적으로는 앞서 PMT에서 정의한 3D Hierarchy descriptor와 동일 기능을 갖도록 설계할 수 있고, 다음의 사항이 추가적으로 고려될 수 있다.
SDT에 descriptor가 지정될 경우, 3D Hierarchy descriptor 는 service level descriptor 이므로, 전술한 element stream 별로 시그널링하는 PMT의 3D Hierarchy descriptor와는 서술되는 레벨이 다르다. 즉, PMT내에 포함되는 3D Hierarchy descriptor 는 ES level descriptor와는 다른 구성이 필요하다. 그러므로 channel 내에 포함된 여러 스트림 별 특성을 각각 시그널링하기 위해 3D Hierarchy descriptor 내에 for loop을 포함시켜서 각 component 별 특성을 list 하는 등의 방법을 사용할 수 있으며, 이때 모든 스트림에 대해 공통적으로 적용되는 필드는 for loop 밖으로 빼낼 수 있다.
또한, 전술한 PMT의 3D Hierarchy descriptor에 포함되는 필드들 이외에도 해당 스트림의 component_tag 값을 포함하는 필드가 추가될 수 있다. 이 필드를 통해, 3D Hierarchy descriptor에 포함되는 정보가 어느 ES stream에 적용되는 것인지 수신기가 파악할 수 있다.
전술한 PMT에서 새로 지정한 stream_type 필드에 해당하는 내용을 component descriptor의 stream_content 필드 및 component_type 필드의 조합으로 나타낼 수 있도록 새로 지정하여 시그널링할 수 도 있다.
도 16은 본 발명의 일 실시예에 따른, 비디오 레벨의 시그널링을 나타낸 도면이다.
본 발명의 일 실시예에 따르면, 비디오 레벨에서 전술한 3D View dependency descriptor에 포함되는 정보, 3D Hierarchy descriptor에 포함되는 정보, 및/또는 GVR 관련 정보를 전송할 수 있다.
예를 들면, H.264 (또는 AVC) 비디오의 경우에는, 디코딩 및 출력 등의 프로세스를 보조하는 정보를 포함하는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송할 수 있다.
이 때, SEI 에서 3D View dependency Info, 3D Hierarchy Info, GVR Info 정보의 전송을 위해 비디오 레벨에 들어가는 3D_view_dependency_info SEI message, 3D_hierarchy_info SEI message, GVR_info SEI message 를 각각 지정하거나, 3D View dependency Info, 3D Hierarchy Info, GVR Info 정보 중 두 가지 이상의 정보를 하나의 SEI message로 통합하여 지정하는 것도 가능하다.
3D View dependency Info, 3D Hierarchy Info 및 GVR Info 를 각각의 SEI message로 전송하는 경우, payloadType 엘레먼트의 값을 통하여, SEI payload가 어떠한 정보를 포함하고 있는지 시그널링할 수 있다. 예를 들면, payloadType 엘레먼트의 값이 ‘48’ 인 경우, 3D view dependency info가 SEI payload를 통하여 전송됨을 나타낼 수 있다. payloadType 엘레먼트의 값이 ‘49’ 인 경우, 3D hierarchy info가 SEI payload를 통하여 전송됨을 나타낼 수 있다. payloadType 엘레먼트의 값이 ‘50’ 인 경우, GVR info가 SEI payload를 통하여 전송됨을 나타낼 수 있다. 또한, payloadSize 엘레먼트를 SEI payload에 포함되는 정보의 크기를 시그널링할 수 있다.
도 17은 본 발명의 일 실시예에 따른, 3D view dependency info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
본 발명의 일 실시예에 따른, 3D view dependency info 를 전송하는 SEI message는 3D_view_dependency_info_id 필드, 3D_complete_views_or_not_flag 필드, 3D_mode 필드, view_ID 필드, independent_texture_coding_flag 필드, existence_of_corresponding_depth 필드, GVR_included 필드, 및/또는 cam_parameter_included 필드를 포함할 수 있다.
3D_view_dependency_info_id 필드는 3D view dependency info 를 전송하는 SEI message에 포함된 정보 조합을 식별하기 위한 식별번호를 나타낸다.
3D_complete_views_or_not_flag 필드는SEI message에 포함된 내용이 현재 프로그램 (또는 채널, 또는 서비스, 또는 operation point) 에 포함된 모든 영상에 적용되는지 여부를 알려주는 필드이다.
3D_mode 필드는 텍스쳐 영상과 깊이 맵 영상 간의 코딩 의존성 (dependency) 정보를 나타내는 필드이다. 예를 들면, 이 필드가 0 이면, “3D High” 모드 (텍스쳐 영상과 깊이 맵 영상이 서로 독립적으로 코딩되는 경우) 임을 나타내고, 이 필드가 1 이면 “3D Extended High” 모드 (텍스쳐 영상과 깊이 맵 영상 사이에 의존성을 두어 코딩 효율을 높인 경우) 임을 나타낸다.
“3D High” 모드인 경우에, 텍스쳐 영상만 획득하고 싶은 수신기는 깊이 맵 영상을 디코딩하지 않고도 텍스쳐 영상을 디코딩 하는 것이 가능하다.
“3D Extended High” 모드인 경우에는 의존성 (dependency) 가 존재하여, 텍스쳐 영상과 깊이 맵 영상 각각에 대한 독립적인 디코딩이 불가하다. 즉, 수신기는 텍스쳐 영상을 디코딩할 때, 깊이 맵 영상 에 대한 디코딩 결과를 활용하여야 한다. 또는, 수신기는 깊이 맵 영상을 디코딩할 때, 텍스쳐 영상의 디코딩 결과를 활용하여야 한다.
view_ID 필드는, 텍스쳐 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다. 텍스쳐 영상 컴포넌트에 대응되는 깊이 맵 영상 컴포넌트가 있을 경우, 깊이 맵 영상 컴포넌트에 대한 view_ID 값은 텍스쳐 영상 컴포넌트의 view_ID 값과 동일한 값을 가지는 것으로 서로 연결될 수 있다.
independent_texture_coding_flag 필드는 각 텍스쳐 영상에 대한 독립적인 코딩이 가능한지 여부를 나타낸다. 예를 들면, 텍스쳐 영상 0 (T0) 는 default로 독립적인 코딩이 가능하므로 이 필드가 굳이 필요 없으며, 사용할 경우, 무조건 ‘1’의 값을 갖는다. 나머지 텍스쳐 영상들 (예를 들면, T1) 에 대하여는 이 필드를 통하여, 독립적인 디코딩이 가능한지 여부를 판단할 수 있다.
existence_of_corresponding_depth 필드는 텍스쳐 영상 컴포넌트 에 대응되는 깊이 맵 영상 컴포넌트가 시그널링 되는지 여부를 알려주는 필드이다. 예를 들면, 이 필드의 값이 ‘0’이면 텍스쳐 영상 컴포넌트만 존재함을 나타내고, 이 필드의 값이 ‘1’이면 텍스쳐 영상 컴포넌트 및 깊이 맵 영상 컴포넌트가 모두 존재함을 나타낸다.
GVR_included 필드는 GVR 기법으로 영상을 복원할 수 있는지 여부를 나타낸다. 예를 들면, GVR_included 필드가 0이면, GVR 픽쳐 (picture)가 프로그램, 채널, 또는 서비스 내에 포함됨을 나타내고, GVR_included 필드가 1이면, GVR 픽쳐 (picture)가 프로그램, 채널, 또는 서비스 내에 포함되지 않음을 나타낸다. 수신단에 DIBR 기능이 제공되는 경우에만 GVR을 임의 어세스 포인트 (Random access point) 로 사용할 수 있으므로, DIBR을 미지원하는 수신기는 이 필드 값을 통해 현재 프로그램, 채널 또는 서비스의 임의 어세스 포인트 (random access point)가 모두 접근 가능한지 아닌지 여부를 미리 판단할 수 있다.
cam_param_included 필드는 특정 영상 에 대해 카메라 파라미터가 시그널링 되고 있는지 여부를 알려주는 필드이다. GVR이 임의 어세스 포인트 (Random access point) 로 사용되려면 카메라 파라미터가 필요할 수 있다. 이 경우, 수신기는 이 필드를 통해 GVR 지원이 가능한지 여부를 알 수 있다. 일반적으로 방송국에서 GVR을 보내게 되면 카메라 파라미터도 함께 보낼 수 있으나, 카메라 파라미터가 비디오 헤더가 아닌 다른 별도의 경로로 전송되는 경우, 수신기는 이 필드를 통해 확실하게 카메라 파라미터가 제공되는지 여부를 식별할 수 있다.
도 18은 본 발명의 일 실시예에 따른, 3D hierarchy info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
본 발명의 일 실시예에 따른, 3D hierarchy info를 전송하는 SEI message는 3D_hierarchy_info_id 필드, hierarchy_view_type 필드, hierarchy_view_ID 필드, num_hierarchy_embeded_views 필드, hierarchy_embeded_view_type 필드, hierarchy_embeded_view_ID 필드, 및/또는 coding_priority_index 필드를 포함할 수 있다.
3D_hierarchy_info_id 필드는 3D hierarchy info를 전송하는 SEI message에 포함된 정보 조합을 식별하기 위한 식별 번호를 나타낸다.
hierarchy_view_type 필드는 영상 컴포넌트의 종류를 알려주는 필드이다. 예를 들면, 이 필드의 값이 ‘0’이면 영상 컴포넌트가 텍스쳐 영상 컴포넌트 임을 의미하고, 이 필드의 값이 ‘1’이면, 영상 컴포넌트가 깊이 맵 영상 컴포넌트 임을 의미한다.
hierarchy_view_ID 필드는 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다.
num_hierarchy_embeded_views 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 개수를 알려주는 필드이다. 예를 들면, 영상 컴포넌트 사이에 의존성이 존재하는 경우, 현재 영상 컴포넌트를 디코딩하기 위하여 필요한 영상 컴포넌트가 존재할 수 있는데, 이때 필요한 영상 컴포넌트의 개수를 num_hierarchy_embeded_views 필드를 통하여 수신기는 알 수 있다.
hierarchy_embeded_view_type 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 종류가 무엇인지를 알려주는 필드이다. 예를 들면, hierarchy_embeded_view_type 필드의 값이 ‘0’이면, 텍스쳐 영상 컴포넌트 임을 의미하고, hierarchy_embeded_view_type 필드의 값이 ‘1’이면, ‘깊이 맵 영상 임을 의미한다.
hierarchy_embeded_view_ID 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다. 수신기는 hierarchy_embeded_view_ID 필드를 통하여, 현재 영상 컴포넌트를 디코딩하기 위하여 필요한 영상 컴포넌트를 찾을 수 있다. 또는, 수신기는 hierarchy_embeded_view_type 필드와 hierarchy_embeded_view_ID 필드의 조합을 이용하여 필요한 영상 컴포넌트를 찾을 수 있다.
coding_priority_index 필드는 영상 컴포넌트를 디코딩 하기 전에, 먼저 디코딩 해야 하는 영상 컴포넌트의 디코딩 우선순위를 나타내는 필드이다. 이 필드는 view_index 필드 값으로 대체할 수도 있다. 이 필드는, 먼저 decoding 해야 하는 stream이 2개 이상일 때 그 우선순위를 시그널링하기 위한 필드이다.
도 19는 본 발명의 일 실시예에 따른, GVR info 가 SEI payload를 통하여 전송되는 경우의 SEI message의 syntax를 나타낸 도면이다.
3D 비디오 디코딩이 불가능한 legacy TV에서는 GVR 포인트에서 호환되는 스트림만 출력이 가능하므로, GVR이 Random access point로 작용하지 않는다.
반면, 3D 비디오 코딩 및 3D 영상 분석이 지원이 되는 3DTV에서는 GVR 포인트에서 enhancement stream에 해당하는 영상을 영상 분석을 통해 생성해내므로, GVR이 Random access point로 작용한다.
이때, 3D 영상 분석에 대한 지원이 되는 3DTV에서는, 3D 영상이 GVR 픽쳐인지 아닌지 여부를 GVR Info SEI message를 통하여 알 수 있다.
GVR Info SEI message는 GVR Random Access Point인 Access Unit 마다 붙는 형태로 시그널링 될 수 있으며, 해당 Access Unit 내에서 디코딩 프로세스 만으로는 출력이 불가한 영상 (즉, 수신기에서 DIBR을 적용하여 복원해야만 획득할 수 있는 view의 ID) 이 무엇인지를 알려줄 수 있다.
GVR Info SEI message는 GVR_flag 필드, num_3D_extended_views 필드, 및/또는 view_ID 필드를 포함한다.
GVR_flag 필드는 3D 영상이 GVR 픽쳐인지 아닌지 여부를 식별한다. 즉, GVR_flag 필드의 값이 ‘1’ 이면, 해당 Access Unit이 GVR Random Access Point임을 의미한다.
num_3D_extended_views 필드는 GVR 내에서 현재 시점의 영상이 아닌, 시간상으로 앞선 picture가 없을 시 디코딩이 불가능한 영상의 개수를 나타내는 필드이다. 또는, num_3D_extended_views 필드는 DIBR 을 적용하여야 복원할 수 있는 영상의 개수를 나타낸다. num_3D_extended_views 필드는 앞으로 몇 개의 영상을 더 디코딩하여야 완전한 영상을 얻을 수 있는지에 대한 정보를 제공할 수 있다.
view_ID 필드는 영상 컴포넌트의 시점을 알려주는 식별자 (view identifier) 이다. view_ID 필드는 num_3D_extended_views 필드에 의하여 식별되는 영상의 개수만큼 for 루프를 돌면서, DIBR이 적용되어야 하는 영상을 식별하는 역할을 한다. 또는 view_ID 필드는 num_3D_extended_views 필드에 의하여 식별되는 영상의 개수만큼 for 루프를 돌면서, 완전하게 복원되지 못하는 영상을 식별하는 역할을 한다.
도 20은 본 발명의 일 실시예에 따른, nal_unit_type의 값에 따른 NAL unit의 내용 및 RBSP의 syntax 구조를 나타낸 도면이다.
본 발명의 다른 실시예에 따르면, NAL unit header 의 nal_unit_type 값에 enhanced layer의 NAL unit을 위한 값을 새로 할당할 수 있다. 따라서, 기존 수신기는 해당 값을 인식하지 못하도록 하여, 3D View dependency Info, 3D hierarchy Info, 및/또는 GVR Info 가 기존 수신기에서 사용되지 않을 수 있도록 설정할 수 있다.
본 발명의 다른 실시예에 따르면, 3D View dependency Info SEI message, 3D hierarchy Info SEI message, 및/또는 GVR Info SEI message 에 의해 시그널링 되는 정보를 nal_unit_header_3D_extension()과 같은 형태로 정의하여, nal_unit_header를 통해 시그널링 할 수 있다. nal_unit_type 값이 21인 경우를 새롭게 정의하고, 이 때에는, 3D view dependency SEI message, 3D hierarchy SEI message, 및/또는 GVR info SEI message가 NAL Unit에 포함되어 전송될 수 있다.
비디오 레벨에서 3D view dependency / 3D hierarchy / GVR 관련 정보를 알려주기 위해 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 를 SEI message 형태로 전송하는 경우, 수신기는 아래와 같이 동작할 수 있다.
수신기는 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 를 SEI RBSP (raw byte sequence payload)를 통해 수신할 수 있다.
수신기는 AVC NAL unit을 parsing 하여, nal_unit_type 값이 6이면 SEI 데이터임을 인식하고, payloadType이 48인 3D view dependency Info SEI message를 읽어 해당 정보를 이용한다..
수신기는 AVC NAL unit을 parsing 하여, nal_unit_type 값이 6이면 SEI 데이터임을 인식하고, payloadType이 49인 3D hierarchy Info SEI message를 읽어 해당 정보를 이용한다.
수신기는 AVC NAL unit을 parsing 하여, nal_unit_type 값이 6이면 SEI 데이터임을 인식하고, payloadType이 50인 GVR Info SEI message를 읽어 해당 정보를 이용한다.
수신기는 3D_view_dependency_info SEI message 를 파싱해 3D 취득 정보 및 영상의 dependency 정보를 획득한다.
수신기는 3D_hierarchy_info SEI message 를 파싱해 3D hierarchy 정보를 획득한다.
수신기는 GVR_info SEI message 를 파싱해 GVR 정보를 획득한다.
비디오 레벨에서 3D view dependency / 3D hierarchy / GVR 관련 정보를 알려주기 위해 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 를 NAL unit에 포함하여 전송하는 경우, 수신기는 아래와 같이 동작할 수 있다.
수신기는 방송 신호에서 NAL unit을 파싱하고, nal_unit_type 값이 21인 slice_layer_extension_rsbp () 를 획득하고, slice_layer_extension_rsbp () 에 포함된 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info를 파싱하여, 3D 비디오 디코딩에 이용한다.
도 21은 본 발명의 일 실시예에 따른, 3D hierarchy Info를 이용한 수신기의 디코딩 동작을 설명하는 도면이다.
도 21을 참조하면, Video 2를 디코딩 하기 위해서는 총 네 개의 영상 컴포넌트 (Video 0, Depth 0, Video 1, Depth 1) 가 먼저 디코딩 되어야 한다. 따라서, Video 2의 3D Hierarchy Info는 네 개의 영상 컴포넌트 (Video 0, Depth 0, Video 1, Depth 1)에 대한 정보를 포함하여야 한다.
도 22는 본 발명의 일 실시예에 따른, 도 21의 수신기의 디코딩 동작을 위한 3D hierarchy Info를 나타낸 도면이다.
Video 2는 텍스쳐 영상 컴포넌트에 해당되므로, hierarchy_view_type 필드가 텍스텨 영상임을 나타내고 있다. hierarchy_view_ID 필드는 Video 2의 시점 식별자인 ‘2’ 라는 값을 가진다. Video 2를 디코딩하기 위하여 먼저 디코딩되어야 하는 영상 컴포넌트는 Video 0, Depth 0, Video 1, Depth 1의 총 4 개 이므로, num_hierarchy_embeded_views 필드는 ‘4’ 의 값을 가진다. 3D hierarchy Info는 num_hierarchy_embeded_views 필드가 가리키는 값 만큼 for 루프를 돌며, 각각의 영상 컴포넌트에 대한 정보를 시그널링한다.
수신기에서는 각 영상 컴포넌트의 coding_priority_index 필드의 값을 감안해 특정 스트림을 디코딩할 때, 필요한 텍스쳐 영상 컴포넌트 및/또는 깊이 맵 영상 컴포넌트를 미리 파악할 수 있다. 즉, Video 2를 디코딩하기 위해 V0, V1, D0, D1 네 개의 component를 수신해야 하며 V1과 D0는 동일한 coding_priority_index 필드의 값을 가지므로, parallel decoding (동시에 함께 디코딩) 이 가능하다는 것을 파악할 수 있다.
도 23은 본 발명의 일 실시예에 따른, 3DTV 수신기의 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 3DTV 수신기는 튜너 & 복조부 (23010), VSB 디코더 (23020), TP 디멀티플렉서 (23030), PSI/PSIP/SI 프로세서 (23040), 영상 컴포넌트 디코더 (23050), 깊이 맵 영상 컴포넌트 디코더 (23052), 텍스쳐 영상 컴포넌트 디코더 (23054), 영상 분석 모듈 (23060), 제 1 가상 영상 생성부 (23070), 제 2 가상 영상 생성부 (23080), 및/또는 출력 포맷터 (23090)을 포함할 수 있다.
3DTV 수신기는 튜너 & 복조부 (23010) 및/또는 VSB 디코더(23020)을 통해 방송 신호를 수신한다. VSB 디코더(23020)는 그 명칭에 구애받지 않고, OFDM 디코더 등으로 해석될 수도 있다.
TP 디멀티플렉서 (23030)는 필터링을 통해 방송 신호로부터 비디오 데이터, 시스템 정보 등을 추출하여 출력한다. 시스템 정보는 PMT, TVCT, EIT 또는/및 SDT을 포함할 수 있다. TP 디멀티플렉서 (23030)가 SEI message 및/또는 NAL unit이 파싱하고, SEI message 및/또는 NAL unit에 포함된 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info을 획득할 수 있다.
PSI/PSIP/SI 프로세서 (23040)는 시스템 정보를 수신하고, 수신된 시스템 정보를 파싱하여 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 를 획득할 수 있다. PSI/PSIP/SI 프로세서 (23040)는 SEI message 또는 NAL unit 헤더를 파싱하고, SEI message 또는 NAL unit 헤더에 포함된 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 를 획득할 수 있다. 즉, SEI message 또는 NAL unit 헤더에 포함된 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info 는 TP 디멀티플렉서 (23030) 또는 PSI/PSIP/SI 프로세서 (23040)에서 추출될 수 있다.
영상 컴포넌트 디코더 (23050)는 깊이 맵 영상 컴포넌트 디코더 (23052) 및/또는 텍스쳐 영상 컴포넌트 디코더 (23054)를 포함한다.
깊이 맵 영상 컴포넌트 디코더 (23052)는 비디오 데이터에서 깊이 맵 영상 컴포넌트를 디코딩한다.
텍스쳐 영상 컴포넌트 디코더 (23054)는 비디오 데이터에서 텍스쳐 영상 컴포넌트를 디코딩한다.
깊이 맵 영상 컴포넌트 디코더 (23052) 및/또는 텍스쳐 영상 컴포넌트 디코더 (23054)는 3D View dependency Info, 3D Hierarchy Info, 및/또는 GVR Info를 이용하여 영상 컴포넌트의 upsampling 수행하거나, 영상 컴포넌트 사이의 의존성을 파악하고, 의존성에 따라, 영상 컴포넌트를 디코딩한다. 이와 관련된 동작은 도 21 및 도 22에 대한 설명으로 대체한다.
영상 분석 모듈 (23060)은 텍스쳐 영상 컴포넌트에 깊이 맵 영상 컴포넌트로부터 얻은 깊이 정보를 적용한다.
제 1 가상 영상 생성부 (23070), 제 2 가상 영상 생성부 (23080)는 각각 3D 영상에 포함되는 좌영상 또는 우영상을 렌더링한다. 제 1 가상 영상 생성부 (23070), 제 2 가상 영상 생성부 (23080)는 영상 분석 모듈 (23060)에 포함될 수 있고, 영상 분석 모듈 (23060)은 각각의 시점에 따른 좌영상 또는 우영상을 렌더링하는 역할을 수행할 수 있다.
아웃풋 포매터(23090)는 제 1 가상 영상 생성부 (23070), 제 2 가상 영상 생성부 (23080)에서 생성된 좌영상 또는 우영상 결합하여, 3D 영상을 출력한다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 방송 프로그램과 관련한 방송 신호 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 3DTV 방송 서비스의 제공과 관련한 일련의 산업분야에서 이용 가능하다.

Claims (18)

  1. 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트를 생성하는 단계;
    상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계;
    상기 3D 계층 정보 엘레먼트를 포함하는 SEI (Supplemental Enhancement Information) 메시지를 포함하는 NAL 유닛을 생성하는 단계; 및
    상기 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 NAL 유닛을 포함하는 방송 신호를 생성하는 단계;
    를 포함하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  2. 제 1 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  3. 제 2 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    상기 특정 영상 컴포넌트의 시점을 알려주는 계층 영상 식별자 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  4. 제 2 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  5. 제 4 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  6. 제 1 항에 있어서,
    임의 어세스 포인트를 이용한 영상 컴포넌트 복원과 관련한 정보를 시그널링하는 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계; 및
    상기 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 생성하는 단계;
    를 더 포함하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  7. 제 6 항에 있어서, 상기 GVR 정보 엘레먼트는,
    특정 어세스 유닛 (access unit)이 GVR 임의 어세스 포인트인지 여부를 나타내는 GVR 식별 정보, GVR이 적용되는 영상 컴포넌트들 내에서, 현재 시점의 영상 컴포넌트 보다 시간적으로 앞서는 영상 컴포넌트가 없는 경우 디코딩이 불가능한 영상 컴포넌트의 개수를 나타내는 3D 확장 영상 개수 정보, 및 상기 디코딩이 불가능한 영상 컴포넌트를 식별하는 영상 식별 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  8. 제 1 항에 있어서,
    상기 텍스쳐 영상 컴포넌트와 상기 깊이 맵 영상 컴포넌트 사이의 연관관계를 시그널링하는 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 생성하는 단계; 및
    상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 생성하는 단계;
    를 포함하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  9. 제 8 항에 있어서, 상기 3D 영상 의존 정보 엘레먼트는,
    상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지가 3D 콘텐트에 포함된 모든 영상 컴포넌트들에 대한 정보를 제공하는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  10. 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 NAL 유닛을 포함하는 방송 신호를 수신하는 튜너;
    상기 방송 신호에서, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 엘레먼트를 포함하는 SEI (Supplemental Enhancement Information) 메시지를 포함하는 NAL 유닛을 파싱하는 디멀티플렉서; 및
    상기 SEI 메시지에 포함된 3D 계층 정보 엘레먼트를 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하는 영상 컴포넌트 디코더;
    를 포함하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  11. 제 10 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  12. 제 11 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  13. 제 12 항에 있어서, 상기 3D 계층 정보 엘레먼트는,
    상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  14. 제 10 항에 있어서,
    상기 디멀티플렉서는,
    임의 어세스 포인트를 이용한 영상 컴포넌트 복원과 관련한 정보를 시그널링하는 GVR 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 더 파싱하고,
    상기 영상 컴포넌트 디코더는,
    상기 GVR 정보 엘레먼트를 더 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하고,
    여기서, 상기 GVR 정보 엘레먼트는,
    특정 어세스 유닛 (access unit)이 GVR 임의 어세스 포인트인지 여부를 나타내는 GVR 식별 정보, GVR이 적용되는 영상 컴포넌트들 내에서, 현재 시점의 영상 컴포넌트 보다 시간적으로 앞서는 영상 컴포넌트가 없는 경우 디코딩이 불가능한 영상 컴포넌트의 개수를 나타내는 3D 확장 영상 개수 정보, 및 상기 디코딩이 불가능한 영상 컴포넌트를 식별하는 영상 식별 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  15. 제 10 항에 있어서,
    상기 디멀티플렉서는,
    상기 텍스쳐 영상 컴포넌트와 상기 깊이 맵 영상 컴포넌트 사이의 연관관계를 시그널링하는 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지를 포함하는 NAL 유닛을 더 파싱하고,
    상기 영상 컴포넌트 디코더는,
    상기 3D 영상 의존 정보 엘레먼트를 더 이용하여, 상기 하나 이상의 텍스쳐 영상 컴포넌트 및 상기 하나 이상의 깊이 맵 영상 컴포넌트를 디코딩하고,
    여기서, 상기 3D 영상 의존 정보 엘레먼트는,
    상기 3D 영상 의존 정보 엘레먼트를 포함하는 SEI 메시지가 3D 콘텐트에 포함된 모든 영상 컴포넌트들에 대한 정보를 제공하는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 수신 장치.
  16. 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트를 생성하는 단계;
    상기 하나 이상의 텍스쳐 영상 컴포넌트 및 하나 이상의 깊이 맵 영상 컴포넌트 사이의 코딩 관련 계층 정보를 시그널링하는 3D 계층 정보 디스크립터를 생성하는 단계, 여기서 상기 3D 계층 정보 디스크립터는 특정 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 계층 영상 타입 정보 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 개수를 나타내는 임베디드 계층 영상 개수 정보를 포함하고; 및
    상기 하나 이상의 텍스쳐 영상 컴포넌트, 상기 하나 이상의 깊이 맵 영상 컴포넌트, 및 상기 3D 계층 정보 디스크립터를 포함하는 방송 신호를 생성하는 단계;
    를 포함하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  17. 제 16 항에 있어서,
    상기 3D 계층 정보 디스크립터는, PMT, VCT, 또는 SDT에 포함되는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
  18. 제 16 항에 있어서, 상기 3D 계층 정보 디스크립터는,
    상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트가 텍스쳐 영상 컴포넌트에 해당되는지, 깊이 맵 영상 컴포넌트에 해당되는지 여부를 식별하는 임베디드 계층 영상 타입 정보, 및 상기 특정 영상 컴포넌트를 디코딩 하기 전에 디코딩되어야 하는 영상 컴포넌트의 디코딩 우선 순위를 나타내는 코딩 우선순위 정보를 더 포함하는 것을 특징으로 하는 3D 영상을 위한 영상 컴포넌트 송신 처리 방법.
PCT/KR2013/007226 2012-08-10 2013-08-12 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치 WO2014025239A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/419,883 US9872041B2 (en) 2012-08-10 2013-08-12 Method and apparatus for transceiving image component for 3D image
EP13827195.2A EP2884744B1 (en) 2012-08-10 2013-08-12 Method and apparatus for transceiving image component for 3d image
CN201380042553.7A CN104541508A (zh) 2012-08-10 2013-08-12 收发用于3d图像的图像分量的方法和装置
KR1020157002914A KR101653319B1 (ko) 2012-08-10 2013-08-12 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
CA2881141A CA2881141C (en) 2012-08-10 2013-08-12 Method and apparatus for transceiving image component for 3d image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261681633P 2012-08-10 2012-08-10
US61/681,633 2012-08-10

Publications (1)

Publication Number Publication Date
WO2014025239A1 true WO2014025239A1 (ko) 2014-02-13

Family

ID=50068393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/007226 WO2014025239A1 (ko) 2012-08-10 2013-08-12 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US9872041B2 (ko)
EP (1) EP2884744B1 (ko)
KR (1) KR101653319B1 (ko)
CN (1) CN104541508A (ko)
CA (1) CA2881141C (ko)
WO (1) WO2014025239A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006913A1 (ko) * 2014-07-08 2016-01-14 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2016153273A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168893A1 (en) 2013-04-08 2014-10-16 General Instrument Corporation Signaling for addition or removal of layers in video coding
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP6358460B2 (ja) 2014-04-04 2018-07-18 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
CA3060496C (en) 2014-05-21 2022-02-22 Arris Enterprises Llc Signaling and selection for the enhancement of layers in scalable video
MX2018013877A (es) 2014-05-21 2022-06-15 Arris Int Ip Ltd Gestion individual de memorias intermedias en transporte de video escalable.
TWI529662B (zh) * 2014-12-15 2016-04-11 財團法人工業技術研究院 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
AU2020319901A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for all layers
WO2022144184A1 (en) * 2020-12-28 2022-07-07 Koninklijke Kpn N.V. Prioritized decoding and output of parts of a picture in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064146A1 (en) * 2009-09-16 2011-03-17 Qualcomm Incorporated Media extractor tracks for file format track selection
KR20110049137A (ko) * 2009-11-04 2011-05-12 한국전자통신연구원 병렬 처리 스케일러블 비디오 부/복호화 방법 및 장치
KR20110111389A (ko) * 2009-01-06 2011-10-11 엘지전자 주식회사 3ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기
KR20110116239A (ko) * 2009-02-19 2011-10-25 톰슨 라이센싱 3ｄ 비디오 포맷
KR20120081022A (ko) * 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
CN105120370A (zh) 2010-12-03 2015-12-02 Lg电子株式会社 3d广播接收器和用于接收3d广播信号的方法
CN102055982B (zh) 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110111389A (ko) * 2009-01-06 2011-10-11 엘지전자 주식회사 3ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기
KR20110116239A (ko) * 2009-02-19 2011-10-25 톰슨 라이센싱 3ｄ 비디오 포맷
KR20120081022A (ko) * 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷
US20110064146A1 (en) * 2009-09-16 2011-03-17 Qualcomm Incorporated Media extractor tracks for file format track selection
KR20110049137A (ko) * 2009-11-04 2011-05-12 한국전자통신연구원 병렬 처리 스케일러블 비디오 부/복호화 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006913A1 (ko) * 2014-07-08 2016-01-14 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
KR20170010375A (ko) * 2014-07-08 2017-01-31 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
US9980013B2 (en) 2014-07-08 2018-05-22 Lg Electronics Inc. Method and apparatus for transmitting and receiving broadcast signal for 3D broadcasting service
KR101871728B1 (ko) * 2014-07-08 2018-06-27 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2016153273A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10070162B2 (en) 2015-03-23 2018-09-04 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method

Also Published As

Publication number Publication date
US9872041B2 (en) 2018-01-16
EP2884744A4 (en) 2016-07-06
CA2881141C (en) 2017-09-19
EP2884744A1 (en) 2015-06-17
EP2884744B1 (en) 2018-07-18
CN104541508A (zh) 2015-04-22
KR101653319B1 (ko) 2016-09-01
CA2881141A1 (en) 2014-02-13
US20150229966A1 (en) 2015-08-13
KR20150040902A (ko) 2015-04-15

Similar Documents

Publication Publication Date Title
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2011136621A2 (en) An apparatus of processing an image and a method of processing thereof
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2013025035A2 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2009145426A1 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2014025213A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2014204227A1 (ko) 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2012157999A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2012050405A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2015012605A1 (ko) 3차원 콘텐츠의 부호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13827195

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157002914

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2881141

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14419883

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013827195

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE