WO2012157999A2 - 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 - Google Patents

비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 Download PDF

Info

Publication number
WO2012157999A2
WO2012157999A2 PCT/KR2012/003988 KR2012003988W WO2012157999A2 WO 2012157999 A2 WO2012157999 A2 WO 2012157999A2 KR 2012003988 W KR2012003988 W KR 2012003988W WO 2012157999 A2 WO2012157999 A2 WO 2012157999A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
stream
sub
signaling information
sampling
Prior art date
Application number
PCT/KR2012/003988
Other languages
English (en)
French (fr)
Other versions
WO2012157999A3 (ko
Inventor
최지현
서종열
김진필
문경수
홍호택
이준휘
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/118,050 priority Critical patent/US20140140415A1/en
Priority to KR1020137029668A priority patent/KR20140027982A/ko
Priority to CN201280024261.6A priority patent/CN103548357A/zh
Priority to CA2835621A priority patent/CA2835621C/en
Priority to EP12786336.3A priority patent/EP2712191A4/en
Publication of WO2012157999A2 publication Critical patent/WO2012157999A2/ko
Publication of WO2012157999A3 publication Critical patent/WO2012157999A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams

Definitions

  • the present invention provides a video stream transmission apparatus, a video stream reception apparatus, a video stream transmission method, and a video stream reception method.
  • the UD resolution is defined as a high resolution video image of 4 times or 16 times the high definition (HD) resolution.
  • HD high definition
  • An object of the present invention is to solve the above problems, and to provide a video stream transmission apparatus, a video stream reception apparatus, a video stream transmission method, and a video stream reception method capable of efficiently transmitting and receiving an ultra high resolution video stream.
  • Another object of the present invention is to provide a video stream transmission apparatus, a video stream reception apparatus, a video stream transmission method, and a video stream reception method capable of transmitting and receiving a video stream compatible with a current broadcasting system while implementing an ultra high resolution video stream. .
  • An embodiment of the present invention includes sampling and separating a UD video stream into at least one viewable HD video substreams and encoding the separated at least one HD video substreams, respectively; And multiplexing the signaling information describing a relationship between the UD video stream and the at least one HD video substream and the at least one HD video substream. And transmitting the multiplexed at least one HD video substream and signaling information.
  • the signaling information may include an identifier of the HD video substream or sampling mode information on the sampling.
  • the signaling information may include an identifier for identifying the sub video of the size of the HD frame included in the UD screen.
  • the signaling information may include resolution information of the UD screen.
  • the signaling information may include transmission medium information of at least one HD video substream.
  • an embodiment of the present invention provides signaling information describing a relationship between at least one HD video substreams generated by sampling a UD video stream and the at least one HD video substream. Demultiplexing a stream comprising; Decoding the demultiplexed signaling information; And decoding the demultiplexed at least one HD video substream using the decoded signaling information.
  • the signaling information may include a descriptor describing the at least one HD video substream, and the descriptor may include information about the sampling.
  • the signaling information may include a descriptor describing a relationship between the UD video stream and the at least one HD video substream, and the descriptor may be provided as the at least one HD video substream. May contain information.
  • an embodiment of the present invention includes an encoder for sampling and separating a UD video stream into at least one viewable HD video substreams and encoding the separated at least one HD video substreams, respectively; And a multiplexing unit including signaling information describing a relationship between the UD video stream and the at least one HD video substream and the at least one HD video substream. And a transmitter for transmitting the multiplexed at least one HD video substream and signaling information.
  • the at least one HD video substream may include information about the sampling.
  • an embodiment of the present invention provides signaling that describes at least one HD video substreams generated by sampling a UD video stream and a relationship between the UD video stream and the at least one HD video substream.
  • a demultiplexer for demultiplexing a stream including information;
  • a signaling information decoder for decoding the demultiplexed signaling information;
  • a video decoder which decodes the demultiplexed at least one HD video substream using the decoded signaling information.
  • an ultra high resolution video stream can be efficiently transmitted and received.
  • FIG. 1 illustrates an example of transmitting a UD video stream according to an embodiment of the present invention.
  • FIG. 2 illustrates an example in which a video splitter subsamples a UD video stream into a viewable HD video stream.
  • FIG. 3 illustrates an example of a stream receiver for receiving and processing separated HD video streams in accordance with an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating signaling information according to an embodiment of the present invention.
  • FIG. 5 illustrates a substream descriptor of signaling information according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a value of a UD_subsampling_mode field and a description thereof;
  • FIG. 7 is a diagram illustrating a compatibility_level field value and a corresponding description.
  • 9 and 10 illustrate an interleaving mode of signaling information according to an embodiment of the present invention.
  • FIG. 13 illustrates a combine descriptor according to an embodiment of the present invention.
  • 16 illustrates a value of the Linked_media_sync_type field described above.
  • FIG. 17 illustrates a format of a supplemental enhancement information (SEI) payload of a video elementary stream.
  • SEI Supplemental Enhancement Information
  • FIG. 18 is a diagram illustrating a format of a supplemental enhancement information (SEI) message of a video elementary stream.
  • SEI Supplemental Enhancement Information
  • 19 is a diagram illustrating sampling information according to a method of subsampling UD video in a video elementary stream
  • 20 is a diagram illustrating an example of identifying UD content using stream_content and component_type in a DVB system.
  • 21 illustrates another embodiment of a substream descriptor.
  • FIG. 22 illustrates an example of reconstructing a corresponding video pixel using a reference video pixel according to signaling information.
  • FIG. 23 illustrates an example of a receiver according to an embodiment of the invention.
  • FIG. 24 illustrates an embodiment of a video stream transmission method according to the present invention.
  • 25 illustrates an embodiment of a method of receiving a video stream according to the present invention.
  • H ⁇ V may represent a UD-class resolution of 3840 ⁇ 2160
  • h ⁇ v may represent an HD resolution of 1920 ⁇ 1080
  • the size of H ⁇ V and h ⁇ v may be relatively different depending on the separation method and the number.
  • a 4K UD video stream can be split into four HD video streams.
  • a 16K UD video stream may be divided into 16 HD video streams.
  • an embodiment of the present invention discloses an example of subsampling a video stream having a first resolution and separating and transmitting the video stream having a second resolution.
  • a 4K UD video stream will be described based on an example of dividing into 4 HD video streams.
  • the present invention is not limited thereto, and the same concept may be applied according to a separation method and a size.
  • the video before and after separating the video stream is expressed in terms of terms such as video-sub video, content-sub content, stream-sub stream, and service-sub service, respectively.
  • the sub video, the sub stream, the sub content, or the sub service may be independently a video elementary stream which is a transmission unit.
  • FIG. 1 illustrates an example of transmitting a UD video stream according to an embodiment of the present invention.
  • the video splitter may subsample the 3840 ⁇ 2160 UD video stream into four substreams according to a sub-video sampling factor.
  • the four separate substreams may each be a 1920 ⁇ 1080 HD video stream.
  • the four HD video streams are referred to as sub-video 0, sub-video 1, sub-video 2, and sub-video 3, respectively, and may be video signals that can be viewed as full HD video streams according to sampling methods. .
  • the subsampling factor used for subsampling may be referred to as (even, even), (odd, even), (even, odd), (odd, odd) for each separate stream. This will be described later in detail.
  • video encoders may encode each sub video into HD video streams using each sub sampling factor.
  • video for one or more sub videos may be collected and one sub stream may be transmitted.
  • the multiplexers may output the multiplexed streams by multiplexing the encoded video streams and the respective signaling information.
  • the output stream may be transmitted through the same broadcast medium or may be transmitted through two or more media such as a broadcast medium or an internet medium.
  • the signaling information is described in detail below.
  • FIG. 2 is a diagram illustrating an example in which a video splitter subsamples a UD video stream into a viewable HD video stream.
  • the video splitter subsamples the UD video stream into an HD video stream according to a sub-video sampling factor.
  • Four pixels included in 2 ⁇ 2 pixels may be divided into 0, 1, 2, and 3 as illustrated in the drawing.
  • sub-video sampling factor (even, even) sub-video, which is a high-definition video, by sub-sampling the upper left pixels indicated by 0 included in the 2 ⁇ 2 pixels of the UD video. Can make 0.
  • the sub-video sampling factor (odd, even) the sub-video, which is a high-definition video, by sub-sampling the pixels on the upper right, indicated by 1, included in 2 ⁇ 2 pixels of the UD video. Can make one.
  • sub-video sampling factor (even, odd) sub-video, which is a high-definition video, by sub-sampling the lower left pixels indicated by 2 included in 2 ⁇ 2 pixels of the UD video. You can make two.
  • the fourth sub-video sampling factor (odd, odd) the lower right pixel indicated by 3 included in the 2 ⁇ 2 pixel of the UD video is subsampled so as to be a sub video. You can create -video 3.
  • the stream receiver may process and broadcast only one video stream of four HD videos according to its performance, or may output all four HD video streams and output a video signal as UD video.
  • FIG. 3 illustrates an example of a stream receiver for receiving and processing separated HD video streams according to an embodiment of the present invention.
  • the demultiplexers respectively receive sub-sampled HD video streams and streams in which signaling information is multiplexed, demultiplex the received streams, and output sub-sampled HD video streams, respectively.
  • the demultiplexer may receive a stream for transmitting two or more sub videos and demultiplex into respective sub video streams.
  • the video decoders may decode and output each HD stream according to each sub-sampling factor.
  • the video stream output in the illustrated drawing may be four full HD video streams that can be viewed.
  • the video merger may synthesize four video streams into one UD video stream using the subsampling factor and output the synthesized video. For example, according to the reverse process of FIG. 2, one sub-sampled HD video stream may be output as one UD video stream.
  • signaling information is illustrated when transmitting and receiving a UD video stream as an HD video stream.
  • the video stream of the first resolution is separated into the video streams of the second resolution as described above, the video stream of the first resolution may be output according to the capability of the receiver by using the signaling information. You can also output
  • the signaling information may be included in the descriptor describing each separate video stream and included in the broadcast signaling information.
  • the descriptor may signal stream information such as a stream compatible with HDTV, a stream including some sub-videos, and a sub sampling method.
  • a program map table (PMT) is illustrated as broadcast signaling information including signaling information.
  • the description of each field of the PMT may be in accordance with ISO / IEC 13818-1 (MPEG-2 systems).
  • stream_type may be 0x02 or 0x1B to identify the separated stream, and a separate stream_type value may be used to identify a stream according to a high performance codec supporting ultra high resolution video such as a UD video stream.
  • a program level descriptor and a stream level descriptor may be used to signal the UD video stream or the sub-sampled HD video stream from the UD video stream, respectively.
  • the program level descriptor (indicated by UDTV_service_combine_descriptor) illustrated in the embodiment may include signaling information for synthesizing a plurality of HD video streams into one UD video stream, for example, hereinafter, referred to as a combine descriptor. .
  • the stream level descriptor (indicated by UDTV_sub_stream_descriptor) illustrated in the embodiment may include signaling information for describing HD video streams, for example, and is referred to as a substream descriptor hereinafter.
  • UDTV_sub_stream_descriptor a substream descriptor (denoted as UDTV_sub_stream_descriptor) will be described first.
  • a sub stream means a video elementary stream which can be transmitted independently.
  • the descriptor_tag field represents an identifier for identifying this descriptor.
  • the descriptor_length field may indicate the length of this descriptor in bits.
  • the sub_stream_ID field represents an ID value assigned to identify each video stream included in the UD video.
  • Each sub_stream may be assigned in order with respect to the leftmost pixel, and for example, a smaller value may be assigned as the reference pixel of each video stream is positioned above the left side in the UD video.
  • an elementary stream_PID field indicating an identifier of a video elementary stream may serve as a sub_stream_ID field.
  • the sub_stream_ID field may be represented by 2 bits
  • the sub_stream_ID field may be represented by 4 bits.
  • the UD_subsampling_mode field is a field indicating a method of separating an entire UD video screen when transmitting a program / service including UD video. This field may be included in the combine descriptor.
  • the UD_subsampling_mode field is 00, it indicates that the video stream described may be implemented as one UD video stream for implementing a UD program (service).
  • the video stream described is an HD stream using a subsampling method compatible with the HD video stream from a UD program (service) as illustrated, and the subsampling method is a stream through line-by-line sampling. It can be expressed as a method of dividing (hereinafter referred to as HD compatible sub-sampling method). Accordingly, when the UD_subsampling_mode field is 01, it may represent that at least one HD video stream among HD video streams sub-sampled UD video is a stream compatible with HD video.
  • the video stream described may indicate a method (hereinafter, referred to as a sub-partition method) for splitting a UD program (service) and transmitting the divided screens as video streams as illustrated. have. That is, when a video stream is transmitted for each divided screen area in the multivision device, the video stream may be represented.
  • the compatibility_level field is a field indicating compatibility of streams included in UD video. For example, if there is a sub-stream separated from the UD video stream to implement UD video, it may be used to define this sub-stream. Thus, for example, when a UD video stream is transmitted in one stream, the value of this field may not be defined. As an example, when this field is 000, it may represent that the stream is incompatible with the existing HD stream. Therefore, when the compatibility_level field is 000, the receiver may determine that the stream is not viewable or not a meaningful stream based on this field and may not use only the stream as output video.
  • compatibility_level field 010, this may indicate that the corresponding stream is an HD video stream (for example, 1920 ⁇ 1080) included in the UD video stream.
  • the compatibility_level field is 100, this may indicate that the corresponding stream is an HD video stream (for example, 1920 ⁇ 1080) included in the UD video stream.
  • the receiver may output the HD video stream when the compatibility_level field is 010.
  • the compatibility_level field is illustrated in FIG. 7.
  • the sub stream descriptor is It may include the fields illustrated in.
  • the num_sub_videos_in_stream field may indicate the number of sub_videos included in a stream for implementing video. That is, the number of horizontal and vertical sampling factor combinations in a frame of video transmitted by the stream may be indicated. This will be described later with reference to other drawings.
  • the interleaving_mode field is a field indicating how to arrange the sub-video in one stream when there are several sub-videos transmitted by one stream in the process of dividing and transmitting the UD video.
  • the receiver may utilize the value of this field when displaying the corresponding decoded stream.
  • the meaning of this field is as follows. This will also be described later with reference to other drawings.
  • the reserved field represents a reserved field.
  • the signaling information according to the present embodiment may further include the following fields for each sub_video according to the num_sub_videos_in_stream field, that is, the number of sub_videos included in the video stream.
  • the substream descriptor may include a reserved field, a sub_video_ID field, a horizontal_sampling_factor field, a vertical_sampling_factor field, and a delta_coding_flag field according to the num_sub_videos_in_stream field.
  • the sub_video_ID field may indicate an identifier of a sub video included in a stream for transmitting a video to be implemented.
  • sub_video_ID may indicate an identifier assigned to identify sub-videos of an HD frame size included in a UD screen. This will be described in detail with reference to FIG. 8.
  • the field indicates the horizontal_sampling_factor field, the pixels sampled in the horizontal direction, or the sampled region.
  • a vertical_sampling_factor field a field indicating what pixels or vertically sampled pixels are sampled in the vertical direction.
  • the original UD screen has a resolution of 7680.
  • the delta_coding_flag field is a flag indicating whether delta_coding is applied to the corresponding sub-video, and indicates that delta_coding is applied when it has a value of '1'.
  • ref_sub_video_flag is a flag indicating what other sub-videos the sub-video refers to at delta_coding, and the referenced sub-video may use '1' as the flag value of the corresponding position (sub_video_ID value). This will be described later with reference to the drawings.
  • the video stream is a subsampled HD video stream that is compatiable with the existing HD stream, and the HD compatible sub-sampling method or the sub-partition method.
  • the sub stream descriptor may include a sub_video_ID field, a horizontal_sampling_factor field, and a vertical_sampling_factor.
  • the video stream is a UD video stream and the subsampling method is an HD compatible sub-sampling method or a sub-partition method.
  • the stream descriptor may include a sub_video_ID field, a horizontal_sampling_factor field, and a vertical_sampling_factor.
  • FIG. 8 is a diagram illustrating an example of allocating sub-streams to sub-videos to describe a num_sub_videos_in_stream field. As described above, this field may indicate the number of sub_videos included in the stream.
  • the order of assigning HD video which is a sub video separated from the UD screen, may be assigned in order on the basis of the leftmost pixel for each sub_video, for example. In this example, as the reference pixel of each sub_video is located in the upper left corner of the UD screen, a smaller value is assigned.
  • Sub video is a video screen made by collecting pixels belonging to the same sample grid when performing sub sampling by the same quartet or group of 16 pixels. One or more sub videos may be collected to transmit a sub stream.
  • the screen that collects the upper left pixel is sub video 1
  • the screen is the upper right pixel
  • the sub video 2 is the lower left pixel, based on 2 x 2 pixels in the UD screen.
  • Each sub video is expressed as a combination of horizontal_sampling_factor and vertical_sampling_factor as follows.
  • the sub video 0 may have a horizontal_sampling_factor of 0 and a vertical_sampling_factor of 0.
  • the sub video 1 may have a horizontal_sampling_factor of 1 and a vertical_sampling_factor of 0.
  • the sub video 2 may have a horizontal_sampling_factor of 0 and a vertical_sampling_factor of 1.
  • the horizontal_sampling_factor may be 1 and the vertical_sampling_factor may be 1.
  • the sub stream may transmit video data for at least one sub video.
  • sub video 0 may be transmitted in a stream having a sub stream identifier 0 and sub videos 1, 2 and 3 are transmitted in a stream having a sub stream identifier 1 is illustrated.
  • num_sub_videos_in_stream is 3 for the stream having the substream identifier 1.
  • the interleaving mode may indicate how to arrange the plurality of sub-videos in one stream.
  • 9 and 10 illustrate an example in which sub video 1 and sub video 2 are transmitted as one stream when UD_subsampling_mode is subsampled to a UD screen of 3840 ⁇ 2160.
  • 9 illustrates a case where interleaving_mode is 00 and 01
  • FIG. 10 illustrates a case where interleaving_mode is 10 and 11.
  • FIG. 9 illustrates a case where interleaving_mode is 00 and 01
  • FIG. 10 illustrates a case where interleaving_mode is 10 and 11.
  • interleaving_mode When interleaving_mode is 00, it is called a raster scan order, and this interleaving mode can arrange pixels subjected to sub sampling based on positions in the original UD video.
  • the raster scan order shows an example in which a sub video 1 pixel and a sub video 2 pixel are arranged and transmitted for each line of a 1920 ⁇ 2160 HD service video.
  • interleaving_mode When interleaving_mode is 01, it is called a group-of-pixel-based order, and this mode is used to form a substream in which the sub-stream is formed by the smallest unit performing sub sampling (for example, 2 ⁇ 2 or 4 ⁇ 4 pixels). can do.
  • a sub-pixel 1 and sub-pixel 2 pixels are alternately arranged and transmitted on each line of a group-of-pixel-based order, 1920x2160 HD service video.
  • FIG. 10 illustrates the case where interleaving_mode is 10 or 11.
  • interleaving_mode When interleaving_mode is 10, it is called a vertical frame stack, and this mode arranges pixels included in the sub-video in the sub_video_id order in the vertical direction. Accordingly, in the case of the example, the vertical frame stack represents an example in which the sub video 1 is positioned above the vertical 1920 ⁇ 2160 HD service video and the sub video 2 is positioned below.
  • the horizontal frame stack shows an example in which the sub video 1 is positioned on the left side of the 2160 ⁇ 1920 HD service video and the sub video 2 is positioned on the right side.
  • FIG. 11 is a diagram for explaining a sampling factor easily.
  • a sampling factor is illustrated with reference to FIG. 11 as follows.
  • UD_subsampling_mode 01 (ie, HD compatible sub-sampling)
  • horizontal_sampling_factor is 0,
  • vertical_sampling_factor is 1.
  • the lower left pixels may be extracted as the sub video 2 based on 2 ⁇ 2 pixels.
  • FIG. 11B illustrates that when the UD_subsampling_mode is 10 (that is, the sub-partition), the horizontal_sampling_factor is 0 and the vertical_sampling_factor is 1, video 2 is extracted from the UD screen. In this case, a 1/4 screen on the lower left side may be extracted as the sub video 2 based on the entire UD screen.
  • the ref_sub_video_flag field is a flag indicating what other sub-videos the sub-video refers to in delta_coding. If the referenced sub-video has a flag value of 1 (sub_video_ID value), and the UD screen is 4 times the size of the HD screen and includes 16 sub-videos, the sub-video referenced by the sub-video is The case of 2, 5, 7, 10 is illustrated. In this figure, each bit position may indicate whether the corresponding sub-video is referenced.
  • the substream descriptor is illustrated above. And the information that can be included in the substream descriptor has been described.
  • the substream descriptor may be described as a descriptor for each stream. In this case, however, the receiver may know the compatibility and sampling factor information of each stream, but not the entire configuration information of the original UD broadcast. Accordingly, information on UD video may be signaled at a program, channel, or service level to provide UD broadcast.
  • the number of sub video streams included in a program, a channel, or a service for synthesizing each stream, channel or service information including each sub video stream, whether each sub video stream is transmitted in real time or non-real time, etc. Information may be included.
  • UD video components when UD video components are transmitted through one or more broadcast channels or physical channels different from the broadcast channels according to the above-described embodiment, signaling information for expressing them as UD video or HD video is illustrated.
  • the operation of the receiver may vary depending on whether the UD video components provided in each channel are synchronized.
  • exemplary embodiments of signaling information and a receiver operation thereof will be described.
  • the UD video components or UD subservices may be output to the UD screen in real time as soon as they are synchronized with each other, or may be output asynchronously after some or all of them are stored in the receiver and combined with the later transmitted UD video components. To illustrate.
  • FIG. 13 illustrates a combine descriptor according to an embodiment of the present invention.
  • the combine descriptor is denoted as UDTV_service_combine_descriptor. Referring to FIG. 13, the combine descriptor will be described as follows.
  • UDTV_service_combine_descriptor may include the following fields.
  • the descriptor_tag may indicate an identifier of a program level descriptor and the descriptor_length may indicate the length of UDTV_service_combine_descriptor.
  • the original_UD_resolution field means a resolution of an original UD screen that can be output when all streams included in a UD program (service) are collected. An example of the value of the original_UD_resolution field will be described later with reference to the drawings.
  • the UD_sub_service_type field may indicate a sub-service type in which UD_service_combine_type can support only a stream described at the current program (service, channel) level. The detailed value will be described later with reference to FIG. 14.
  • the linked_UD_sub_service_type field may indicate a UD_sub_service_type value of a service associated with a current program (service, channel).
  • the num_linked_media field may indicate the number of linked media provided through other services or media in addition to the current delivery media to implement the original UDTV broadcast.
  • the linked_media_type field is a field that may indicate the type of linked media. If the field is 00, this may indicate that linked information of a program (service) to be described currently is transmitted to another service, channel, or program in the same broadcast transmission medium. . If the linked_media_type is 01, this may indicate that associated information of a program (service) to be described in the program may be transmitted through another transmission medium such as the Internet.
  • the Linked_media_sync_type field illustrates how the UD subservice to be linked can be obtained and synchronized at the receiver. This will be described in detail with reference to FIG. 16.
  • the associated_service_TSID field may indicate a transport_stream_id value for a program (service) including a stream to be combined with a program (service) described by this descriptor to provide a complete UD service.
  • the associated_service_original_network_id field may indicate an original_network_id value of a service including a stream to be combined with a program (service) described by this descriptor to provide a complete UD service.
  • the associated_service_id field may indicate a service_id value of a service including a stream to be combined with a program (service) described by this descriptor to provide a complete UD service.
  • the combine descriptor includes service_id
  • the linked_program_number has a similar meaning to the program_number field of the PMT and identifies a program number for a combinable stream.
  • internet_linkage_information indicates internet connection information connected to provide a complete UD program (service), (1) whether IP address information is 32-bit or 128-bit, (2) IP address information, (3) port number information, (4 ) May include at least one or more of additional information such as a URI for the additional stream, and (5) available time slots (eg, start time, expiration time, etc. for service transmission).
  • the field value of the UD_sub_service_type in the combine descriptor may indicate the type of subservice that can be supported only by the service according to the stream to be described.
  • the UD_sub_service_type field is 000, this may indicate that there is no stream that can be independently output in the current service. That is, this field may indicate that there is only a non-compatible stream in the presently described stream, and that additional data may be received through another service or media in addition to the currently described service (program) for the UD service. .
  • the UD_sub_service_type field is 001, this may indicate that an HD compatible stream is included in the currently described UD service, but cannot support 4K UD or 8K UD service alone. Thus, in addition to data provided by a service (program) currently described for the UD service, it may represent that additional data may be received through another service or media.
  • the UD_sub_service_type field is 010, this may indicate that a 4K UD compatible stream is included in the currently described UD service, but may not support HD or 8K UD service alone.
  • a service program
  • it may represent that additional data may be received through another service or media.
  • the UD_sub_service_type field When the UD_sub_service_type field is 011, it may represent that all streams necessary for supporting the original UD broadcast are included in the currently described UD service.
  • the original UD broadcast means a UD broadcast corresponding to the original_UD_resolution value.
  • 15 is a diagram illustrating an original_UD_resolution field value described above.
  • the original_UD_resolution field When the original_UD_resolution field is 00, it may represent a 4k UD resolution of 3840x2160 and in case of 01, a 4k UD resolution of 7680 ⁇ 4320. 15 illustrates a value of the original_UD_resolution field.
  • a screen format having a resolution of 4096 ⁇ 2160 may also be signaled in the original_UD_resolution field value.
  • crop rectangle related parameters (frame_crop_left_offset, frame_crop_right_offset, frame_crop_top_offset, frame_crop_bottom_offset, etc.) may be additionally used during video encoding of the corresponding stream for HD compatibility.
  • the video decoder may set the output data to 1920 ⁇ 1080 or use the bar data to construct an HD compatible video signal.
  • the sub stream or sub video may be a video component for UD service.
  • the sub stream or sub video may be transmitted using one or more broadcast channels, or may be transmitted through a physical medium different from one or more broadcast channels.
  • the first sub stream may be transmitted through a terrestrial broadcast channel
  • the second, third and fourth sub streams may be transmitted through an IP stream of the Internet.
  • synchronous delivery refers to the case where two or more components are transmitted in real time, in which case the two or more components are expressed in synchronization at the receiver.
  • Asynchronous delivery refers to the case in which one component is transmitted in non-real time, in which case the receiver receives the other components transmitted after storing the first component in advance, and then transmits these components. Synchronous expression together.
  • the linked UD substreams (services) are transmitted in real time and synchronized with each other to enable UD service presentation.
  • asynchronous UD delivery is possible for linked UD substreams (services), and by link information (e.g., associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information, etc.).
  • link information e.g., associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information, etc.
  • the linked UD substreams (services) are transmitted in non-real time, and when the receiver receives link information, the UD substreams (services) transmitted in non-real time may synchronize with each other to express UD service.
  • asynchronous UD delivery is possible for linked UD substreams (services), and by link information (e.g., associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information, etc.).
  • link information e.g., associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information, etc.
  • the referenced UD substreams (services) have already been transmitted. Therefore, in this case, the linked UD substreams (services) have already been transmitted non-real time, and the receiver may express UD service by synchronizing the UD substreams (services) transmitted at different times using link information.
  • Linked_media_sync_type field 011
  • both synchronous UD delivery and asynchronous UD delivery for linked UD substreams (services) are possible, and link information (e.g., associated_service_TSID) is possible.
  • link information e.g., associated_service_TSID
  • Linked_media_sync_type field is 100, both synchronous UD delivery and asynchronous UD delivery for linked UD substreams (services) are possible, and link information (e.g., associated_service_TSID) is possible.
  • link information e.g., associated_service_TSID
  • UD substreams (services) referenced by associated_service_original_network_id, associated_service_id, internet_linkage_information, etc.) are already transmitted and are being transmitted simultaneously with the current event.
  • the combine descriptor and substream descriptor are illustrated above, and the information that can be included in each descriptor is described.
  • the substream descriptor may include a descriptor for each stream. In this case, however, the compatibility and sampling factor information of each stream can be known, but since there is no overall configuration information of the original UD broadcast, the UDTV broadcast that must be provided at the program / channel / service level in order to provide the UD broadcast Full configuration information can be signaled.
  • the information may include the number of configuration streams, channel / service information including each stream, whether each stream is transmitted in real time or non-real time, and the information is described in a combine descriptor.
  • the present invention has disclosed signaling in consideration of this. That is, the UD sub-services may be output in real time as soon as they are all synchronized, or may be configured asynchronously so that some or all of the UD sub-services are stored at the receiving end and then output in combination with later components.
  • the video encoder may encode and output the subsampled video into a video elementary stream according to the following format.
  • the header of the video elementary stream illustrated above may have a format of a supplemental enhancement information (SEI) messge illustrated in FIGS. 17 and 18.
  • SEI Supplemental Enhancement Information
  • FIG. 17 illustrates a format of a Supplemental Enhancement Information (SEI) payload of a video elementary stream.
  • SEI Supplemental Enhancement Information
  • the payload type of the SEI payload is 5, it may have a payload format according to user_data_registered_itu_t_t35 ().
  • user_identitier field may have a value of 0x4741 3934
  • user_structure may have a format illustrated below.
  • user_data_type_code is 0x1B
  • user_data_type_structure may include information of UD_sampling_info describing a substream according to a method of subsampling a UD video.
  • the content of UD_sampling_info is described in detail with reference to FIG. 19.
  • SEI Supplemental enhancement information
  • UD_sampling_info sampling information
  • FIG. 19 is a diagram illustrating sampling information according to a method of subsampling UD video in a video elementary stream.
  • the same field as that of FIG. 5 among the syntax of sampling information UD_sampling_info described herein has the same meaning as the field described with reference to FIG. 5.
  • the combine descriptor UDTV_service_combine_descriptor when the combine descriptor UDTV_service_combine_descriptor is included in the TVCT, the combine descriptor UDTV_service_combine_descriptor may be located at the channel loop position. In this case, the associated_service_id in the combine descriptor UDTV_service_combine_descriptor may be replaced with associated_program_number or associated_major_channel_number and associated_minor_channel_number. In addition to the program (service) described in the combine descriptor (UDTV_service_combine_descriptor), an identifier (associated_source_id) of an associated source that can be expressed in super high resolution (UD) video may be added.
  • UD super high resolution
  • the associated_program_number indicates a program number for a service video stream associated with the signaled sub video stream
  • the associated_major_channel_number and associated_minor_channel_number indicate a major and minor channel number for the service video stream associated with the signaled sub video stream, respectively.
  • the associated_source_id may indicate a channel number or source_id for a channel including a stream to be combined. Since the combine descriptor (UDTV_service_combine_descriptor) is illustrated, Field drawings are omitted.
  • the two descriptors illustrated may be added to the SDT of the DVB SI.
  • both the combine descriptor and the substream descriptor illustrated in the descriptor of the service level may be included.
  • the combine descriptor UDTV_service_combine_descriptor illustrated above may be included in the transport_stream_loop location of the Network Information Table.
  • the receiver can obtain information such as how the service to be described is transmitted in the stream obtained from the original UD video using fields of trasnport_stream_id and original_network_id using a combine descriptor (UDTV_service_combine_descriptor) of the NIT.
  • the receiver can obtain information such as whether the service received from the combine descriptor (UDTV_service_combine_descriptor) of the NIT is a stream which can be output independently or which sub-video is included.
  • the descriptor can then be used to get information about services that need to be additionally connected in order to obtain complete UD video.
  • the illustrated UD video may be included in an event information table (EIT) of DVB or ATSC.
  • EIT event information table
  • the combine descriptor UDTV_service_combine_descriptor may be included in the event loop position of the event information table.
  • the associated associated_service_id field of the combine descriptor may be replaced with the associated_program_number identifying a program related to the UD video presentation, and the associated_source_id identifying a source related to the UD video presentation in the combine descriptor.
  • associated_event_id identifying an event related to UD video presentation may be added.
  • associated_program_number indicates a program number to a service video stream associated with the signaled sub video stream
  • associated_source_id and associated_event_id indicate a source ID and an identifier of an event of the video stream associated with the signaled sub video stream.
  • an associated_event_id identifying an event related to UD video presentation may be added to a combine descriptor.
  • signaling information further including the following fields may be transmitted according to a transmission system.
  • the signaling information may include component type information or stream_type information. Signaling using component type information may inform the type of each stream through stream_content and component_type values . Accordingly, a value may be allocated and signaled to determine which UD_subsampling mode, codec information, resolution information, and the like belong to the component value of the stream.
  • a new value for the UD video stream may be allocated and signaled.
  • the UD service may be classified according to the codec used and the type of the included stream, and may be signaled by assigning a different service_type to each classified UD service.
  • the service according to the HD video compatible stream subsampled from the UD service may enable viewing using a conventional HD service using the same service_type as the existing HD service.
  • the existing receiver may signal by using a component type and a stream_type or a service_type to prevent receiving a UD video signal which is not compatible with HD video.
  • a component descriptor may identify a type of a component stream and may be used to provide a text description of an elementary stream.
  • the component descriptor may be included in the EIT or the SDT, and may describe characteristics of a component (video element) included in a corresponding event or service.
  • the type of sub content that may be included in the UD content may be signaled.
  • the sub contents may be generated using the UD content and may or may not be compatible with the UD content.
  • the components described in this figure may transmit the sub video illustrated in FIG. 1.
  • sub-video sampling factors eg, (even, odd)
  • elements such as horizontal_sampling_factor and vertical_sampling_factor may also be used to describe each component.
  • the sub content according thereto may be 4K UD content as H.264 / AVC video video content, and may represent content having a 50 Hz (25 Hz) and a 16: 9 aspect ratio. Can be.
  • the sub-content according thereto may be a part of 4K UD content as H.264 / AVC video video content, and may represent content having 60 Hz (30 Hz) and 16: 9 aspect ratio. .
  • the part of 4K UD represents a case in which sub video data of a part of the 4K UD content is included but a meaningful image (for example, HD video) cannot be independently provided.
  • a component having an aspect ratio of 16: 9 is illustrated.
  • a component_type value may be additionally set. For example, stream_content Is 0x05 and component_type is 0x98, this may indicate a component having H.264 / AVC video, 4K UD, 50 Hz (25 Hz), and 21: 9.
  • the base layer uses the same method as the existing HD and may separately assign stream_content and component_type values to the enhancement layer for providing spatial scalability. For example, if stream_content is 0x05 and component_type is 0xA0, this means H.264 / AVC Spatial Scalable Extension Video, 4K UD, 50Hz (25Hz), and 16: 9. This stream is not independently decoded and combined with base layer video can output meaningful video.
  • UD video may be provided by a method similar to the disclosed method when spatial scalability is provided based on the corresponding codec.
  • the video data may be reconstructed by using interpolation using sub video data other than the image data itself.
  • the sub stream descriptor may include information as shown in FIG. 21.
  • sub_video data is transmitted using sub_video data instead of video data. You can use the method to send filter coefficients to restore.
  • signaling information about this may include the following fields.
  • the descriptor_tag field represents an identifier for identifying this descriptor.
  • the descriptor_length field may indicate the length of this descriptor in bits.
  • the sub_stream_ID field represents an ID value assigned to identify each video stream included in the UD video.
  • Each sub_stream may be assigned in order with respect to the leftmost pixel, and for example, a smaller value may be assigned as the reference pixel of each video stream is positioned above the left of the UD video.
  • an elementary stream_PID field indicating an identifier of a stream included in a video may serve as a sub_stream_ID field.
  • the sub_stream_ID field may be represented by 2 bits
  • the sub_stream_ID field may be represented by 4 bits.
  • the sub stream may represent a video elementary stream coded independently.
  • the horizontal_sampling_factor field is a field indicating what pixels or areas sampled in the horizontal direction are.
  • the horizontal_sampling_factor field and the vertical_sampling_factor field are as described above.
  • the Num_filter_tap field may indicate the number of reference pixels or the size of a filter used in the calculation process when restoring sub_video using interpolation.
  • the Ref_sub_video_ID field may indicate a sub_video to which reference pixels to be used are included when restoring sub_video through interpolation.
  • a process of finally displaying a UD screen for display is performed. Therefore, since the sampling grid (horizontal / vertical sampling factor) of each referenced sub_video has already been obtained from the associated UDTV_sub_stream_descriptor, it is possible to know which pixel to use sufficiently only by ref_sub_video_ID.
  • the position field may indicate whether a pixel to be referred to (pixel included in ref_sub_video_ID) is included in the same quartet or group of pixels.
  • the same quartet (or group of pixel) if the position field value is 0x0, the right neighboring quartet (or group of pixel) if the position field value is 0x1, the left neighboring quartet (or group of pixel) if the position field value is 0x2, position
  • the field value is 0x03
  • the upper neighboring quartet or group of pixels
  • the lower neighboring quartet or group of pixels
  • the a_factor field, the b_factor field, and the c_factor field each indicate an argument value capable of reconstructing a field to be reconstructed from the reference sub video pixel.
  • the pixel to be reconstructed may be reconstructed according to the following equation.
  • reconstructed_pixel_for_sub_video_ID represents a value of a pixel reconstructed from the sub video
  • pixel_from_ref_sub_video_ID represents a value of a pixel referred to for reconstructing the service video
  • 22 is a diagram illustrating an example of reconstructing a corresponding video pixel using a reference video pixel according to the signaling information described above. It is assumed here that 2x2 pixels are pixels of the same group.
  • the numbers identify the pixels of the sub video included in the same group, respectively, and denote i.
  • This figure discloses an example of reconstructing the pixels of Sub_video 3 using interpolation, with reference pixels circled for reconstruction.
  • the Number_of_filter_tap, position, ref_sub_video_ID, a_factor, b_factor, and c_factor of the UDTV_sub_stream_interpolation_descriptor are as follows.
  • the Number_of_filter_tap field is 3 since three pixel values are used to recover one pixel.
  • the receiver may have a receiver capable of receiving and displaying UD video and a receiver capable of displaying HD video that is part of the UD video.
  • An embodiment of each video output for two receivers is outlined as follows.
  • the receiver may output the HD video in the same way as the existing HD video.
  • the existing HD video receiver cannot recognize descriptors such as the substream descriptor (UDTV_sub_stream_descriptor ()) and the combine descriptor (UDTV_service_combine__descriptor ()) included in the PMT. Does not recognize the new service_type (UD service type) and cannot recognize the channel itself.
  • a receiver capable of receiving and displaying UD video may output the UD video by combining the received substreams.
  • An embodiment thereof is described as follows.
  • the receiver uses signaling information received through a first channel (service), for example, using a combine descriptor (UDTV_service_combine_descriptor) of PMT to determine whether there is a separate service or media additionally required to implement the original UD video.
  • a combine descriptor UDTV_service_combine_descriptor
  • the receiver can obtain the connection information from the signaling information to receive the associated link service.
  • the receiver tunes (connects) the second (or third) linked service by using another connection tuner (or Internet access module) using the already obtained connection information to receive the linked service.
  • the schedules of components of UD video received on the first channel and the second and third paths associated with it may be different, in which case each path (channel) Required schedule information may be stored or received in advance using the received schedule information.
  • the receiver may obtain information for recombining the UD video through a sub stream descriptor (UDTV_sub_stream_descriptor) allocated for each sub stream belonging to each service.
  • the receiver can obtain information such as which sub_video is included in each stream and which sample grid is included in the entire UD video from the obtained information.
  • the UD video can be restored using a plurality of sub-videos based on the obtained information.
  • An embodiment of the receiver may include a receiver, a channel decoder, a demultiplexer 300, a video decoder, a storage 500, a signaling information decoder 600, and a video synthesizer 700.
  • the receiver 100 may include at least one tuner and / or at least one internet access module 101, 102, 103. At least one tuner (101, 102) of the receiver may receive an RF channel each containing a UD video signal. The at least one internet access module 103 of the receiver may receive an internet signal including a UD video signal. In this case, the entire UD video may be transmitted, the UD video may be a separated video signal, and the UD video separated video signal may be a video compatible with HD video.
  • the channel decoders 201 and 202 may channel decode broadcast signals tuned by the tuners 101 and 102.
  • the demultiplexer 300 may receive a channel decoded video signal and / or an internet signal to demultiplex video signals from which UD video is separated.
  • the demultiplexed video signals may be UD video when synthesized.
  • the signaling information decoding unit 600 may decode signaling information transmitted through a broadcast signal or an internet signal. Signaling information has already exemplified a combine descriptor, a stream descriptor, and the like.
  • the video decoders 401, 402, 403, and 404 may decode the demultiplexed video using the decoded signaling information or the signaling information in the video stream, respectively. 5, 13, and 21 are illustrated as decoded signaling information, and FIGS. 17 to 19 are illustrated as signaling information in a video stream.
  • the video synthesizer 700 may synthesize the decoded video signal and output the synthesized video signal as a UD video signal.
  • the receiver may include only one of the four video processing passes illustrated. If the decoded video signal is a video separated from the UD video, and each separated video is a video compatible with the HD video, the receiver may output the HD video sub-sampled from the original UD video using the decoded signaling information. .
  • the storage unit 500 may store a video signal received from at least one tuner and / or at least one internet access module 101, 102, 103. When the HD video stream from which the UD video is separated is transmitted asynchronously, the storage unit 500 may first store the received video stream.
  • the video stream stored in the storage unit 500 is decoded together with the received video stream, and the video synthesis unit 700 synthesizes the decoded HD video stream. Can output in UD video.
  • FIG. 24 is a view showing an embodiment of a video stream transmission method according to the present invention.
  • the UD video stream is sampled and separated into at least one viewable HD video substreams, and each of the separated at least one HD video substreams is encoded (S100).
  • S100 An example for this is disclosed in FIG. 1.
  • the sampling factor the sub-video sampling factor or the horizontal / vertical sampling factor illustrated above may be used.
  • Sub_stream_ID is assigned to the multiplexed stream, and the corresponding sub_stream ID may be included in the signaling information.
  • the stream When transmitting at least one HD sub video to one stream, the stream may be transmitted using an interleaving mode of signaling information. 5, 13, and 21 are illustrated in the signaling information.
  • Each HD video substream may also include signaling information, which is illustrated in FIGS. 17 to 19.
  • the multiplexed at least one HD video substream and signaling information are transmitted (S300).
  • 25 is a view showing an embodiment of a video stream receiving method according to the present invention.
  • Demultiplexing the stream including at least one HD video substreams generated by sampling a UD video stream and signaling information describing a relationship between the UD video stream and the at least one HD video sub (S400).
  • 3 and 23 illustrate an example of demultiplexing a plurality of streams.
  • the stream may be transmitted through a broadcast medium or an internet transmission medium.
  • the demultiplexed signaling information is decoded (S500). 5, 13, and 21 are illustrated in the signaling information.
  • Each HD video substream may also include signaling information, which is illustrated in FIGS. 17 to 19.
  • At least one HD video substream is decoded using the decoded signaling information (S600).
  • the UD video stream may be expressed using signaling information describing the relationship between the relationship between the UD video stream and the HD video substream, or only the HD video stream may be expressed.
  • Embodiments of the present invention have industrial applicability by providing a device / method for transmitting / receiving a video stream compatible with current broadcast systems while efficiently transmitting and receiving an ultra-high definition video stream.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다. 본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 단계; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법을 제공한다.

Description

비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
본 발명은 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(ultra definition; UD) 비디오를 인코딩/디코딩하는 방안이 연구되고 있다. UD 해상도는 HD (high definition) 해상도의 4배 또는 16배 정도의 고해상도 비디오 영상으로 정의된다. 단일 코덱으로 UD 비디오 텔레비젼 신호를 전송하기 위한 고효율 코덱 기술의 개발이 몇몇 표준단체를 통해 진행 중이다. 그러나 현재 방송 시스템은 UD 비디오를 전송할 수 있는 방법이 정의되지 않아 현재 방송 시스템으로는 초고해상도 비디오를 인코딩/디코딩하는 방안이 제안되더라도 UD 비디오를 전송/수신할 방법이 없었다.
또한, UD 비디오를 송수신하는 시스템이 제안된다고 하더라도 종래의 비디오 송수신 시스템과 호환되지 않으면 빨리 활용화 가능성이 낮기 때문에 종래의 방송 또는 비디오 송수신 시스템의 호환성도 문제점이 된다.
본 발명의 목적은 위와 같은 문제점을 해결하기 위한 것으로서, 초고해상도 비디오 스트림을 효율적으로 송수신할 수 있는 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
본 발명의 다른 목적은, 현재의 방송 시스템과 호환되는 비디오 스트림을 송수신하면서도 초고해상도 비디오 스트림을 구현할 수 있는 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 단계; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법을 제공한다.
상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함할 수 있다. 상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함할 수 있다. 상기 시그널링정보는, UD 화면의 해상도 정보를 포함할 수 있다. 상기 시그널링정보는, 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함할 수 있다.
다른 관점에서 본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 단계; 상기 역다중화된 시그널링정보를 복호하는 단계; 및 상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 단계를 포함하는 비디오 스트림 수신방법을 제공한다.
상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함할 수 있고, 상기 디스크립터는, 상기 샘플링에 대한 정보를 포함할 수 있다.
상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함할 수 있고, 상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함할 수 있다.
또 다른 관점에서 본 발명의 일 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 인코더; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 다중화부; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 전송부;를 포함하는 비디오 스트림 전송장치를 제공한다.
상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함할 수 있다.
또 다른 관점에서 본 발명의 일 실시예는, UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 역다중화부; 상기 역다중화된 시그널링정보를 복호하는 시그널링정보 디코더; 및 상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 비디오 디코더;를 포함하는 비디오 스트림 수신장치를 제공할 수 있다.
[유리한 효과]
개시하고자 하는 본 발명의 실시예에 따르면, 초고해상도 비디오 스트림을 효율적으로 송수신할 수 있다.
또한, 본 발명의 실시예에 따르면 현재의 방송 시스템과 호환될 수 있는 비디오 스트림을 송수신하면서도 초고해상도 비디오 스트림을 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 UD 비디오 스트림을 전송하는 예를 개시한 도면
도 2는 비디오 스플리터가 UD 비디오 스트림을 시청 가능한 HD 비디오 스트림으로 서브 샘플링하는 예를 개시한 도면
도 3은 본 발명의 실시예에 따라 분리된 HD 비디오 스트림들을 수신하여 처리하는 스트림 수신기의 예를 개시한 도면
도 4은 본 발명의 실시예에 따른 시그널링정보를 예시한 도면
도 5는 본 발명의 일 실시예에 따른 시그널링정보 중 서브스트림 디스크립터를 예시한 도면
도 6은 UD_subsampling_mode 필드 값 및 해당 설명을 예시한 도면
도 7은 compatibility_level 필드 값 및 해당 설명을 예시한 도면
도 8은 서브 비디오를 서브 스트림에 할당하는 예를 나타낸 도면
도 9 및 도 10은 본 발명의 실시예의 시그널링 정보 중 인터리빙 모드를 예시하는 도면
도 11은 샘플링 팩터를 예시한 도면
도 12는 ref_sub_video_flag 필드를 예시하는 도면
도 13은, 본 발명의 일 실시예에 따른 콤바인 디스트립터를 예시한 도면
도 14는 UD_sub_service_type의 필드 값을 예시한 도면
도 15는 original_UD_resolution 필드의 값을 예시한 도면
도 16은 위에서 설명한 Linked_media_sync_type 필드의 값을 예시한 도면
도 17은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) payload의 포맷을 예시한 도면
도 18은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) message의 형식을 예시한 도면
도 19는 비디오 엘리먼터리 스트림 내에 UD 비디오를 서브 샘플링한 방식에 따른 샘플링 정보를 예시한 도면
도 20은 DVB 시스템에서 stream_content와 component_type 을 이용하여 UD 콘텐트를 식별하는 예를 개시한 도면
도 21은 서브스트림 디스크립터의 다른 실시예를 예시한 도면
도 22는 시그널링 정보에 따라 참조 비디오 픽셀을 이용하여 해당 비디오 픽셀을 복원하는 예를 나타낸 도면
도 23은 본 발명의 실시예에 따른 수신기의 예를 개시한 도면
도 24는 본 발명에 따른 비디오 스트림 전송 방법의 일 실시예를 나타낸 도면
도 25는 본 발명에 따른 비디오 스트림 수신 방법의 일 실시예를 나타낸 도면
이하 본 발명의 실시예를 첨부한 도면을 참조하여 설명한다.
이하에서 UD 비디오를 전송하기 위해 H × V 비디오를 분할하여 n개 h × v 비디오의 스트림을 전송되는 예를 개시한다. 예를 들어, H × V 는 3840 × 2160의 UD 급 해상도을 나타낼 수 있고, h × v 는 1920 x 1080의 HD 해상도을 나타낼 수 있다. H × V와 h × v 의 크기는 분리하는 방식과 개수에 따라 각각 상대적으로 달라질 수 있다. 예를 들어 4K UD 비디오 스트림을 4개의 HD 비디오 스트림들로 분리할 수 있다. 또는 UD 비디오 스트림과 HD 스트림의 해상도에 따라, 예를 들어 16K UD 비디오 스트림은 16개의 HD 비디오 스트림들로 분리할 수 있다. 예시한 UD 비디오 스트림과 HD 비디오 스트림의 관계처럼, 본 발명의 실시예는 제 1 해상도의 비디오 스트림을 서브 샘플링하여 제 2 해상도의 비디오 스트림으로 분리하여 송수하는 예를 개시한다.
이하에서는 편의상 4K UD 비디오 스트림이 4개의 HD 비디오 스트림들로 분리되는 예를 기준으로 설명하지만, 본 발명은 이에 국한되지 않고 분리방식과 크기에 따라 동일한 개념을 적용할 수 있다. 또한, 이하에서 비디오 스트림을 분리하기 전후의 비디오를 각각 비디오-서브 비디오, 콘텐트-서브 콘텐트, 스트림-서브 스트림, 서비스-서브 서비스와 같은 용어의 관계로 표현한다. 그리고, 서브 비디오, 서브 스트림, 서브 콘텐트, 또는 서브 서비스를 전송하는 스트림이 전송될 경우 독립적으로 전송단위인 비디오 elementary stream 이 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 UD 비디오 스트림을 전송하는 예를 개시한 도면이다.
비디오 스플리터는 서브 비디오 샘플링 팩터(sub-video sampling factor)에 따라 3840 × 2160 UD 비디오 스트림을 서브 샘플링하여 4개의 서브스트림들로 분리할 수 있다. 분리된 4개의 서브스트림은 각각 1920 × 1080의 HD 비디오 스트림이 될 수 있다. 여기서 4개의 HD 비디오 스트림은 각각 서브-비디오 0, 서브-비디오 1, 서브-비디오 2, 서브-비디오 3으로 호칭하고, 샘플링 방식에 따라 각각 full HD 비디오 스트림으로 시청이 가능한 비디오 신호가 될 수 있다.
서브 샘플링에 사용되는 서브 샘플링 팩터는 각각의 분리된 스트림에 대해 (even, even), (odd, even), (even, odd), (odd, odd)으로 호칭할 수 있다. 이에 대해서는 뒤에서 상술한다.
이 실시예에서 비디오 인코더들은, 각각의 서브 샘플링 팩터를 이용하여 각각의 서브 비디오를 HD 비디오 스트림들로 인코딩할 수 있다. 또는 하나이상의 서브 비디오에 대한 비디오가 모여 하나의 sub stream이 전송될 수도 있다.
다중화부들은 각각, 인코딩된 비디오 스트림들과 각각의 시그럴링정보들을 다중화하여 각각 다중화된 스트림을 출력할 수 있다. 출력된 스트림은 동일한 방송 매체를 통해 전송될 수도 있고 방송 매체나 인터넷 매체와 같이 2개 이상의 매체를 통해 전송될 수 있다. 시그널링정보는 이하에서 상술한다.
도 2는 비디오 스플리터가 UD 비디오 스트림을 시청 가능한 HD 비디오 스트림으로 서브 샘플링하는 예를 개시한 도면이다.
비디오 스플리터는 서브 비디오 샘플링 팩터(sub-video sampling factor)에 따라 UD 비디오 스트림을 HD 비디오 스트림으로 서브 샘플링한다. UD 비디오와 HD 비디오의 해상도의 차이에 따라 서브 비디오 샘플링 팩터(sub-video sampling factor)가 다수 개 있을 수 있다. 이 예에서는 UD 비디오가 HD 비디오보다 4배의 해상도를 가진 경우, 서브 비디오 샘플링 팩터(sub-video sampling factor)를 4개((even, even), (odd, even), (even, odd), (odd, odd))를 예시한다. 2 × 2 픽셀에 포함되는 4개의 픽셀을 도면에서 예시한 바와 같이 0, 1, 2, 3으로 나눌 수 있다.
제 1 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (even, even)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 0으로 표시한 왼쪽 위의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 0를 만들 수 있다. 제 2 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (odd, even)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 1로 표시한 오른쪽 위의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 1를 만들 수 있다. 제 3 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (even, odd)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 2로 표시한 왼쪽 아래의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 2를 만들 수 있다. 마찬가지로, 제 4 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (odd, odd)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 3으로 표시한 오른쪽 아래의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 3를 만들 수 있다.
UD 비디오가 4배의 해상도를 가진 경우, 이 도면과 같이 서브 샘플링을 하면 sub-video 0, 1, 2, 3은 모두 시청이 가능한 HD 비디오 콘텐트가 될 수 있다. 스트림 수신기는 그 성능에 따라 4개의 HD 비디오 중 어느 하나의 비디오 스트림만을 처리하여 방송할 수도 있고, 4개의 HD 비디오 스트림을 모두 수신하여 UD 비디오로 비디오 신호를 출력할 수도 있다.
도 3은 본 발명의 실시예에 따라 분리된 HD 비디오 스트림들을 수신하여 처리하는 스트림 수신기의 예를 개시한 도면이다.
역다중화부들은 각각 UD 스트림으로부터 서브 샘플링된 HD 비디오 스트림들과 그 시그널링정보가 다중화된 스트림을 수신하고, 수신한 스트림을 역다중화하여 서브 샘플링된 HD 비디오 스트림들을 각각 출력한다. 예시한 도면과 다르게 둘 이상의 서브 비디오가 모여 하나의 sub stream이 전송될 경우, 역다중화부는 둘 이상의 서브 비디오들을 전송하는 스트림을 수신하여 각각의 서브 비디오 스트림으로 역다중화할 수 있다.
비디오 디코더들은, 각각의 서브 샘플링 팩터에 따라 각각의 HD 스트림을 디코딩하여 출력할 수 있다. 예시한 도면에서 출력된 비디오 스트림은 시청이 가능한 4개의 full HD 비디오 스트림이 될 수 있다.
비디오 머저는 서브 샘플링 팩터를 이용하여 4개의 비디오 스트림을 1개의 UD 비디오 스트림으로 합성하여 출력할 수 있다. 예를 들어, 도 2의 역과정에 따라 비디오 스트림을 각 서브 샘플링됨 HD 비디오 스트림을 1개의 UD 비디오 스트림을 출력할 수 있다.
이하에서는, UD 비디오 스트림을 HD 비디오 스트림으로 송수신할 경우 시그널링정보를 예시한다. 위와 같이 제 1 해상도의 비디오 스트림을 제 2 해상도의 비디오 스트림들로 분리할 경우, 시그널링정보를 이용하여 수신기의 능력에 따라 제 1 해상도의 비디오 스트림을 출력할 수도 있고, 제 2 해상도의 비디오 스트림을 출력할 수도 있다.
도 4은 본 발명의 실시예에 따른 시그널링정보를 예시한다. 시그널링정보는 각 분리되는 비디오 스트림을 기술하는 디스크립터에 포함되어 방송 시그널링 정보에 포함될 수 있다.
해당 디스크립터는, HDTV에서 호환되는 스트림인지, 어떤 sub-video들을 포함하는 스트림인지, 어떠한 서브 샘플링 방법을 이용하였는지 등의 스트림 정보를 시그널링할 수 있다. 이 도면에서는 시그널링정보가 포함되는 방송 시그널링 정보로는 PMT(program map table)를 예시하였다. PMT의 각 필드의 설명은 ISO/IEC 13818-1 (MPEG-2 systems)에 따를 수 있다.
다만, 여기서 분리된 스트림을 식별하기 위해 stream_type은 0x02 또는 0x1B가 될 수 있으며 UD 비디오 스트림과 같은 초고해상도 비디오를 지원하는 고성능 코덱에 따른 스트림을 식별하기 위해 별도의 stream_type 값을 사용할 수도 있다.
이 예에서 UD 비디오 스트림 또는 UD 비디오 스트림으로부터 서브 샘플링된 HD 비디오 스트림을 시그널링하기 위해 프로그램 레벨의 디스크립터와 스트림 레벨의 디스크립터가 각각 사용될 수 있다
실시예에서 예시한 프로그램 레벨의 디스크립터(UDTV_service_combine_descriptor로 표시)는, 예를 들어 다수의 HD 비디오 스트림을 하나의 UD 비디오 스트림으로 합성하기 위한 시그널링정보를 포함할 수 있고 이하에서는 콤바인 디스트립터라고 호칭한다.
실시예에서 예시한 스트림 레벨의 디스크립터(UDTV_sub_stream_descriptor로 표시)는, 예를 들어 HD 비디오 스트림들을 각각 기술할 수 있는 시그널링정보를 포함할 수 있고 이하에서는 서브스트림 디스크립터라고 호칭한다.
이하에서는 두 개의 디스크립터와 각각이 시그널링하는 내용을 예시한다. 본 발명의 실시예를 용이하게 설명하기 위해 서브스트림 디스크립터(UDTV_sub_stream_descriptor로 표시)를 먼저 설명한다.
도 5는 본 발명의 일 실시예에 따른 시그널링정보 중 서브스트림 디스크립터를 예시한다. 서브 스트림은, 독립적으로 전송가능한 비디오 elementary stream 을 의미한다.
descriptor_tag 필드는, 이 디스크립터를 식별하기 위한 식별자를 나타낸다.
descriptor_length 필드는, 이 디스크립터의 길이를 비트로 나타낼 수 있다.
sub_stream_ID 필드는, UD 비디오에 포함되는 각각의 비디오 스트림을 식별하기 위해 부여되는 ID 값을 나타낸다. 각 서브 스트림(sub_stream)마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여될 수 있으며, 예를 들어 각 비디오 스트림의 기준 픽셀이 UD 비디오에서 왼쪽 위에 위치할수록 작은 값을 부여할 수 있다.
이 필드는 비디오 엘리먼터리 스트림의 식별자를 나타내는 elementary stream_PID 필드가 sub_stream_ID 필드로서 역할을 할 수도 있다. 예를 들어, 4K UD 비디오 화면의 경우, sub_stream_ID 필드는 2 비트로 나타낼 수 있으며, 8K UD UD 비디오 화면의 경우, sub_stream_ID 필드는 4 비트로 나타낼 수 있다.
UD_subsampling_mode 필드는, UD 비디오를 포함하는 프로그램/서비스를 전송할 경우, 전체 UD 비디오 화면을 분리하는 방식을 나타낸 필드이다. 이 필드는 컴바인 디스크립터에 포함될 수도 있다.
예를 들어, UD_subsampling_mode 필드가 00이라면, 기술하는 비디오 스트림은 UD 프로그램(서비스)을 구현하기 위한 하나의 UD 비디오 스트림으로 구현될 수 있음을 나타낸다.
UD_subsampling_mode 필드가 01이라면, 기술하는 비디오 스트림은, 예시한 바와 같이 UD 프로그램(서비스)으로부터 HD 비디오 스트림과 호환이 가능한 서브 샘플링을 방식을 이용한 HD 스트림이고, 그 서브 샘플링 방식은 라인별 샘플링을 통해 스트림을 나누는 방식(이하에서 HD compatible sub-sampling 방식이라고 호칭)임을 나타낼 수 있다. 따라서, UD_subsampling_mode 필드가 01이라면 UD 비디오를 서브 샘플링한 HD 비디오 스트림들 중 적어도 하나의 HD 비디오 스트림은, HD 비디오와 호환 가능한 스트림임을 나타낼 수 있다.
UD_subsampling_mode 필드가 10이라면, 기술하는 비디오 스트림은, 예시한 바와 같이 UD 프로그램(서비스)을 화면 분할하고, 각각 분할한 화면을 비디오 스트림으로 전송하는 방식(이하에서 sub-partition 방식이라고 호칭)을 나타낼 수 있다. 즉 multivision 디바이스에서 화면을 분할한 영역 별로 비디오 스트림을 전송할 경우 그 비디오 스트림을 나타낼 수 있다.
이 필드의 설명은 도 6에 상세히 예시한다.
compatibility_level 필드는, UD 비디오에 포함되는 스트림의 호환성을 나타낸 필드이다. 예를 들어 UD 비디오를 구현하기 위해 UD 비디오 스트림으로부터 분리된 서브 스트림(sub-stream)이 있는 경우에 이 서브 스트림을 정의하는데 사용될 수 있다. 따라서, 예를 들어 UD 비디오 스트림이 하나의 스트림으로 전송되는 경우, 본 필드의 값이 정의되지 않을 수 있다. 일 예로서, 이 필드가 000인 경우, 기존의 HD 스트림과 호환이 되지 않는 스트림임을 나타낼 수 있다. 따라서, compatibility_level 필드가 000인 경우 수신기는 이 필드에 기초하여 해당 스트림이 시청가능하지 않거나 또는 의미있는 스트림이 아니라고 판단하여 해당 스트림만을 출력 비디오로 사용하지 않을 수 있다.
compatibility_level 필드가 010인 경우, 해당 스트림이 UD 비디오 스트림에 포함되는 HD 비디오 스트림(예를 들어 1920 × 1080)임을 나타낼 수 있다.
compatibility_level 필드가 100인 경우, 해당 스트림이 UD 비디오 스트림에 포함되는 HD 비디오 스트림(예를 들어 1920 × 1080)임을 나타낼 수 있다.
여기서, 도 1과 같이 스트림을 전송할 경우 수신기가 HD 비디오 스트림을 표출하는 TV인 경우라면, 그 수신기는 위의 compatibility_level 필드가 010인 경우에 HD 비디오 스트림을 출력할 수 있다. 이와 관련하여 도 7에 compatibility_level 필드의 값의 예를 예시하였다.
만약 compatibility_level 필드가 000이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 기존의 스트림과 non-compatiable한 비디오 스트림이고, HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우, 서브 스트림 디스크립터는 아래에서 예시한 필드를 포함할 수 있다.
num_sub_videos_in_stream 필드는 비디오를 구현하기 위한 스트림에 포함되는 sub_video의 개수를 나타낼 수 있다. 즉, 스트림이 전송하는 비디오의 프레임에서의 가로와 세로의 sampling factor 조합의 갯수를 나타낼 수 있다. 이에 대해서는 다른 도면을 참조하여 추후 상술한다.
interleaving_mode 필드는, UD 비디오를 분할해서 전송하는 과정에서 하나의 스트림이 전송하는 sub-video가 여러 개인 경우 이 sub-video을 하나의 스트림 내에서 어떻게 배치할지를 나타내는 필드이다. 수신기는 디코딩된 해당 스트림을 디스플레이할 경우 이 필드의 값을 활용할 수 있다. 이 필드의 의미는 다음과 같다.이에 대해서는 역시 다른 도면을 참조하여 추후 상술한다.
reserved 필드는 예약 필드를 나타낸다.
본 실시예에 따른 시그널링정보는, num_sub_videos_in_stream 필드에 따라, 즉 비디오 스트림에 포함되는 sub_video의 개수에 따라 각각 sub_video마다 아래와 같은 필드를 더 포함할 수 있다.
서브스트림 디스크립터는, num_sub_videos_in_stream 필드에 따라, reserved 필드, sub_video_ID 필드, horizontal_sampling_factor 필드, vertical_sampling_factor 필드, delta_coding_flag 필드를 포함할 수 있다.
sub_video_ID 필드는 구현하고자 하는 비디오를 전송하는 스트림이 포함하는 서브 비디오의 식별자를 나타낼 수 있다. 예를 들어 sub_video_ID는, UD 화면에 포함되는 HD frame 크기의 sub-video 들을 식별하기 위해 부여되는 식별자를 나타낼 수 있다. 이에 대해서는 도 8에서 상술한다.
horizontal_sampling_factor 필드, 가로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. 할당되는 비트수는 원본 UD 화면의 해상도(origianal_UD_resolution으로 표시)의 가로 픽셀 값이 무엇이냐에 따라 달라진다. 원본 UD 화면의 해상도가 3840 ×2160 (origianal_UD_resolution==0) 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), 원본 UD 화면의 해상도가 7680 ×4320 (origianal_UD_resolution==1) 인 경우에는 2비트로 할당되어 네가지 값(0번째 ~ 3번째 라인)을 나타낼 수 있다.
vertical_sampling_factor 필드, 세로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. horizontal_sampling_factor와 마찬가지로, 원본 UD 화면의 해상도가 3840 ×2160 (origianal_UD_resolution==0)인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), 원본 UD 화면의 해상도가 7680 ×4320 (origianal_UD_resolution==1)인 경우에는 2비트로 할당되어 네가지 값을 나타낼 수 있다.
horizontal_sampling_factor필드와 vertical_sampling_factor 필드는 이후에서 도면을 참조하여 예시한다.
delta_coding_flag 필드는 해당 sub-video에 delta_coding이 적용되었는지 여부를 나타내는 flag로서, ‘1’의 값을 가질 경우 delta_coding이 적용되었음을 나타낸다.
ref_sub_video_flag는, 해당 sub-video가 delta_coding 시 참조한 다른 sub-video들이 무엇인지 나타내는 플래그로서, 참조된 sub-video는 해당 위치 ( sub_video_ID 값)의 flag 값을 ‘1’을 이용할 수 있다. 이에 대해서는 추후 도면을 참고하여 상술한다.
서브스트림 디스크립터가 기술하는 compatibility_level 필드가 010이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 기존의 HD 스트림과 compatiable한 서브 샘플링된 HD 비디오 스트림이고, HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우, 서브 스트림 디스크립터는 sub_video_ID 필드, horizontal_sampling_factor 필드 및 vertical_sampling_factor를 포함할 수 있다.
마찬가지로 서브 스트림 디스크립터가 기술하는 compatibility_level 필드가 100이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 UD 비디오 스트림이고, 서브 샘플링 방식이 HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우에도, 서브 스트림 디스크립터는 sub_video_ID 필드, horizontal_sampling_factor 필드 및 vertical_sampling_factor를 포함할 수 있다.
도 8은 num_sub_videos_in_stream 필드를 설명하기 위해 서브 비디오를 서브 스트림을 할당하는 예를 나타낸 도면이다. 설명한 바와 같이 이 필드는 스트림에 포함되는 sub_video의 개수를 나타낼 수 있다. UD 비디오 스트림이 분리되어 다수의 비디오 스트림이 전송될 경우, 각 스트림 당 적어도 하나 이상의 서브 비디오 데이터가 포함될 수 있다.
UD 화면으로부터 분리된 서브 비디오인 HD 비디오의 부여 순서는, 예를 들어 각 sub_video 마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여할 수 있다. 이 도면의 예는 각 sub_video 의 기준 픽셀이 UD 화면에서 왼쪽 위에 위치할수록 작은 값이 부여한 것이다.
Sub video는 같은 quartet 또는 group of 16 pixels 단위로 sub sampling을 수행할 때 동일한 sample grid에 속하는 화소를 모아서 만든 비디오 화면이다. 하나이상의 서브 비디오들이 모여 sub stream이 전송될 수 있다.
이 도면의 예에서 UD_sampling_mode가 01인 경우, UD 화면 내에 2×2 픽셀을 기준으로, 왼쪽 위 픽셀을 모은 화면을 서브 비디오 1, 오른쪽 위 픽셀을 모은 화면을 서브 비디오 2, 왼쪽 아래 픽셀을 모은 화면은 서브 비디오 3, 오른쪽 아래 픽셀을 모은 화면을 서브 비디오 4라고 호칭한다.
각 서브 비디오를 horizontal_sampling_factor와 vertical_sampling_factor의 조합으로 표현하면 다음과 같다.
이 도면의 예에서 서브 비디오 0은, horizontal_sampling_factor이 0, vertical_sampling_factor이 0이 될 수 있다. 서브 비디오 1은, horizontal_sampling_factor이 1, vertical_sampling_factor이 0이 될 수 있다. 서브 비디오 2는, horizontal_sampling_factor이 0, vertical_sampling_factor이 1이 될 수 있다. 서브 비디오 3은, horizontal_sampling_factor이 1, vertical_sampling_factor이 1이 될 수 있다.
그리고, 서브 스트림은 적어도 하나 이상의 서브 비디오에 대한 비디오 데이터를 전송할 수 있다.
이 도면의 예에서는 서브 비디오 0이 서브 스트림 식별자 0인 스트림으로 전송될 수 있고, 서브 비디오 1, 2, 3이 서브 스트림 식별자 1인 스트림으로 전송되는 예를 나타낸다. 이 경우 서브 스트림 식별자 1인 스트림은, num_sub_videos_in_stream 이 3이 된다.
도 9 및 도 10은 본 발명의 실시예의 시그널링 정보 중 인터리빙 모드의 예를 설명하기 위한 도면이다. 인터리빙 모드는, UD 화면을 분할하여 전송하여 하나의 스트림에 다수의 sub-video이 포함된다면, 다수의 sub-video를 하나의 스트림 내에서 어떻게 배치할지를 나타낼 수 있다.
도 9 및 도 10의 예는 3840×2160의 UD 화면을 UD_subsampling_mode 가 01로 서브 샘플링한 경우 서브 비디오 1과 서브 비디오 2가 하나의 스트림으로 전송되는 예를 예시한다. 도 9는 interleaving_mode가 00, 01인 경우를 예시하고, 도 10은 interleaving_mode가 10, 11인 경우를 예시한다.
interleaving_mode가 00인 경우, raster scan order이라고 호칭하고, 이 인터리빙 모드는 sub sampling을 수행한 pixel들을 원래의 UD 비디오 내에서의 위치에 근거해 배열하도록 할 수 있다. raster scan order은, 1920×2160의 HD 서비 비디오의 라인 별로 서브 비디오 1 픽셀과 서브 비디오 2의 픽셀을 배치하여 전송되는 예를 나타낸다.
interleaving_mode가 01인 경우, group-of-pixel-based order이라고 호칭하고, 이 모드는 sub sampling을 수행하는 최소 단위 (예를 들어, 2×2 또는 4×4 pixels)로 배열을 서브 스트림이 형성되도록 할 수 있다. group-of-pixel-based order, 1920x2160의 HD 서비 비디오의 각 라인에 서브 비디오 1 픽셀과 서브 비디오 2의 픽셀이 교대로 배치되어 전송되는 예를 나타낸다.
도 10은, interleaving_mode가 10, 11이 경우를 예시한다.
interleaving_mode가 10인 경우, vertical frame stack 이라고 호칭하고, 이 모드는 sub-video에 포함되는 픽셀을 세로 방향으로 sub_video_id 순서로 배치한다. 따라서, 예시한 경우 vertical frame stack는, 수직의 1920×2160의 HD 서비 비디오의 상위에 서브 비디오 1이, 하위에 서브 비디오 2가 위치하여 전송되는 예를 나타낸다.
interleaving_mode가 11인 경우, horizontal frame stack 이라고 호칭하고, 이 모드는 sub-video에 포함되는 픽셀을 가로 방향으로 sub_video_id 순서로 배치한다. 따라서, 예시한 경우 horizontal frame stack 는, 2160×1920의 HD 서비 비디오의 좌측에 서브 비디오 1이, 우측에 서브 비디오 2가 위치하여 전송되는 예를 나타낸다.
도 11은 샘플링 팩터를 용이하게 설명하기 위해 예시한 도면이다. 도 11을 참조하여 샘플링 팩터를 예시하면 다음과 같다.
도 11의 (a)는 UD_subsampling_mode 가 01이고 (즉 HD compatible sub-sampling 경우) horizontal_sampling_factor 가 0이고 vertical_sampling_factor가 1일때 UD 화면으로부터 서브 비디오 2가 추출됨을 나타낸다. 이 경우 2×2 픽셀을 기준단위로 왼쪽 하단의 픽셀들이 서브 비디오 2로 추출될 수 있다.
도 11의 (b)는 UD_subsampling_mode 가 10이고 (즉 sub-partition 경우) horizontal_sampling_factor 가 0이고 vertical_sampling_factor가 1일때 UD 화면으로부터 비디오 2가 추출됨을 나타낸다. 이 경우 전체 UD 화면을 기준으로 왼쪽 하단의 1/4의 화면이 서브 비디오 2로 추출될 수 있다.
도 12는 설명한 시그널링정보의 예에 포함될 수 있는 ref_sub_video_flag 필드를 예시하는 도면이다. 설명한 바와 같이 ref_sub_video_flag 필드는 해당 sub-video가 delta_coding 시 참조한 다른 sub-video들이 무엇인지 나타내는 플래그이다. 참조된 sub-video는 해당 위치 (sub_video_ID 값)의 flag 값을 1로 하고, UD 화면이 HD 화면의 4배 크기이고, 16개의 sub-video를 포함할 경우 해당 sub-video가 참조한 sub-video가 2, 5, 7, 10인 경우를 예시한다. 이 도면에서 각각의 bit 위치가 해당되는 sub-video를 reference 했는지를 나타낼 수 있다.
위에서 서브스트림 디스크립터를 예시하였다. 그리고 서브스트림 디스크립터에 포함될 수 있는 정보들을 설명하였다. 서브스트림 디스크립터는 각 스트림 별로 서술자로 기술될 수 있다. 그런데 이런 경우 수신기가 각 스트림의 호환성 및 샘플링 팩터(sampling factor) 정보 등은 알 수 있지만, 원본 UD 방송의 전체 구성 정보에 대해서는 알 수 없다. 따라서, UD 방송을 제공하기 위해 프로그램, 채널 또는 서비스 레벨에서 UD 비디오에 대한 정보를 시그널링할 수 있다. 그리고, 각 스트림을 합성하기 위해 프로그램, 채널 또는 서비스에 포함되는 서브 비디오 스트림의 개수, 각 서브 비디오 스트림이 포함된 채널이나 서비스 정보, 각 서브 비디오 스트림이 실시간으로 전송되는지 비실시간으로 전송되는지 여부 등에 대한 정보를 포함할 수 있다.
이하에서는, 위에서 예시한 실시예에 따라 UD 비디오 컴포넌트들이 하나 이상의 방송 채널 또는 방송 채널과 다른 물리 채널로 전송될 경우, 이를 UD 비디오 또는 HD 비디오로 표출시키기 위한 시그널링정보를 예시한다. 서로 다른 채널에서 UD 비디오 컴포넌트들 전송될 경우, 각 채널에서 제공되는 UD 비디오 컴포넌트들의 동기화 여부에 따라 수신기의 동작이 달라질 수 있다. 이하에서는 이에 대한 시그널링 정보 및 수신기 동작의 실시예를 개시한다.
UD 비디오 컴포넌트들 또는 UD 서브 서비스들은 서로 동기화되어 받는 즉시 실시간으로 UD 화면으로 출력될 수도 있고, 또는 비동기식으로 일부 또는 전체가 수신기에 저장된 후에, 나중에 전송된 UD 비디오 컴포넌트들과 결합하여 출력하는 경우를 예시한다.
도 13은, 본 발명의 일 실시예에 따른 콤바인 디스트립터를 예시한 도면이다. 이 도면에서 콤바인 디스트립터는 UDTV_service_combine_descriptor라고 표시하였는데, 도 13을 참고하여 콤바인 디스트립터를 설명하면 다음과 같다.
UDTV_service_combine_descriptor는 아래와 같은 필드를 포함할 수 있다.
descriptor_tag는 프로그램 레벨의 디스크립터를 식별자를 나타낼 수 있고, descriptor_length는 UDTV_service_combine_descriptor의 길이를 나타낼 수 있다.
original_UD_resolution 필드는, UD 프로그램(서비스)에 포함되는 스트림을 모두 모았을 때 출력될 수 있는 원본 UD 화면의 resolution을 의미한다. original_UD_resolution 필드의 값에 대한 예시는 추후 도면을 참고하여 설명한다.
UD_sub_service_type 필드는, UD_service_combine_type은 현재 프로그램(서비스, 채널) 레벨에서 기술되는 스트림만으로 지원 가능한 sub-service 종류를 나타낼 수 있다. 상세한 값은 도 14를 참조하여 추후 설명한다.
linked_UD_sub_service_type 필드는, 현재 프로그램(서비스, 채널)와 연계된 서비스의 UD_sub_service_type 값을 나타낼 수 있다.
num_linked_media 필드는, 원본 UDTV 방송을 구현하기 위해 현재 전달 매체 외에 다른 서비스나 매체를 통해 제공되는 연계 미디어의 개수를 나타낼 수 있다.
linked_media_type 필드는 연계된 미디어의 종류를 나타낼 수 있는 필드인데, 이 필드 00이면, 동일한 방송 전송 매체 중 다른 서비스, 채널 또는 프로그램에 현재 기술하고자 하는 프로그램(서비스)의 연계된 정보가 전송됨을 나타낼 수 있다. linked_media_type가 01이면 프로그램에 현재 기술하고자 하는 프로그램(서비스)의 연관된 정보가 인터넷과 같은 다른 전송매체을 통해 전송될 수 있음을 나타낼 수 있다.
Linked_media_sync_type 필드는, 연결될 UD 서브 서비스가 수신기에서 어떻게 획득되어 동기화될 수 있는지를 예시한다. 이에 대해서는 도 16을 참조하여 상세히 상술한다.
컴바인 디스크립터는, UD 스트림에 포함되는 연관된 스트림이 동일한 미디어 매체로 전달될 경우(linked_media_type == 0)는 Linked_UD_sub_service_type, associated_service_TSID, associated_service_original_network_id, associated_service_id를 포함할 수 있고, UD 스트림에 포함되는 연관된 스트림이 다른 미디어 매체로 전달될 경우(linked_media_type == 1)는, Linked_UD_sub_service_type, internet_linkage_information()를 포함할 수 있다.
associated_service_TSID 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)와 결합될 스트림을 포함한 프로그램(서비스)에 대한 transport_stream_id 값을 나타낼 수 있다.
associated_service_original_network_id 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)과 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낼 수 있다.
associated_service_id 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)과 결합될 스트림을 포함한 서비스의 service_id 값을 나타낼 수 있다.
본 실시예에서는 콤바일 디스크립터가 service_id를 포함하는 예를 개시하였으나, linked_program_number 필드를 포함할 수도 있다. 이 경우 linked_program_number는 PMT의 program_number 필드와 유사한 의미를 가지는 것으로서, 결합 가능한 스트림에 대한 프로그램 번호를 식별한다.
internet_linkage_information는 완전한 UD 프로그램(서비스)를 제공하기 위해 연결된 인터넷 연결 정보를 표시하는 것으로서, (1) IP 어드레스 정보가 32 비트 또는 128 비트인지, (2) IP address 정보 (3) Port number 정보, (4) 추가 스트림에 대한 URI와 같은 부가 정보, (5) available time slot (예를 들어 서비스 전송을 위한 start time, expiration time, 등) 중 적어도 하나 이상을 포함할 수 있다.
도 14는 UD_sub_service_type의 필드 값을 예시한 도면이다. 설명한 바와 같이 컴바인 디스크립터에서 UD_sub_service_type의 필드값은 현재 기술되는 스트림에 따른 서비스만으로 지원 가능한 서브 서비스의 종류를 나타낼 수 있다.
예를 들어, UD_sub_service_type 필드가 000인 경우, 현재 서비스 내에 단독으로 출력 가능한 스트림이 전혀 없음을 나타낼 수 있다. 즉, 이 필드는 현재 기술되는 스트림 내에는 non-compatible stream 만 존재하고, UD 서비스를 위해 현재의 기술되는 서비스(프로그램) 외에, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 001인 경우, 현재 기술되는 UD 서비스 내에 HD compatible stream 이 포함되지만, 4K UD 또는 8K UD 서비스를 단독으로 지원할 수는 없음을 나타낼 수 있다. 따라서, UD 서비스를 위해 현재 기술되는 서비스(프로그램)에서 제공되는 데이터 외에도, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 010인 경우, 현재 기술되는 UD 서비스 내에 4K UD compatible stream 은 포함되지만, HD 또는 8K UD 서비스 단독으로 지원할 수는 없음을 나타낼 수 있다. 따라서, UD 서비스를 위해 현재 기술되는 서비스(프로그램)에서 제공되는 데이터 외에도, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 011인 경우, 현재 기술되는 UD 서비스 내에 원본 UD 방송 지원에 필요한 모든 스트림이 포함되어 있음을 나타낼 수 있다. 여기서 원본 UD 방송이란, original_UD_resolution 값에 해당하는 UD 방송을 의미한다.
도 15는 위에서 설명한 original_UD_resolution 필드 값을 예시한 도면이다.
original_UD_resolution 필드가 00인 경우 3840x2160의 4k UD 해상도를, 01이 경우 7680×4320의 4k UD 해상도를 나타낼 수 있다. 도 15는 original_UD_resolution 필드의 값을 예시하였다. 여기에 표시하지는 않았지만, 4096×2160의 해상도의 화면 format도 original_UD_resolution 필드 값에 시그널링될 수도 있다. 그런 경우, HD compatibility를 위해 해당 스트림의 video encoding 과정에서 crop rectangle 관련 파라미터 (frame_crop_left_offset, frame_crop_right_offset, frame_crop_top_offset, frame_crop_bottom_offset 등)을 추가로 사용할 수도 있다. 이 때 비디오 디코더는 출력 데이터를 1920×1080으로 설정하거나 bar data를 이용해 HD compatible 한 비디오 신호를 구성하는 방법 등을 사용할 수 있다.
도 16은 위에서 설명한 Linked_media_sync_type 필드의 값을 예시한 도면이다. 이 필드는 링크된 UD 서브 비디오를 어떻게 얻을 수 있는지 기술하는 필드이다. 예시한 바와 같이 서브 스트림 또는 서브 비디오가 UD 서비스를 위한 비디오 컴포넌트가 될 수 있다. 그리고, 서브 스트림은 또는 서브 비디오는 하나 이상의 방송 채널을 이용하여 전송될 수도 있고, 하나 이상의 방송 채널과 다른 물리 매체를 통해 전송될 수도 있다.
예를 들어 제 1 서브 스트림은 지상파 방송 채널로 전송되고, 제 2, 3, 4 서브 스트림은 인터넷의 IP 스트림으로 전송되는 예가 그 예가 될 수 있다. 따라서, 별개의 전송 수단을 통해 전송되는 비디오 컴포넌트들이 전송될 경우 어떻게 동기될 수 있는지 시그널링될 수 있다.
따라서, 싱크로너스 딜리버리(synchronous delivery)는 두 개 이상의 컴포넌트가 실시간 전송되는 경우를 나타내고, 이 경우 수신기에서 이 두 개 이상의 컴포넌트들은 동기화되어 표출된다. 어싱크로너스 딜리버리(asynchronous delivery)는 어느 하나의 컴포넌트가 비실시간으로(non-real time) 전송될 경우를 나타내는데 이 경우 수신기는 제 1 컴포넌트를 미리 저장된 후 이후에 전송되는 다른 컴포넌트를 수신하여 이들 컴포넌트를 함께 동기하여 표출한다.
예를 들어 Linked_media_sync_type 필드 값이 000인 경우, 링크된 UD 서브 스트림(서비스)들에 대해, 싱크로너스 UD 딜리버리(synchronous UD delivery)만 가능하다는 것을 나타낸다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 실시간 전송되고 서로 동기화되어 UD 서비스 표출이 가능하다.
Linked_media_sync_type 필드 값이 001인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 어싱크로너스 UD 딜리버리(asynchronous UD delivery)가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이후에 전송된다는 것을 의미한다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 비실시간 전송되고 수신기는 링크 정보를 수신하면 비실시간으로 전송되는 UD 서브 스트림(서비스)들을 서로 동기화하여 UD 서비스 표출을 할 수 있다.
Linked_media_sync_type 필드 값이 010인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 어싱크로너스 UD 딜리버리(asynchronous UD delivery)가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이미 전송되었다는 것을 의미한다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 이미 비실시간 전송되었고 수신기는 링크 정보를 이용하여 서로 다른 시점에 전송된 UD 서브 스트림(서비스)들을 서로 동기화하여 UD 서비스 표출을 할 수 있다.
Linked_media_sync_type 필드 값이 011인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 싱크로너스 UD 딜리버리(synchronous UD delivery)와 어싱크로너스 UD 딜리버리(asynchronous UD delivery) 모두가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 추후 다시 재전송되거나 현재 이벤트와 동시에 전송되고 있음을 나타낸다.
Linked_media_sync_type 필드 값이 100인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 싱크로너스 UD 딜리버리(synchronous UD delivery)와 어싱크로너스 UD 딜리버리(asynchronous UD delivery) 모두가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이미 전송되었고 현재 이벤트와 동시에 전송되고 있음을 나타낸다.
위에서 컴바인 디스크립터와 서브스트림 디스크립터를 예시하였다.그리고 각 디스크립터에 포함 가능한 정보들을 설명하였다. 서브스트림 디스크립터는 각 스트림 별 서술자를 포함할 수 있다. 그런데 이런 경우, 각 스트림의 호환성 및 샘플링 팩터(sampling factor) 정보는 알 수 있지만, 원본 UD 방송의 전체 구성 정보에 대해서는 없으므로 UD 방송을 제공하기 위해 program/channel/service level 에서 제공해야 하는 UDTV 방송의 전체 구성 정보를 시그널링할 수 있다. 해당 정보로는 구성 스트림의 개수, 각 스트림이 포함된 채널/서비스 정보, 각 스트림이 실시간으로 전송되는지 비실시간으로 전송되는지 여부 등이 있을 수 있으며 이에 대해서는 컴바인 디스크립터에서 해당 정보를 기술하였다.
각 채널에서 제공되는 UD sub-service 들의 동기화 여부에 따라 수신기의 동작이 달라질 수 있으므로, 본 발명에서는 이를 고려한 시그널링을 개시하였다. 즉, UD sub-service는 모두 동기화 되어 받는 즉시 실시간으로 출력될 수도 있고, 또는 비동기식으로 구성되어 일부 또는 전체가 일단 수신단에 저장된 후에, 나중에 온 component 들과 결합되어 출력되는 경우도 있을 수 있다.
다음으로 UD 비디오를 위에서 예시한 방법에 따라 전송할 경우 비디오 스트림의 포맷에 대해 기술한다. UD 비디오를 서브 샘플링한 경우 비디오 인코더는, 서브 샘플링된 비디오를 아래의 포맷에 따른 비디오 엘리먼터리 스트림으로 인코딩하여 출력할 수 있다.
먼저 위에서 예시한 비디오 엘리먼터리 스트림의 헤더는 도 17 및 도 18에서 예시한 SEI(Supplemental enhancement information) messge의 포맷을 가질 수 있다.
도 17은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) payload의 포맷을 예시한다. SEI 패이로드의 패이로드 타입이 5인 경우, user_data_registered_itu_t_t35()에 따른 패이로드 포맷을 가질 수 있다.
여기서 user_identitier 필드는 0x4741 3934의 값을 가질 수 있고, user_structure는 이하에서 예시한 형식을 가질 수 있다. 그리고, user_data_type_code가 0x1B 인 경우 user_data_type_structure()는 UD 비디오를 서브 샘플링한 방식에 따른 서브 스트림을 기술하는 UD_sampling_info의 정보가 포함될 수 있다. UD_sampling_info의 내용은 도 19에서 상세히 설명한다.
도 18은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) message의 형식을 예시한다. 마찬가지로 SEI message의 payloadType이 37인 경우 샘플링정보(UD_sampling_info)가 포함될 수 있다.
도 19는 비디오 엘리먼터리 스트림 내에 UD 비디오를 서브 샘플링한 방식에 따른 샘플링 정보를 예시한 도면이다. 여기서 기술하는 샘플링정보(UD_sampling_info)의 신택스 중 도 5의 필드와 동일한 필드는, 도 5를 참조하여 설명한 필드와 그 의미도 동일하다.
위에서는 컴바인 디스크립터와 서브스트림 디스크립터가 PMT에 포함되는 예를 설명하였다. 하지만, 예사한 디스크립터들은 ATSC PSIP의 VCT에 추가될 수도 있다. 이 때 channel level의 디스크립터에 예시한 컴바인 디스크립터와 서브스트림 디스크립터가 모두 포함될 수 있다.
예를 들어 컴바인 디스크립터(UDTV_service_combine_descriptor)가 TVCT에 포함되는 경우 channel loop 위치에 컴바인 디스크립터(UDTV_service_combine_descriptor)가 위치할 수 있다. 이 경우 컴바인 디스크립터(UDTV_service_combine_descriptor)에서 associated_service_id는 associated_program_number 또는 associated_major_channel_number와 associated_minor_channel_number로 대체될 수 있다. 그리고, 컴바인 디스크립터(UDTV_service_combine_descriptor)에 기술하는 프로그램(서비스)와 함께 초고해상도(UD) 비디오로 표출시킬 수 있는 관련 소스의 식별자(associated_source_id)가 추가될 수 있다.
associated_program_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 대한 프로그램 번호를, associated_major_channel_number와 associated_minor_channel_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 대한 메이저, 마이너 채널 번호를 각각 나타낸다. 그리고, associated_source_id는 결합될 스트림이 포함된 채널에 대한 채널 번호 또는 source_id를 나타낼 수 있다. 컴바인 디스크립터(UDTV_service_combine_descriptor)를 예시하였기 때문에 대체되거나 추가되는 필드에 대한 도면은 생략한다.
예시한 두 디스크립터들은, DVB SI의 SDT에 추가될 수도 있다. 이 경우 service level의 디스크립터에 예시한 컴바인 디스크립터와 서브스트림 디스크립터가 모두 포함될 수도 있다.
다른 예로서, Network Information Table의 transport_stream_loop 위치에 위에서 예시한 컴바인 디스크립터(UDTV_service_combine_descriptor)가 포함될 수도 있다. 이 경우 수신기는 NIT의 컴바인 디스크립터(UDTV_service_combine_descriptor)를 이용해 trasnport_stream_id, original_network_id 등의 필드로, 기술하고자 하는 서비스가 원본 UD 비디오로부터 어떻게 얻은 스트림으로 전송되는지 등의 정보를 얻을 수 있다. 그리고, 수신기는 NIT의 컴바인 디스크립터(UDTV_service_combine_descriptor)로부터 수신되는 서비스가 단독 출력 가능한 스트림인지, 어느 sub-video를 포함하고 있는지 등의 정보 등의 정보를 얻을 수 있다. 그리고, 이 디스크립터를 이용하여 완전한 UD 비디오를 얻기 위해 추가로 연결해야 할 서비스에 대한 정보를 알 수 있다.
또 다른 예로서, 예시한 UD 비디오가 DVB 또는 ATSC의 EIT(Event Information Table)에 포함될 수도 있다. Event Information Table의 event loop 위치에 예시한 컴바인 디스크립터(UDTV_service_combine_descriptor) 포함될 수도 있다.
ATSC의 EIT에 컴바인 디스크립터(UDTV_service_combine_descriptor)가 전송될 경우 컴바인 디스크립터의 예시한 associated_service_id 필드는 UD 비디오 표출과 관련된 프로그램을 식별하는 associated_program_number로 대체될 수 있고, 컴바인 디스크립터에 UD 비디오 표출과 관련된 소스를 식별하는associated_source_id 및 UD 비디오 표출과 관련된 이벤트를 식별하는associated_event_id가 추가될 수 있다. 예시한 바와 같이 associated_program_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 프로그램 넘버를, associated_source_id 및 associated_event_id는 시그널링되는 서브 비디오 스트림과 관련된 비디오 스트림의 소스 아이디와 이벤트의 식별자를 나타낸다. DVB의 경우 컴바인 디스크립터에 UD 비디오 표출과 관련된 이벤트를 식별하는 associated_event_id가 추가될 수 있다.
한편, UD 비디오 스트림을 전송할 경우, 전송 시스템에 따라 다음과 같은 필드를 더 포함하는 시그널링정보를 함께 전송할 수 있다.
전송 시스템에 따라 시그널링 정보는, Component type 정보 또는 stream_type 정보를 포함할 수 있다. Component type 정보를 이용한 시그널링은, 각 스트림의 종류를 stream_content 및 component_type 값을 통해 알려줄 수 있다. 따라서, 스트림의 컴포넌트 값을 이용하여 어느 UD_subsampling 모드에 속하는지 여부, 코덱 정보, 해상도 정보 등을 판단 가능하도록 값을 할당하여 시그널링할 수 있다.
Stream_type 정보를 이용하는 경우에도, UD 비디오 스트림을 위한 새로운 값을 할당하여 시그널링할 수 있다. 사용하는 코덱 및 포함하는 스트림의 종류 등에 따라 UD service를 구분하고 각 구분된 UD 서비스에 대해 다른 service_type 을 할 당하여 시그널링할 수도 있다. 이 경우 UD service로부터 서브 샘플링된 HD 비디오 호환 스트림에 따른 서비스는 기존 HD 서비스와 동일한 service_type을 사용하여 종래의 HD 서비스로 시청을 가능하도록 할 수도 있다.
그리고, 기존 수신기에서는 component type 및 stream_type 또는 service_type 을 이용하여 시그널링하여 HD 비디오와 호환이 되지 않는 UD 비디오 신호를 수신하지 않게 할 수 있다.
도 20은 DVB 시스템에서 stream_content와 component_type 을 이용하여 UD 콘텐트를 식별하는 예를 개시한다. DVB 시스템에서 component descriptor는 컴포넌트 스트림의 타입을 식별할 수 있고, 엘리멘터리 스트림의 텍스트 설명을 제공하는데 사용될 수 있다. component descriptor는 EIT 또는 SDT에 포함될 수 있는데, 해당 이벤트 또는 서비스에 포함된 구성요소(비디오 element)의 특징을 기술할 수있다.
그 경우에 도 20과 같이 UD 콘텐트에 포함될 수 있는 서브 콘텐트의 타입을 시그널링할 수 있다. 서브 코텐트는 UD 콘텐트을 이용하여 생성되어 UD 콘텐트와 호환 가능하거나 또는 호환 가능하지 않을 수도 있다. 예를 들어 이 도면에서 기술하는 컴포넌트들은 도 1에서 예시한 서브 비디오를 전송할 수 있다. 그런 경우 Sub-video sampling factor (예를 들면, (even, odd))나 horizontal_sampling_factor 및 vertical_sampling_factor 와 같은 요소도 각 컴포넌트를 기술하는데 사용될 수도 있다.
예를 들어 stream_content가 0x05이고, component_type 가 0x90일 경우, 이에 따른 서브 콘텐트는, H.264/AVC video 비디오 콘텐트로서, 4K UD 콘텐트일 수 있고, 50Hz (25Hz), 화면비 16:9인 콘텐트를 나타낼 수 있다.
stream_content가 0x05, component_type 가 0x94일 경우, 이에 따른 서브 콘텐트는, H.264/AVC video 비디오 콘텐트로서, 4K UD 콘텐트의 일부분일 수 있고, 60Hz (30Hz), 화면비 16:9인 콘텐트를 나타낼 수 있다.
여기서, part of 4K UD는 4K UD 콘텐트의 일부분의 서브 비디오 데이터를 포함하지만 독립적으로 의미 있는 영상 (예를 들어 HD 비디오)을 제공할 수 없는 경우를 나타낸다. 여기서는 16:9의 화면비를 가진 컴포넌트를 예시하였으나, 16:9가 아닌 다른 aspect ratio를 사용하는 경우 (예를 들어 21:9), 이를 위한 component_type 값을 추가로 설정할 수 있고, 예를 들어, stream_content가 0x05이고 component_type이 0x98이면 H.264/AVC video, 4K UD, 50Hz(25Hz) 이며 21:9인 컴포넌트를 나타낼 수 있다.
Spatial Scalable Coding을 이용하여 컴포넌트를 인코딩하여 전송하는 경우 Base layer는 기존의 HD와 동일한 방법을 사용하며 Spatial Scalability를 제공하기 위한 Enhancement layer에 대해 별도로 stream_content와 component_type 값을 할당할 수도 있다. 예를 들어, stream_content가 0x05이고 component_type이 0xA0이면 H.264/AVC Spatial Scalable Extension Video, 4K UD, 50Hz (25Hz), 16:9를 의미한다. 이 스트림은 독립적으로 디코딩이 안되며 Base layer video와 결합되면 의미있는 영상이 출력될 수 있다. 아울러 Advanced Codec을 사용하는 경우 해당 코덱을 기반으로 spatial scalability가 제공될 때도 개시한 방법과 비슷한 방법으로 UD 비디오가 제공될 수 있다.
이하에서는 위에서 예시한 방법에 따라 전송된 UD 비디오 스트림과 시그널링 정보를 이용하여 UD 비디오 또는 HD 비디오를 출력하는 수신기의 동작을 설명하기 이전에 구현가능한 시그널링 정보의 추가 실시예를 설명하면 다음과 같다.
UD 비디오로부터 HD 비디오가 샘플링하여 서브 비디오가 전송될 경우, 영상 데이터 자체가 아닌 다른 서브 비디오 데이터를 이용한 보간(interpolation) 등을 이용하여 비디오 데이터를 복원할 수도 있다. 이러한 경우 서브 스트림 디스크립터는 도 21과 같은 정보를 포함할 수 있다
도 21은 서브스트림 디스크립터의 다른 실시예를 예시한 도면이다. UDTV 전체 화면 구성 요소 중 일부 sample grid에 대해 (특정 sample grid에 포함된 화소를 모두 조합하면 하나의 sub-video가 생성됨) sub_video를 전송할 때 영상 데이터가 아닌 다른 sub_video data를 이용해 interpolation 등의 기법을 사용해 복원하도록 filter 계수를 보내는 방법을 사용할 수 있다.
이와 같은 interpolation 등의 기법으로 스트림을 전송할 경우, 이에 대한 시그널링 정보는 다음과 같은 필드를 포함할 수 있다.
descriptor_tag 필드는, 이 디스크립터를 식별하기 위한 식별자를 나타낸다.
descriptor_length 필드는, 이 디스크립터의 길이를 비트로 나타낼 수 있다.
sub_stream_ID 필드는, UD 비디오에 포함되는 각각의 비디오 스트림을 식별하기 위해 부여되는 ID 값을 나타낸다. 각 서브 스트림(sub_stream) 마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여될 수 있으며, 예를 들어 각 비디오 스트림의 기준 픽셀이 UD 비디오에서 왼쪽 위에 위치할수록 작은 값을 부여할 수 있다.
이 필드는 비디오에 포함되는 스트림의 식별자를 나타내는 elementary stream_PID 필드가 sub_stream_ID 필드로서 역할을 할 수도 있다. 예를 들어, 4K UD 비디오 화면의 경우, sub_stream_ID 필드는 2 비트로 나타낼 수 있으며, 8K UD UD 비디오 화면의 경우, sub_stream_ID 필드는 4 비트로 나타낼 수 있다. 설명한 바와 같이 서브 스트림은, 독립적으로 코딩된 비디오 elementary stream 을 나타낼 수 있다.
horizontal_sampling_factor 필드는, 가로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. 할당되는 비트수는 UD_resolution의 가로 픽셀 값이 무엇이냐에 따라 달라진다. origianal_UD_resolution==0 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), original_UD_resolution==1 인 경우에는 2비트로 할당되어 네가지 값을 나타낼 수 있다. (0번째 ~ 3번째 라인)
vertical_sampling_factor 필드는, 세로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. horizontal_sampling_factor와 마찬가지로, original_UD_resolution==0 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), original_UD_resolution==1 인 경우에는 2비트로 할당되어 네 가지 값을 나타낼 수 있다.
horizontal_sampling_factor필드와 vertical_sampling_factor 필드는 위에서 이미 예시한 바와 같다.
Num_filter_tap 필드는, sub_video를 interpolation을 이용해 복원하는 경우 계산 과정에서 사용되는 reference pixel의 개수 또는 필터의 크기를 나타낼 수 있다.
Ref_sub_video_ID 필드는, sub_video를 interpolation을 통해 복원하는 경우 여기에 사용될 reference pixel들이 속한 sub_video를 나타낼 수 있다. interpolation 과정은 sub_video들이 포함된 스트림을 디코딩 한 후 디스플레이를 위해 최종적으로 UD 화면을 표출하는 과정이 수행된다. 따라서, 각각의 reference 되는 sub_video의 sampling grid (horizontal/vertical sampling factor)는 이미 관련된 UDTV_sub_stream_descriptor에서 획득했으므로 여기서는 ref_sub_video_ID만으로도 충분히 어느 화소를 이용할지를 알 수 있다.
position 필드는, 참조할 pixel (ref_sub_video_ID에 포함된 pixel)이 같은 quartet 또는 group of pixels에 포함되었는지 여부를 나타낼 수 있다. position 필드 값이 0x0이면 동일한 quartet (또는 group of pixel), position 필드 값이 0x1인 경우 오른쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x2인 경우 왼쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x03인 경우 위쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x04인 경우 아래쪽 neighboring quartet (또는 group of pixel)을 각각 나타낼 수 있다.
a_factor 필드, b_factor 필드, c_factor 필드는 각각 참조 서브 비디오 픽셀로부터의 복원할 필드를 재구성할 수 있는 인수값을 나타낸다. 예를 들면 재구성되는 픽셀은 아래의 식에 따라 재구성될 수 있다.
수학식 1
Figure PCTKR2012003988-appb-M000001
여기서, reconstructed_pixel_for_sub_video_ID은 서브 비디오로부터 재구성되는 픽셀의 값을 나타내고, pixel_from_ref_sub_video_ID는 서비 비디오를 재구성하기 위해 참조되는 픽셀의 값을 나타낸다.
이하에서는 영상의 픽셀을 복원하는 예를 개시하면 다음과 같다.
도 22는 위에서 설명한 시그널링 정보에 따라 참조 비디오 픽셀을 이용하여 해당 비디오 픽셀을 복원하는 예를 나타낸 도면이다. 여기서는 2x2 픽셀을 동일한 그룹의 픽셀로 가정한다.
여기서 숫자는 동일한 그룹에 포함되는 서브 비디오의 픽셀을 각각 식별하고 i로 표시한다. 이 도면은, Sub_video 3의 픽셀을 interpolation을 이용해 복원하는 예를 개시하는데, 복원에 사용될 reference 픽셀을 원으로 표시했다
복원될 픽셀은 3개의 reference pixel의 평균값을 사용한다면 다음과 같이 UDTV_sub_stream_interpolation_descriptor의 Number_of_filter_tap, position, ref_sub_video_ID, a_factor, b_factor 및 c_factor는 아래와 같다.
먼저 Number_of_filter_tap 필드는 하나의 픽셀을 복원하는데 3개의 픽셀 값을 사용하므로 3이 된다.
i = 0 (오른쪽 group of pixel의 0번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x01 (오른쪽 neighboring quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 0, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0로 나타낼 수 있다.
i = 1 (동일한 group of pixel의 1번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x00(동일 quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 1, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0로 나타낼 수 있다.
i = 2 (동일한 group of pixel의 2번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x00(동일 quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 2, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0으로 나타낼 수 있다.
이하에서는 위에서 예시한 방법에 따라 전송된 UD 비디오 스트림과 시그널링 정보를 이용하여 UD 비디오 또는 HD 비디오를 출력하는 수신기에 대해 설명한다. 수신기는 UD 비디오를 수신하여 표출할 수 있는 수신기와, UD 비디오의 일부인 HD비디오를 표출할 수 있는 수신기가 있을 수 있다. 두 가지 수신기에 대해 각각의 비디오 출력의 실시예를 개괄적으로 설명하면 다음과 같다.
먼저, 기존 HD 비디오 수신기에서 UD sub-strem을 수신하여 HD 비디오를 출력하는 일 실시예를 설명하면 다음과 같다.
서비스를 전송하는 비디오가 HD compatible stream로 전송되는 경우, UD_sub_service_type==001), 수신기는 기존 HD 비디오를 수신하는 것과 동일한 방법으로 HD 비디오를 출력할 수 있다. 이 경우 HD compatible stream 에 의해 전송되는 UD sub service(비디오)는 기존 HD 비디오를 포함하는 방송 서비스와 동일한 service_type 및 동일한 stream_type (PSI 시그널링의 경우, service_type==0x02 , stream_type==0x1B) 으로 시그널링 될 수 있다. 기존 HD 비디오 수신기는, PMT 내에 포함된 서브스트림 디스크립터(UDTV_sub_stream_descriptor()) 및 컴바인 디스크립터((UDTV_service_combine__descriptor()) 등의 서술자는 인식할 수 없다. 따라서, 서비스가 HD compatible stream으로 전송되지 않는 경우, 수신기는 새로운 service_type (UD 서비스 타입)을 인식하지 못하여 채널 자체를 인식할 수 없다.
UD 비디오를 수신하여 표출할 수 있는 수신기는 각각 수신한 서브 스트림을 조합하여 UD 비디오를 출력할 수 있다. 이에 대한 실시예를 설명하면 다음과 같다.
먼저, 수신기는 제 1 채널(서비스)를 통해 수신한 시그널링정보, 예를 들면 PMT의 컴바인 디스크립터(UDTV_service_combine_descriptor)를 이용하여 원본 UD 비디오를 구현하기 위해 추가로 받아야 하는 별도 서비스나 미디어가 있는지 판단한다.
별도 채널이나 경로를 통해 수신해야 하는 데이터가 있는 경우, 수신기가 관련된 연계 서비스를 수신할 수 있는 연결정보를 시그널링정보로부터 얻을 수 있다.
수신기가 연계 서비스를 수신하기 위해 이미 획득한 연결정보를 이용해 별도의 다른 튜너 (또는 인터넷 엑세스 모듈)을 이용해 제2 (또는 제3)의 연계 서비스를 튜닝(접속)한다.
경우에 따라 (예를 들어 linked_media_sync_type이 asynchronous 모드인 경우) 제 1 채널 및 이와 연계된 제 2, 제3의 경로로 수신되는 UD 비디오의 컴포넌트의 스케쥴이 다를 수 있으며 이 경우 각 경로(채널)을 통해 수신되는 스케쥴 정보를 이용해 필요한 데이터를 미리 저장 또는 수신할 수 있다.
제 1, 제 2, 제 3의 채널 (경로)로 수신된 sub stream을 디코딩한다.
이 경우, 수신기는, 각 서비스에 속한 스트림(sub stream)마다 할당된 서브 스트림 디스크립터(UDTV_sub_stream_descriptor)를 통해 UD 비디오를 재조합하기 위한 정보를 획득할 수 있다. 수신기는 획득한 정보로부터 각 스트림에 포함된 sub_video가 어느 것인지 그리고 해당 sub_video가 전체 UD 비디오에서 어느 sample grid에 위치하는지 등의 정보를 얻을 수 있다.
Video merger 에서는 얻은 정보를 토대로 다수의 서브 비디오를 이용하여 UD 비디오를 복원할 수 있다.
도 23은 위에서 설명한 본 발명의 실시예에 따른 수신기의 예를 개시한 도면이다. 수신기의 실시예는, 수신부, 채널 디코더, 역다중화부(300) 및 비디오 디코더, 저장부(500) 및 시그널링정보 디코딩부(600), 비디오 합성부(700)를 포함할 수 있다.
수신부(100)는 적어도 하나의 튜너 또는/및 적어도 하나의 인터넷 액세스 모듈(101, 102, 103)을 포함할 수 있다. 수신부의 적어도 하나의 튜너(101, 102)는 UD 비디오 신호를 포함하는 각각 RF 채널을 수신할 수 있다. 수신부의 적어도 하나의 인터넷 액세스 모듈(103)은 UD 비디오 신호를 포함하는 인터넷 신호를 수신할 수 있다. 여기서 UD 비디오 신호는 UD 비디오 전체가 전송될 수도 있고, UD 비디오가 분리된 비디오 신호일 수도 있으며, UD 비디오가 분리된 비디오 신호는 HD 비디오와 호환 가능한 비디오일 수도 있다.
채널 디코딩부(201, 202)는 튜너(101, 102)가 튜닝한 방송신호를 채널 디코딩할 수 있다.
역다중화부(300)는 채널 디코딩된 비디오 신호 및/또는 인터넷 신호를 수신하여 각각 UD 비디오가 분리된 비디오 신호들을 역다중화할 수 있다. 여기서 역다중화된 비디오 신호들은 합성할 경우 UD 비디오가 될 수도 있다.
시그널링정보 디코딩부(600)는 방송신호 또는 인터넷 신호로 전송된 시그널링정보를 디코딩할 수 있다. 시그널링 정보는 위에서 콤바인 디스크립터, 스트림 디스크립터 등을 이미 예시하였다.
비디오 디코더(401, 402, 403, 404)는 디코딩된 시그널링정보 또는 비디오 스트림 내에 시그널링 정보를 이용하여 각각 역다중화된 비디오를 디코딩할 수 있다. 디코딩된 시그널링정보에는 도 5, 도 13 및 도21을 예시하였고, 비디오 스트림 내 시그널링 정보로 도 17 내지 도 19를 예시하였다.
디코딩된 비디오 신호가 UD 비디오로부터 분리된 비디오인 경우, 비디오 합성부(700)는 디코딩된 비디오 신호를 합성하여 UD 비디오 신호로 출력할 수 있다. 수신기는 예시한 4개의 비디오 처리 패스 중 어느 하나의 패스만을 포함할 수 있다. 디코딩된 비디오 신호가 UD 비디오로부터 분리된 비디오이고, 각 분리된 비디오가 HD 비디오와 호환 가능한 비디오인 경우, 수신기는 디코딩된 시그널링정보를 이용하여 원본 UD 비디오가 서브 샘플링된 HD 비디오를 출력할 수 있다.
저장부(500)는 적어도 하나의 튜너 또는/및 적어도 하나의 인터넷 액세스 모듈(101, 102, 103)로부터 수신된 비디오 신호를 저장할 수 있다. UD 비디오가 분리된 HD 비디오 스트림이 비동기방식으로 전송되는 경우, 저장부(500)는 먼저 수신된 비디오 스트림을 저장할 수 있다.
그리고, UD 비디오를 출력할 수 있는 비디오 스트림이 수신된 경우, 저장부(500)에 저장된 비디오 스트림은, 수신된 비디오 스트림과 함께 복호되고 비디오 합성부(700)가 복호된 HD 비디오 스트림을 합성하여 UD 비디오로 출력할 수 있다.
도 24는 본 발명에 따른 비디오 스트림 전송 방법의 일 실시예를 나타낸 도면이다.
UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고, 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩한다(S100). 도 1에서 이에 대한 실시예를 개시하였다. 샘플링 팩터로 위에서 예시한 sub-video sampling factor, 또는 horizontal/vertical sampling factor를 이용할 수 있다.
UD 비디오 스트림과 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화한다(S200). 다중화된 스트림에는 sub_stream_ID 가 부여되고, 시그널링 정보에는 해당 sub_stream ID가 포함될 수 있다. 그리고, 적어도 하나의 HD 서브 비디오를 하나의 스트림에 전송할 경우, 시그널링 정보의 인터리빙 모드 등을 이용하여 스트림을 전송할 수 있다. 시그널링정보에는 도 5, 도 13 및 도21을 예시하였다. 각각의 HD 비디오 서브 스트림도 시그널링 정보를 포함할 수 있는데 이에 대해서는 도 17 내지 도 19를 예시하였다.
다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송한다(S300).
도 25는 본 발명에 따른 비디오 스트림 수신 방법의 일 실시예를 나타낸 도면이다.
UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화한다(S400). 도 3과 도 23에서 다수의 스트림을 역다중화하는 예를 개시하였다. 스트림은 방송 매체나 인터넷 전송 매체 등을 통해 전송될 수 있다.
역다중화된 시그널링정보를 복호한다(S500). 시그널링정보에는 도 5, 도 13 및 도21을 예시하였다. 각각의 HD 비디오 서브 스트림도 시그널링 정보를 포함할 수 있는데 이에 대해서는 도 17 내지 도 19를 예시하였다.
복호한 시그널링정보를 이용하여 적어도 하나의 HD 비디오 서브스트림을 디코딩한다(S600). 적어도 하나의 HD 비디오 서브스트림을 디코딩할 경우, UD 비디오 스트림과 HD 비디오 서브스트림의 관계의 관계를 기술하는 시그널링 정보를 이용하여 UD 비디오 스트림을 표출하도록 하거나, HD 비디오 스트림만을 표출할 수 있다.
발명의 실시를 위한 형태는 위에서 모두 개시되었다.
본 발명의 실시예는 초고해상도 비디오 스트림을 효율적으로 송수신하면서도 현재의 방송 시스템과 호환될 수 있는 비디오 스트림을 송수신 장치/방법을 제공하여 산업상 이용가능성이 있다.

Claims (20)

  1. UD(ultra definition) 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD(high definition) 비디오 서브스트림들을 각각 인코딩하는 단계; 및
    상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및
    상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법.
  2. 제 1항에 있어서,
    상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함하는 비디오 스트림 전송방법.
  3. 제 1항에 있어서,
    상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함하는 비디오 스트림 전송방법.
  4. 제 1항에 있어서,
    상기 시그널링정보는, UD 화면의 해상도 정보를 포함하는 비디오 스트림 전송방법.
  5. 제 1항에 있어서,
    상기 시그널링정보는, 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함하는 비디오 스트림 전송방법.
  6. UD(ultra definition) 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD(high definition) 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 단계;
    상기 역다중화된 시그널링정보를 복호하는 단계; 및
    상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 단계를 포함하는 비디오 스트림 수신방법.
  7. 제 6항에 있어서,
    상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함하는 비디오 스트림 수신방법.
  8. 제 7항에 있어서,
    상기 디스크립터는, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 수신방법.
  9. 제 6항에 있어서,
    상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함하는 비디오 스트림 수신방법.
  10. 제 9항에 있어서,
    상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함하는 비디오 스트림수신방법.
  11. UD(ultra definition) 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD(high definition) 비디오 서브스트림들을 각각 인코딩하는 인코더; 및
    상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 다중화부; 및
    상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 전송부;를 포함하는 비디오 스트림 전송장치.
  12. 제 11항에 있어서,
    상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함하는 비디오 스트림 전송장치.
  13. 제 12항에 있어서,
    상기 디스크립터는, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 전송장치.
  14. 제 11항에 있어서,
    상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함하고, 상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함하는 비디오 스트림 전송장치.
  15. 제 11항에 있어서,
    상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 전송장치.
  16. UD(ultra definition) 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD(high definition) 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 역다중화부;
    상기 역다중화된 시그널링정보를 복호하는 시그널링정보 디코더; 및
    상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 비디오 디코더;를 포함하는 비디오 스트림 수신장치.
  17. 제 16에 있어서,
    상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함하는 비디오 스트림 수신장치.
  18. 제 16에 있어서,
    상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함하는 비디오 스트림 수신장치.
  19. 제 16항에 있어서,
    상기 시그널링정보는, UD 화면의 해상도 정보를 포함하고, 상기 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함하는 비디오 스트림 수신장치.
  20. 제 16항에 있어서,
    상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 수신장치.
PCT/KR2012/003988 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 WO2012157999A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/118,050 US20140140415A1 (en) 2011-05-19 2012-05-21 Video stream transmitting device, video stream receiving device, video stream transmitting method, and video stream receiving method
KR1020137029668A KR20140027982A (ko) 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
CN201280024261.6A CN103548357A (zh) 2011-05-19 2012-05-21 视频流发送装置、视频流接收装置、视频流发送方法和视频流接收方法
CA2835621A CA2835621C (en) 2011-05-19 2012-05-21 Devices and methods for transmitting and receiving an ultra high definition video stream
EP12786336.3A EP2712191A4 (en) 2011-05-19 2012-05-21 VIDEO POWER TRANSMISSION DEVICE, VIDEO POWER RECEIVING DEVICE, VIDEO POWER TRANSMISSION METHOD AND VIDEO POWER RECEIVING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161487710P 2011-05-19 2011-05-19
US61/487,710 2011-05-19

Publications (2)

Publication Number Publication Date
WO2012157999A2 true WO2012157999A2 (ko) 2012-11-22
WO2012157999A3 WO2012157999A3 (ko) 2013-01-17

Family

ID=47177517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003988 WO2012157999A2 (ko) 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법

Country Status (6)

Country Link
US (1) US20140140415A1 (ko)
EP (1) EP2712191A4 (ko)
KR (1) KR20140027982A (ko)
CN (1) CN103548357A (ko)
CA (1) CA2835621C (ko)
WO (1) WO2012157999A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024313A (zh) * 2012-12-17 2013-04-03 深圳创维－Rgb电子有限公司 一种超高清显示设备
CN103152541A (zh) * 2013-03-11 2013-06-12 深圳创维－Rgb电子有限公司 超高清显示的控制方法及装置、超高清电视机
CN103152540A (zh) * 2013-03-11 2013-06-12 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
CN103581601A (zh) * 2013-10-24 2014-02-12 南京熊猫电子股份有限公司 一种uhd信号采样和显示的分屏扫描方法
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的***和方法
KR101809968B1 (ko) * 2014-02-18 2017-12-18 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104509122B (zh) * 2012-11-19 2018-10-16 Lg 电子株式会社 信号收发装置和信号收发方法
EP3018910B1 (en) * 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
JP6326213B2 (ja) * 2013-10-04 2018-05-16 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、送信装置、及び、送信方法
JP2015102567A (ja) * 2013-11-21 2015-06-04 三菱電機株式会社 マルチビジョン用表示制御装置およびマルチビジョンシステム
JP6309650B2 (ja) * 2014-04-02 2018-04-11 エルジー エレクトロニクス インコーポレイティド 信号送受信装置及び信号送受信方法
JP6301816B2 (ja) * 2014-11-17 2018-03-28 株式会社東芝 送信装置及び送受信システム
CN104410857A (zh) * 2014-12-26 2015-03-11 广东威创视讯科技股份有限公司 一种图像显示控制方法及相关设备
US20180249552A1 (en) * 2015-02-17 2018-08-30 Pointgrab Ltd. Method and system for calculating color of ambient light
GB201509008D0 (en) * 2015-05-26 2015-07-08 Giroux Verreault Mathieu And Tourigny Gilles Jr Interactive clothing incorporating electronic components
GB2542637A (en) * 2015-09-28 2017-03-29 Esaturnus Nv Ultra low latency UHD and 3D networked video communication applicable to gigabit ethernet
KR20190010661A (ko) 2016-05-26 2019-01-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상호작용을 하는 클라이언트를 위한 파노라마 비디오 브로드캐스트 스트리밍
KR20180021997A (ko) * 2016-08-23 2018-03-06 삼성전자주식회사 영상 전송을 위한 무선 송신 장치, 시스템온칩 및 그 방법
CN111510782A (zh) 2017-04-28 2020-08-07 华为技术有限公司 视频播放方法、虚拟现实设备、服务器及计算机存储介质
JP6953244B2 (ja) * 2017-09-07 2021-10-27 キヤノン株式会社 画像伝送装置およびその制御方法
JP7183304B6 (ja) * 2018-05-25 2022-12-20 ライン プラス コーポレーション 複数のチャネルを利用して動的ビットレートのビデオを配信および再生する方法およびシステム
CN109587499A (zh) * 2018-12-11 2019-04-05 江苏电力信息技术有限公司 一种超高分辨率电脑桌面压缩编码的方法
CN113709427B (zh) * 2021-11-01 2022-02-08 北京数字小鸟科技有限公司 基于非4k60***的4k60和4k30视频兼容传输及同步方法
CN117115718B (zh) * 2023-10-20 2024-01-09 思创数码科技股份有限公司 政务视频数据的处理方法、***及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
WO2009104850A1 (en) * 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
KR20090089960A (ko) * 2008-02-20 2009-08-25 엘지전자 주식회사 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
KR20090103414A (ko) * 2008-03-28 2009-10-01 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
JP4692576B2 (ja) * 2008-05-26 2011-06-01 ソニー株式会社 信号送信装置及び信号送信方法
KR101173335B1 (ko) * 2008-12-19 2012-08-10 한국전자통신연구원 영상분할기반 초고해상도 비디오 부호화 및 복호화 장치, 및 그 제어 방법
WO2010126227A2 (en) * 2009-04-27 2010-11-04 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
EP2739052A4 (en) * 2011-07-26 2015-01-21 Lg Electronics Inc VIDEO STREAM TRANSMITTING APPARATUS, VIDEO STREAM RECEIVING APPARATUS, VIDEO STREAM TRANSMITTING METHOD, AND VIDEO STREAM RECEIVING METHOD

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of EP2712191A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024313A (zh) * 2012-12-17 2013-04-03 深圳创维－Rgb电子有限公司 一种超高清显示设备
CN103024313B (zh) * 2012-12-17 2016-11-02 深圳创维－Rgb电子有限公司 一种超高清显示设备
CN103152541A (zh) * 2013-03-11 2013-06-12 深圳创维－Rgb电子有限公司 超高清显示的控制方法及装置、超高清电视机
CN103152540A (zh) * 2013-03-11 2013-06-12 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
WO2014139345A1 (zh) * 2013-03-11 2014-09-18 深圳创维－Rgb电子有限公司 超高清显示的控制方法及装置、超高清电视机
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的***和方法
CN103581601A (zh) * 2013-10-24 2014-02-12 南京熊猫电子股份有限公司 一种uhd信号采样和显示的分屏扫描方法
KR101809968B1 (ko) * 2014-02-18 2017-12-18 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US9894422B2 (en) 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service

Also Published As

Publication number Publication date
EP2712191A4 (en) 2015-06-24
WO2012157999A3 (ko) 2013-01-17
EP2712191A2 (en) 2014-03-26
KR20140027982A (ko) 2014-03-07
CA2835621A1 (en) 2012-11-22
CN103548357A (zh) 2014-01-29
US20140140415A1 (en) 2014-05-22
CA2835621C (en) 2017-09-19

Similar Documents

Publication Publication Date Title
WO2012157999A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2013015596A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2014025213A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2014204227A1 (ko) 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
WO2011136621A2 (en) An apparatus of processing an image and a method of processing thereof
WO2015126214A1 (ko) 3d 방송 신호를 처리하는 방법 및 장치
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2014073927A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2012026746A2 (en) Method for providing 3d video data in a 3dtv
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2015152635A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2015126213A1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20137029668

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2835621

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012786336

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14118050

Country of ref document: US