WO2013100641A1 - 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치 - Google Patents

입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치 Download PDF

Info

Publication number
WO2013100641A1
WO2013100641A1 PCT/KR2012/011593 KR2012011593W WO2013100641A1 WO 2013100641 A1 WO2013100641 A1 WO 2013100641A1 KR 2012011593 W KR2012011593 W KR 2012011593W WO 2013100641 A1 WO2013100641 A1 WO 2013100641A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
discardable
transport packet
flag
transport
Prior art date
Application number
PCT/KR2012/011593
Other languages
English (en)
French (fr)
Inventor
서종열
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN201280070454.5A priority Critical patent/CN104137558B/zh
Priority to EP12863756.8A priority patent/EP2800391A4/en
Priority to KR1020147010600A priority patent/KR20140107182A/ko
Priority to CA2859673A priority patent/CA2859673A1/en
Priority to US14/369,109 priority patent/US20140354770A1/en
Publication of WO2013100641A1 publication Critical patent/WO2013100641A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Definitions

  • the present invention relates to a digital broadcast receiving method and a receiver, and more particularly, to a digital broadcast receiving method and a receiver for enabling a stereoscopic image display.
  • the basic principle of the stereoscopic method is to separate and input images arranged to be orthogonal to each other in the left and right eyes of a person, and to input stereoscopic images by combining the input images of the left and right eyes in the human brain.
  • the images arranged to be orthogonal to each other become a left view image and a right view image, respectively.
  • the left eye and right eye images are viewed from the left eye and the right eye through polarized glasses or the display device itself, the user perceives a stereoscopic effect.
  • One object of the present invention is to provide a digital broadcast transmission / reception method and apparatus capable of processing a signal for trick play in a digital broadcast providing a stereoscopic stereoscopic image.
  • Another object of the present invention is to provide a digital broadcast transmission / reception method and apparatus capable of processing a signal for trick play in a digital broadcast providing a multi-view stereoscopic image.
  • Another object of the present invention is to provide a digital broadcast transmission / reception method and apparatus including view pair ID and view view priority information in PVR assist information in a digital broadcast providing a multi-view stereoscopic image.
  • Another object of the present invention is to provide a digital broadcast receiving method and apparatus for implementing a natural trick play.
  • the digital broadcast reception method comprises the steps of receiving and demultiplexing a digital broadcast signal including a reference time and extended view video stream, the reference and extended view video Identifying discardable information about the pictures of the reference view and the extended view using a transport packet forming a stream and decoding the reference view and extended view video stream using the discardable information Characterized in that it comprises a step.
  • the discardable information may be included in a transport packet corresponding to a first of a plurality of transport packets constituting pictures of the reference time point and the extended view point.
  • the discardable_pair_flag field indicates whether to decode the transport packet when the 3D trick play is performed, and the discardable_flag field indicates whether to decode the transport packet when the 2D trick play is executed. It features.
  • the discardable_pair_flag field and the discardable_flag field may be included together in a single syntax structure.
  • the access unit number of the first transport packet Decoding of a plurality of transport packets constituting a picture of a reference time point and an extended view point having the same Access Unit number may be omitted.
  • the access unit number of the first transport packet Decoding of a plurality of transport packets forming a picture of a reference time point having the same Access Unit number as is omitted.
  • the discardable_flag field may be provided only in the 1-PID multiplex mode.
  • the portable packet when the base-view and extended-view video streams are received in 2-PID multiplex mode and 2D trick play is performed, the portable packet may be discarded in a transport packet corresponding to the PID value of the base-view video stream. discardable) information is extracted.
  • the discardable information may be information on a transport packet which can omit decoding among transport packets constituting the reference view and extended view video streams.
  • the reference view and extended view video streams may have video stream sections of different views.
  • a digital broadcast receiver includes a tuner for receiving a digital broadcast signal including a reference view and an extended view video stream, a demultiplexer for demultiplexing the reference and extended view video streams from the digital broadcast signal.
  • a PVR processor for identifying discardable information on pictures of the reference view and the extended view using a transport packet constituting a reference view and the extended view video stream, and the reference time using the discardable information.
  • a decoder for decoding the extended view video stream stream, and a 3D video processor for controlling the decoded reference view and extended view video streams.
  • the apparatus may further include storage configured to store a transport packet related to discardable information and a file related to trick play control.
  • the discardable information may be included in a transport packet corresponding to a first of a plurality of transport packets constituting pictures of the reference time point and the extended view point.
  • the decoder corresponding to the first transport in response to a control command for executing 3D trick play, if the value of discardable_pair_flag included in header information of the first transport packet is 1, the decoder corresponding to the first transport may be used. Decoding of a plurality of transport packets forming a picture of a reference time point and an extended time point having an access unit number identical to an access unit number of a port packet is omitted.
  • the decoder corresponding to the first transport in response to a control command for executing 2D trick play, if the value of discardable_flag included in the header information of the first transport packet is 1, the decoder corresponding to the first transport may be used. Decoding of a plurality of transport packets forming a picture of a reference time having an access unit number identical to an access unit number of a port packet is omitted.
  • the present invention it is possible to process a signal for trick play by designating a discardable picture set for two views forming a stereoscopic image in a digital broadcast providing a stereoscopic stereoscopic image. Do.
  • the present invention by storing the View Pair ID and each View Pair Priority information in the PVR assist information in a digital broadcast providing a multi-view stereoscopic image, it is possible to effectively provide a trick play for the multi-view stereoscopic image Can be.
  • FIG. 1 is a conceptual diagram illustrating a method of providing trick play in a two-dimensional image.
  • 2A and 2B are conceptual diagrams for describing the configuration of an MVC bit stream.
  • FIG. 3 is a conceptual diagram illustrating the configuration of an MVC bit stream received aperiodically.
  • 4A, 4B, and 4C are conceptual views illustrating a syntax structure for signaling information about discardable pictures at a transport stream level.
  • 5A and 5B are flowcharts illustrating a digital broadcast receiving method capable of displaying a stereoscopic image and a process of acquiring discardable_pic_data in order to provide a trick play in the receiving apparatus according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a digital broadcast receiver capable of displaying a stereoscopic image according to an embodiment of the present invention.
  • FIGS. 7A and 7B are conceptual views illustrating a digital broadcast receiving method capable of displaying a stereoscopic image and a method of providing information on discardable pictures in a multi-view stereoscopic image in a receiving apparatus according to an embodiment of the present invention.
  • FIG. 8 illustrates a digital broadcast reception method capable of displaying a stereoscopic image and a process of acquiring discardable_pic_data in order to provide a trick play for a 3D view composed of two or more MVC streams according to an embodiment of the present invention. It is a flow chart.
  • FIG. 9 is a block diagram illustrating a digital broadcast receiver capable of displaying a stereoscopic image according to an embodiment of the present invention.
  • 10A, 10B, 10C, 10D, 11A, 11B, 11C, and 11D illustrate a digital broadcast receiving method capable of displaying a stereoscopic image and an image in a trick play mode in a receiver according to an embodiment of the present invention.
  • FIG. 12 is a block diagram illustrating a data processing process of a transmitter for 3D broadcast transmission.
  • 3-D or 3D is used to describe a visual expression or display technique that attempts to reproduce a stereoscopic image (hereinafter referred to as a '3D image') having an optical illusion of depth.
  • a '3D image' a stereoscopic image having an optical illusion of depth.
  • the observer's visual cortex interprets the two images into a single 3D image.
  • the three-dimensional (3D) display technology adopts the technology of 3D image processing and representation for a device capable of 3D image display.
  • a device capable of displaying 3D images may require the use of a special viewing device to effectively provide the viewer with three-dimensional images.
  • Examples of 3D image processing and representation include stereoscopic image / video capture, multi-view image / video capture using multiple cameras, and processing of two-dimensional image and depth information.
  • Examples of display devices capable of displaying 3D images include liquid crystal displays (LCDs), digital TV screens, and computer monitors having appropriate hardware and / or software supporting 3D image display technology.
  • Examples of special observation devices include specialized glasses, goggles, headgear, eyewear, and the like.
  • 3D image display technology includes anaglyph stereoscopic images (commonly used with passive red blue glasses), polarized stereoscopic images (commonly used with passive polarized glasses), and alternating-frame sequencing. (Typically used with active shutter eyeglasses / headgear), autostereoscopic displays using lenticular or barrier screens, and the like.
  • anaglyph stereoscopic images commonly used with passive red blue glasses
  • polarized stereoscopic images commonly used with passive polarized glasses
  • alternating-frame sequencing typically used with active shutter eyeglasses / headgear
  • autostereoscopic displays using lenticular or barrier screens and the like.
  • Some 3D image display technologies may use rotating or alternating optical devices, for example segmented polarizers attached to a color filter wheel, which requires synchronization with each other.
  • Another 3D image display technology is a digital light processor based on a digital micromirror device (DMD) using a rotatable microscopic mirror, arranged in a rectangular array corresponding to the pixels of the image to be displayed.
  • DMD digital micromirror device
  • DLP digital light processor
  • Stereoscopic image coding and stereoscopic distribution formatting include color analysis, pixel sub-sampling (side-by-side, checkerboard, quincunx, etc.). ), And enhanced video coding (2D + Delta, 2D + Metadata, 2D with depth information).
  • color analysis side-by-side, checkerboard, quincunx, etc.
  • enhanced video coding (2D + Delta, 2D + Metadata, 2D with depth information).
  • 3D image display technology described in terms of image reproduction and display environments for digital images or 3D TVs.
  • the details are not intended to limit the various features described herein and are applicable to other types of display technologies and devices.
  • 3D TV technology can be applied not only to TV broadcasting but also to Blu-rayTM, console games, cables, and IPTV transmissions, mobile phone content delivery, and so on.
  • Blu-ray devices eg, Blu-ray TM Disk (BD) players
  • DVD players e.g, DVD players, and TV content distributors.
  • stereoscopic image / video capture is referred to as a stereo image method considering two viewpoints, and multi-view image / video capture using multiple cameras considers three or more viewpoints. It is referred to as a multiview image system.
  • the stereo image method uses a pair of left and right images obtained by photographing the same subject with a left camera and a right camera spaced apart by a certain distance.
  • the multi-view image method uses three or more images obtained by photographing from three or more cameras having a constant distance or angle.
  • two images among the images are designated as a left view image and a right view image, thereby enabling to implement a stereoscopic image.
  • the present invention is not necessarily limited thereto, and it is also possible to implement another stereoscopic method using three or more images (for example, an integrated imaging method).
  • the stereo image or the multi-view image may be compressed and transmitted by various methods including a moving picture expert group (MPEG).
  • MPEG moving picture expert group
  • a stereo image or a multiview image may be compressed and transmitted by using an H.264 / AVC (Advanced Video Coding) method.
  • the reception system may obtain a 3D image by decoding the received image in the inverse of the H.264 / AVC coding scheme.
  • one of the stereo image or the multi-view image is assigned to the base layer image, the remaining image is extended layer (extended layer or extension layer) image, the base layer image in the same manner as the monoscopic image
  • the image of the enhancement layer may be encoded and transmitted only with respect to the relationship information between the base layer and the image of the enhancement layer.
  • Examples of the compression incubation method for the base layer image may be JPEG, MPEG-2, MPEG-4, H.264 / AVC method, and the compression encoding method for the image of the extended layer is H.264 / MV (Multi -view Video Coding) method may be used.
  • the reproduction speed of the reproduced image is controlled to an arbitrary double speed selected (or designated) by the user so that the image corresponds to the arbitrary double speed.
  • Trick play to play can be provided.
  • a conventional two-dimensional digital broadcasting receiving apparatus eg For example, a method of providing trick play in a 2D TV
  • a discardable picture among streams corresponding to the 2D video may be used.
  • the discardable picture refers to a picture which is not used as a reference among a plurality of pictures constituting the 2D image when the 2D image is coded. Therefore, even if this discardable picture is not reproduced in the trick play process, that is, skipped, it may not affect the normal decoding of other pictures. Therefore, in a digital broadcast receiver, particularly a personal video recorder (PVR), when a specific picture is skipped and a fast reproduction effect is desired, a specific picture such as a discardable picture may be skipped to produce a fast playback effect.
  • PVR personal video recorder
  • such a discardable picture may be specified differently according to a coding scheme for a 2D image.
  • a coding scheme for a 2D image For example, when the 2D image is a video coded in an MPEG-2 manner, it is not used as a reference picture.
  • the B-picture may be utilized as a discardable picture.
  • a picture having a slice having a nal_ref_idc value of 0 in the nal slice header may be used as a discardable picture.
  • a video stream for example, a transport stream, exists for each of at least two images for implementing the 3D image.
  • a criterion for determining whether all pictures corresponding to the image are discardable pictures is required.
  • a base view and a dependent view constituting a 3D view are defined. Only when all of the views are discardable pictures, the base view and the dependent view are designated as discardable picture sets, and such information is referred to as a transport packet level.
  • the nal slice is a trick play for every nal slice included in the base view and the dependent views constituting the 3D view (or 3D image). It may or may not be a discardable nal slice that can be skipped.
  • FIG. 2A and 2B are conceptual diagrams for explaining the configuration of the MVC bit stream
  • FIG. 3 is a conceptual diagram for explaining the configuration of the MVC bit stream received aperiodically.
  • the MVC bitstream may be largely composed of two types of multiplex modes.
  • the first mode is a 1-PID multiplex mode (or 1-PID mode).
  • the configuration of the MVC bitstream includes one PES packet in one MVC Access Unit (MVC AU). Included).
  • MVC AU includes both a base and a dependent view component.
  • the view component refers to the base view and the dependent view respectively coded with MVC, and means one of a left image and a right image.
  • the view component in 1-PED multiplex mode, two corresponding view components are combined to form one access unit.
  • one MVC AU in 1-PID multiplex mode, includes a plurality of Transport Packets (TPs) and one base view component constituting one base view component.
  • TPs Transport Packets
  • transport packets constituting the base and dependency view components are sequentially entered in one transport stream.
  • the second mode is a 2-PID multiplex mode (or 2-PID mode). to be.
  • one PES packet includes one view component, and different transport streams (TSs) are composed of transport packets of different views.
  • TSs transport streams
  • one MVC AU is included in different transport streams and is composed of transport packets of a base and dependent view component corresponding to one picture (or frame) corresponding to each other. That is, in this case, the transport packets corresponding to the first base view component are included in the MVC base view stream, and the transport packets corresponding to the first dependent view component corresponding to the first base view component are MVC dependent view. Included in the stream, each may be received as a separate transport stream.
  • the base view component may be represented as MVC base view sub-bitstream in 1-PID multiplex mode and AVC video sub-bitsteream of MVC in 2-PID multiplex mode.
  • a base view component is a component corresponding to a reference video among two view components coded with MVC, and means a stream that can be decoded using an existing AVC / H.264 decoder.
  • the dependent view component is a stream decodable using Annex H of ISO / IEC 14496-10 and corresponds to an MVC extension stream.
  • the dependent view component may be decoded using inter-view prediction using a base view decoding result or inter-prediction between dependent view components.
  • transport packets may not be mixed for each AU unit.
  • the frame number or picture number of each view component is different.
  • 4A, 4B, and 4C are conceptual views illustrating a syntax structure for signaling information about discardable pictures at a transport stream level.
  • information on a discardable picture may be provided using "adaptation_field ()" in "transport packet ()".
  • adaptive_field_control indicates the presence or absence of payload "adaptation_field ()" ⁇ , b in the payload part.
  • the information on the discardable picture may be included in the "private_data_byte” field when the "adaptation_field_control" is "10" or "11".
  • information about a discardable picture that is, 'discardable_pic_data' may be located in a "private_data_byte” field. That is, "private_data_byte” includes detailed information about the discardable picture.
  • the "discardable_pic_data ()" field for providing information on the discardable picture may include at least one of the plurality of fields shown in FIG. 4C.
  • view_component_start_flag is a transport packet including the "view_component_start_flag", that is, a first transport packet of a corresponding view component frame in which a current transport packet includes the current transport packet.
  • the first transport packet of a component frame when “view_component_start_flag" is '1', the transport packet including "view_component_start_flag” having the value of "1" is included in the view packet included in the transport packet including "view_component_start_flag” having the value of "1".
  • the transport packet including "view_component_start_flag” having the value of "0" includes a transport packet including "view_component_start_flag” having the value of "0". It is not the first transport packet of any view component frame.
  • the "discardable_pic_data ()" provides information on which transport packet is first among a plurality of transport packets constituting an arbitrary view component frame through the "view_component_start_flag” field.
  • "discardable_pic_data ()” is a transport packet having "view_component_start_flag" having a value of '1', that is, the first transport packet using a first transport packet among a plurality of transport packets constituting an arbitrary view component frame. Provide discardable information on the view component frame and the stereo view pair including the first transport packet.
  • the "AU_numer” field represents the number of an Access Unit (AU) corresponding to a transport packet including the "AU_numer” field.
  • "AU” may be the number of an Access Unit including all transport packets corresponding to the base view and the dependent view, respectively (see FIG. 2A).
  • AU_number may be configured by concatenating the GOP serial number (upper 24 bits) and the display order (or decoding order, lower 8 bits) in the GOP.
  • “discardable_pair_flag” indicates whether two pictures corresponding to the stereo view pair corresponding to the current stream are discardable pictures. That is, “discardable_pair_flag” means that both pictures corresponding to a pair of base view and dependent view implemented through a plurality of transport packets included in an access unit including a transport packet including “discardable_pair_flag” are both Tells whether it is a discardable picture.
  • the first picture and the second picture are pictures forming a stereo view pair.
  • base_view_flag is a field indicating whether the view including the current transport packet is a base view or a dependent view. That is, when the value of "base_view_flag” is '1', the picture corresponding to the transport packet including the "base_view_flag” is a base view. When the value of "base_view_flag” is "0", the picture corresponding to the transport packet including "base_view_flag” having a value of "0” is a dependent view.
  • "discardable_flag” has a value of '1' when all nal_ref_idc field values of all nal slices included in a picture corresponding to the current stream are all zero. That is, when the values of the nal_ref_idc field of the nal slice constituting the picture corresponding to the transport packet including the "discardable_flag" are all 0, since the picture is discardable, the "discardable_flag" of the discardable for the picture is determined. The value is '1'. Meanwhile, when any of the slices included in the picture has a value of 'nal_ref_idc' field '1', the 'discardable_flag' has a value of '0'.
  • base_view_flag field may have meaning in the 1-PID multiplex mode in which the base view and the dependent view constitute one access unit. That is, in the 2-PID multiplex mode (or N-PID multiplex mode), the base view and the dependent view can be identified through the PID value included in the transport header, so in the 2-PID multiplex mode, the "base_view_flag "May not be included.
  • view_component_end_flag is a transport packet including the "view_component_end_flag", that is, the last transport of the corresponding view component frame in which the current transport packet includes the current transport packet. Indicates whether a packet is present. That is, when “view_component_end_flag" is '1', the transport packet including "view_component_end_flag” having the value of "1” is any including a transport packet including "view_component_end_flag” having the value of "1". The last transport packet in the view component frame of. In other cases, "view_component_end_flag" is set to '0'.
  • disdable_pic_data having a structure defined as in FIGS. 4A, 4B, and 4C.
  • the syntax structure related to discardable_pic_data described above may be processed differently depending on whether the MVC bitstream is configured in 1-PID multiplex mode or 2-PID multiplex mode.
  • 5A and 5B are flowcharts illustrating a digital broadcast receiving method capable of displaying a stereoscopic image and a process of acquiring discardable_pic_data in order to provide trick play in a receiving apparatus according to an embodiment of the present invention.
  • two pictures respectively corresponding to the base view and the dependent view constituting the 3D image should be discardable. That is, in order to provide 3D trick play, discardability information on a stereo view pair should be provided.
  • discardable information on a pair of pictures may be obtained through the following process.
  • Such discardable information may be provided through an "adaptation field ()" included in a transport packet.
  • an "adaptation field ()” included in a transport packet.
  • a process of first determining a value of "adaptation_field_control” included in header information of a transport packet is performed. If the value of "adaptation_field_control” is "10” or "11", "adaptation field ()” exists.
  • the information on the discardable picture may be included in the "private_data_byte” field when "adaptation_field_control" is "10" or "11".
  • 'discardable_pic_data' which is information about a discardable picture
  • 'discardable_pic_data' may be located in a "private_data_byte” field. That is, "private_data_byte” includes detailed information about the discardable picture.
  • the current transport packet may be recognized as the first transport packet among a plurality of transport packets constituting any view component frame.
  • the number of the first picture implemented through the access unit including the current transport packet and the number of the access unit including the current transport packet indicates whether all of the second pictures implemented through other access units having the same number as are discardable pictures.
  • the first picture and the second picture are pictures forming a stereo view pair.
  • the receiver may discard both pictures corresponding to the stereo view pair corresponding to the current stream when playing the 3D trick.
  • the reception apparatus reproduces an image corresponding to the stereo view pair corresponding to the current stream when playing the 3D trick.
  • the transport packet including "view_component_end_flag” having the value of “1” is any including a transport packet including "view_component_end_flag” having the value of "1".
  • the reception apparatus may implement 3D trick play using "discardable_pair_flag". Furthermore, the reception apparatus identifies the start point and the end point of the access unit by using "view_component_start_flag" and “view_component_end_flag", so that only a transport packet corresponding to a desired AU can be selected in the trick play process.
  • the receiver may provide 2D trick play according to the user's selection or the situation of the receiver.
  • FIG. 5B a process of providing 2D trick play in the receiving apparatus will be described with reference to FIG. 5B.
  • the contents described with reference to FIG. 5A in the process illustrated in FIG. 5B are replaced with the description of FIG. 5A.
  • base_view_flag is a field indicating whether the view including the current transport packet is a base view or a dependent view. That is, when the value of "base_view_flag” is '1', the picture corresponding to the transport packet including the "base_view_flag” is a base view. When the value of "base_view_flag” is "0", the picture corresponding to the transport packet including "base_view_flag” having a value of "0” is a dependent view.
  • the reception device plays back a video corresponding to the base view. Therefore, it is determined whether the current transport packet is a transport packet corresponding to the base view.
  • the receiver proceeds to determine the value of the "discardable_flag" field.
  • “discardable_flag” has a value of '1' when all nal_ref_idc field values of all nal slices included in a picture corresponding to the current stream are all zeros. That is, when the values of the nal_ref_idc field of the nal slice constituting the picture corresponding to the transport packet including the "discardable_flag" are all 0, since the picture is discardable, the "discardable_flag" of the discardable for the picture is determined. The value is '1'.
  • the reception apparatus may determine that the picture corresponding to the transport packet having "discardable_flag" having a value of '1' as a discardable picture.
  • base_view_flag field (or view_component_ID) has a meaning in 1-PID multiplex mode in which the base view and the dependent view constitute one access unit.
  • the base view and the dependent view can be identified through the PID value included in the transport header, so in the 2-PID multiplex mode, the "base_view_flag "May not be included.
  • the receiver may determine only the "discardable flag” without determining "base_view_flag".
  • discardability of pictures corresponding to the base and dependent views may be determined.
  • FIG. 6 is a block diagram illustrating a digital broadcast receiver capable of displaying a stereoscopic image according to an embodiment of the present invention.
  • the broadcast receiver includes a tuner and demodulator 410, a VSB decoder 420, a TP demux 430, a PVR processor 440, a storage 450, a PSI / PSIP processor 460, an AVC layer 470a, an MVC extension. It may include a layer 470, an L / R splitter 480, and an output formatter 490 (3D video processor).
  • the broadcast reception device may include an image output unit for outputting an image of a corresponding view.
  • the image output unit controls the images for each viewpoint and displays them on the screen, but a plurality of image output units may be provided to output left and right images, respectively.
  • the tuner and demodulator 410 receives a digital broadcast signal, detects the corresponding signal, corrects an error, extracts a transport stream, and performs filtering and parsing on the transport stream.
  • a TP demux 430 is provided.
  • the PSI / PSIP processor 460 extracts PID (Packet Identifier) information for the video stream from the table information received from the TP demux 430.
  • the AVC layer 470a is a decoder for decoding the base view video
  • the MVC extension layer 470b is a decoder for decoding the extension view video.
  • the receiver extracts a video stream PID from the PMT and TVCT information parsed by the PSI / PSIP processor 460 and outputs a video stream from the TP Demux 430 using the corresponding video stream PID. If the output video stream corresponds to the base view video (AVC), the TP Demux 430 outputs the video stream to the AVC layer 470a. If the output video stream corresponds to the extension view video (MVC extension), the TP Demux (430) is used. 430 outputs the video stream to MVC extension layer 470b.
  • the AVC layer 470a and the MVC extension layer 470b respectively process video data and supplemental data included in the received video stream and output them to the L / R splitter 480.
  • the L / R splitter 480 and the output formatter 490 format and transmit the base view video stream and the extended view video stream to the stereoscopic display output based on the information extracted by the PSIP or PSI / SI processor 460. do.
  • the parsed transport stream is a PVR processor 440.
  • the transport packets constituting the transport stream discardable information for the base view video stream and the extended view video stream are processed.
  • processing of discardable information for the reference view video stream and the extended view video stream from the transport packet constituting the transport stream may be performed through the PSIP or the PSI / SI processor 460.
  • the PVR processor 440 processes "discardable_pic_data" as described above with reference to FIGS. 5A and 5B. Meanwhile, discardable information processed by the PVR processor may be stored in the storage 450 and may be referred to when trick play is implemented on the recorded video.
  • the storage 450 may store a transport packet capable of trick play and a file related to trick play control.
  • the files related to the transport packet and the trick play control may be stored in the storage 450 and used at any time when a control command for executing the trick play is authorized.
  • GOP number The serial number of the GOP.
  • the upper bit of the AU_nember field of Discardable_pic_data () can be used.
  • GOP start address Informs the starting position of the GOP. Information on the physical address where the start of the GOP in the storage device is stored. The GOP start time is determined using the time when the lower 8 bits of AU_number become 0 (or the time when the upper 24 bits of AU_nember increase by 1).
  • GOP end address Informs the end of the GOP.
  • GOP size It indicates the number of pictures included in the GOP. This can be known by counting the number of pictures between GOP start and end at the receiver.
  • Number of non-discardable picture (base) The number of pictures included in the GOP, particularly non-discardable (or used as a reference), among base view components.
  • Number of stereo view In the case of multi-view, this is the number of stereo images that can be composed of a combination of MVC view components. For an MVC stereo profile stream this value is one.
  • Stereo View ID It represents the Stereo View ID, and in the case of multi-view rather than stereo, it represents the identifier of the combination constituting the stereo among the multi-view components.
  • Left view flag Indicates whether the base view is left / right view.
  • I picture flag It means whether the base view is an I picture.
  • MVC I picture flag Indicates whether all MVC view pairs are I pictures.
  • Component ID for base view The base view component can be identified (using the view_id of the MVC SPS).
  • Base view start address Indicates the physical location where the first byte of the base view is stored.
  • Base view end address Indicates the physical location where the first byte of the base view is stored.
  • Component ID for dependent view Identifier for dependent biew component (use view_id of MVC SPS).
  • Dependent view start address Indicates the physical location where the first byte of the enhancement view is stored.
  • Dependent view end address Indicates the physical location where the last byte of the enhancement view is stored.
  • the receiver file for implementing trick play using "discardable_pic_data ()" may be configured as shown in [Table 1] above.
  • [Table 1] can be equally applied to the case that the image for implementing the 3D stereoscopic image is composed of a multi-view rather than a stereo view.
  • FIGS. 7A and 7B are conceptual views illustrating a digital broadcast receiving method capable of displaying a stereoscopic image and a method of providing information on discardable pictures in a multi-view stereoscopic image in a receiving apparatus according to an embodiment of the present invention.
  • the base view component (Stream # 0) may be the first.
  • a stereoscopic image may be implemented with the dependent view component Stream # 1 or the second dependent view component Stream # 2.
  • the method for providing discardable information for stereo MVC composed of two or more streams may have a syntax structure as illustrated in FIG. 7B.
  • the "discardable_pic_data ()" field may include at least one of the plurality of fields, as shown in FIG. 7B.
  • view_component_start_flag is a transport packet including the "view_component_start_flag", that is, a first transport packet of a corresponding view component frame in which a current transport packet includes the current transport packet.
  • the transport packet including "view_component_start_flag” having the value of "1” is arbitrary including the transport packet including "view_component_start_flag” having the value of "1". Is the first transport packet in the view component frame.
  • the transport packet including "view_component_start_flag” having the value of "0" includes a transport packet including "view_component_start_flag” having the value of "0". It is not the first transport packet of any view component frame.
  • the "discardable_pic_data ()" provides information on which transport packet is first among a plurality of transport packets constituting an arbitrary view component frame through the "view_component_start_flag” field.
  • "discardable_pic_data ()” is a transport packet having "view_component_start_flag" having a value of '1', that is, the first transport packet using a first transport packet among a plurality of transport packets constituting an arbitrary view component frame. Provide discardable information on the view component frame and the stereo view pair including the first transport packet.
  • the "AU_numer” field is a field indicating the number of the corresponding Access Unit.
  • "AU_number” may be configured by concatenating the GOP serial number (upper 24 bits) and the display order (or decoding order, lower 8 bits) in the GOP.
  • base_view_flag is a field indicating whether the view including the current transport packet is a base view or a dependent view. That is, when the value of "base_view_flag” is '1', the picture corresponding to the transport packet including the "base_view_flag” is a base view. When the value of "base_view_flag” is "0", the picture corresponding to the transport packet including "base_view_flag” having a value of "0” is a dependent view.
  • Disardable_flag has a value of '1' when all nal_ref_idc field values of all nal slices included in a picture corresponding to the current stream are all zero.
  • the "discardable_flag" of the discardable for the picture is determined.
  • the value is '1'.
  • the 'discardable_flag' has a value of '0'.
  • base_view_flag field may have meaning in the 1-PID multiplex mode in which the base view and the dependent view constitute one access unit. That is, in the 2-PID multiplex mode (or N-PID multiplex mode), the base view and the dependent view can be identified through the PID value included in the transport header, so in the 2-PID multiplex mode, the "base_view_flag "May not be included.
  • number_3D_views is a value having the same value as the field value of the Multiview_descriptor signaled at the system level, and indicates the number of 3D views in which the corresponding stream element is included as a component. Furthermore, each stream element may have a different value.
  • discardable_3D_view_flag is a field indicating whether there is a discardable view among 3D view values including a current transport packet. If there is a discardable 3D view among the 3D view values including the current transport packet, it has a value of '1', otherwise it has a value of '0'.
  • the "3D_view_ID" field is a value having the same value as the field value of the Multiview_descriptor signaled at the system level and identifies each 3D view at the program level.
  • the "3D_view_priority" field is a value having the same value as the field value of the Multiview_descriptor signaled at the system level and may specify the priority of the 3D view provided in the corresponding multiview program.
  • the "AU_number" field indicates the number of the Access Unit including the corresponding transport packet.
  • an access unit is a group of all view components in the same time in time. That is, the access unit means an MVC picture including all N views at the same time, and AU_number is a field for identifying this MVC picture. It can likewise be configured in GOP number and in GOP order.
  • view_component_end_flag is a transport packet including the "view_component_end_flag", that is, the last transport of the corresponding view component frame in which the current transport packet includes the current transport packet. Indicates whether a packet is present. That is, when “view_component_end_flag" is '1', the transport packet including "view_component_end_flag” having the value of "1” is any including a transport packet including "view_component_end_flag” having the value of "1". The last transport packet in the view component frame of. In other cases, "view_component_end_flag" is set to '0'.
  • FIG. 8 illustrates a digital broadcast reception method capable of displaying a stereoscopic image and a process of acquiring discardable_pic_data in order to provide a trick play for a 3D view composed of two or more MVC streams according to an embodiment of the present invention. It is a flow chart.
  • two pictures respectively corresponding to the base view and the dependent view constituting the 3D image should be discardable. Furthermore, in a 3D view composed of two or more MVC streams, the receiving apparatus needs to determine which of at least two 3D views is discardable.
  • discardable information on at least two 3D views may be obtained through the following process.
  • Such discardable information may be provided through an "adaptation field ()" included in a transport packet.
  • an "adaptation field ()” included in a transport packet.
  • a process of first determining a value of "adaptation_field_control” included in header information of a transport packet is performed. If the value of "adaptation_field_control” is "10” or "11", "adaptation field ()” exists.
  • the information on the discardable picture may be included in the "private_data_byte” field when "adaptation_field_control" is "10" or "11".
  • 'discardable_pic_data' which is information about a discardable picture
  • 'discardable_pic_data' may be located in a "private_data_byte” field. That is, "private_data_byte” includes detailed information about the discardable picture.
  • the current transport packet may be recognized as the first transport packet among a plurality of transport packets constituting any view component frame.
  • the receiver may discard the 3D view including the current transport packet when playing the 3D trick.
  • the receiver may identify discardable 3D_views among the plurality of 3D_views using the "3D_view_ID" and "3D_view_priority” fields, and may determine which 3D_views to discard when all of the plurality of 3D_views are discardable.
  • the transport packet including "view_component_end_flag” having the value of “1” is any including a transport packet including "view_component_end_flag” having the value of "1".
  • the reception apparatus may implement 3D trick play for at least two 3D views using “discardable_3D_view_flag”. Furthermore, the reception apparatus identifies the start point and the end point of the access unit by using "view_component_start_flag" and "view_component_end_flag", so that only a transport packet corresponding to a desired AU can be selected in the trick play process.
  • a receiver for providing a 3D view including two or more MVC streams is implemented as a digital broadcast receiver capable of displaying a stereoscopic image as illustrated in FIG. 9. Can be.
  • the receiving apparatus may include a plurality of Socondary Video Decoders for decoding each of the plurality of MVC streams, in addition to the base video decoder.
  • the digital broadcast reception method and the receiver capable of displaying a stereoscopic image when playing a stereo broadcast content trick, "discardable_pair_flag" or “discardable_3D_view_flag located in the header of each transport packet. "With reference to the field information, it can be determined whether the corresponding transport packet is discardable.
  • the digital broadcast reception method and receiver capable of displaying a stereoscopic image when stereo broadcast content is output in 2D only for trick play, whether a corresponding frame corresponds to a base view through "Base_view_flag". If it corresponds to "Base_view_flag", except when not, it may be determined whether the corresponding transport packet is discardable or not by referring to the "discardable_flag" field information.
  • the second process of storing a separate file or table that is collectively organized when the user plays the trick play function when playing the stream stored in the PVR,
  • the third process of implementing trick play using the saved file may provide 2D or 3D trick play.
  • 10A, 10B, 10C, 11A, 11B, and 11C illustrate a digital broadcast receiving method capable of displaying a stereoscopic image and controlling a playback speed of an image in a trick play mode in a receiving apparatus according to an embodiment of the present invention.
  • skippable pictures are called 'discardable pictures' and non-skipable pictures are called 'non-discardable pictures' during trick play, without distinguishing between 2D and 3D trick play.
  • the reception apparatus may propose a method of maintaining a constant playback speed of non-discardable pictures.
  • the reception apparatus in order to maintain a constant playback speed of non-discardable pictures, the reception apparatus firstly includes the number of non-discardable pictures and discardable pictures (Nnd, Nd) in a GOP.
  • the process of calculating the maximum double speed that can be implemented is performed (S1020).
  • the maximum speed may be calculated as shown in Equation 1 below.
  • the receiver performs a process of decoding only the non-discardable picture (S1040).
  • the receiving apparatus outputs an n ⁇ T-th picture with respect to the picture timing displayed in the GOP by using the decoded non-discardable picture.
  • the reception apparatus when the nt x T is an integer with respect to the current timing nt, the reception apparatus according to the present invention decodes and outputs the corresponding non-discardable picture (for example, P3 picture). If nt x T is not an integer with respect to the current timing nt, the receiver decodes the corresponding non-discardable picture (for example, P4 picture) but does not output it. Accordingly, the digital broadcast reception method and the reception apparatus capable of displaying a stereoscopic image according to the present invention can perform natural speed processing during trick play using a frame interpolation technique at a corresponding timing.
  • the receiving apparatus may propose a method of maintaining a constant playback speed of non-discardable pictures arranged in a periodic manner.
  • the receiving apparatus determines the number of non-discardable pictures and discardable pictures (Nnd, Nd) in the GOP (S1110).
  • Equation 2 the maximum speed
  • the receiving apparatus performs decoding on only non-discardable pictures.
  • the receiving apparatus outputs an n x T-th picture with respect to the n-th picture displayed in the GOP (S1150).
  • the decoded nt x T th picture is output and when the nt x T th picture is not yet decoded for the current timing nt, A picture closest in timing to the nt XT-th picture among pictures that are already decoded can be output.
  • the receiving apparatus may display a list of speeds that can be implemented using the UI and set a speed selected by the user.
  • the receiver simply outputs an option of 'fast forward' and when the user selects it, the receiver may arbitrarily determine the speed within a range below Tmax.
  • the receiving apparatus decodes non-discardable pictures P0, P2, P3, P4, P5, P8, P9, and P12.
  • the receiver outputs P0 corresponding to presentation time 0 (pt0) and outputs P3 corresponding to presentation time 2 (pt2).
  • P6 corresponding to the presentation time 4 (pt4) is not decoded as a discardable picture
  • P5 which is the closest in output time among the previously decoded pictures may be output.
  • the reception device outputs P9 corresponding to presentation time 6 (pt6), and outputs P12 already decoded corresponding to presentation time 8 (pt8). After P12 is decoded, P12 may be idle until presentation time 8.
  • the discardable / non-discardable picture described above can be skipped in the trick play process when both view components in the same AU are discardable in the 3D trick play mode.
  • the discardable / non-discardable picture described above may be implemented by considering only discardable / non-discardable attributes of the base view component in the 2D trick play mode.
  • natural trickle-speed processing may be performed during trick play between pictures arranged aperiodically.
  • FIG. 12 is a block diagram illustrating a data processing process of a transmitter for 3D broadcast transmission.
  • a 3D stereoscopic digital broadcast transmission apparatus using 3D stereoscopic image additional data includes an image acquisition unit 110 and audio for acquiring an original image and 3D stereoscopic image additional data.
  • the audio data acquisition unit 120 for acquiring the data, the original image acquired by the image acquisition unit 110, and the 3D stereoscopic image additional data are received, and the audio data obtained by the audio data acquisition unit 120 is input.
  • An encoder 130 for receiving and encoding a form suitable for digital transmission, a program property information generator 140 for generating program property information (PSI) for distinguishing each piece of information, and the encoder 130 Packetizer 150 for receiving each elementary stream (ES) encoded by the packetized packet) to generate an elementary stream packet (PES) by packetizing each elementary stream (ES).
  • PES program property information
  • a transport stream for generating each transport stream TS by receiving each elementary stream packet PES from the kitizer 150 and receiving program characteristic information PSI from the program characteristic information generator 140.
  • a modulator 180 for modulating the transport stream TS multiplexed by the unit 170 is included.
  • the image acquisition unit 110 may be any one of an image of one view for generating an original image and an image of another view for generating 3D stereoscopic image additional data, disparity information, or depth information. Acquire the ideal.
  • an image of one view for generating an original image obtained by the image acquisition unit 110 is an image that can be compared with an image of another view, and is obtained through the image acquisition unit 110.
  • An image of another viewpoint for generating 3D stereoscopic image additional data may be one other viewpoint image that is different from the original image, or a multiview image having several different viewpoints.
  • Disparity information for generating 3D stereoscopic image additional data is obtained from different viewpoints when two images obtained from a multiview image or an image from one viewpoint and another viewpoint are projected to one, Distance information between points, and depth information is perspective information that can be obtained by obtaining an image of one viewpoint and an image of another viewpoint for the same object at a predetermined distance.
  • the encoder 130 may include a first encoder 131 for receiving and encoding an original image of a reference view from the image acquirer 110, and a 3D stereoscopic image from the image acquirer 110. And a second encoder (132) for receiving additional data and encoding the data efficiently, and an audio encoder (133) for receiving and encoding audio data from the audio data obtaining unit (120).
  • the program characteristic information generator 140 generates program characteristic information PSI for distinguishing each piece of information such as an original image, 3D stereoscopic image additional data, audio data, and the like.
  • the program characteristic information generation unit 140 is a program structure table (PMT: Program Map Table) for dividing each transport stream (TS) for compatibility with the 2D digital broadcasting system and the 3D stereoscopic digital broadcasting system.
  • PMT Program Map Table
  • TS transport stream
  • PID packet identifier
  • the packetizer 150 receives the elementary stream ES_Ori for the original image from the encoder 130 and packetizes the first packetizer for generating the elementary stream packet PES_Ori for the original image.
  • the encoding unit 130 receives the elementary stream (ES_3D) for the three-dimensional stereoscopic image additional data from the encoder 130 to generate the elementary stream packet (PES_3D) for the three-dimensional stereoscopic image additional data
  • a third packet for generating the elementary stream packet PES_Au for the audio data by receiving the packetizer 152 and the elementary stream ES_Au for the audio data from the encoding unit 130 and packetizing the received elementary stream ES_Au.
  • a firearm (Packetiser) 153 a firearm
  • the packetizer 150 may display images of different views at the header of the elementary stream packet PES_3D for the 3D stereoscopic image additional data.
  • an input field for a 3D stereoscopic image additional data type is further defined.
  • the transport stream generator 160 receives the elementary stream packet PES_Ori for the original video from the packetizer 150 and generates a first transport stream TS_Ori for the original video.
  • a second transport stream generator for receiving the elementary stream packet PES_3D for the 3D stereoscopic image additional data from the packetizer 150 and generating a transport stream packet TS_3D for the 3D stereoscopic image additional data.
  • 162 a third transport stream generator 163 for receiving the elementary stream packet PES_Au for audio data from the packetizer 150 and generating a transport stream packet TS_Au for audio data, and the program
  • a fourth transmission for receiving the program characteristic information PSI from the characteristic information generation unit 140 and generating a transport stream packet TS_PSI for the program characteristic information It includes trimming generator (164).
  • the multiplexer 170 inserts a program clock reference (PCR) into the transport stream TS_Ori for the original video for use in detecting system time at the end of the multiplexing.
  • PCR program clock reference
  • a digital broadcast receiving method and a receiver capable of displaying a stereoscopic image according to an embodiment of the present invention are provided in two views forming a stereoscopic image in a digital broadcast providing a stereoscopic stereoscopic image.
  • the present invention by storing the View Pair ID and each View Pair Priority information in the PVR assist information in a digital broadcast providing a multi-view stereoscopic image, it is possible to effectively provide a trick play for the multi-view stereoscopic image Can be.
  • a computer program (executed by a computer, a processor, a controller, etc.) stored in a computer-executable medium for implementing a method of receiving a stereoscopic image signal and a receiving apparatus of a stereoscopic image signal in digital broadcasting is It may include one or more program code sections for performing various tasks.
  • a software tool (executed by a computer, a processor, a controller, etc.) stored in a computer-executable medium for implementing a method of receiving a stereoscopic image signal and a receiving apparatus of the stereoscopic image signal in digital broadcasting, It can contain parts of program code that perform a variety of tasks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 디지털 방송 수신방법 및 수신장치에 관한 것으로서, 더 구체적으로는 입체영상 디스플레이를 가능하게 하는 디지털 방송 수신방법 및 수신장치에 관한 것이다. 상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 디지털 방송 수신방법은 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계 및 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 것을 특징으로 한다.

Description

입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
본 발명은 디지털 방송 수신방법 및 수신장치에 관한 것으로서, 더 구체적으로는 입체영상 디스플레이를 가능하게 하는 디지털 방송 수신방법 및 수신장치에 관한 것이다.
최근 입체 영상 서비스에 대한 관심이 점점 증대되면서 입체영상을 제공하는 장치들이 계속 개발되고 있다. 이러한 입체영상을 구현하는 방식 중에 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다.
스테레오스코픽 방식의 기본 원리는, 사람의 좌안과 우안에 서로 직교하도록 배열된 영상을 분리하여 입력하고, 사람의 두뇌에서 좌안과 우안에 각각 입력된 영상이 결합되어 입체 영상이 생성되는 방식이다. 이때, 서로 직교하도록 배열된 영상이 각각 좌안 영상(reft view image) 및 우안 영상(right view image)이 된다. 상기 좌안 및 우안 영상이 편광 안경이나 디스플레이 장비 자체를 통해 좌안과 우안에서 각각 시청되면, 사용자는 입체 영상 효과를 인지하게 된다.
그러나, 종래의 디지털 방송은 이차원 영상을 기준으로 하고 있다. 따라서, 디지털 방송에서 이러한 입체 영상 서비스를 효과적으로 구현하기 위해서, 스테레오스코픽 영상 신호를 효과적으로 확인 및 처리하는 방법이 고려될 수 있다.
본 발명의 일 목적은 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능한 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.
본 발명의 다른 일 목적은 멀티 뷰(multi-view) 방식의 입체 영상을 제공하는 디지털 방송에서 트릭 플레이를 위한 신호를 처리하는 것이 가능한 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 일 목적은 멀티 뷰 방식의 입체 영상을 제공하는 디지털 방송에서 View Pair ID 및 각 View Pair Priority 정보를 PVR assist information에 포함하는 디지털 방송 송수신 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 일 목적은 자연스러운 트릭 플레이를 구현하기 위한 디지털 방송 수신 방법 및 장치를 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 디지털 방송 수신방법은 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계 및 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스카더블 정보는 상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 한다.
특징으로 한다. 상기 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 discardable_pair_flag 필드 및 discardable_flag 필드 중 적어도 하나를 통해 나타내어지는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 discardable_pair_flag 필드는 3D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내고, 상기 discardable_flag 필드는 2D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 discardable_pair_flag 필드 및 상기 discardable_flag 필드는 단일 신택스 구조에 함께 포함되는 것을 특징으로 한다.
일 실시 예에 있어서, 3D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1인 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.
일 실시 예에 있어서, 2D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1인 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 discardable_flag 필드는 1-PID multiplex mode 인 경우에만 구비되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기준시점 및 확장시점 비디오 스트림이 2-PID multiplex mode로 수신되고, 2D 트릭 플레이가 실행되는 경우, 기준시점 비디오 스트림의 PID 값에 대응되는 트랜스 포트패킷에서 디스카더블 (discardable) 정보가 추출되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스카더블 정보는 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷 중 디코딩을 생략할 수 있는 트랜스 포트 패킷에 대한 정보인 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기준시점 및 확장시점 비디오 스트림은 각각 서로 다른 시점의 비디오 스트림 구간들을 구비하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 디지털 방송 수신장치는 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신하는 튜너, 상기 디지털 방송 신호로부터 기준시점 및 확장시점 비디오 스트림을 역다중화하는 디멀티플렉서, 상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 PVR 프로세서, 상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림림을 디코딩하는 디코더 및 상기 디코딩된 기준시점 및 확장시점 비디오 스트림을 제어하는 3D 비디오 프로세서를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 디스카더블 (discardable) 정보와 관련된 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일을 저장하는 스토리지(storage)를 더 구비하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스카더블 정보는 상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디코더는 3D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디코더는 2D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 한다.
본 발명에 따르면, 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 입체 영상을 이루는 두 개의 뷰(view)에 대하여 discardable 픽처 set을 지정함으로써, 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능하다.
또한, 본 발명에 따르면 멀티 뷰(multi-view) 방식의 입체 영상을 제공하는 디지털 방송에서 안전하게 제거할 수 있는 MVC Access Unit(AU) 및 MVC sub-AU를 지정함으로써, 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 위한 신호를 처리하는 것이 가능하다.
또한, 본 발명에 따르면, 멀티 뷰 방식의 입체 영상을 제공하는 디지털 방송에서 View Pair ID 및 각 View Pair Priority 정보를 PVR assist information에 저장시킴으로써, 효과적으로 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 제공할 수 있다.
도 1은 이차원 영상에서 트릭 플레이(trick play)를 제공하는 방법을 설명하기 위한 개념도이다.
도 2a 및 도 2b는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.
도 3는 비주기적으로 수신되는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.
도 4a, 도 4b 및 도 4c는 트랜스포트 스트림 레벨에서 discardable 픽처에 대한 정보를 시그널링 할 수 있도록 하는 신택스(syntax) 구조를 설명하기 위한 개념도이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 멀티 뷰 방식의 입체영상에서 discardable 픽처에 대한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 8 은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 두 개 이상의 MVC stream으로 구성되는 3D view에 대한 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.
도 10a, 도 10b, 도 10c, 도 10d, 도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이 모드에서 영상의 재생속도를 제어하는 방법을 설명하기 위한 개념도이다.
도 12는 3D 방송 송신을 위한 송신장치의 데이터 처리과정을 설명하기 위한 블록도이다.
3-D 또는 3D 라는 용어는 깊이의 착시 효과를 갖는 입체영상(이하, '3D 영상'이라 한다)을 재생하려고 하는 시각적 표현 또는 표시 기술을 설명하는데 사용된다. 좌안 영상과 우안 영상에 대해, 관찰자의 시각 피질(visual cortex)은 두 영상을 하나의 3D 영상으로 해석한다.
3차원(3D) 표시기술은 3D 영상 표시가 가능한 장치에 대해 3D 영상 처리 및 표현의 기술을 채용한다. 선택적으로는, 3D 영상 표시가 가능한 장치는 관찰자에게 3차원 영상을 효과적으로 제공하기 위해 특수한 관찰장치를 사용해야 할 수 있다.
3D 영상 처리 및 표현의 예로는 스테레오스코픽 영상/비디오 캡처, 다수의 카메라를 이용한 다시점 영상/비디오 캡처, 이차원 영상과 깊이 정보의 처리 등이 있다. 3D 영상 표시가 가능한 표시 장치의 예로는, 3D 영상 표시기술을 지원하는 적절한 하드웨어 및/또는 소프트웨어를 구비한 LCD(Liquid Crystal Display), 디지털 TV 화면, 컴퓨터 모니터 등이 있다. 특수한 관찰장치의 예로는, 특수화 안경, 고글, 헤드기어, 안경류(eyewear) 등이 있다.
구체적으로, 3D 영상 표시기술은, 애너글리프(anaglyph) 입체영상(통상적으로 수동형 적청 안경을 함께 사용), 편광 입체영상(통상적으로 수동형 편광 안경과 함께 사용), 프레임-교대 시퀀싱(alternate-frame sequencing)(통상적으로 능동형 셔터 안경/헤드기어와 함께 사용), 렌티큘러(lenticular) 또는 배리어(barrier) 스크린을 사용한 오토스테레오스코픽 디스플레이(autostereoscopic display) 등이 있다. 이하에서 설명하는 다양한 사상 및 특징은 이러한 3D 영상 표시기술에 적용가능하다.
어떠한 3D 영상 표시기술은 회전하거나 교대로 동작하는 광학장치, 예를 들면 컬러필터 휠(wheel)에 부착된 분할 편광기(segmented polarizer)를 사용할 수 있으며, 이때는 서로 간에 동기화가 요구된다. 다른 3D 영상 표시기술은, 표시할 영상의 픽셀과 대응하는 사각형 배열로 배치된, 회전가능한 마이크로스코픽 미러(micorscopic mirror)를 사용하는 디지털 미소 반사 표시기(digital micromirror device; DMD)에 기반한 디지털 광처리기(digital light processor; DLP)를 이용할 수 있다.
한편, 3D 영상의 렌더링(rendering) 및 표시기술(특히, 3D TV)와 관련된 새로운 유형의 표준이, 현재 다양한 기업, 컨소시엄, 및 기구에서 개발되고 있으며, 그 예로는 SMPTE(the Society of Motion picture and Television Engineers), CEA(Consumer Electronics Association), 3d@Home 컨소시엄, ITU(International Telecommunication Union) 등이 있다. 이외에도, DVB, BDA, ARIB, ATSC, DVD 포럼, IEC 등과 같은 다른 표준화 그룹들이 참여하고 있다. MPEG(Moving picture Experts Group)은, 다시점 영상, 스테레오스코픽 영상, 및 깊이 정보를 갖는 이차원 영상의 3D 영상 코딩에 참여하고 있으며, 현재는 MPEG-4 AVC(advanced video coding) 에 대한 다시점 영상 코덱 익스텐션(Multiview Video Codec extension)이 표준화 진행 중이다. 스테레오스코픽 영상 코딩 및 스테레오스코픽 분배 포맷팅은 컬러 시프팅(anaglyph), 픽셀 서브 샘플링(pixel sub-sampling)(사이드 바이 사이드(side-by-side), 체커보드(checkerboard), 오점형(quincunx) 등), 및 인핸스드 비디오 코딩(enhanced video coding)(2D + 델타(Delta), 2D + 메타데이터(Metadata), 깊이정보를 갖는 2D)와 관련있다. 여기서 설명하는 사상 및 특징은 이러한 표준에 적용가능하다.
또한, 여기에 기재된 발명의 사상 및 특징 중 적어도 일부는, 디지털 영상 또는 3D TV 에 대한 영상 재생 및 표시 환경의 면에서 설명되는 3D 영상 표시기술과 관련 있다. 그러나, 그 세부내용은 여기에서 설명되는 다양한 특징을 한정하기 위한 것이 아니며, 다른 유형의 표시 기술 및 장치에 적용가능하다. 예를 들면, 3D TV 기술은 TV 방송 뿐만 아니라 블루레이(Blu-rayTM), 콘솔(console) 게임, 케이블, 및 IPTV 전송, 이동전화 컨텐츠 전달 등에도 적용될 수 있으며, 이러한 경우 다른 유형의 TV, 셋톱 박스, 블루레이 장치(예를 들면, BD(Blu-rayTM Disk) 플레이어), DVD 플레이어 및 TV 컨텐츠 분배기와 호환가능하여야 한다.
다시, 3D 영상 처리 및 표현 방법을 살펴보면, 스테레오스코픽 영상/비디오 캡처는 2 개의 시점을 고려하는 스테레오 영상 방식으로 지칭되며, 다수의 카메라를 이용한 다시점 영상/비디오 캡처는 3개 이상의 시점을 고려하는 다시점 영상 방식으로 지칭된다.
스테레오 영상 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상 방식은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 다시점 영상 방식에서 영상들 중 2개의 영상을 좌 영상(left view image) 및 우 영상(right view image)으로 지정함에 따라, 입체영상 구현이 가능하게 된다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 3 개 이상의 영상을 이용한 다른 입체영상 방식의 구현(예를 들어 집적영상(integral imaging) 방식으로 구현)도 가능하다.
스테레오 영상 또는 다시점 영상은 MPEG(Moving picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 영상을 복호하여 3D 영상을 얻을 수 있다.
또한 스테레오 영상이나 다시점 영상 중 하나의 영상을 기본계층(base layer) 영상으로, 나머지 영상은 확장계층(extended layer or extension layer) 영상으로 할당하고, 기본계층의 영상은 모노스코픽 영상과 동일한 방식으로 부호화하고, 확장계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 기본계층 영상에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 확장계층의 영상에 대한 압축 부호화 방식은 H.264/MV(Multi-view Video Coding) 방식이 이용될 수 있다.
한편, 이러한 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서는 재생되는 영상의 재생 배속을 사용자에 의해 선택(또는 지정)되는 임의의 배속으로 제어하여, 영상을 상기 임의의 배속에 대응되도록 재생하는 트릭 플레이(Trick Play)를 제공할 수 있다.
이하에서는, 본 발명에 따른 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서 입체영상에 대한 트릭 플레이를 제공하는 방법에 대한 이해를 돕기 위하여, 먼저, 기존의 이차원 디지털 방송 수신장치(예를 들어, 2D TV)에서 트릭 플레이를 제공하는 방법에 대하여, 도 1과 함께 살펴본다.
이차원 디지털 방송 수신장치에서는, 재생되는 영상에 대한 트릭 플레이를 지원하기 위하여, 2차원 영상에 대응되는 스트림(stream) 중 discardable 픽처를 활용할 수 있다.
여기에서, discardable 픽처는 2차원 영상을 코딩하는 경우, 2차원 영상을 구성하는 복수개의 픽처들 중 참조(reference)로 사용되지 않는 픽처를 의미한다. 따라서, 이러한 discardable 픽처는 트릭 플레이 과정에서 재생되지 않더라도, 즉, 스킵(skip)되어도 다른 픽처들의 정상적인 디코딩에 영향을 주지 않을 수 있다. 따라서, 디티털 방송 수신장치, 특히, PVR(Personal Video Recorder)에서는 특정 픽처들을 스킵하여 빠른 재생 효과를 내고자 하는 경우, 이러한 discardable 픽처와 같은, 특정 픽처를 스킵하여 빠른 재생 효과를 낼 수 있다.
예를 들어, 도 1에 도시된 것과 같이, I0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 2차원 영상에서 트릭 플레이 실행되는 경우, 디지털 방송 수신장치에서는 discardable 픽처에 해당하는 P1, P2, P4, P5, P7, P8, P10, P11, P13, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 I0, P3, P6, P9, P12 재생하여 트릭 플레이를 제공할 수 있다.
한편, 이러한 discardable 픽처는 2차원 영상에 대한 코딩 기법에 따라, 다르게 지정될 수 있는데, 예를 들어, 2차원 영상이 MPEG-2 방식으로 코딩된 비디오인 경우에는, 참조 픽처(picture)로 쓰이지 않는 B-픽처가 discardable 픽처로 활용될 수 있다. 또한, 이와 다르게, 2차원 영상이 H.264/AVC 방식으로 코딩된 비디오인 경우에는, nal slice header의 nal_ref_idc 값이 0인 슬라이스를 가진 픽처가 discardable 픽처로 활용될 수 있다.
한편, 이와 다르게 입체영상, 예를 들어, 3차원 영상에서는 3차원 영상을 구현하는 적어도 두개의 영상 각각에 대한 비디오 스트림, 예를 들어, 트랜스 포트 스트림(Transport Steam)이 존재하므로, 상기 적어도 두개의 영상에 각각 대응되는 픽처들이 모두 discardable 픽처인지를 판단하는 기준이 필요하다.
이에, 본 발명의 일 실시 예 따른 입체영상을 출력하는 것이 가능한 디지털 방송 수신방법 및 수신장치에서는 3차원 뷰(view, 또는 3차원 영상)를 구성하는 베이스 뷰(base view) 및 디펜던트 뷰(dependet view) 모두가 discardable 픽처인 경우에만, 상기 베이스 뷰(base view) 및 디펜던트 뷰(dependet view)를 discardable 픽처 세트(discardable picture set)로 지정을 하고, 이러한 정보를 트랜스포트 패킷(Transport Packet) 레벨(level)에서 처리하는 방법을 제안한다. 따라서, 본 발명에 따르면 입체영상을 출력하는 것이 가능한 디지털 수신장치에서는 3차원 뷰(view, 또는 3차원 영상)를 구성하는 베이스 뷰 및 디펜던트 뷰들에 포함된 모든 nal slice 마다 해당 nal slice가 트릭 플레이시 스킵할 수 있는 discardable nal slice인지 여부를 따지지 않을 수 있다.
이하에서는, 첨부된 도면과 함께, MVC 기반의 3차원 영상을 제공하는 디지털 방송에서 원활한 트릭 플레이를 제공하기 위한 방법에 대하여 보다 구체적으로 살펴본다. 도 2a 및 도 2b는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이고, 도 3는 비주기적으로 수신되는 MVC 비트 스트림의 구성을 설명하기 위한 개념도이다.
먼저, MVC 기반의 3차원 영상을 구현하기 위한 MVC 비트스트림(bitstream)의 구성에 대하여 살펴보면, MVC 비트스트림은 크게 두 종류의 멀티플렉스 모드(multiplex mode)로 구성될 수 있다.
제1 모드는, 1-PID 멀티플렉스 모드(또는 1-PID 모드)로서, 이러한, 1-PID 멀티플렉스 모드에서 MVC 비트스트림의 구성은 하나의 MVC Access Unit(MVC AU)이한 개의 PES 패킷(Packet)에 포함된다. 여기에서, 하나의 MVC AU는 베이스 및 디펜턴트 뷰 컴포넌트(view component)가 모두 포함된다
한편, 여기에서, 뷰 컴포넌트는 MVC로 코딩된 베이스 뷰와 디펜던트 뷰를 각각 지칭하는 것으로 좌 영상 우 영상 중 하나를 의미한다. 이와 같이, 1-PED 멀티플렉스 모드에서는 두 개의 대응되는 뷰 컴포넌트가 합쳐져 하나의 Access Unit을 구성한다
따라서, 도 2a에 도시된 것과 같이, 1-PID 멀티플레스 모드에서는, 하나의 MVC AU에는 한 개의 베이스 뷰 컴포넌트를 구성하는 복수개의 트랜스포트 패킷(Transport Packet:TP)들과 상기 한 개의 베이스 뷰 컴포넌트와 동일한 시점(time)을 갖는 다른 한 개의 디펜던트 뷰 컴포넌트를 구성하는 복수개의 트랜스포트 패킷(TP)이 포함될 수 있다. 이와 같이, 1-PID 멀티플렉스 모드에서는, 한 개의 트랜스포트 스트림 내에 베이스 및 디펜턴트 뷰 컴포넌트를 구성하는 트랜스포트 패킷이 순차적으로 들어간다.
한편, MVC 기반의 3차원 영상을 구현하기 위한 MVC 비트스트림(bitstream)을 구성하는 제1 모드와 다른 제2 모드를 살펴보면, 상기 제2 모드는 2-PID 멀티플렉스 모드(또는 2-PID 모드)이다.
이러한, 2- PID 멀티플레스 모드에서 한 개의 PES 패킷은 하나의 뷰 컴포넌트를 포함하는 것으로서, 서로 다른 트랜스포트 스트림(Transport Stream:TS)은 서로 다른 뷰의 트랜스포트 패킷들로 구성된다.
도 2b에 도시된 것과 같이, 한개의 MVC AU는 서로 다른 트랜스 포트 스트림에 포함되면서, 서로 대응되는 하나의 픽처(또는 프레임)에 해당하는 베이스 및 디펜던트 뷰 컴포넌트의 트랜스 포트 패킷들로 구성된다. 즉, 이 경우, 제1 베이스 뷰 컴포넌트에 대응되는 트랜스포트 패킷들은 MVC 베이스 뷰 스트림에 포함되고, 제1 베이스 뷰 컴포넌트와 대응되는 제1 디펜던트 뷰 컴포넌트에 대응되는 트랜스포트 패킷들은 MVC 디펜던트 뷰 스트림에 포함되어, 각각 별도의 트랜스포트 스트림으로 수신될 수 있다.
한편, 베이스 뷰 컴포넌트는 1-PID 멀티플렉스 모드에서는 MVC base view sub-bitstream으로 표현되고, 2-PID 멀티플렉스 모드에서는 AVC video sub-bitsteream of MVC라고 표현될 수 있다. 또한, 이러한 베이스 뷰 컴포넌트는 MVC로 코딩된 두개의 뷰 컴포넌트 중 기준 영상에 해당되는 컴포넌트이고, 기존의 AVC/H.264 디코더를 이용해 복호화가 가능한 스트림을 의미한다.
한편, 디펜던트 뷰 컴포넌트는 ISO/IEC 14496-10의 Annex H를 이용해 복호화가 가능한 스트림이며, MVC extension stream에 해당한다. 이러한 디펜던트 뷰 컴퓨너트는 베이스 뷰 복호화 결과를 이용한 inter-view prediction 또는 디펜던트 뷰 컴포넌트 사이의 inter-prediction 등을 이용해 복호화가 수행 가능하다.
따라서, 도 2a 및 도 2b와 함께 살펴본 것과 같이, 1-PID 멀티플렉스 모드인 경우에는, 하나의 AU가 하나의 PES 패킷에 포함되므로, AU 단위별로, 트랜스포트 패킷이 섞이지 않을 수 있다. 그러나, 2-PID 멀티플렉스 모드에서는, 하나의 AU를이루는 베이스 및 디펜던트 뷰 컴포넌트가 각각 서로 다른 PES 패킷에 포함되므로, 각 뷰 컴포넌트 별 프레임 넘버(frame number, 또는 픽처 넘버(픽처 number))는 순차적으로 증가할지라도, 하나의 AU 단위를 이루는 뷰 컴퓨넌트들의 순서가 인접하게 배치되지 않을 수 있다.
예를 들어, 도 3에 도시된 것과 같이, 2-PID 멀티플렉스 모드에서는, 송신단 측에서 순차적으로 각 뷰 컴포넌트들의 트랜스포트 패킷을 전송했을지라도, 수신 측에서 재다중화(re-multiplexing) 과정을 거치면서 각 뷰 컴퓨넌트들의 트랜스포트 패킷이 AU 단위 별로 순차적으로 나열되지 않을 수 있다. 따라서, 도시된 것과 같이, L0에 해당하는 트랜스포트 패킷의 나열이 종료되기 전에, R0 또는 R1에 해당하는 트랜스포트 패킷이 나열될 수 있다. 따라서, 이러한 경우에는 각 AU의 경계가 모호해지므로, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만 선택하기 어려운 문제가 발생할 수 있다. 이에, 각 뷰 컴포넌트별로 시작점과 끝점의 위치를 지정해줄 필요가 있다. 나아가, 하나의 프레임이 시작되는 트랜스포트 패킷 지점에서 AU_number 및 해당 AU 내에 포함된 베이스 및 디펜던트 뷰 컴포넌트의 discardability를 시그널링 하는 방법이 필요하다.
따라서, 이하에서는, MVC 비트스트림이 1-PID 멀티플렉스 모드 또는 2-PID 멀티플렉스 모드로 구성되는 것과 관계 없이, discardable 픽처 정보를 트랜스포트 스트림 레벨에서 제공하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.
도 4a, 도 4b 및 도 4c는 트랜스포트 스트림 레벨에서 discardable 픽처에 대한 정보를 시그널링 할 수 있도록 하는 신택스(syntax) 구조를 설명하기 위한 개념도이다.
이하, 도 4a, 도 4b 및 도 4c에 도시된 discardable 픽처와 관련된 데이터를 처리하는 각 필드에 대하여 설명한다. 본 발명의 간명한 설명을 위해 신택스를 구성하는 필드의 영어 표현을 그대로 사용하되 큰 따옴표를 이용해 구분한다.
도 4a를 살펴보면, discardable 픽처에 대한 정보는 "transport packet()"에서 "adaptation_field()"를 이용하여 제공될 수 있다.
이러한, "adaptation_field()"는 트랜스포트 패킷의 헤더정보에 포함되는 "adaptation_field_control"이 '10' 또는 '11'인 경우 존재한다.
"adaptation_field_control"는 유료부하 부분에 "adaptation_field()" 똔,ㄴ 유료부하의 존재 유무를 나타낸다.
한편, "adaptation_field_control"이 '10'인 경우, "adaptation_field_length" 값은 183을 갖고, "adaptation_field_control"이 '11'인 경우, "adaptation_field_length" 값은 0 부터 182까지의 값을 갖는다.
한편, discardable 픽처에 대한 정보는 "adaptation_field_control"이 '10' 또는 '11'인 경우, "private_data_byte" 필드에 포함될 수 있다.
도 4b를 살펴보면, "adaptation_field()"에는 "transport_private_data_flag" 필드가 존재한다.
"transport_private_data_flag"는 "adaptation_field()"에 "private_data_byte"가 존재하는지 유무를 나타낸다.
여기에서 "transport_private_data_flag"가 '1'인 경우, 한 byte 이상의 "private_data_byte"필드가 "adaptation_field()"에 존재한다.
그리고, "transport_private_data_flag"가 '0'인 경우, "private_data_byte" 필드가 "adaptation_field()"에 존재하지 않는다.
이와 같이, "adaptation_field()"에 포함된 "transport_private_data_flag"가 '1'이면, "adaptation_field()"에는 "private_data_byte"필드가 존재할 수 있다.
한편, "transport_private_data_flag"가 '1'인 경우, "adaptation_field()"에는 "private_data_byte" 필드가 존재하며, "transport_private_data_length"는 "private_data_byte"필드가 몇 byte인지 알려줄 수 있다.
이러한 트랜스포트 패킷의 신택스 구조에서, discardable 픽처에 대한 정보, 즉 'discardable_pic_data'는 "private_data_byte"필드에 위치할 수 있다. 즉, "private_data_byte"는 discardable 픽처에 대한 상세 정보를 포함한다.
이하에서는, "private_data_byte"필드에 위치하는 "discardable_pic_data()"의 신택스 구조에 대하여 도 4c와 함께 보다 구체적으로 살펴본다.
discardable 픽처에 대한 정보를 제공하기 위한 "discardable_pic_data()"필드는 도 4c에 도시된 복수의 필드 중 적어도 하나를 포함할 수 있다.
"discardable_pic_data()"는 discardable 픽처를 처리하기 위한 피드들을 포함한다.
먼저, "view_component_start_flag"는 상기 "view_component_start_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 처음 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_start_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷에 포함된 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이다.
만약에, "view_component_start_flag"가 '0'이면, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이 아니다.
이와 같이, "discardable_pic_data()"에서는 "view_component_start_flag" 필드를 통해, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷이 어느 것인지에 대한 정보를 제공한다.
한편, "discardable_pic_data()"는 "view_component_start_flag"가 '1'의 값을 갖는 트랜스포트 패킷, 즉, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷을 이용하여, 상기 맨 처음 트랜스 포트 패킷을 포함하는 뷰 컴포넌트 프레임 및 스테레오 뷰 페어(stereo view pair)에 대한 discardable 정보를 제공한다.
"discardable_pic_data()"를 구성하는 다른 필드에 대하여 살펴보면, "AU_numer" 필드는 상기 "AU_numer" 필드가 포함된 트랜스포트 패킷에 대응되는 Access Unit(AU)의 번호를 나타낸다. 1-PID 멀티플렉스 모드에서 "AU는_number"는 베이스 뷰와 디펜던트 뷰에 각각 대응되는 트랜스포트 패킷을 모두 포함한 Access Unit의 번호일 수 있다(도 2a 참조).
한편, "AU_number"는 GOP 일련번호(상위 24 bit)와 GOP 내 디스플레이 순서(또는 디코딩 순서, 하위 8bit)를 연속(concatenation)하여 나열함으로써으로 구성될 수 있다.
다음으로, "discardable_pair_flag"는 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두개의 픽처가 모두 discardable 픽처인지를 나타낸다. 즉, "discardable_pair_flag"는 상기 "discardable_pair_flag"이 포함된 트랜스포트 패킷이 포함된 Access Unit에 포함된 복수개의 트랜스포트 패킷을 통해 구현되는 한 쌍의 베이스 뷰 및 디펜던트 뷰에 대응되는 두개의 픽처가 모두 discardable 픽처인지를 알려준다.
보다 구체적으로, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"가 '1'이면, 상기 현재 트랜스포트 패킷이 포함된 Access Unit을 통해 구현되는 제1 픽처와 상기 현재 트랜스포트 패킷이 포함된 Access Unit의 번호와 동일한 번호를 갖는 다른 Access Unit을 통해 구현되는 제2 픽처가 모두 discardable 하다. 여기에서, 상기 제1 픽처 및 제2 픽처는 stereo view pair를 이루는 픽처이다.
따라서, "discardable_pair_flag"의 값이 '1'인 경우, 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두 개의 픽처는 3D 트릭 플레이시 모두 discard 가능하다.
다음으로, "base_view_flag"는 현재 트랜스포트 패킷을 포함하는 view가 베이스 뷰인지, 디펜던트 뷰인지 알려주는 필드이다. 즉, "base_view_flag"의 값이 '1'인 경우, 상기 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 베이스 뷰이다. 그리고, "base_view_flag"의 값이 '0'인 경우, '0'의 값을 갖는 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 디펜던트 뷰이다.
다음으로, "discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다. 즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다. 한편, 픽처 내에 포함된 slice 중하나라도 nal_ref_idc 필드 값이 '1'인 경우, 상기 "discardable_flag"는 '0'의 값을 갖는다.
한편, 위에서 살펴본 "base_view_flag" 필드(또는 view_component_ID)는 베이스 뷰 및 디펜던트 뷰가 하나의 Access Unit을 구성하는 1-PID 멀티플렉스 모드에서 의미를 갖을 수 있다. 즉, 2-PID 멀티플렉스 모드(또는 N-PID 멀티플렉스모드)에서는 베이스 뷰 및 디펜던트 뷰가 트랜스포트 헤더에 포함된 PID 값을 통해 식별이 가능하므로, 2- PID 멀티플렉스 모드에서 상기 "base_view_flag"는 포함되지 않을 수 있다.
다음으로, "view_component_end_flag"는 상기 "view_component_end_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 마지막 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.
이하에서는, 앞서 도 4a, 도 4b 및 도 4c에서와 같이 정의된 구조의 disdable_pic_data를 처리하는 과정을 설명한다. 앞서 살펴본 discardable_pic_data와 관련한 신택스 구조는, MVC 비트스트림이, 1-PID 멀티플렉스 모드로 구성되었는지, 또는 2-PID멀티 플렉스 모드로 구성되었는지에 따라 서로 다르게 처리될 수 있다.
이하에서는, 수신장치에서 discardable_pic_data를 획득(또는 처리)하는 과정에 대하여 살펴본다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
먼저, 1-PID 멀티플렉스 모드 및 2-PID 멀티플렉스 모드에서 3D 트릭 플레이를 제공하기 위하여, discardable_pic_data가 처리되는 과정에 대하여 도 5a와 함께 살펴본다.
3D 트릭 플레이를 제공하기 위해서는, 3D 영상을 구성하는 베이스 뷰 및 디펜던트 뷰에 각각 대응되는 두개의 픽처가 모두 discardable한 상태가 되어야 한다. 즉, 3D 트릭 플레이를 제공하기 위해서는 stereo view pair에 대한 discardability 정보가 제공되어야 한다.
이를 위해, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는, 아래와 같은 과정을 통해, 한 쌍의 픽처에 대한 discardable 정보를 획득할 수 있다.
이러한 discardable 정보는 트랜스포트 패킷에 포함된 "adaptation field()"를 통해 제공될 수 있다. 이러한, "adaptation field()"에 포함된 한 쌍의 픽처에 대한 discardable 정보를 획득하기 위하여, 먼저 트랜스포트 패킷의 헤더정보에 포함되는 "adaptation_field_control"의 값을 판단하는 과정이 진행된다. "adaptation_field_control" 값이 '10' 또는 '11'인 경우 "adaptation field()"가 존재한다. discardable 픽처에 대한 정보는 "adaptation_field_control"이 '10' 또는 '11'인 경우, "private_data_byte" 필드에 포함될 수 있다.
위와 같이, "adaptation_field_control" 값이 '10' 또는 '11'인 경우, "transport_private_data_flag" 필드값을 판단하는 과정이 진행된다.
여기에서 "transport_private_data_flag"가 '1'인 경우, 한 byte 이상의 "private_data_byte"필드가 "adaptation_field()"에 존재한다.
그리고, "transport_private_data_flag"가 '0'인 경우, "private_data_byte" 필드가 "adaptation_field()"에 존재하지 않는다.
이와 같이, "adaptation_field()"에 포함된 "transport_private_data_flag"가 '1'이면, "adaptation_field()"에는 "private_data_byte"필드가 존재하는 것으로 판단된다. 그러므로, "transport_private_data_flag"가 '1'의 값을 갖는 경우, 해당 트랜스포트 패킷은 discardable 픽처에 대한 정보를 포함한 것으로 판단될 수 있다.
한편, discardable 픽처에 대한 정보인 'discardable_pic_data'는 "private_data_byte"필드에 위치할 수 있다. 즉, "private_data_byte"는 discardable 픽처에 대한 상세 정보를 포함한다.
다음으로, 위와 같이, "transport_private_data_flag"가 '1'의 값을 갖는 걸로 판단된 경우, "transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 진행된다.
"transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 완료되면, 다음으로 "view_component_start_flag"가 '1'의 값을 갖는지 판단하는 과정이 진행된다.
"view_component_start_flag"가 '1'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷으로 인지될 수 있다.
한편, "view_component_start_flag"가 '1'이면, "AU_numer"필드를 통해, 현재 트랜스포트 패킷이 포함된 Access Unit의 번호를 판단하는 과정이 진행된다.
다음으로, "discardable_pair_flag"의 값을 판단하여, 현재 트랜스 포트 패킷이 포함된 Access Unit에 해당하는 베이스 및 디펜던트 뷰에 대응되는 두개의 픽처가 모두 dicardable 픽처인지 판단하는 과정이 진행된다.
즉, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"의 값이 '1'이면, 현재 트랜스포트 패킷이 포함된 하나의 Access Unit을 통해 구현되는 한 쌍의 베이스 뷰 및 디펜던트 뷰에 대응되는 두개의 픽처가 discardable 픽처로 판단된다.
또는, 1-PID 멀티플렉스 모드에서는 "discardable_pair_flag"의 값이 '1'이면, 상기 현재 트랜스포트 패킷이 포함된 Access Unit을 통해 구현되는 제1 픽처와 상기 현재 트랜스포트 패킷이 포함된 Access Unit의 번호와 동일한 번호를 갖는 다른 Access Unit을 통해 구현되는 제2 픽처가 모두 discardable 픽처인지를 알려준다. 여기에서, 상기 제1 픽처 및 제2 픽처는 stereo view pair를 이루는 픽처이다.
따라서, "discardable_pair_flag"의 값이 '1'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 스트림에 대응되는 스테레오 뷰 페어에 해당하는 두 개의 픽처를 모두 discard 가능하다. 또한, "discardable_pair_flag"의 값이 '0'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 스트림에 대응되는 스테레오 뷰 페어에 대응되는 영상을 재생시킨다.
한편, "view_component_start_flag"가 '0'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷이 아니며, 이 경우, "view_component_end_flag"를 통해, 해당 트랜스포트 패킷이 상기 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 마지막 트랜스 패킷인지 판단하는 과정이 진행된다.
즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.
그리고, "view_component_end_flag"가 '1'이면, 해당 트랜스포트 패킷에 대응된는 Access Unit의 번호를 식별하기 위하여, "Au_nuber"를 판단하는 과정이 진행된다.
이와 같이, 수신장치에서는 "discardable_pair_flag"를 이용하여, 3D 트릭 플레이를 구현할 수 있다. 나아가, 수신장치에서는 ""view_component_start_flag" 및 "view_component_end_flag"를 이용하여 Access Unit의 시작지점과 끝지점을 식별함으로써, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만을 선택할 수 있다.
이상에서는, 수신장치에서 "discardable_pair_flag"를 이용하여, 3D stereo view pair에 대한 3D 트릭 플레이를 제공하기 위한, discardability 정보를 판단하는 과정에 대하여 살펴보았다.
한편, 수신장치에서는, 베이스 및 디펜던트 뷰에 각각 대응되는 트랜스포트 스트림이 모두 수신되더라도, 사용자의 선택 또는 수신장치의 상황에 따라 2D 트릭 플레이를 제공할 수 있다.
이하에서는, 수신장치에서 2D 트릭 플레이를 제공하는 과정에 대하여 도 5b와 함께 살펴본다. 도 5b에 도시된 과정 중 도 5a와 함께 설명된 내용은 도 5a의 설명으로 갈음한다.
"view_component_start_flag" , "AU_number" 및 "discardable_pair_plag" 필드를 판단하는 과정이 진행되고 나면, "base_view)_flag" 필드의 값을 판단하는 과정이 진행된다.
"base_view_flag"는 현재 트랜스포트 패킷을 포함하는 view가 베이스 뷰인지, 디펜던트 뷰인지 알려주는 필드이다. 즉, "base_view_flag"의 값이 '1'인 경우, 상기 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 베이스 뷰이다. 그리고, "base_view_flag"의 값이 '0'인 경우, '0'의 값을 갖는 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 디펜던트 뷰이다.
즉, 수신장치에서는 2D 영상을 재생하는 경우, 베이스 뷰에 대응되는 영상을 재생하므로, 현재 트랜스포트 패킷이 베이스 뷰에 대응되는 트랜스포트 패킷인지 판단한다.
따라서, 현재 트랜스포트 패킷이 베이스 뷰에 대응되는 경우, 수신장치에서는 "discardable_flag" 필드의 값을 판단하는 과정이 진행된다.
"discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다. 즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다.
따라서, 수신장치는 "discardable_flag"가 '1'의 값을 갖는 트랜스포트 패킷에 대응되는 픽처를 discardable 픽처로 판단할 수 있다.
한편, 위에서 살펴본 "base_view_flag" 필드(또는 view_component_ID)는 베이스 뷰 및 디펜던트 뷰가 하나의 Access Unit을 구성하는 1-PID 멀티플렉스 모드에서 의미를 갖는다.
즉, 2-PID 멀티플렉스 모드(또는 N-PID 멀티플렉스모드)에서는 베이스 뷰 및 디펜던트 뷰가 트랜스포트 헤더에 포함된 PID 값을 통해 식별이 가능하므로, 2- PID 멀티플렉스 모드에서 상기 "base_view_flag"는 포함되지 않을 수 있다.
따라서, 2-PID 멀티플렉스 모드에서 수신장치는 "base_view_flag"를 판단하지 않고, "discardable flag"만을 판단할 수 있다.
이상에서 살펴본 것과 같이, 본 발명에 따르면, 트랜스포트 스트림 레벨에서, 베이스 및 디펜던트 뷰에 각각 대응되는 픽처의 discardability를 판단할 수 있다.
이하에서는, 위에서 살펴본 2D 또는 3D 트릭 플레이를 제공하는 입체영상 디스플레이가 가능한 디지털 방송 수신장치에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 6은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신장치를 설명하기 위한 블록도이다.
방송 수신장치는 Tuner and demodulator(410), VSB decoder(420), TP demux(430), PVR processor(440), Storage(450), PSI/PSIP processor(460), AVC layer(470a), MVC extension layer(470), L/R Splitter(480), output formatter(490, 3D video processor)를 포함할 수 있다.
또한, 도시하지 않았지만, 방송 수신장치는 해당 시점의 영상을 출력하기 위한 image output unit을 포함할 수 있다. image output unit은 각 시점에 대한 영상들을 제어하여 화면에 디스플레이하나, 복수로 구비되어 각각 좌우 영상을 출력하도록 구성될 수도 있다.
tuner and demodulator(410)는 디지털 방송 신호를 수신하여 해당 신호를 검파하고 오류를 정정하여 트랜스포트 스트림(Trasport Stream)을 추출하며, 트랜스포트 스트림(Trasport Stream)에 대해 필터링 및 파싱(parsing)을 수행하는 역다중화부의 예로서, TP demux(430)가 구비된다. PSI/PSIP processor(460)는 TP demux(430)로부터 전달받은 테이블 정보로부터 비디오 스트림에 대한 PID(Packet Identifier) 정보를 추출한다.
AVC layer(470a)는 기준시점 비디오를 디코딩하는 디코더이고, MVC extension layer(470b)는 확장시점 비디오를 디코딩하는 디코더이다.
이하, 상기와 같은 수신장치의 동작 방법에 대하여 설명한다.
수신장치는 PSI/PSIP processor(460)에서 파싱된 PMT 및 TVCT 정보로부터 video stream PID를 추출하고, 해당 video stream PID를 사용하여 TP Demux(430)에서 비디오 스트림을 출력한다. 출력하는 비디오 스트림이 기준시점 비디오(AVC)에 해당하면 TP Demux(430)는 비디오 스트림을 AVC layer(470a)로 출력하고, 출력하는 비디오 스트림이 확장시점 비디오(MVC extension)에 해당하면 TP Demux(430)는 비디오 스트림을 MVC extension layer(470b)로 출력한다.
AVC layer(470a) 및 MVC extension layer(470b)는 각각 수신한 비디오 스트림에 포함된 video data 및 supplemental data를 처리하여 L/R Splitter(480)로 출력한다. L/R Splitter(480) 및 Output formatter(490)는 PSIP 또는 PSI/SI 프로세서(460)가 추출한 정보에 기초하여, 기준시점 비디오 스트림 및 확장시점 비디오 스트림을 스테레오스코픽 디스플레이 출력에 맞게 포맷팅한 후 전송한다.
한편, 본 발명에 따르면, TP demux(430, 또는 역다중화부)를 통해 트랜스포트 스트림(Trasport Stream)에 대해 필터링 및 파싱(parsing)과정이 진행되면, 파싱된 트랜스포트 스트림은 PVR processor(440)를 통해 트랜스포트 스트림을 구성하는 트랜스포트 패킷으로부터, 기준시점 비디오 스트림 및 확장시점 비디오 스트림에 대한 discardable 정보가 처리된다. 한편, 트랜스포트 스트림을 구성하는 트랜스포트 패킷으로부터, 기준시점 비디오 스트림 및 확장시점 비디오 스트림에 대한 discardable 정보의 처리 과정은 PSIP 또는 PSI/SI 프로세서(460)를 통해서도 수행될 수 있다.
즉, PVR processor(440)는 앞서, 도 5a 및 도 5b에서 살펴본 과정과 같이, "discardable_pic_data"를 처리한다. 한편, PVR processor를 통해 처리된 discardable 정보는 Storage(450)에 저장되어, 녹화된 영상에 대하여 트릭 플레이가 구현되는 경우 참조될 수 있다.
즉, Storage(450)에는 트릭 플레이가 가능한 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일이 저장될 수 있다. 이와 같이, 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일은 Storage(450)에 저장되어, 트릭 플레이에 실행하도록 하는 제어명령이 인가되는 경우 언제든지 활용될 수 있다.
이하에서는, 이러한 Storage(450)에 저장되는 파일 구성에 대한 일 실시 예를 살펴보면, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는 "discardable_pic_data()"를 이용해, 트릭 플레이를 구현하기 위하여, 아래의 [표 1]과 같이 구성되는 파일을 참조할 수 있다.
표 1
필드 설명
GOP number GOP의 일련 번호를 의미한다. Discardable_pic_data()의 AU_nember 필드 중 상위 비트를 이용할 수 있다.
GOP start address 해당 GOP의 시작 위치를 알려준다. 저장 장치 내에서의 GOP 시작이 저장되어 있는 물리적 address를 알 수 있는 정보이다. GOP start 시점은 AU_number의 하위 8비트가 0이 되는 시점을 이용해 판단한다.(또는 AU_nember의 상위 24비트가 1 증가하는 시점)
GOP end address 해당 GOP의 끝 위치를 알려준다. PVR trick play를 수행할 때, GOP 단위로 upload를 수행할 경우 해당 GOP의 마지막 바이트가 저장되어 있는 물리적 address를 알 수 있다.
GOP size GOP에 포함된 픽처의 개수를 나타낸다. 수신기에서 GOP start와 end 사이의 픽처 개수를 count 해서 알 수 있다.
Number of non-discardable picture(base) GOP에 포함된 픽처, 특히 base view component 중에서 non-discardable(또는 reference로 사용되는) 픽처의 개수를 의미한다.
Number of non-discardable picture pairs GOP에 포함된 픽처, MVC view component pair, 중에서 non-discardable pair의 개수를 의미한다.
for(i=0; i<K; i++){ K는 number of non-discardable base pictures 또는 number of non-discardable picture pairs(multiview의 경우 non-discardable picture group) 중에서 더 큰 숫자를 의미한다.
Number of stereo view Multi-view인 경우에 MVC view component 들의 조합으로 구성가능한 stereo 영상 개수이다. MVC stereo profile 스트림의 경우, 이 값은 1이다.
for(j=0; number of stereo views; j++){
Stereo View ID Stereo View ID를 나타내며, stereo가 아닌 multi-view의 경우, multi-view component 중stereo를 구성하는 조합의 식별자를 나타낸다.
Left view flag Base view에 대한 left/right view 여부를 나타낸다.
I picture flag Base view가 I picture인지 여부를 의미한다.
MVC I picture flag MVC view pair가 모두 I picture 인지를 나타낸다.
Component ID for base view Base view component를 식별할 수 있도록 한다(MVC SPS의 view_id를 이용한다).
Base view start address Base view의 첫번째 바이트가 저장된 물리적 위치를 나타낸다.
Base view end address Base view의 첫번째 바이트가 저장된 물리적 위치를 나타낸다.
Component ID for dependent view Dependent biew component에 대한 식별자이다(MVC SPS의 view_id를 이용한다).
Dependent view start address Enhancement view의 첫번째 바이트가 저장된 물리적 위치를 나타낸다.
Dependent view end address Enhancement view의 마지막 바이트가 저장된 물리적 위치를 나타낸다.
}
}
"discardable_pic_data()"를 이용해 트릭 플레이를 구현하기 위한 수신기 파일은 위의 [표 1]과 같이 구성될 수 있다. 한편, 상기 [표 1]은 3D 입체영상을 구현하기 위한 영상이 스테레오 뷰가 아닌 멀티 뷰로 구성되는 경우에도 동일하게 적용될 수 있다.
이하에서는, 멀티 뷰로 구성되는, 뷰 컴포넌트들에 대한 트릭 플레이를 구현하기 위한 신택스 구조에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.
앞서, 도 4a, 도 4b 및 도 4c에서는 두개의 스트림으로 구성되는 stereo MVC에서 discardable 정보를 제공하기 위한 신택스 구조에 살펴보았다. 이하에서는, 두개 이상의 MVC 스트림으로 구성되는 stereo MVC인 경우, 즉, 하나 이상의 디펜던트 뷰 컴포넌트가 존재하는 경우, 이에 대한 discardable 정보를 제공하기 위한 신택스 구조에 대하여 첨부된 도면과 함께 살펴본다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 멀티 뷰 방식의 입체영상에서 discardable 픽처에 대한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
먼저, 도 7a를 살펴보면, 두 개 이상의 MVC 스트림이 존재하는 경우, 즉, 디펜던트 뷰 컴포넌트가 적어도 두개 존재하는 경우(Stream #1, Stream #2), 베이스 뷰 컴포넌트(Stream #0)는 제1 디펜던트 뷰 컴포넌트(Stream #1) 또는 제2 디펜던트 뷰 컴포넌트(Stream #2)와 입체영상을 구현할 수 있다.
위와 같은, 두개 이상의 스트림으로 구성된 stereo MVC 대하여, discardable 정보를 제공하는 방법은, 도 7b에 도시된 것과 같은 신택스 구조를 갖을 수 있다.
한편, 앞서 도 4a 및 도 4b에서 살펴본 신택스 구조는 두개 이상의 스트림으로 구성된 stereo MVC 경우에도 동일하게 적용되므로, "discardable_pic_data()"에 대한 신택스 구조에 대해서만 상세하게 살펴본다.
"discardable_pic_data()"필드는 도 7b에 도시된 것과 같이, 복수의 필드 중 적어도 하나를 포함할 수 있다.
먼저, "view_component_start_flag"는 상기 "view_component_start_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 처음 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_start_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이다.
만약에, "view_component_start_flag"가 '0'이면, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷은, 상기 '0'의 값을 갖는 "view_component_start_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 처음 트랜스 포트 패킷이 아니다.
이와 같이, "discardable_pic_data()"에서는 "view_component_start_flag" 필드를 통해, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷이 어느 것인지에 대한 정보를 제공한다.
한편, "discardable_pic_data()"는 "view_component_start_flag"가 '1'의 값을 갖는 트랜스포트 패킷, 즉, 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스 포트 패킷을 이용하여, 상기 맨 처음 트랜스 포트 패킷을 포함하는 뷰 컴포넌트 프레임 및 스테레오 뷰 페어(stereo view pair)에 대한 discardable 정보를 제공한다.
"discardable_pic_data()"를 구성하는 다른 필드에 대하여 살펴보면, "AU_numer" 필드는 해당 Access Unit의 번호를 나타내는 필드이다. "AU_number"는 GOP 일련번호(상위 24 bit)와 GOP 내 디스플레이 순서(또는 디코딩 순서, 하위 8bit)를 연속(concatenation)하여 나열함으로써 구성될 수 있다.
다음으로, "base_view_flag"는 현재 트랜스포트 패킷을 포함하는 view가 베이스 뷰인지, 디펜던트 뷰인지 알려주는 필드이다. 즉, "base_view_flag"의 값이 '1'인 경우, 상기 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 베이스 뷰이다. 그리고, "base_view_flag"의 값이 '0'인 경우, '0'의 값을 갖는 "base_view_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처는 디펜던트 뷰이다.
다음으로, "discardable_flag"는 현재 스트림에 대응되는 픽처 내에 포함된 모든 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, '1'의 값을 갖는다.
"discardable_flag"는 현재 스트림에 대응되는 픽처가 discardable 인지 나타낸다.
즉, 상기 "discardable_flag"가 포함된 트랜스포트 패킷에 대응되는 픽처를 구성하는 nal slice의 nal_ref_idc 필드 값이 모두 0인 경우, 상기 픽처는 discardable 하므로, 상기 픽처에 대한 discardable 여부를 결정하는 "discardable_flag"의 값은 '1'이 된다. 한편, 픽처 내에 포함된 slice 중하나라도 nal_ref_idc 필드 값이 '1'인 경우, 상기 "discardable_flag"는 '0'의 값을 갖는다.
한편, 위에서 살펴본 "base_view_flag" 필드(또는 view_component_ID)는 베이스 뷰 및 디펜던트 뷰가 하나의 Access Unit을 구성하는 1-PID 멀티플렉스 모드에서 의미를 갖을 수 있다. 즉, 2-PID 멀티플렉스 모드(또는 N-PID 멀티플렉스모드)에서는 베이스 뷰 및 디펜던트 뷰가 트랜스포트 헤더에 포함된 PID 값을 통해 식별이 가능하므로, 2- PID 멀티플렉스 모드에서 상기 "base_view_flag"는 포함되지 않을 수 있다.
다음으로, "num_3D_views"는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로, 해당 stream element가 구성요소로 포함되는 3D view의 개수를 나타낸다. 나아가, 각 stream element 별로 다른 값을 가질 수 있다.
다음으로, "discardable_3D_view_flag"는 현재 트랜스포트 패킷이 포함되는 3D view 값 중에서 discardable 한 view가 있는지 여부를 나타내는 필드이다. 현재 트랜스포트 패킷이 포함되는 3D view 값 중에서 discardable 한 3D view 가di ㅇ이있는 경우, ‘1’의 값을 갖고 그렇지 않은 경우, ‘0’의 값을 갖는다.
다음으로, "3D_view_ID" 필드는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로 program level에서 각 3D view를 식별하게 하는 필드이다.
다음으로, "3D_view_priority" 필드는 system level에서 시그널링 되는 Multiview_descriptor의 필드 값과 동일한 값을 갖는 값으로 해당 멀티뷰 프로그램에서 제공되는 3D view 의 우선순위를 명시할 수 있는 필드이다.
다음으로, "AU_number" 필드는 해당 트랜스 포트 패킷이 포함된 Access Unit의 번호를 나타내는 것이다. 멀티 뷰의 경우 Access Unit은 시간적으로 동일한 시간에 담은 모든 뷰 컴포넌트의 그룹을 의미한다. 즉, Access Unit은 같은 시간에 담은 N 개의 뷰를 모두 포함하는 MVC 픽처를 의미하며 AU_number는 이 MVC picture를 식별하기 위한 필드이다. 마찬가지로 GOP 번호 및 GOP내 순서로 구성될 수 있다.
다음으로, "view_component_end_flag"는 상기 "view_component_end_flag"가 포함된 트랜스포트 패킷, 즉, 현재의 트랜스포트 패킷이, 상기 현재의 트랜스 포트 패킷을 포함하는 해당 뷰 컴포넌트 프레임(view component frame)의 맨 마지막 트랜스포트 패킷인지를 나타낸다. 즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.
이하에서는, 도 4a, 도 4b 및 도 7b에서와 같이 정의된 멀티 뷰 방식의 입체영상에 대한 신택스 구조를 이용하여 disdable_pic_data를 처리하는 과정을 첨부된 도면과 함께 설명한다.
도 8 은 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 두 개 이상의 MVC stream으로 구성되는 3D view에 대한 트릭 플레이를 제공하기 위하여 discardable_pic_data를 획득하는 과정을 도시한 흐름도이다.
3D 트릭 플레이를 제공하기 위해서는, 3D 영상을 구성하는 베이스 뷰 및 디펜던트 뷰에 각각 대응되는 두개의 픽처가 모두 discardable한 상태가 되어야 한다. 나아가, 두 개 이상의 MVC stream 으로 구성되는 3D view에서 수신장치는 적어도 두개의 3D view 중 어느 것이 discardable한지 판단할 필요가 있다.
이를 위해, 입체영상 디스플레이가 가능한 디지털 방송 수신장치에서는, 아래와 같은 과정을 통해, 적어도 두개의 3D view에 대한 discardable 정보를 획득할 수 있다.
이러한 discardable 정보는 트랜스포트 패킷에 포함된 "adaptation field()"를 통해 제공될 수 있다. 이러한, "adaptation field()"에 포함된 한 쌍의 픽처에 대한 discardable 정보를 획득하기 위하여, 먼저 트랜스포트 패킷의 헤더정보에 포함되는 "adaptation_field_control"의 값을 판단하는 과정이 진행된다. "adaptation_field_control" 값이 '10' 또는 '11'인 경우 "adaptation field()"가 존재한다. discardable 픽처에 대한 정보는 "adaptation_field_control"이 '10' 또는 '11'인 경우, "private_data_byte" 필드에 포함될 수 있다.
위와 같이, "adaptation_field_control" 값이 '10' 또는 '11'인 경우, "transport_private_data_flag" 필드값을 판단하는 과정이 진행된다.
여기에서 "transport_private_data_flag"가 '1'인 경우, 한 byte 이상의 "private_data_byte"필드가 "adaptation_field()"에 존재한다.
그리고, "transport_private_data_flag"가 '0'인 경우, "private_data_byte" 필드가 "adaptation_field()"에 존재하지 않는다.
이와 같이, "adaptation_field()"에 포함된 "transport_private_data_flag"가 '1'이면, "adaptation_field()"에는 "private_data_byte"필드가 존재하는 것으로 판단된다. 그러므로, "transport_private_data_flag"가 '1'의 값을 갖는 경우, 해당 트랜스포트 패킷은 discardable 픽처에 대한 정보를 포함한 것으로 판단될 수 있다.
한편, discardable 픽처에 대한 정보인 'discardable_pic_data'는 "private_data_byte"필드에 위치할 수 있다. 즉, "private_data_byte"는 discardable 픽처에 대한 상세 정보를 포함한다.
다음으로, 위와 같이, "transport_private_data_flag"가 '1'의 값을 갖는 걸로 판단된 경우, "transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 진행된다.
"transport_private_data_length"를 통해 "private_data_byte"필드가 몇 byte인지 판단하는 과정이 완료되면, 다음으로 "view_component_start_flag"가 '1'의 값을 갖는지 판단하는 과정이 진행된다.
"view_component_start_flag"가 '1'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷으로 인지될 수 있다.
한편, "view_component_start_flag"가 '1'이면, "AU_numer"필드를 통해, 현재 트랜스포트 패킷이 포함된 Access Unit의 번호를 판단하는 과정이 진행된다.
다음으로, "discardable_3D_view_flag"의 값을 판단하여, 현재 트랜스 포트 패킷이 포함된 3D view 값 중에서 discardable한 view가 있는지 판단하는 과정이 진행된다.
따라서, "discardable_3D_view_flag"의 값이 '1'인 경우, 수신장치에서는 3D 트릭 플레이시 현재 트랜스포트 패킷이 포함되는 3D view를 discard 가능하다. 또한, 수신장치에서는, "3D_view_ID" 및 "3D_view_priority" 필드를 이용하여, 복수개의 3D_view 중 discardable한 3D_view를 식별하고, 복수개의 3D_view 모두가 discardable한 경우, 어떤 3D_view를 discard할 것인지 판단할 수 있다.
한편, "view_component_start_flag"가 '0'인 경우, 현재 트랜스포트 패킷이 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 처음 트랜스포트 패킷이 아니며, 이 경우, "view_component_end_flag"를 통해, 해당 트랜스포트 패킷이 상기 임의의 뷰 컴포넌트 프레임을 구성하는 복수개의 트랜스포트 패킷 중 맨 마지막 트랜스 패킷인지 판단하는 과정이 진행된다.
즉, "view_component_end_flag"가 '1'이면, 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷은 상기 '1'의 값을 갖는 "view_component_end_flag"가 포함된 트랜스포트 패킷이 포함된 임의의 뷰 컴포넌트 프레임의 맨 마지막 트랜스 포트 패킷이다. 그 외의 경우에 "view_component_end_flag"는 '0'으로 설정된다.
그리고, "view_component_end_flag"가 '1'이면, 해당 트랜스포트 패킷에 대응된는 Access Unit의 번호를 식별하기 위하여, "Au_nuber"를 판단하는 과정이 진행된다.
이와 같이, 수신장치에서는 "discardable_3D_view_flag"를 이용하여, 적어도 두개의 3D view에 대한 3D 트릭 플레이를 구현할 수 있다. 나아가, 수신장치에서는 ""view_component_start_flag" 및 "view_component_end_flag"를 이용하여 Access Unit의 시작지점과 끝지점을 식별함으로써, 트릭 플레이 과정에서 원하는 AU에 해당하는 트랜스포트 패킷만을 선택할 수 있다.
한편, 도 7a, 도 7b 및 도 8에서 살펴본 것과 같이, 두 개 이상의 MVC 스트림으로 구성되는 3D view를 제공하기 위한 수신장치는 입체영상 디스플레이가 가능한 디지털 방송 수신장치는 도 9에 도시된 것과 같이 구현될 수 있다.
도 9를 살펴보면, 수신장치에서는 복수개의 MVC 스트림을 디코딩 하기 위하여, Base video Decoder 외에, 복수개의 MVC 스트림을 각각 디코딩하기 위한 복수개의 Socondary Video Decoder를 포함할 수 있다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치는 스테레오 방송 콘텐츠를 트릭 플레이하는 경우, 각 트랜스포트 패킷의 헤더에 위치하는 "discardable_pair_flag" 또는 "discardable_3D_view_flag"필드 정보를 참조하여, 해당 트랜스포트 패킷이 discardable한지 여부를 판단할 수 있다.
또한, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치에서는 스테레오 방송 콘텐츠를 트릭 플레이에 대해서만 2D로 출력하는 경우, "Base_view_flag"를 통해 해당 프레임이 base view 에 해당하는지 여부를 판단하고, 아닐 경우 제외하고, "Base_view_flag"에 해당하는 경우, "discardable_flag" 필드 정보를 참조하여 해당 트랜스포트 패킷이 discardable인지 아닌지 여부를 판단할 수 있다.
또한, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가능한 디지털 방송 수신방법 및 수신장치에서는 수신되는 3D 방송 스트림을 PVR을 통해 녹화하면서 위에서 각 트랜스포트 패킷의 discardable 여부를 판단하는 제1 과정, sequence start (GOP start)에 대한 정보(이 정보는 discardable_pic_data() 내에 포함되거나 별도로 수신 가능)를 토대로 각 GOP 에 대한 트릭 플레이 가능 배속, discardable 및 non-discardable 픽처의 식별 번호 및 분포 파악을 실시 한 후 이러한 정보를 종합적으로 정리한 별도의 파일 또는 테이블을 저장하는 제2 과정 (파일 구조는 [표 1] 참조), PVR에 저장된 스트림을 재생할 때, 사용자가 트릭 플레이 기능을 enable 시킬 경우, 상기 제2 과정에서 저장한 파일을 이용해 트릭 플레이를 구현하는 제3 과정을 통해, 2D 또는 3D 트릭 플레이를 제공할 수 있다.
이하에서는, 트릭 플레이 모드시 재생속도를 제어하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 10a, 도 10b, 도 10c, 도 11a, 도 11b 및 도 11c는 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서 트릭 플레이 모드에서 영상의 재생속도를 제어하는 방법을 설명하기 위한 개념도이다.
이하의 설명에서는, 설명의 편의를 위하여 2D 및 3D 트릭 플레이를 구분하지 않고, 트릭 플레이시 스킵 가능한 픽처를 'discardable 픽처'로 명명하고, 스킵 불가능한 픽처를 'non-discardable 픽처'로 명명한다
먼저, non-discardable 픽처(또는 discardable 픽처)가 주기적으로 배열되어 있는 경우, 수신장치의 동작을 도 10a, 도 10b, 도 10c 및 도 10d와 함께 살펴본다.
도 10a에 도시된 것과 같이, P0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 영상에서 트릭 플레이가 실행되는 경우, 수신장치에서는 discardable 픽처에 해당하는 P2, P5, P8, P11, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 P0, P1, P3, P4, P6, P7, P9, P10, P12, P13 픽처들을 재생하여 트릭 플레이를 제공할 수 있다.
그러나, non-discardable 픽처에 해당하는 P0, P1, P3, P4, P6, P7, P9, P10, P12, P13에 대하여 트릭 플레이시 도 10b에 도시된 것과 같이, P0와 P1 픽처 사이의 배속은 1배속이고, P1과 P3 픽처 사이의 배속은 2배속으로 재생된다.
따라서, 본 발명에 따른 수신장치에서는 non-discardable 픽처들의 재생속도를 일정하게 유지하는 방안에 대하여 제안할 수 있다.
이를 위해, 도 10c에 도시된 순서도를 함께 살펴보면, 수신장치에서는, non-discardable 픽처들의 재생속도를 일정하게 유지하기 위하여, 먼저, GOP 내에서 non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)를 파악하는 과정을 진행한다(S1010).
이와 같이, non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)가 파악되면, 구현할 수 있는 최대 배속을 계산하는 과정을 진행한다(S1020). 여기에서, 최대배속은 아래의 [수학식 1]과 같이 계산될 수 있다.
[수학식 1]
최대배속 Tmax = (Nnd + Nd) / Nnd
다음으로, 최대배속이 결정되면, Tmax 이하의 숫자 범위 내에서 구현하고자 하는 trick play 배속 T를 결정하는 과정을 진행한다(S1030).
다음으로, 수신장치에서는 Non-discardable 픽처에 대해서만 디코딩을 수행하는 과정을 진행한다(S1040). 다음으로, 수신장치에서는 디코딩된 Non-discardable 픽처를 이용하여, GOP 내에서 n번째로 디스플레이되는 픽처 타이밍에 대해 n x T 번째 픽처를 출력하는 과정을 진행한다(S1050).
따라서, 본 발명에 따른 수신장치에서는 도 10d에 도시된 것과 같이, 현재 타이밍 nt에 대해 nt x T가 정수인 경우 해당 번째 non-discardable 픽처(예를 들어, P3 픽처)를 디코드해 출력한다. 그리고, 수신장치에서는 현재 타이밍 nt에 대해 nt x T가 정수가 아닌 경우 해당 번째 non-discardable 픽처(예를 들어, P4 픽처)는 디코드하되 출력하지 않는다. 따라서, 본 발명에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서는 해당 타이밍에서는 frame interpolation 기법 등을 사용해 트릭 플레이시 자연스러운 배속 처리를 할 수 있다.
다음으로, non-discardable 픽처(또는 discardable 픽처)가 비주기적으로 배열되어 있는 경우, 수신장치의 동작을 도 11a, 도 11b, 도 11c 및 도 11d와 함께 살펴본다.
도 11a에 도시된 것과 같이, P0, P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14 픽처들로 구성되는 영상에서 트릭 플레이가 실행되는 경우, 수신장치에서는 discardable 픽처에 해당하는 P1, P6, P7, P10, P11, P13, P14 픽처들을 스킵하고, non-discardable 픽처에 해당하는 P0, P2, P3, P4, P5, P8, P9, P12 픽처들을 재생하여 트릭 플레이를 제공할 수 있다.
그러나, non-discardable 픽처에 해당하는 P0, P2, P3, P4, P5, P8, P9, P12 에 대하여 트릭 플레이시 P0와 P2 픽처 사이의 배속과, P2와 P3 픽처 사이의 배속은 배속은 서로 달라진다.
따라서, 본 발명에 따른 수신장치에서는 비 주기적으로 배열되어 있는 non-discardable 픽처들의 재생속도를 일정하게 유지하는 방안에 대하여 제안할 수 있다.
이를 위해, 도 11b에 도시된 순서도를 함께 살펴보면, 수신장치에서는 GOP 내에서 non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)를 파악하는 과정이 진행된다(S1110).
다음으로, non-discardable 픽처와 discardable 픽처의 개수(Nnd, Nd)가 파악되면, non-discardable 픽처에 대해 구현할 수 있는 최대 배속을 계산하는 과정이 진행된다(S1120).
여기에서, 최대배속은 아래의 [수학식 2]를 통해 계산될 수 있다.
[수학식 2]
최대배속 Tmax = (Nnd + Nd) / Nnd
다음으로, 수신장치에서는 Tmax 이하의 숫자 범위 내에서 구현하고자 하는 trick play 배속 T를 결정하는 과정이 진행된다(S1130).
다음으로, 수신장치에서는 Non-discardable 픽처에 대해서만 디코딩을 수행하는 과정이 진행된다(S1140).
다음으로, 수신장치에서는 GOP 내에서 n번째로 디스플레이되는 픽처 타이밍에 대해 n x T 번째 픽처를 출력하는 과정이 진행된다(S1150).
따라서, 도 11c에 도시된 것과 같이, 1.7 배속의 트릭 플레이가 제공되는 경우, P0, P12 픽처(도 11c 참조)가 출력될 수 있다.
한편, 수신장치에서는, 현재 타이밍 nt에 대해 nt x T 번째 픽처가 이미 디코드 된 경우, 디코드된 nt x T 번째 픽처를 출력시키고, 현재 타이밍 nt에 대해 nt x T 번째 픽처가 아직 디코드 되지 않은 경우, 이미 디코드 된 픽처 중에서 nt X T 번째 픽처에 가장 타이밍이 가까운 픽처를 출력할 수 있다.
도 11b와 함께 살펴본 과정을 보다 도 11d와 함께 보다 구체적으로 살펴보면, 수신장치에서는 GOP에 포함된 전체 픽처의 개수 (15개의 MVC view pairs) 중 non-discardable 픽처의 개수 및 discardable 픽처의 개수를 파악한다 (Nnd=8, Nd=7). 다음으로, 수신장치에서는 구현할 수 있는 최대 배속 Tmax를 계산한다(Tmax=15/8).
그리고, 수신장치에서는 Tmax 이하의 범위 내에서 구현하고자 하는 trick play 배속을 설정한다(예를 들어, T = 1.5로 설정).
이 경우, 수신장치에서는 UI를 이용해 구현 가능한 배속 리스트를 디스플레이하고, 사용자가 선택한 배속을 설정할 수 있다. 또한, 수신장치에서는 단순히 ‘fast forward’라는 옵션만 출력하고 사용자가 이를 선택할 경우 수신기가 Tmax 이하의 범위 내에서 배속을 임의로 결정할 수 있다.
다음으로, 수신장치에서는 Non-discardable 픽처 (P0, P2, P3, P4, P5, P8, P9, P12)를 디코딩한다.
그리고, 수신장치에서는 presentation time 0 (pt0)에 대응되는 P0를 출력하고, presentation time 2 (pt2)에 대응되는 P3를 출력한다. 다음으로, presentation time 4 (pt4)에 대응되는 P6는 discardable picture로 디코딩되지 않으므로 presentation time 4의 시점에는 기존에 디코딩 된 픽쳐 중 출력 시간상으로 가장 가까운 P5를 출력할 수 있다. 다음으로, 수신장치에서는 presentation time 6 (pt6)에 대응되는 P9을 출력하고, presentation time 8 (pt8)에 대응되는 이미 디코드 된 P12를 출력한다. P12는 디코드 된 후 presentation time 8까지 대기상태로 존재할 수 있다.
또한, 위에서 살펴본 discardable/non-discardable 픽처는 3D 트릭 플레이 모드인 경우 동일한 AU 내의 두 개의 view component가 모두 discardable 해야 트릭 플레이 과정에서 skip이 가능하다. 또한, 위에서 살펴본 discardable/non-discardable 픽처는 2D 트릭 플레이 모드의 경우 base view component에 대한 discardable/non-discardable 속성만을 고려해 구현될 수 있다..
이상에서 살펴본 것과 같이, 본 발명에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치에서는 비주기적으로 배열된 픽처들간에도 트릭 플레이시 자연스러운 배속 처리를 할 수 있다.
이하에서는, 3D 방송 송신을 위한 송신 장치의 데이터 처리과정에 대하여, 첨부된 도면과 함께 살펴본다. 도 12는 3D 방송 송신을 위한 송신장치의 데이터 처리과정을 설명하기 위한 블록도이다.
도 12 에 도시된 바와 같이, 본 발명에 따른 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털 방송 송신 장치는, 오리지널 영상과 3차원 입체 영상 부가 데이터를 획득하기 위한 영상 획득부(110), 오디오 데이터를 획득하기 위한 오디오 데이터 획득부(120), 상기 영상 획득부(110)에서 획득한 오리지널 영상과 3차원 입체 영상 부가 데이터를 입력받고 상기 오디오 데이터 획득부(120)에서 획득한 오디오 데이터를 입력받아 디지털 전송에 적합한 형태로 부호화하기 위한 인코딩 부(Encoder)(130), 각각의 정보를 구분하기 위한 프로그램 특성 정보(PSI)를 생성하기 위한 프로그램 특성 정보 생성부(140), 상기 인코딩부(130)에서 부호화한 각각의 기본 스트림(ES)을 입력받아 각각 패킷화하여 기본 스트림 패킷(PES)을 생성하기 위한 패킷화부(Packetizer)(150), 상기 패킷화부(150)로부터 각각의 기본 스트림 패킷(PES)을 입력받고 상기 프로그램 특성 정보 생성부(140)로부터 프로그램 특성 정보(PSI)를 입력받아 각각의 전송 스트림(TS)을 생성하기 위한 전송 스트림(TS) 생성부(160), 상기 전송 스트림 생성부(160)로부터 각각의 전송 스트림(TS)을 입력받아 하나의 전송 스트림(TS)으로 다중화하기 위한 다중화부(Multiplexer)(170), 및 상기 다중화부(170)에서 다중화한 전송 스트림(TS)을 변조하기 위한 변조부(Modulator)(180)를 포함한다.
상기 영상 획득부(110)는, 오리지널 영상 생성을 위한 한 시점의 영상과 3차원 입체 영상 부가 데이터 생성을 위한 다른 시점의 영상, 시차 정보(Disparity Information), 또는 깊이 정보(Depth Information) 중 어느 하나 이상을 획득한다.
여기서, 상기 영상 획득부(110)를 통해 획득되는 오리지널 영상 생성을 위한 한 시점의 영상은 다른 시점의 영상과 비교될 수 있는 하나의 기준이 되는 영상이고, 상기 영상 획득부(110)를 통해 획득되는 3차원 입체 영상 부가 데이터 생성을 위한 다른 시점의 영상은 오리지널 영상과 시점이 다른 하나의 다른 시점 영상, 또는 다른 여러 개의 시점을 갖는 다시점 영상이다.
상기 3차원 입체 영상 부가 데이터 생성을 위한 시차 정보(Disparity Information)는 다시점 영상 또는 한 시점의 영상과 다른 시점에서 얻은 두 개의 영상을 하나로 투영했을 때 다른 시점에서 획득하였지만 대상의 같은 위치를 나타내는 두 지점 사이의 거리 정보이고, 깊이 정보(Depth Information)는 한 시점의 영상과 정해진 거리에서 동일 대상에 대한 다른 시점의 영상을 획득하여 알 수 있는 원근 정보이다.
상기 인코딩부(130)는, 상기 영상 획득부(110)로부터 기준 시점의 오리지널 영상을 입력받아 부호화하기 위한 제 1 인코더(Encoder)(131)와, 상기 영상 획득부(110)로부터 3차원 입체 영상 부가 데이 터를 입력받아 효율적으로 부호화하기 위한 제2 인코더(Encoder)(132), 상기 오디오 데이터 획득부(120)로부터 오디오 데이터를 입력받아 부호화하기 위한 오디오 인코더(Encoder)(133)를 포함한다.
그리고, 상기 프로그램 특성 정보 생성부(140)는 오리지널 영상, 3차원 입체 영상 부가 데이터, 오디오 데이터 등과 같은 각각의 정보를 서로 구분하기 위한 프로그램 특성 정보(PSI)를 생성한다. 이 때, 상기 프로그램 특성 정보 생성부(140)는 2차원 디지털 방송 시스템과 3차원 입체 디지털 방송 시스템과의 호환성을 위해 각각의 전송 스트림(TS)으로 구분하기 위한 프로그램 구조 테이블(PMT : Program Map Table)의 패킷 식별자(PID) 정보에 있어서 기존 디지털 방송의 비디오와 오디오에 정의되어 있는 스트림 타입(stream_type)은 그대로 사용하고 3차원 입체 영상 부가 데이터에 대한 스트림 타입(stream_type)을 예약(reserved), 또는 사용자 개인(user private)으로 정의되어 있는 값으로 새롭게 정의하는 기능을 수행한다.
상기 패킷화부(150)는, 상기 인코딩부(130)로부터 오리지널 영상에 대한 기본 스트림(ES_Ori)을 입력받아 패킷화하여 오리지널 영상에 대한 기본 스트림 패킷(PES_Ori)을 생성하기 위한 제 1 패킷화기(Packetizer)(151), 상기 인코딩부(130)로부터 3차원 입체 영상 부가 데이터에 대한 기본 스트림(ES_3D)을 입력받아 패킷화하여 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)을 생성하기 위한 제 2 패킷화기(Packetizer)(152), 및 상기 인코딩부(130)로부터 오디오 데이터에 대한 기본 스트림(ES_Au)을 입력받아 패킷화하여 오디오 데이터에 대한 기본 스트림 패킷(PES_Au)을 생성하기 위한 제 3 패킷화기(Packetiser)(153)를 포함한다.
이 때, 상기 패킷화부(150)는, 3차원 입체 영상 부가 데이터와 관련하여 새롭게 필요한 입력 필드가 있을 경우에는 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)의 헤더부에 다른 시점의 영상, 시차 정보(DisparityInformation), 또는 깊이 정보(Depth Information) 등을 구분하기 위해 3차원 입체 영상 부가 데이터 타입에 대한 입력 필드를 추가 정의하는 기능을 더 수행한다.
상기 전송 스트림 생성부(160)는, 상기 패킷화부(150)로부터 오리지널 영상에 대한 기본 스트림 패킷(PES_Ori)을 입력받아 오리지널 영상에 대한 전송 스트림 (TS_Ori)을 생성하기 위한 제 1 전송 스트림 생성기(161), 상기 패킷화부(150)로 부터 3차원 입체 영상 부가 데이터에 대한 기본 스트림 패킷(PES_3D)을 입력받아 3차원 입체 영상 부가 데이터에 대한 전송 스트림 패킷(TS_3D)을 생성하기 위한 제 2 전송 스트림 생성기(162), 상기 패킷화부(150)로부터 오디오 데이터에 대한 기본 스트림 패킷(PES_Au)을 입력받아 오디오 데이터에 대한 전송 스트림 패킷(TS_Au)을 생성하기 위한 제 3 전송 스트림 생성기(163), 및 상기 프로그램 특성 정보 생성부(140)로부터 프로그램 특성 정보(PSI)를 입력받아 프로그램 특성 정보에 대한 전송 스트림 패킷(TS_PSI)을 생성하기 위한 제 4 전송 스트림 생성기(164)를 포함한다.
상기 다중화부(170)는, 다중화의 마지막 과정에서 시스템 시간 검출에 사용하기 위해 오리지널 영상에 대한 전송 스트림(TS_Ori)에 프로그램 시간 참조(PCR : Program Clock Reference)를 삽입하는 기능을 수행한다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치는 스테레오스코픽 방식의 입체 영상을 제공하는 디지털 방송에서 입체 영상을 이루는 두 개의 뷰(view)에 대하여 discardable 픽처 set을 지정함으로써, 트릭 플레이(trick play)를 위한 신호를 처리하는 것이 가능하다.
또한, 본 발명에 따르면 멀티 뷰(multi-view) 방식의 입체 영상을 제공하는 디지털 방송에서 안전하게 제거할 수 있는 MVC Access Unit(AU) 및 MVC sub-AU를 지정함으로써, 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 위한 신호를 처리하는 것이 가능하다.
또한, 본 발명에 따르면, 멀티 뷰 방식의 입체 영상을 제공하는 디지털 방송에서 View Pair ID 및 각 View Pair Priority 정보를 PVR assist information에 저장시킴으로써, 효과적으로 멀티 뷰 방식의 입체영상에 대한 트릭 플레이를 제공할 수 있다.
본 발명의 여러 측면과 관련된 독창적인 사상을 설명하기 위해 다양한 실시예들을 기술하였다. 그러나, 하나의 특정 실시예에 있는 하나 이상의 구체적인 특징들은 하나 이상의 다른 실시예에도 적용될 수 있다. 각 실시예 및 그에 연관된 도면에서 설명하는 일부 구성요소 또는 단계는 수정될 수 있고 부가적인 구성요소 및/또는 단계를 삭제, 이동, 또는 포함할 수 있다.
여기서 설명한 다양한 특징 및 사상은, 소프트웨어, 하드웨어, 펌웨어, 미들웨어, 또는 그 결합의 형태로 실시될 수 있다. 예를 들면, 디지털 방송에서 입체영상 신호의 수신방법 및 입체영상 신호의 수신장치를 구현하기 위한, 컴퓨터 실행가능한(computer-executable) 매체에 저장된 컴퓨터 프로그램(컴퓨터, 프로세서, 제어기 등에 의해 실행된다)은 다양한 작업을 수행하는 하나 이상의 프로그램 코드 섹션(section)을 포함할 수 있다. 유사하게, 디지털 방송에서 입체영상 신호의 수신방법 및 입체영상 신호의 수신장치를 구현하기 위한, 컴퓨터 실행가능한(computer-executable) 매체에 저장된 소프트웨어 도구(컴퓨터, 프로세서, 제어기 등에 의해 실행된다)는, 다양한 작업을 수행하는 프로그램 코드 일부를 포함할 수 있다.

Claims (16)

  1. 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신 및 역 다중화하는 단계;
    상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 단계; 및
    상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림을 디코딩하는 단계를 포함하는 디지털 방송 수신방법.
  2. 제1항에 있어서,
    상기 디스카더블 정보는
    상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 하는 디지털 방송 수신방법.
  3. 제2항에 있어서,
    상기 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 discardable_pair_flag 필드 및 discardable_flag 필드 중 적어도 하나를 통해 나타내어지는 것을 특징으로 하는 디지털 방송 수신방법.
  4. 제3항에 있어서,
    상기 discardable_pair_flag 필드는 3D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내고,
    상기 discardable_flag 필드는 2D 트릭 플레이가 실행되는 경우의 트랜스포트 패킷에 대한 디코딩 여부를 나타내는 것을 특징으로 하는 디지털 방송 수신방법.
  5. 제4항에 있어서,
    상기 discardable_pair_flag 필드 및 상기 discardable_flag 필드는 단일 신택스 구조에 함께 포함되는 것을 특징으로 하는 디지털 방송 수신방법.
  6. 제4항에 있어서,
    3D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1인 경우,
    상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신방법.
  7. 제4항에 있어서,
    2D 트릭 플레이가 실행되는 경우, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1인 경우,
    상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신방법.
  8. 제3항에 있어서,
    상기 discardable_flag 필드는 1-PID multiplex mode 인 경우에만 구비되는 것을 특징으로 하는 디지털 방송 수신방법.
  9. 제8항에 있어서,
    상기 기준시점 및 확장시점 비디오 스트림이 2-PID multiplex mode로 수신되고, 2D 트릭 플레이가 실행되는 경우,
    기준시점 비디오 스트림의 PID 값에 대응되는 트랜스 포트패킷에서 디스카더블 (discardable) 정보가 추출되는 것을 특징으로 하는 디지털 방송 수신방법.
  10. 제1항에 있어서,
    상기 디스카더블 정보는
    상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷 중 디코딩을 생략할 수 있는 트랜스 포트 패킷에 대한 정보인 것을 특징으로 하는 디지털 방송 수신방법.
  11. 제1항에 있어서,
    상기 기준시점 및 확장시점 비디오 스트림은 각각 서로 다른 시점의 비디오 스트림 구간들을 구비하는 것을 특징으로 하는 디지털 방송 수신방법.
  12. 기준시점 및 확장시점 비디오 스트림이 포함된 디지털 방송 신호를 수신하는 튜너;
    상기 디지털 방송 신호로부터 기준시점 및 확장시점 비디오 스트림을 역다중화하는 디멀티플렉서;
    상기 기준시점 및 확장시점 비디오 스트림을 이루는 트랜스포트 패킷을 이용하여 상기 기준시점 및 확장시점의 픽처들에 대한 디스카더블 (discardable) 정보를 확인하는 PVR 프로세서;
    상기 디스카더블 정보에 이용하여 상기 기준시점 및 확장시점 비디오 스트림림을 디코딩하는 디코더; 및
    상기 디코딩된 기준시점 및 확장시점 비디오 스트림을 제어하는 3D 비디오 프로세서를 포함하는 디지털 방송 수신장치.
  13. 제12항에 있어서,
    디스카더블 (discardable) 정보와 관련된 트랜스포트 패킷 및 트릭 플레이 컨트롤과 관련된 파일을 저장하는 스토리지(storage)를 더 구비하는 것을 특징으로 하는 디지털 방송 수신장치.
  14. 제12항에 있어서,
    상기 디스카더블 정보는 상기 기준시점 및 확장시점의 픽처들을 구성하는 복수개의 트랜스 포트 패킷 중 맨 처음에 해당하는 트랜스 포트 패킷에 포함된 것을 특징으로 하는 디지털 방송 수신장치.
  15. 제12항에 있어서,
    상기 디코더는
    3D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_pair_flag의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점 및 확장시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략하는 것을 특징으로 하는 디지털 방송 수신장치.
  16. 제12항에 있어서,
    상기 디코더는
    2D 트릭 플레이를 실행시키는 제어명령에 응답하여, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 헤더정보에 포함된 discardable_flag 의 값이 1이면, 상기 맨 처음에 해당하는 트랜스 포트 패킷의 Access Unit 번호와 동일한 Access Unit 번호를 갖는 기준시점의 픽처를 이루는 복수개의 트랜스 포트 패킷에 대한 디코딩이 생략되는 것을 특징으로 하는 디지털 방송 수신장치.
PCT/KR2012/011593 2011-12-27 2012-12-27 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치 WO2013100641A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280070454.5A CN104137558B (zh) 2011-12-27 2012-12-27 用于显示三维图像的数字广播接收方法及其接收设备
EP12863756.8A EP2800391A4 (en) 2011-12-27 2012-12-27 DIGITAL BROADCAST RECEIVING METHOD FOR DISPLAYING THREE-DIMENSIONAL IMAGE, AND CORRESPONDING RECEIVING DEVICE
KR1020147010600A KR20140107182A (ko) 2011-12-27 2012-12-27 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
CA2859673A CA2859673A1 (en) 2011-12-27 2012-12-27 Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
US14/369,109 US20140354770A1 (en) 2011-12-27 2012-12-27 Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161580308P 2011-12-27 2011-12-27
US61/580,308 2011-12-27

Publications (1)

Publication Number Publication Date
WO2013100641A1 true WO2013100641A1 (ko) 2013-07-04

Family

ID=48697986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/011593 WO2013100641A1 (ko) 2011-12-27 2012-12-27 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치

Country Status (6)

Country Link
US (1) US20140354770A1 (ko)
EP (1) EP2800391A4 (ko)
KR (1) KR20140107182A (ko)
CN (1) CN104137558B (ko)
CA (1) CA2859673A1 (ko)
WO (1) WO2013100641A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141924A1 (ko) * 2014-03-18 2015-09-24 엘지전자 주식회사 Hevc 스트림의 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
CN105960804A (zh) * 2014-02-03 2016-09-21 Lg电子株式会社 信号发送和接收装置以及用于提供特技播放服务的信号发送和接收方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20120134A1 (it) * 2012-02-16 2013-08-17 Sisvel Technology Srl Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d.
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
WO2017169722A1 (ja) * 2016-03-28 2017-10-05 ソニー株式会社 画像処理装置および方法
KR20190136417A (ko) * 2018-05-30 2019-12-10 삼성전자주식회사 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327242A (ja) * 1994-05-31 1995-12-12 Sanyo Electric Co Ltd 立体動画像圧縮符号化装置及び立体動画像復号再生装置
KR20070016659A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 픽쳐 스킵 방법 및 장치
WO2010058547A1 (ja) * 2008-11-18 2010-05-27 パナソニック株式会社 特殊再生を考慮した再生装置、集積回路、再生方法
WO2010134003A1 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics N.V. Entry points for 3d trickplay
KR20110025123A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 비디오 영상 배속 재생 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100354745B1 (ko) * 1998-11-02 2002-12-18 삼성전자 주식회사 비디오코딩및디코딩방법
EP1677532B1 (en) * 2003-06-18 2011-08-31 Panasonic Corporation Playback apparatus, recording medium, program, and playback method
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
JP2009060411A (ja) * 2007-08-31 2009-03-19 Toshiba Corp Ｖｏｄシステムおよびｖｏｄシステムにおけるコンテンツ配信方法
CA2745021C (en) * 2008-12-02 2014-10-28 Lg Electronics Inc. Method for displaying 3d caption and 3d display apparatus for implementing the same
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010126608A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing 3d video coding formats
FR2944933B1 (fr) * 2009-07-24 2011-12-02 Quadrille Ingenierie Procede de diffusion de donnees numeriques.
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP4823349B2 (ja) * 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
EP2629530B1 (en) * 2010-10-16 2016-09-07 LG Electronics Inc. Digital receiver and method for processing 3d contents in digital receiver
US8934762B2 (en) * 2011-12-09 2015-01-13 Advanced Micro Devices, Inc. Apparatus and methods for altering video playback speed

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327242A (ja) * 1994-05-31 1995-12-12 Sanyo Electric Co Ltd 立体動画像圧縮符号化装置及び立体動画像復号再生装置
KR20070016659A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 픽쳐 스킵 방법 및 장치
WO2010058547A1 (ja) * 2008-11-18 2010-05-27 パナソニック株式会社 特殊再生を考慮した再生装置、集積回路、再生方法
WO2010134003A1 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics N.V. Entry points for 3d trickplay
KR20110025123A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 비디오 영상 배속 재생 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105960804A (zh) * 2014-02-03 2016-09-21 Lg电子株式会社 信号发送和接收装置以及用于提供特技播放服务的信号发送和接收方法
US10194182B2 (en) 2014-02-03 2019-01-29 Lg Electronics Inc. Signal transmission and reception apparatus and signal transmission and reception method for providing trick play service
CN105960804B (zh) * 2014-02-03 2019-10-08 Lg电子株式会社 用于提供特技播放服务的信号发送、接收方法及装置
WO2015141924A1 (ko) * 2014-03-18 2015-09-24 엘지전자 주식회사 Hevc 스트림의 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US10009641B2 (en) 2014-03-18 2018-06-26 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for providing HEVC stream trick play service

Also Published As

Publication number Publication date
CA2859673A1 (en) 2013-07-04
US20140354770A1 (en) 2014-12-04
CN104137558A (zh) 2014-11-05
CN104137558B (zh) 2017-08-25
EP2800391A4 (en) 2015-07-29
EP2800391A1 (en) 2014-11-05
KR20140107182A (ko) 2014-09-04

Similar Documents

Publication Publication Date Title
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2011136622A2 (en) An apparatus of processing an image and a method of processing thereof
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2010041896A2 (en) Receiving system and method of processing data
WO2013100641A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
WO2012026746A2 (en) Method for providing 3d video data in a 3dtv
WO2010126221A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
WO2012074328A2 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011129566A2 (ko) 이미지 디스플레이 방법 및 장치
EP2356820A2 (en) 3d caption display method and 3d display apparatus for implementing the same
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2013085245A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12863756

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147010600

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2859673

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14369109

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012863756

Country of ref document: EP