WO2013025032A1 - 수신 장치 및 그 수신 방법 - Google Patents

수신 장치 및 그 수신 방법 Download PDF

Info

Publication number
WO2013025032A1
WO2013025032A1 PCT/KR2012/006455 KR2012006455W WO2013025032A1 WO 2013025032 A1 WO2013025032 A1 WO 2013025032A1 KR 2012006455 W KR2012006455 W KR 2012006455W WO 2013025032 A1 WO2013025032 A1 WO 2013025032A1
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia data
video
data
video frame
time code
Prior art date
Application number
PCT/KR2012/006455
Other languages
English (en)
French (fr)
Inventor
주유성
이대종
김희진
이재준
장용석
박홍석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP12823547.0A priority Critical patent/EP2728858B1/en
Priority to US14/238,645 priority patent/US9762774B2/en
Priority to BR112014003343-9A priority patent/BR112014003343B1/pt
Priority to CN201280039426.7A priority patent/CN103718563B/zh
Priority to JP2014524950A priority patent/JP6184408B2/ja
Publication of WO2013025032A1 publication Critical patent/WO2013025032A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Definitions

  • the present invention relates to a receiving apparatus and a receiving method, and more particularly, to a receiving apparatus and a receiving method for receiving and processing a plurality of streams.
  • a method of transmitting the multimedia data, which is a reference among the plurality of multimedia data included in the multimedia content, through the existing broadcasting network and the additional multimedia data through a different transmission path from the existing broadcasting network may be considered.
  • each multimedia data uses an independent incubation, and the system clocks of the encoders do not coincide, which makes it difficult to add the same synchronization information.
  • the present invention is in accordance with the above-described needs, and an object of the present invention is to provide a receiving apparatus and a receiving method for receiving and processing a plurality of streams through different paths.
  • the present invention provides a method for synchronizing and reproducing a plurality of streams provided through different paths.
  • a receiving apparatus may include: a first receiver configured to receive first multimedia data added with a first time code per frame through a broadcasting network, and second multimedia data added with a second time code per frame; A second receiver configured to receive a signal through a network; a first signal processor configured to signal-process the first multimedia data to generate a first video frame; and a second signal processor configured to signal-process the second multimedia data to generate a second video frame.
  • the video frame to be synchronized with each other among the generated first and second video frames using It includes a renderer that reads each to perform rendering.
  • the first signal processor may include a first demux for demuxing the received first multimedia data, a first buffer for storing demuxed first video data from the first multimedia data, and the first buffer.
  • a first decoder to decode the stored first video data to generate a first video frame, and a second buffer to store the generated first video frame
  • the second signal processor comprises: the received second multimedia data;
  • a second demux for demuxing a second buffer, a third buffer storing demuxed second video data from the second multimedia data, and a second video frame decoding the second video data stored in the third buffer to generate a second video frame.
  • It may include a second decoder and a fourth buffer for storing the generated second video frame.
  • the controller may correct time stamp information of one of the first video data and the second video data stored in the first buffer and the third buffer by using the difference of the time stamp information.
  • the receiving apparatus may further include a storage unit for storing the first multimedia data received through the first receiving unit, and the controller may be configured to store the second multimedia data to be synchronized with the stored first multimedia data.
  • the first signal processor may be controlled to process first multimedia data.
  • the controller may compare the first time code added to the first multimedia data stored in the storage unit with the second time code added to the second multimedia data received through the second receiver. It may be determined whether second multimedia data to be synchronized with the data has been received.
  • the controller may control the storage unit to store the first multimedia data when a user command for synchronizing and playing the first multimedia data and the second multimedia data is input.
  • a receiving method receiving a first multimedia data to which a first time code is added per frame through a broadcasting network, and receiving second multimedia data to which a second time code is added per frame.
  • Receiving through an IP network Signal processing the first multimedia data to generate a first video frame, Signal processing the second multimedia data to generate a second video frame, Of the first multimedia data Comparing a first time code with a second time code of the second multimedia data, calculating a difference between time stamp information of a video frame having a matching time code, and generating the first stamp using the difference of the time stamp information
  • a video frame to be synchronized with each other among the first video frame and the second video frame is read and It may include a step of performing ring.
  • the generating of the first video frame may include demuxing the received first multimedia data, storing demuxed first video data from the first multimedia data in a first buffer, and storing the first video frame. Decoding the first video data to generate a first video frame and storing the generated first video frame in a second buffer, wherein generating the second video frame comprises: receiving Demuxing the second multimedia data, storing the second video data demuxed from the second multimedia data in a third buffer, and decoding the stored second video data to generate a second video frame. And storing the generated second video frame in a fourth buffer.
  • the receiving method may further include correcting time stamp information of one of the first video data and the second video data stored in the first buffer and the third buffer by using the difference of the time stamp information. It may include.
  • the method may further include storing first multimedia data received through the first receiver.
  • the generating of the first video frame may include storing second multimedia data to be synchronized with the stored first multimedia data.
  • the stored first multimedia data may be signal processed.
  • the generating of the first video frame may include comparing the first time code added to the stored first multimedia data and the second time code added to the received second multimedia data to store the stored first multimedia data. It may be determined whether the second multimedia data to be synchronized with the received.
  • the storing may include storing the first multimedia data when a user command for synchronizing and playing the first multimedia data and the second multimedia data is input.
  • new content may be provided to a user by overcoming transmission bandwidth limitation by transmitting and receiving different data through different paths using an existing broadcasting facility.
  • respective multimedia data may be effectively synchronized to perform synchronized playback between the plurality of multimedia data.
  • FIG. 1 is a diagram illustrating a multimedia data transmission and reception system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a multimedia data transmission and reception system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a specific configuration of a receiving apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a stream to which a time code and a time stamp are added according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the first and second signal processing units according to an exemplary embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of a receiving apparatus according to another embodiment of the present invention.
  • FIG. 7 is a diagram for describing a method of delaying and processing first multimedia data according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a method of delaying and processing first multimedia data according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a receiving method of a receiving apparatus according to an embodiment of the present invention.
  • the multimedia data transmission / reception system 1000 includes a transmitter 100 and a receiver 200.
  • the transmitting device 100 processes multimedia data and transmits different signals through different transmission networks. For example, as shown in FIG. 1, the transmitting device 100 may transmit a first signal through a first transmission network and a second signal through a second transmission network.
  • the first signal and the second signal may be different multimedia data constituting a single content or relatively low quality multimedia data and relatively high quality multimedia data.
  • the multimedia data is 3D content
  • one of the left eye image and the right eye image may be transmitted through the first transmission network
  • the other image may be transmitted through the second transmission network.
  • a first signal having full high definition (FHD) quality may be transmitted through a first transmission network
  • a second signal having ultra high definition (UHD) quality may be transmitted through a second transmission network.
  • the first signal and the second signal may be multimedia data, 2D image, and depth image constituting the multi-angle content.
  • the first transmission network may be an RF network (or a broadcasting network), and the second transmission network may be an IP network (or an internet network).
  • the first transmission network may be an IP network
  • the second transmission network may be an RF network
  • the first transmission network and the second transmission network may be the same type of network.
  • the receiving device 200 may receive the first signal and the second signal transmitted from the transmitting device 100, respectively, perform signal processing on the multimedia data, and reproduce the content by synchronizing the signal-processed multimedia data. .
  • the receiving device 200 may receive the second signal from the server. That is, the reception device 200 may directly receive the second signal from the transmission device 100, but may receive the second signal generated by the transmission device 100 through a separate server.
  • signals transmitted through the first transmission network and the second transmission network may include a program clock reference (DTS), a decoding time stamp (DTS), and a presentation time stamp (PTS) for synchronization.
  • DTS program clock reference
  • DTS decoding time stamp
  • PTS presentation time stamp
  • PCR means reference time information that allows a receiving device (such as a set-top box or a TV) to match a time reference to a transmitter.
  • the receiver adjusts the value of the STC (System Time Clock) according to the PCR.
  • the DTS is a time stamp indicating a decoding time of data
  • the PTS is a time stamp indicating a reproduction time for synchronizing video and audio.
  • DTS and PTS are referred to as time stamps.
  • PCR may be different according to characteristics of the transmitting apparatuses 100-1 and 100-2. Specifically, different signals use different encoders, and each encoder may not have the same system operation clock information, and each encoder may have a different operation scheme and delay. Therefore, even if playback is performed according to the time stamps set for PCR, synchronization may not be achieved.
  • the reception device 200 may perform synchronization by correcting a time stamp using a time code.
  • the transmitting device 100 of the multimedia data transmission / reception system 1000 includes a data generator 110, a first transmitter 120, and a second transmitter 130.
  • the data processor 110 processes the multimedia data and transmits the multimedia data to the first transmitter 120 and the second transmitter 130.
  • the data processor 110 processes the first multimedia data and the second multimedia data constituting the multimedia content and transmits the first multimedia data and the second multimedia data to the first transmitter 120 and the second transmitter 130, respectively.
  • the first multimedia data and the second multimedia data may include synchronization information for synchronization.
  • the first transmitter 120 transmits the first multimedia data to the receiver 200 through the first transmission network.
  • the first transmitter 120 may convert the first multimedia data into a form suitable for the transmission standard of the first transmission network and transmit the first multimedia data to the receiver 200.
  • the second transmitter 130 transmits the second multimedia data to the receiving device 200 through the second transmission network.
  • the second transmitter 130 may convert the second multimedia data into a form suitable for the transmission standard of the second transmission network.
  • the reception apparatus 200 of the multimedia data transmission / reception system includes a first receiver 210, a second receiver 220, and a data processor 230.
  • the first receiver 210 receives the first multimedia data from the transmitter 100 through the first transmission network.
  • the second receiver 210 receives the second multimedia data from the transmitter 100 through the second transmission network.
  • the first receiver 210 may receive the first multimedia data through the broadcast network, and the second receiver 210 may receive the second multimedia data through the IP network.
  • the data processor 230 processes the first transmission data and the second transmission data to configure multimedia content.
  • the data processor 230 may process the received first multimedia data and the second multimedia data to generate a video frame, and use the first multimedia data and the synchronization information included in the second multimedia data.
  • the rendering may be performed by synchronizing the video frame of the video frame and the video frame of the second multimedia data.
  • the reception apparatus 200 includes a first receiver 210, a second receiver 220, a first signal processor 240, a second signal processor 250, a controller 260, and a renderer 270. It includes.
  • the first receiver 210 receives the first multimedia data.
  • the first receiver 210 may receive first multimedia data to which a first time code is added for each frame through a broadcasting network.
  • the second receiver 220 receives the second multimedia data.
  • the second receiver 220 may receive second multimedia data to which a second time code is added per frame through a broadcasting network.
  • the configuration of the first receiver 210 and the second receiver 220 may be implemented in various ways depending on the communication path.
  • a module for receiving a signal transmitted through a broadcasting network may include components such as an antenna, a tuner, a demodulator, an equalizer, and the like.
  • When receiving a signal through the network may include a network communication module.
  • a SMPTE time code may be used as a time code added to each multimedia data.
  • the time code is represented in the format of "hour: minute: second: frame".
  • the SMPTE 12M time code can be inserted when acquiring and editing raw data such as movies, video, and audio, and can serve as a reference for editing and editing on the time base. Load data obtained on the same time axis may have the same timecode value.
  • the SMPTE time code may be classified into a longitude time code (LTC) or a vertical interval time code (VITC) according to a recording method.
  • LTC longitude time code
  • VITC vertical interval time code
  • the LTC is recorded according to the advancing direction of the tape.
  • a total of 80 bits of data including time information (25 bits), user information (32 bits), synchronization information (16 bits), storage area (4 bits), and frame mode display (2 bits) may be configured.
  • VITC is recorded on two horizontal lines within the vertical blanking period of the video signal.
  • SMPTE RP-188 defines an interface specification that can transmit LTC or VITC type timecode as ancillary data, and the timecode can be transmitted according to this interface specification.
  • the first and second multimedia data may include not only time codes but also time stamps for synchronization.
  • the first and second multimedia data may include a decoding time stamp (DTS) and a presentation time stamp (PTS), respectively.
  • DTS decoding time stamp
  • PTS presentation time stamp
  • the time stamp may be used as synchronization information for synchronization.
  • the system clock does not coincide with each other by encoding the first multimedia data and the second multimedia data with different encoders. As a result, synchronization may be performed using the above-described time code. Details thereof will be described later.
  • the transmitting device 100 may transmit the first multimedia data and the second multimedia data in the form of a transport stream.
  • the transmitting apparatus 100 may generate a transport stream by packetizing the video ES, the audio ES, and the additional data ES constituting the multimedia data through a packetized elementary stream (PES) packetizer, and then multiplexing them.
  • PES packetized elementary stream
  • each PES header may include PTS and DTS information
  • the ES header may include time code information.
  • the time code information may be included in one of a video ES header, an audio ES header, and additional data ES header.
  • the first signal processor 240 processes the first multimedia data received through the first receiver 210 to generate a video frame.
  • the second signal processor 250 processes the second multimedia data received through the second receiver 220 to generate a video frame.
  • the first signal processor 240 and the second signal processor 250 will be described in detail with reference to FIG. 5.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the first and second signal processing units according to an exemplary embodiment.
  • the first signal processor 240 includes a first demux 241, a first buffer 242, a first decoder 243, and a second buffer 244.
  • the first demux 241 receives and demuxes the first multimedia data from the first receiver 210.
  • the first demux 241 receives and demuxes the first multimedia data, thereby separating the first video data, the first audio data, and the first additional data.
  • the first buffer 242 stores first video data demuxed from the first multimedia data.
  • the first buffer 242 may sequentially store first video data demuxed from the first multimedia data.
  • the first decoder 243 may decode the first video data stored in the first buffer 242 to generate a first video frame.
  • the first decoder 242 performs an inverse process of an encoder (not shown) that encodes the first video data in the transmitting apparatus 100, and the first time when the DTS of the first video data coincides with the system clock.
  • Video data can be decoded.
  • the encoder (not shown) that encodes the first video data in the transmitting apparatus 100 performs MPEG-2 encoding on the first video data for compatibility with an existing receiving apparatus that does not support data reception through a heterogeneous network.
  • the first decoder 242 of the receiving apparatus 200 may perform MPEG-2 decoding on the first video data.
  • the video format of the first video data is not limited thereto, and may be encoded and decoded according to currently available video formats such as H.264 and HEVC, and various video formats that may be developed and applied to the present invention.
  • the second buffer 244 stores the first video frame generated by the first decoder 243.
  • the second buffer 244 may sequentially store video frames generated in the order in which the first video data is decoded by the first decoder 243.
  • the second signal processor 250 includes a second demux 251, a third buffer 252, a second decoder 253, and a fourth buffer 254.
  • the second demux 251 receives and demuxes the second multimedia data from the second receiver 220.
  • the second demux 251 may receive the second multimedia data and demux the data into second video data, second audio data, and second additional data.
  • the third buffer 252 stores second video data demuxed from the second multimedia data.
  • the second buffer 252 may sequentially store second video data demuxed from the second multimedia data.
  • the second decoder 253 may decode the second video data stored in the third buffer 252 to generate a second video frame.
  • the second decoder 252 performs an inverse process of an encoder (not shown) that encodes the second video data in the transmitting apparatus 100, and at the moment when the DTS of the second video data matches the system clock, the second decoder 252 performs the reverse process.
  • Video data can be decoded.
  • an encoder (not shown) encoding second video data of the transmitting apparatus 100 may perform H.264 encoding on the second video data, and thus, a second of the receiving apparatus 200.
  • the decoder 252 may perform H.264 decoding on the second video data.
  • the video format of the second video data is not limited thereto, and may be encoded and decoded according to currently available video formats such as HEVC and various video formats that may be developed later and applied to the present invention.
  • the fourth buffer 254 stores the second video frame generated by the second decoder 253.
  • the fourth buffer 254 may sequentially store video frames generated according to the order in which the second video data is decoded by the second decoder 253.
  • the first and second signal processors 240 and 250 may include a depacketizer for depacketizing demuxed video data, audio data and additional data, a buffer for processing depacketized audio data and additional data (not shown). And a decoder (not shown).
  • the decoded audio data and additional data may be output after being synchronized with or rendered with the first video frame and the second video frame.
  • the specific operation thereof will be omitted since it is not directly related to the present invention.
  • the controller 260 may control overall operations of the reception device 260.
  • the controller 260 controls each of the first receiver 210, the second receiver 220, the first signal processor 240, the second signal processor 250, and the renderer 270 to control the first multimedia data. And receive and process second multimedia data.
  • the controller 260 may detect information on a time code and a time stamp, respectively, from the demuxed first multimedia data and the second multimedia data. As described with reference to FIG. 3, a time code may be inserted into an ES header and a time stamp may be inserted into a PES header. Accordingly, the controller 260 may detect a time code and a time stamp after the first multimedia data and the second multimedia data are demuxed. More specifically, the controller 260 may detect a time stamp from the header of the PES generated by demuxing the multimedia, and time from the header of the ES generated by depacketizing the PES by a depacketizer (not shown). The code can be detected.
  • the controller 260 may detect the time code at any time. That is, the controller 260 may detect the time code from the video data demuxed and stored in the buffers 242 and 252, or may detect the time code in the decoding process by the decoders 243 and 253. It is also possible to detect the time code from the data decoded and stored in the buffers 244 and 254.
  • the controller 260 may compare the first time code of the first multimedia data and the second time code of the second multimedia data to calculate a difference between time stamp information of a video frame having a matching time code.
  • the PTS difference between the two frames Can be 15.
  • the DTS the PTS difference between the two frames
  • the controller 260 corrects the DTS of one of the first and second video data stored in the first buffer 242 and the third buffer 252 by using the calculated time stamp information. It is possible to synchronize the video data before decoding by 253.
  • the controller 260 may use the first and second video data (or the first and the first and second video data) in the decoding process of the first decoder 243 and the second decoder 253 by using the calculated time stamp information. By correcting the DTS (or PTS) of the two video frames, video data can be synchronized.
  • the controller 260 corrects one PTS of one of the first and second video frames stored in the second buffer 244 and the fourth buffer 254 by using the calculated time stamp information. You can synchronize video frames before they are entered.
  • the renderer 270 may perform rendering using the first video frame and the second video frame.
  • the first video frame and the second video frame may be rendered and output to the display screen.
  • the renderer 270 uses the difference in the time stamp information calculated by the controller 260 to generate a first video frame stored in the second buffer 244 and a second video frame stored in the fourth buffer 254.
  • the image frame to be synchronized may be read and rendered.
  • the time code is inserted into the ES header of the transport stream and is transmitted to the receiving device 200.
  • the receiving device 200 receives the information about the time code from a separate stream, thereby receiving the first code.
  • Video data and second video data may be synchronized.
  • the receiving apparatus 200 may transmit packets of the first multimedia data and the second multimedia data from an external device such as a server through the first receiver 210 or the second receiver 220, and the video frames included in each packet.
  • a map table including the time code of the PTS information and the may be received.
  • the controller 260 compares the time code information of the first multimedia data and the second multimedia data included in the received map table, and compares the PTSs of the first multimedia data and the second multimedia data having the same time code, and the PTS difference. Can be calculated.
  • the reception apparatus 200 includes a first receiver 210, a second receiver 220, a first signal processor 240, a second signal processor 250, a controller 260, and a renderer 270.
  • the storage unit 280 may be further included.
  • the reception apparatus 200 When the reception apparatus 200 receives the first multimedia data and the second multimedia data through different networks, a difference may occur in a reception time according to network characteristics.
  • the second multimedia data when the first multimedia data is transmitted to the broadcasting network and the second multimedia data is transmitted to the IP network, the second multimedia data may be transmitted late to the receiving apparatus due to the characteristics of the IP network.
  • synchronization may be performed by the time stamp correction described above.
  • the reception time of the first multimedia data and the second multimedia data increases, it may not be possible to synchronize only by the PTS correction. have. That is, when one of the first multimedia data and the second multimedia data is received late, video frames having the same time code may not be found and synchronization of each video frame may be impossible.
  • the receiving device 200 may include a storage unit 280 for storing the first multimedia data or the second multimedia data in order to delay the first multimedia data received among the first multimedia data or the second multimedia data.
  • the storage unit 280 may be implemented as a device such as a personal video recorder (PVR).
  • PVR personal video recorder
  • the storage unit 280 may store the first multimedia data received through the first receiving unit 210.
  • the controller 260 may control the first signal processor 240 to process the first multimedia data when the second multimedia data to be synchronized with the multimedia data stored in the storage 280 is received.
  • the controller 260 compares the first time code added to the first multimedia data stored in the storage unit 280 and the second time code added to the second multimedia data received through the second receiver 220.
  • the second multimedia data to be synchronized with the multimedia data stored in the storage unit 280 may be determined.
  • the controller 260 detects a time code from the first multimedia data stored in the storage 280.
  • the time code may be inserted into the ES header, and in order to detect the time code from the first multimedia data, the first multimedia data stored in the storage unit 280 should be demuxed. After depacketizing the PES data generated by demuxing the first multimedia data, the time code may be detected.)
  • the first signal processor uses the first demux 241 to generate the first multimedia data.
  • the first signal processor 240 may include a separate demux (not shown) for demuxing the first multimedia data stored in the storage 280.
  • the controller 260 may detect a time code from the second multimedia data.
  • the controller 260 compares the time code detected from the second multimedia data with the time code detected from the first multimedia data stored in the storage unit 280, and when there is a matching time code, the controller 260 stores the first code stored in the storage unit 280. It may be determined that the second multimedia data to be synchronized with the multimedia data has been received.
  • the controller 260 determines that the second multimedia data to be synchronized with the first multimedia data has been received, the controller 260 controls each component of the receiving apparatus 200 to synchronize and reproduce the first multimedia data and the second multimedia data. can do. Since this has been described with reference to FIG. 5, a detailed description thereof will be omitted.
  • the operation of the reception apparatus 200 may vary according to a condition in which the first multimedia data is stored in the storage 280. This will be described in detail with reference to FIGS. 7 and 8.
  • FIG. 7 is a diagram for describing a method of delaying and processing first multimedia data according to an exemplary embodiment.
  • FIG. 7 illustrates a point in time when a user command is input when the reception apparatus 200 receives a user command for interworking and playing the first multimedia data and the second multimedia data while processing and playing only the first multimedia data.
  • the first multimedia data received after the time point at which the user command is input (after packet 4 of the first multimedia data 710 of FIG. 7) is stored in the storage unit 280. do.
  • the receiving device 200 may request the second multimedia data from the transmitting device 100 or the server providing the second multimedia data and receive the second multimedia data 720 through the IP network.
  • a predetermined delay exists from a time point at which a user command is input to a time point at which the first multimedia data and the second multimedia data are synchronized and played back. For example, it may take a certain time before the receiving device 200 requests the second multimedia data to receive the first packet, and additionally, a time point t1 at which the first packet of the second multimedia data is received. It may take a certain time from the time point t2 when the fourth packet of the second multimedia data to be reproduced in synchronization with the first multimedia data stored in the storage unit 280 is received.
  • the reception apparatus 200 stops the reproduction of the first multimedia data from the time point t0 at which the user command is input to the time point t2 at which the fourth packet of the second multimedia data is received.
  • the packet can be played in synchronization with the first multimedia data.
  • the reception device 200 performs playback on only the first multimedia data, and when packet 4 of the second multimedia data is received (t2), packet 4 of the first multimedia data and the second multimedia data is received. You can play it again after synchronization.
  • the reception device 200 delays the processing of the first multimedia data stored in the storage unit 280 even if the reception of the second multimedia data through the IP stream is delayed to synchronize the first multimedia data with the second multimedia data. You can play.
  • FIG. 8 is a diagram for describing a method of delaying and processing first multimedia data according to another embodiment of the present invention. Specifically, FIG. 8 illustrates a case in which the reception apparatus 200 stores the first multimedia data in the storage unit 280 from the time when the first multimedia 810 is first played (that is, from the first packet of the first multimedia data). Is a case for storing first multimedia data).
  • the receiving device 200 receives and reproduces the first multimedia data 810 through the RF network, and stores the first packet of the first multimedia data in the storage unit 280. Subsequently, when a user command for interworking and playing the first multimedia data and the second multimedia data is input, the receiving device 200 requests the second multimedia data 820 from the transmitting device 100 or the server to establish an IP network. Can be received via When the first packet of the second multimedia data is received, the receiving device 200 is a packet of the first multimedia data to be reproduced in synchronization with the first packet of the second multimedia data among the packets of the first multimedia data stored in the storage unit 280. (Ie, packet 1 of the first multimedia data) can be found and synchronized and output. That is, the multimedia content can be played back from the beginning by synchronizing the first multimedia data and the second multimedia data.
  • the reception device 200 delays the processing of the first multimedia data stored in the storage unit 280 even if the reception of the second multimedia data through the IP stream is delayed to synchronize the first multimedia data with the second multimedia data. You can play.
  • the first multimedia data is received through a broadcasting network (910).
  • the second multimedia data is received through the IP network.
  • a first video frame is generated by signal processing the first multimedia data.
  • the generating of the first video frame may include demuxing the received first multimedia data, storing demuxed first video data from the first multimedia data in a first buffer, and decoding the stored first video data. Generating a first video frame and storing the first video frame in a second buffer.
  • a second video frame is generated by signal processing the second multimedia data.
  • Generating a second video frame includes demuxing the received second multimedia data, storing demuxed second video data from the second multimedia data in a third buffer, and decoding the stored second video data.
  • Generating a second video frame and storing the second video frame in a fourth buffer includes demuxing the received second multimedia data, storing demuxed second video data from the second multimedia data in a third buffer, and decoding the stored second video data.
  • a difference in time stamp information of a video frame having a matching time code is calculated by comparing the first time code of the first multimedia data with the second time code of the second multimedia data.
  • the video frames to be synchronized with each other among the first video frame and the second video frame are read out using the difference in the time stamp information, and rendering is performed (960).
  • the receiving method corrects the time stamp information of one of the first video data and the second video data stored in the first buffer and the third buffer by using the difference of the time stamp information. It may further comprise the step.
  • the method may further include storing first multimedia data received through the first receiver.
  • the generating of the first video frame may signal-process the first multimedia data when the second multimedia data to be synchronized with the first multimedia data is received.
  • the generating of the first video frame may include comparing a first time code added to the stored first multimedia data with a second time code added to the received second multimedia data to synchronize with the stored first multimedia data. 2 It may be determined whether multimedia data has been received.
  • the storing may include storing first multimedia data when a user command to synchronize and reproduce the first multimedia data and the second multimedia data is input.
  • the program for performing the method according to various embodiments of the present disclosure described above may be stored and used in various types of recording media.
  • the code for performing the above-described methods may include a flash memory, a read only memory (ROM), an erasable programmable ROM (EPROM), an electronically erasable and programmable ROM (EEPROM), a hard disk, a removable disk, a memory card, It may be stored in various types of nonvolatile recording media, such as USB memory, CD-ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

수신 장치가 개시된다. 본 수신 장치는, 프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 방송망을 통해 수신하는 제1 수신부, 프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 IP 망을 통해 수신하는 제2 수신부, 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성하는 제1 신호 처리부, 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성하는 제2 신호 처리부, 제1 멀티미디어 데이터의 제1 타임 코드와 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출하는 제어부 및 타임 스탬프 정보의 차이를 이용하여 생성된 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행하는 렌더링부를 포함한다.

Description

수신 장치 및 그 수신 방법
본 발명은 수신 장치 및 그 수신 방법에 관한 것으로 더욱 상세하게는 복수의 스트림을 수신하여 처리하는 수신 장치 및 그 수신 방법에 관한 것이다.
최근 전자 기술의 발달에 힘입어, 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 특히 TV의 경우 3D 컨텐츠나 보다 높은 해상도의 컨텐츠를 제공할 수 있게 되었으며, 이에 따라, 방송 기술에 있어서도 3D 컨텐츠,멀티 앵글 컨텐츠, Depth 영상을 포함하는 컨텐츠 등과 같이 다수의 영상을 포함하는 컨텐츠나 UHD급 화질의 컨텐츠를 제공하기 위한 기술이 개발되고 있다.
기존의 방송망에서 사용되는 채널 대역폭은 제한적임에 반해 멀티 앵글 컨텐츠, 3D 컨텐츠, UHD급 화질의 컨텐츠 등은 기존의 컨텐츠보다 큰 데이터 사이즈를 가지므로 기존의 방송망에서 데이터 사이즈가 큰 컨텐츠를 그대로 전송하기에는 무리가 있다.
한편, 새로운 컨텐츠를 제공하기 위해 새로운 설비를 투자하는 것은 비용적으로 무리가 있으며, 기존 방송 설비 및 수신 장치를 이용하여 새로운 컨텐츠를 제공할 수 있어야 한다. 이에 따라, 멀티미디어 컨텐츠에 포함된 복수의 멀티미디어 데이터 중 기준이되는 멀티미디어 데이터는 기존 방송망을 통해 전송하고, 부가적인 멀티미디어 데이터는 기존 방송망과 상이한 전송 경로로 전송하는 방안을 고려할 수 있다.
다만, 각각 상이한 전송망으로 데이터를 전송하는 경우 각 멀티미디어 데이터는 독립적인 부화하기를 사용하게 되고, 각 부호화기의 시스템 클럭이 일치하지 않아, 동일한 동기화 정보를 부가하는 것에 어려움이 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 서로 다른 경로를 통해 복수의 스트림을 수신하여 처리하는 수신 장치 및 그 수신 방법을 제공함에 있다. 또한, 서로 다른 경로로 제공되는 복수의 스트림을 동기화하여 재생할 수 있는 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 수신 장치는, 프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 방송망을 통해 수신하는 제1 수신부, 프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 IP 망을 통해 수신하는 제2 수신부, 상기 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성하는 제1 신호 처리부, 상기 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성하는 제2 신호 처리부, 상기 제1 멀티미디어 데이터의 제1 타임 코드와 상기 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출하는 제어부 및 상기 타임 스탬프 정보의 차이를 이용하여 상기 생성된 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행하는 렌더링부를 포함한다.
여기서, 상기 제1 신호처리부는, 상기 수신된 제1 멀티미디어 데이터를 디먹싱하는 제1 디먹스, 상기 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 저장하는 제1 버퍼, 상기 제1 버퍼에 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성하는 제1 디코더 및 상기 생성된 제1 비디오 프레임을 저장하는 제2 버퍼를 포함하며, 상기 제2 신호처리부는, 상기 수신된 제2 멀티미디어 데이터를 디먹싱하는 제2 디먹스, 상기 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 저장하는 제3 버퍼, 상기 제3 버퍼에 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성하는 제2 디코더 및 상기 생성된 제2 비디오 프레임을 저장하는 제4 버퍼를 포함할 수 있다.
그리고, 상기 제어부는, 상기 타임 스탬프 정보의 차이를 이용하여 상기 제1 버퍼 및 상기 제3 버퍼에 저장된 제1 비디오 데이터 및 제2 비디오 데이터 중 하나의 타임 스탬프 정보를 보정할 수 있다.
한편, 수신 장치는 상기 제1 수신부를 통해 수신되는 제1 멀티미디어 데이터를 저장하는 저장부를 더 포함할 수 있으며, 상기 제어부는, 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 상기 저장된 제1 멀티미디어 데이터를 처리하도록 상기 제1 신호처리부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 저장부에 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 상기 제2 수신부를 통해 수신되는 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교하여 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단할 수 있다.
또한, 상기 제어부는, 상기 제1 멀티미디어 데이터와 상기 제2 멀티미디어 데이터를 동기화하여 재생하기 위한 사용자 명령이 입력되면, 상기 제1 멀티미디어 데이터를 저장하도록 상기 저장부를 제어할 수 있다.
본 발명의 일 실시 예에 따른 수신 장치의 수신 방법은, 프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 방송망을 통해 수신하는 단계, 프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 IP 망을 통해 수신하는 단계, 상기 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성하는 단계, 상기 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성하는 단계, 상기 제1 멀티미디어 데이터의 제1 타임 코드와 상기 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출하는 단계 및 상기 타임 스탬프 정보의 차이를 이용하여 상기 생성된 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행하는 단계를 포함할 수 있다.
여기서, 상기 제1 비디오 프레임을 생성하는 단계는, 상기 수신된 제1 멀티미디어 데이터를 디먹싱하는 단계, 상기 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 제1 버퍼에 저장하는 단계, 상기 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성하는 단계 및 상기 생성된 제1 비디오 프레임을 제2 버퍼에 저장하는 단계를 포함할 수 있으며, 상기 제2 비디오 프레임을 생성하는 단계는, 상기 수신된 제2 멀티미디어 데이터를 디먹싱하는 단계, 상기 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 제3 버퍼에 저장하는 단계, 상기 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성하는 단계, 및 상기 생성된 제2 비디오 프레임을 제4 버퍼에 저장하는 단계를 포함할 수 있다.
그리고, 상기 수신 장치의 수신 방법은 상기 타임 스탬프 정보의 차이를 이용하여 상기 제1 버퍼 및 상기 제3 버퍼에 저장된 제1 비디오 데이터 및 제2 비디오 데이터 중 하나의 타임 스탬프 정보를 보정하는 단계를 더 포함할 수 있다.
또한, 상기 제1 수신부를 통해 수신되는 제1 멀티미디어 데이터를 저장하는 단계를 더 포함할 수 있으며, 상기 제1 비디오 프레임을 생성하는 단계는, 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 상기 저장된 제1 멀티미디어 데이터를 신호 처리할 수 있다.
그리고, 상기 제1 비디오 프레임을 생성하는 단계는, 상기 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 상기 수신된 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교하여 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단할 수 있다.
한편, 상기 저장하는 단계는, 상기 제1 멀티미디어 데이터와 상기 제2 멀티미디어 데이터를 동기화하여 재생하기 위한 사용자 명령이 입력되면, 상기 제1 멀티미디어 데이터를 저장할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 기존 방송 설비를 이용하여 서로 다른 경로를 통해 다른 데이터를 송수신하여 전송 대역 폭 제한을 극복하여 사용자에게 새로운 컨텐츠를 제공할 수 있다.
또한, 서로 다른 경로로 복수의 스트림을 제공하는 경우에도 각 멀티미디어 데이터들을 효과적으로 동기화하여, 복수의 멀티미디어 데이터들간 동기화된 재생을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다.
도 2는 본 발명이 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 수신 장치의 구체적인 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따라 타임 코드 및 타임 스탬프가 부가된 스트림의 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 제1 및 제2 신호 처리부의 구체적인 구성을 설명하기 위한 블럭도이다.
도 6은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다.
도 7은 본 발명의 일 실시 예에 따라 제1 멀티미디어 데이터를 지연시켜 처리하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따라 제1 멀티미디어 데이터를 지연시켜 처리하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 수신 장치의 수신 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템을 나타내는 도면이다. 도 1에 따르면 멀티미디어 데이터 송수신 시스템(1000)은 송신 장치(100) 및 수신 장치(200)를 포함한다.
송신 장치(100)는 멀티미디어 데이터를 처리하여 서로 다른 신호를 서로 다른 전송 망을 통해 전송한다. 예를 들어, 도 1과 같이 송신 장치(100)는 제1 전송 망을 통해 제1 신호를 전송하고, 제2 전송 망을 통해 제2 신호를 전송할 수 있다.
제1 신호 및 제2 신호는 하나의 컨텐츠를 구성하는 서로 다른 멀티미디어 데이터 또는 상대적으로 저화질의 멀티미디어 데이터와 상대적으로 고화질의 멀티미디어 데이터일 수 있다. 예를 들어, 멀티미디어 데이터가 3D 컨텐츠인 경우에는 좌안 영상 및 우안 영상 중 어느 하나가 제1 전송 망을 통해 전송되고, 다른 하나의 영상이 제2 전송 망을 통해 전송될 수 있다. 다를 예로, FHD(Full High Definition) 화질의 제1 신호가 제1 전송 망을 통해 전송되고, UHD(Ultra High Definition) 화질의 제2 신호가 제2 전송 망을 통해 전송될 수 있다. 이 외에도 제1 신호 및 제2 신호는 멀티 앵글 컨텐츠를 구성하는 멀티미디어 데이터, 2D 영상과 Depth 영상 등이 될 수 있다.
여기서, 제1 전송 망은 RF 망(또는 방송망)이 될 수 있으며, 제2 전송 망은 IP 망(또는, 인터넷 망)이 될 수 있다. 다만, 이는 일 실시 예에 불과하며 제1 전송망이 IP 망이고 제2 전송망이 RF 망이거나, 제1 전송망과 제2 전송망이 동일한 형태의 망이 될 수도 있다.
수신 장치(200)는 송신 장치(100)에서 전송되는 제1 신호 및 제2 신호를 각각 수신하여 멀티미디에 데이터에 대한 신호 처리를 수행하고, 신호 처리된 멀티미디어 데이터를 동기화하여 컨텐츠를 재생할 수 있다.
여기서, 수신 장치(200)는 제2 신호를 서버로부터 수신할 수 있다. 즉, 수신 장치(200)는 송신 장치(100)로부터 제2 신호를 직접 수신할 수도 있으나, 송신 장치(100)에서 생성된 제2 신호를 별도의 서버를 통해 수신할 수도 있다.
한편, 제1 전송망과 제2 전송망을 통해 전송되는 신호에는 동기화를 위한Program Clock Reference), DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp) 등이 포함될 수 있다.
PCR이란 수신 장치(셋톱박스나 TV 등)에서 시각 기준을 송신기 측에 맞추도록 하는 참조 시간 정보를 의미한다. 수신 장치에서는 PCR에 따라서 STC(System Time Clock)의 값을 맞추게 된다. DTS는 데이터의 디코딩 시각을 알려주는 타임 스탬프이며, PTS는 영상 및 음성의 동기화를 위한 재생 시각을 알려주는 타임 스탬프를 의미한다. 본 명세서에서는 DTS 및 PTS를 타임 스탬프라고 명명한다.
서로 다른 신호가 서로 다른 송신 장치(100-1, 100-2)에서 전송되는 경우에는, 송신 장치(100-1, 100-2)의 특성에 따라 PCR이 다를 수 있다. 구체적으로, 서로 다른 신호는 서로 다른 부호화기를 사용하며, 각 부호화기는 시스템 동작 클락 정보가 일치하지 않고, 각 부호화기마다 다른 동작 방식 및 지연을 가질 수 있기 때문이다. 그렇기 때문에, PCR에 맞춘 타임 스탬프에 따라 재생을 하더라도, 동기화가 이루어지지 않을 수 있다.
본 시스템에서 수신 장치(200)는 타임 코드를 이용하여 타임 스탬프를 보정하여 동기화를 수행할 수 있다.
도 2는 본 발명이 일 실시 예에 따른 멀티미디어 데이터 송수신 시스템의 구성을 나타내는 블럭도이다. 도 2에 따르면 멀티미디어 데이터 송수신 시스템(1000)의 송신 장치(100)는 데이터 생성부(110), 제1 전송부(120) 및 제2 전송부(130)를 포함한다.
데이터 처리부(110)는 멀티미디어 데이터 처리하여 제1 전송부(120) 및 제2 전송부(130)로 전송한다. 구체적으로, 데이터 처리부(110)는 멀티미디어 컨텐츠를 구성하는 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 처리하여 각각 제1 전송부(120) 및 제2 전송부(130)로 전송한다. 여기서, 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터와는 동기화를 위한 동기화 정보를 포함할 수 있다.
제1 전송부(120)는 제1 멀티미디어 데이터를 제1 전송 망을 통해 수신 장치(200)로 전송한다. 이를 위해, 제1 전송부(120)는 제1 멀티미디어 데이터를 제1 전송망의 전송 규격에 적합한 형태로 변환하여 수신 장치(200)로 전송할 수 있다.
제2 전송부(130)는 제2 멀티미디어 데이터를 제2 전송 망을 통해 수신 장치(200)로 전송한다. 이를 위해, 제2 전송부(130)는 제2 멀티미디어 데이터를 제2 전송망의 전송 규격에 적합한 형태로 변환할 수 있다.
한편, 멀티미디어 데이터 송수신 시스템의 수신 장치(200)는 제1 수신부(210), 제2 수신부(220) 및 데이터 처리부(230)를 포함한다.
제1 수신부(210)는 송신 장치(100)로부터 제1 전송망을 통해 제1 멀티미디어 데이터를 수신한다. 제2 수신부(210)는 송신 장치(100)로부터 제2 전송망을 통해 제2 멀티미디어 데이터를 수신한다. 예를 들어, 제1 수신부(210)는 방송 망을 통해 제1 멀티미디어 데이터를 수신하고, 제2 수신부(210)는 IP 망을 통해 제2 멀티미디어 데이터를 수신할 수 있다.
데이터 처리부(230)는 제1 전송 데이터 및 제2 전송 데이터를 처리하여 멀티미디어 컨텐츠를 구성한다. 구체적으로, 데이터 처리부(230)는 수신된 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 신호 처리하여 비디오 프레임을 생성하고 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터에 포함된 동기화 정보를 이용하여 제1 멀티미디어 데이터의 비디오 프레임 및 제2 멀티미디어 데이터의 비디오 프레임을 동기화하여 렌더링을 수행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 수신 장치의 구체적인 구성을 나타내는 블럭도이다. 도 3에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220), 제1 신호처리부(240), 제2 신호처리부(250), 제어부(260) 및 렌더링부(270)를 포함한다.
제1 수신부(210)는 제1 멀티미디어 데이터를 수신한다. 구체적으로, 제1 수신부(210)는 방송망을 통해 프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 수신할 수 있다.
제2 수신부(220)는 제2 멀티미디어 데이터를 수신한다. 구체적으로, 제2 수신부(220)는 방송망을 통해 프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 수신할 수 있다.
제1 수신부(210) 및 제2 수신부(220)의 구성은 그 통신 경로에 따라 다양하게 구현될 수 있다. 예를 들어, 방송 망을 통해 전송되는 신호를 수신하기 위한 모듈인 경우에는 안테나, 튜너, 복조부, 등화부 등과 같은 구성요소들을 포함할 수 있다. 네트워크를 통해 신호를 수신하는 경우에는 네트워크 통신 모듈을 포함할 수 있다.
한편, 각 멀티미디어 데이터에 부가된 타임코드로 SMPTE(Society of Motion Picture and Television Engineers) 타임 코드가 사용될 수 있다. SMPTE 12M에서는 "시:분:초:프레임"의 형식으로 타임 코드를 표현한다. SMPTE 12M 타임 코드는 영화, 비디오, 오디오 등 로우 데이터의 획득 및 편집시에 삽입될 수 있으며, 시간축 상의 수정 및 편집을 위한 레퍼런스의 역할을 할 수 있다. 동일한 시간축 상에서 획득된 로드 데이터는 동일한 타임코드 값을 가질 수 있다.
SMPTE 타임 코드는 기록 방식에 따라 LTC(Longitude Time Code) 또는 VITC(Vertical Interval Time Code)로 구분될 수 있다. LTC는 테이프의 진행 방향에 따라 기록된다. LTC의 경우, 시각정보(25bits), 사용자 정보(32bits), 동기정보(16bits), 보존 영역(4bits), 프레임 모드 표시(2bits)를 포함하여 총 80 bits의 데이터로 구성될 수 있다. VITC는 비디오 신호의 수직 귀선 기간 내의 2 개의 수평 라인에 기록된다.
SMPTE RP-188 에서는 LTC 또는 VITC 타입의 타임코드가 ancillary data로 전송될 수 있는 인터페이스 규격을 정의하고 있으며, 타임 코드는 이러한 인터페이스 규격에 따라 전송할 수 있다.
한편, 제1 및 제2 멀티미디어 데이터는 타임 코드뿐만 아니라 동기화를 위한 타임 스탬프를 포함할 수 있다. 구체적으로, 제1 및 제2 멀티미디어 데이터는 각각 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)를 포함할 수 있다. 일반적으로, 타임 스탬프는 동기화를 위한 동기화 정보로 이용될 수 있으나, 이종만 기반의 멀티미디어 데이터 송수신 시스템에서는 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 각각 상이한 부호화기로 부호화함에 따라 시스템 클락이 일치하지 않는 문제가 발생할 수 있으며, 이에 따라 상술한 타임 코드를 이용하여 동기화를 수행할 수 있다. 이에 대한 구체적인 내용은 후술하기로 한다.
도 4는 본 발명의 일 실시 예에 따라 타임 코드 및 타임 스탬프가 부가된 스트림의 예를 나타내는 도면이다. 송신 장치(100)는 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 전송 스트림 형태로 전송할 수 있다.
구체적으로, 송신 장치(100)는 멀티미디어 데이터를 구성하는 비디오 ES(Elementary Stream), 오디오 ES 및 부가 데이터 ES를 PES(Packetized Elementary Stream) 패킷화기를 통해 패킷 화 한 후 멀티플렉싱하여 전송 스트림을 생성할 수 있다. 여기서, 도 4에서와 같이 각 PES 헤더에는 PTS 및 DTS 정보가, ES 헤더에는 타임 코드 정보가 포함될 수 있다. 특히, 타임 코드 정보는 비디오 ES 헤더, 오디오 ES 헤더, 부가 데이터 ES 헤더 중 하나에 포함될 수 있다.
제1 신호 처리부(240)는 제1 수신부(210)를 통해 수신한 제1 멀티미디어 데이터를 신호 처리하여 비디오 프레임을 생성한다. 제2 신호처리부(250)는 제2 수신부(220)를 통해 수신한 제2 멀티미디어 데이터를 신호 처리하여 비디오 프레임을 생서한다. 제1 신호 처리부(240) 및 제2 신호 처리부(250)에 대해서는 도 5를 참조하여 구체적으로 설명한다.
도 5는 본 발명의 일 실시 예에 따른 제1 및 제2 신호 처리부의 구체적인 구성을 설명하기 위한 블럭도이다. 도 5에 따르면 제1 신호 처리부(240)는 제1 디먹스(241), 제1 버퍼(242), 제1 디코더(243) 및 제2 버퍼(244)를 포함한다.
제1 디먹스(241)는 제1 수신부(210)로부터 제1 멀티미디어 데이터를 수신하여 디먹싱한다. 구체적으로, 제1 디먹스(241)는 제1 멀티미디어 데이터를 수신하여 디먹싱함으로써, 제1 비디오 데이터, 제1 오디오 데이터 및 제1 부가 데이터로 분리할 수 있다.
제1 버퍼(242)는 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 저장한다. 구체적으로, 제1 버퍼(242)는 제1 멀티미디어 데이터로부터 디먹싱되는 제1 비디오 데이터를 순차적으로 저장할 수 있다.
제1 디코더(243)는 제1 버퍼(242)에 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성할 수 있다. 구체적으로, 제1 디코더(242)는 송신 장치(100)에서 제1 비디오 데이터를 인코딩한 인코더(미도시)의 역과정을 수행하며, 제1 비디오 데이터의 DTS와 시스템 클락이 일치하는 순간 제1 비디오 데이터를 디코딩할 수 있다. 특히, 송신 장치(100)에서 제1 비디오 데이터를 인코딩한 인코더(미도시)는 이종망을 통한 데이터 수신을 지원하지 않는 기존 수신 장치와의 호환성을 위해 제1 비디오 데이터에 대해 MPEG-2 인코딩을 수행할 수 있으며, 이에 따라, 수신 장치(200)의 제1 디코더(242)는 제1 비디오 데이터에 대해 MPEG-2 디코딩을 수행할 수 있다. 제1 비디오 데이터의 영상 포맷은 이에 한정되지 않으며 H.264, HEVC 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩 및 디코딩될 수 있다.
제2 버퍼(244)는 제1 디코더(243)에 의해 생성된 제1 비디오 프레임을 저장한다. 구체적으로, 제2 버퍼(244)는 제1 비디오 데이터가 제1 디코더(243)에 의해 디코딩되는 순서에 따라 생성되는 비디오 프레임을 순차적으로 저장할 수 있다.
한편, 도 5에 따르면 제2 신호 처리부(250)는 제2 디먹스(251), 제3 버퍼(252), 제2 디코더(253) 및 제4 버퍼(254)를 포함한다.
제2 디먹스(251)는 제2 수신부(220)로부터 제2 멀티미디어 데이터를 수신하여 디먹싱한다. 구체적으로, 제2 디먹스(251)는 제2 멀티미디어 데이터를 수신하여 디먹싱함으로써, 제2 비디오 데이터, 제2 오디오 데이터 및 제2 부가 데이터로 분리할 수 있다.
제3 버퍼(252)는 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 저장한다. 구체적으로, 제2 버퍼(252)는 제2 멀티미디어 데이터로부터 디먹싱되는 제2 비디오 데이터를 순차적으로 저장할 수 있다.
제2 디코더(253)는 제3 버퍼(252)에 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성할 수 있다. 구체적으로, 제2 디코더(252)는 송신 장치(100)에서 제2 비디오 데이터를 인코딩한 인코더(미도시)의 역과정을 수행하며, 제2 비디오 데이터의 DTS와 시스템 클락이 일치하는 순간 제2 비디오 데이터를 디코딩할 수 있다. 제2 특히, 송신 장치(100)의 제2 비디오 데이터를 인코딩한 인코더(미도시)는 제2 비디오 데이터에 대해 H.264 인코딩을 수행할 수 있으며, 이에 따라, 수신 장치(200)의 제2 디코더(252)는 제2 비디오 데이터에 대해 H.264 디코딩을 수행할 수 있다. 제2 비디오 데이터의 영상 포맷은 이에 한정되지 않으며 HEVC 등 현재 이용가능한 영상 포맷 및 추후 개발되어 본 발명에 적용될 수 있는 다양한 영상 포맷에 따라 인코딩 및 디코딩될 수 있다.
제4 버퍼(254)는 제2 디코더(253)에 의해 생성된 제2 비디오 프레임을 저장한다. 구체적으로, 제4 버퍼(254)는 제2 비디오 데이터가 제2 디코더(253)에 의해 디코딩되는 순서에 따라 생성되는 비디오 프레임을 순차적으로 저장할 수 있다.
한편, 제1 및 제2 신호 처리부(240,250)는 디먹싱된 비디오 데이터, 오디오 데이터 및 부가 데이터를 디패킷화하기 위한 디패킷화부, 디패킷화된 오디오 데이터 및 부가 데이터를 처리하기 위한 버퍼(미도시),디코더(미도시) 등의 구성을 더 포함할 수 있으며, 디코딩된 오디오 데이터 및 부가 데이터는 제1 비디오 프레임 및 제2 비디오 프레임과 동기화 또는 렌더링되어 출력될 수 있다. 다만, 본 발명과 직접적인 관련이 없으므로 그 구체적인 동작은 생략하기로 한다.
제어부(260)는 수신 장치(260)의 전반적인 동작을 제어할 수 있다. 구체적으로 제어부(260)는 제1 수신부(210), 제2 수신부(220), 제1 신호 처리부(240), 제2 신호 처리부(250) 및 렌더링부(270) 각각을 제어하여 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 수신하여 처리하도록 할 수 있다.
그리고, 제어부(260)는 디먹싱된 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터로부터 각각 타임 코드 및 타임 스탬프에 대한 정보를 검출할 수 있다. 도 3을 참조하여 설명한 바와 같이 타임 코드는 ES 헤더에, 타임 스탬프는 PES 헤더에 삽입될 수 있다. 따라서, 제어부(260)는 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터가 디먹싱된 이후에 타임 코드 및 타임 스탬프를 검출할 수 있다. 보다 구체적으로, 제어부(260)는 멀티미디어를 디먹싱하여 생성된 PES의 헤더로부터 타임 스탬프를 검출할 수 있으며, PES를 디패킷화부(미도시)에 의해 디패킷화하여 생성된 ES의 헤더로부터 타임 코드를 검출할 수 있다.
또한, 멀티미디어 데이터가 디먹싱 및 디패킷화된 이후에는 제어부(260)는 언제든지 타임 코드를 검출할 수 있다. 즉, 제어부(260)는 디먹싱되어 버퍼(242, 252)에 저장된 비디오 데이터로부터 타임 코드를 검출할 수 있으며, 또는 디코더(243, 253)에 의한 디코딩 과정에서 타임 코드를 검출할 수도 있다. 또한, 디코딩되어 버퍼(244, 254)에 저장된 데이터로부터 타임 코드를 검출할 수도 있다.
그리고, 제어부(260)는 제1 멀티미디어 데이터의 제1 타임 코드와 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출할 수 있다.
예를 들어, 동일한 타임 코드를 가지는 제1 비디오 프레임과 제2 비디오 프레임 중 제1 비디오 프레임의 PTS(PTS_1)가 115이고, 제2 비디오 프레임의 PTS(PTS_2)가 100인 경우 두 프레임의 PTS 차이는 15가 될 수 있다. DTS의 경우도 동일하다.
제어부(260)는 산출된 타임 스탬프 정보의 차이를 산출하여 타임 스탬프를 보정함으로써, 제1 비디오 데이터(또는 제1 비디오 프레임) 및 제2 비디오 데이터(또는, 제2 비디오 프레임)을 동기화할 수 있다. 예를 들어, PTS_1 - PTS_2 =15인 경우 제1 비디오 프레임이 동일한 타임 코드를 가지는 제2 비디오 프레임에 비해 15 프레임만큼 늦게 출력될 수 있도록 PTS를 보정할 수 있다.
여기서, 제어부(260)는 산출된 타임 스탬프 정보의 차이를 이용하여 제1 버퍼(242) 및 제3 버퍼(252)에 저장된 제1 및 제2 비디오 데이터 중 하나의 DTS를 보정함으로써, 디코더(243, 253)에 의해 디코딩되기 전 비디오 데이터를 동기화할 수 있다.
또한, 제어부(260)는 산출된 타임 스탬프 정보의 차이를 이용하여 제1 디코더(243) 및 제2 디코더(253)의 디코딩 과정에서 제1 비디오 데이터 및 제2 비디오 데이터(또는, 제1 및 제2 비디오 프레임)의 DTS(또는 PTS)를 보정함으로써, 비디오 데이터를 동기화할 수 있다.
그리고, 제어부(260)는 산출된 타임 스탬프 정보의 차이를 이용하여 제2 버퍼(244) 및 제4 버퍼(254)에 저장된 제1 및 제2 비디오 프레임 중 하나의 PTS를 보정함으로써 렌더링부(270)에 입력되기 전 비디오 프레임을 동기화할 수 있다.
렌더링부(270)는 제1 비디오 프레임과 제2 비디오 프레임을 이용하여 렌더링을 수행할 수 있다. 구체적으로, 제1 비디오 프레임과 제2 비디오 프레임의 PTS가 시스템 클락과 일치하는 순간 제1 비디오 프레임과 제2 비디오 프레임을 렌더링하여 디스플레이 화면으로 출력할 수 있다.
한편, 렌더링부(270)는 제어부(260)에 의해 산출된 타임 스탬프 정보의 차이를 이용하여, 제2 버퍼(244)에 저장된 제1 비디오 프레임과 제4 버퍼(254)에 저장된 제2 비디오 프레임 중 동기화될 영상 프레임을 독출하여 렌더링을 수행할 수 있다.
한편, 상술한 실시 예에서는 타임 코드가 전송 스트림의 ES 헤더에 삽입되어 수신 장치(200)로 전송되는 것으로 설명하였으나, 수신 장치(200)는 타임 코드에 대한 정보를 별도의 스트림으로부터 수신하여 제1 비디오 데이터 및 제2 비디오 데이터를 동기화할 수 있다. 구체적으로, 수신 장치(200)는 제1 수신부(210) 또는 제2 수신부(220)를 통해 서버 등의 외부 장치로부터 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터의 패킷 순서 및 각 패킷에 포함된 비디오 프레임의 타임 코드 및 PTS 정보를 포함하는 맵 테이블을 수신할 수 있다. 제어부(260)는 수신된 맵 테이블에 포함된 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터의 타임 코드 정보를 비교하여 일치하는 타임 코드를 가지는 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터의 PTS를 비교하여 PTS 차이를 산출할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 6에 따르면 수신 장치(200)는 제1 수신부(210), 제2 수신부(220), 제1 신호처리부(240), 제2 신호처리부(250), 제어부(260) 및 렌더링부(270) 뿐만 아니라 저장부(280)를 더 포함할 수 있다.
수신 장치(200)가 각각 상이한 망을 통해 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 수신하는 경우, 망 특성에 따라 수신 시점에 차이가 발생할 수 있다. 특히, 제1 멀티미디어 데이터는 방송망으로, 제2 멀티미디어 데이터는 IP 망으로 전송하는 경우, IP 망의 특성상 제2 멀티미디어 데이터가 수신 장치로 늦게 전송될 수 있다. 제1 멀티미디어 데이터와 제2 멀티미디어 데이터가 유사한 시점에 수신되는 경우 상술한 타임 스탬프 보정으로 동기화가 가능하지만, 제1 멀티미디어 데이터와 제2 멀티미디어 데이터의 수신 시각이 커지는 경우 PTS 보정만으로 동기화하는 것이 불가능할 수 있다. 즉, 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터 중 하나가 늦게 수신되면, 동일한 타임 코드를 가지는 비디오 프레임을 찾을 수 없게 되어 각 비디오 프레임의 동기화가 불가능해질 수 있다.
이에 따라, 수신 장치(200)는 제1 멀티미디어 데이터 또는 제2 멀티미디어 데이터 중 먼저 수신되는 멀티미디어 데이터를 지연시키기 위해 제1 멀티미디어 데이터 또는 제2 멀티미디어 데이터를 저장하기 위한 저장부(280)를 포함할 수 있다. 여기서, 저장부(280)는 PVR(Personal Video Recorder)과 같은 장치로 구현될 수 있다. 이하에서는 설명의 편의를 위해 제1 멀티미디어 데이터는 방송망을 통해 수신되고, 제2 멀티미디어 데이터는 IP 망을 통해 수신되는 경우를 예를 들어 설명한다.
저장부(280)는, 제1 멀티미디어 데이터가 방송망을 통해 수신되고, 제2 멀티미디어 데이터가 IP 망을 통해 수신되는 경우, 제1 수신부(210)를 통해 수신되는 제1 멀티미디어 데이터를 저장할 수 있다.
제어부(260)는 저장부(280)에 저장된 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 제1 멀티미디어 데이터를 처리하도록 제1 신호 처리부(240)를 제어할 수 있다. 여기서, 제어부(260)는 저장부(280)에 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 제2 수신부(220)를 통해 수신되는 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교함으로써, 저장부(280)에 저장된 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단할 수 있다.
구체적으로, 제어부(260)는 저장부(280)에 저장된 제1 멀티미디어 데이터로부터 타임 코드를 검출한다. 도 3 에서 설명한 바와 같이 타임 코드는 ES 헤더에 삽입될 수 있으며, 제1 멀티미디어 데이터에서 타임 코드를 검출하기 위해서는 저장부(280)에 저장된 제1 멀티미디어 데이터를 디먹싱하여야 한다.(보다 구체적으로는, 제1 멀티미디어 데이터의 디먹싱으로 생성된 PES 데이터를 디패킷화한 후 타임 코드를 검출할 수 있다.) 이를 위해, 제1 신호처리부는 제1 디먹스(241)를 이용하여 제1 멀티미디어 데이터를 디먹싱할 수 있다. 또는, 제1 신호처리부(240)는 저장부(280)에 저장된 제1 멀티미디어 데이터를 디먹싱하기 위한 별도의 디먹스(미도시)를 구비할 수도 있다.
또한, 제어부(260)는 제2 수신부(220)를 통해 제2 멀티미디어 데이터가 수신되면 제어부(260)는 제2 멀티미디어 데이터로부터 타임 코드를 검출할 수 있다. 제어부(260)는 제2 멀티미디어 데이터로부터 검출한 타임 코드 및 저장부(280)에 저장된 제1 멀티미디어 데이터로부터 검출한 타임 코드를 비교하여 일치하는 타임 코드가 있는 경우 저장부(280)에 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었다고 판단할 수 있다.
한편, 제어부(260)는 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었다고 판단하면, 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터가 동기화되어 재생될 수 있도록 수신 장치(200)의 각 구성을 제어할 수 있다. 이에 대해서는 도 5를 참조하여 설명하였으므로, 구체적인 설명은 생략한다.
한편, 제1 멀티미디어 데이터가 저장부(280)에 저장되는 조건에 따라 수신 장치(200)의 동작이 달라질 수 있다. 이에 대해서는 도 7 및 도 8을 참조하여 구체적으로 설명한다.
도 7은 본 발명의 일 실시 예에 따라 제1 멀티미디어 데이터를 지연시켜 처리하는 방법을 설명하기 위한 도면이다. 구체적으로, 도 7은 수신 장치(200)가 제1 멀티미디어 데이터만을 처리하여 재생하는 중 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 연동하여 재생하기 위한 사용자 명령을 입력받은 경우, 사용자 명령이 입력된 시점부터 수신되는 제1 멀티미디어 데이터를 저장하는 경우를 설명하기 위한 도면이다.
RF 망을 통해 제1 멀티미디어 데이터(710)가 수신되어 재생되는 중 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 연동하여 재생하기 위한 사용자 명령이 입력된 경우(예를 들어, 2D 컨텐츠 재생 중 3D 컨텐츠를 재생하기 위한 사용자 명령이 입력된 경우), 사용자 명령이 입력된 시점 이후로 수신되는 제1 멀티미디어 데이터(도 7의 제1 멀티미디어 데이터(710)의 4번 패킷 이후)가 저장부(280)에 저장된다.
수신 장치(200)는 사용자 명령이 입력되면 제2 멀티미디어 데이터를 제공하는 송신 장치(100) 또는 서버로부터 제2 멀티미디어 데이터를 요청하여 IP 망을 통해 제2 멀티미디어 데이터(720)를 수신할 수 있다. 이 경우, 사용자 명령이 입력된 시점부터 제1 멀티미디어 데이터와 제2 멀티미디어 데이터가 동기화되어 재생되는 시점까지는 일정한 딜레이가 존재한다. 예를 들어, 수신 장치(200)가 제2 멀티미디어 데이터를 요청하여 최초의 1번 패킷을 수신하기까지는 일정 시간이 소요될 수 있으며, 추가적으로, 제2 멀티미디어 데이터의 1번 패킷이 수신되는 시점(t1)으로부터 저장부(280)에 저장된 제1 멀티미디어 데이터와 동기화되어 재생될 제2 멀티미디어 데이터의 4번 패킷이 수신되는 시점(t2)까지 일정 시간이 소요될 수 있다.
이에 따라, 수신 장치(200)는 사용자 명령이 입력된 시점(t0)부터 제2 멀티미디어 데이터의 4번 패킷이 수신되는 시점(t2)까지 제1 멀티미디어 데이터의 재생을 멈추고, 제2 멀티미디어 데이터의 4번 패킷이 수신되면 제1 멀티미디어 데이터와 동기화하여 재생할 수 있다.
또는, 수신 장치(200)는 사용자 명령이 입력되더라도 제1 멀티미디어 데이터만으로 재생을 수행하고, 제2 멀티미디어 데이터의 4번 패킷이 수신되면(t2) 제1 멀티미디어 데이터와 제2 멀티미디어 데이터의 4번 패킷부터 다시 동기화하여 재생할 수 있다.
결과적으로, 수신 장치(200)는 IP 스트림을 통한 제2 멀티미디어 데이터의 수신이 지연되더라도 저장부(280)에 저장된 제1 멀티미디어 데이터의 처리를 지연시켜 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 동기화하여 재생할 수 있게 된다.
도 8은 본 발명의 다른 실시 예에 따라 제1 멀티미디어 데이터를 지연시켜 처리하는 방법을 설명하기 위한 도면이다. 구체적으로, 도 8은 수신 장치(200)가 제1 멀티미디어(810)가 최초 재생되는 시점부터 저장부(280)에 제1 멀티미디어 데이터를 저장하는 경우(즉, 제1 멀티미디어 데이터의 1번 패킷부터 제1 멀티미디어 데이터를 저장하는 경우)를 설명하기 위한 도면이다.
수신 장치(200)는 RF 망을 통해 제1 멀티미디어 데이터(810)를 수신하여 재생하며, 제1 멀티미디어 데이터의 1번 패킷부터 저장부(280)에 저장한다. 이후, 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 연동하여 재생하기 위한 사용자 명령이 입력된 경우 수신 장치(200)는 송신 장치(100) 또는 서버로 제2 멀티미디어 데이터(820)를 요청하여 IP 망을 통해 수신할 수 있다. 제2 멀티미디어 데이터의 1번 패킷이 수신되면 수신 장치(200)는 저장부(280)에 저장된 제1 멀티미디어 데이터의 패킷 중 제2 멀티미디어 데이터의 1번 패킷과 동기화되어 재생될 제1 멀티미디어 데이터의 패킷(즉, 제1 멀티미디어 데이터의 1번 패킷)을 찾아서 동기화하여 출력할 수 있다. 즉, 제1 멀티미디어 데이터 및 제2 멀티미디어 데이터를 동기화하여 멀티미디어 컨텐츠를 처음부터 다시 재생할 수 있다.
결과적으로, 수신 장치(200)는 IP 스트림을 통한 제2 멀티미디어 데이터의 수신이 지연되더라도 저장부(280)에 저장된 제1 멀티미디어 데이터의 처리를 지연시켜 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 동기화하여 재생할 수 있게 된다.
도 9는 본 발명의 일 실시 예에 따른 수신 장치의 수신 방법을 설명하기 위한 흐름도이다. 도 9에 따르면 제1 멀티미디어 데이터를 방송망을 통해 수신하며(910). 제2 멀티미디어 데이터를 IP 망을 통해 수신한다(S920). 그리고, 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성한다(S930). 제1 비디오 프레임을 생성하는 단계는 수신된 제1 멀티미디어 데이터를 디먹싱하는 단계, 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 제1 버퍼에 저장하는 단계, 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성하는 단계 및 제1 비디오 프레임을 제2 버퍼에 저장하는 단계를 포함할 수 있다.
그리고, 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성한다(S940). 제2 비디오 프레임을 생성하는 단계는, 수신된 제2 멀티미디어 데이터를 디먹싱하는 단계, 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 제3 버퍼에 저장하는 단계, 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성하는 단계 및 제2 비디오 프레임을 제4 버퍼에 저장하는 단계를 포함할 수 있다.
그리고, 제1 멀티미디어 데이터의 제1 타임 코드와 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출한다(S950).
이후, 타임 스탬프 정보의 차이를 이용하여 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행한다(960).
한편, 본 발명의 일 실시 예에 따른 수신 장치의 수신 방법은 타임 스탬프 정보의 차이를 이용하여 제1 버퍼 및 제3 버퍼에 저장된 제1 비디오 데이터 및 제2 비디오 데이터 중 하나의 타임 스탬프 정보를 보정하는 단계를 더 포함할 수 있다.
또한, 제1 수신부를 통해 수신되는 제1 멀티미디어 데이터를 저장하는 단계를 더 포함할 수 있다. 여기서, 제1 비디오 프레임을 생성하는 단계는, 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 제1 멀티미디어 데이터를 신호 처리할 수 있다.
또한, 제1 비디오 프레임을 생성하는 단계는, 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 수신된 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교하여 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단할 수 있다.
그리고, 저장하는 단계는, 제1 멀티미디어 데이터와 제2 멀티미디어 데이터를 동기화하여 재생하기 위한 사용자 명령이 입력되면, 제1 멀티미디어 데이터를 저장할 수 있다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 방송망을 통해 수신하는 제1 수신부;
    프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 IP 망을 통해 수신하는 제2 수신부;
    상기 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성하는 제1 신호 처리부;
    상기 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성하는 제2 신호 처리부;
    상기 제1 멀티미디어 데이터의 제1 타임 코드와 상기 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출하는 제어부; 및
    상기 타임 스탬프 정보의 차이를 이용하여 상기 생성된 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행하는 렌더링부;를 포함하는 수신 장치.
  2. 제1항에 있어서,
    상기 제1 신호처리부는,
    상기 수신된 제1 멀티미디어 데이터를 디먹싱하는 제1 디먹스;
    상기 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 저장하는 제1 버퍼;
    상기 제1 버퍼에 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성하는 제1 디코더; 및
    상기 생성된 제1 비디오 프레임을 저장하는 제2 버퍼;를 포함하며,
    상기 제2 신호처리부는,
    상기 수신된 제2 멀티미디어 데이터를 디먹싱하는 제2 디먹스;
    상기 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 저장하는 제3 버퍼;
    상기 제3 버퍼에 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성하는 제2 디코더; 및
    상기 생성된 제2 비디오 프레임을 저장하는 제4 버퍼;를 포함하는 것을 특징으로 하는 수신 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 타임 스탬프 정보의 차이를 이용하여 상기 제1 버퍼 및 상기 제3 버퍼에 저장된 제1 비디오 데이터 및 제2 비디오 데이터 중 하나의 타임 스탬프 정보를 보정하는 것을 특징으로 하는 수신 장치.
  4. 제1항에 있어서,
    상기 제1 수신부를 통해 수신되는 제1 멀티미디어 데이터를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 상기 저장된 제1 멀티미디어 데이터를 처리하도록 상기 제1 신호처리부를 제어하는 것을 특징으로 하는 수신 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 저장부에 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 상기 제2 수신부를 통해 수신되는 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교하여 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단하는 것을 특징으로 하는 수신 장치.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 제1 멀티미디어 데이터와 상기 제2 멀티미디어 데이터를 동기화하여 재생하기 위한 사용자 명령이 입력되면, 상기 제1 멀티미디어 데이터를 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는 수신 장치.
  7. 수신 장치의 수신 방법에 있어서,
    프레임별로 제1 타임 코드가 부가된 제1 멀티미디어 데이터를 방송망을 통해 수신하는 단계;
    프레임별로 제2 타임 코드가 부가된 제2 멀티미디어 데이터를 IP 망을 통해 수신하는 단계;
    상기 제1 멀티미디어 데이터를 신호 처리하여 제1 비디오 프레임을 생성하는 단계;
    상기 제2 멀티미디어 데이터를 신호 처리하여 제2 비디오 프레임을 생성하는 단계;
    상기 제1 멀티미디어 데이터의 제1 타임 코드와 상기 제2 멀티미디어 데이터의 제2 타임 코드를 비교하여 일치하는 타임 코드를 가지는 비디오 프레임의 타임 스탬프 정보의 차이를 산출하는 단계; 및
    상기 타임 스탬프 정보의 차이를 이용하여 상기 생성된 제1 비디오 프레임 및 제2 비디오 프레임 중 서로 동기화될 비디오 프레임을 각각 독출하여 렌더링을 수행하는 단계;를 포함하는 수신 방법.
  8. 제7항에 있어서,
    상기 제1 비디오 프레임을 생성하는 단계는,
    상기 수신된 제1 멀티미디어 데이터를 디먹싱하는 단계;
    상기 제1 멀티미디어 데이터로부터 디먹싱된 제1 비디오 데이터를 제1 버퍼에 저장하는 단계;
    상기 저장된 제1 비디오 데이터를 디코딩하여 제1 비디오 프레임을 생성하는 단계; 및
    상기 생성된 제1 비디오 프레임을 제2 버퍼에 저장하는 단계;를 포함하며,
    상기 제2 비디오 프레임을 생성하는 단계는,
    상기 수신된 제2 멀티미디어 데이터를 디먹싱하는 단계;
    상기 제2 멀티미디어 데이터로부터 디먹싱된 제2 비디오 데이터를 제3 버퍼에 저장하는 단계;
    상기 저장된 제2 비디오 데이터를 디코딩하여 제2 비디오 프레임을 생성하는 단계; 및
    상기 생성된 제2 비디오 프레임을 제4 버퍼에 저장하는 단계;를 포함하는 것을 특징으로 하는 수신 방법.
  9. 제8항에 있어서,
    상기 타임 스탬프 정보의 차이를 이용하여 상기 제1 버퍼 및 상기 제3 버퍼에 저장된 제1 비디오 데이터 및 제2 비디오 데이터 중 하나의 타임 스탬프 정보를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 수신 방법.
  10. 제7항에 있어서,
    상기 제1 수신부를 통해 수신되는 제1 멀티미디어 데이터를 저장하는 단계;를 더 포함하며,
    상기 제1 비디오 프레임을 생성하는 단계는,
    상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되면 상기 저장된 제1 멀티미디어 데이터를 신호 처리하는 것을 특징으로 하는 수신 방법.
  11. 제10항에 있어서,
    상기 제1 비디오 프레임을 생성하는 단계는,
    상기 저장된 제1 멀티미디어 데이터에 부가된 제1 타임 코드 및 상기 수신된 제2 멀티미디어 데이터에 부가된 제2 타임 코드를 비교하여 상기 저장된 제1 멀티미디어 데이터와 동기화될 제2 멀티미디어 데이터가 수신되었는지 여부를 판단하는 것을 특징으로 하는 수신 방법.
  12. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 제1 멀티미디어 데이터와 상기 제2 멀티미디어 데이터를 동기화하여 재생하기 위한 사용자 명령이 입력되면, 상기 제1 멀티미디어 데이터를 저장하는 것을 특징으로 하는 수신 방법.
PCT/KR2012/006455 2011-08-12 2012-08-13 수신 장치 및 그 수신 방법 WO2013025032A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP12823547.0A EP2728858B1 (en) 2011-08-12 2012-08-13 Receiving apparatus and receiving method thereof
US14/238,645 US9762774B2 (en) 2011-08-12 2012-08-13 Receiving apparatus and receiving method thereof
BR112014003343-9A BR112014003343B1 (pt) 2011-08-12 2012-08-13 Aparelho de recepção e método de recepção do mesmo
CN201280039426.7A CN103718563B (zh) 2011-08-12 2012-08-13 接收装置及其接收方法
JP2014524950A JP6184408B2 (ja) 2011-08-12 2012-08-13 受信装置及びその受信方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161522906P 2011-08-12 2011-08-12
US61/522,906 2011-08-12
KR10-2012-0088488 2012-08-13
KR1020120088488A KR101967818B1 (ko) 2011-08-12 2012-08-13 수신 장치 및 그 수신 방법

Publications (1)

Publication Number Publication Date
WO2013025032A1 true WO2013025032A1 (ko) 2013-02-21

Family

ID=47897156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006455 WO2013025032A1 (ko) 2011-08-12 2012-08-13 수신 장치 및 그 수신 방법

Country Status (7)

Country Link
US (1) US9762774B2 (ko)
EP (1) EP2728858B1 (ko)
JP (1) JP6184408B2 (ko)
KR (1) KR101967818B1 (ko)
CN (1) CN103718563B (ko)
BR (1) BR112014003343B1 (ko)
WO (1) WO2013025032A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843663A1 (en) * 2013-08-29 2015-03-04 Avid Technology, Inc. Interconnected multimedia systems with synchronized playback of media streams

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780943B (zh) * 2014-01-24 2017-04-12 华为技术有限公司 一种音轨切换的方法、设备及***
KR20150114854A (ko) * 2014-04-02 2015-10-13 한국전자통신연구원 하이브리드 방송 송수신 방법 및 장치
JP6521052B2 (ja) * 2015-02-27 2019-05-29 富士フイルム株式会社 ガス分離膜、ガス分離モジュール、ガス分離装置、及びガス分離方法
US10887644B2 (en) * 2015-09-01 2021-01-05 Sony Corporation Reception device, data processing method, and program
KR102553258B1 (ko) * 2015-09-18 2023-07-07 삼성전자 주식회사 멀티미디어 컨텐츠를 플레이백하기 위한 장치 및 방법
CN106550248B (zh) * 2015-09-18 2020-05-01 ***通信集团公司 一种音视频同步的方法和设备
CN106937137B (zh) * 2015-12-30 2020-07-14 惠州市伟乐科技股份有限公司 一种多通道数字音频编码音视频同步的方法
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
CN106713963B (zh) * 2016-11-28 2019-07-26 天脉聚源（北京）科技有限公司 一种对齐视频流的播放进度的方法及装置
CN109547768B (zh) * 2018-11-05 2021-04-27 万维科研有限公司 生成三维视频精准深度图的方法
US11259082B2 (en) * 2019-10-22 2022-02-22 Synamedia Limited Systems and methods for data processing, storage, and retrieval from a server
DE112020007135T5 (de) * 2020-04-28 2023-03-30 Lg Electronics Inc. Signalverarbeitungsvorrichtung und Bildanzeigevorrichtung, welche diese umfasst
KR20220111552A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI825928B (zh) * 2022-08-18 2023-12-11 瑞昱半導體股份有限公司 訊號補償裝置以及用來動態地補償訊號的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
KR20090003809A (ko) * 2007-07-03 2009-01-12 삼성전자주식회사 복수개의 망을 이용한 방송 정보 재생 방법 및 장치
KR20100104077A (ko) * 2009-03-16 2010-09-29 한국방송공사 계층적 방송 장치 및 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6334219B1 (en) * 1994-09-26 2001-12-25 Adc Telecommunications Inc. Channel selection for a hybrid fiber coax network
EP0898838B1 (en) * 1996-06-04 2005-02-02 Telefonaktiebolaget LM Ericsson (publ) A modem with ip support
US7241219B2 (en) * 1997-03-12 2007-07-10 Walker Digital, Llc Methods and apparatus for providing entertainment content at a gaming device
US6272132B1 (en) * 1998-06-11 2001-08-07 Synchrodyne Networks, Inc. Asynchronous packet switching with common time reference
US6414996B1 (en) * 1998-12-08 2002-07-02 Stmicroelectronics, Inc. System, method and apparatus for an instruction driven digital video processor
JP4454821B2 (ja) * 2000-10-03 2010-04-21 キヤノン株式会社 伝送装置、伝送方法、および記憶媒体
JP2002125203A (ja) * 2000-10-12 2002-04-26 Mitsubishi Electric Corp メディア符号器及びメディア復号器
US20020089602A1 (en) * 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
US7346698B2 (en) 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US7436806B2 (en) * 2001-07-09 2008-10-14 Samsung Electronics Co., Ltd. Apparatus and method for symbol mapping TFCI bits for a hard split mode in a CDMA mobile communication system
US20040125762A1 (en) * 2001-08-17 2004-07-01 Amit Haller Device, system, method and computer readable medium for attaching to a device identifited by an access point name in a wide area network providing particular services
US7039000B2 (en) * 2001-11-16 2006-05-02 Mitsubishi Electric Research Laboratories, Inc. Timing synchronization for OFDM-based wireless networks
JP3741425B2 (ja) * 2002-01-29 2006-02-01 株式会社東芝 無線伝送装置
JP2004040455A (ja) * 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
JP2004102647A (ja) * 2002-09-10 2004-04-02 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
JP2004254149A (ja) 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> データ伝送制御方法およびシステム
KR20060113522A (ko) 2005-04-28 2006-11-02 삼성전자주식회사 디지털 방송수신기의 비디오복호기 초기화장치 및 방법
US20070022437A1 (en) * 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
JP4440863B2 (ja) * 2005-09-13 2010-03-24 パナソニック株式会社 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム
US9153125B2 (en) * 2005-12-20 2015-10-06 Savant Systems, Llc Programmable multimedia controller with programmable services
JP4994698B2 (ja) * 2006-04-13 2012-08-08 キヤノン株式会社 情報伝送装置及び情報伝送方法
US8379735B2 (en) * 2006-05-15 2013-02-19 Microsoft Corporation Automatic video glitch detection and audio-video synchronization assessment
TW200835303A (en) * 2006-09-07 2008-08-16 Avocent Huntsville Corp Point-to-multipoint high definition multimedia transmitter and receiver
US7782851B2 (en) * 2007-06-26 2010-08-24 At&T Intellectual Property I, L.P. System and method of detecting lost video data packets
KR100923574B1 (ko) 2007-08-07 2009-10-27 한국전자통신연구원 디지털 멀티미디어 방송 송출 시스템 및 방법
WO2009028038A1 (ja) 2007-08-27 2009-03-05 Fujitsu Limited デコーダ装置、およびデコード方法
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、***及方法
JP2009253538A (ja) 2008-04-03 2009-10-29 Sharp Corp 情報処理装置、情報処理方法、及び情報処理プログラム、並びにこのプログラムを記録したコンピュータ読取可能な記録媒体
EP2141689A1 (en) 2008-07-04 2010-01-06 Koninklijke KPN N.V. Generating a stream comprising interactive content
JP5077028B2 (ja) 2008-04-07 2012-11-21 第一精工株式会社 コネクタ装置
US8549575B2 (en) * 2008-04-30 2013-10-01 At&T Intellectual Property I, L.P. Dynamic synchronization of media streams within a social network
CN101557474B (zh) * 2008-05-28 2010-11-10 北京同步科技有限公司 实现多路录制单元录制的视频文件时间点对齐的方法
US8583067B2 (en) * 2008-09-24 2013-11-12 Honeywell International Inc. Apparatus and method for improved wireless communication reliability and performance in process control systems
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US9906757B2 (en) * 2009-02-26 2018-02-27 Akamai Technologies, Inc. Deterministically skewing synchronized events for content streams
US20110052136A1 (en) 2009-09-01 2011-03-03 Video Clarity, Inc. Pattern-based monitoring of media synchronization
EP2323392B1 (en) 2009-11-03 2012-01-04 Tektronix International Sales GmbH Method and apparatus for measuring delay within a compressed digital stream
CA2684678A1 (en) * 2009-11-03 2011-05-03 Research In Motion Limited System and method for dynamic post-processing on a mobile device
CN101854533B (zh) 2010-06-10 2012-05-23 华为技术有限公司 频道切换方法、装置及***
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US20120218288A1 (en) * 2011-02-24 2012-08-30 Cheng Bruce C H Interactive program system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
KR20090003809A (ko) * 2007-07-03 2009-01-12 삼성전자주식회사 복수개의 망을 이용한 방송 정보 재생 방법 및 장치
KR20100104077A (ko) * 2009-03-16 2010-09-29 한국방송공사 계층적 방송 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2728858A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2843663A1 (en) * 2013-08-29 2015-03-04 Avid Technology, Inc. Interconnected multimedia systems with synchronized playback of media streams

Also Published As

Publication number Publication date
CN103718563A (zh) 2014-04-09
BR112014003343A2 (pt) 2017-03-01
KR101967818B1 (ko) 2019-04-10
BR112014003343B1 (pt) 2022-06-21
JP6184408B2 (ja) 2017-08-23
US20140176795A1 (en) 2014-06-26
KR20130018207A (ko) 2013-02-20
EP2728858B1 (en) 2018-05-23
EP2728858A1 (en) 2014-05-07
CN103718563B (zh) 2019-03-15
EP2728858A4 (en) 2014-12-31
US9762774B2 (en) 2017-09-12
JP2014527353A (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
WO2013025032A1 (ko) 수신 장치 및 그 수신 방법
WO2012099359A2 (ko) 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
JP5047607B2 (ja) ストリーム記録装置、ストリーム記録方法、記録システム、および記録再生システム
WO2010053246A2 (en) Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
WO2013154350A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
JP2008160748A5 (ko)
JPH08340541A (ja) デジタルデータの伝送方法、伝送装置、記録方法、記録装置、再生方法、再生装置、記録再生方法及び記録再生装置
WO2012144795A2 (en) Apparatus for outputting broadcast recorded by schedule recording and control method thereof
JP5283914B2 (ja) 表示制御装置及び表示制御方法
WO2021060578A1 (ko) 영상표시장치, 이의 립싱크 보정방법 및 영상표시시스템
US20050147175A1 (en) Stream data communication system
JP2001111943A (ja) 記録再生装置
KR100539731B1 (ko) 전송스트림저장장치및방법
US10531136B2 (en) Data processing device, data processing method, and program
JP6684433B2 (ja) 送信装置、送信方法、並びに、プログラム
US20170171598A1 (en) Broadcast receiving apparatus and controlling method thereof
JP3716834B2 (ja) 再生装置及び再生方法
JP2010187055A (ja) 映像出力装置、映像出力システムおよび映像同期方法
JP2005286742A (ja) Ａｖ装置、ａｖシステムおよびａｖ信号転送方法
JP2003333533A (ja) 映像音声信号再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12823547

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012823547

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014524950

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14238645

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014003343

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014003343

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140212