CN105900439A - 再现多媒体数据的方法和装置 - Google Patents

再现多媒体数据的方法和装置 Download PDF

Info

Publication number
CN105900439A
CN105900439A CN201580004082.XA CN201580004082A CN105900439A CN 105900439 A CN105900439 A CN 105900439A CN 201580004082 A CN201580004082 A CN 201580004082A CN 105900439 A CN105900439 A CN 105900439A
Authority
CN
China
Prior art keywords
data
information
synchronizing information
video
sequence number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580004082.XA
Other languages
English (en)
Other versions
CN105900439B (zh
Inventor
黄承吾
李炳大
梁贤九
黄盛凞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyonggi University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyonggi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyonggi University filed Critical Samsung Electronics Co Ltd
Publication of CN105900439A publication Critical patent/CN105900439A/zh
Application granted granted Critical
Publication of CN105900439B publication Critical patent/CN105900439B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种用于在广播和通信***中再现多媒体数据的方法及装置。根据本发明实施例的用于再现多媒体数据的装置包括：接收器，用于接收多媒体数据；数据处理器，用于处理所接收的多媒体数据并且提取数据单元和信令信息；同步信息处理器，用于从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息；服务解复用器，用于从所述数据单元提取音频数据或视频数据；和广播图像播放器，用于解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。

Description

再现多媒体数据的方法和装置
技术领域
本发明涉及一种在广播和通信***中播放多媒体数据的方法和装置。
背景技术
随着广播和通信的融合，通过多种媒介的多媒体服务变得越来越普遍。也就是说，使用包含地面波、卫星、电缆和类似的传统广播媒介的服务基于数字方法同时由于移动广播服务的引入而已经变得越来越多样化，诸如数字多媒体广播(DMB)、数字视频广播-手持(DVB-H)和高级电视***委员会-移动/手持(ATSC-M/H)和包含互联网协议TV(IPTV)的混合服务。尤其是，数字广播不仅提供具有比传统模拟广播高数十倍的图像质量和CD级声音质量的节目并且提供越来越多的频道以允许用户更大范围的选择，而且提供包括家庭购物、家庭银行、电子信箱和互联网服务的新交互式服务，从而提供比传统广播更高质量的广播服务。
数字广播服务质量分为视频质量(VQ，其是与视频内容本身相关联的图像质量(诸如质量、分辨率和屏幕色彩呈现))、服务视频质量(V-QoS，其是与从服务提供商到终端用户通过网络发送多媒体数据的过程相关联的图像质量)、和体验质量(QoS，即由终端用户通常体验的服务质量，不仅包括视频内容，还包括服务的反应、相互关系、有效和环境条件)。尤其是，频道切换时间(其是用户选择频道并在该频道播放广播图像所花费的时间)用作QoE测试的主要指标。为播放广播图像，不仅需要压缩视频和音频数据，而且需要与经由解码在屏幕上播放这些数据的时间相关的同步信息。在传统技术中，同步信息(被包含在发送音频或视频数据的数据单元中)依据实时传输协议/实时控制协议(RTP/RTCP)发送，或者与音频/视频流分开的数据流依据MPEG媒体传输(MMT)被分配发送同步信息。通常，通过包含不同层的协议栈执行数据传输。因此，为获取播放广播图像所需的信息，需要从所接收的原始数据提取从最低物理层开始到发送压缩视频/音频数据和同步信息的协议栈特定层的封装数据的过程，该过程所需时间最终影响频道切换时间。
图1是数字广播服务的通用数据传输协议栈的示意图。虽然图1以包含4个层(110到140)的协议栈作为示例说明，但是如果需要则可采用进一步细分层次的协议栈。
参照图1，压缩音频/视频数据和有关图像的同步信息在通过数据传输协议栈层时被封装在用于各层的数据单元中。例如，在发送设备的应用/呈现/会话层110中压缩的视频数据被封装在用于网络/传输层120的数据单元的有效载荷中并且被发送给下一层，数据链路层130将从更高层发送的数据存储在其数据单元中的有效载荷中并将该数据发送给下一层。该过程被重复直到数据被发送给作为最低层的物理层140，物理层140中生成的数据单元通过传输介质被发送给接收设备。
接收设备以与发送设备过程反向的顺序提取实际数据。也就是说，物理层140提取通过传输介质接收的数据单元的有效载荷中包含的数据，并将该数据发送给更高层(即数据链路层130)，并且数据链路层130分析所发送的数据以提取用于网络/传输层120的数据单元并将该数据单元发送给网络/传输层120。该过程被重复直到作为最高层的应用/表示/会话层110，应用/表示/会话层110最终提取所压缩的视频/音频数据和同步信息以在屏幕上播放图像。
如上所述，接收设备解码所接收的视频/音频数据并基于相关同步信息确定播放经解码得到的图像的时间。根据传统技术，同步信息通过发送压缩视频或音频信息所生成的数据单元来发送，如图1所示，或者通过与发送音频/视频数据的数据流分开的单独数据流来发送。
图2和3图解通过与发送音频/视频数据的数据流分开的单独数据流发送同步信息的示例。
参照图2和3，同步信息是指在相应时间在屏幕上播放的音频和视频数据，其中第一音频数据Audio data-1和第一视频数据Video data-1需要在T1播放，而第二音频数据Audio data-2和第二视频数据Video data-2分别需要在T3和T2播放。同时，第三音频数据Audio data-3和第三视频数据Video data-3分别需要在T5和T3播放，第四视频数据Vediodata-4和第五视频数据Video data-5分别需要在T4和T5播放。像这样，同步信息一般通过与发送音频和视频数据的协议层相同的层(层X)发送，其中网络/传输层或者更高层被使用。
发明内容
技术问题
压缩音频/视频数据和在屏幕上通过解码播放音频/视频数据的时间(即接收同步信息的时间)是确定频道切换时间的关键因素。接收同步信息的时间被细分为通过传输介质接收封装数据的时间和最终从物理层通过协议栈从所接收数据提取压缩音频/视频数据和同步信息的时间。然而，在传统技术中，当音频/视频数据和同步信息通过相同协议层传送时，在获取同步信息的时间方面存在两个问题。首先，当N个服务在单个传输流中经复用被发送时，N个服务以分区的方式(其中利用减少频带执行不仅发送关于每个服务的音频/视频数据而且还发送同步信息的数据单元的传输)使用带宽，从而引起接收同步信息时间的增加。第二，为提取同步信息，需要从作为协议栈的最低层的物理层到最高层提取封装数据的过程，因此处理时间可能增加，最终引起频道切换时间的增加。
因此，基于上述问题做出本发明，本发明一方面提供一种用于播放能够通过层L2(即数据链路层)而不是通过发送压缩音频/视频数据的协议层发送同步信息的多媒体数据以减少接收和提取同步信息的时间、由此减少整个频道切换时间的方法及装置。
技术方案
一种根据本发明实施例的播放多媒体数据的装置包括：接收器，用于接收多媒体数据；数据处理器，其处理所接收的多媒体数据以提取数据单元和信令信息；同步信息处理器，其从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息；服务解复用器，其从所述数据单元提取音频数据或视频数据；和，广播图像播放器，其解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。
一种根据本发明实施例的播放多媒体数据的方法包括：接收多媒体数据；处理所接收的多媒体数据以提取数据单元和信令信息；从所述信令信息提取与由当前服务提供的广播图像相关的同步信息；从所述数据单元提取音频数据或视频数据；并且解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。
附图说明
图1是数字广播服务的通用数据传输协议栈的示意图；
图2和3图解通过与传输音频/视频数据的数据流分开的单独数据流发送同步信息的示例；
图4是根据本发明实施例的使用通过数据链路层发送的同步相关信令信息来同步广播图像的音频和视频的设备的示意图；
图5是根据本发明实施例的同步设备使用所发送的同步信息播放广播图像的处理过程的示意图；
图6是根据本发明实施例的数字广播服务的逻辑示意图。
具体实施方式
以下，将参考附图对本发明实施例进行详细描述以使得本领域技术人员能够容易地实现本发明。然而，本发明可以以各种不同的形式实现，并且不限于在此描述的实施例。
而且，与本发明无关的部分在附图中被省略以使得本发明清楚，并且在整个说明中，相同参考编号被指示相同或相似的组成部分。
在整个说明和权利要求书中，除非另有说明，当描述特定部分包括特定元件时，表示该单元并不是排除任何其他元件，还可能包括任何其他元件。
图4是根据本发明实施例的使用通过数据链路层发送的同步相关信令信息来同步广播图像的音频和视频的设备的示意图。
参照图4，同步设备包括射频(RF)接收器410、解调器420、物理层处理器430、数据链路层处理器435、服务解复用器440、同步信息处理器450、视频数据缓冲器460、音频数据缓冲器470、同步信息缓冲器480和广播图像播放器490。当用户选择随机服务时，RF接收器410变换频道到服务被发送的频率以接收模拟信号。解调器420将通过RF接收器410接收的模拟信号转换为数字信号，并将该数字信号发送给物理层处理器430。物理层处理器430执行在传输协议栈的物理层中实现的操作并将该操作的结果发送给数据链路层处理器435。数据链路层处理器435执行在数据链路层实现的操作以将网络/传输层数据分组发送给服务解调器440，尤其是提取并将包含同步信息的表发送给同步信息处理器450。在数据链路层中实现的操作可包括从数据链路层数据单元提取网络/传输层数据单元的操作和从数据链路层数据单元提取信令信息的操作其中之一。同步信息处理器450从在数据链路层处理器435中处理的信令信息中提取与由当前服务提供的广播图像相关的同步信息，并将该同步信息经同步信息缓冲器480发送给广播图像播放器490。服务解调器440从自数据链路层处理器435发送的数据单元提取分别包括所选服务的音频流和视频流的形成该服务的数据流，并将该数据流经音频数据缓冲器470和视频数据缓冲器460发送给广播图像播放器490。而且，服务解调器440提取从高层发送的同步信息并将该同步信息经同步信息缓冲器480发送给广播图像播放器490。广播图像播放器490解码所接收的音频数据和视频数据并基于同步信息在相应时间播放广播图像。
根据本发明实施例的同步设备的主要特点是同步信息处理器450。即同步信息处理器450只执行从数据链路层处理器435所发送的数据提取同步相关信令信息(即同步信息)的操作，当该操作完成时，将所发送的数据转发给服务解调器440。
同时，虽然图4将物理层处理器430和数据链路层处理器435说明为分开的设备，但是这些处理器可以被配置成单个设备，例如数据处理器。而且，虽然同步信息处理器450被说明为与数据链路层处理器435分开的设备，但是这样的配置仅仅是本发明的一个实施例，并且同步信息处理器450可包含在数据链路层处理器435或数据处理器中。
图5是根据本发明实施例的同步设备使用所发送的同步信息来播放广播图像的处理过程的示意图。
参照图5，当用户选择特定服务时，同步设备变换频道到发送该服务的频率(501)并接收有关在相应频道上所选服务的数据单元以提取包含在有效载荷中的数据(502)。接着，同步设备从所接收数据提取数据链路层中所展示的信令信息并从该信令信息获取与用户所选择服务的广播图像相关的同步信息(503)。该服务可包括多个视频流、音频流和数据流，同步设备需要获取多条相关标识符(ID)信息以便过滤形成该服务的组成部分。因此，同步设备识别形成该服务的音频和视频流以及基于服务配置信息发送有关音频和视频流之间的同步的信息的同步信息流的ID(504)。可通过分析经数据链路层发送的信令信息或者使用用于应用程序层的信息(诸如电子服务指南(ESG))来获取服务配置信息。接着，同步设备使用服务组件的ID请求数据过滤(505)并识别是否在当前频率所发送的数据中接收到与该服务组件的ID相关的数据(506)。然后，同步设备接收音频和视频数据并识别是否接收到与被请求数据过滤的图像数据相关的同步信息(507)。当还没有接收到相关同步信息时，同步设备基于在503接收到的同步信息播放广播图像(508)，并返回识别是否接收到与服务组件的标识ID相关的数据的操作(506)。同时，当相关同步信息被接收到时，同步设备使用该相关同步信息播放广播图像(509)。当在操作506没有接收到音频和视频数据时，同步设备识别从请求数据过滤开始是否过去了特定长度的时间(α)(510)。当没有经过特定长度的时间时，同步设备返回操作506以等待接收音频/视频数据。在即使在过去特定时间后还没有接收到音频和视频数据时，同步设备将不可能接收到图像显示给用户并终止图像播放过程(511)。
图6是根据本发明实施例的数字广播服务的逻辑示意图。
参照图6，通过每一频率发送的传输流(Multiplex)包括N个集合(Ensemble-1到Ensemble-N)。每个集合包括多个包(Package-1到Package-M)，并提供相关包的分组。包是指实际广播服务并且内部包括多个音频/视频/数据流(Audio-1至Audio-P、Video-1至Video-Q和Data-1至Data-R)。根据服务特性，可选择和播放一个音频流和一个视频流，或者可选择并通过分区的屏幕同时播放多个音频/视频/数据流。
同时，在包括图6的本说明中使用的术语仅仅用于描述广播服务的逻辑概念，并且本发明也可应用于使用具有相同含义的不同术语的服务，而不限于上述术语。例如，传输流可指在一个频带中通过物理层帧发送的所有数据，而一个集合可指在物理层帧中展示的逻辑频道(物理层管道(PLP))。
之后，将参考特定实施例详细描述媒体同步表(MST)的格式(即存储根据本发明实施例的通过数据链路层发送的同步信息的表格)。
第一实施例
在本发明第一实施例中，在表1所提供同步信息中，基于音频和视频播放时间来指定相关音频和视频数据，每个MST发送关于各个数据分组的同步信息。
[表1]
表1中的元素如下所述。
table_id(表格ID)–指MST的唯一编号；8个比特；具有与数据链路层中所发送的其它表格相区别的唯一数值。
section_syntax_indicator(分段句法指示符)–指示私有分段的种类，总是设置为“1”。
private_indicator(私有指示符)–指示私有分段的标志；总是设置为“1”。
section_length(分段长度)–分段长度；后面跟uimsbf(无符号整数，最高有效位优先)格式。
package_id(包ID)–与在MST分段包含的同步信息相关的包的ID。
version_number(版本号)–关于MST分段的版本信息；当MST分段的内容改变时，递增(1modulo 32)；当current_next_indicator(当前的下一标识符)被设置为“0”时，版本信息指关于下一个可应用的MST分段的版本信息，而不是当前可应用的MST分段。
current_next_indicator(当前的下一指示符)–当被设置为“1”时，指示当前可应用的同步信息，当被设置为“0”时，指示同步信息不是当前可应用的，而是下一个可应用的；后面跟bslbf(位串，左比特优先)格式。
section_number(分段号)–总是设置为“0”。
last_section_number(最后一个分段的号码)–总是设置为“0”。
MST_protocol_version(MST协议版本)–指示MST句法的版本。
multiplex_id–复用的ID。
ensemble_id–集合的ID
streaming_protocol(流协议)–指用于音频和视频数据的传输的流协议；同步信息依据所使用的流协议变化，表2列出了用于流协议的取值。
[表2]
流协议取值 含义
000 MMT
001 RTP/RTCP
010 DASH
011-111 为将来的使用预留
default_video_stream_id(缺省视频流ID)–当用户选择服务时首先播放的视频流ID。
default_audio_stream_id(缺省音频流ID)–当用户选择服务时首先播放的音频流ID。
num_sync_data(同步数据的数量)–在MST分段中发送的同步信息的条数。
media_sync_data(媒体同步数据)–存储实际同步信息的结构。
media_sync_data存储关于在解码后实际播放音频/视频数据的时间，并且这样的同步信息可依据传输音频/视频数据的流协议而具有不同的形式。
表3说明在使用MMT协议时的media_sync_data的示例。.
[表3]
在表3中的元素如下所述。
audio_mpu_seq_num(音频MPU序号)–音频媒体处理单元(MPU)的序号。
video_mpu_seq_num(视频MPU序号)–视频MPU的序号。
presentation_time(呈现时间)–播放音频/视频数据的时间，经由解码在屏幕上通过audio_mpu_seq_num和video_mpu_seq_num来指示。
表4说明在使用RTP协议时的media_sync_data的示例。
[表4]
表4中的元素如下所述。
audio_packet_seq_num(音频分组序号)–存储音频数据的RTP数据分组的序号。
video_packet_seq_num(视频分组序号)–存储视频数据的RTP数据分组的序号。
timestamp(时间戳)-播放音频/视频数据的时间，通过audio_packet_seq_numand video_packet_seq_num经由解码而在屏幕上指示。
第二实施例
在本发明第二实施例中，在表5中提供同步信息中，播放时间相对于音频和视频数据而独立存储。每个MST发送有关各个数据分组的同步信息。
[表5]
在表5中的各元素如下所述。与上面所述相同的元素的描述将在下表中省略。
num_vido_sync_data(视频同步数据的数目)–在MST分段中发送的与视频相关联的同步信息的条数。
num_audio_sync_data(音频同步数据的数目)-在MST分段中发送的与音频相关联的同步信息的条数。
media_sync_data–存储实际同步信息的结构。
media_sync_data存储关于在解码后实际播放音频/视频数据的时间，并且这样的同步信息可依据传输音频/视频数据的流协议而具有不同的形式。
表6说明在使用MMT协议时的media_sync_data的示例。
[表6]
表6中的元素如下所述。
media_type(媒体类型)–定义与同步信息相关联的媒体类型。
表7定义用于媒体类型的取值。
[表7]
media_type value 含义
00 Audio(音频)
01 Video(视频)
10-11 为将来使用预留
mpu_seq_num(MPU序号)–音频或视频MPU的序号，通过media_type定义。
presentation_time–播放音频或视频的时间，经由解码在屏幕上通过mpu_seq_num指示。
表8说明在使用RTP协议时的media_sync_data的示例。
[表8]
表8中的元素如下所述。
media_type–定义与同步信息相关联的媒体类型；可以被定义为与如上面在表7中的MMT示例中所示的相同值。
packet_seq_num(分组序号)–存储音频或视频数据的RTP数据分组的序号，通过media_type来定义。
timestamp-播放音频或视频的时间，经由解码在屏幕上通过packet_seq_num(分组序号)来指示。
第三实施例
在本发明的第三实施例中，在表9中提供同步信息中，基于音频和视频播放时间来指定相关音频和视频数据，每个MST发送关于在当前集合中包含的全部数据包的同步信息。
[表9]
表9中，num_packages(包数量)是存储同步信息的数据包的个数。
第三实施例类似于第一实施例，但是与第一实施例不同的是关于在当前集合中出现的所有数据包的同步信息都包含在MST分段中。因此，第一实施例中使用的MST分段句法和media_sync_data结构句法可重新使用。
第四实施例
在第四实施例中，在表10提供的同步信息中，播放时间相对于音频和视频数据被单独存储。并且每个MST发送关于在当前集合中包含的所有数据包的同步信息。
[表10]
表10中，num_packages是存储同步信息的数据包的个数。
第四实施例类似于第二实施例，但是与第二实施例不同的是当前集合中出现的所有数据包的同步信息都包含在MST分段中。因此，第二实施例中使用的MST分段句法和media_sync_data结构句法可以重新使用。
根据本发明实施例，通过使用在数据链路层中发送的同步信息来同步广播图像的音频和视频数据，从而提供比通过经由数据过滤获取同步信息来执行的传统同步操作更短的频道切换时间。
虽然上面已经描述了本发明的特定实施例，但是对本领域一般技术人员来说，很明显，本发明的范围不限于上述实施例，并且在不背离本发明的范围的情况下，可使用本发明的基本构思来做出各种修改和修改的形式。

Claims (18)

1.一种播放多媒体数据的装置，所述装置包括：
接收器，其接收多媒体数据；
数据处理器，其处理所接收的多媒体数据以提取数据单元和信令信息；
同步信息处理器，其从所述信令信息中提取与由当前服务提供的广播图像相关的同步信息；
服务解复用器，其从所述数据单元提取音频数据或视频数据；和
广播图像播放器，其解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。
2.如权利要求1所述的装置，其中，所述同步信息包括关于播放所述音频数据或视频数据的时间的信息。
3.如权利要求1所述的装置，其中，所述同步信息具有表的格式。
4.如权利要求2所述的装置，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。
5.如权利要求2所述的装置，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息和通过所述数据类型信息定义的音频数据或视频数据的序号。
6.如权利要求2所述的装置，其中，所述同步信息包括关于一个或多个数据包的信息。
7.如权利要求6所述的装置，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。
8.如权利要求6所述的装置，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。
9.如权利要求2所述的装置，其中，所述同步信息还包括关于要首先播放的视频流和音频流的标识信息和多条同步信息。
10.一种播放多媒体数据的方法，所述方法包括：
接收多媒体数据；
处理所接收的多媒体数据以提取数据单元和信令信息；
从所述信令信息提取与由当前服务提供的广播图像相关的同步信息；
从所述数据单元提取音频数据或视频数据；
解码所述音频数据或视频数据并基于所述同步信息播放经解码得到的音频数据或视频数据。
11.如权利要求10所述的方法，其中，所述同步信息包括关于播放所述音频数据或视频数据的时间的信息。
12.如权利要求10所述的方法，其中，所述同步信息具有表的格式。
13.如权利要求11所述的方法，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。
14.如权利要求11所述的方法，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。
15.如权利要求11所述的方法，其中，所述同步信息包括关于一个或多个数据包的信息。
16.如权利要求15所述的方法，其中，所述同步信息还包括所述音频数据的序号和所述视频数据的序号。
17.如权利要求15所述的方法，其中，所述同步信息还包括定义音频数据或视频数据的数据类型信息以及通过所述数据类型信息定义的音频数据或视频数据的序号。
18.如权利要求11所述的方法，其中，所述同步信息还包括关于要首先播放的视频流和音频流的标识信息和多条同步信息。
CN201580004082.XA 2014-01-08 2015-01-08 再现多媒体数据的方法和装置 Expired - Fee Related CN105900439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0002489 2014-01-08
KR20140002489 2014-01-08
PCT/KR2015/000187 WO2015105348A1 (ko) 2014-01-08 2015-01-08 멀티미디어 데이터 재생 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105900439A true CN105900439A (zh) 2016-08-24
CN105900439B CN105900439B (zh) 2019-11-19

Family

ID=53524121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580004082.XA Expired - Fee Related CN105900439B (zh) 2014-01-08 2015-01-08 再现多媒体数据的方法和装置

Country Status (4)

Country Link
US (1) US10555030B2 (zh)
KR (1) KR102171707B1 (zh)
CN (1) CN105900439B (zh)
WO (1) WO2015105348A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895391A (zh) * 2019-12-17 2020-03-20 哈尔滨赛丝科技有限公司 一种具有投屏功能的墙装影音控制器和智能家居
CN111093109A (zh) * 2018-10-24 2020-05-01 杭州海康威视数字技术股份有限公司 媒体数据播放处理方法、媒体播放设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080565A1 (ko) * 2018-10-17 2020-04-23 네오컨버전스 주식회사 동영상 변환방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046633A1 (en) * 2008-08-25 2010-02-25 The University Of Electro-Communications Communication terminal, content reproduction method, content reproduction program, content reproduction system, and server therefor
CN102790651A (zh) * 2012-06-19 2012-11-21 杭州联汇数字科技有限公司 一种传统广播和多媒体内容同步播放***及方法
US20120307149A1 (en) * 2007-02-28 2012-12-06 At&T Intellectual Property I, L.P. Methods, Systems, and Products for Alternate Audio Sources
CN102971993A (zh) * 2010-04-26 2013-03-13 三星电子株式会社 用于通过音频/视频接口发送以太网数据的方法和设备
WO2013100957A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Providing timing information over a data link
KR20130113163A (ko) * 2012-04-05 2013-10-15 한국전자통신연구원 채널 적응형 계층적 방송 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486658B2 (en) * 2005-07-29 2009-02-03 Cisco Technology, Inc. Method and system for media synchronization in QoS-enabled wireless networks
US7706740B2 (en) 2006-01-06 2010-04-27 Qualcomm Incorporated Apparatus and methods of selective collection and selective presentation of content
US20110164686A1 (en) 2008-09-16 2011-07-07 Xiuping Lu Method for delivery of digital linear tv programming using scalable video coding
EP2477602A1 (en) 2009-09-15 2012-07-25 Dow Global Technologies LLC Cationic polymers as conditioning agents
KR20130040090A (ko) * 2011-10-13 2013-04-23 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법
US8701152B2 (en) * 2012-03-11 2014-04-15 Broadcom Corporation Cross layer coordinated channel bonding
US9426423B2 (en) * 2012-11-01 2016-08-23 Polycom, Inc. Method and system for synchronizing audio and video streams in media relay conferencing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120307149A1 (en) * 2007-02-28 2012-12-06 At&T Intellectual Property I, L.P. Methods, Systems, and Products for Alternate Audio Sources
US20100046633A1 (en) * 2008-08-25 2010-02-25 The University Of Electro-Communications Communication terminal, content reproduction method, content reproduction program, content reproduction system, and server therefor
CN102971993A (zh) * 2010-04-26 2013-03-13 三星电子株式会社 用于通过音频/视频接口发送以太网数据的方法和设备
WO2013100957A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Providing timing information over a data link
KR20130113163A (ko) * 2012-04-05 2013-10-15 한국전자통신연구원 채널 적응형 계층적 방송 장치 및 방법
CN102790651A (zh) * 2012-06-19 2012-11-21 杭州联汇数字科技有限公司 一种传统广播和多媒体内容同步播放***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093109A (zh) * 2018-10-24 2020-05-01 杭州海康威视数字技术股份有限公司 媒体数据播放处理方法、媒体播放设备
CN111093109B (zh) * 2018-10-24 2022-07-29 杭州海康威视数字技术股份有限公司 媒体数据播放处理方法、媒体播放设备
CN110895391A (zh) * 2019-12-17 2020-03-20 哈尔滨赛丝科技有限公司 一种具有投屏功能的墙装影音控制器和智能家居

Also Published As

Publication number Publication date
KR20160106069A (ko) 2016-09-09
WO2015105348A1 (ko) 2015-07-16
KR102171707B1 (ko) 2020-10-29
US10555030B2 (en) 2020-02-04
US20160330507A1 (en) 2016-11-10
CN105900439B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
EP3013056B1 (en) Transmission method
US20090322962A1 (en) Method and Apparatus for Providing Low Resolution Images in a Broadcast System
US8750331B2 (en) Method and apparatus for transporting mobile broadcasting service, and method and apparatus for receiving mobile broadcasting service
WO2006065074A1 (en) Apparatus and method for displaying broadcasting information in digital broadcasting receiver
KR20060046333A (ko) 데이터 방송 정보 데이터 구조, 데이터 방송 구분 방법그리고, 데이터 방송 송수신 시스템
CN103596040A (zh) 数字电视地面广播与互联网双模式的电视接收***
CN101202901B (zh) 一种节目传送包的包标识符的处理方法和装置
CN1774075A (zh) 数字多媒体广播接收器及其用户界面方法
JP3382021B2 (ja) 番組探索装置および方式
KR100710248B1 (ko) 방송 수신기, 방송 서비스 구분 방법, 및 데이터 구조
CN105900439B (zh) 再现多媒体数据的方法和装置
CN100479529C (zh) 一种广播网络复用协议的转换方法
CN101151902A (zh) 在数字广播接收机中初始化解码器的装置和方法
CN101453599A (zh) 广播接收器及广播数据处理方法
JP2017517166A (ja) 一組のテレビチャネルの伝送を最適化する方法
US20130235865A1 (en) Apparatus and method for transmitting data in broadcasting system
US20180220172A1 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method
EP2359589B1 (en) Display device and method for providing data broadcasting thereof
KR20060113523A (ko) 디지털 방송수신기의 데이터 처리 장치 및 방법
US9131281B2 (en) Method for embedding and multiplexing audio metadata in a broadcasted analog video stream
EP1039751A2 (en) Method and apparatus for converting a digital broadcast signal to a second digital broadcast signal, method and apparatus for receiving this signal and medium for providing a computer readable programme for processing the signal
JP2011023830A (ja) 番組送信装置、番組受信装置、番組配信システム、番組送信方法、番組受信方法、番組送信プログラムおよび番組受信プログラム
KR20140099146A (ko) 다중 영상 기반 방송 서비스를 위한 다중 영상의 기준 ｐｃｒ 결정 방법 및 그 장치
JP2004128778A (ja) 表示制御装置、表示制御方法、プログラム
JP4970968B2 (ja) デジタル放送受信装置、デジタル放送受信方法およびデジタル放送受信プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191119