CN1742492B - 媒体内容的基于音频和视频的媒体服务的自动同步 - Google Patents

媒体内容的基于音频和视频的媒体服务的自动同步 Download PDF

Info

Publication number
CN1742492B
CN1742492B CN03825980XA CN03825980A CN1742492B CN 1742492 B CN1742492 B CN 1742492B CN 03825980X A CN03825980X A CN 03825980XA CN 03825980 A CN03825980 A CN 03825980A CN 1742492 B CN1742492 B CN 1742492B
Authority
CN
China
Prior art keywords
media services
audio
volume control
media
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN03825980XA
Other languages
English (en)
Other versions
CN1742492A (zh
Inventor
卡尔·C·H·胡
詹姆斯·A·斯特罗思曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
汤姆森特许公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 汤姆森特许公司 filed Critical 汤姆森特许公司
Publication of CN1742492A publication Critical patent/CN1742492A/zh
Application granted granted Critical
Publication of CN1742492B publication Critical patent/CN1742492B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种用于在第一媒体服务(400)和第二媒体服务(450)之间自动同步重放的方法，这两个服务都对应于同一媒体内容源。匹配第一媒体服务(400)与第二媒体服务(450)中共同的音频事件(499)。根据匹配步骤的结果，调节第一媒体服务(400)和第二媒体服务(450)中至少一个的重放定时，以便在第一媒体服务(400)和第二媒体服务(450)之间自动同步重放。

Description

媒体内容的基于音频和视频的媒体服务的自动同步
技术领域
本发明一般涉及向用户呈现媒体服务(如音频和/或视频)，尤其涉及不考虑嵌在媒体服务中的时标(如果有的话)的、在重放基于音频和基于视频的媒体服务时的同步。
背景技术
随着可用不同的媒体服务表示同一媒体内容(如体育赛事)，多媒体用户可能希望在观看来自一个创作源(authoring source)的基于视频的媒体服务的同时，收听来自第二创作源的基于音频的媒体服务。基于视频的媒体服务代表体育赛事的国家电视广播，而基于音频的媒体服务代表同一体育赛事的当地收音机广播。由于每个媒体服务各自的广播时间线的差异(例如由于媒体服务的创建或广播中引入的不同的延迟所导致)，在这两个媒体服务的播放之间可能存在可察觉的延迟。
“对口型”(lip-synching)是由类似的同步问题产生的效应，但是涉及来自同一著作和内容源的媒体服务重放。传统的解决方案包括将信息***表示媒体内容(可以是模拟或数字的)的音频和视频服务中，提供时标用来对准媒体服务表示。然后，特定的接收装备根据提供的时标同步音频和视频媒体服务，最小化对口型效应。然而，许多媒体服务没有可用来降低对口型效应的时标。
因此，最好有一种用来同步来自相同或不同创作源的媒体服务(如广播和/或流)的方法和装置，以便该方法和装置不依赖于时标和用来处理提供的时标的特定装备。
发明内容
根据本发明的一个方面，提供一种在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步重放的方法。匹配对应于视频媒体服务的音频波形与音频媒体服务中的共同音频特性。根据匹配步骤的结果，调节视频媒体服务和音频媒体服务中至少一个的重放定时，以便在视频媒体服务和音频媒体服务之间自动同步重放。
根据本发明的另一方面，提供一种在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步重放的装置。声音匹配设备匹配分别对应于视频媒体服务的音频波形与音频媒体服务中的共同音频特性。可变延迟器根据声音匹配设备的输出，调节视频媒体服务和音频媒体服务中至少一个的重放定时，以便在视频媒体服务和音频媒体服务之间自动同步重放。
附图说明
通过下面结合附图阅读对优选实施例的详细描述，本发明的这些和其他方面、特征和优点将变得清楚。
图1是图解根据本发明的示范性实施例的、用于实现媒体服务的自动同步的计算机处理***100的方框图；
图2是图解根据本发明的示范性实施例的、可应用本发明的、基于广播的创作源200和基于流的内容创作源250的方框图；
图3是图解根据本发明的示范性实施例的、用于同步同一媒体内容的媒体服务的同步装置300的方框图；
图4是图解根据本发明的示范性实施例的、对应于同一媒体内容的广播音频流400和流式音频流450的频谱能量的方框图；
图5是图解根据本发明的示范性实施例的、同步后图4的广播音频流500和流式音频流550的频谱能量的图；和
图6是图解根据本发明的示范性实施例的、用于在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步重放的方法的流程图。
具体实施方式
本发明旨在提供一种用于同步来自不同创作源(如广播媒体、流媒体等)的媒体服务而不用考虑嵌入的时标的方法。最好在两个媒体服务来自同一创作源的情况下，本发明也可以容易地用来仅同步广播内容或仅同步流内容。此外，可以采用本发明来同步本领域普通技术人员容易地确定的其他类型的媒体服务。在本发明的优选实施例中，可以采用本发明来同步来自电视广播的视频媒体服务和来自卫星音频广播的音频媒体服务，这两个媒体服务都来源于同一媒体内容。
在这里使用的术语“媒体服务”包括音频、视频、文本、广播节目、多媒体数据文件和流媒体。基于音频的媒体服务具有对应的音频信号，而基于视频的媒体服务具有对应的视频信号。广播节目包括能够通过收音机、电视机或其他类型的能够接收广播媒体的设备呈现的服务。这些服务典型地从电视或无线电台通过无线电波来广播，并且通过到电缆、卫星、天线和能够传递收音机/电视节目的任何其它类型的通信介质的连接来接收。节目也可以通过通信网络发送(如因特网)，其使用通常所说的媒体浏览器或播放器(如
Figure GFW00000046121400031
或MICROSOFT MEDIA)来呈现媒体服务。
多媒体文件包括文本、图像、视频和音频数据的任意组合。应当注意的是，只包含视频数据或音频数据的文件也被定义为多媒体文件。流媒体包括通过因特网或其他通信网络环境传送到用户的计算机的音频、视频、多媒体、文本和交互数据文件，其可以在整个文件传送完成之前在用户的计算机/设备上播放。流媒体的一个优点在于，流媒体文件在整个文件下载完之前开始播放，为用户节省了通常与下载整个文件相关联的长时间等待。数据记录的音乐、电影、预览、新闻报道、无线电广播和实况事件都有助于增加可用的流内容。
流媒体以各种格式编码，例如包括 APPLE
Figure GFW00000046121400035
MICROSOFTMEDIAFORMAT、
Figure GFW00000046121400037
MPEG-2LAYER III AUDIO和
Figure GFW00000046121400038
典型地，为媒体文件指定用来指示与特定格式的兼容性的扩展名(后缀)。例如，以.ram、.rm、.rpm扩展名之一结尾的媒体文件(如音频和视频文件)与格式兼容。下面的表中列出了一些文件扩展名及其兼容格式的例子。在http://www.bowers.cc/extensions2.htm可以找到媒体类型、扩展名和兼容格式的更详尽的列表。
术语“创作源”指的是创建媒体服务的源。通过广播台创建的媒体服务具有基于广播的创作源。这意味着媒体服务由广播中心(如电视台或无线电台)创建以便经过无线电波、卫星、电缆等传输。类似地，经过流处理的媒体服务具有基于流的创作源。流媒体服务也可以经过无线电波、卫星、电缆或因特网等接收，但流文件典型地由流媒体播放器重放。根据本发明的原理，诸如电视机、计算机之类的重放设备将具有接收广播创建的和流处理的媒体服务的能力，以及适当的呈现软件/硬件。媒体服务的源不限制媒体服务的重放。或者，创作源由广播台、位置和用于传输媒体服务的格式分开。例如，基于广播的创作源包括用于广播电视节目安排的媒体服务的ABC、NBC、FOX、CBS和UPN。
媒体内容指的是导出媒体服务的内容。媒体内容的例子包括歌曲、政治演讲、新闻广播、电源宣传片、实况直播、无线电广播、财政电话会议、实况音乐会、体育赛事、电影、电视、有线节目、网络摄像镜头等。典型地，几种不同的媒体服务源自同一媒体内容源。例如，大学足球赛具有表示国家广播的电视节目的音频和视频媒体服务。同一大学足球赛也可以作为对应于大学的共同访问频道的音频和视频媒体服务发送。来自国家广播和共同访问频道的媒体服务将是不同的，即使它们来自同一媒体创作源。可以使用与本发明的原理一致的其它媒体内容的例子。
应当理解的是，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本发明。最好，将本发明实现为硬件和软件的组合。此外，最好将软件实现为实际地嵌入程序存储设备的应用程序。应用程序可以上载到包括任何适合的架构的机器上并由其执行。最好，在具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口之类的硬件的计算机平台上实现该机器。该计算机平台还包括操作***和微指令代码。这里描述的各种处理和功能可以是由操作***执行的微指令代码的部分或应用程序的部分(或者其组合)。此外，各种其他的诸如附加的数据存储设备和打印设备之类的外设可以连接到计算机平台。
还应当理解的是，由于附图中所示的一些组成***部件和方法步骤最好以软件实现，因此***部件(或处理步骤)之间的实际连接可能根据本发明的编程方式的不同而不同。根据这里的教学，本领域普通技术人员将能够思考出本发明的这些和类似的实现或配置。
图1是图解根据本发明的示范性实施例的、用于实现媒体服务的自动同步的计算机处理***100的方框图。计算机处理***100或其可应用的元件可以已经在下面的广播200和流创作源250中表示出，或者可以根据本发明而添加。应当理解，计算机处理***100在这里也可以可替换地称为“声音匹配设备”。
计算机处理***100包括至少一个处理器(CPU)102，其通过***总线104可操作地耦合到其他部件。只读存储器(ROM)106、随机存取存储器(RAM)108、只读存储器(ROM)199、显示适配器110、I/O适配器112和用户接口适配器114可操作地耦合到***总线104。
显示设备116通过显示适配器110可操作地耦合到***总线104。存储设备(如磁、光和/或其他类型的存储设备)118通过I/O适配器112可操作地耦合到***总线104。
输入设备120通过用户接口适配器114可操作地耦合到***总线104。输入设备120用于向/从***100输入/输出信息，其包括(但不限于)键盘、小键盘、鼠标、开关、按钮等。
解码器130可操作地耦合到***总线104。解码器130接收用于处理(如同步)例如广播信号和流信号的输入信号。解码器130可以执行包括(但不限于)模数转换和数模转换的功能。解码器130也可以执行其他本领域普通技术人员容易确定的功能。如本领域普通技术人员所知的，能够理解，也可以采用数字声音处理器(DSP)代替计算机处理***100。
图2是图解根据本发明的示范性实施例的、可应用本发明的、基于广播的创作源200和基于流的内容创作源250的方框图。广播创作源200包括广播台205和电视210。流创作源250包括音频***255和调制解调器260，后者连接到因特网服务提供商(ISP)265，进而连接到因特网270。电视210和音频***255在这里又称为“输出设备”。
每个***具有与其相关联的用户控制。典型地，屏幕接口和遥控器与视频输出设备(如电视210)相关联，而显示和遥控器及键盘与音频输出设备(如音频***255)相关联。
能够理解，本发明不限于前面广播和流创作源的严格配置，因此，也可以根据本发明采用这些***(以及其他类型的***)的其他配置。对于本领域普通技术人员，很明显本发明采用的广播和/或流创作源应当包括接收机、解码器和输出设备。接收机接收内容。解码器解码内容。输出设备将解码后的内容呈现给用户。还可以具有能够接收、解码和输出两种或多种不同类型的内容(如广播和流(如IP)内容)的单一***。组合***的一个例子是因特网电视。
根据本发明的示范性实施例，用户正在观看电视上的广播体育赛事，并从实况因特网流广播收听关于同一赛事的音频评论。广播的体育赛事表示媒体内容。在电视上播映的体育赛事表示视频媒体服务，其广播创作源具有对应的、表示电视广播的音频的音频波形。来自因特网的音频评论是来自流创作源的、基于音频的媒体服务。
由于在发送和处理这两个媒体服务时的延迟，可能需要调节这两个场景、两个媒体服务的同步，以便提供不中断的观看/收听体验。用户将能够调节两个节目的相对定时来提供可接受的匹配。这种调节可以通过用户手动、自动或者其组合来执行。例如，在最后一种情况下，可以使用本发明来执行媒体服务的自动同步，同时允许用户微调自动同步的结果。***/设备将保持确定的延迟，直到改变媒体服务为止。
图3是图解根据本发明的示范性实施例的、用于同步媒体服务的同步装置300的方框图。同步装置300包括响应于用户和/或自动控制的可调节延迟线305。图1所示的计算机处理***100提供自动控制。在本发明的不使用自动控制的实施例中，可以从同步装置300中省去计算机处理***100。根据这里提供的本发明的教学，本领域普通技术人员可以思考出同步装置300的这些和各种其他配置。
将可调节延迟线305***广播创作源200和/或流创作源250之一或者两者。延迟线305应当能够加入从0到几秒(或更多)的延迟。在使用缓冲区的创作源中，可以采用增加缓冲区的大小来跨越内容的适当的时间间隔，以及增加机构以便调节延迟。
用户和/或自动控制允许增加或减少相对延迟。本发明可以采用每个延迟线的单独控制或者同时增加一条延迟线并减少另一延迟的共同控制。
现在给出根据本发明示范性实施例的手动用户控制的进一步描述。在本发明的一个示范性实施例中，在每个输出设备(如电视210和音频***255)上给用户提供控制，以调节该设备输出的延迟。通过手动调节控制，用户可以实现媒体服务之间可接受的同步。尽管在本例中描述了在两个输出设备上都具有延迟，但在本发明的其他实施例中，可以在任何一个设备上进行延迟控制。在本发明的另一示范性实施例中，在设备能够接收来自广播源的媒体服务和来自流源(如因特网电视)的媒体服务的情况下，用户控制将同时提前一个媒体服务并延迟另一媒体服务。用户控制可以具有从(媒体服务A最大提前，媒体服务B最大延迟)到(媒体服务A最大延迟，媒体服务B最大提前)的控制范围。能够理解本发明不限于前面的关于手动用户控制的实现，因此在保持本发明的宗旨和范围的同时可以根据本发明容易地采用其他实现。
现在给出根据本发明的示范性实施例的、自动用户控制的进一步描述。在本发明的一个示范性实施例中，***接收两种内容(广播和流)，用户激活同步机制。在这种情况下的用户控制可以是“同步/返回默认”按钮。当激活“同步/返回默认”按钮时，自动同步机制将内容同步。当然，本领域普通技术人员可以容易地思考出其他配置。
如下所述，自动同步可以基于(但不限于)噪声包络匹配、音频纹记(fingerprint)匹配和嵌入的元数据标签。
在噪声包络匹配方法中，对基于音频的媒体服务的音频波形的处理过的整体噪声包络进行匹配。操作理论的中心在于通过数字处理技术匹配每个波形中不同的音频特性。例如，使用赛事的每个音频流(下文中，术语音频流或流指的是媒体服务的音频或对应于媒体服务的音频波形)中的群众噪声来实现同步。在两个流中分析宽带背景音频特性。在时间域执行相关性处理来确定音频流之间的相对延迟。在确定延迟之后，进行调节以呈现音频/视频。
将音频特性定义为用于定义音频波形的物理属性的音频参数，例如频率、增益、波形幅度、增益等。本领域技术人员可以选择一个或多个准则来定义要分析的音频波形的音频特性，以匹配音频媒体服务。可以使用数字处理技术对波形进行滤波来进一步定义音频特性。
考虑下面关于大学篮球比赛的例子。图4是图解根据本发明的示范性实施例的、对应于同一节目的、来自广播电视节目的音频流400和流式音频媒体服务450的频谱能量的图。图5是图解根据本发明的示范性实施例的、同步之后图4的音频流400和流式音频媒体服务450的频谱能量的图。以曲线图表示频谱能量，每个图具有由水平轴表示的时间和由垂直轴表示的幅度。
观看者可能喜欢收听赛事的无线电广播(作为音频媒体服务450)。主要语音的音频频谱内容将是不同的。每个播音员将在近似随机的时间评论不同的事件。广播之间共同的信息是背景噪声，由于音频波形(表示群众噪声)的幅度上的明显的变化而使得所述背景噪声与播音员相区别。通过假设两个播音员处于同一赛事(媒体内容)，随着事件引起观众响应，背景群众噪声的相对功率将随时间而变化。选择时间窗口来比较每个音频波形中的观众响应。可以根据从音频流和音频媒体服务中采样音频波形的较坏情况下的预期的延迟差来选择时间窗口。从音频波形的采样中生成关于时间的频谱功率密度曲线。取决于采样***的处理负荷，最好尽量频繁地执行频谱功率密度曲线的生成。然而，也可以以预定次数或其他小于最大可能的次数执行该生成。
这两个音频波形之间的频谱能量的幅度可能不同，但形状和相对能量应当相互类似(具有类似的音频包络)。对我们的例子，峰值部分是诸如观众喝彩之类的低频噪声事件499，并且广播音频流400滞后于流式音频媒体服务450。解决方案是延迟音频媒体服务450，直到在给定的采样窗口上最小化两个频谱表之间的相关误差为止。
对嵌入有元数据标签的流，可以使用这些标签中的信息来实现同步。例如，如果两个媒体服务中嵌入有事件代码(例如在DVD情况下可以使用章节中断，这仅仅是本领域普通技术人员容易确定的许多事件代码中的一种)，则提取该元数据并用它来调节延迟线以实现同步。或者，如果媒体服务中嵌入有时间代码，则提取该时间代码(作为元数据)并用它来调节延迟线以实现同步。
作为自动同步的另一例子，可以使用音频波形中的已知声音(如体育场“喧嚣(charge)”声音、得分声音、比赛歌曲等)的音频纹记来对准媒体服务、流等。将输入的音频波形不断地与“纹记”数据库进行匹配。这个纹记数据库可以包含在例如存储设备118中。当发现输入流和存储在纹记数据库中的音频纹记之间的匹配时，将标签***标识该标签的缓冲区(或其他存储设备)中。然后根据标签执行两个媒体服务之间的相关函数，以实现同步。在相关误差最小时认为发生同步。此外，尽管前述的是自动执行的，但可以允许用户手动对自动同步进行微调。应当理解，在本领域的普通技术人员确定之后可以容易地向/从纹记数据库中加入/删除音频纹记。或者，确定对应于每个媒体服务的音频中纹记的声音之间的时间长度；然后将媒体服务之一的重放延迟计算出的时间长度。
图6是图解根据本发明的示范性实施例的、用于在对应于同一节目但来自不同创作源的第一媒体服务和第二媒体服务之间同步重放的方法的流程图。第一媒体服务和第二媒体服务可以包括广播内容、流内容、其组合以及可对其应用根据本发明的同步的任何其他类型的内容。
匹配第一媒体服务和第二媒体服务中的共同音频事件(特性)(步骤610)。
根据匹配步骤的结果，调节第一媒体服务和/或第二媒体服务的重放定时，以便在第一媒体服务和第二媒体服务之间自动同步重放(步骤620)。
此外，还可以根据用户输入进一步调节第一媒体服务和/或第二媒体服务的重放定时(步骤630)。用户输入对应于增加和/或减少***第一媒体服务和/或第二媒体服务的重放定时中的延迟。
最好步骤610可以包括下面步骤610a、610b和/或610c中的任意一个。
在步骤610a，根据噪声包络匹配执行匹配。步骤610a可以包括步骤610a1到610a4。在步骤610a1，选择时间窗口用来采样第一媒体服务和第二媒体服务。选择可以以第一媒体服务和第二媒体服务之间的最坏情况下预期的延迟差为基础。在步骤610a2，对第一媒体服务和第二媒体服务生成频谱功率密度曲线。在步骤610a3，为第一媒体服务和第二媒体服务关联频谱功率密度曲线中出现的背景音频事件。在步骤610a4，最小化对应于第一媒体服务和第二媒体服务的频谱功率密度曲线之间的相关误差。
在步骤610b，根据嵌入在元数据标签中、进而嵌入第一媒体服务和第二媒体服务中的事件代码执行匹配。步骤610b可以包括步骤610b1到610b2。在步骤610b1，在第一媒体服务和第二媒体服务中标识元标签，并且在元标签中标识事件代码。在步骤610b2，关联事件代码。
在步骤610c，根据已知声音的音频纹记执行匹配。步骤610c可以包括步骤610c1到610c2。在步骤610c1，比较已知声音的音频纹记(可以存储在音频纹记的数据库中)与第一媒体服务和第二媒体服务中的声音。在步骤610c2，关联与音频纹记相匹配并且在第一媒体服务和第二媒体服务中出现的声音。
作为本发明的替代，将使用对应于媒体服务的音频波形来匹配音频媒体服务与对应于基于视频的媒体服务的音频波形，两个媒体服务是同一内容源的。使用上述的过程，将基于视频的媒体服务与基于音频的媒体服务同步。
现在根据本发明的各种示范性实施例，给出对本发明的各种实现场景的描述。
在ATSC/DBS接收机上，可以通过使MPEG缓冲区具有可变的大小来实现延迟线。例如，将用户控制实现为遥控器上的一对按钮或摇杆按钮。延迟的相对设置的可见指示将作为屏幕上的图形或字母数字表示出现。用户通过按按钮之一来增加延迟，通过按下另一按钮来减少延迟。屏幕上的图形可以是根据当前***的延迟量增加或减少的条形。
在因特网流式音频接收机上，可以通过使音频缓冲区具有可变的大小来实现延迟线。将用户控制实现为在单元控制面板上或遥控器上的额外控制。延迟的相对设置的可见指示将作为单元显示器上的图形或字母数字出现。
在可使用ATSC/DBS/Browser的电视(具有通过浏览器接收流内容的能力)，可以通过使MPEG缓冲区具有可变的大小和/或通过使流式音频缓冲区具有可变的大小来实现可调节的延迟线。如果***中只有一条延迟线，则用户控制控制该延迟的长度，而如果有两条延迟线，则用户控制增加一个延迟并减少另一延迟。在任一场景中，通过遥控器上的一对按钮或摇杆按钮以及屏幕上指示两个节目之间的相对延迟的图形或字母数字来实现用户控制。
尽管这里参照附图描述了示范性实施例，但应当理解的是，本发明不限于这些确切的实施例，并且本领域技术人员可以在不背离本发明的范围或宗旨的前提下做出各种其他改变和变型。所有这些改变和变型规定为包含在所附权利要求书所限定的发明范围内。

Claims (22)

1.一种用于在对应于同一媒体内容的第一媒体服务和第二媒体服务之间自动同步重放的方法，包括下列步骤：
匹配第一媒体服务的音频信号与对应于第二媒体服务的音频波形中的共同音频特性；以及
根据所述匹配步骤的结果，调节第一媒体服务和不同于第一媒体服务的第二媒体服务中至少一个的重放定时，以便在第一媒体服务和第二媒体服务之间自动同步重放，
其中，所述匹配步骤包括步骤：
选择用于采样第一媒体服务的音频信号和对应于第二媒体服务的音频波形的时间窗口；
对于所述音频信号和所述音频波形都生成频谱功率密度曲线；
使音频信号和音频波形的频谱功率密度曲线中出现的背景音频事件相关联；以及
最小化对应于音频信号和音频波形的频谱功率密度曲线之间的相关误差。
2.如权利要求1所述的方法，其中，所述匹配步骤使用噪声包络匹配，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频特性。
3.如权利要求1所述的方法，其中，所述匹配步骤使用已知声音的音频纹记，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频特性。
4.如权利要求3所述的方法，其中，所述已知声音包括运动场喧嚣声、得分声和歌曲中的至少一个。
5.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：根据第一媒体服务和第二媒体服务之间的最坏情况下预期的延迟差，选择用于采样第一媒体服务的音频信号和对应于第二媒体服务的音频波形的时间窗口。
6.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：对于第一媒体服务的音频信号和所述音频波形都生成频谱功率密度曲线。
7.如权利要求1所述的方法，其中，所述共同音频特性是背景音频事件，并且所述匹配步骤包括步骤：使在第一媒体服务的音频信号和所述音频波形中出现的背景音频事件相关联。
8.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：最小化对应于第一媒体服务的音频信号和所述音频波形的频谱功率密度曲线之间的相关误差。
9.如权利要求1所述的方法，其中，所述调节步骤还根据用户输入调节重放定时，用户输入对应于改变在第一媒体服务和第二媒体服务中至少一个的重放定时中***的延迟。
10.如权利要求9所述的方法，其中，所述用户输入对应于增加在第一媒体服务和第二媒体服务中至少一个的重放定时中***的延迟，以及减少在第一媒体服务和第二媒体服务中至少另一个的重放定时中***的延迟。
11.如权利要求1所述的方法，其中，所述匹配步骤使用嵌入在元数据标签中并进而嵌入第一媒体服务和第二媒体服务中至少一个中的事件代码，来匹配第一媒体服务的音频信号和所述音频波形中的共同音频事件。
12.如权利要求1所述的方法，其中，所述匹配步骤包括下列步骤：
比较已知声音的音频纹记与第一媒体服务的音频信号和对应于第二媒体服务的音频波形中的声音；以及
关联与音频纹记相匹配并且在音频信号和音频波形二者中出现的声音。
13.一种用于在对应于同一媒体内容的第一媒体服务和第二媒体服务之间自动同步重放的装置，包括：
声音匹配设备，用于匹配第一媒体服务的音频信号与对应于不同于第一媒体服务的第二媒体服务的音频波形中的共同音频特性；以及
可变延迟器，用于根据所述声音匹配设备的输出，调节第一媒体服务和第二媒体服务中至少一个的重放定时，以便在第一媒体服务和第二媒体服务之间自动同步重放，
其中，所述声音匹配设备选择用于采样第一媒体服务的音频信号和对应于第二媒体服务的音频波形的时间窗口，对所述音频信号和所述音频波形生成频谱功率密度曲线，使音频信号和音频波形的频谱功率密度曲线中出现的背景音频事件相关联，并且最小化对应于音频信号和音频波形的频谱功率密度曲线之间的相关误差。
14.如权利要求13所述的装置，其中，所述声音匹配设备使用噪声包络匹配，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频事件。
15.如权利要求13所述的装置，其中，所述声音匹配设备使用已知声音的音频纹记，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频事件。
16.如权利要求13所述的装置，其中，所述声音匹配设备根据音频信号和音频波形之间的最坏情况下预期的延迟差，选择用于采样第一媒体服务的音频信号和所述音频波形的时间窗口。
17.如权利要求13所述的装置，其中，所述声音匹配设备对于第一媒体服务的音频信号和所述音频波形都生成频谱功率密度曲线。
18.如权利要求13所述的装置，其中，所述声音匹配设备最小化对应于第一媒体服务的音频信号和所述音频波形的频谱功率密度曲线之间的相关误差。
19.如权利要求13所述的装置，其中，所述可变延迟器还根据用户输入调节重放定时，用户输入对应于改变在第一媒体服务和第二媒体服务中至少一个的重放中***的延迟。
20.如权利要求13所述的装置，其中，所述声音匹配设备使用嵌入在元数据标签中并进而嵌入第一媒体服务和第二媒体服务中至少一个中的事件代码，来匹配第一媒体服务和第二媒体服务中的共同音频特性。
21.如权利要求13所述的装置，其中，所述声音匹配设备比较已知声音的音频纹记与第一媒体服务的音频信号和所述音频波形中的音频特性，并且使与音频纹记相匹配并在音频信号和音频波形二者中出现的声音相关联。
22.如权利要求13所述的装置，其中，第一媒体内容是第一创作源的，而第二媒体内容是第二创作源的。
CN03825980XA 2003-02-14 2003-02-14 媒体内容的基于音频和视频的媒体服务的自动同步 Expired - Lifetime CN1742492B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2003/004527 WO2004075565A1 (en) 2003-02-14 2003-02-14 Automatic synchronization of audio and video based media services of media content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011100073812A Division CN102088625A (zh) 2003-02-14 2003-02-14 媒体内容的基于音频和视频的媒体服务的自动同步

Publications (2)

Publication Number Publication Date
CN1742492A CN1742492A (zh) 2006-03-01
CN1742492B true CN1742492B (zh) 2011-07-20

Family

ID=32907013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03825980XA Expired - Lifetime CN1742492B (zh) 2003-02-14 2003-02-14 媒体内容的基于音频和视频的媒体服务的自动同步

Country Status (7)

Country Link
US (1) US9628851B2 (zh)
EP (1) EP1593272B1 (zh)
JP (1) JP4456004B2 (zh)
KR (1) KR100934460B1 (zh)
CN (1) CN1742492B (zh)
AU (1) AU2003211073A1 (zh)
WO (1) WO2004075565A1 (zh)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US7142250B1 (en) * 2003-04-05 2006-11-28 Apple Computer, Inc. Method and apparatus for synchronizing audio and video streams
ATE373389T1 (de) * 2003-07-25 2007-09-15 Koninkl Philips Electronics Nv Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7647614B2 (en) 2004-06-07 2010-01-12 Sling Media, Inc. Fast-start streaming and buffering of streaming content for personal media player
DE102004046746B4 (de) 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
US20060184960A1 (en) * 2005-02-14 2006-08-17 Universal Music Group, Inc. Method and system for enabling commerce from broadcast content
DE102005045627A1 (de) 2005-06-22 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Durchführen einer Korrelation zwischen einem Testtonsignal, das mit variabler Geschwindigkeit abspielbar ist, und einem Referenztonsignal
DE102005045628B3 (de) * 2005-06-22 2007-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist
TWI331309B (en) * 2006-12-01 2010-10-01 Ind Tech Res Inst Method and system for executing correlative services
US7953118B2 (en) * 2006-12-08 2011-05-31 Microsoft Corporation Synchronizing media streams across multiple devices
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
EP2130144A1 (en) * 2007-03-21 2009-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for enabling simultaneous reproduction of a first media item and a second media item
US20080263433A1 (en) * 2007-04-14 2008-10-23 Aaron Eppolito Multiple version merge for media production
US20080256136A1 (en) * 2007-04-14 2008-10-16 Jerremy Holland Techniques and tools for managing attributes of media content
US8751022B2 (en) 2007-04-14 2014-06-10 Apple Inc. Multi-take compositing of digital media assets
US8381086B2 (en) * 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
AU2008291065A1 (en) * 2007-12-19 2009-07-09 Interactivetv Pty Limited Device and method for synchronisation of digital video and audio streams to media presentation devices
JP5283914B2 (ja) * 2008-01-29 2013-09-04 キヤノン株式会社 表示制御装置及び表示制御方法
US8140641B2 (en) 2008-11-14 2012-03-20 Microsoft Corporation Managing media synchronization
CN101763848B (zh) * 2008-12-23 2013-06-12 王宏宇 一种用于音频内容识别的同步方法
US9185445B2 (en) * 2009-09-24 2015-11-10 At&T Intellectual Property I, L.P. Transmitting a prioritized audio stream along with multimedia content
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
WO2012011887A1 (en) 2010-07-19 2012-01-26 Thomson Licensing Alternative audio delivery for television viewing
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
US8862254B2 (en) 2011-01-13 2014-10-14 Apple Inc. Background audio processing
US8842842B2 (en) 2011-02-01 2014-09-23 Apple Inc. Detection of audio channel configuration
US8621355B2 (en) 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
EP2501127B1 (en) * 2011-03-14 2017-06-14 EchoStar Technologies L.L.C. Timing uninterruptible processes
US8965774B2 (en) 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
US20130124999A1 (en) 2011-11-14 2013-05-16 Giovanni Agnoli Reference clips in a media-editing application
EP2611051B1 (en) * 2011-12-29 2014-06-04 Thomson Licensing Method for synchronizing media services
EP2648418A1 (en) * 2012-04-05 2013-10-09 Thomson Licensing Synchronization of multimedia streams
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
US9226011B2 (en) * 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
US20140114919A1 (en) * 2012-10-19 2014-04-24 United Video Properties, Inc. Systems and methods for providing synchronized media content
US9032301B2 (en) * 2012-11-05 2015-05-12 LiveCrowds, Inc. Crowd-sync technology for participant-sharing of a crowd experience
US9742825B2 (en) 2013-03-13 2017-08-22 Comcast Cable Communications, Llc Systems and methods for configuring devices
US9773058B2 (en) * 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
WO2014174760A1 (ja) * 2013-04-26 2014-10-30 日本電気株式会社 行動解析装置、行動解析方法および行動解析プログラム
EP2822287A1 (en) * 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
WO2015039891A1 (en) * 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
ES2796873T3 (es) 2013-09-20 2020-11-30 Koninklijke Kpn Nv Correlacionar información de línea de tiempo entre flujos de medios
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
EP2876890A1 (en) 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
JP6721510B2 (ja) 2014-01-31 2020-07-15 インターデジタル シーイー パテント ホールディングス ２つの電子デバイスにおいて再生を同期させるための方法及び装置
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9971319B2 (en) * 2014-04-22 2018-05-15 At&T Intellectual Property I, Lp Providing audio and alternate audio simultaneously during a shared multimedia presentation
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US10250799B2 (en) 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
CN105448312B (zh) * 2014-06-12 2019-02-19 华为技术有限公司 音频同步播放方法、装置及***
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
CN105989846B (zh) * 2015-06-12 2020-01-17 乐融致新电子科技(天津)有限公司 一种多通道语音信号同步方法及装置
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US9979997B2 (en) 2015-10-14 2018-05-22 International Business Machines Corporation Synchronization of live audio and video data streams
EP3371978B1 (en) * 2015-11-06 2021-06-30 Koninklijke KPN N.V. Contiguous streaming of media stream
CN105827997A (zh) * 2016-04-26 2016-08-03 厦门幻世网络科技有限公司 一种为视听化数字媒体配音的方法及装置
EP3646323B1 (en) 2017-06-27 2021-07-07 Dolby International AB Hybrid audio signal synchronization based on cross-correlation and attack analysis
CN109525873B (zh) * 2017-09-18 2022-03-15 炬芯科技股份有限公司 一种音频播放同步方法及装置
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
KR101988157B1 (ko) * 2018-01-26 2019-06-11 건국대학교 산학협력단 소리 파형을 이용한 다수 동영상 간 시간축 동기화 방법 및 장치
JP2019165386A (ja) * 2018-03-20 2019-09-26 ヤマハ株式会社 信号解析方法および信号解析装置
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
CN109587542B (zh) * 2018-12-27 2020-11-27 北京奇艺世纪科技有限公司 音视频数据同步设备、方法、数据处理设备、介质
CN112447185B (zh) * 2019-08-30 2024-02-09 广州虎牙科技有限公司 音频同步误差测试方法、装置、服务器及可读存储介质
CN111131917B (zh) * 2019-12-26 2021-12-28 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
US11451855B1 (en) 2020-09-10 2022-09-20 Joseph F. Kirley Voice interaction with digital signage using mobile device
US11831943B2 (en) 2021-10-26 2023-11-28 Apple Inc. Synchronized playback of media content
US11968417B2 (en) * 2021-12-30 2024-04-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for buffer management
WO2023211753A1 (en) * 2022-04-29 2023-11-02 MIXHalo Corp. Synchronized audio streams for live broadcasts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585858A (en) * 1994-04-15 1996-12-17 Actv, Inc. Simulcast of interactive signals with a conventional video signal
US5912701A (en) * 1997-05-09 1999-06-15 At&T Corp. Arrangement for measuring and controlling temporal relationships between channels of a multimedia communication system
US6184937B1 (en) * 1996-04-29 2001-02-06 Princeton Video Image, Inc. Audio enhanced electronic insertion of indicia into video
WO2002060181A1 (en) * 2001-01-23 2002-08-01 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
US20030028796A1 (en) * 2001-07-31 2003-02-06 Gracenote, Inc. Multiple step identification of recordings

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970002845B1 (ko) * 1993-12-31 1997-03-12 엘지전자 주식회사 디지탈 오디오 신호의 복조장치
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
TW582022B (en) 2001-03-14 2004-04-01 Ibm A method and system for the automatic detection of similar or identical segments in audio recordings
JP4212253B2 (ja) 2001-03-30 2009-01-21 三洋電機株式会社 話速変換装置
US20030066089A1 (en) * 2001-09-28 2003-04-03 David Andersen Trigger mechanism for sync-to-broadcast web content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585858A (en) * 1994-04-15 1996-12-17 Actv, Inc. Simulcast of interactive signals with a conventional video signal
US6184937B1 (en) * 1996-04-29 2001-02-06 Princeton Video Image, Inc. Audio enhanced electronic insertion of indicia into video
US5912701A (en) * 1997-05-09 1999-06-15 At&T Corp. Arrangement for measuring and controlling temporal relationships between channels of a multimedia communication system
WO2002060181A1 (en) * 2001-01-23 2002-08-01 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
US20030028796A1 (en) * 2001-07-31 2003-02-06 Gracenote, Inc. Multiple step identification of recordings

Also Published As

Publication number Publication date
EP1593272B1 (en) 2017-08-30
EP1593272A1 (en) 2005-11-09
JP4456004B2 (ja) 2010-04-28
CN1742492A (zh) 2006-03-01
KR20050105210A (ko) 2005-11-03
US9628851B2 (en) 2017-04-18
JP2006514329A (ja) 2006-04-27
AU2003211073A1 (en) 2004-09-09
WO2004075565A1 (en) 2004-09-02
KR100934460B1 (ko) 2009-12-30
US20060156374A1 (en) 2006-07-13
EP1593272A4 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
CN1742492B (zh) 媒体内容的基于音频和视频的媒体服务的自动同步
US20180295402A1 (en) Synchronizing Program Presentation
JP5903924B2 (ja) 受信装置および字幕処理方法
EP3100458B1 (en) Method and apparatus for synchronizing the playback of two electronic devices
Howson et al. Second screen TV synchronization
EP3100457B1 (en) Method and apparatus for synchronizing playbacks at two electronic devices
EP2611051B1 (en) Method for synchronizing media services
US11758245B2 (en) Interactive media events
US10313724B1 (en) Media-broadcasting system with broadcast schedule simulation feature
US20150215564A1 (en) Methods and apparatus for creation of a reference time index for audio/video programming
US20080059999A1 (en) Multi-function display controller
CN101500144B (zh) 显示控制装置和显示控制方法
CN102088625A (zh) 媒体内容的基于音频和视频的媒体服务的自动同步
WO2014178796A1 (en) System and method for identifying and synchronizing content
JP5163881B2 (ja) シンクロアド放送配信装置及び方法
JP2002271823A (ja) 視聴率評価システム
KR101214515B1 (ko) 방송콘텐츠의 부가정보 제공 시스템 및 그 방법
KR101403969B1 (ko) 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20110720