CN101803390A - 对用户可观察信号进行同步的设备和方法 - Google Patents

对用户可观察信号进行同步的设备和方法 Download PDF

Info

Publication number
CN101803390A
CN101803390A CN200880108266A CN200880108266A CN101803390A CN 101803390 A CN101803390 A CN 101803390A CN 200880108266 A CN200880108266 A CN 200880108266A CN 200880108266 A CN200880108266 A CN 200880108266A CN 101803390 A CN101803390 A CN 101803390A
Authority
CN
China
Prior art keywords
signal
time shift
decoder
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880108266A
Other languages
English (en)
Inventor
马克·A·舒尔茨
罗纳德·D·约翰逊
罗伯特·A·罗兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101803390A publication Critical patent/CN101803390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)

Abstract

一种设备和方法提供了包括音频和/或视频信号的用户可观察信号之间的同步。根据示范实施例，该设备包括：输入点(90)，用于接收编码信号。电路(91)对所述编码信号进行时移，以生成时移后的编码信号。第一解码器(92)对所述时移后的编码信号进行解码，以生成第一解码信号，并且向第一***(93)提供所述第一解码信号。所述第一***(93)将所述第一解码信号转换为第一用户可观察信号。所述输入点(90)还向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码器(94)、编码器(95)、和第三解码器(96)，并且使得能够生成第二用户可观察信号。由所述电路(91)执行的所述时移是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。

Description

对用户可观察信号进行同步的设备和方法
本申请要求2007年9月21日递交的美国临时申请第60/994,805号的权益。
技术领域
本发明一般涉及一种用于提供包括音频和/或视频信号的用户可观察信号之间的同步的设备和方法。诸如机顶盒(STB)之类的设备处理用于向用户提供信息的音频和/或视频信号。例如，STB可以处理这种信号，以使得能够在处于STB附近、或位于STB本地的主电视(TV)上再现节目的音频和/或视频分量。STB还可以使用(例如，***到STB中或作为STB的集成组件(integral component)而包括的)音频/视频编码器来生成适合于作为辅助流(例如，经由无线或有线通信介质)向第二设备(诸如，处于远离STB的位置的便携式TV)传送的信号。
背景技术
在前述配置中，当将位于STB本地的主TV和远离STB的便携式TV两者都调谐到相同台时，辅助流的编码器和传送在主TV上的节目素材的再现、与便携式TV上的再现之间引入了数量级为0.5到1.5秒的延迟。在便携式TV处，该延迟对于音频和视频内容两者而言是相同的。即，由STB使用的编码器对于音频和视频内容两者而言引入了相同的延迟。然而，如果便携式TV处于可以听到来自主TV的音频的位置(例如，主TV处于家中的一个房间，而便携式TV处于相邻房间)，并且主TV和便携式TV两者都正在再现相同的节目内容，则便携式TV的用户可以从在其间具有0.5到1.5秒延迟的两个源听到相同的音频节目。这对于用户而言可能是特别烦人的。
发明内容
相应地，需要一种用于在这种情形下通过提供音频和/或视频信号之间的同步来解决上述问题的设备和方法。本发明解决了这些和/或其他问题。
根据本发明的一方面，公开了一种设备。根据示范实施例，该设备包括：输入点，用于接收编码信号。电路对所述编码信号进行时移，以生成时移后的编码信号。第一解码器对所述时移后的编码信号进行解码，以生成第一解码信号，并且向第一***提供所述第一解码信号。所述第一***将所述第一解码信号转换为第一用户可观察信号。所述输入点还向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码器、编码器、和第三解码器，并且使得能够生成第二用户可观察信号。由所述电路执行的所述时移是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。
根据本发明的另一方面，公开了一种方法。根据示范实施例，该方法包括以下步骤：接收编码信号；对所述编码信号进行时移，以生成时移后的编码信号；经由第一解码器对所述时移后的编码信号进行解码，以生成第一解码信号；向第一***提供所述第一解码信号；经由所述第一***将所述第一解码信号转换为第一用户可观察信号；向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码器、编码器、和第三解码器；经由所述第二***生成第二用户可观察信号；以及其中，所述时移步骤是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。
附图说明
通过结合附图参考本发明实施例的以下描述，本发明的上述和其他特征和优点、以及得到它们的方式将变得更加明显，并且将更好地理解本发明，其中：
图1示出了其中音频和视频延迟近似相等的示范配置；
图2示出了其中音频和视频延迟不等的示范配置；
图3示出了其中音频和视频延迟近似相等的另一示范配置；
图4示出了其中音频和视频延迟不等的另一示范配置；
图5示出了根据本发明实施例的包括暂停特征的示范配置；
图6示出了根据本发明实施例的包括暂停特征的另一示范配置；
图7示出了如何可以实现本发明的示例；
图8示出了如何可以实现本发明的另一示例；
图9示出了包括如何可以实现本发明的暂停特征的进一步示范细节的框图；以及
图10示出了图9的时移电路的进一步示范细节。
具体实施方式
在这里提出的范例阐释了本发明的优选实施例，并且这些范例不应被解释为以任何方式来限制本发明的范围。
现在参考附图，且更具体地参考图1，示出了其中音频和视频延迟近似相等的示范配置。具体地，图1的示范配置包括STB解码器10和12，所述STB解码器10和12分别用于对进入比特流进行解码并分别向TV#1 14和TV#2 16提供对应的音频和视频信号，其中由STB解码器10和TV#1 14引入的音频和视频延迟近似等于由STB解码器12和TV#2 16引入的音频和视频延迟。
图2示出了其中音频和视频延迟不等的示范配置。具体地，图2的示范配置包括STB解码器20，所述STB解码器20对进入比特流进行解码并向TV#1 22提供对应的音频和视频信号，并且还向MPEG编码器24提供对应的音频和视频信号。MPEG编码器24对从STB解码器20接收的音频和视频信号进行编码，并向MPEG解码器26提供编码信号，所述MPEG解码器26对该编码信号进行解码并且向TV#2 28提供对应的音频和视频信号。在图2中，在到TV#2 28的信号路径中添加编码和解码功能引入了延迟，该延迟致使由TV#1 22和TV#2 28提供的输出之间的音频和视频延迟不等。相应地，针对图2的示范配置，如果TV#1 22和TV#2 28处于彼此相对紧邻(例如，处于相邻房间中等)，则该音频将由于不同解码器20和26的时间延迟而是烦人的。
参考图3，示出了其中音频和视频延迟近似相等的另一示范配置。具体地，图3的示范配置包括用于向TV#1 32提供音频和视频信号的数字通用盘(DVD)播放器30。在图3中，将音频和视频延迟设计为近似相等。图4示出了其中音频和视频延迟不等的另一示范配置。在合并了DVD播放器40的图4的示范配置中，因为DVD播放器40没有有关通过TV#1 42的延迟的信息，所以在TV#1 42中音频和视频延迟不等。由于DVD播放器40的音频处理功能没有有关由MPEG编码器44和MPEG解码器46引入的延迟的信息，所以TV#2 48和DVD播放器40中的延迟也不匹配。在图4中，如果TV#2 48是便携式单元，则将在音频和视频输出两者中发现多个延迟。
图5示出了根据本发明实施例的包括暂停特征的示范配置。具体地，图5的示范配置包括具有将稍后在这里进行描述的暂停特征的STB解码器50。STB解码器50对进入比特流进行解码，并向TV#1 52提供对应的音频和视频信号，并且还向MPEG编码器54提供对应的音频和视频信号。MPEG编码器54对从STB解码器50接收的音频和视频信号进行编码，并且向MPEG解码器56提供编码信号，所述MPEG解码器56对该编码信号进行解码并向TV#2 58提供对应的音频和视频信号。
在图5的示范配置中存在的主要问题之一是：对来自在彼此的听力距离内的两个解码器50和56的相同或相似流的解码。通常，解码器50和56将不同步，并且将相对于彼此在音频中具有一些延迟失配。如果TV#2 58是便携式单元，则该同步的缺少可能特别成问题。在这种情况下，MPEG编码器54可以向MPEG解码器56无线地传送音频和视频流，所述MPEG解码器56进而对该流进行解码，并且向TV#2 58提供对应的音频和视频信号。包括了MPEG编码器54和MPEG解码器56的该编码/解码路径在该流被解码并被TV#2输出之前具有至少0.5到1.5秒的延迟。由于该音频/视频的偏移是非常显著的延迟，所以它可能听起来非常不舒服。TV#2 58的用户也具有以下新问题(complication)，即TV#1 52的音频输出超前于TV#2 58的输出的视频和音频该0.5到1秒。即，TV#2 58的用户将先听到由TV#1 52再现的音频，然后TV#2 58的视频显示器才再现与所述先听到的音频内容相关联的视频内容。由于音频在视频以前，所以大于近似8毫秒的音频超前倾向于听起来非常烦扰。
关于上述延迟问题，在由家中的不同房间中的多台模拟TV(例如，NTSCTV)所再现的过去的节目内容中还算一致。然而，随着数字传送、编码器、解码器、和流传输视频的出现，在TV之间发现的组延迟可以是相当大的。该问题的另一潜在方面涉及：两个接收机可能正在对相似内容进行解码，但是作为结果的视频可能是不同的纵横比、不同的帧速率、和不同的分辨率。解码参数中的任何这些变化将单独地或者组合地造成视频和音频流的传递和解码中的差异，并且导致在不同位置中的内容再现之间的延迟。
为了解决上述延迟问题，本发明使用暂停(即，时移)特征。在图5的示范配置中，该暂停特征由STB解码器50提供，并且对STB解码器50的解码功能进行延迟(即，时移)，以由此将TV#1 52的音频和视频输出延迟与在包括了MPEG编码器54和MPEG解码器56的编码/解码路径中发现的延迟相同量的延迟。通过使用暂停特征来引入该延迟，可以使TV#1 52和TV#2 58的音频和视频输出基本上同步。
图6示出了根据本发明实施例的包括暂停特征的另一示范配置。具体地，图6的示范配置包括具有双延迟特征(如上所述)的DVD播放器60。如图6所指示的，DVD播放器60向TV#1 62提供视频信号，并且还提供对应的音频输出信号。DVD播放器60还向MEPG编码器64提供音频和视频信号，所述MPEG编码器64对从DVD播放器60接收的音频和视频信号进行编码，并且向MPEG解码器66提供编码信号，所述MPEG解码器66对该编码信号进行解码，并且向TV#2 68提供对应的音频和视频信号。在图6的示范配置中，可以通过使用前述暂停特征来控制或调整相对于彼此的和相对于视频的音频延迟，以使由相对于彼此的和相对于视频的音频延迟造成的烦扰最小化。
现在参考图7，示出了如何可以实现本发明的示例。在图7中，具有暂停特征的STB解码器70对进入比特流进行解码并向主TV#1 72提供对应的音频和视频信号，并且还向MPEG编码器74提供对应的音频和视频信号。MPEG编码器74对从STB解码器70接收的音频和视频信号进行编码，并向MPEG解码器76无线地提供编码信号，所述MPEG解码器76对编码信号进行解码的并且向便携式TV#2 78提供对应的音频和视频信号。
在图7的示例中，人员A相对接近于主TV#1 72，该主TV#1 72音量高并且放大器功率大。人员B接近于便携式TV#2 78，该便携式TV#2 78音量不太高，并且音频放大器功率不非常大。由于便携式TV#2 78的音频在音量上比主TV#1 72的音频低得多，所以人员A没有受到便携式TV#2 78的音频的干扰。然而，人员B听到主TV#1 72的相对响亮的音频、和便携式TV#2 78的还算低的音频两者，并且由于主TV#1 72的相对响亮的音频超前于便携式TV#2 78上的视频近似1秒，所以人员B受到该主TV#1 72的相对响亮的音频的干扰。如果STB解码器70的暂停特征用于帮助该问题，则由于对STB解码器70的解码功能进行延迟，所以对于主TV#1 72延迟所述音频和视频。由于人员A的领域(world)相同，所以这对于他没有影响，除了存在他不可能分辨的1秒延迟以外。其间，由于来自主TV#1 72的音频与来自便携式TV#278的音频基本上同步，所以人员B现在具有已匹配的音频，并且来自主TV#172的音频的音量不再是问题。现在，已校正了两个人的视频和收听乐趣，而没有使任何人不快。这解决了与便携式的基于编码器的TV相关联的非常烦人的问题。
图8示出了如何可以实现本发明的另一示例。在图8中，具有暂停特征的STB解码器80对进入比特流进行解码并向主TV#1 82提供对应的音频和视频信号，并且还向MPEG编码器84提供对应的音频和视频信号。MPEG编码器84对从STB解码器80接收的音频和视频信号进行编码，并向MPEG解码器86无线地提供编码信号，所述MPEG解码器86对编码信号进行解码，并且向便携式TV#2 88提供对应的音频和视频信号。如图8所指示的，提供麦克风，以控制STB解码器80的暂停特征。
在图8的示例中，STB解码器80的音频***通过进行两个信号的互相关来尝试对麦克风处的延迟进行均衡，以消除回声影响。该***将具有该功能将检查的、合理的调整延迟的范围限制，诸如0.1到2秒。如果由于主TV#182的非常低的音量或正从正在观看的两个独立频道发现的两个不同音频通道而使得音频在该窗口内不匹配，则暂停特征可以在其延迟上保持恒定或者被切换回到正常的零延迟。如果将麦克风定位在便携式TV#2 88中，则可以拾取两个音频通道，并且实际上以高精度来测量该延迟。这将在仅仅音频通道正用于播放音乐时是非常有用的。对于本申请而言，延迟补偿将是相似的，但是成帧(framing)将在调整的粒度(granularity)上具有相似的限制。可以将附加资源添加到TV处理之一或两者，以使得调整非常精确。这将典型地涉及在视频解码器处理内部添加存储器，其中存在用于解码的基于帧的参考。在此情况下，将在16和33毫秒之间做出该调整。可以取决于音频标准和一个人希望添加到该处理的存储器的量来使得音频调整更加精细。
图9示出了包括如何可以实现本发明的暂停特征的进一步示范细节的框图。图9的示范实现包括输入点90，其用于接收编码的音频和/或视频信号的进入比特流。时移电路91通过对编码信号进行时移来执行暂停特征，以生成时移后的编码信号。第一解码器92对时移后的编码信号进行解码，以生成第一解码信号，并向包括TV#1 93的第一***提供第一解码信号。TV#1 93将第一解码信号转换到具有音频和/或视频内容的第一用户可观察信号。
输入点90还向第二***提供编码的音频和/或视频信号的进入流，所述第二***包括：用于执行解码功能的第二解码器94、用于执行编码功能的编码器95、和用于执行解码功能的第三解码器96。如图9所指示的，串联地耦接第二解码器94、编码器95和第三解码器96。第三解码器96向TV#2 97提供解码信号，所述TV#2 97进而生成具有音频和/或视频内容的第二用户可观察信号。
根据本发明的原理，由时移电路91执行的时移(即，暂停特征)是可调整的，并且使得由TV#1 93输出的第一用户可观察信号能够变得与由TV#2 97输出的第二用户可观察信号基本上同步。用户可以以手动方式(诸如，经由两个参考点之间的滑动条)来调整由时移电路91执行的时移。可替换地，可以自动地(诸如，通过按照上面结合图8描述的方式来使用麦克风)调整由时移电路91执行的时移。如稍后在这里将描述的，可以对应于一个或多个画面组(GOP)结构而递增地调整由时移电路91执行的时移。
根据示范实施例，在诸如STB、DVD播放器或其他类型的装置、***和/或设备之类的单一设备中包括输入点90、时移电路91和第一解码器92。然而，根据另一示范实施例，第二解码器94和/或编码器95也可以是该单一设备的一部分。同样，可以在单个集成电路(IC)上包括第一解码器92和第二解码器94。如图9所指示的，向第三解码器96无线地传送从编码器95输出的信号。
图10示出了图9的时移电路91的进一步示范细节。如图10所指示的，时移电路91包括具有减法器102的暂停延迟控制器100、和存储器104。暂停延迟控制器100通过从正常延迟控制添加或减去偏移来控制暂停特征。存储器104保持流传输内容，并且具有用于读取和写入内容两者的随机存取。用于存储器104的控制***(未明确地示出)具有两个计数器：一个用于读取内容，而另一个用于写入内容。当数据进入存储器104中时，基于写计数器，它被打上时间戳并且存储在存储器位置中。在回放数据时，由读计数器来控制正被读取的存储器位置。
当没有使用延迟时，读和写计数器可以在时间和存储器位置上提供相同的参考。由于在时间上读计数器总是滞后写计数器几个存储器周期到几天，所以这典型地不是实际情况。通过在时间上将读计数器的值向回(back)设置为等于所期望的延迟来管理由时移电路91引入的延迟量。例如，如果期望一个小时，则读计数器将在写计数器的用于在一小时前写入内容的位置处存取存储器104。通过简单地重置读计数器，我们可以从记录了内容的时间开始改变输出的延迟。
假定可以控制该延迟，那么可以通过利用将读计数器的被编程时间偏移代表了一时间段的另一数字而向该延迟添加精细调谐来提供用户特征。图10示出了其中暂停延迟控制器100具有从正常延迟控制添加或减去偏移的能力的该安排。因此，为了将输出内容延迟额外的100毫秒，我们可以将延迟增加与存储时间戳的100毫秒对应的数字。这从存储器104中存取时间上更早的读取数据，这增加了写入数据的时间和读取数据的时间之间的延迟。
尽管在图10中没有明确地示出，但是可以提供用户接口(UI)，以控制由时移电路91提供的暂停特征。UI例如可以包括两个参考点之间的滑动条，并且采用用于使用滑动值来对存储器104的读地址进行偏移的软件和/或硬件。这样，滑动条(或其他UI元件)将许可用户调整由时移电路91引入的延迟，并且还将向用户传达关于延迟控制本***被设置成什么样。同样，本***可以准备单独的音频延迟和单独的视频延迟，这有助于用户试图对大***的不同组件进行优化。随着便携式***变得更加普及，由于对于用于便携式音频/视频应用的低比特率压缩的需要而使得所描述的***可能特别相关。由于用于传递所述低比特率的复杂度，所以低比特率处理可能涉及编码器中的大等待时间。
实践中，要注意，MPEG数据基于以下GOP结构：典型地每GOP结构播放近似0.5秒。从实践角度上，这意味着，可以将由时移电路91提供的延迟调整的粒度限制为在存储器104中存储的GOP结构的大小。相应地，轻微的移动可以将延迟改变0.5秒，而大移动可能根本不改变延迟，如果内容已经正在播放的话。如果停止该内容，则GOP的可用性是时间的更加线性的函数，这是因为当整个GOP可以用于解码时，所述GOP的可用性变化。该可变的开始时间将在解码开始处提供更加线性的控制，并且然后一旦开始，GOP结构将从所述点处取得控制。最后，通过在GOP结构之间来回移动来获得粗调整，而当第一GOP结构可以用于解码时，改变为更加精细的调整。
如在这里所描述的，本发明提供了一种用于提供包括音频和/或视频信号的用户可观察信号之间的同步的设备和方法。更具体地，在这里描述的本发明的实施例包括：通过激活诸如STB之类的设备的暂停特征来引入延迟。本发明的另一实施例包括：由时间延迟缓冲存储器提供额外的1-2秒。理想地，所述两个***将在解码定时上匹配，即使由于两台TV的物理分离而使得小超前/滞后将仍然存在。所描述的发明的另一方面包括控制暂停特征，以引入可变延迟。延迟响应于存在于由本地或主装置所进行的内容再现与由远程装置所进行的内容再现之间的实际延迟的检测而变化。检测例如可以包括使用麦克风来检测本地和远程音频信号，并处理所检测的音频信号以建立实际延迟值。然后，可以响应于该实际延迟值来控制暂停特征，以调整所产生的延迟，由此提供正由暂停特征引入的延迟的精细调整。
相应地，由于在这里所描述的发明通过利用与设备相关联的暂停特征将在本地或主TV上再现的节目信号的解码延迟数量级为0.5到1.5秒的量，来解决所描述的同步问题，所以所述TV中的两个音频/视频解码器在其延迟方面基本上匹配，或至少与适合于使对于用户的烦扰影响最小化的程度匹配。在这里所描述的发明的另一方面包括使用感测装置或检测器(例如，麦克风)来检测或确定存在于两条音频路径中的延迟，并使得该***将延迟调整到预定义的延迟(诸如，几毫秒)内。
如上所述，可以控制暂停特征的操作，以消除这种延迟，或将这种延迟减小到致使各个再现之间的延迟不被用户讨厌的程度。根据所描述的发明的一方面，可以引入暂停特征的控制，以由顾客或由制造者手动地(例如，通过使用远程控制或通过诸如STB之类的装置的前面板上的按钮)或者自动地(例如，在微处理器控制下)精细地调谐或调整延迟。在自动控制的背景下，用户或制造商可以(例如，通过在***操作的设立模式期间在显示于显示装置上的菜单中键入所期望的值)在延迟值上设置所期望的界限，并且该***然后将在微处理器的控制下通过(例如，使用诸如如上所述的麦克风之类的检测器)检测现有的延迟、并且(例如，通过调整暂停特征操作)控制解码路径中的可变延迟，来自动地操作，以将作为结果的延迟维持在所指定的界限内。
如上所述，在这里所描述的***的一方面在于，在所暂停的内容中创建延迟，以匹配或基本上匹配第二解码器的解码时间。所创建的延迟可以根据需要而超前于或滞后于其正常模式，以匹配第二解码器的解码时间。超前特性假设已经按照至少正在请求的超前值(例如，2秒)记录了暂停内容。上述自动***可以涉及经由诸如HDMI之类的通信协议来在装置之间传达延迟信息，使得可以对整个***响应进行优化。可替换地，或结合自动控制地，可以发生延迟的手动调整，例如用户可以调整延迟，直到用户满意结果为止。
本发明可以应用于具有或不具有集成显示装置的各种设备。尽管已经将本发明描述为具有优选设计，但是可以在本公开的精神和范围内进一步修改本发明。因此，本申请意欲使用其一般原则来覆盖本发明的任何变形、使用、或适应。此外，本申请意欲覆盖进入本发明所属领域中的已知或惯例实践内的、并且落入所附权利要求的限制内的与本公开的这种偏离物。

Claims (21)

1.一种设备，包括：
输入点(90)，用于接收编码信号；
电路(91)，用于对所述编码信号进行时移，以生成时移后的编码信号；
第一解码器(92)，用于对所述时移后的编码信号进行解码，以生成第一解码信号，并且用于向第一***(93)提供所述第一解码信号，所述第一***(93)将所述第一解码信号转换为第一用户可观察信号；
所述输入点(90)向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码器(94)、编码器(95)、和第三解码器(96)，并且生成第二用户可观察信号；以及
其中，由所述电路(91)执行的所述时移是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。
2.根据权利要求1的设备，其中，所述第一解码器(92)和所述第二解码器(94)被包括在单个集成电路上。
3.根据权利要求1的设备，其中，所述第二解码器(94)和所述编码器(95)是所述设备的部分。
4.根据权利要求3的设备，其中，向所述第三解码器(96)无线地传送从所述编码器(95)输出的信号。
5.根据权利要求1的设备，其中，用户可经由两个参考点之间的滑动条来调整由所述电路(91)执行的所述时移。
6.根据权利要求1的设备，其中，自动地调整由所述电路(91)执行的所述时移。
7.根据权利要求1的设备，其中，可对应于一个或多个画面组(GOP)结构来递增地调整由所述电路(91)执行的所述时移。
8.一种设备，包括：
用于接收编码信号的部件(90)；
用于对所述编码信号进行时移以生成时移后的编码信号的部件(91)；
第一解码部件(92)，用于对所述时移后的编码信号进行解码，以生成第一解码信号，并且用于向第一***(93)提供所述第一解码信号，所述第一***(93)用于将所述第一解码信号转换为第一用户可观察信号；
所述接收部件(90)向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码部件(94)、编码部件(95)、和第三解码部件(96)，并且生成第二用户可观察信号；以及
其中，由所述时移部件(91)执行的所述时移是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。
9.根据权利要求8的设备，其中，所述第一解码部件(92)和所述第二解码部件(94)被包括在单个集成电路上。
10.根据权利要求8的设备，其中，所述第二解码部件(94)和所述编码部件(95)是所述设备的部分。
11.根据权利要求10的设备，其中，向所述第三解码部件(96)无线地传送从所述编码部件(95)输出的信号。
12.根据权利要求8的设备，其中，用户可经由两个参考点之间的滑动条来调整由所述时移部件(91)执行的所述时移。
13.根据权利要求8的设备，其中，自动地调整由所述时移部件(91)执行的所述时移。
14.根据权利要求8的设备，其中，可对应于一个或多个画面组(GOP)结构来递增地调整由所述时移部件(91)执行的所述时移。
15.一种方法，包括以下步骤：
接收编码信号；
对所述编码信号进行时移，以生成时移后的编码信号；
经由第一解码器(92)对所述时移后的编码信号进行解码，以生成第一解码信号；
向第一***(93)提供所述第一解码信号；
经由所述第一***(93)将所述第一解码信号转换为第一用户可观察信号；
向第二***提供所述编码信号，所述第二***包括串联耦接的第二解码器(94)、编码器(95)、和第三解码器(96)；
经由所述第二***生成第二用户可观察信号；以及
其中，所述时移步骤是可调整的，并且使得所述第一用户可观察信号能够变得与所述第二用户可观察信号基本上同步。
16.根据权利要求15的方法，其中，所述第一解码器(92)和所述第二解码器(94)被包括在单个集成电路上。
17.根据权利要求15的方法，其中，所述第二解码器(94)和所述编码器(95)是相同设备的部分。
18.根据权利要求17的方法，其中，向所述第三解码器(96)无线地传送从所述编码器(95)输出的信号。
19.根据权利要求15的方法，其中，用户可经由两个参考点之间的滑动条来调整所述时移步骤。
20.根据权利要求15的方法，其中，自动地调整所述时移步骤。
21.根据权利要求15的方法，其中，可对应于一个或多个画面组(GOP)结构来递增地调整所述时移步骤。
CN200880108266A 2007-09-21 2008-07-31 对用户可观察信号进行同步的设备和方法 Pending CN101803390A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99480507P 2007-09-21 2007-09-21
US60/994,805 2007-09-21
PCT/US2008/009240 WO2009038615A1 (en) 2007-09-21 2008-07-31 Apparatus and method for synchronizing user observable signals

Publications (1)

Publication Number Publication Date
CN101803390A true CN101803390A (zh) 2010-08-11

Family

ID=39971121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880108266A Pending CN101803390A (zh) 2007-09-21 2008-07-31 对用户可观察信号进行同步的设备和方法

Country Status (7)

Country Link
US (1) US20100303159A1 (zh)
EP (1) EP2191653A1 (zh)
JP (1) JP5660895B2 (zh)
KR (1) KR20100094972A (zh)
CN (1) CN101803390A (zh)
BR (1) BRPI0816903A2 (zh)
WO (1) WO2009038615A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297808A (zh) * 2012-02-24 2013-09-11 三星电子株式会社 用于在电子装置之间传输流的方法及其电子装置
CN105940679A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN106063283A (zh) * 2014-01-31 2016-10-26 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN108962292A (zh) * 2017-05-17 2018-12-07 蒂雅克股份有限公司 音频装置及程序

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2458727A (en) * 2008-03-15 2009-10-07 Blue Tiger Systems Ltd Delay of audiovisual (AV) signal component for synchronisation with wireless transmission
KR20110042540A (ko) * 2009-10-19 2011-04-27 삼성전자주식회사 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
US8913104B2 (en) 2011-05-24 2014-12-16 Bose Corporation Audio synchronization for two dimensional and three dimensional video signals
JP5957760B2 (ja) * 2012-03-08 2016-07-27 パナソニックＩｐマネジメント株式会社 映像音声処理装置
US8918822B2 (en) * 2012-09-26 2014-12-23 Apple Inc. Displaying a synchronized instance of content on a portable electronic device
US9615122B2 (en) 2014-01-30 2017-04-04 Echostar Technologies L.L.C. Methods and apparatus to synchronize second screen content with audio/video programming using closed captioning data
FR3059507B1 (fr) * 2016-11-30 2019-01-25 Sagemcom Broadband Sas Procede de synchronisation d'un premier signal audio et d'un deuxieme signal audio
US10425696B2 (en) * 2017-07-11 2019-09-24 Sony Corporation User placement of closed captioning
US11115726B2 (en) * 2019-11-22 2021-09-07 Verizon Patent And Licensing Inc. Content delivery to over the top device from customer premises equipment using notifications and dynamic port assignment
FR3111497A1 (fr) * 2020-06-12 2021-12-17 Orange Procédé de gestion de la restitution d’un contenu multimédia sur des dispositifs de restitution.

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016A (en) * 1849-01-09 Improvement in corn-planters
US6806909B1 (en) * 1997-03-03 2004-10-19 Koninklijke Philips Electronics N.V. Seamless splicing of MPEG-2 multimedia data streams
US6631410B1 (en) * 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
US9432719B2 (en) * 2002-10-22 2016-08-30 Broadcom Corporation A/V System and method supporting a pull data flow scheme
JP2006521722A (ja) * 2003-01-28 2006-09-21 トムソン ライセンシング ロバスト・モードでのスタガキャスト
JP4256710B2 (ja) * 2003-04-16 2009-04-22 パナソニック株式会社 Ａｖ伝送方法及びａｖ伝送装置、並びにａｖ送信装置及びａｖ受信装置
JP2005286426A (ja) * 2004-03-26 2005-10-13 Sharp Corp ホームネットワークサーバ、デジタル放送番組配信方法、無線端末、ホームネットワークシステム、プログラム、および記録媒体
EP1736000A1 (en) * 2004-04-07 2006-12-27 Koninklijke Philips Electronics N.V. Video-audio synchronization
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
US7657829B2 (en) * 2005-01-20 2010-02-02 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
JP2006324960A (ja) * 2005-05-19 2006-11-30 Toshiba Corp 無線通信装置
JP2007081780A (ja) * 2005-09-14 2007-03-29 Seiko Epson Corp 再生制御装置、表示装置および再生システム
CN101909190B (zh) * 2005-09-30 2012-09-26 松下电器产业株式会社 无线传送***
JP4184397B2 (ja) * 2005-11-11 2008-11-19 シャープ株式会社 映像音声処理システムおよびその制御方法、音声処理システム、映像音声処理システム制御プログラム、ならびに該プログラムを記録した記録媒体
US7627890B2 (en) * 2006-02-21 2009-12-01 At&T Intellectual Property, I,L.P. Methods, systems, and computer program products for providing content synchronization or control among one or more devices

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297808A (zh) * 2012-02-24 2013-09-11 三星电子株式会社 用于在电子装置之间传输流的方法及其电子装置
US9386065B2 (en) 2012-02-24 2016-07-05 Samsung Electronics Co., Ltd. Method for transmitting stream between electronic devices and electronic device for the method thereof
CN103297808B (zh) * 2012-02-24 2016-09-28 三星电子株式会社 用于在电子装置之间传输流的方法及其电子装置
US9954923B2 (en) 2012-02-24 2018-04-24 Samsung Electronics Co., Ltd. Method for transmitting stream between electronic devices and electronic device for the method thereof
CN105940679A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN106063283A (zh) * 2014-01-31 2016-10-26 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
US10250927B2 (en) 2014-01-31 2019-04-02 Interdigital Ce Patent Holdings Method and apparatus for synchronizing playbacks at two electronic devices
CN106063283B (zh) * 2014-01-31 2019-06-11 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN108962292A (zh) * 2017-05-17 2018-12-07 蒂雅克股份有限公司 音频装置及程序
CN108962292B (zh) * 2017-05-17 2020-09-29 蒂雅克股份有限公司 音频装置及程序

Also Published As

Publication number Publication date
JP5660895B2 (ja) 2015-01-28
JP2010541323A (ja) 2010-12-24
EP2191653A1 (en) 2010-06-02
US20100303159A1 (en) 2010-12-02
BRPI0816903A2 (pt) 2015-03-17
KR20100094972A (ko) 2010-08-27
WO2009038615A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
CN101803390A (zh) 对用户可观察信号进行同步的设备和方法
US7471337B2 (en) Method of audio-video synchronization
TW527838B (en) Digital broadcasting receiving device
US9998703B2 (en) Apparatus, systems and methods for synchronization of multiple headsets
KR102179321B1 (ko) 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
JP6184408B2 (ja) 受信装置及びその受信方法
KR102156467B1 (ko) ２ 개의 전자 디바이스들에서의 재생들을 동기화하기 위한 방법 및 장치
US8925003B2 (en) Mechanism for facilitating synchronization of audio and video between multiple media devices
KR20150030946A (ko) 오디오 신호의 출력을 지연시키는 ａ/ｖ 수신 장치 및 그 방법, 그리고, ａ/ｖ 신호 처리 시스템
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
US20130166769A1 (en) Receiving device, screen frame transmission system and method
JP2013201606A (ja) 字幕同期再生装置およびそのプログラム
US8229270B2 (en) Method and apparatus for compensating audio/video synchronization
US10536745B2 (en) Method for audio detection and corresponding device
US20100166382A1 (en) Video and audio reproduction system, distribution device, and synchronization adjustment method
JP2010206440A (ja) デジタル放送受信装置及びコマーシャル効果評価方法
KR100677162B1 (ko) Ａ/ｖ 동기를 자동 조정하는 ａｖ 시스템
KR20110120402A (ko) 홈 씨어터 시스템의 신호 출력 제어 장치 및 방법
KR100631783B1 (ko) 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
KR20060109081A (ko) 디지털 방송 수신기에서의 음성 및 영상 동기화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100811