CN102577366A - 用于分发嵌入在视频数据中的辅助数据的***和方法 - Google Patents

用于分发嵌入在视频数据中的辅助数据的***和方法 Download PDF

Info

Publication number
CN102577366A
CN102577366A CN2010800461012A CN201080046101A CN102577366A CN 102577366 A CN102577366 A CN 102577366A CN 2010800461012 A CN2010800461012 A CN 2010800461012A CN 201080046101 A CN201080046101 A CN 201080046101A CN 102577366 A CN102577366 A CN 102577366A
Authority
CN
China
Prior art keywords
data
auxiliary data
video data
small tool
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800461012A
Other languages
English (en)
Other versions
CN102577366B (zh
Inventor
M·厄耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201510681173.9A priority Critical patent/CN105263031B/zh
Publication of CN102577366A publication Critical patent/CN102577366A/zh
Application granted granted Critical
Publication of CN102577366B publication Critical patent/CN102577366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

一种用于分发嵌入在视频数据中的辅助数据的***和方法包括：内容源，把辅助数据嵌入在视频数据中。内容源把视频数据与辅助数据一起编码以创建包括压缩视频数据的分发复用信号。解码器接收并解压缩分发复用信号以再现嵌入有辅助数据的视频数据。电视或者其它装置随后从视频数据检测并提取辅助数据。电视或者其它装置处理辅助数据以支持包括在电视的显示器上显示同步小工具的各种可能的交互应用。

Description

用于分发嵌入在视频数据中的辅助数据的***和方法
相关申请的交叉引用
本申请要求于2009年10月13日提交的标题为“Video-Embedded Metadata”的美国临时专利申请No.61/251,099的优先权。前述相关申请被共同转让并且通过引用包含于此。
技术领域
本发明一般地涉及用于实现电视***的技术，更具体地讲，涉及一种用于分发嵌入在视频数据中的辅助数据的***和方法。
背景技术
在数字电视***内实现用于元数据的分发的有效方法是现代电子娱乐***的设计者和制造者的重要考虑。然而，有效地实现这种***可能对***设计者产生实质挑战。例如，增强的对增加的***功能和性能的需求可能需要更多的能力并且需要另外的硬件和软件资源。由于操作的低效率、损失的收入机会和减少的功能，高级***中元数据的有效传送的障碍可能导致对应的不利的经济影响。
另外，用于执行各种高级操作的增强的***能力能够为最终用户提供另外的利益，但也可能对各种***部件的控制和管理提出更多的要求。例如，有效支持同步电视小工具功能的增强的电子***可受益于提供支持这种功能的数据流的灵活承载的方法。
由于增长的对***资源的需求和显著增加的数据大小，很明显地，开发通过数字电视***实现并使用数据分发的新技术是相关电子技术所关心的问题。因此，由于所有前述原因，开发通过数字电视***实现并使用数据分发的有效***始终是现代电子娱乐***的设计者、制造者和用户的重要考虑。
发明内容
根据本发明，公开了一种用于分发嵌入在视频数据中的辅助数据的***和方法。根据本发明的一个实施例，内容源或者其它合适的实体最初生产通常包括视频数据和音频数据的内容数据。内容源或者其它合适的实体随后创建辅助数据以在电视装置上支持高级交互特征，诸如“同步小工具”或者互联网增强交互性。内容源或者其它合适的实体把辅助数据***或者嵌入在视频数据中。
内容源或者其它合适的实体随后对音频数据和视频数据(包括嵌入的辅助数据)编码以创建压缩分发复用信号。内容源或者其它合适的实体以任何有效方式把分发复用信号分发到电子网络中的电视。在某些实施例中，机顶盒的解码器装置或者其它合适的实体接收并解码由内容源分发的分发复用信号以再现未压缩的音频数据和未压缩的视频数据(包括嵌入的辅助数据)。
电视的检测模块通过使用任何有效技术扫描视频数据以定位嵌入的辅助数据。接下来，电视的提取模块从视频数据提取定位的辅助数据。最后，电视的辅助数据模块处理提取的辅助数据以成功地显示并支持存在于电视中的一个或多个交互应用。由于所有前述原因，本发明因此提供一种改进的用于分发嵌入在视频数据中的辅助数据的***和方法。
附图说明
图1A是根据本发明一个实施例的电子***的方框图；
图1B是根据本发明一个实施例的图1A的电视的显示器的示图；
图2是根据本发明的图1A的内容源的一个实施例的方框图；
图3是根据本发明的图2的源存储器的一个实施例的方框图；
图4是根据本发明的图3的辅助数据的一个实施例的方框图；
图5是根据本发明的图1A的电视的一个实施例的方框图；
图6是根据本发明的图5的TV存储器的一个实施例的方框图；
图7A和7B是根据本发明的两个不同实施例的嵌入在视频数据中的辅助数据的示图；和
图8A-8C是根据本发明一个实施例的用于分发辅助数据的方法步骤的流程图。
具体实施方式
本发明涉及电视***的改进。提供下面的描述以便使本领域普通技术人员能够实现并使用本发明，并且在专利申请及其要求的情况下提供下面的描述。对公开的实施例的各种修改对于本领域技术人员而言将会很容易地是清楚的，并且本文的一般原理可应用于其它实施例。因此，本发明不应局限于示出的实施例，而是应该被给予符合本文描述的原理和特征的最宽的范围。
本发明在本文被描述为用于分发嵌入在视频数据中的辅助数据的***和方法，并包括把辅助数据嵌入在视频数据中的内容源。内容源随后把视频数据与辅助数据一起编码以创建包括压缩视频数据的分发复用信号。解码器接收并解压缩分发复用信号以再现具有嵌入的辅助数据的视频数据。电视或者其它装置随后从视频数据中检测并提取辅助数据。电视或者其它装置处理辅助数据以支持各种可能的交互应用(包括在电视的显示器上显示同步小工具)。
现在参照图1A，显示了根据本发明一个实施例的电子***110的方框图。在图1A实施例中，电子***110可包括但不限于内容源114、机顶盒118、接口126、电视122、可选的网络134和可选的服务器130。在另外的实施例中，可使用除结合图1A实施例讨论的那些部件和结构中的某些部件和结构之外的部件和结构或者替代于结合图1A实施例讨论的那些部件和结构中的某些部件和结构的部件和结构实现电子***110。例如，任何数量的电视122可类似地部署在电子***110中。另外，网络134和服务器130可以不被包括在本发明的所有实施例中。
在图1A实施例中，内容源114可实现为准备并分发用于由电视122再现的内容数据(包括视频数据和音频数据)的一个或多个电子装置或者其它实体。在图1A实施例中，内容源114可实现为任何合适的实体。例如，内容源114可包括电视广播设施、***分发设施或者互联网服务器实体。以下结合图2-4进一步讨论关于内容源114的实现和使用的另外的细节。
在图1A实施例中，内容源114创建包含具有压缩形式的内容数据的编码的分发复用信号，然后经路径116通过分发网络把分发复用信号分发给解码器装置。在图1A实施例中，解码器装置实现于机顶盒118中。然而，在其它实施例中，解码器装置可实现为在电视122外部或者与电视122集成的任何合适的实体。在某些实施例中，另外的装置或者实体可位于内容源114和机顶盒118之间。这种实体的例子可包括但不限于广播网络分支机构和服务提供商(诸如，卫星或有线电视头端)。
在图1A实施例中，机顶盒118对编码的分发复用信号解码以产生未压缩的A/V数据(视频数据和音频数据)，该未压缩的A/V数据经合适的接口126被提供给电视122。在图1A实施例中，接口126可以以任何有效的方式实现。例如，接口126可根据提供高速并行接口的高清晰多媒体接口(HDMI)标准实现以把未压缩的视频数据和音频数据以及控制/定时信号提供给电视122。电视122可随后作为响应而接收并再现视频数据和音频数据以便由***用户使用。以下结合图5-6进一步讨论关于电视122的实现和使用的另外的细节。
在图1A实施例中，除了主内容数据之外，电子***110支持电视122上各种类型的“小工具”的创建和显示。小工具可包括为提供任何所希望的类型的信息而在电视122上显示的离散的区域。以下结合图1B进一步提供关于小工具的另外的细节。在图1A实施例中，电子***110有益地支持提供与当前显示在电视122上的主内容数据相关(同步)的信息的同步小工具。为了成功地支持同步小工具，电子***110还把某些类型的辅助数据提供给电视122。
在各种实施例中，电视122可从任何合适的源(包括但不限于内容源114或者服务器130)获得辅助数据。在图1A实施例中，电视122可经任何有效的网络134(包括但不限于互联网)与服务器130通信。以下结合图4、7和8进一步讨论关于辅助数据的创建、分发和使用的另外的细节。
本发明一般地包括把辅助数据嵌入在视频信号中，从而辅助数据可由接收装置(例如电视122)快速而容易地恢复。在某些实施例中，内容源114在分发的视频信号内***辅助数据，从而辅助数据经过分发链，经压缩接口(从有线、卫星或者IPTV服务提供商)进入消费者的家里，在机顶盒118中被解压缩，然后以未压缩的格式进入电视122，电视122检索并使用嵌入的辅助数据以支持同步小工具。前面的技术旨在防止服务提供商或者其它实体阻碍消费者访问为电视122提供增强的功能所需的辅助数据。
某些有线、卫星和IPTV实体通常为***用户提供经HDMI未压缩视频接口或者其它合适的装置连接到数字电视的机顶盒。如果内容所有者希望利用内容数据包括辅助数据(诸如，URL、小应用程序等)并且如果辅助数据作为单独的数字流(或者作为压缩比特流内的元数据)与内容数据一起传输，则辅助数据将会在机顶盒118被阻挡。
常规地，机顶盒114不让分发复用信号中的辅助数据流通过，因为机顶盒仅对音频数据和视频数据解码并且随后仅让未压缩的视频数据和音频数据前进到电视。因此电视无法获得辅助数据流。如果服务提供商(提供机顶盒的那些服务提供商)意识到提供对任何辅助数据的访问可与他们的商业模式竞争，则他们可能不想要通过提供这种访问帮助消费电子工业。
通过在视频数据内嵌入辅助数据，辅助数据在压缩/解压缩中幸免并且能够完好无损地到达电视122。换句话说，本发明有益地在视频信号内嵌入辅助数据(在视频图像内编码，而非作为单独的辅助数据流)。本发明因此成功地克服了以上讨论的架构障碍。以下结合图1B-8B进一步讨论图1A电子***110的实现和使用。
现在参照图1B，显示了根据本发明一个实施例的图1A的电视122的显示器138的示图。为了说明的目的而提供图1B实施例，并且在另外的实施例中，可使用除结合图1B实施例讨论的那些部件和结构中的某些部件和结构之外的部件和结构或者替代于结合图1B实施例讨论的那些部件和结构中的某些部件和结构的部件和结构实现显示器138。
在图1B实施例中，显示器138包括通常显示由内容源114(图1A)提供的视频数据的主屏幕区域。在图1B实施例中，显示器138还包括小工具144，小工具144位于显示在显示器138上的离散的区域中以提供任何所希望的类型的附加信息。在各种不同实施例中，小工具144可以以任何所希望的形状或者尺寸实现，并且可以显示在任何合适的位置。另外，同样地设想任何所希望的数量的不同小工具，包括在任何给定时间在显示器上的多个小工具的可能性。
在图1B实施例中，显示器138支持用于提供与当前显示在显示器138上的视频数据相关(同步)的信息的同步小工具。例如，小工具144可用于在关于经济新闻或者投资话题的电视节目期间显示与观看者具体相关的财经信息(例如，他的/她的投资组合)。在另一例子中，小工具144可用于在电视播放的汽车比赛期间显示关于特定赛车手、赛车或者一般汽车比赛的相关信息或者统计数据。以下结合图2-8B进一步讨论同步小工具144的实现和使用。
现在参照图2，显示了根据本发明的图1A内容源114的一个实施例的方框图。在图2实施例中，内容源114可包括但不限于中央处理单元(CPU)212、源存储器220和输入/输出接口(I/O接口)224。在另外的实施例中，可使用除结合图2实施例讨论的那些部件和结构之外的部件和结构或者替代于结合图2实施例讨论的那些部件和结构的部件和结构实现内容源114。另外，内容源114可另一方面实现为任何其它所希望的类型的电子装置或者实体。
在图2实施例中，CPU 212可实现为包括任何合适并且兼容的一个或多个微处理器装置，所述微处理器装置优选地执行软件指令以由此控制并管理内容源114的操作。在图2实施例中，源存储器220可实现为包括所希望的存储装置(包括但不限于只读存储器(ROM)、随机存取存储器(RAM)和各种类型的非易失性存储器(诸如，软盘或者硬盘))的任何组合。以下结合图3和4进一步讨论源存储器220的内容和功能。
在图2实施例中，I/O接口224可包括一个或多个输入和/输出接口以便为内容源114接收和/或发送任何需要的类型的信息。例如，在图2实施例中，内容源114可使用I/O接口224与电子***110(图1A)中的其它实体通信。另外，***用户可通过使用任何合适并且有效的技术使用I/O接口224与内容源114通信。以下结合图3-4进一步讨论关于内容源114的另外的细节。
现在参照图3，显示了根据本发明的图2源存储器220的一个实施例的方框图。在图3实施例中，源存储器220包括但不限于一个或多个源应用312、视频数据316、音频数据318、编码器320、辅助(aux)数据322、辅助(aux)数据管理器324和杂项信息328。在另外的实施例中，源存储器220可包括除结合图3实施例讨论的那些部件之外的部件或者替代于结合图3实施例讨论的那些部件的部件。
在图3实施例中，一个或多个源应用312可包括程序指令，所述程序指令优选地由CPU 212(图2)执行以执行内容源114的各种功能和操作。一个或多个源应用312的具体性质和功能优选地根据各种因素(诸如，对应内容源114的特定类型和具体功能)而不同。在图3实施例中，视频数据316可包括用于在电视122(图1A)上显示或者用于在电视122内处理的任何合适的信息或者数据。类似地，音频数据318可包括用于由电视122(图1A)再现的任何合适的信息或者数据。
在图3实施例中，编码器320可包括用于把视频数据316和音频数据318转换成分发给电视122的压缩分发复用信号的任何合适的装置。在图3实施例中，辅助数据管理器324根据本发明协调并管理用于创建辅助数据322并嵌入辅助数据322作为视频数据316的组成部分的各种功能。杂项信息328可包括由内容源114使用的任何附加信息。
在图3实施例中，公开并讨论了主要实现为软件的本发明。然而，在另外的实施例中，本发明的一些或者全部功能可由为执行与本文讨论的软件模块的那些功能等同的各种功能而构造的合适的电子硬件电路执行。以下结合图4、7和8进一步讨论关于辅助数据管理器324和辅助数据322的功能的另外的细节。
现在参照图4，显示了根据本发明一个实施例的图3辅助数据322的方框图。在图4实施例中，辅助数据322可包括但不限于触发数据412、小工具内容416、同步(sync)数据418、内容识别(ID)数据420、指针数据422和杂项信息424。在另外的实施例中，辅助数据322可使用除结合图4实施例讨论的那些部件和功能之外的各种部件或者替代于结合图4实施例讨论的那些部件和功能的各种部件和功能实现。
在图4实施例中，触发数据412可包括定义小工具144(图1B)的各种特性的任何类型的信息。例如，触发数据412可包括但不限于针对小工具视觉外观和行为定义小工具144的数据、由小工具提供的信息(诸如，读出值)、小工具图形状态(诸如，颜色、层级或者设置)和最佳小工具位置、形状、尺寸和显示时间。
在图4实施例中，小工具内容416可包括用于在小工具144中显示的任何内容数据。在某些实施例中，可另一方面从除辅助数据322之外的源或者实体获得小工具内容416。在图4实施例中，同步(sync)数据418可包括允许电视122在辅助数据322嵌入在视频数据316中的同时检测辅助数据322的任何合适的装置。例如，在某些实施例中，同步数据418可包括指示视频数据316内的辅助数据322的特定位置的预设识别模式。
在图4实施例中，内容ID数据420可包括用于识别给定对应节目的特定内容的任何合适的信息。例如，在某些实施例中，内容ID数据420可包括国际标准音视频编号(ISAN)编号作为标识符。在图4实施例中，指针数据422可包括电视122用来定位并获得用于产生同步小工具144的附加信息(诸如，小工具内容或者触发数据)的任何类型的需要的信息。
例如，指针数据422可包括但不限于识别可找到关于当前显示的视频数据316的更多信息的互联网位置的URL。该URL能够代表服务器130(图1A)上的网站或者提供关于正在广告宣传的产品的更多信息的别的地方、剧集或者连续剧的主页的URL、观看者能够注册以进行关于节目的服务或者投票的网站等。在图4实施例中，杂项信息424可包括由电视122使用的任何附加信息。例如，在某些实施例中，杂项信息424可包括一个或多个脚本或者可执行程序。以下结合图7和8进一步讨论关于辅助数据322的创建、分发和使用的另外的细节。
现在参照图5，显示了根据本发明的图1A电视(TV)122的一个实施例的方框图。在图2实施例中，TV 122可包括但不限于中央处理单元(CPU)512、显示器138、TV存储器520和输入/输出接口(I/O接口)524。在另外的实施例中，TV 122可使用除结合图5实施例讨论的那些部件和结构之外的部件和结构或者替代于结合图5实施例讨论的那些部件和结构的部件和结构实现。另外，TV 122可另一方面实现为任何其它所希望的类型的电子装置或者实体。
在图5实施例中，CPU 512可实现为包括任何合适并且兼容的一个或多个微处理器装置，所述微处理器装置优选地执行软件指令以由此控制并管理TV 122的操作。图5显示器138可包括任何有效类型的显示技术，包括具有用于向装置用户显示各种信息的合适屏幕的阴极射线管监视器或者液晶显示装置。在图5实施例中，TV存储器520可实现为包括所希望的存储装置(包括但不限于只读存储器(ROM)、随机存取存储器(RAM)和各种类型的非易失性存储器(诸如，软盘或者硬盘))的任何组合。以下结合图6进一步讨论TV存储器520的内容和功能。
在图5实施例中，I/O接口524可包括一个或多个输入和/或输出接口以便为TV 122接收和/或发送任何需要的类型的信息。例如，在图5实施例中，TV 122可使用I/O接口524与电子***110(图1A)中的其它实体通信。另外，***用户可通过使用任何合适并且有效的技术使用I/O接口524与TV 122通信。以下结合图6-8B进一步讨论关于TV 122的另外的细节。
现在参照图6，显示了根据本发明的图5TV存储器520的一个实施例的方框图。在图6实施例中，TV存储器520包括但不限于一个或多个TV应用612、视频数据316、音频数据318、检测模块620、提取模块622、辅助(aux)数据模块624、辅助(aux)数据322和杂项信息628。在另外的实施例中，TV存储器520可包括除结合图6实施例讨论的那些部件之外的部件或者替代于结合图6实施例讨论的那些部件的部件。
在图6实施例中，一个或多个TV应用612可包括程序指令，所述程序指令优选地由CPU 512(图5)执行以执行TV 122的各种功能和操作。TV应用612的具体性质和功能优选地根据各种因素(诸如，对应TV 122的特定类型和具体功能)而不同。在图6实施例中，视频数据316可包括用于在电视122(图1A)上显示的任何合适的信息或者数据。类似地，音频数据318可包括用于由电视122(图1A)再现的任何合适的信息或者数据。
在图6实施例中，检测模块620可由TV 122使用以检测并定位如以上所讨论嵌入在视频数据316中的辅助数据322。在图6实施例中，提取模块622可由TV 122使用以从视频数据316中去除检测到的辅助数据322。在图3实施例中，辅助数据模块624根据本发明协调并管理用于处理提取的辅助数据322以有效支持同步小工具144(图1B)或者其它TV应用的各种功能。杂项信息628可包括由TV 122使用的任何附加信息。
在图6实施例中，公开并讨论了主要实现为软件的本发明。然而，在另外的实施例中，本发明的一些或者全部功能可由为执行与本文讨论的软件模块的那些功能等同的各种功能而构造的合适的电子硬件电路执行。以下结合图7和8进一步讨论关于辅助数据模块324和辅助数据322的功能的另外的细节。
现在参照图7A和7B，显示了根据本发明的两个不同实施例的嵌入在视频数据316中的辅助(aux)数据322的示图。图7A和7B提供了TV 122(图1A)的显示器138的正视图。为了说明的目的而提供图7A和7B的实施例，并且在另外的实施例中，可使用除结合图7A和7B实施例讨论的那些技术和结构中的某些技术和结构之外的技术和结构或者替代于结合图7A和7B实施例讨论的那些技术和结构中的某些技术和结构的技术和结构嵌入辅助数据322。
在图7A实施例中，显示器138包括通常显示由内容源114(图1A)提供的视频数据316的主屏幕区域。在图7A实施例中，显示器138上显示的视频数据316还包括优选地位于显示器138的不显眼区域中的嵌入的辅助数据322。在各种不同实施例中，辅助数据322可实现为任何所希望的形状或者尺寸，并且可显示在显示器138上的任何合适的位置。为了说明的目的，图7A中的辅助数据322被描述为小的带交叉阴影的矩形。然而，同样地设想任何有效的结构或者外观以实现辅助数据322。
在图7A实施例中，辅助数据322可以被编码以便以任何有效的方式代表任何需要的信息(参见图4)。例如，在某些实施例中，通过使用常规或增强条形码技术，可格式化辅助数据322。换句话说，辅助数据322能够有效地格式化为嵌入在显示的视频数据316的拐角或者嵌入在显示的视频数据316的边缘的视频二维条形码。另外，辅助数据322的条形码或者其它格式能够显示为称为“bug”的小图形标志图标的一部分。另外，在各种其它实施例中，通过使用任何其它有效技术可编码或者显示辅助数据322。例如，通过调制亮度或者色度信息的各种属性能够实现辅助数据322。另外，通过使用多个显示行可实现辅助数据322。
辅助数据322的这种编码能够代表大量信息并且能够很小并且密集，因为辅助数据322将会由处理视频存储器中的视频数据316的TV 122读取。在印刷条形码被优化以用于由激光扫描器读出的情况下，用于辅助数据322的视频类型的条形码嵌入在直接由TV 122处理的数字视频信号中(作为像素亮度或者色度样本)。
在某些实施例中，视频压缩中的量化误差可能破坏视频条形码(因此，快速移动、难以压缩的视频序列内出现的条形码可能无法幸免)，然而，如果条形码在屏幕上停留一定量的时间(几秒)，则这个问题减轻。所获得的条形码图像可以不需要以高对比度显示(白背景上的黑线)，因为TV 122将会能够经滤波机构提取该信息。条形码因此能够被利用各种灰度梯度编码(只要存在足够的对比度以实现可靠提取即可)。
如以上所讨论，辅助数据322能够结合图形标志图标(“bug”)显示为标题或者边界，或者它能够被放置在图像的一个或多个最远的边缘(因为这些通常在显示之前被裁掉并且在任何情况下不太显眼)。如果辅助数据322的各比特的位置的模式对于TV 122而言事先已知，则辅助数据322的各比特能够在空间上分散在视频帧的区域上。甚至少量的辅助数据322(诸如，图4的内容ID数据420或者指针数据422)也能够在提高用户体验方面具有很大帮助，因为这种信息能够经与网络服务器130(参见图1A)的交互而扩展以获得另外的需要的信息(包括但不限于辅助数据322或者内容数据)。
在图7B实施例中，显示器138包括通常显示由内容源114(图1A)提供的视频数据316的主屏幕区域。在图7B实施例中，显示器138上显示的视频数据316还包括优选地位于显示器138的不显眼区域中的嵌入的辅助数据322。在各种不同实施例中，可以任何所希望的形状或者尺寸实现辅助数据322，并且可显示在显示器138上的任何合适的一个或多个位置。为了说明的目的，图7B中的辅助数据322被描述为细交叉阴影线。然而，同样地设想任何有效的结构或者外观以实现辅助数据322。
在图7B实施例中，辅助数据322可以被编码以便以任何有效的方式代表需要的信息(参见图4)。例如，在某些实施例中，辅助数据322可格式化为位于视频信号的垂直消隐间隔(VBI)的区域中或者位于视频信号的垂直消隐间隔的区域附近的数字视频信息的一个或多个水平行。因为数字电视经常编码为每扫描行1280至1920水平像素，所以图7B的辅助数据322的VBI结构可向TV 122提供大量的数字信息。
本发明因此支持这样一种方法：把辅助数据322伪装为视频数据316，从而有效视频(对于观看者而言可看见)的一部分用于传输辅助数据322。另外，本发明包括标准化编码格式以使视频辅助数据322在视频压缩和解压缩中幸存。本发明还支持把辅助数据322嵌入在视频图像中从而辅助数据322能够以标准化方法被恢复(由TV 122检测、提取并处理)而无需过多的CPU开销。以下结合图8A-8C进一步讨论辅助数据322的实现和使用。
现在参照图8A-8C，显示了根据本发明一个实施例的用于分发嵌入在视频数据316中的辅助数据322的方法步骤的流程图。为了说明的目的而提供图8例子，并且在另外的实施例中，本发明可使用与结合图8实施例讨论的那些步骤和顺序中的某些步骤和顺序不同的步骤和顺序。
在图8A实施例中，在步骤812中，内容源114或者其它合适的实体最初生产通常包括视频数据316和音频数据318的A/V内容数据。在步骤814中，内容源114或者其它合适的实体随后创建辅助(aux)数据322以在电视装置122上支持各种高级交互特征，诸如显示一个或多个同步小工具144。在步骤816中，内容源114或者其它合适的实体把辅助数据322***在视频数据316中。
在步骤818中，内容源114或者其它合适的实体压缩音频数据318和视频数据316(包括嵌入的辅助数据322)以创建压缩分发复用信号。图8A的处理随后通过连接字母“A”前进到图8B的步骤822。
在图8B的步骤822中，机顶盒118或者其它合适的实体接收并解复用由内容源114分发的分发复用信号以产生压缩音频数据和视频数据。在步骤824中，机顶盒118的解码器装置或者其它合适的实体随后对压缩音频数据和视频数据进行解压缩以产生未压缩的音频数据318和未压缩的视频数据316(包括嵌入的辅助数据322)。在步骤826中，机顶盒118或者其它合适的实体格式化音频数据318和视频数据316以传送给电视122的显示器138。图8B的处理随后通过连接字母“B”前进到图8C的步骤828。
在图8C的步骤828中，电视122或者其它合适的实体接收未压缩的音频数据318和未压缩的视频数据316(包括嵌入的辅助数据322)。在步骤830中，电视122的检测模块620通过使用任何有效技术扫描视频数据316以检测嵌入的辅助数据322。在步骤832中，电视122的提取模块622从视频数据316提取定位的辅助数据322。最后，在步骤834中，辅助数据模块624处理提取的辅助数据322以成功地支持合适的高级交互特征，诸如在电视122的显示器138上显示一个或多个同步小工具144。图8C处理可随后结束。
在某些另外的实施例中，辅助数据322可类似地沿着分发路径在任何点由任何其它合适实体创建并***在视频数据316中。在这些另外的实施例中的某些实施例中，可以在没有完全把视频数据316解压缩的情况下***辅助数据322。例如，压缩视频数据316(没有任何辅助数据322)的单个宏块能够由包含已经嵌入的辅助数据322的对应压缩宏块替代。由于所有前述原因，本发明因此提供一种用于分发嵌入在视频数据中的辅助数据的改进的***和方法。
以上参照某些实施例描述了本发明。考虑到本说明书，对于本领域技术人员而言，其它实施例将会是清楚的。例如，可容易地使用除在以上实施例中描述的那些结构和技术之外的结构和技术实现本发明。另外，本发明可有效地结合以上描述的那些***之外的***使用。因此，讨论的实施例的这些和其它变化应该由本发明包括，本发明仅由所附权利要求限定。

Claims (16)

1.一种用于有效地在电子网络中分发信息的***，包括：
内容源，所述内容源把辅助数据嵌入在视频数据中，所述内容源把所述视频数据与所述辅助数据一起编码以创建分发复用信号；
用于接收并处理所述分发复用信号以再现嵌入有所述辅助数据的所述视频数据的装置；和
电视，提取所述辅助数据，所述电视处理所述辅助数据。
2.如权利要求1所述的***，其中所述辅助数据提供在所述电视的显示器上支持同步小工具的小工具内容，所述小工具内容与同时呈现在所述显示器上的所述视频数据相关。
3.如权利要求1所述的***，其中所述辅助数据被格式化为所述视频数据中的多维视频条形码。
4.如权利要求1所述的***，其中所述辅助数据被格式化为位于所述视频数据的解码的视频帧的顶部区域或者底部区域中或者位于所述顶部区域或者底部区域附近的一个或多个水平扫描行。
5.如权利要求1所述的***，其中所述辅助数据被格式化为所述电视的显示器上可看见的图形图标的一部分或者被格式化为嵌入在所述图形图标内。
6.如权利要求1所述的***，其中所述辅助数据包括触发数据、小工具内容、同步数据、内容识别数据或者指针数据。
7.如权利要求6所述的***，其中所述触发数据针对小工具视觉外观和行为定义同步小工具，定义由所述同步小工具提供的信息、以及定义小工具图形状态，所述小工具图形状态包括颜色、层级、设置、最佳小工具位置、形状、尺寸或者显示时间。
8.如权利要求6所述的***，其中所述指针数据提供用于联系互联网服务器的URL，所述电视从所述互联网服务器获得另外的辅助数据和小工具内容以支持同步小工具。
9.一种用于有效地显示来自电子网络的信息的电视装置，包括：
检测模块，所述检测模块识别由内容源嵌入在视频数据中的辅助数据，所述内容源把所述视频数据与所述辅助数据一起编码以创建由所述电子网络分发的分发复用信号，所述分发复用信号由解码装置接收并处理以再现嵌入有所述辅助数据的所述视频数据；
提取模块，所述提取模块从所述视频数据提取所述辅助数据；和
辅助数据模块，所述辅助数据模块处理所述辅助数据。
10.如权利要求9所述的电视装置，其中所述辅助数据提供在所述电视的显示器上支持同步小工具的小工具内容，所述小工具内容与同时呈现在所述显示器上的所述视频数据相关。
11.如权利要求9所述的电视装置，其中所述辅助数据被格式化为所述视频数据中的多维视频条形码。
12.如权利要求9所述的电视装置，其中所述辅助数据被格式化为位于所述视频数据的解码的视频帧的顶部区域或者底部区域中或者位于所述顶部区域或者底部区域附近的一个或多个水平扫描行。
13.如权利要求9所述的电视装置，其中所述辅助数据被格式化为所述电视的显示器上可看见的图形图标的一部分或者被格式化为嵌入在所述图形图标内。
14.如权利要求9所述的电视装置，其中所述辅助数据包括触发数据、小工具内容、同步数据、内容识别数据或者指针数据。
15.如权利要求14所述的电视装置，其中所述指针数据提供用于联系互联网服务器的URL，所述电视从所述互联网服务器获得另外的辅助数据和小工具内容以支持同步小工具。
16.一种用于有效地在电子网络中分发信息的方法，包括：
使用内容源把辅助数据嵌入在视频数据中，所述内容源把所述视频数据与所述辅助数据一起编码以创建分发复用信号；
接收并处理所述分发复用信号以再现嵌入有所述辅助数据的所述视频数据；以及
利用处理所述辅助数据的电视提取所述辅助数据。
CN201080046101.2A 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法 Active CN102577366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510681173.9A CN105263031B (zh) 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25109909P 2009-10-13 2009-10-13
US61/251,099 2009-10-13
US12/798,118 US9277183B2 (en) 2009-10-13 2010-03-30 System and method for distributing auxiliary data embedded in video data
US12/798,118 2010-03-30
PCT/US2010/002677 WO2011046590A2 (en) 2009-10-13 2010-10-05 System and method for distributing auxiliary data embedded in video data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510681173.9A Division CN105263031B (zh) 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法

Publications (2)

Publication Number Publication Date
CN102577366A true CN102577366A (zh) 2012-07-11
CN102577366B CN102577366B (zh) 2015-10-21

Family

ID=43855868

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510681173.9A Active CN105263031B (zh) 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法
CN201080046101.2A Active CN102577366B (zh) 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510681173.9A Active CN105263031B (zh) 2009-10-13 2010-10-05 用于分发嵌入在视频数据中的辅助数据的***和方法

Country Status (7)

Country Link
US (2) US9277183B2 (zh)
EP (1) EP2489181A4 (zh)
KR (1) KR101367459B1 (zh)
CN (2) CN105263031B (zh)
CA (1) CA2775263C (zh)
MX (1) MX2012004085A (zh)
WO (1) WO2011046590A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710774A (zh) * 2015-05-08 2018-02-16 耐瑞唯信有限公司 用于渲染音频‑视频内容的方法、用于实现该方法的解码器、以及用于渲染该音频‑视频内容的渲染设备
CN111771385A (zh) * 2018-01-02 2020-10-13 源数码有限公司 作为辅助数据的坐标

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8705933B2 (en) 2009-09-25 2014-04-22 Sony Corporation Video bookmarking
US9066154B2 (en) * 2009-11-13 2015-06-23 Triveni Digital, Inc. System and method for enhanced television and delivery of enhanced television content
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
US20110247028A1 (en) 2010-04-01 2011-10-06 Mark Eyer Receiver and System Using an Electronic Questionnaire for Advanced Broadcast Services
US9723360B2 (en) 2010-04-01 2017-08-01 Saturn Licensing Llc Interests and demographics profile for advanced broadcast services
US8863171B2 (en) 2010-06-14 2014-10-14 Sony Corporation Announcement of program synchronized triggered declarative objects
US8893210B2 (en) 2010-08-20 2014-11-18 Sony Corporation Server load balancing for interactive television
US8898723B2 (en) 2010-08-20 2014-11-25 Sony Corporation Virtual channel declarative script binding
US8875169B2 (en) 2010-08-27 2014-10-28 Sony Corporation Transmission and reception apparatus, methods, and systems for filtering content
US8909694B2 (en) 2010-08-27 2014-12-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8595783B2 (en) 2010-08-30 2013-11-26 Sony Corporation Receiving device, receiving method, program, and broadcasting system
US9179188B2 (en) 2010-08-30 2015-11-03 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8892636B2 (en) 2010-08-30 2014-11-18 Sony Corporation Transmission apparatus and method, reception apparatus and method, and transmission and reception system
US8918801B2 (en) 2010-08-30 2014-12-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, program, and broadcasting system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8908103B2 (en) 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
WO2012043355A1 (ja) 2010-10-01 2012-04-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20120035986A (ko) * 2010-10-07 2012-04-17 삼성전자주식회사 이미지 코드를 이용한 디스플레이 방법 및 장치
JP5783402B2 (ja) 2011-01-25 2015-09-24 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
JP5668512B2 (ja) 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法
TWI574565B (zh) 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
TWI545955B (zh) 2011-04-28 2016-08-11 Sony Corp Signal receiving apparatus and method, a signal transmission apparatus and method, and program
US20120304224A1 (en) * 2011-05-25 2012-11-29 Steven Keith Hines Mechanism for Embedding Metadata in Video and Broadcast Television
US9554175B2 (en) 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
US10491966B2 (en) 2011-08-04 2019-11-26 Saturn Licensing Llc Reception apparatus, method, computer program, and information providing apparatus for providing an alert service
CA2843382C (en) 2011-08-05 2020-10-27 Sony Corporation Receiving device, receiving method, program, and information processing system
BR112014003674A2 (pt) 2011-08-24 2017-03-01 Sony Corp aparelho de recepção, método para recepção para um aparelho de recepção, programa, e, sistema de processamento de informação
EP2751993A4 (en) * 2011-08-29 2015-03-25 Tata Consultancy Services Ltd METHOD AND SYSTEM FOR INTEGRATING METADATA IN MULTIPLEXED ANALOGUE VIDEOS DIFFUSED BY A DIGITAL BROADCAST Means
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
US8730328B2 (en) 2011-10-06 2014-05-20 Qualcomm Incorporated Frame buffer format detection
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US9113230B2 (en) 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
US8930988B2 (en) 2011-12-21 2015-01-06 Sony Corporation Reception apparatus, reception method, program, and information processing system
WO2013105116A2 (en) 2011-12-29 2013-07-18 Tata Consultancy Services Limited A method for embedding and multiplexing audio metadata in a broadcasted analog video stream
EP3468177B1 (en) 2012-01-24 2020-04-29 Saturn Licensing LLC Receiver, reception method, program and information processing system
CN104081759B (zh) 2012-02-07 2018-01-16 索尼公司 接收设备和接收方法
WO2013119082A1 (ko) * 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US9936231B2 (en) 2012-03-21 2018-04-03 Saturn Licensing Llc Trigger compaction
KR102267861B1 (ko) 2012-06-19 2021-06-23 소니그룹주식회사 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
US9456245B2 (en) 2012-07-05 2016-09-27 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method for controlling applications
WO2014011355A1 (en) 2012-07-12 2014-01-16 Sony Corporation Parameterized services descriptor for advanced television services
GB2504270A (en) 2012-07-23 2014-01-29 Wirewax Ltd Synchronising hyperlink and associated object positions using frame numbers encoded as pixel data
US9432744B2 (en) 2012-07-31 2016-08-30 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US9154840B2 (en) 2012-07-31 2015-10-06 Sony Corporation Reception apparatus, reception method, transmission apparatus, and transmission method
US9883247B2 (en) 2012-08-13 2018-01-30 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, and transmission method
US9264648B2 (en) 2012-10-09 2016-02-16 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
WO2014062017A1 (en) 2012-10-18 2014-04-24 Lg Electronics Inc. Apparatus and method for processing an interactive service
US10002206B2 (en) 2012-10-26 2018-06-19 Saturn Licensing Llc Information processing device and information processing method
US9253518B2 (en) 2012-11-09 2016-02-02 Sony Corporation On-demand access to scheduled content
US9769503B2 (en) 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US11558672B1 (en) * 2012-11-19 2023-01-17 Cox Communications, Inc. System for providing new content related to content currently being accessed
US9936256B2 (en) 2012-11-28 2018-04-03 Saturn Licensing Llc Receiver, reception method, transmitter and transmission method
US9148676B2 (en) 2012-12-04 2015-09-29 Sony Corporation Broadcast transition channel
US8914832B2 (en) 2012-12-14 2014-12-16 Sony Corporation Information processing apparatus, information processing method, and program
US9942601B2 (en) 2013-01-24 2018-04-10 Saturn Licensing Llc Storing non-real time content
US10257564B2 (en) 2013-01-24 2019-04-09 Saturn Licensing Llc Distributed non-real-time content
US20140337905A1 (en) * 2013-05-09 2014-11-13 Telefonaktiebolaget L M Ericsson (Publ) System and method for delivering extended media content
US9300896B2 (en) 2013-06-03 2016-03-29 Sony Corporation Method, computer-readable storage medium, reception apparatus, and information providing apparatus for identifying available channels and/or services
US9980014B2 (en) 2013-06-28 2018-05-22 Saturn Licensing Llc Methods, information providing system, and reception apparatus for protecting content
US9137566B2 (en) 2013-06-28 2015-09-15 Sony Corporation Distribution system, reception apparatus, and methods for transitioning to new services
US9038095B2 (en) 2013-07-03 2015-05-19 Sony Corporation Methods, information providing system, and reception apparatus for distribution of at least one content version
US8884800B1 (en) 2013-07-31 2014-11-11 Sony Corporation Method and apparatus for performing analog-to-digital conversion on multiple input signals
CN104581341B (zh) * 2013-10-24 2018-05-29 华为终端有限公司 一种字幕显示方法及字幕显示设备
US9596521B2 (en) 2014-03-13 2017-03-14 Verance Corporation Interactive content acquisition using embedded codes
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
EP3183882A4 (en) 2014-08-20 2018-07-04 Verance Corporation Content management based on dither-like watermark embedding
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
WO2016086047A1 (en) 2014-11-25 2016-06-02 Verance Corporation Enhanced metadata and content delivery using watermarks
US9326295B1 (en) 2014-12-10 2016-04-26 Sony Corporation Method and apparatus for transmitting a-priori information in a communication system
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US20160204804A1 (en) 2015-01-13 2016-07-14 Sony Corporation Data processing apparatus and method
US9762354B2 (en) 2015-01-27 2017-09-12 Sony Corporation Signaling methods and apparatus
US9912986B2 (en) 2015-03-19 2018-03-06 Sony Corporation System for distributing metadata embedded in video
US9756401B2 (en) 2015-04-07 2017-09-05 Sony Corporation Processing and providing an image in which a plurality of symbols are encoded
US9590782B2 (en) 2015-06-22 2017-03-07 Sony Corporation Signaling methods and apparatus
US10205991B2 (en) 2015-07-27 2019-02-12 Sony Corporation Hidden replaceable media slots
CN106997770B (zh) 2016-01-22 2023-01-03 鼎卓创意科技股份有限公司 影音同步控制方法、影音同步控制***及相关的电子装置
KR102249191B1 (ko) * 2016-11-30 2021-05-10 삼성전자주식회사 전자 장치, 그의 제어 방법 및 전자 장치와 복수의 디스플레이 장치를 포함하는 디스플레이 시스템
RU2732198C1 (ru) * 2020-06-15 2020-09-14 Максим Анатольевич Красавин Система предоставления интерактивного медиаконтента вычислительному устройству пользователя посредством статичного графического маркера
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008027321A2 (en) * 2006-08-29 2008-03-06 Hillcrest Laboratories, Inc. Television control, playlist generation and dvr systems and methods
KR20080023891A (ko) * 2006-09-12 2008-03-17 엘지전자 주식회사 위젯형 유저 인터페이스 방법 및 그 디지털 티브이
WO2009057950A2 (en) * 2007-10-31 2009-05-07 Pxd, Inc. Digital broadcast widget system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659368A (en) * 1992-04-28 1997-08-19 Thomson Consumer Electronics, Inc. Auxiliary video information system including extended data services
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US8505108B2 (en) * 1993-11-18 2013-08-06 Digimarc Corporation Authentication using a digital watermark
US6590996B1 (en) * 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US6055023A (en) * 1996-12-19 2000-04-25 Thomson Consumer Electronics Television apparatus for simultaneous decoding of auxiliary data included in multiple television signals
US6160587A (en) * 1997-01-16 2000-12-12 Motorola, Inc. Waveform generator for insertion of data into digital television signals
JP2002077572A (ja) * 2000-08-29 2002-03-15 Nec Corp ディジタルコンテンツ生成・再生装置及び広告情報配信システム
US7676822B2 (en) * 2001-01-11 2010-03-09 Thomson Licensing Automatic on-screen display of auxiliary information
US20030014748A1 (en) * 2001-07-16 2003-01-16 Gal Ben-David Methods for data transmission
US20030110511A1 (en) * 2001-12-11 2003-06-12 Schutte Mark E. Controlling personal video recording functions from interactive television
US7650624B2 (en) * 2002-10-01 2010-01-19 Koplar Interactive Systems International, L.L.C. Method and apparatus for modulating a video signal with data
EP1770604A1 (en) * 2004-07-22 2007-04-04 Matsushita Electric Industrial Co., Ltd. Multicolored two-dimensional barcode, image display apparatus thereof, information terminal apparatus, display method, decoding method, information communication system, and information communication method
EP1792491B1 (en) * 2004-09-23 2021-06-02 InterDigital Madison Patent Holdings Inserting metadata for trick play in video transport stream
US8355621B2 (en) * 2004-10-28 2013-01-15 Rovi Solutions Corporation Content management for a video signal
CN101866475B (zh) * 2005-08-04 2012-11-21 日本电信电话株式会社 电子水印检测方法及装置
US20090262238A1 (en) * 2005-12-16 2009-10-22 Stepframe Media, Inc. Generation And Delivery of Stepped-Frame Content Via MPEG Transport Streams
US8428258B2 (en) * 2007-05-02 2013-04-23 Rovi Technologies Corporation Method and apparatus for providing content control via detection of modifications to a signal
US9179086B2 (en) * 2007-05-07 2015-11-03 Yahoo! Inc. System and method for providing dynamically updating applications in a television display environment
US8776117B2 (en) * 2007-12-28 2014-07-08 Verizon Patent And Licensing Inc. Method and apparatus for providing expanded displayable applications
US8886745B2 (en) * 2008-04-07 2014-11-11 Qualcomm Incorporated Methods and apparatus for delivering auxiliary data to device
CN101567992A (zh) * 2008-04-22 2009-10-28 扬智科技股份有限公司 动态显示辅助数据的方法
US20100086283A1 (en) * 2008-09-15 2010-04-08 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
US20100131981A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd. Method for displaying a widget and a broadcast receiving apparatus thereof
US9191726B2 (en) * 2009-09-30 2015-11-17 Disney Enterprises, Inc. System and method for providing media content enhancement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008027321A2 (en) * 2006-08-29 2008-03-06 Hillcrest Laboratories, Inc. Television control, playlist generation and dvr systems and methods
KR20080023891A (ko) * 2006-09-12 2008-03-17 엘지전자 주식회사 위젯형 유저 인터페이스 방법 및 그 디지털 티브이
WO2009057950A2 (en) * 2007-10-31 2009-05-07 Pxd, Inc. Digital broadcast widget system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710774A (zh) * 2015-05-08 2018-02-16 耐瑞唯信有限公司 用于渲染音频‑视频内容的方法、用于实现该方法的解码器、以及用于渲染该音频‑视频内容的渲染设备
CN111771385A (zh) * 2018-01-02 2020-10-13 源数码有限公司 作为辅助数据的坐标
CN111771385B (zh) * 2018-01-02 2022-07-05 源数码有限公司 作为辅助数据的坐标

Also Published As

Publication number Publication date
CN102577366B (zh) 2015-10-21
US20160134909A1 (en) 2016-05-12
US9277183B2 (en) 2016-03-01
CN105263031B (zh) 2019-07-16
CA2775263C (en) 2016-05-03
CA2775263A1 (en) 2011-04-21
KR101367459B1 (ko) 2014-02-25
WO2011046590A3 (en) 2011-07-21
EP2489181A2 (en) 2012-08-22
KR20120067370A (ko) 2012-06-25
US20110088075A1 (en) 2011-04-14
EP2489181A4 (en) 2014-05-21
WO2011046590A2 (en) 2011-04-21
CN105263031A (zh) 2016-01-20
MX2012004085A (es) 2012-04-20

Similar Documents

Publication Publication Date Title
CN102577366B (zh) 用于分发嵌入在视频数据中的辅助数据的***和方法
US11683559B2 (en) System for distributing metadata embedded in video
US20190259124A1 (en) System and Method of Data Transfer In-Band in Video via Optically Encoded Images
US10805694B2 (en) Processing and providing an image in which a plurality of symbols are encoded
CN1085005C (zh) 用于发送和接收视频信号的装置和方法
US20080066097A1 (en) Method Of Realizing Interactive Advertisement Under Digital Braodcasting Environment By Extending Program Associated Data-Broadcasting To Internet Area
CN104011678A (zh) 自动内容节目发现设备及方法
JP6366070B2 (ja) テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。
JP6883693B2 (ja) 受信装置およびプログラム
CN102088631A (zh) 数字电视节目直播和点播方法及相关装置和***
JP5067092B2 (ja) データ放送画面に二次元コードを表示させる方法、データ放送番組データ
US20150289012A1 (en) System and method for enhanced television and delivery of enhanced television content
JP4655065B2 (ja) コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
CN103581733A (zh) 远程显示装置
CN109479112B (zh) 解码器、编码器、计算机可读存储介质和方法
CN101411193B (zh) 更新解码器配置的方法和装置
KR20110115658A (ko) Ａｔ－ｄｍｂ 환경에서의 계층적 ｂｉｆｓ 데이터 서비스 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant