CN111417974A - 基于规则的辅助数据 - Google Patents

基于规则的辅助数据 Download PDF

Info

Publication number
CN111417974A
CN111417974A CN201880073216.7A CN201880073216A CN111417974A CN 111417974 A CN111417974 A CN 111417974A CN 201880073216 A CN201880073216 A CN 201880073216A CN 111417974 A CN111417974 A CN 111417974A
Authority
CN
China
Prior art keywords
program content
visual program
viewer
content
auxiliary data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880073216.7A
Other languages
English (en)
Inventor
帕特里克·克莱·格林
亨利·劳伦斯·弗雷孔
迈克尔·菲利普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Source Digital Inc
Original Assignee
Source Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Source Digital Inc filed Critical Source Digital Inc
Publication of CN111417974A publication Critical patent/CN111417974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

管理要呈现给视觉节目内容的观众的辅助数据可以包括：a)创建时间线规则，该时间线规则将辅助数据对象关联于相应的视觉节目内容特征，该视觉节目内容特征关联于视觉节目内容的时间线上的相应的时刻；b)创建环境规则，该环境规则将辅助数据对象关联于观众的相应的环境特征；以及c)指示当同时满足时间线规则和环境规则时，要将辅助数据对象呈现给观众，使得当同时满足a)在观众回放期间，视觉节目内容特征的相应一些在视觉节目内容中出现；和b)出现相应的环境特征时，可以将辅助数据对象呈现给观众。

Description

基于规则的辅助数据
背景技术
媒体内容被生产、处理，然后发送给消费者。除了传统的媒体内容外，电子通信技术的普及使得可以大量传递与内容相关的或增强内容的数据。例如，诸如即时通讯等技术提供了可以迅速向一个人或许多人传递电子信息的媒介。包含诸如个人电脑、移动电话、个人数字助理和电视机顶盒(例如，有线电视机顶盒、卫星机顶盒等)等在内的电子设备为消费者提供了随时获取信息的机会。可以通过现代通信技术传递的数据类型和内容千差万别，从个人信息到信息内容再到广告，应有尽有。
在任何时刻的任何基于视觉或音频的内容中，都存在着大量的辅助数据，其关联性和语境几乎是无限的。示例包含但不限于剧组成员、地点数据、音乐、服装信息、品牌和产品，以及只针对个别节目的习惯性信息。但是目前的技术不足以部署此类用于消费的辅助数据。目前，无法充分有效地管理和分发与内容相关的辅助数据。
发明内容
本公开提供了解决这些问题的方法和***。本发明公开了一种产品建议和规则引擎，该产品建议和规则引擎允许用户针对该数组数据设置条件。这些条件的适用范围很广，但能够被设计以建立适用于任何辅助数据的规则和/或建议。然后，可以基于所指定的条件和外部检测到的条件事件的继承的组合来触发辅助数据。这方面的一些示例包含使用服装数据自动与一系列零售商联系的能力，使得可以根据指定给该特定服装物品的辅助数据来快速建立推荐。此外，使用有条件定义的规则，利用对用户或设备的地理数据的检测，甚至利用他们公开可用的个人资料中的信息来触发适用于所定义的规则的事件。这使得用户可以从零售商那里看到最符合他们的地理位置的推荐产品，并根据他们公开可用的或允许的用户数据，以最吸引他们的方式，从零售商那里看到推荐产品。
用户对节目内的辅助数据有个人的需求或查询。这些个人的需求或查询往往与用户的环境有关，如用户的地理环境、性别、种族、人种、时区、以及其他允许的和/或公开可用的个人资料信息。可以将规则或条件指定给单个辅助数据，以充分利用好这个环境信息来有针对性地迎合观众。另一方面，如果零售产品协会可以在其他地方进行发售，但州或地理区域对这种产品有限制，则规则可以规避该产品的发售。本发明还可以帮助实现：将法律、法规和/或限制适用于特定的数据，这些特定数据可能受到地理、年龄或其他原因的限制。
在本发明之前，不存在能够由设备或用户在任何区域中在任何时刻内针对任何类别的辅助数据在微观层面上应用规则的能力，也不存在能够利用观看者或设备检测到的因素并根据分配的规则和/或条件即时响应该设备或用户的能力。
结合到说明书中并构成说明书的一部分的附图说明了各种示例***、方法等，这些示例***、方法说明了本发明的方面的各种示例实施例。应当理解，图中所示的元素边界(例如，框、框组或其他形状)表示边界的一个示例。本领域普通技术人员将理解，一个元素可以被设计为多个元素，或者多个元素可以被设计为一个元素。作为另一元素的内部组件示出的元素可以作为外部组件实现，反之亦然。此外，元素可以不按比例绘制。
图1A示出了用于向视觉节目内容的观众呈现辅助数据的示例性方法或***的示意图。
图1B和1C示出了用于向视觉节目内容的观众呈现辅助数据的示例性屏幕截图。
图2A示出了用于管理辅助数据的示例性图形用户界面(GUI)。
图2B示出了用于呈现辅助数据的示例性多时间线场景的示意图。
图3A-3G示出了用于管理辅助数据的示例性图形用户界面(GUI)。
图4示出了图2A的用于管理辅助数据的示例性GUI。
图5示出了九个示例性环境规则或条件。
图6-10示出了将辅助数据对象关联于内容特征和/或观众的环境特征的示例性规则的框图。
图11示出了用于管理和呈现要呈现给内容的观众的辅助数据的示例性***的框图。
图12示出了用于管理要呈现给视觉节目内容的观众的辅助数据的示例性方法的流程图。
图13示出了用于向视觉节目内容的观众呈现辅助数据的示例性方法的流程图。
图14示出了用于管理和/或呈现要呈现给视觉节目内容的观众的辅助数据的示例性机器的框图。
具体实施方式
图1A示出了用于向视觉节目内容的观众呈现辅助数据的示例性方法或***的示意图。图1A示出了视听内容1，其包含视觉部分3和音频部分5。视听内容1可以是电影，电视节目，体育赛事(例如篮球比赛)，互联网视频，视频游戏，虚拟现实(VR)、增强现实(AR)或混合现实(MR)环境，或通过广播、互联网等方式的仅有音频的节目。
图1A还示出了辅助数据7。辅助数据7是与内容有关的数据，并且其可以包含描述内容的数据，例如内容名称或内容标识数据，内容中播放的脚本有关的数据，内容中角色所穿衣服有关的数据，包含来自内容的表演者、制作人或导演的评论的数据，包含内容有关信息的资源的统一资源定位符(URL)，内容的音频中的音乐有关的数据，体育赛事的现场比分等。辅助数据7可以包含例如广告数据的商业数据。辅助数据7还可以包含例如来自内容观看者的评论(例如，推特(Twitter)消息等)的用户数据。辅助数据7还可以包含例如内容的音频的统计信息的专业或技术数据，所述内容的音频的统计信息例如包含内容的音频的响度或动态范围缩放等。辅助数据7还可以包含对另一个应用程序的区块链级别的访问。从以上示例能够看出，构成辅助数据7的内容可以广泛地变化并且可以从各种来源收集。用户可以选择辅助数据对象(例如，通过点击或触摸在其上显示内容(和/或辅助数据对象)的显示器)来与辅助数据进行交互。与辅助数据进行交互的示例是获取信息和/或购买辅助数据所建议的产品。图1A的***可以呈现与内容1同步的辅助数据7。辅助数据7可以表示或导向选择了辅助数据对象的观众可以购买或交互的产品。
内容1和辅助数据7的某些同步方法可以直接地并且简单地需要内容源和目标或消费者之间的明确的数据连接。这个明确的计时数据向消费者端的设备传递计时信息。其他当前的同步方法依赖于附加到内容1的元数据，这些元数据可能或者可能不存在于从源或内容提供者到目标或消费者的信号链中，这是因为不同的设施将使用不同的工作流或内容容器格式，这些格式可能支持或不支持元数据。
图1A以音频波形签名的形式示出了视听内容1的音频部分5的表示9。表示9与试听内容1的音频部分5至少在一定的程度上匹配，使得能够沿时间t从表示9中可识别出音频部分5。在图1A的实施例中，辅助数据7在表示9的某些时刻处关联于表示9，这些时刻对应于与辅助数据7对准的音频部分5的时刻。以这种方式，辅助数据7可以分别关联于内容1的时刻。
在一个实施例中，辅助数据7可以关联于内容1上的持续时间或时间段(而不仅仅是一个时刻)。在这样的实施例中，辅助数据7可以关联于与内容1上的分别表示内容1(例如，电影场景)上的持续时间的开始和结束的两个(或更多的)时刻。在另一实施例中，辅助数据7可以关联于内容1(适用于所定义的辅助数据7)上的开始时刻和持续时间。在这样的实施例中，辅助数据7可以关联于内容1上的分别表示内容1(例如，电影场景)上的持续时间的开始和结束的开始(或结束)时刻以及指定为绝对期间的持续时间。
在图1A的示例中，辅助数据A关联于表示9的对应于视听内容1的时间tx的时刻。辅助数据7b，7c和7h关联于表示9的对应于视听内容1的时间tx+1的时刻。辅助数据7d和7e关联于表示9的对应于时间tx+2的时刻。辅助数据7f关联于表示9的对应于视听内容1的时间tx+3的时刻，并且辅助数据7g关联于表示9的对应于视听内容1的时间tx+4的时刻。然后，辅助数据7中的每个和表示9都可以被存储在数据库中，该数据库可供视听内容1的未来的用户或观看者访问。这样，当视听内容1被分发给这些用户或观看者时，对这些用户或观看者而言表示9以及与表示9关联的辅助数据7可以是可用的。
在用户场所，可以将接收到的视听内容1的音频部分5与表示9进行实时比较，以将音频部分5与表示9同步，从而将视听内容1与该表示同步。此外，由于辅助数据7关联于表示9的某些时刻，这些时刻对应于其各自的视听内容1的时间，因此即使在没有明确的计时数据的情况下，辅助数据7也可以同步到视听内容1。
尽管在图1A的实施例中，内容的音频被用于将辅助数据7同步到内容1，但是本发明不限于此。如本文另外描述的和/或本领域已知的，辅助数据7可以被同步到内容1。
在图1A所示的实施例中，辅助数据7a与视听内容1的时间tx对准(即，其出现在该时间或与该时间相关)。辅助数据7b和7c出现在或关联于视听内容1的时间tx+1处。辅助数据7d和7e出现在或关联于时间tx+2处。辅助数据7f出现在或关联于视听内容1的时间tx+3处，并且辅助数据7g出现在或关联于时间tx+4处。例如，在tx处的辅助数据7a可以指示内容的名称，《真爱如血》第2季第2集。在时间tx+1(例如，在12分2秒)处，辅助数据7b描述了由安娜·帕奎因(Anna Paquin)(演员)所扮演的苏琪·斯塔克豪斯(Sookie Stackhouse)(角色)穿着马诺洛·伯拉尼克钻扣(Manolo Blahnik Hangisi)105mm缎面高跟鞋(配饰)，同时，辅助数据7c则指示音乐是由伦敦交响乐团所演奏的贝多芬的《月光奏鸣曲》。辅助数据7d和7e可以是在时间tx+2处所接收的推特(twitter)消息，用户在其中表达了他们对视听内容1或视听内容1中的特定场景的反应。辅助数据7f可以指示由于广告插播，内容的音频的规定响度或动态范围缩放在tx+3处发生了变化，或者该辅助数据能够让节目更加颗粒化，而不只是整体的节目。辅助数据7f可以指示由于从广告插播返回到了试听内容1，内容的音频的规定响度或动态范围缩放在tx+4处发生了变化。
另一类辅助数据可以是内容1的视觉部分3的坐标数据。例如，辅助数据可以包含标识坐标集合的数据，该坐标集合表示视听内容1的视觉部分3内的位置，以及标识对象中心和形状的数据，该对象位于视听内容1的视觉部分3内，处于由所述坐标集合所表示的位置。在图1A中，辅助数据7h可以是与内容1的视觉部分3相对应的x，y坐标的集合(《真爱如血》是二维电视节目)。坐标7h对应于辅助数据7b的视觉部分3上的位置，即苏琪·斯塔克豪斯(Sookie Stackhouse)的马诺洛·伯拉尼克钻扣(Manolo Blahnik Hangisi)105mm缎面高跟鞋或***建议的相关物品。
由于该信息是辅助数据7的一部分，所以用户可以在辅助数据***中查询出现了马诺洛·伯拉尼克钻扣(Manolo Blahnik Hangisi)105mm缎面高跟鞋的视听内容。查询结果能够是马诺洛·伯拉尼克(Manolo Blahnik)和/或105mm缎面高跟鞋(产品)。查询的结果不仅有作为视听内容的《真爱如血》第2季第2集，还有作为鞋子在视听内容1中出现的时间+持续时间的tx+1(例如，在12分2秒)，以及鞋子在视觉部分3上的精确位置的坐标x，y。可替代地，用户可以在辅助数据***中查询在坐标x，y处出现的马诺洛·伯拉尼克钻扣(ManoloBlahnik Hangisi)105mm缎面高跟鞋的视听内容。该查询的结果将是时间tx+1(例如，在12分2秒)处的《真爱如血》第2季第2集。
可以检测用户的实际地理位置，并且可以向用户提供与该位置有关的辅助数据。例如，如果电影场景发生在用户当前的地理位置，则可以将电影或场景提供给用户进行观看或购买。
同样，利用可用的坐标集合辅助数据，用户可以在辅助数据***中查询由特定的点或形状坐标的集合标识的视听内容的视觉部分内的位置处的辅助数据。例如，用户可以查询时间tx+1处的坐标x，y处的内容，也可以查询视听内容1，《真爱如血》第2季第2集的给定形状内的内容。查询的结果将是马诺洛·伯拉尼克钻扣(Manolo Blahnik Hangisi)105mm缎面高跟鞋。为了查询***，用户可以例如在视听内容1，《真爱如血》第2季第2集的时间tx+1处的坐标x，y处触摸设备的屏幕。***可以检测位于特定位置处的触摸，搜索辅助数据，并且输出位于特定位置处标识对象的信息。
以上查询组合仅是说明性的。还可能有许多其他的查询组合，其中将坐标作为辅助数据实现大体上更加高级地利用视听内容和辅助数据。
同样，图1A示出了二维示例(《真爱如血》是二维电视节目)，但是这里公开的辅助数据***不限于二维，并且可以包含如下所述的用于三维内容(例如3D视频游戏、3D电影、3D虚拟现实等)的三维坐标(x，y，z)。
通常，包含坐标作为辅助数据为大体上更高级地利用视听内容和辅助数据提供另外的机会。作为辅助数据的坐标可以对应于简单的相对坐标，例如，仅表示视频帧内的位置的坐标x，y(例如，x 0-1920，y 0-1080)或内容1的给定形状(如果已知宽高比，则为三个坐标的最小值)。但是，作为辅助数据的坐标可以与相对于替代空间或区域的坐标对应，例如，坐标x，y表示内容1的视频帧内的位置，同时表示另一个空间或区域内的位置(例如，虚拟空间、视频游戏内的空间、不同视听内容内的空间等)。作为辅助数据的坐标也可以对应于绝对坐标，这些绝对坐标能够关联于其他空间或区域，例如，坐标x，y表示内容1的视频帧内的位置，同时表示现实世界空间内的位置(例如，体育场、城市、国家、行星、宇宙等)。
此外，与替代空间或区域对应的坐标不需要是绝对的，也不需要相对于与内容1的视觉部分3上的位置对应的坐标。这些与替代空间或区域对应的坐标可以仅和与内容1的视觉部分3上的位置对应的坐标绑定或关联。例如，与替代空间或区域对应的坐标可以作为辅助数据关联于同步数据9中的相应时刻，以使它们和与内容1的视觉部分3上的位置对应的坐标绑定或关联。这些附加的坐标层成为辅助数据的附加层。
图1B和1C示出了用于向视觉节目内容的观众呈现辅助数据的示例性屏幕截图。在图1B和1C的示例中，内容1是电影《瞒天过海：美人计》(Ocean’s 8)。
在图1B中，观众在欣赏内容1时触摸或点击了由桑德拉·布洛克(SandraBullock)扮演的角色黛比·奥逊(Debbie Ocean)。与时间线中的那个时刻以及与屏幕上那个位置关联的辅助数据(例如，整部电影、特定场景、特定角色等)在屏幕上变成可见的。在图1B的示例中，对有关女主角布洛克女士、她所穿的外套(巴宝莉
Figure BDA0002487857430000071
)或她面前的眼镜(卡地亚
Figure BDA0002487857430000072
)的信息进行访问的选项被呈现给观众。观众可以进一步触摸或点击所呈现的选择，从而有机会更多地了解布洛克女士和/或购买夹克或眼镜。
在图1C中，观众已经在窗口上触摸或点击了餐厅名称韦塞尔卡(Veselka)。结果是，与时间线中的那个时刻以及与屏幕上那个位置关联的辅助数据(例如，整部电影、特定场景、特定角色等)在屏幕上变成可见的。在图1C的示例中，对有关餐厅(韦塞尔卡(Veselka))或餐厅的地理位置(例如，谷歌
Figure BDA0002487857430000081
地图)的信息进行访问的选项被呈现给观众。观众可以进一步触摸或点击所呈现的选择，从而有机会更多地了解这些地方，并可能向餐厅购买礼券。
现在问题就变成了：辅助数据7如何关联于内容1的具体时刻？
图2A示出了用于管理辅助数据的示例性图形用户界面(GUI)。示例性GUI200包括六个轨道V1-V6以及时间码TC1和边缘码EC1形式的定时信息。内容1的例如内容标题，角色，内容脚本或情节，内容场景，角色所穿的服装，内容的表演者、制作人或导演，内容中出现的物品，内容的故事情节发生的地理位置，内容的音频中的音乐等方面可以被定义为内容特征，并且可以在GUI 200中关联于视觉节目内容1的时间线TC1上的相应时刻。例如，轨道V6跨越整个节目或内容1的长度，但是轨道V5包含仅跨越内容1内特定场景长度的场景。因此，场景1和场景2是与内容1的相应的时刻或时间段关联的内容特征。类似地，轨道V4定义了内容1内出现内容特征、特定角色“苏珊·琼斯(Susan Jones)”的时间段。轨道V3定义了内容1内出现另一个特定内容特征、角色“约翰·杜(John Doe)”的时间段。轨道V2定义了内容1内出现特定服装“黑色纽扣衬衫”的时间段。轨道V3定义了内容1内出现另一个特定服装耐克跑步鞋的时间段。尽管出于说明的目的使用了一些轨道，但是潜在的轨道的数量可能是无限的，以允许用于例如许多演员、服装等。
尽管为了说明的目的在图2A中示出了一个时间线，但是潜在的时间线的数量可能是无限的。例如，每个用户可以具有不同的时间线，或根据内容1的商店可以使用不同的时间线。如果内容1在第一个频道或网络上播放，则可以使用一个时间线，而如果内容1在第二个频道或网络上播放(不同于第一个频道或网络)，则可以使用第二个时间线(不同于所述一个时间线)。图2B说明了这种多时间线方法的示例。在执行规则1之后，***可以基于某个事件的发生(或未发生)从时间线1分叉。因此，例如，如果观众在某个设定的时间段内没有参与，则***可以通过切换到时间线2来呈现新的互动。相反，如果***在时间线1上继续运行，则***可以根据诸如本文所述的环境规则之类的条件来分支到更多不同的时间线。因此，在图2B中，规则2生效时，时间线从时间线1转移。规则3生效后，时间线将转移至另一个方向。最终，可能会有大量的时间线。在图2B的示例中，可以根据条件来参与时间线3、4、5和6。
视觉节目内容1特征关联于视觉节目内容1的时间线上的相应的时刻，可以通过创建参考该内容特征的时间线规则来实现将辅助数据7关联于时间线。如以下详细描述的，GUI 200可以被用于反映时间线规则，该时间线规则将辅助数据对象关联于内容1的节目特征。如下面也详细描述的，GUI 200还可以被用于反映环境规则，该环境规则将辅助数据对象关联于观众的环境特征。
图3A-3G示出了用于管理辅助数据的示例性图形用户界面(GUI)300。GUI 300可以通过创建将辅助数据对象关联于内容特征的时间线规则和将辅助数据对象关联于观众的环境特征的环境规则来管理辅助数据。在图3A-3G的示例中，GUI 300用于创建一规则，该规则将产品(1961年白马庄干红葡萄酒(Chateau Chavel Blanc))有关的辅助数据关联于剧组成员在内容1中出现的时间段以及观众的环境特征。
如图3A所示，用户或管理者可以在数据库中找到作为辅助数据对象的、包含产品有关信息(例如，名称、描述、品牌名称、显示链接、购物URL等)的产品(一瓶1961年的白马庄干红葡萄酒(Chateau Chavel Blanc))。然后，用户或管理者可以通过点击新规则(NEWRULE)来添加时间线规则，该时间线规则中将辅助数据对象(在这种情况下为葡萄酒瓶)关联于内容特征。
以葡萄酒瓶为例，该示例提供了特定的产品作为辅助数据。在一个实施例中，代替特定产品，可以以几乎相同的方式将特定服务或购物引擎(例如
Figure BDA0002487857430000091
shop.com)作为辅助数据来提供。服务和/或购物引擎以与产品类似的方式被提供，但是，当用户选择用于服务和/或购物引擎的辅助数据对象时(例如，通过点击或触摸其上显示有内容(和/或辅助数据对象)的显示器)，规则引擎可使用来自内容1或内容特征的关键字(例如，与辅助数据对象关联的特定角色的名称或任何其他用户定义的关键字)来创建查询，该查询可以被发送到服务或购物引擎以返回产品结果，实际上是产品建议。
图3B说明了用户或管理者如何使用GUI 300可以添加一新的时间线规则，在该新的时间线规则中将辅助数据对象(酒瓶)关联于内容特征(剧组成员)。用户可以为辅助数据对象(酒瓶)指示时间线规则为：剧组成员>特定>等于>安娜·德·阿玛斯(Ana de Armas)。如果实施了此简单的时间线规则，则每次安娜·德·阿玛斯(Ana de Armas)出现在节目/内容1上时，就会向观看内容1的观众显示提及1961年白马庄干红葡萄酒(Chateau ChavelBlanc)的辅助数据对象。
规则叠加是可能的。用户或管理者可以继续添加时间线规则，在该时间线规则中将辅助数据对象(酒瓶)关联于其他内容特征相。例如，用户可以添加一时间线规则，该时间规则指定“任何时间当安娜·德·阿玛斯(Ana de Armas)出现在屏幕上且心情愉快且屏幕上是白天时”，将辅助数据对象呈现给观众，时间线规则能够变得非常复杂，并且利用具有分组的布尔逻辑(Boolean logic)来实现理论上将任何可能的数据组合创建为规则。
GUI300还可以用于通过创建将辅助数据对象关联于观众的环境特征的环境规则来管理辅助数据。观众的环境特征可以包含观众观看视觉节目内容的日期范围、观众的地理位置、观众的性别、观众的年龄范围等。
如图3C所示，用户或管理者可以通过点击添加条件来添加包括观看条件的环境规则。如图3D所示，环境规则部分或新条件可以涉及观众消费内容1的日期范围、观众的年龄范围、观众的性别或观众的地理位置。新条件或环境规则部分也可以是反向条件，在这个条件中，不是指定观众的日期范围、年龄范围、性别或地理位置，而是指定相反的条件。因此，例如，可以指定除中国以外的任何地理区域、除1-17以外的任何年龄、9月11日以外的任何一天等。
图3E示出选择了日期范围条件，并将其指定为2018年9月11日至2018年12月31日。用户或管理者可以根据需要继续叠加条件，以创建所需的一个或更多个环境规则。图3F示出最终的环境规则，该最终的环境规则指定了目标观众为从2018年9月11日到2018年12月31日观看内容1的来自马萨诸塞州的年龄为18-52岁的女性。如图3G所示，已创建一规则，即在内容1中出现剧组成员“安娜·德·阿玛斯(Ana de Armas)”的时间段处，向从2018年9月11日到2018年12月31日观看内容1的来自马萨诸塞州的年龄为18-52岁的女性观众呈现产品(一瓶1961年白马庄干红葡萄酒(Chateau Chavel Blanc))有关的辅助数据。辅助数据对象将相应地呈现给特定的观众。
图4示出了用于管理辅助数据的示例性GUI 200。如上所述，GUI 200可以用于反映将辅助数据对象关联于内容1的节目特征的时间线规则和将辅助数据对象关联于观众的环境特征的环境规则。规则可以由图标表示。例如，规则R6已被应用于跨越整个节目或内容1的长度的轨道V6上的内容特征(整个内容1)。规则R4已被应用于跨越轨道V5上的特定场景的长度的内容特征场景1，而规则R5已被应用于跨越轨道V5上的特定场景的长度的内容特征场景2。类似地，规则R1已被应用于轨道V4上的内容特征、角色“苏珊·琼斯(SusanJones)”。每当出现“约翰·杜(John Doe)”时，规则R8便已被应用到轨道V3上的内容特征、角色“约翰·杜(John Doe)”。相比之下，规则R2已被设置为用于内容1内特定的第一个时间段(并非所有时间段)，在该第一时间段中，内容特征、角色“约翰·杜(John Doe)”出现在内容1中，而规则R3已被设置为用于内容1内特定的第二个时间段(并非所有时间段)，在该第二时间段中，内容特征、角色“约翰·杜(John Doe)”出现在内容1中。
如图5所示，可以有一般环境规则或条件的预设列表，也可以有用户创建自定义规则的能力。图5列出了九种示例性的一般环境规则或条件。规则1(R1)＝女性观众、规则2(R2)＝男性观众、规则3(R3)＝观众地域为中国、规则4(R4)＝地理活动、规则5(R5)＝从2017年8月至10月期间观看的观众、规则6(R6)＝美国观众、规则7(R7)＝观众地域不为中国、规则8(R8)＝观众年龄为18-35岁，以及规则9(R9)＝观众年龄为35-50岁。
返回图4，让我们研究一下应用于轨道V3上的内容特征、角色“约翰·杜(JohnDoe)”的规则。首先，将规则R6(美国观众)应用于整个内容1。其次，将规则R4(地理活动)应用于“约翰·杜(John Doe)”出现在场景1中的时间段，而规则R5(从2017年8月至10月期间观看的观众)应用于“约翰·杜(John Doe)”出现在场景2中的时间段。规则R8(观众年龄为18-35岁)已被设置为用于每当约翰·杜(John Doe)出现的时候。相比之下，规则R2(男性观众)已被设置为用于内容1内特定的时间段(并非所有时间段)，在该时间段内，内容特征、角色“约翰·杜(John Doe)”出现，而规则R3(观众地域为中国)已被设置为用于内容1内其他特定的时间段(并非所有时间段)，在该时间段内，内容特征、角色“约翰·杜(John Doe)”出现。
在一个实施例中，将规则从上到下应用，使得首先应用节目规则，其次应用场景规则，再次应用轨道规则，最后应用特征规则。在图4的示例中，约翰·杜(John Doe)出现了3次。约翰·杜(John Doe)第一次出现时，应用规则R6，R4，R8和R2(按此顺序)。因此，如果观众在美国，观众是地理活动的，观众是18-35，并且观众是男性，则辅助数据对象将呈现给观众。约翰·杜(John Doe)第二次出现时，应用规则R6，R4和R8(按此顺序)。因此，如果观众在美国，观众是地理活动的，并且观众是18-35(男性或女性)，则辅助数据对象将呈现给观众。约翰·杜(John Doe)第三次出现时，应用规则R6，R5，R8和R3(按此顺序)。因此，如果观众在美国，观众从2017年8月至10月期间观看，并且观众是18-35，则辅助数据对象将呈现给观众。根据规则R3，辅助数据对象也会呈现给中国的所有观众。
从上面应该清楚地知道，管理可以事后进行，也可以在现场直播中进行。例如，辅助数据可以包含正在进行的篮球比赛的现场直播得分。管理可以由人类用户或操作员或由基于算法、人工智能等进行操作的机器来实现。
图6-10示出了将辅助数据对象与内容特征和/或观众的环境特征关联的示例性规则的框图。
图6示出了适用于节目1的简单时间线规则60。在时间线规则60中，如果屏幕上当前出现某个特定角色，则提供体验A(向观众呈现一个或更多个辅助数据对象)。
图7示出了适用于节目1的更复杂的时间线规则61。在时间线规则61中，如果屏幕上当前出现某个特定角色，并且电影发生在某个特定地点，并且第二个角色与第一个角色一起出现超过30秒，则提供体验A(向观众呈现一个或更多个辅助数据对象)。
图8示出了适用于节目1的简单环境规则62。在环境规则62中，如果观众是男性，则提供体验A(向观众呈现一个或更多个辅助数据对象)，而如果观众是女性，则提供体验B(向观众呈现与体验A的一个或更多个辅助数据对象不同的一个或更多个辅助数据对象)。
图9示出了适用于节目1的更复杂的环境规则63。在环境规则63中，如果观众是位于晴天的墨西哥的30岁以上的男性，则提供体验Y(向观众呈现一个或更多个辅助数据对象)，直到某个日期之后，提供体验X(向观众呈现与体验Y的一个或更多个辅助数据对象不同的一个或更多个辅助数据对象)。
图10示出了适用于节目1的组合的环境和时间线规则64。在组合规则64中，如果屏幕上当前出现某个特定角色，并且电影发生在某个特定地点，并且第二个角色与第一个角色出现超过30秒，并且如果观众是位于晴天的墨西哥的30岁以上的男性，则提供体验Y(向观众呈现一个或更多个辅助数据对象)，直到某个日期之后，提供体验X(向观众呈现与体验Y的一个或更多个辅助数据对象不同的一个或更多个辅助数据对象)。
图11示出了用于管理和呈现要呈现给内1容的观众的辅助数据的示例性***的框图。该***10包括三个主要组件：内容分发器20、消费者30和辅助数据位置40。图11还示出了内容分发者20、消费者30和辅助数据位置40之间相互通信的媒介M。
元素20不限于广播公司或广播设施或设备。在实践中，内容分发器20可以代表任何设施或设备，所述设施或设备是前期制作、制作、后期制作、质量控制、母版制作设备，任何类型的广播(包含专业或社交媒体广播)，或在播放之前和播放过程中触摸视听内容1以进行发送或广播的发送和分发视听内容的其他方法中的一部分或在这些设备、广播或方法中使用，所述内容分发器包含消费者自己的设备，例如DVR、自然语言处理设备(例如，亚马逊的Echo)等。
类似地，尽管为了便于解释，本公开将元素30称为消费者30，但是元素30不限于消费者或消费者场所或设备。在实践中，消费者30可以代表在播出期间或播出后触摸视听内容1以进行发送、广播等的任何场所或设备。
关于辅助数据位置40和辅助数据7的来源或收集，可以在视听内容1的播放、广播、分发或表演之前获取或收集辅助数据7。例如，可以在视听内容1的前期制作、制作、后期制作、质检或母板制作等过程中获取或收集辅助数据7。也可以在视听内容1的播放、广播、分发或表演期间获取或收集辅助数据7。例如，如果视听内容1是电视节目，则可以在电视节目的第一次或随后的广播期间获取或收集辅助数据7。
关于存储和分发，所收集的辅助数据7可以存储在数据库44中，该数据库可以实现为可被视听内容1的未来用户或观看者访问。这样，当视听内容1稍后被分发给这些用户或观看者时，辅助数据7可以与视听内容1同时地被这些用户或观看者获得以用于消费。辅助数据7的出现或表明其自身在时间上与视听内容1对准。
此外，媒介M可以是一般用于发送内容1或数据的任何媒介，例如，因特网、卫星通信、无线电通信、电视通信(广播或有线电视)等。虽然在附图中，将媒介M示出为由内容分发器20、消费者30和辅助数据位置40所共享，但是这些元素之间的通信不需要在相同的媒介中进行。因此，例如，内容分发器20可以经由卫星与消费者30通信，而内容分发器20经由因特网与辅助数据位置40通信。
在图11的示例中，内容分发器20将视听内容1发送给消费者30。消费者30从内容分发器20接收视听内容1，并从辅助数据位置40接收辅助数据7。
辅助数据位置40可以包含用于管理和呈现关联于内容1的辅助数据的机器或机器组。辅助数据位置40可以包含用于对内容1和/或辅助数据7进行通信(即，发送和接收)的收发器42和如上所述通过创建时间线规则和环境规则将辅助数据7关联于内容1的处理器43。辅助数据位置40还可以包含数据库44，该数据库存储与内容1中的时刻关联的辅助数据7。
辅助数据位置40可以是内容分发器20和消费者30可访问的位置，例如具有可以通过订阅、密码等控制的具有一般可访问性(例如，通过上述链接)的云或本地档案。
***10可以利用软件、硬件、模拟或数字技术来实现。
参照图12和图13的流程图，可以更好地理解示例性方法。虽然为了方便解释，所示出的方法被显示和描述为一系列框图，但是应当理解，这些方法不受框图的顺序的限制，因为一些框图能够以不同的顺序或者与示出和描述的其他框图同时进行。此外，对于示例性方法的实现，可以不需要所有示出的框图。此外，另外的方法、替代的方法或者两者能够采用未示出的、另外的框图。
在流程图中，框图表示可以用逻辑实现的“处理框图”。处理框图可以表示方法步骤或者用于执行方法步骤的设备元件。流程图不描述用于任何特定编程语言、方法或样式(例如，面向过程、面向对象)的语法。相反，流程图示出本领域技术人员可以用于开发逻辑以执行所示的处理的功能信息。可以理解，在一些示例中，没有示出诸如临时变量、例程循环之类的程序元素。将进一步理解，电子和软件应用程序可以涉及动态和灵活的过程，使得所示框图能够以不同于所示顺序的其他顺序执行，或者这些框图能够被组合或分离为多个组件。应该理解，所述过程可以使用各种编程方法来实现，例如机器语言，面向过程、面向对象技术或人工智能技术。
图12示出了用于管理要呈现给视觉节目内容的观众的辅助数据的示例性方法600的流程图。
方法600包含在610处创建将辅助数据对象关联于相应的视觉节目内容特征的时间线规则。视觉节目内容特征关联于视觉节目内容的时间线上的相应的时刻。
在620，方法600还包含创建将辅助数据对象关联于观众的相应环境特征的环境规则。
在630处，方法600还包含：指示当同时满足时间线规则和环境规则时，要将辅助数据对象呈现给观众，使得当同时满足a)在观众回放期间，视觉节目内容特征中的相应一些在视觉节目内容中出现；和b)出现相应的环境特征时，可以将辅助数据对象呈现给观众。
图13示出了用于向视觉节目内容的观众呈现辅助数据的示例性方法700的流程图。
方法700包含在710处接收与a)视觉节目内容的相应的视觉节目内容特征；和b)视觉节目内容的观众的相应的环境特征关联的辅助数据对象。视觉节目内容特征关联于视觉节目内容的时间线上的相应的时刻。
在720处，方法700还包含：当a)在观众回放期间，相应的视觉节目内容特征在视觉节目内容中出现；和b)出现相应的环境特征时，将辅助数据对象呈现给观众。
虽然图中示出了以串行方式进行的各种动作，应当理解，所示出的各种动作可以基本以并行方式进行；然而可以示出以并行方式进行的动作，应当理解，这些动作可以基本以串行方式进行。虽然结合所示方法描述了许多过程，但是应当理解，可以采用更多或更少数量的过程，并且可以采用轻量级过程、常规过程、线程和其他方法。应当理解，在一些情况下，其他示例性方法还可以包含基本以并行方式进行的动作。所示示例性方法和其他实施例可以实时地操作，在软件或硬件或混合软件/硬件实施方式中比实时更快地操作，或者在软件或硬件或混合软件/硬件实现方式中比实时更慢地操作。
图14示出了用于管理和/或呈现要呈现给视觉节目内容的观众的辅助数据的示例性机器800的框图。机器800包含通过总线808可操作地连接的处理器43、存储器804和I/O端口810。
在一个示例中，机器800可以通过例如I/O端口810或I/O接口818接收输入信号，该输入信号包含视听内容1、视频部分3、音频部分5、辅助数据7、表示9等。机器800还可以包含辅助数据位置40的收发器42、处理器43和数据库44。因此，内容分发器20、消费者30或辅助数据位置40可以在机器800中作为硬件、固件、软件或其组合实现，因此，机器800及其组件可以提供执行由收发器42、处理器43和数据库44执行的本文所描述的和/或要求的功能的装置。
处理器43能够是包含双微处理器和其他多处理器体系结构的各种处理器。存储器804能够包含易失性存储器或非易失性存储器。非易失性存储器能够包含但不限于ROM、PROM、EPROM、EEPROM等。易失性存储器能够包含例如RAM、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)和直接RAM总线RAM(DRAM)。
磁盘806可以通过例如I/O接口(例如，卡、设备)818和I/O端口810可操作地连接到机器800。磁盘806能够包含但不限于诸如磁盘驱动器、固态硬盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存卡或记忆棒之类的设备。此外，磁盘806能够包含光驱，例如CD-ROM、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字视频ROM驱动器(DVD ROM)。例如，存储器804能够存储过程814或数据816。磁盘806或存储器804能够存储对机器800的资源进行控制和分配的操作***。
总线808能够是单个内部总线互连体系结构或其他总线或网格体系结构。虽然示出了单个总线，但是应当理解，机器800可以使用未示出的其他总线(例如，PCIE、SATA、Infiniband、1394、USB、以太网)与各种设备、逻辑和***设备通信。总线808能够具有多种类型，包含但不限于存储器总线或存储器控制器、***总线或外部总线、纵横式开关或本地总线。本地总线能够是各种各样的，包含但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、扩展ISA(EISA)总线、外设组件互连(PCI)总线、通用串行(USB)总线和小型计算机***接口(SCSI)总线。
机器800可以通过I/O接口818和I/O端口810与输入/输出设备进行交互。输入/输出设备能够包含但不限于键盘、麦克风、指向和选择设备、照相机、视频卡、显示器、磁盘806、网络设备820等。I/O端口810能够包含但不限于串行端口、并行端口和USB端口。
机器800能够在网络环境中操作，因此可以通过I/O接口818或I/O端口810连接到网络设备820。通过网络设备820，机器800可以与网络交互。通过网络，机器800可以逻辑地连接到远程计算机。可以与机器800交互的网络包含但不限于局域网(LAN)、广域网(WAN)和其他网络。网络设备820能够连接到LAN技术，包含但不限于光纤分布式数据接口(FDDI)、铜质分布式数据接口(CDDI)、以太网(IEEE 802.3)、令牌环网(IEEE 802.5)、无线计算机通信(IEEE 802.11)、蓝牙(IEEE 802.15.1)、Zigbee(IEEE 802.15.4)等。类似地，网络设备820能够连接到WAN技术，包含但不限于点对点的链路，诸如集成服务数字网络(ISDN)、分组交换网络之类的电路交换网络和数字用户线路(DSL)。虽然描述了各网络类型，但是应当理解，经由、借由或通过网络的通信可以包含通信的组合和混合。
定义
以下包含本文使用的所选术语的定义。这些定义包含落入术语范围内并且可用于实施的组件的各种示例或形式。这些示例并不是限制性的。术语的单数形式和复数形式都可以在定义之内。
“内容”对应于静止图像、音频媒体的片段、视频媒体或音频/视觉(AV)媒体，并且包含利用至少一个媒体实施、存储、发送、接收、处理或以其他方式使用的信息。常见的媒体内容格式包含FLV格式(闪存视频)、Windows媒体视频、RealMedia、MFX、Quicktime、MPEG、MP3、DivX、JPEG和位图。如本文所使用的，术语“媒体剪辑”、“媒体内容”、“信息内容”和“内容”可以互换地使用。
本文所使用的“数据存储”或“数据库”是指能够存储数据的物理或逻辑实体。数据存储可以是例如数据库、表、文件、列表、队列、堆、存储器、寄存器等。数据存储可以驻留在一个逻辑或物理实体中，或者可以分布在两个或更多个逻辑或物理实体之间。
本文所使用的“逻辑”包含但不限于执行功能或动作或引起来自另一逻辑、方法或***的功能或动作的硬件、固件、软件或其每个的组合。例如，基于期望的应用或需要，逻辑可以包含软件控制的微处理器、诸如专用集成电路(ASIC)的离散逻辑电路、编程逻辑器件、包含指令的存储器等。逻辑可以包含一个或更多个门、门的组合或其他电路组件。逻辑也可以被全部实施为软件。在描述多个逻辑性逻辑的情况下，可以将多个逻辑性逻辑合并到一个物理逻辑中。类似地，在描述单个逻辑性逻辑的情况下，可以在多个物理逻辑之间分配该单个逻辑性逻辑。
“可操作的连接”或者借以使实体“可操作地连接”的连接是可以借以发送或接收信号、物理通信或逻辑通信的连接。通常，可操作的连接包含物理接口、电气接口或数据接口，但是要注意的是，可操作的连接可以包含足以区分这些连接或其他类型的连接的组合以实现可操作的控制。例如，通过能够直接相互对信号进行通信或通过诸如处理器，操作***，逻辑，软件或其他实体之类的一个或更多个中间实体相互对信号进行通信的方式能够将两个实体可操作地连接起来。逻辑或物理通信信道能够被用于创建可操作的连接。
在广播中，“播放”是用于从广播公司到到广播网络的无线电广播或电视频道的发送的术语，其将内容传送给观众。
本文所使用的“信号”包含但不限于一个或更多个电或光信号、模拟或数字信号、数据、一个或更多个计算机或处理器指令、消息、比特或比特流或能够被接收、发送或检测的其他手段。
本文所使用的“软件”包含但不限于，能够被读取、解释、编译或执行并且使计算机、处理器或其他电子设备以期望的方式执行功能、动作或行为的一个或更多个计算机或处理器指令。指令可以以各种形式实施，例如包含来自动态或静态链接库的独立应用程序或代码的例程、算法、模块、方法、线程或程序。软件还可以以各种可执行或可加载的形式实施，包含但不限于独立程序、函数调用(本地或远程)、servlet、applet、存储在存储器中的指令、操作***的一部分或其他类型的可执行指令。本领域普通技术人员将理解，软件的形式可以例如取决于期望应用的要求、其运行环境、或者设计者/程序员的期望等。还可以理解，计算机可读或可执行的指令能够位于一个逻辑中，或者分布在两个或更多个通信逻辑、协同逻辑或并行处理逻辑的之间，因此能够以串行、并行、大规模并行和其他方式来加载或执行。
适用于实现本文所描述的示例性***和方法的各种组件的软件可以使用编程语言和工具来生成，例如Java、Pascal、C#、C++、C、CGI、Perl、SQL、API、SDKS、汇编、固件、微码或其他语言和工具。软件，无论是整个***还是***的组件，都可以实施为产品，并且作为先前定义的计算机可读介质的一部分来维护或提供。软件的另一种形式可以包含通过网络或其他通信介质向接收器发送软件程序代码的信号。因此，在一个示例中，计算机可读介质具有表示从网络服务器下载到用户时的软件/固件的信号的形式。在另一个示例中，计算机可读介质具有保持在Web服务器上时的软件/固件的形式。也可以使用其他形式。
本文使用的“用户”或“消费者”包含但不限于一个或更多个人、软件、计算机或其他设备或其组合。
以下详细描述的一些部分以表示存储器内数据比特上的运算的算法和符号的形式呈现。这些算法描述和表示是本领域技术人员用于向其他人传达其工作的实质的手段。算法在这里通常被认为是产生结果的一系列运算。运算可以包含物理量的物理运算。通常(但是不一定)，物理量采取能够以逻辑等方式存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。
事实证明，主要是由于通常使用的原因，有时将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。然而，应当记住，这些和类似的术语应当与适当的物理量关联，并且仅仅是适用于这些量的便利标签。除非另有特别说明，应理解，在整个描述中，例如处理、电脑运算、计算、确定、显示等术语指的是操纵和传输表示为物理(电子)量的数据的计算机***、逻辑、处理器或类似电子设备的动作和过程。
在某种程度上在具体说明书或权利要求书中使用了术语“包含”或“包含了”，该术语旨在与在权利要求中用作过渡词时进行解释的术语“包括”类似，该术语是包含性的。此外，在某种程度上在具体说明书或权利要求书中使用了术语“或”，其旨在指“A或B或两者”。当申请人旨在指示“只有A或B但不是两者”时，将使用术语“只有A或B但不是两者”。因此，术语“或”在本文中的使用是包含性的，而不是排他性的。参见布莱恩·A·加纳(BryanA.Garner)的《现代法律用法词典624(A Dictionary of Modern Legal Usage 624)》(1995年第2版)。
虽然通过描述示例示出了示例性***、方法等，并且虽然已经相当详细地描述了示例，但是申请人并不打算限定或以任何方式限制此类细节的范围。当然，出于描述本文中所描述的***、方法等的目的，不可能描述组件或方法的每种可想到的组合。本领域技术人员会很容易想到另外的优点和修改。因此，本发明不限于具体细节、代表性设备以及示出和描述的描述性示例。因此，本申请旨在包括落入所附权利要求范围内的更改、修改和变型。此外，前面的说明书不是要限制本发明的范围。相反，本发明的范围由所附权利要求及其等同物所确定。

Claims (40)

1.一种用于管理要呈现给视觉节目内容的观众的辅助数据的机器或机器组，所述机器或机器组包括：
处理器，其被配置为创建：
时间线规则，所述时间线规则将辅助数据对象关联于相应的视觉节目内容特征，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应时刻；以及
环境规则，所述环境规则将所述辅助数据对象关联于观众的相应的环境特征；并且
所述处理器被配置为发送信号以指示：当同时满足所述时间线规则和所述环境规则时，要将所述辅助数据对象呈现给所述观众，使得当同时满足a)在所述观众回放期间，所述视觉节目内容特征中的相应一些在所述视觉节目内容中出现；和b)出现相应的环境特征时，能够将所述辅助数据对象呈现给所述观众。
2.根据权利要求1所述的机器或机器组，其中，所述视觉节目内容特征选自：
内容标题；
角色；
内容脚本或情节；
内容场景；
角色穿着的服装；
所述内容的表演者、制作人或导演；
所述内容中出现的物品；
所述内容的故事情节发生的地理位置；
所述内容的音频中的音乐；以及
与诸如体育统计等的所述内容相关的统计。
3.根据权利要求1所述的机器或机器组，其中，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻包含：视觉节目内容特征关联于所述视觉节目内容的时间线中的所述视觉节目内容特征出现在的时间段。
4.根据权利要求1所述的机器或机器组，其中，所述时间线规则指示当关联的视觉节目内容特征出现在所述视觉节目内容中时，要将辅助数据对象呈现给所述观众。
5.根据权利要求1所述的机器或机器组，其中，所述观众的环境特征包括：
所述观众观看所述视觉节目内容的日期范围；
所述观众的地理位置；
所述观众的时区；
所述观众的性别；以及
所述观众的年龄范围。
6.根据权利要求1所述的机器或机器组，其中，所述环境规则指示当所述观众的关联环境特征出现时，要将辅助数据对象呈现给所述观众。
7.根据权利要求1所述的机器或机器组，其中，指示要将所述辅助数据对象呈现给所述观众包含：在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象，其中，在被呈现时所述观众选择所述辅助数据对象，显示了关于所述辅助数据对象的附加信息。
8.根据权利要求1所述的机器或机器组，其中，指示要将所述辅助数据对象呈现给所述观众包含：仅当a)两个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的两个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
9.根据权利要求1所述的机器或机器组，其中，指示要将所述辅助数据对象呈现给所述观众包含：仅当a)一个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的三个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
10.根据权利要求1所述的机器或机器组，其中，所述时间线规则指示：当a)第一关联的视觉节目内容特征出现在所述视觉节目内容中；和b)第二关联的视觉节目内容特征与所述第一关联的视觉节目内容特征同时出现在所述视觉节目内容中时，要将辅助数据对象呈现给所述观众。
11.一种用于管理要呈现给视觉节目内容的观众的辅助数据的方法，该方法包括：
创建时间线规则，所述时间线规则将辅助数据对象关联于相应的视觉节目内容特征，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应时刻；
创建环境规则，所述环境规则将所述辅助数据对象关联于观众的相应的环境特征；以及
指示当同时满足所述时间线规则和所述环境规则时，要将所述辅助数据对象呈现给所述观众，使得当同时满足a)在所述观众回放期间，所述视觉节目内容特征中的相应一些在所述视觉节目内容中出现；和b)出现所述相应的环境特征时，能够将所述辅助数据对象呈现给所述观众。
12.根据权利要求11所述的方法，其中，所述视觉节目内容特征选自：
内容标题；
角色；
内容脚本或情节；
内容场景；
角色穿着的服装；
所述内容的表演者、制作人或导演；
所述内容中出现的物品；
所述内容的故事情节发生的地理位置；以及
所述内容的音频中的音乐。
13.根据权利要求11所述的方法，其中，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻包含：视觉节目内容特征关联于视觉节目内容的时间线中的所述视觉节目内容特征出现在的时间段。
14.根据权利要求11所述的方法，其中，所述时间线规则指示当关联的视觉节目内容特征出现在所述视觉节目内容中时，要将辅助数据对象呈现给所述观众。
15.根据权利要求11所述的方法，其中，所述观众的环境特征包括：
所述观众观看所述视觉节目内容的日期范围；
所述观众的地理位置；
所述观众的性别；以及
所述观众的年龄范围。
16.根据权利要求11所述的方法，其中，所述环境规则指示当所述观众的关联的环境特征出现时，要将辅助数据对象呈现给所述观众。
17.根据权利要求11所述的方法，其中，指示要将所述辅助数据对象呈现给所述观众包含：在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象，其中，在被呈现时所述观众选择所述辅助数据对象，显示了关于所述辅助数据对象的附加信息。
18.根据权利要求11所述的方法，其中，指示要将所述辅助数据对象呈现给所述观众包含：仅当a)两个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的两个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
19.根据权利要求11所述的方法，其中，指示要将所述辅助数据对象呈现给所述观众包含：仅当a)一个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的三个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
20.根据权利要求11的方法，其中，所述时间线规则指示当a)第一关联的视觉节目内容特征出现在所述视觉节目内容中；和b)第二关联的视觉节目内容特征与所述第一关联的视觉节目内容特征同时出现在所述视觉节目内容中时，要将辅助数据对象呈现给所述观众。
21.一种用于向观众呈现视觉节目内容的辅助数据的机器或机器组，所述机器或机器组包括：
处理器，其被配置为接收辅助数据对象，所述辅助数据对象关联于a)所述视觉节目内容的相应的视觉节目内容特征，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻；以及关联于b)所述视觉节目内容的观众的相应的环境特征；并且
所述处理器被配置为当a)在所述观众回放期间，所述相应的视觉节目内容特征在所述视觉节目内容中出现；和b)出现所述相应的环境特征时，发送要呈现给所述观众的所述辅助数据对象。
22.根据权利要求21所述的机器或机器组，其中，所述视觉节目内容特征选自：
内容标题；
角色；
内容脚本或情节；
内容场景；
角色穿着的服装；
所述内容的表演者、制作人或导演；
所述内容中出现的物品；
所述内容的故事情节发生的地理位置；以及
所述内容的音频中的音乐。
23.根据权利要求21所述的机器或机器组，其中，通过将所述视觉节目内容特征中的每个关联于所述视觉节目内容的时间线中的所述视觉节目内容特征出现在的相应时间段，来将所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻。
24.根据权利要求21所述的机器或机器组，其中，所述辅助数据对象通过一规则关联于所述视觉节目内容特征中的相应一些，所述规则为当关联的视觉节目内容特征出现在所述视觉节目内容中时，将辅助数据对象呈现给所述观众。
25.根据权利要求21所述的机器或机器组，其中，所述观众的环境特征包括：
所述观众观看所述视觉节目内容的日期范围；
所述观众的地理位置；
所述观众的性别；以及
所述观众的年龄范围。
26.根据权利要求21所述的机器或机器组，其中，所述辅助数据对象通过一规则关联于所述观众的所述相应的环境特征，所述规则为当所述观众的关联的环境特征出现时，将辅助数据对象呈现给所述观众。
27.根据权利要求21所述的机器或机器组，其中，发送要呈现给所述观众的所述辅助数据对象包含：在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象，其中，在被呈现时所述观众选择所述辅助数据对象，显示了关于所述辅助数据对象的附加信息。
28.根据权利要求21所述的机器或机器组，其中，发送要呈现给所述观众的所述辅助数据对象包含：仅当a)两个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的两个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
29.根据权利要求21所述的机器或机器组，其中，发送要呈现给所述观众的所述辅助数据对象包含：仅当a)一个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的三个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
30.根据权利要求21的机器或机器组，其中，所述辅助数据对象通过一规则关联于所述视觉节目内容特征中的相应一些，所述规则为当a)第一关联的视觉节目内容特征出现在所述视觉节目内容中；和b)第二关联的视觉节目内容特征与所述第一关联的视觉节目内容特征同时出现在所述视觉节目内容中时，将辅助数据对象呈现给所述观众。
31.一种用于向视觉节目内容的观众呈现辅助数据的方法，该方法包括:
接收辅助数据对象，所述辅助数据对象关联于a)所述视觉节目内容的相应的视觉节目内容特征，所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻；以及关联于b)所述视觉节目内容的观众的相应的环境特征；以及
当a)在所述观众回放期间，所述相应的视觉节目内容特征在所述视觉节目内容中出现；和b)出现所述相应的环境特征时，将所述辅助数据对象呈现给所述观众。
32.根据权利要求31所述的方法，其中，所述视觉节目内容特征选自：
内容标题；
角色；
内容脚本或情节；
内容场景；
角色穿着的服装；
所述内容的表演者、制作人或导演；
所述内容中出现的物品；
所述内容的故事情节发生的地理位置；以及
所述内容的音频中的音乐。
33.根据权利要求31所述的方法，其中，通过将所述视觉节目内容特征中的每个关联于所述视觉节目内容的时间线中的所述视觉节目内容特征出现在的相应时间段，来将所述视觉节目内容特征关联于所述视觉节目内容的时间线上的相应的时刻。
34.根据权利要求31所述的方法，其中，所述辅助数据对象通过一规则关联于所述视觉节目内容特征中的相应一些，所述规则为当关联的视觉节目内容特征出现在所述视觉节目内容中时，将辅助数据对象呈现给所述观众。
35.根据权利要求31所述的方法，其中，所述观众的环境特征包括：
所述观众观看视觉节目内容的日期范围；
所述观众的地理位置；
所述观众的性别；以及
所述观众的年龄范围。
36.根据权利要求31所述的方法，其中，所述辅助数据对象通过一规则关联于所述观众的所述相应的环境特征，所述规则为当所述观众的关联的环境特征出现时，将辅助数据对象呈现给所述观众。
37.根据权利要求31所述的方法，其中，向所述观众呈现所述辅助数据对象包含：在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象，其中，在被呈现时所述观众选择所述辅助数据对象，显示了关于所述辅助数据对象的附加信息。
38.根据权利要求31所述的方法，其中，向所述观众呈现所述辅助数据对象包含：仅当a)两个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的两个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
39.根据权利要求31所述的方法，其中，向所述观众呈现所述辅助数据对象包含：仅当a)一个或更多个关联的视觉节目内容特征在回放期间出现在所述视觉节目内容中；和b)出现所述观众的三个或更多个环境特征时，在显示所述视觉节目内容的显示器上或在第二显示器上形成能够被所述观众选择的辅助数据对象。
40.根据权利要求31的方法，其中，所述辅助数据对象通过一规则关联于所述视觉节目内容特征中的相应一些，该规则为当a)第一关联的视觉节目内容特征出现在所述视觉节目内容中；和b)第二关联的视觉节目内容特征与所述第一关联的视觉节目内容特征同时出现在所述视觉节目内容中时，将所述辅助数据对象呈现给所述观众。
CN201880073216.7A 2017-09-13 2018-09-13 基于规则的辅助数据 Pending CN111417974A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762558097P 2017-09-13 2017-09-13
US62/558,097 2017-09-13
PCT/US2018/050965 WO2019055713A1 (en) 2017-09-13 2018-09-13 AUXILIARY DATA ACCORDING TO RULES

Publications (1)

Publication Number Publication Date
CN111417974A true CN111417974A (zh) 2020-07-14

Family

ID=63788031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073216.7A Pending CN111417974A (zh) 2017-09-13 2018-09-13 基于规则的辅助数据

Country Status (7)

Country Link
US (2) US11375290B2 (zh)
EP (1) EP3682405A1 (zh)
KR (1) KR102585576B1 (zh)
CN (1) CN111417974A (zh)
AU (1) AU2018331432A1 (zh)
CA (1) CA3080472A1 (zh)
WO (1) WO2019055713A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230276109A1 (en) * 2022-02-25 2023-08-31 Source Digital, Inc. Curating non-fungible token collections in relation to audiovisual content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001091474A2 (en) * 2000-05-19 2001-11-29 Intel Corporation Dynamically controlling video and data transmissions
US20100057813A1 (en) * 2000-11-10 2010-03-04 Keiko Abe Program ancillary data processing device, server device, program information displaying method, and recording medium
US20150189347A1 (en) * 2013-12-31 2015-07-02 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219837B1 (en) * 1997-10-23 2001-04-17 International Business Machines Corporation Summary frames in video
US6298482B1 (en) * 1997-11-12 2001-10-02 International Business Machines Corporation System for two-way digital multimedia broadcast and interactive services
US20020188635A1 (en) * 2001-03-20 2002-12-12 Larson Stephen C. System and method for incorporation of print-ready advertisement in digital newspaper editions
US20030121054A1 (en) * 2001-12-26 2003-06-26 Digeo, Inc. Display for a client terminal for an interactive video casting system
US20090006208A1 (en) * 2007-06-26 2009-01-01 Ranjit Singh Grewal Display of Video with Tagged Advertising
US7827186B2 (en) * 2007-09-28 2010-11-02 Amazon Technologies, Inc. Duplicate item detection system and method
WO2009101623A2 (en) * 2008-02-13 2009-08-20 Innovid Inc. Inserting interactive objects into video content
US20110063522A1 (en) * 2009-09-14 2011-03-17 Jeyhan Karaoguz System and method for generating television screen pointing information using an external receiver
US9014546B2 (en) * 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US9955206B2 (en) * 2009-11-13 2018-04-24 The Relay Group Company Video synchronized merchandising systems and methods
US8288533B1 (en) * 2010-09-23 2012-10-16 Henkel Corporation Methods for preparing benzoxazines using aqueous solvent
WO2012118976A2 (en) * 2011-03-01 2012-09-07 Ebay Inc Methods and systems of providing a supplemental experience based on concurrently viewed content
US20130254041A1 (en) * 2012-03-23 2013-09-26 Jeffrey Sherwin Method for delivering fair advertising inventory splits given position preferences
US10051329B2 (en) * 2012-12-10 2018-08-14 DISH Technologies L.L.C. Apparatus, systems, and methods for selecting and presenting information about program content
US9769539B2 (en) * 2013-09-03 2017-09-19 International Business Machines Corporation Consumer-configurable alternative advertising reception with incentives
US9113193B1 (en) * 2014-07-15 2015-08-18 Cisco Technology Inc. Video content item timeline
US10185467B2 (en) * 2014-08-28 2019-01-22 Nagravision S.A. Intelligent content queuing from a secondary device
US9288533B1 (en) * 2014-10-07 2016-03-15 At&T Intellectual Property I, Lp System and method for delivering interactive trigger events
US10110933B2 (en) * 2015-09-01 2018-10-23 International Business Machines Corporation Video file processing
US20170228785A1 (en) * 2016-02-04 2017-08-10 FANTEQ Corp. Method and System That Manages Geo-Fence Objects Using Automated Auctioning
CN106210808B (zh) * 2016-08-08 2019-04-16 腾讯科技（深圳）有限公司 媒体信息投放方法、终端、服务器及***
US10430662B2 (en) * 2016-09-21 2019-10-01 GumGum, Inc. Training machine learning models to detect objects in video data
US10070173B2 (en) * 2016-12-22 2018-09-04 Arris Enterprises Llc Video encoder customization through use of crowdsourcing and program metadata

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001091474A2 (en) * 2000-05-19 2001-11-29 Intel Corporation Dynamically controlling video and data transmissions
US20100057813A1 (en) * 2000-11-10 2010-03-04 Keiko Abe Program ancillary data processing device, server device, program information displaying method, and recording medium
US20150189347A1 (en) * 2013-12-31 2015-07-02 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content

Also Published As

Publication number Publication date
US20220360866A1 (en) 2022-11-10
KR102585576B1 (ko) 2023-10-10
AU2018331432A1 (en) 2020-04-23
KR20200071731A (ko) 2020-06-19
WO2019055713A1 (en) 2019-03-21
US20190082234A1 (en) 2019-03-14
EP3682405A1 (en) 2020-07-22
US11375290B2 (en) 2022-06-28
CA3080472A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
AU2022275520B2 (en) Methods and Systems for Determining a Video Player Playback Position
US20160063615A1 (en) Marketing Products in Dynamic Content
CN106233734A (zh) 将直播流作为广告供应
CN106101846A (zh) 一种信息处理方法及装置、终端
CA3020176C (en) Media environment driven content distribution platform
CN111771385B (zh) 作为辅助数据的坐标
US20220360866A1 (en) Product suggestion and rules engine driven off of ancillary data
KR20160027486A (ko) 광고 제공 장치, 광고 표시 장치, 광고 제공 방법, 및 광고 표시 방법
US20090132326A1 (en) Integrating ads with media
KR20130088662A (ko) 디지털 미디어 콘텐트를 통한 부가 정보 제공 장치, 방법 및 시스템
US20210211753A1 (en) Media environment driven content distribution platform
AU2017200755B2 (en) User commentary systems and methods
US20230276109A1 (en) Curating non-fungible token collections in relation to audiovisual content
KR101578080B1 (ko) 영상에서의 멀티 객체 정보 저작 방법
TW201330600A (zh) 影片及影像資訊嵌入科技系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination