CN101107858A - 自动产生包括产品安置的预告片 - Google Patents

Abstract

本发明涉及一种用于自动产生预告片的方法和计算机***。更具体的，其涉及一种用于从内容数据的提供者产生收益的方法。该方法大体上包括从数据超集中找到产品安置数据的步骤。当这些产品安置已经被找到，优选将其与用户简档匹配，并且超集的包括这些具有正匹配的产品安置的片段被选择并且被合并为一个数据子集。一个计数器被用于保持追踪哪个产品安置被选择以及一个产品安置被选择和观看了多少次。基于计数器的值，创建一个***。

Description

自动产生包括产品安置的预告片

本发明大体涉及一种用于自动创建包括产品安置(productplacement)的预告片(trailer)的方法和计算机***。更具体的，涉及一种用于由内容数据的提供者产生收益的方法。

利用电视来宣传产品已经流行了很多年了。但是利用电影、电视节目以及类似的渠道来提供营销的公司还存在以下的问题，即观众看不到产品的安置。主要的原因是，很多人把广告片看作做三明治或者去洗澡时的休息时间。

营销的人提出了一个使得观众不离开房间在电影中宣传产品的想法。该想法通过让电影或者电视节目中的演员来使用产品从而使得观众可以将他们当作电影中很自然的一部分来观看，以便于宣传该产品。

但是近期在广播技术上的改进和发展，尤其是网络TV和付费电视变得逐渐流行，将产品的安置的提供者置身于更为困难的境地。目前，观众有大量的电影可看并且可能最后会看得越来越少，因为观看电影的时间减少了(以前，可选择的太少因此每个人都看周末夜场电影)。

采用这些新技术，观众具有更多的控制以及能够从各种提供的产品种获得和选择他们所希望的。

用户的这些能力导致了对产品安置的提供者的关注的降低。因此产品安置的提供者在这些销售渠道上的投资的的收益或多或少的浪费了。

一种解决这一问题的方法对于拥有和管理这些营销媒体的公司是非常有益的，因为他们可以给产品安置提供者提供更好的服务。此外，对于产品服务提供者来说也是非常有益的，因为产品的安置将会更多地呈现给观众。因此产品安置的提供者将会体验到更高的“性价比(bang forthe bucks)”。

一个可以被更好地利用的区域是预告片。当前，存在一种自动方法，其用于产生记录在家庭媒体服务器上的电影的预告片，例如TiVo或者类似的。此外，视频和音频指纹以及匹配都是已知技术。

但是，现有技术中都没有给出一种解决方法在不编辑电影或者TV节目的情况下确保产品安置的陈列时间。

本发明的一个目的是提供一种方法和***，用于增加通过给观众/用户显示一个包括产品安置的电影或者节目的预告片产生的额外收入。

本发明的一个优点是提供了一种方法和***，用于从数据的超集创建为特定用户设计的数据子集。

本发明的另一个优点是提供了一种电子设备，用于从数据的超集创建包括产品安置的数据子集。

根据本发明的第一方面，通过提供一种用于从数据超集来创建包括数据片段的数据子集的方法来实现上述目的和优点，该超集包括：

-内容数据，和

-被元数据标记的内容数据。

该方法包括步骤：

-基于该元数据，检测超集中的至少包括被标记的内容数据的数据片段，

-根据至少一个用户简档选择一个或者多个数据片段，

-将该一个或者多个数据片段组合从而形成数据子集。

在本发明的第二方面，通过一种用于从数据超集创建一个包括数据片段的数据子集的计算机***来实现上述或者其他目的，该超集包括内容数据和标记的内容书记，该计算机***包括：

-一个包括一个存储器的电子设备，

-一个包括至少一个数据超集的数据库，

-一个计算机网络，以及

-至少一个网络连接，

其中该电子设备被编程为：

-通过网络连接请求存储在数据库中的超集的数据片段，

-根据存储在存储器中的用户简档，选择至少一个包括标记的内容数据的数据片段，以及

组合该至少一个数据片段从而形成一个数据子集。

在本发明的第三方面，通过一个电子设备来实现上述或者其他目标，其包括至少一个处理器，至少一个包括一个或者多个用户简档的存储器，至少一个输出端，以及至少一个用于接收和/或者发送数据的连接，该电子设备被编程用于：

-通过用于接收数据的连接来请求包括数据片段的数据，该数据片段进一步包括标记的内容数据，

-根据用户简档选择至少一个数据片段，

-组合至少一个选择的数据片段从而形成数据子集，并且将数据子集提供给输出端。

因此，本发明允许在任何种类的电子设备上从数据超集创建一个数据子集并且在任何种类的显示器上显示该数据子集。因此，本发明提供了用于例如在机顶盒或者移动电话之类上从电影创建预告片的装置。

利用本发明，可以从数据超集中选择出包括产品安置的数据片段，以便于安全地给用户/观众显示产品安置数据并且因此给产品安置数据的提供者提供更好的服务。由于会将产品安置呈现给观众，产品安置提供者将会体会到产品或者服务的购买的增加。因此，提供这一服务的广播公司帮助产品安置的提供者以更为有效的方式促销了他们的产品/服务并且因此能够开***给产品安置的提供者。

超集不仅仅包括涉及电影的内容。子集的创建可以是基于不同种类的数据超集的，因此在超集中的内容数据可以涉及下面任何一种数字/模拟媒体：

-电影，

-游戏，

-电视，

-广播，

-英特网。

因此，内容数据可以包括各种不同的数据，例如MP3，MPEG-1，MPEG-2，QuickTime，MPV等等。

当创建***时可以使用的计数器的值优选与关于标记的内容的数据的时间总量相关。

在第二实施例中，计数器的值可以涉及标记的内容数据已经被选择的总次数。

此外，可以使用这些值的组合来创建一个***给内容提供者。

为了设计一个数据的子集以便于其适合于一个特定的用户/观众，可以使用一个包括关于该用户的数据的用户简档，优选地该用户简档至少包括下面关于用户的数据之一：

-性别，

-年龄，

-习惯，

-地区，

-时间，

-内容提供者，以及

-广播设置(默认设置)

-个性特点(例如，性格内向的人，性格外向的人等等)。

优选地，标记的内容数据是产品安置数据。该产品安置被标记以便于其能够被分类，将其与用户简档相比较以便于能在数据超集中找到他。

因此，通过分类产品安置数据，能够将产品安置数据与观众，地区，观众或者地区的文化，观众的语言等等相匹配。

此外，在第二实施例中，数据的超集还包括非节目数据例如商业广告等等。在这些情况下，该用于创建一个子集的方法优选地包括下面的步骤：

-检测非节目数据，以及

-当认为检测到的非节目数据时，估算检测到的数据片段在超集中的开始和结束时间，以及

-基于估算的开始和结束时间，将选择的数据片段组合从而形成数据子集。

如果该方法中使用指纹元数据来发现数据片段，则该指纹元数据可以被存储在一个独立的数据库中。以这种方式，该指纹元数据可以被在线访问，并且被用于创建数据子集。

在另一个实施例中，指纹元数据可以是超集的一部分，使得其可以与超集一起发送。

在又另一个实施例中，指纹元数据作为一个独立的文件与数据超集一起发送。

如果当使用指纹元数据时，该指纹数据优选地包括：

-音频指纹数据，

-视频指纹数据，和

-文本指纹数据，

-并且用于创建一个子集的方法可以进一步包括步骤：

-文本指纹匹配，和

-音频指纹匹配，和

-视觉指纹匹配。

如在本发明的第一方面中描述的用于从提供者产生收益的方法可以与任何根据本发明的其他方面的用于创建一个数据子集的方法相结合。

该电子设备可以进一步被编程用于从存储在数据载体上的数据文件中选择片段，该数据载体例如是软盘，CD，DVD，记忆棒，***，移动电话，PDA等等。

此外，根据另一个实施例，在此描述的方法可以进一步包括根据至少一个(多个)预告片要求选择数据片段的步骤，从而建立一个包括数据片段的子集，其以一种易于理解的方式描述了一个电影或者节目。

优选地，该(多个)预告片要求包括至少一个来自于下面类型中的一个要求：

-持续时间，

-连续性，

-优先级，

-冗余，

-排除，

-结构顺序要求，

-时间顺序要求和

-产品安置

其中的要求被优选地以可计算的约束的形式出现使得他们可以被应用于例如约束最优化问题。

可以意识到本发明的特点在不超出本发明的范围的情况下，可以很容易地在各种组合中结合。

本发明的这些和其他方面将会通过参考此后描述的实施例来阐述从而变得更为清楚。

下面将会通过参考后面的附图，仅通过举例来描述本发明的实施例，其中：

图1示出了一个包括内容数据和标记的内容数据的数据的超集的示意图，其中超集的一些片段被合并为数据子集。

图2示出了一个连同本发明一起使用的***的实施例的示意图。

图3是图2中***的示意图，其中示出了该电子设备中的一些内部模块。

附图被优选地草拟以便于理解本发明。因此其他的以相同的示意性草拟方式的设计在本文中同样被隐含地公开。

在这一部分中，将会结合一些例子来解释本发明的优选实施例。

在本申请中，使用了一些特定的术语，下面对其进行描述。

-广播公司可以是任何能够通过例如TV，广播，互联网等任何媒体给用户提供信息的公司。

-内容提供者优选地涉及企业单位，其想要推销/出售其产品和/或者服务。例如内容提供者可以是耐克，或者可口可乐，BMW，劳力士等等。

-产品安置数据包括涉及可以被显示的产品或者服务的数据。例如电影中的一个示出了一双耐克鞋的场景。

-数据集优选地涉及具有共同主题的数据的有组织的集合。

-子集可以是一个包括在另一个集合中的集合，该另一个集合被称作超集。

-超集优选具有子集的所有特性以及其他特性。

内容数据是任何可以显示/播放给观众的数据，例如声音，电影，文本，图片，3D文字，虚拟现实环境，音乐或者其他交互式内容，其中使用了产品安置数据。

如前面所述的，本发明涉及一种用于从内容数据提供者产生收益的方法和***。

这些提供者想要在电影中促销一个或者更多的他们的产品，因此他们想要演员在电影中使用他们的产品，例如汽车，手表，或者鞋。此外，他们想要演员在电影中吃或者喝他们的产品。

根据本发明的数据超集可以包括电影，计算机游戏，电视节目，广播节目，互联网演讲，交互式flash再现等等。

在上面任何一个例子中，都会放置产品的安置从而向观众/用户推销产品或者服务。

但是，在一些情况下，产品的安置并不是为了个人需要的目的，产品的安置是为了机构的需要并且因此产品的安置可以被集成到用于教育机构中的人们等等的教学片中。

图1示出了一个如何根据数据超集1创建一个数据子集6的示意图。该数据超集包括内容数据5和标记的内容数据4。该标记可以包括元数据2。元数据2可以存在于一个完整的超集持续时间而不仅如附图所示。在优选实施例中，根据片段来创建子集，其中的元数据指示商业广告安置，例如产品的安置等等。

优选地，标记描述了内容数据所包括的信息。这使得软件程序或者用户寻找数据超集中的特定片段变为可能。

内容数据的标记优选地通过一个或者多个例如观看电影或者游戏并且发现产品安置的位置的人来手动完成。在该位置，他/她创建一个标记，其可以包括信息例如：什么产品，产品质量，颜色，产品用途范围，提供者是谁，该产品适合于何种用户，专业的还是个人的，性格外向的而不是性格内向的等等。

同样，该产品的广告客户可以包括一个投标关于他们对特定类型的用户感兴趣的程度以及是否所有的片段都包括或者某个百分比(例如产品出现50％一共需要X美元，相对应的，包括出现70％则需要一共X+Y美元)。

此外，内容数据的标记可以通过运行识别软件来放映例如电影中的每一个图片并且使用图像识别来发现产品的商标或者特定形状等等来自动实现。

数据超集1可以是表示电影，电视节目，计算机游戏，广播节目，或者任何其他种类的可以被数据集表示的媒体的数据。

优选地，该数据超集包括产品安置数据部分(A，B，C，D)这些部分优选地是标记内容数据4。部分A，B，C和D可以涉及不同类型的产品，例如A部分涉及耐克鞋，B部分涉及例如吉普的汽车类型，C部分涉及薯片而D部分涉及TagHeur的手表类型。

当创建了一个数据子集时，例如从一个电影创建一个预告片时，从电影中选出片段3以便在该预告片中表示该电影，优选地根据用户简档来选择片段3.

根据用户简档来选择的片段3至少包括标记的内容数据4，标记2可以包括描述内容数据4和/或者描述内容数据适合于何种类型的用户/观众的元数据。在这种方式中，包括产品安置的标记的内容数据4可以与用户简档匹配。

但是，选择的数据片段3优选地包括比标记的内容数据多的数据。因此，一分钟长的预告片可以包括10秒钟的产品安置，剩下50秒包括内容数据的其它部分。

因此，从超集1中选择的片段3可以包括标记的内容数据4以及“未标记的”内容数据5和/或者该片段可以只包括标记的内容数据或者只包括“未标记”的内容数据。

如前所述，超集的全部长度被元数据标记，上面的表述“未标记”涉及超集中没有被包括产品安置标记的元数据标记的部分。

在选择的片段3中标记的内容数据可能是在片断的开始，片段的中间或者是片段结尾。因此，如何从超集1中提取片段3可以基于标记的内容数据4附近的内容数据5中包括什么。

因此，数据超集进一步被标记或者做记号使得一个节目能够被发现将要被选择的片段的边界9和10。

在一个实施例中，该边界通过创建一个包括描述在超集中该片段位于哪里的元数据的外部文件来定位。这可以通过从超集的开始7，或者从超集的结束8开始记录一个片段的开始9的起始时间以及片段3的结束10的结束时间来实现。

如果在超集中包括了其他的信息例如商业广告，开始和结束时间优选地由时间上的差或者改变来补偿。该信息也可以位于外部文件中。

在另一个实施例中，描述位置，片断的开始和结束时间的元数据作为一个元数据11包括在数据超集1中。

包括一个电影的超集的例子

在这种情况下，该超集包括所有与该电影相关的数据，例如声音，图片，语音，元数据等等。

该超集的一个子集可以仅仅包括从电影中选择的图片和声音的片断。

包括一个flash再现的超集

另一个例子是一个超集包括有一个交互式flash再现。

在这种情况下，该超集包括所有与该再现有关的数据，例如声音，电影，文本，图片，PowerPoint再现，照片，问卷等等。

因此，一个子集可以仅仅包括一些最感兴趣的PowerPoint，以及来自flash再现的一些声音，其中出现了产品安置。

包括游戏的超集

在又一个例子中，超集可以包括一个互联网世界/社区或者游戏，其中人们可以在3D计算机世界中以一个角色来遨游，其中可以像在真实世界中一样买卖产品，例如海报，声音等等。

因此，如果广播公司(在这种情况下，广播公司管理一个互联网世界)期望产生一个关于互联网世界/社区或者游戏的商业广告/预告片，该提供者可以从这一互联网世界/社区或者游戏中选择包括产品安置的图片或者电影，并且以这种方式为内容提供者推销产品/服务，其在这一世界/游戏中具有产品安置。

图2示出了一个可以与本发明一起使用的***的实施例。该***优选地包括一个电子设备12，例如一个机顶盒，诸如电视之类的显示器13，互联网或者计算机网络14以及用于存储诸如例如电影，游戏，节目等等之类数据超集的在线数据库15。

在另一个实施例中，该电子设备是一个移动设备，例如PDA，移动电话等等。优选地该移动设备能够播放多媒体，例如电影、音乐和声音等等。

该电子设备可以通过互联网14发送一个请求以便于从在线数据库中检索一个超集(电影)，该请求优选地基于用户的输入被触发。其后该超集被检索/下载并且可以被存储在电子设备的存储器中。

根据检索/下载的超集，该电子设备可以创建一个包括来自存储在存储器中的超集的片断的子集(预告片)。

在另一个实施例中，发送的请求可以包括用户简档并且可以在一个电子网络设备中创建该子集，例如在一个包括数据库的服务器中。

显示器13可以是任何种类的显示器，例如移动电话上的显示器，电视，计算机监视器，投影仪等等。

图3示出了电子设备12中的一些内部软件和硬件模块。优选地，该电子设备包括一个计数器17，一个子集创建器模块18，以及一个包括用户简档19的存储器20。

为了用于广播公司以便保持追踪已经选择了多少产品安置以及该产品安置被示出了多长时间，可以使用一个或者多个计数器。

因此，计数器17可以被用于对一个特定的产品安置显示给用户16的次数进行计数。

计数器的值与关于标记的内容数据的总时间有关，或者与标记内容数据已经被选择的总次数有关。

因此，该计数器或者保持追踪一个产品安置已经被示出或者选择的次数，或者该计数器保持追踪一个产品安置的广播时间。

为每一个提供者建立一个或者多个计数器从而保持追踪与该提供者有关的产品安置。

优选地，该计数器可以被安装在该电子设备中，例如在一个机顶盒中，移动电话中，PDA中，DVD播放器等等中。

涉及一个特定产品安置的计数器的值可以被存储在电子设备的存储器20中并且从该存储器中检索并以预定的时间间隔或者根据一个特定的事件(例如当电子设备连接到互联网，或者用户积极地登陆到互联网时)发送给一个在线***数据库21。

该预定的时间间隔可以是每天一次，每周一次，每月一次，或者每6个小时、12个小时或者一个特定的日期一次等等。

该子集创建器优选地是一个用于从数据超集创建数据子集的软件模块。例如，该创建器可以如下所述从一个电影创建一个预告片。

预告片产生

预告片的一个主要目的是向观众传达原始标准长度电影、体育节目、谈话节目、游戏等等的精华。因此，为了一个让观众能够理解该预告片，这一处理优选地服从于多个预告片要求。

预告片的产生涉及选择原始节目的给定持续时间的片断的最佳子集的问题，其满足特定的预告片要求列表。

至少有两种方案可以用于创建预告片：机器学习方案和知识显式方案(knowledge explicit approach)。在机器学习方案中，一个统计分类器通过正和负样本来训练，被人们选择，并且目的在于以这种方式概括该样本的通用基本特性，即该分类器学会分辨“好”预览和“坏”预览。该方案具有如下优点，对于所有的视频和预告片的类型是通用和潜在可重用的。

在知识显式方案中，设计者优选地将要求和约束嵌入到关于如何产生预告片的算法中。该算法驱动用于发现原始节目的最佳子集以及预告片的合成的搜索。

为了允许一个快速且便捷的内容选择，该预告片应当优选地满足至少三十个已经被收集并且被分组到八个类别的要求。

但是，也可以使用较少的要求，例如在1-5，5-10，10-20或者20-30之间。其完全取决于想要达到的预告片的质量。

该八个类别是：

-持续时间要求涉及预告片及其子部分(子集)的持续时间。每一个为预览选择的片段可以具有用于根据其类型，复杂度，以及根据其传递的信息来理解所需要的最小时间。

-连续性要求需要预告片尽可能的连续从而避免观众感受到突然的“跳跃”。

-优先级要求指示哪些内容应当包括在预告片中从而在最少的时间内传递尽可能多的关于节目的信息。例如包括对主要演员的特写镜头以及动作片段和给出故事线索的对话。

-唯一性要求，目的在于通过最小化冗余来最大化预告片的效率。

-排除要求指示哪些内容不应当包括在预告片中。例如，一个预告片不应当包括电影或者节目如何结束等等。

-结构要求规定关注视频的结构特性的规则。例如，为了提供一个好的综述，该视频预览应当均匀覆盖全部节目并且模拟其最初基调和进展速度。

-时间顺序要求涉及包括在预告片中的序列的时间顺序。在该类别中，用户已经指定了不一致的要求。保持原始的顺序当然有助于用户理解通过预览给出的一些线索的故事线条。另一方面，如果用户想要在以后观看整个内容，改变顺序阻止展现过多的故事线条。

-产品安置要求涉及在电影或者节目中的是何种类型的产品和/或者服务。此外，其还可以包括要求例如：产品质量，颜色，产品使用环境，谁是提供者，该产品适合于哪一种/年龄/类型用户，专业的和个人的，外向的而不是内向的等等。

优选地，这些要求以可计算的约束的形式形成，从而被用于从可允许用于预告片的原始节目中选择片段的子集。同时，为了创建一个好的预告片，必须比较可允许的片断的集合来选择“最佳”集合，重要性分数。该比较可以基于一个函数，其在数字上估算预告片的数值。给定约束的计算模型以及重要性分数函数最大化，自动产生视频预览的问题是一个约束的最优化问题以及其解决方法可以通过已知方来来获得，例如通过约束逻辑编程、本地搜索技术。

通过遵循这些预告片要求，可以确保创建的预告片将会向观众传递原始标准长度电影的精华等等，以使得观众可以理解/获得关于标准长度电影的内容的线索。

因此，产生包括产品安置的预告片可以分为两步来进行，也就是说，在第一步中根据预告片要求来选择片段而在第二步中根据用户简档来选择片段。这两步被相互整合并且因此相互辨别不出。

因此，在另一个实施例中，创建一个预告片的处理进一步包括根据预告片要求创建一个预告片的步骤。

因此，在该实施例中，在满足用于预告片产生的预告片要求的同时，元数据可以与用户简档匹配。如果预告片要求没有被满足，James Bond电影的预告片中仅仅具有一个BMW汽车，并且该预告片不能够传达该电影的精华。

因此，用于产生加预告片商业广告的附加约束将会被优选地添加到应用于预告片的片段选择的权重。

例如，给定一个具有几乎相等优先级的片段的列表，在他们中具有满足商业要求(符合一个用户简档和/或者产品提供者的最高出价)的产品安置的一些被添加给并且合并到一个预告片中。

约束和模型的创建

下面是如何创建一个预告片的例子，其中所列出的要求被映射为目标函数的一部分或者预告片优选应当满足的约束。

在形式化自动预告片产生的问题中，原始节目可以被看作为一个连续视频片段的有限序列，其具有同步的音频和字幕V＝v₁...v_M，其中v_i是原始节目中的第i个视频片段。M取决于原始节目持续时间以及实际片段。期望的预告片可以被表示作为连续位置的有限序列，该位置可以被任何属于原始节目的视频片段占据：S＝s₁...s_M，其中的s_j是在预告片中第j个位置。N取决于预告片的持续时间，其通过用户被固定为某个数量D： ${\mathrm{\Σ}}_{j=1}^N\mathrm{durations}\left(s_j\right)\≤D.$ 每一个视频片段的持续时间都不应当小于一个特定的最小数量，以便在其原始上下文之外能够被理解，并且，同时其不应当比一个特定最大值长以便于不会泄漏过多的关于故事的细节。这可以通过要求d_min≤durations(s_j)≤d_max来公式化。

该目标函数(其绝对最大值指示最佳预告片)具有以下构成：

eval(S)＝α*π(S)-β*ρ(S)+γ*η(S)+δ*ω(S)    (1)

在(1)中，优先级要求在π(s)中考虑，其被定义为：

$\mathrm{\π}\left(S\right)={\mathrm{\Σ}}_{j=1}^N\mathrm{\π}\left(s_j\right)---\left(2\right)$

其中π(s_j)是片段s_j的优先级分数并且如下定义：

π(s_j)＝w*A(s_j)    (3)

其中w优先地是一个加权因子的矢量并且A(s_j)是一个与片段s_j相关联的在范围[0....1]内的属性的列向量。这些属性可以通过应用多个低级和中级内容分析算法来计算，例如对比度计算，音频音量，动作检测，面部，对话，音乐/语音/噪声/安静，以及照相机运动。各种属性的相对重要性被利用加权因子w线性地调整。

在等式(1)中的术语ρ(S)估算预告片的冗余程度，其在这个例子中具有负号，意味着其激励唯一性以及处罚冗余。其被定义为视觉和文本冗余的线性结合：

$\mathrm{\ρ}\left(S\right)={\mathrm{\β}}_1*{\mathrm{\Σ}}_{i=1}^{N-1}{\mathrm{\Σ}}_{j=i+1}^N{\mathrm{\σ}}_v(s_i,s_j)+{\mathrm{\β}}_2*{\mathrm{\Σ}}_{i=1}^{N-1}{\mathrm{\Σ}}_{j=i+1}^N\mathrm{\σ}(s_i,s_j)---\left(4\right)$

其中σ_t(s_i s_j)表示片段s_i和s_j的视觉相似性并且基于自动地提取的视觉特征计算。通过从接近字幕或者语音抄本中提取关键词，ρ(s)，并且通过对他们在预告片片段中重复的次数进行计数来测量文本冗余：

σ_i(s_i，s_j)＝|K(s_i)∩K(s_j)|    (5)

连续性要求可以通过认定该镜头为一个构成节目的基本片段来考虑。该镜头边界可通过进行镜头剪切检测来发现。此外，句子应该被完全包括并且不能突然剪切，同时字幕应当显示充足的时间以便阅读。如果将同步的音频流A表示为A＝a₁...a_Q(a是第j个音频片段而Q是音频片段的数量)，该同步的字幕C表示为C＝c₁...c_R(c_k是第k个字幕并且R是字幕的总数)，并且我们分别用b_s，e_s以及Δ_s指示视频，音频或者字幕片段s的起始时间，结束时间和时间跨度，包括完整的音频片段的连续性要求可以通过下面的约束来公式化(这一例子适用于字幕)：

s∈S(a：e_a∈Δ_s，b_a∈Δ_s)∧(a：b_a∈Δ_s，e_a∈Δ_s)    (6)

整个节目的统一覆盖范围的结构要求通过考虑将该节目分段为L个不同的场景(U_j，j＝[1...L])并且最大化等式(1)中的η(S)来满足，η(S)是属于每一个场景的选择的片段的相对持续时间的产品：

$\mathrm{\η}\left(S\right)=\sqrt[L]{\underset{j=1}{\overset{L}{\mathrm{\Σ}}}\frac{{\mathrm{\Σ}}_{s\∈U_1}\mathrm{duration}\left(s\right)}{\mathrm{duratio}\left(U_j\right)}}---\left(7\right)$

场景边界可以利用时间约束群集(cluster)过程来计算。

不同于原始顺序的时间顺序要求在等式(1)中的项ω(S)中考虑。例如为了产生一个具有最后的所有动作片段的预告片，ω(S)可以如下定义：

$\mathrm{\ω}\left(S\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}i*\mathrm{action}\left(s_i\right)---\left(8\right)$

其中动作(s_i)指示片段s_i被分类为动作片段。原始顺序约束在优化期间通过保持视频片段按年代排序被隐含地解决了。

而在等式(1)中的权重α，β，γ和δ允许通过改变不同类型要求对目标函数值的相对影响来个人化预览的产生。

实现

预告片的产生可以被分为四个主要步骤

-音频和视频特征提取。

-音频和视频分段和分类

-片段选择。

-预览合成

音频和视频特征提取

可以应用多种算法到音频和视频信号来提取接下来的步骤所需要的特征并且用于在规范化整个视频后根据等式(3)计算优先级分数。视频特征包括诸如对比度，颜色分布，运动行为之类的低级属性以及诸如面部位置和大小、照相机运动等等之类中间属性。

音频特征可以包括RMS值、光谱矩心、带宽、零交错率、MFCC等等。

音频和视频分段和分类

这个步骤可以分为五个子步骤：

-镜头分段和群集：可以应用一个标准的镜头剪切检测算法来将视频流分为连续镜头。时间约束群集然后被用于将视觉上一致的时间上相差不远的镜头归组在一起。

-音频分类：同步的音频流被分类为连贯的音频分类，例如沉默的，语音，音乐，噪声等等。

-微分段(micro-segmentation)：在镜头分段之后超过最大持续时间的片段进一步分为具有持续时间大于d_min并且具有可能与基于内容的线索对齐的边界的子片段，例如：音频分类的改变，检测到的面部的出现或者消失，照相机运动或者目标运动的改变。该微分段步骤可以被容易地被公式化成为一个整数线性编程问题，并且由诸如单工方法之类的标准方法解决。

-片段补偿：违反约束(6)的连续片段被合并直到满足连续性要求而没有违反最大片段持续时间d_max。当这不可能时，音频分类器导致的分段被当作主要的一个而不是基于镜头的一个来使用。

-预先滤波：可以在整个视频上执行商业广告检测并且检测的商业广告可以被从可用于产生预告片的片段中丢弃。但是，这一商业广告检测不同于产品安置检测，由于产品安置优选地存在于创建的预告片中。

片段选择

优选地，片段选择步骤包括用于搜索在可能的所有预览的空间中最大化目标函数(1)的片段最佳集合的步骤。所有可能的预览的空间可以通过使用局部搜索方法来探索，例如模拟退火或者一般算法，因为优选地，在这一点上，每一个要求或者约束在先前的步骤中被解决或者被映射到目标函数(1)中的优先级或者处罚分数项。

预览合成

通过将选择的片段融合为一个连续的音视频流，这一步骤优选地由预览的真实合成构成，这一音视频流被可以称为从数据超集中提取出的第二等级超集。

可以利用分解效果来平滑在片段之间的突然的音频和视频的转变。

因此，在一个实施例中，子集创建器可以扫描数据超集并且读取包括关于数据超集的内容的元数据的标记。此后，该创建器将标记中的元数据与至少一个存储在存储器20中的用户简档19的数据匹配。该创建器基于该匹配来选择超集的片段并且将选择的片段组合为一个数据子集。该数据子集此后可以被存储在存储器中用于以后的检索或者优选地该子集被播放/显示在显示器13上。

在另一个实施例中，子集创建器扫描数据超集并且读取包括元数据的标记并且将元数据中得到的信息与上述预告片要求进行比较，从而选择表示数据超集的片段。

随后，预告片创建器可以创建在选择的片段之间的关系，使得根据预告片要求的所有可能的组合被记录并且临时存储或者存储在一个文件中已被以后使用。此外该片段可以被给定了优先级使得他们可以被分类和归组。

该预告片创建器可以创建一个第二等级的数据超集，其中的第二等级超集包括根据预告片要求选择的片段。例如，最大化目标函数(1)的片段集合。

由于一个目标函数可能具有很多解，该片段可以根据预告片要求以多种方式组合，因此可以有很多中第二等级超集来应用。

但是，这些第二等级超集可以被根据重要性分数来加权，并且仅有很少一部分具有在预定阈值之上的分数的被选择。该重要性分数可以是目标函数(1)的值。

预告片创建器根据这些第二等级超集，将标记中的元数据与来自存储器20中的至少一个用户简档19的数据匹配，并且根据该匹配最合适的片断组合被选择并且组合为一个数据子集。该数据子集此后可以被存储在存储器中以备以后检索或者优选地该子集被播放/显示在显示器13上。

此外，根据本发明的第三实施例，子集创建器可以扫描数据超集并且读取包括元数据的标记并且将从元数据中获得信息与上述预告片要求相比较。

在该实施例中，可以将用户简档同时认为是预告片要求并且因此变成限制和被包括作为目标函数(1)的一部分。

该存储器20优选地包括一个或者多个用户简档19。该用户简档可以被用于选择数据超集的片段使得最适合的片段被选择用于与该用户简档相关的用户。为了创建用户简档，该***需要从用户16接收一些输入。

因此，一个用于创建关于电子设备的用户简档的建立页面被与本发明一起使用。例如，当设备12被首次使用，用户16被要求输入可以被用于创建用户简档的信息。如果用户选择不输入任何信息，就会采用缺省值，并且用户可以在随后的时间访问该建立页面以输入信息。

当该设备连接到互联网时，一些缺省值可以被自动地改变，因为该设备优选地包括一个IP地址，其可以在互联网上被追踪。以这种方式，诸如地理位置的信息可以被输入到用户简档。

如上所述，用户简档可以被存储在电子设备12(机顶盒，CD，DVD，游戏机)的存储器20中，其优选地位于用户16的位置。但是该用户简档还可以存储在一个在线数据库中使得且可以通过互联网被访问。

在一个替代实施例中，用户简档19可以通过发送一个SMS，电子邮件或者其他任何电子消息给***来更新，该***包括一个能够从该消息中提取信息并且将该信息存储到用户简档中的软件模块。该用户简档可以被存储在一个在线数据库或者一个连接到互联网的并且位于用户的位置的电子设备的存储器中。

此外，在一个替代实施例中，用户可以访问包括一个表单(form)的网页，其中他/她可以输入用于用户简档的信息。该表单可以作为一个电子消息被发送并且存储在在线数据库或者连接到互联网并且位于用户的位置的电子设备的存储器中。

根据本发明优选实施例，选择的片段包括产品安置数据。

此外，可以根据用户简档来选择数据超集中的数据片段，因为产品安置可以涉及到特定的用户片段，从数据超集创建数据子集优选基于与将会观看该数据子集的用户相关的输入。

此外，产品安置的提供者将会被确保，即使观众决定不看电影，观众还是会在已经产生的预告片中观看他们的产品。

在上面的描述中的术语“包括”不排除其他的元件和步骤而“一”或者“一个”不排除多个。

此外，术语“包括”和“包含”不排除其他元件和步骤。

总的来说，本发明涉及以下。

本发明涉及一种用于自动产生预告片的方法和计算机***。更具体的，其涉及一种用于从内容数据的提供者产生收益的方法。该方法大体上包括从数据超集中找到产品安置数据的步骤。当这些产品安置已经被找到，优选地将它们与用户简档匹配，并且该超集的包括这些具有正匹配的产品安置的片段被选择并且被合并为一个数据子集。一个计数器被用于保持追踪哪个产品安置被选择以及一个产品安置被选择和观看了多少次。基于计数器的数值，创建一个***。

Claims (16)

1.一种用于从数据超集来创建包括数据片段的数据子集的方法，该超集包括：

-内容数据，和

-被元数据标记的内容数据。

该方法包括步骤：

-基于该元数据，检测该超集中至少包括被标记的内容数据的数据片段，

-根据至少一个用户简档选择一个或者多个数据片段，

-将该一个或者多个数据片段组合从而形成一个数据子集。

2.一种用于在数据超集中从内容数据的提供者产生收益的方法，包括如权利要求1中所述的方法并且进一步包括：

-对于在一个或者多个选择的数据片段中的每个标记的内容数据，增加与该标记的内容数据相关的计数器的值，以及

-给用户显示数据子集，

-将计数器的值存储到存储器中用于以后检索，

其中，存储在存储器中的值被用于产生***给产品安置的提供者。

3.如权利要求1的方法，其中，所述内容数据可以涉及下面任何一种媒体：

-电影，

-游戏，

-电视，

-广播，

-英特网。

4.如权利要求1的方法，其中，所述计数器的值与关于标记的内容数据的时间总量相关，和/或该值与标记的内容数据已经被选择的总次数相关。

5.如权利要求1方法，其中，所述用户简档包括以下数据中的至少一项：

-性别，

-年龄，

-习惯，

-地区，

-时间，

-内容提供者，

-广播设置，以及

-个性特点。

6.如权利要求1的方法，其中，所述标记的内容数据是产品安置数据。

7.如权利要求1的用于从数据超集来创建包括数据片段的数据子集的方法，其中该方法进一步包括步骤：

-记录超集中检测到的数据片段的开始和结束时间，

-基于用户简档，选择检测的数据片段中的一个或者多个，以及

-基于开始和结束时间，组合一个或者多个选择的数据片段从而形成数据子集。

8.如权利要求7的方法，其中，所述数据超集进一步包括非节目数据并且其中该方法进一步包括步骤：

-检测非节目数据，以及

-当考虑检测到的非节目数据时，估算超集中检测到的数据片段的开始和结束时间，以及

-基于估算的开始和结束时间，将选择的数据片段组合从而形成数据子集。

9.如权利要求1的方法，其中，指纹元数据被用于描述数据超集的一个或者多个数据片段，该方法进一步包括步骤：

-匹配指纹元数据和数据片段，

-一旦匹配，选择匹配的数据片段，以及

-组合一个或者多个选择的数据片段从而形成数据子集。

10.如权利要求9的方法，其中，所述指纹元数据被存储在一个独立的数据库中。

11.如权利要求9的方法，其中，所述指纹元数据包括：

-音频指纹数据，

-视频指纹数据，和

-文本指纹数据，

其中，该方法进一步包括步骤：

-文本指纹匹配，和

-音频指纹匹配，和

-视觉指纹匹配。

12.如权利要求1的方法，其中，该方法进一步包括根据至少一个预告片要求(多个)选择数据片段的步骤。

13.如权利要求12的方法，其中，所述预告片要求(多个)包括下面一个种类中的至少一个要求：

-持续时间，

-连续性，

-优先级，

-冗余，

-排除，

-结构顺序要求，

-时间顺序要求，和

-产品安置。

14.一种用于从数据超集创建一个包括数据片段的数据子集的计算机***，该超集包括内容数据和标记的内容书记，该计算机***包括：

-一个包括一个存储器的电子设备，

-一个包括至少一个数据超集的数据库，

-一个计算机网络，以及

-至少一个网络连接，

-其中该电子设备被编程为：

-通过网络连接请求存储在数据库中的超集的数据片段，

-根据存储在存储器中的用户简档，选择至少一个包括标记的内容数据的数据片段，以及

组合该至少一个数据片段从而形成一个数据子集。

15.一种电子设备，包括至少一个处理器，至少一个包括一个或者多个用户简档的存储器，至少一个输出端，以及至少一个用于接收和/或者发送数据的连接，该电子设备被编程用于：

-通过用于接收数据的连接来请求包括数据片段的数据，其中该数据片段进一步包括标记的内容数据，

-根据用户简档选择至少一个数据片段，

-组合该至少一个选择的数据片段从而形成数据子集，并且

-将数据子集提供给输出端。

16.权利要求16的电子设备，其中该设备进一步被编程为从数据文件中选择数据片段。

Images