CN103778174A - 用于基于场景变化检测触发音频指纹法分析的装置和方法 - Google Patents

用于基于场景变化检测触发音频指纹法分析的装置和方法 Download PDF

Info

Publication number
CN103778174A
CN103778174A CN201310480397.4A CN201310480397A CN103778174A CN 103778174 A CN103778174 A CN 103778174A CN 201310480397 A CN201310480397 A CN 201310480397A CN 103778174 A CN103778174 A CN 103778174A
Authority
CN
China
Prior art keywords
content
audio
commercial
presenting device
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310480397.4A
Other languages
English (en)
Other versions
CN103778174B (zh
Inventor
T·拉森
T·道森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103778174A publication Critical patent/CN103778174A/zh
Application granted granted Critical
Publication of CN103778174B publication Critical patent/CN103778174B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/377—Scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用于基于场景变化检测触发音频指纹法分析的装置和方法的某些方面可以包括与内容服务器通信地耦合的内容呈现设备。该内容呈现设备可以以一采样速率对内容的音频分量进行采样。该内容呈现设备可以基于所采样的音频分量产生音频指纹，并将该音频指纹传送到内容服务器。该内容呈现设备还可以基于所检测的内容中的场景变化来修改采样速率。可以基于所传送的音频指纹来检测场景变化。在另一实施例中，内容服务器可以接收多个音频指纹，并检测与所述多个音频指纹相关联的内容的类型的变化。内容服务器还可以将触发信号传送给内容呈现设备，该触发信号指示所检测的与所述多个音频指纹相关联的内容的类型的变化。

Description

用于基于场景变化检测触发音频指纹法分析的装置和方法
技术领域
本公开的某些实施例涉及指纹分析。更具体地讲，本公开的某些实施例涉及基于场景变化检测触发音频指纹法（fingerprinting）分析。
背景技术
与消费者的基于内容的交互是促销和营销领域中的重大进步。可以针对观看内容的消费者对所显示内容的兴趣来对他/她进行评定。将与内容相关联的额外的信息提供给观看者对于所显示的内容是价值增值。指纹法是跟踪显示在用户终端上的内容的几种方式之一。
通过将这样的***与如在本申请的其余部分中参照附图所阐述的本公开的一些方面进行比较，常规的传统方法的进一步的限制和缺点对于本领域技术人员将变得清楚。
发明内容
提供一种基本上如结合附图中的至少一个示出和/或描述的、在权利要求书中更完整地阐述的、用于基于场景变化检测触发音频指纹法分析的装置和/或方法。
可以通过阅览本公开的以下详细描述以及附图来理解本公开的这些特征和优点以及其他特征和优点，在附图中，相似的标号始终指示相似的部分。
附图说明
图1是根据本公开的实施例的在其下可以实现本公开的***环境的框图。
图2是示出根据本公开的实施例的在其中可以将音频指纹组织为群集的数据库的框图。
图3a示出根据本公开的实施例的商业内容和非商业内容的采样速率的改变。
图3b示出根据本公开的另一实施例的商业内容和非商业内容的采样速率的另一改变。
图3c示出根据本公开的另一实施例的商业内容和非商业内容的采样速率的示例性改变。
图4是示出根据本公开的实施例的用于改变音频采样速率的方法的流程图。
具体实施方式
某些实现可以在用于基于场景变化检测触发音频指纹分析的装置和/或方法中找到。参照附图和本文所阐述的详细描述最好地理解所公开的实施例。以下参照附图讨论各个实施例。然而，本领域技术人员将容易意识到，因为所公开的方法和装置可以扩及到所描述的实施例之外，所以本文针对这些图所给出的详细描述仅仅是出于解释的目的。
本公开涉及一种用于识别呈现在内容呈现设备上的商业内容的方法和***。可以通过对于所采样的显示给用户的内容的音频分量实时地产生的音频指纹来识别商业内容。可以在内容服务器处比较这些音频指纹以识别用户所观看的内容的类型。如果内容服务器识别用户观看商业内容，则服务器将将与该商业内容相关的促销或优惠发送给内容呈现设备。
本公开的某些实施例可以在用于跟踪呈现在内容呈现设备上的内容的***和/或方法中找到。本公开的示例性方面可以包括与内容服务器通信地耦合的内容呈现设备。内容呈现设备可以以一采样速率对内容的音频分量进行采样。内容呈现设备还可以基于所采样的音频分量来产生音频指纹，并将该音频指纹传送给内容服务器。内容呈现设备还可以基于响应于所检测的内容中的场景变化而接收的触发信号来修改采样速率。场景变化可以指示内容的类型的变化。内容的类型包括商业内容和非商业内容。当内容的类型从非商业内容变为商业内容时，内容呈现设备可以修改采样速率。内容呈现设备可以从内容服务器接收与商业内容相关联的促销内容。内容呈现设备还可以将促销内容显示为商业内容的叠加层。当内容的类型从商业内容变为非商业内容时，内容呈现设备可以修改采样速率。
本公开的某些实施例可以在用于跟踪呈现在内容呈现设备上的内容的***和/或方法中找到。本公开的示例性方面可以包括与内容呈现设备通信地耦合的内容服务器。内容服务器可以接收多个音频指纹。所述多个音频指纹可以与在内容呈现设备处正以对应的采样实例呈现的内容相关联。内容服务器可以检测与所述多个音频指纹相关联的内容的类型的变化。内容服务器还可以将触发信号传送给内容呈现设备。触发信号指示所检测的与所述多个音频指纹相关联的内容的类型的变化。内容的类型包括商业内容和非商业内容。内容服务器可以基于将所接收的多个音频指纹与一个或多个预存群集进行比较来检测内容的类型的变化。预存集群包括一个或多个音频指纹。当所检测的内容的类型的变化可以与商业内容相关联时，内容服务器可以将促销内容传送给内容呈现设备。
图1是根据本公开的实施例的在其下可以实现本公开的***环境100的框图。参照图1，示出了包括内容呈现设备102、通信网络104和内容服务器106的***环境100。内容呈现设备102和内容服务器106经由通信网络104通信地耦合。
内容呈现设备102可以对应于能够显示信息（诸如视频和/或视听内容）的电子设备。内容呈现设备102可以包括生成、流传输或下载将显示的信息的计算设备、以及显示该信息的显示屏幕或投影表面。在实施例中，显示设备包括集成为单个单元的显示屏幕和计算单元。在另一实施例中，显示设备包括作为分离单元的计算设备和显示屏幕。显示设备的例子包括，但不限于，膝上型电脑、电视（TV）、平板电脑、台式电脑、移动电话、游戏设备和其他这样的具有显示能力的设备。
通信网络104对应于***环境100的各个组件通过其彼此通信的介质。通信网络104的例子可以包括，但不限于，电视广播***、互联网协议电视（IPTV）网络、互联网、无线保真（Wi-Fi）网络、无线区域网（WAN）、局域网（LAN）、电话线（POTS）或城域网（MAN）。***环境100下的各个设备可以根据各种有线和无线通信协议（诸如传输控制协议和互联网协议（TCP/IP）、用户数据报协议（UDP）、2G、3G或4G通信协议）连接至通信网络104。此外，通信网络104可以连接至一个或多个内容呈现设备（类似于102）和一个或多个内容服务器（类似于106）。
内容服务器106可以对应于执行计算的、包括至少一个数据库和至少一个处理器的电子设备。
内容呈现设备102可以向用户显示内容。显示在内容呈现设备102上的内容可以大致分为两类——商业内容和非商业内容。商业内容包括诸如商业广告和公告之类的内容。商业内容提供通过向用户展示额外的信息来产生额外收入的手段。非商业内容是指不产生额外收入的内容。
可以对显示在内容呈现设备102上的内容的音频分量进行采样，并且可以通过使用算法对所采样的音频分量进行处理来产生与每个采样对应的音频指纹。同一商业内容或非商业内容内的音频采样的音频指纹可以表现出相关性。可以经由通信网络104将音频指纹发送到内容服务器106。
在内容服务器106，可以将所接收的音频指纹与预存的音频指纹群集进行比较，以找到与特定的商业内容或非商业内容对应的相关群集。当随后接收的音频指纹对应于不同类型的内容时，即，当与非商业内容对应的音频指纹之后可以为与商业内容对应的音频指纹或者反过来时，内容服务器106产生触发。内容服务器106产生的触发包含与内容呈现设备102处的采样速率所需的修改有关的信息。可以将内容服务器106产生的触发发送给内容呈现设备102。此外，内容服务器106可以将与所识别的公告对应的促销信息发送给内容呈现设备102。
内容呈现设备102可以基于从内容服务器106接收的触发信号来修改采样速率。在一个实施例中，与非商业内容相比，内容呈现设备102以更高的速率对商业内容进行采样。内容呈现设备102从内容服务器106接收指示所显示的内容的类型变化的触发信号。响应于所接收的触发，当显示在内容呈现设备102上的内容的类型从非商业内容变为商业内容时内容呈现设备102可以提高采样速率，反之亦然。在另一实施例中，响应于所接收的触发，内容呈现设备可以将采样暂停预定义的持续时间。在另一实施例中，内容呈现设备102可以通过考虑商业内容和非商业内容的持续时间来以定制的速率进行采样。
图2是示出根据本公开的实施例的在其中可以将音频指纹组织为群集的数据库200的框图。结合图1对图2进行解释。数据库200包括呈现在内容呈现设备102上的内容的音频指纹。在实施例中，可以将音频指纹分类为群集。预存的群集202包括多个音频指纹202a-202n。预存的群集204包括多个音频指纹204a-204n。预存的群集206包括多个音频指纹206a-206n。数据库200可以包括任何数量的预存群集（诸如202、204和206）。预存的群集（例如202）可以对应于内容的特定部分、类型或组。在实施例中，可以将音频指纹（诸如202a-202n、204a-204n和206a-206n）分组到预存群集（诸如202、204和206）中，其中，每个预存群集（例如202）对应于特定的商业内容或非商业内容。
可以将从内容呈现设备102接收的音频指纹与数据库200中的预存群集（诸如202、204和206）进行比较，以找到相关性超过预定阈值的预存群集（例如202）。内容服务器106可以从数据库200中的相关的预存群集（例如202）识别与所接收的音频指纹相关联的内容。
在另一实施例中，在内容服务器106预存的群集（诸如202、204和206）和所接收的音频指纹可以与元数据相关联。与音频指纹的预存群集（诸如202、204和206）相关联的元数据给予与这些预存群集（诸如202、204和206）可以关联到的内容有关的识别信息。这样的元数据的例子可以包括，但不限于，内容在内容呈现设备102上的播放时间的时间戳通知、内容的类型、内容标识符（id）以及与该内容相关联的其他识别信息。例如，如果内容是视频，则与该视频相关联的元数据可以包括，但不限于，视频的标题、视频的类型（商业的或非商业的）、视频的持续时间、可能的播放时间、与视频的内容相关的标签以及关于其他类似视频的信息。
与所接收的音频指纹相关联的元数据可以用于改进在数据库200中找到与所接收的音频指纹相关的预存群集（例如202）的持续时间。为了找到具有匹配元数据的一组预存群集（诸如202、204和206），可以将与所接收的音频指纹相关联的元数据与预存群集（诸如202、204和206）的元数据进行比较。随后，进行所接收的音频指纹与具有匹配元数据的一组预存群集（例如202和/或204）之间的比较。可以从具有匹配元数据的这组预存群集（例如202和/或204）找到与所接收的音频指纹的相关性超过阈值的预存群集（例如202）。
在另一实施例中，可以不将音频指纹聚集成群集，并且数据库200包括预存音频指纹的集合。可以将所接收的音频指纹与数据库200中的预存音频指纹的集合进行比较，以找到相关性超过预定阈值的相关的预存音频指纹。内容服务器106可以从数据库200中的相关的预存音频指纹识别与所接收的音频指纹相关联的内容。
在另一实施例中，内容服务器106处的预存音频指纹可以与元数据相关联。与预存音频指纹相关联的元数据给予与这些预存音频指纹可以关联到的内容有关的识别信息。可以从具有匹配元数据的一组预存音频指纹找到与所接收的音频指纹的相关性超过阈值的预存音频指纹。
在实施例中，数据库200可以驻留在单个内容服务器106处。在另一实施例中，数据库200可以分布在一个或多个内容服务器（诸如内容服务器106）之中。所述一个或多个内容服务器（诸如内容服务器106）可以经由通信网络104与内容呈现设备102连接。
图3a示出根据本公开的实施例的对显示在内容呈现设备102上的内容的商业段302和非商业段304进行采样的模式。这里所示出的模式对于商业段302和非商业段304使用不同的采样速率。与商业内容相比，可以以较低的速率对非商业内容进行采样。用于非商业段304的采样速率可以是F1（在图3a中被描绘为310），用于商业段302的采样速率可以是F2（在图3a中被描绘为308）。内容呈现设备102可以一开始以速率F1对内容的音频分量进行采样。经过处理的音频分量采样产生音频指纹。所产生的音频指纹被传送给内容服务器106。内容服务器106可以操作为将该音频指纹与预存的音频指纹进行比较。如果确定该音频指纹对应于商业内容，则内容服务器106可以将以不同采样速率进行采样的触发信号传送给内容呈现设备102。采样可以在整个商业内容段中以新的采样速率继续，并且对应的音频指纹被传送给内容服务器106。内容服务器106可以对从内容呈现设备102接收的每个音频指纹进行分析。当内容服务器106接收到与内容的非商业段304对应的音频指纹时，内容服务器106可以对内容呈现设备102产生将采样速率切换到F1的触发信号。
图3b示出根据本公开的实施例的对显示在内容呈现设备102上的内容的商业段302和非商业段304进行采样的另一模式。当非商业段304被识别时，这里所示出的模式使采样暂停预定义时间（在图3b中被描绘为312）。内容呈现设备102可以操作为对内容的商业段302进行采样并将对应的音频指纹传送给内容服务器106。为了识别内容的类型，内容服务器106可以对所接收的音频指纹进行分析。当内容服务器106识别与非商业段对应的音频指纹时，内容服务器106可以将使采样暂停预定义时间（在图3b中被描绘为312）的触发信号传送给内容呈现设备102。采样可以暂停的时间可以取决于对于为非商业内容而提供的时间窗口的了解。采样可以暂停的时间比为非商业内容而提供的时间窗口短，以使得采样在内容呈现设备102开始显示商业段302之前开始。此外，当内容服务器106接收到与内容的商业段302对应的音频指纹时，内容服务器106可以将使采样速率切换到F2（在图3b中被描绘为308）的触发信号传送给内容呈现设备102。
图3c示出根据本公开的另一实施例的对显示在内容呈现设备102上的内容的商业段302和非商业段304进行采样的示例性模式。本实施例示出了这样的方法，在该方法中，通过知道商业段302内的被识别的商业内容的持续时间或非商业段304的持续时间，采样以定制的方式发生。在内容服务器106，可以使用从内容呈现设备102接收的音频指纹来识别商业段302内的商业内容或非商业段304。内容服务器106指导内容呈现设备102确定采样的时间实例（在图3c中被描绘为314和316）。内容服务器106可以对在商业段302期间展示的每个商业内容的持续时间和非商业段304的持续时间建立索引。当内容服务器106识别非商业段304或商业段302期间的商业内容时，内容服务器106可以确定该商业内容或非商业段304的持续时间。因此，内容服务器106可以将如下这样的触发信号传送给内容呈现设备102，该触发信号使采样暂停比所识别的商业内容或非商业段304的持续时间短的时间间隔。
在实施例中，内容服务器106识别显示在内容呈现设备102上的商业内容，并将与所识别的商业内容相关联的促销和优惠发送给内容呈现设备102。内容呈现设备102可以将从内容服务器106接收的促销或优惠展示为所显示的商业内容的叠加层。在另一实施例中，可以向用户展示具有接受或拒绝优惠或折扣的选项的菜单。在另一实施例中，该叠加层对于随之而来的商业内容或非商业内容可以保持为可见，其中，该随之而来的商业内容或非商业内容不具有与它相关的促销或优惠。在另一实施例中，可以向用户展示与所识别的商业内容相关的额外的信息。
在另一实施例中，商业内容的识别可以用于确定特定内容的收视率，该收视率可以用于对显示在内容呈现设备102上的内容进行评级。
图4是示出用于基于内容服务器106处的音频指纹分析来控制内容呈现设备102处的采样速率的计算机实现方法400的流程图。
在步骤402，可以在内容呈现设备102以采样速率“F1”对内容的音频分量进行采样。在步骤404，使用算法从所采样的音频分量产生音频指纹。在步骤406，将所产生的音频指纹传送给内容服务器106。
如步骤418所示，内容服务器106预存了关于商业内容和非商业内容的音频指纹（诸如202a-202n、204a-204n和206a-206n）的群集（诸如202、204和206）。在步骤420，内容服务器106可以将所接收的音频指纹与预存的音频指纹的群集（例如202）进行比较。在步骤422，内容服务器106可以确定所接收的音频指纹是否与预存的关于商业内容的音频指纹的群集（例如202）匹配。在内容服务器106确定所接收的音频指纹与预存的关于商业内容的群集（例如202）不匹配的情况下，所述方法进入步骤420。在内容服务器106确定所接收的音频指纹与预存的关于商业内容的群集（例如202）匹配的情况下，所述方法进入步骤424。在步骤424，内容服务器106将以不同采样速率“F2”进行采样的触发信号传送给内容呈现设备102。
在步骤408，内容呈现设备102可以以新的采样速率对内容进行采样。在步骤410，可以对所采样的音频分量产生音频指纹。在步骤412，可以将所产生的音频指纹传送给内容服务器106。
在步骤426，内容服务器106可以将所接收的音频指纹与预存的音频指纹的群集（例如202）进行比较。在步骤428，内容服务器106可以确定所接收的音频指纹是否与预存的关于商业内容的音频指纹的群集（例如202）匹配。在内容服务器106确定所接收的音频指纹与预存的关于商业内容的群集（例如202）不匹配的情况下，所述处理进入步骤416。在步骤416，内容服务器106可以将以不同采样速率“F1”进行采样的触发信号传送给内容呈现设备102。所述方法然后返回到步骤402。
在内容服务器106确定所接收的音频指纹与预存的关于商业内容的群集（例如202）匹配的情况下，所述方法进入步骤430。在步骤430，内容服务器106可以从所接收的音频指纹识别商业内容，并将特定于所识别的商业内容的一个或多个折扣或优惠传送给内容呈现设备102。在步骤414，内容呈现设备102可以接收关于与特定的商业内容相关的优惠或折扣的信息，并将它显示给用户。所述方法然后返回到步骤408。
本公开的其他实施例可以提供一种非暂态计算机可读介质和/或存储介质、和/或非暂态机器可读介质和/或存储介质，在所述介质上存储有具有可供机器和/或计算机执行的至少一个代码段的机器代码和/或计算机程序，从而使该机器和/或计算机执行包括以下的步骤：以一采样速率对内容的音频分量进行采样，基于所采样的音频分量产生音频指纹，将所产生的音频指纹传送给内容服务器，并基于所检测的内容中的场景变化来修改采样速率。基于所传送的音频指纹来检测场景变化。
根据另一实施例，本公开可以提供一种非暂态计算机可读介质和/或存储介质、和/或非暂态机器可读介质和/或存储介质，在所述介质上存储有具有可供机器和/或计算机执行的至少一个代码段的机器代码和/或计算机程序，从而使该机器和/或计算机执行包括以下的步骤：接收多个音频指纹，检测与所述多个音频指纹相关联的内容的类型的变化，并将触发信号传送给内容呈现设备。所述多个音频指纹与在内容呈现设备处正以对应的采样实例呈现的内容相关联。触发信号指示所检测的与所述多个音频指纹相关联的内容的类型的变化。
根据本公开的另一实施例，一种用于跟踪呈现在内容呈现设备102（图1）上的内容的方法和***。与内容服务器106（图1）通信地耦合的内容呈现设备102包括一个或多个处理器和/或电路。内容呈现设备102可以以一采样速率对内容的音频分量进行采样。内容呈现设备102还可以基于所采样的音频分量产生音频指纹，并将该音频指纹传送给内容服务器106。内容呈现设备102还可以基于所检测的内容中的场景变化来修改该采样速率。当内容的类型从非商业内容变为商业内容时，内容呈现设备102可以修改采样速率。当内容的类型从商业内容变为非商业内容时，内容呈现设备102可以修改采样速率。内容呈现设备102可以从内容服务器106接收与所识别的商业内容相关联的促销内容。内容呈现设备106可以将促销内容显示为所识别的商业内容的叠加层。
根据另一实施例，一种用于跟踪呈现在内容呈现设备102上的内容的方法和***。内容服务器106包括一个或多个处理器和/或电路。内容服务器106可以接收多个音频指纹，其中，所述多个音频指纹可以与在内容呈现设备102上正以对应的采样实例呈现的内容相关联。内容服务器106可以检测与所述多个音频指纹相关联的内容的类型的变化。内容服务器106还可以将触发信号传送给内容呈现设备102，其中，该触发信号指示所检测的与所述多个音频指纹相关联的内容的类型的变化。
内容服务器106可以包括一个或多个预存群集（诸如202、204和206），其中，所述一个或多个预存群集（例如202）包括一个或多个音频指纹（例如202a-202n）。内容服务器106可以基于将所接收的多个音频指纹与所述一个或多个预存群集（诸如202、204和206）进行比较来检测内容的类型的变化。当所检测的内容的类型的变化可以与商业内容相关联时，内容服务器106可以将促销内容传送给内容呈现设备102。
因此，本公开可以用硬件或者硬件和软件的组合来实现。本公开可以以集中式的方式在至少一个计算机***中实现，或者以不同元件可以遍布几个互连计算机***的分布式方式来实现。任何类型的适于实现本文描述的方法的计算机***或其他装置可以是合适的。硬件和软件的组合可以是如下这样的通用计算机***，该通用计算机***具有当被加载和执行时可以控制该计算机***以使得它实现本文描述的方法的计算机程序。本公开可以用包括还执行其他功能的集成电路的一部分的硬件实现。
本公开还可以被嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文描述的方法的所有特征，该计算机程序产品在被加载在计算机***中时能够执行这些方法。本上下文中的计算机程序意指使用任何语言、代码或记号的、对意图使具有信息处理能力的***直接地或者在以下操作中的任何一个或两个之后执行特定功能的指令集的任何表达：a)转换到另一种语言、代码或记号；b)用不同的物质形式再现。
尽管已参照某些实施例描述了本公开，但是本领域技术人员将理解，可以在不脱离本公开的范围的情况下进行各种改变以及替换等同物。另外，可以在不脱离本公开的范围的情况下进行许多修改以使特定情形或材料适于本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是本公开将包括落在所附权利要求的范围内的所有实施例。

Claims (20)

1.一种用于跟踪呈现在与内容服务器通信地耦合的内容呈现设备上的内容的方法，所述方法包括：
所述内容呈现设备以一采样速率对所述内容的音频分量进行采样；
基于所采样的所述音频分量产生音频指纹，并将所述音频指纹传送给所述内容服务器；以及
基于所检测的所述内容中的场景变化来修改所述采样速率，其中，所述场景变化是基于所传送的所述音频指纹检测的。
2.根据权利要求1所述的方法，其中，所述场景变化指示内容的类型的变化。
3.根据权利要求2所述的方法，其中，所述内容的类型包括商业内容和非商业内容。
4.根据权利要求3所述的方法，包括当所述内容的类型从所述非商业内容变为所述商业内容时修改所述采样速率。
5.根据权利要求3所述的方法，包括从所述内容服务器接收与所述商业内容相关联的促销内容。
6.根据权利要求5所述的方法，包括在所述内容呈现设备上将所述促销内容显示为所述商业内容的叠加层。
7.根据权利要求3所述的方法，包括当所述内容的类型从所述商业内容变为所述非商业内容时修改所述采样速率。
8.一种用于跟踪呈现在与内容服务器通信地耦合的内容呈现设备上的内容的方法，所述方法包括：
所述内容服务器接收多个音频指纹，其中，所述多个音频指纹与在所述内容呈现设备处正以对应的采样实例呈现的所述内容相关联；
检测与所述多个音频指纹相关联的内容的类型的变化；以及
将触发信号传送给所述内容呈现设备，其中，所述触发信号指示所检测的与所述多个音频指纹相关联的所述内容的类型的所述变化。
9.根据权利要求8所述的方法，其中，所述内容的类型包括商业内容和非商业内容。
10.根据权利要求9所述的方法，包括基于将所接收的所述多个音频指纹与一个或多个预存群集进行比较来检测所述内容的类型的所述变化，其中，所述一个或多个预存集群包括一个或多个音频指纹。
11.根据权利要求9所述的方法，包括当所检测的所述内容的类型的所述变化与所述商业内容相关联时，将促销内容传送给所述内容呈现设备。
12.一种用于跟踪呈现在内容呈现设备上的内容的装置，所述装置包括：
与内容服务器通信地耦合的所述内容呈现设备中的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路操作为：
以一采样速率对所述内容的音频分量进行采样；
基于所采样的所述音频分量产生音频指纹，并将所述音频指纹传送到所述内容服务器；以及
基于所检测的所述内容中的场景变化来修改所述采样速率，其中，所述场景变化是基于所传送的所述音频指纹检测的。
13.根据权利要求12所述的装置，其中，所述一个或多个处理器和/或电路操作为当内容的类型从非商业内容变为商业内容时修改所述采样速率。
14.根据权利要求12所述的装置，其中，所述一个或多个处理器和/或电路操作为当内容的类型从商业内容变为非商业内容时修改所述采样速率。
15.根据权利要求12所述的装置，其中，所述一个或多个处理器和/或电路操作为从所述内容服务器接收与所识别的商业内容相关联的促销内容。
16.根据权利要求15所述的装置，其中，所述一个或多个处理器和/或电路操作为将所述促销内容显示为所识别的所述商业内容的叠加层。
17.一种用于跟踪呈现在内容呈现设备上的内容的装置，所述装置包括：
与所述内容呈现设备通信地耦合的内容服务器中的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路操作为：
接收多个音频指纹，其中，所述多个音频指纹与在所述内容呈现设备处正以对应的采样实例呈现的所述内容相关联；
检测与所述多个音频指纹相关联的内容的类型的变化；以及
将触发信号传送给所述内容呈现设备，其中，所述触发信号指示所检测的与所述多个音频指纹相关联的所述内容的类型的所述变化。
18.根据权利要求17所述的装置，其中，所述内容服务器包括一个或多个预存群集，其中，所述一个或多个预存群集包括一个或多个音频指纹。
19.根据权利要求18所述的装置，其中，所述一个或多个处理器和/或电路操作为基于将所接收的所述多个音频指纹与所述一个或多个预存群集进行比较来检测所述内容的类型的所述变化。
20.根据权利要求17所述的装置，其中，所述一个或多个处理器和/或电路操作为当所检测的所述内容的类型的所述变化与商业内容相关联时，将促销内容传送给所述内容呈现设备。
CN201310480397.4A 2012-10-19 2013-10-15 用于基于场景变化检测触发音频指纹法分析的装置和方法 Expired - Fee Related CN103778174B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/656,152 2012-10-19
US13/656,152 US9460204B2 (en) 2012-10-19 2012-10-19 Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis

Publications (2)

Publication Number Publication Date
CN103778174A true CN103778174A (zh) 2014-05-07
CN103778174B CN103778174B (zh) 2017-09-22

Family

ID=49378129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310480397.4A Expired - Fee Related CN103778174B (zh) 2012-10-19 2013-10-15 用于基于场景变化检测触发音频指纹法分析的装置和方法

Country Status (3)

Country Link
US (1) US9460204B2 (zh)
EP (1) EP2722779A3 (zh)
CN (1) CN103778174B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198573A (zh) * 2017-12-29 2018-06-22 北京奇艺世纪科技有限公司 音频识别方法及装置、存储介质及电子设备
CN108804899A (zh) * 2018-05-29 2018-11-13 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN112672924A (zh) * 2018-08-03 2021-04-16 格雷斯诺特公司 具有音频广告和导航相关动作同步功能的基于车辆的媒体***
CN113747233A (zh) * 2021-08-24 2021-12-03 北京达佳互联信息技术有限公司 一种音乐替换方法、装置、电子设备及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008334B (zh) * 2013-02-21 2017-12-01 腾讯科技（深圳）有限公司 一种文件的聚类方法和设备
GB2523311B (en) 2014-02-17 2021-07-14 Grass Valley Ltd Method and apparatus for managing audio visual, audio or visual content
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和***
US9930375B2 (en) * 2014-06-16 2018-03-27 Nexidia Inc. Media asset management
US10762533B2 (en) * 2014-09-29 2020-09-01 Bellevue Investments Gmbh & Co. Kgaa System and method for effective monetization of product marketing in software applications via audio monitoring
US9565456B2 (en) * 2014-09-29 2017-02-07 Spotify Ab System and method for commercial detection in digital media environments
US10149022B2 (en) * 2016-03-09 2018-12-04 Silveredge Technologies Pvt. Ltd. Method and system of auto-tagging brands of television advertisements
US10117000B2 (en) * 2016-03-10 2018-10-30 Silveredge Technologies Pvt. Ltd. Method and system for hardware agnostic detection of television advertisements
US20190303400A1 (en) * 2017-09-29 2019-10-03 Axwave, Inc. Using selected groups of users for audio fingerprinting
US11166054B2 (en) 2018-04-06 2021-11-02 The Nielsen Company (Us), Llc Methods and apparatus for identification of local commercial insertion opportunities
CN111090362B (zh) * 2018-10-23 2021-12-28 鸿合科技股份有限公司 一种场景处理方法及装置、电子设备
US20200275168A1 (en) * 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
US11082730B2 (en) * 2019-09-30 2021-08-03 The Nielsen Company (Us), Llc Methods and apparatus for affiliate interrupt detection
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260682A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
US20070016918A1 (en) * 2005-05-20 2007-01-18 Alcorn Allan E Detecting and tracking advertisements
CN1998168A (zh) * 2004-02-19 2007-07-11 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
CN102165439A (zh) * 2007-08-31 2011-08-24 杜比实验室特许公司 将信息与媒体内容的一部分相关联
US20110264455A1 (en) * 2010-04-26 2011-10-27 Nelson Daniel J Methods, apparatus and articles of manufacture to perform audio watermark decoding
US20120059495A1 (en) * 2010-09-05 2012-03-08 Mobile Research Labs, Ltd. System and method for engaging a person in the presence of ambient audio
CN102696233A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6993535B2 (en) * 2001-06-18 2006-01-31 International Business Machines Corporation Business method and apparatus for employing induced multimedia classifiers based on unified representation of features reflecting disparate modalities
JP2005526349A (ja) * 2002-05-16 2005-09-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 信号処理方法及び構成
US7809154B2 (en) * 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
EP1652385B1 (en) 2003-07-25 2007-09-12 Koninklijke Philips Electronics N.V. Method and device for generating and detecting fingerprints for synchronizing audio and video
US9055239B2 (en) * 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US7920759B2 (en) * 2005-08-23 2011-04-05 Ricoh Co. Ltd. Triggering applications for distributed action execution and use of mixed media recognition as a control input
US8291095B2 (en) * 2005-04-20 2012-10-16 Limelight Networks, Inc. Methods and systems for content insertion
US7690011B2 (en) * 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
US20070118910A1 (en) 2005-09-02 2007-05-24 Taylor Stephen F Identification of files in a file sharing environment
US9824693B2 (en) * 2007-01-25 2017-11-21 The Nielsen Company (Us), Llc Research data gathering
US9239958B2 (en) * 2007-11-09 2016-01-19 The Nielsen Company (Us), Llc Methods and apparatus to measure brand exposure in media streams
US9628811B2 (en) * 2007-12-17 2017-04-18 Qualcomm Incorporated Adaptive group of pictures (AGOP) structure determination
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
WO2010150249A1 (en) * 2009-06-25 2010-12-29 Tictacti Ltd. A system and method for ad placement in video game content
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
EP2559237A1 (en) * 2010-04-14 2013-02-20 Sven Riethmueller Platform-independent interactivity with media broadcasts
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US20120271823A1 (en) * 2011-04-25 2012-10-25 Rovi Technologies Corporation Automated discovery of content and metadata
KR20140064969A (ko) * 2011-09-23 2014-05-28 디지맥 코포레이션 콘텍스트―기반 스마트폰 센서 로직
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
EP2670157B1 (en) * 2012-06-01 2019-10-02 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization
US9106964B2 (en) * 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260682A1 (en) * 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
CN1998168A (zh) * 2004-02-19 2007-07-11 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US20070016918A1 (en) * 2005-05-20 2007-01-18 Alcorn Allan E Detecting and tracking advertisements
CN102165439A (zh) * 2007-08-31 2011-08-24 杜比实验室特许公司 将信息与媒体内容的一部分相关联
CN102696233A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US20110264455A1 (en) * 2010-04-26 2011-10-27 Nelson Daniel J Methods, apparatus and articles of manufacture to perform audio watermark decoding
US20120059495A1 (en) * 2010-09-05 2012-03-08 Mobile Research Labs, Ltd. System and method for engaging a person in the presence of ambient audio

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡群 等: ""基于音视特征的视频内容检测方法"", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198573A (zh) * 2017-12-29 2018-06-22 北京奇艺世纪科技有限公司 音频识别方法及装置、存储介质及电子设备
CN108198573B (zh) * 2017-12-29 2021-04-30 北京奇艺世纪科技有限公司 音频识别方法及装置、存储介质及电子设备
CN108804899A (zh) * 2018-05-29 2018-11-13 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN108804899B (zh) * 2018-05-29 2020-06-30 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN112672924A (zh) * 2018-08-03 2021-04-16 格雷斯诺特公司 具有音频广告和导航相关动作同步功能的基于车辆的媒体***
CN113747233A (zh) * 2021-08-24 2021-12-03 北京达佳互联信息技术有限公司 一种音乐替换方法、装置、电子设备及存储介质
CN113747233B (zh) * 2021-08-24 2023-03-24 北京达佳互联信息技术有限公司 一种音乐替换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP2722779A2 (en) 2014-04-23
US20140114455A1 (en) 2014-04-24
CN103778174B (zh) 2017-09-22
EP2722779A3 (en) 2016-10-12
US9460204B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
CN103778174A (zh) 用于基于场景变化检测触发音频指纹法分析的装置和方法
CN108702531B (zh) 基于频道识别来执行动作的方法和***
US9565456B2 (en) System and method for commercial detection in digital media environments
US10235025B2 (en) Various systems and methods for expressing an opinion
US10949875B2 (en) Systems, methods and computer-readable media for determining outcomes for program promotions
JP6179907B2 (ja) メディア提示をモニタリングするための方法及び装置
CN107079183B (zh) 电视观众测量方法和设备
CN109033149B (zh) 信息推荐方法、装置、服务器及存储介质
CN108352914A (zh) 媒体内容匹配及索引
CN102754096A (zh) 补充媒体递送
JP2013529325A (ja) コンテンツを決定し検索するためのメディアフィンガープリント
CN104620522A (zh) 通过所检测到的身体标记来确定用户兴趣
CN105872717A (zh) 视频处理方法及***、视频播放器与云服务器
WO2015029393A1 (ja) 情報処理装置および情報処理方法
CN105956872A (zh) 基于人群行业的精准广告投放方法及装置
US20170142481A1 (en) System and method for presenting actionable program performance information based on audience components
CN104025615A (zh) 交互式视频流
US20130174188A1 (en) Method and system to implicitly link second screen advertisement campaigns and commerce events to main screen video and audio program content
CN108293140A (zh) 公共媒体段的检测
CN110958470A (zh) 一种多媒体内容处理方法、装置、介质和电子设备
US20120017231A1 (en) Behavior monitoring system
JP5243136B2 (ja) 情報処理装置、情報処理システム、情報処理方法、およびプログラム
CN107911743A (zh) 用于确定媒体项正被呈现的置信水平的***和方法
CN104853223A (zh) 视频流的插播方法及终端设备
CN104581224A (zh) 切换播放内容的方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170922

Termination date: 20211015

CF01 Termination of patent right due to non-payment of annual fee