CN102414683B - 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹 - Google Patents

基于媒体内容的分类来存储和检索从媒体内容中导出的指纹 Download PDF

Info

Publication number
CN102414683B
CN102414683B CN201080019695.8A CN201080019695A CN102414683B CN 102414683 B CN102414683 B CN 102414683B CN 201080019695 A CN201080019695 A CN 201080019695A CN 102414683 B CN102414683 B CN 102414683B
Authority
CN
China
Prior art keywords
media content
attribute
group
fingerprint
classification value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080019695.8A
Other languages
English (en)
Other versions
CN102414683A (zh
Inventor
高天石
雷古纳森·拉达克里希南
蒋文宇
克劳斯·鲍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102414683A publication Critical patent/CN102414683A/zh
Application granted granted Critical
Publication of CN102414683B publication Critical patent/CN102414683B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种基于媒体内容的分类来存储和检索从媒体内容导出的指纹。在媒体内容中识别属性。基于被识别的属性来计算媒体内容的分类值。其后，基于媒体内容的分类值来存储或检索从媒体内容导出的指纹。

Description

基于媒体内容的分类来存储和检索从媒体内容中导出的指纹
对相关申请的交叉引用
本申请请求2009年5月8日提交的美国专利临时申请第61/176,815号的优先权，其全部内容通过引用合并于此。
技术领域
本公开一般涉及媒体内容指纹。更具体地，本发明的实施例涉及基于媒体内容的分类来存储和/或检索从媒体内容导出的指纹。
背景技术
媒体剪辑或媒体内容一般表示音频媒体、视频媒体、音频/可视(AV)媒体、静止图像、或任何其它适合的媒体，并且包括利用至少一个媒体来实施、存储、发送、接收、处理、或其它使用的信息。常用的媒体剪辑格式包括FLV格式(flash视频)、窗口媒体视频(Windows Media Video)、RealMedia、Quicktime、MPEG、MP3、DivX、JPEG、Bitmap或GIF。如本文中所使用的，术语“媒体剪辑”、“媒体内容”、“信息内容”和“内容”可互换使用。
可用一个或更多个图像来定义媒体剪辑。例如，视频媒体可为一组时间上相关的帧或图像在视频媒体的特定时间点上的组合。另外，可使用本领域中公知的许多不同的技术将音频媒体表示为一个或更多个图像。例如，可以以频谱图来捕获音频信息。在频谱图中，水平轴可表示时间，垂直轴可表示频率，以及可以以第三维来表示特定频率在特定时间处的幅度。另外，在二维频谱图中，可以用更粗的线、更强烈的颜色或灰度值来表示幅度。可使用对以上示例的许多不同的修改以及其它表示将音频剪辑表示为图像。
定义媒体内容(音频和/或视频)的图像可与对应的指纹(“指纹”与“签名”可互换使用并且等同于“签名”)相关联。媒体内容的一些指纹可从媒体内容的一部分内的信息来导出(例如，提取、生成、计算)，或者媒体内容的一些指纹包括媒体内容的一部分。媒体指纹具体化或捕获对应媒体的媒体内容的本质，并且可唯一地由其来识别。视频指纹是可从视频剪辑的图像或帧导出的媒体指纹。音频指纹是可从具有嵌入的音频信息(例如频谱图)的图像导出的媒体指纹。另外，术语“媒体指纹”可指媒体内容的低比特率表示，其中，该媒体指纹与该媒体内容相关联并且该媒体指纹是从该媒体内容导出的。
附图说明
以附图中的图，经由示例、而不是经由限制来描述本发明，其中相同的附图标记表示类似的部件，并且其中：
图1图示根据一个或更多个实施例的***的框图；
图2图示根据一个或更多个实施例的用于存储指纹的示例过程；
图3图示根据一个或更多个实施例的用于检索指纹的示例过程；
图4A-图4C图示根据一个或更多个实施例的例示性数据库组织方案的可视化；
图5图示可用于实现本发明的实施例的示例计算机***平台的示例；以及
图6图示可用于实现本发明的实施例的示例集成电路装置。
具体实施方式
本文中公开的示例实施例涉及基于媒体内容的分类来存储和检索从媒体内容导出(例如提取、生成、确定、计算)的指纹。在下面的描述中，为了说明的目的，提出了很多具体的细节以提供对本发明的全面理解。但是，本发明可在没有这些具体细节的情况下实现。在其它实例中，为了避免不必要地使本发明难以理解，以框图形式示出公知的结构和装置。
本文中，根据下面的提纲来描述示例实施例。
1.0一般概述
2.0结构和功能概述
3.0基于媒体内容的分类来存储媒体内容的指纹
4.0基于媒体内容的分类来检索媒体内容的指纹
5.0实现机制—硬件概述
6.0等同、扩展、替换及杂项
1.0一般概述
可使用指纹来确定两个媒体剪辑是否相同或者是否已从原始媒体剪辑导出了可疑媒体剪辑。还可使用短媒体剪辑的指纹来识别从中提取短媒体剪辑的更大媒体剪辑。例如，为了基于歌曲的十秒剪辑来识别歌曲，可从十秒剪辑导出指纹，然后可将该指纹(或指纹哈希值)与对应于数以千计的音频记录的大的指纹(指纹哈希值)数据库进行比较，以寻找匹配并识别完整的歌曲。在另一示例中，可将从可疑图像的一个或更多个特征导出的查询指纹与数据库中存储的指纹进行比较，以识别对可疑图像的匹配。
在实施例中，存储从媒体内容导出的指纹包括在媒体内容中识别属性(多个属性)以及基于被识别的属性(多个属性)来计算媒体内容的分类值。此后，将从媒体内容导出的指纹与媒体内容的分类值一起存储。
可如此计算分类值，使得分类值标识用以计算分类值的属性(多个属性)。也可基于属性值的集合来计算分类值，其中每个属性值是基于媒体内容的相应属性来计算的。在实施例中，媒体内容的属性(多个属性)可包括音频属性和/或视频属性。
在实施例中，可基于与媒体内容相关联的元数据，在媒体内容中识别属性，或者利用分析媒体数据以检测属性，在媒体内容中识别属性。
在实施例中，针对从查询媒体内容导出的查询指纹对数据库进行检索包括：分析查询媒体内容以在查询媒体内容中识别属性(多个属性)的集合，以及基于被识别的属性(多个属性)来计算查询媒体内容的分类值。其后，可将从具有与查询媒体内容相同的分类值的媒体内容导出的指纹识别为检索组，并且可针对查询指纹对检索组进行检索。
在实施例中，当在检索组中未发现查询指纹时，可针对查询指纹检索从分类值与查询媒体内容的分类值类似的媒体内容导出的指纹。
在实施例中，当在检索组中未发现查询指纹时，可基于修改的属性(多个属性)的集合来确定媒体内容的新分类值。例如可通过丢弃以低置信度测量标识的属性，来获得修改的属性(多个属性)的集合。也可通过随机地丢弃一个或更多个之前被识别的属性，来获得修改的属性(多个属性)的集合。其后，可将从具有新分类值的媒体内容导出的指纹识别为新检索组，并且可针对查询指纹对新检索组进行检索。
本发明的其它实施例可包括具有执行上述步骤的功能的***和计算机可读介质。
2.0结构和功能概述
本文中可参考包括视频和/或音频媒体的一个或更多个示例媒体，来描述媒体指纹。本说明书中对示例媒体的选择可以是为了简单和简明的一致性，除非明确地相反表示，其不应被解释为将实施例限制为特定的媒体，因为本发明的实施例非常适合于利用任何媒体内容来运行。
图1示出根据一个或更多个可能实施例的***(100)。如图1所示，该***包括属性识别单元(104)、媒体内容分类单元(108)、指纹导出单元(112)、指纹存储单元(116)、指纹查询单元(118)和数据仓库(120)。
这些部件中的每个部件在以下被描述，并且可位于同一装置上(例如，服务器、大型机、桌面PC、膝上型计算机、PDA、电视机、电缆盒、卫星盒、电话亭、电话、移动电话等)，或者可利用有线和/或无线部分而位于通过网络(例如，因特网、内联网、外联网、局域网(LAN)、广域网(WAN)等)耦合的分离装置上。在一个或更多个实施例中，使用客户端-服务器拓扑来实现***100。***(100)自身可为运行在一个或更多个服务器上的企业应用，而在某些实施例中可为点对点***，或者可驻留在单个计算***上。另外，可使用一个或更多个接口、网站入口(webportal)、或任何其它对质量监控逻辑100进行访问的工具，来从其它机器可访问***(100)。在一个或更多个实施例中，一个或更多个用户通过诸如因特网的网络连接可访问***(100)。也可通过网络连接来存储和访问由***(100)提供的信息和/或服务。
本文中可参考包括静止图像、视频和/或音频媒体的一个或更多个示例媒体，来描述媒体内容(例如媒体内容(102))。本说明书中对示例媒体的选择可以是为了简单和简明的一致性，除非明确地相反表示，其不应被解释为将实施例限制为特定的媒体，因为本发明的实施例非常适合于利用静止图像、音频媒体、或视频媒体来运行。另外，本发明的实施例非常适合于利用与音频和/或视频媒体对应的、表示两个或三个空间维度的图像来运行。
在可能的实施例中，指纹导出单元112对应于用于从媒体内容(102)导出(例如，提取、生成、确定、计算等)媒体指纹(114)(“指纹”与“签名”可互换使用并且等同于“签名”)的软件和/或硬件。指纹(114)可对应于要被存储在数据仓库(120)中的指纹或要在数据库(120)中被检索的查询指纹。可从视频剪辑的图像或帧来导出视频指纹(114)。可从具有嵌入的音频信息(例如，频谱图)的图像导出音频指纹(114)。指纹导出单元112也可被配置成使用本领域公知的任何其它方法从媒体内容(102)导出指纹(114)。指纹导出单元112也可被配置成从媒体内容(102)导出多个指纹(114)(例如，通过使用具有各种健壮性水平和变化灵敏度的指纹导出技术)。另外，指纹导出单元112也可被配置成针对媒体内容的不同部分单独地导出指纹。例如，可使用去多路复用器将音频/视频媒体内容(102)分离成分离的成分(例如，音频成分和视频成分)，并且可针对每个成分单独地导出指纹(114)。
在可能的实施例中，属性识别单元(104)对应于用于在媒体内容(102)中识别属性(106)的软件和/或硬件。属性一般表示可使用任何音频/视频分析方法来检测的媒体内容的任何特征。属性(106)可包括媒体内容中可被检测的可视觉感知到的特征。这样的可识别媒体内容的可视觉感知到的特征的示例包括：室内、室外、人脸、没有人脸、类型、汽车、没有汽车、白天、夜晚等。属性(106)可包括媒体内容(102)中的可听得见的声音。例如，属性(106)可为指示篮球比赛的球网的嗖嗖声、指示音乐的节奏声、指示新闻或纪录片的字的单调陈述、指示与野生生物有关的媒体内容的狮子的吼声。属性(106)可包括人类眼睛无法可视感知到或人类耳朵听不见的媒体内容的特征。例如，取代简单的暗/明分类，可基于亮度的水平将平均亮度分组成人类感知无法区分的八个不同类别之一。属性(106)也可表示多个属性的组合。例如，属性(106)可为根据一个或更多个低级属性确定的高级属性。低级属性可表示用来确定例如高级属性的另一属性的任何属性。低级属性的示例包括可用于确定诸如室内场景、室外场景、白天场景、或夜晚场景的高级属性的平均亮度。另外，可组合多个低级属性来确定具有更高置信度水平的高级属性，其中每个低级属性指示特定的高级属性。例如，可将平均亮度与诸如SIFT(尺度不变特征转换，scale invariant feature transform)的局部特征检测器相组合。局部特征检测器会捕获关于场景中的对象的信息。由于高平均亮度和汽车特征都指示室外场景，所以可使用对高平均亮度的检测和对汽车特征的检测来确定具有高置信度水平的室外场景。
属性识别单元(104)可被配置成通过分析媒体内容(102)以确定属性(106)、接收指示媒体内容(102)的属性(106)的用户输入、从与媒体内容(102)相关联的元数据提取属性(106)、经由从被识别的较低级属性(106)进行映射来确定更高级属性(106)、或经由任何其它合适的方法，来在媒体内容中识别属性。属性识别单元(104)可基于对媒体内容(102)的分析正确地或不正确地在媒体内容中识别属性(106)。如本文中所指的，媒体内容(104)中被识别的属性(106)仅仅是基于对媒体内容(102)的分析而被假设为在媒体内容(102)中的属性。由于分析可能不正确，所以媒体内容中被识别的属性(106)不一定在媒体内容(102)中。另外，未被属性识别单元(104)识别的属性(106)实际上可在媒体内容(102)中。
在可能的实施例中，媒体内容分类单元(108)对应于被配置成基于媒体内容(102)中被识别的属性(106)对媒体内容(102)进行分类的软件和/或硬件。媒体内容分类单元(108)可被配置成基于媒体内容(102)中被识别的属性(106)来提供媒体内容(102)的离散分类值或连续分类值(110)。在简单的实施例中，分类值(110)可为媒体内容(102)中被识别的所有属性(106)的列表或媒体内容(102)中被识别的所有属性(106)的其它表示。在可能的实施例中，媒体内容分类单元(108)可生成媒体内容(102)中每个被识别的属性(106)的属性值，其后基于属性值来计算分类值(110)(例如，包括一个或更多个数字)。每个属性值可直接表示媒体内容中被识别的相应属性的存在或不存在。例如，当针对三个属性的存在或不存在分析图像时，在第二和第三个属性存在的情况下，则图像的分类值(110)可为集合(0，1，1)表示。分类值(110)可包括一个或更多个数字、字符、和/或符号。也可通过将函数应用于属性值以获得单个数字，来获得媒体内容的分类值(110)。例如，对于三个属性值0、1和1，分类值(110)可为被计算为0.6667的属性值的平均值。在实施例中，分类值(110)自身可指示用来计算该分类值(110)的属性(106)。例如，媒体内容(102)的分类值“CE”可指示媒体内容(102)具有属性C和E。
在实施例中，可与在媒体内容中识别属性(106)一起使用置信度测量(可与置信度水平互换使用)。属性值的置信度测量指示属性的存在的可能性。例如，对图像的分析可导致指示汽车的五个特征中的四个存在于图像中的确定。基于该确定，针对汽车在图像中的存在可计算80％的置信度测量(用4除以5)。除了使用属性值之外还可使用该置信度测量来计算分类值(110)，或者该置信度测量可为属性值自身的一部分。例如，当图像分析对三个属性的存在进行检索并且确定第一属性不存在、第二属性以80％的置信度水平存在、以及第三属性以100％的置信度水平存在时，则分类值(110)可为集合(0，0.8，1)。用于检测十个不同属性的图像分析可导致包括表示十个属性的存在的十个数字的集合的分类值(110)，或者可替代地，包括任何其它适合大小的集合的分类值(110)。在实施例中，可对属性值进行加权。例如，在计算分类值(110)时，与难以检测的属性的属性值相比，可对容易检测的属性的属性值更重地进行加权。
在可能的实施例中，指纹存储单元(116)对应于被配置成基于媒体内容(102)的分类值(110)将媒体内容(102)的指纹(114)存储在数据仓库(120)中的软件和/或硬件。例如，可根据媒体内容(102)的分类值(110)对媒体内容(102)的指纹(114)编索引。另一示例可涉及在树的节点处存储每个指纹(114)，其中通过与相应的指纹相关联的分类值(110)来标识每个节点。另一示例可涉及与媒体内容(102)的分类值(110)成对地存储媒体内容(102)的每个指纹(114)。可使用大量的其它实现来存储指纹(114)，其直接或间接将媒体内容(102)的指纹(114)与媒体内容(102)的分类值(110)相链接。
在可能的实施例中，指纹查询单元(118)对应于被配置成基于媒体内容(102)的分类值(110)检索从数据仓库(120)中的媒体内容导出的指纹(114)的软件和/或硬件。例如，指纹查询单元(118)可针对媒体内容(102)的分类值(110)检索数据仓库(120)，并且接收具有该分类值(110)的媒体内容的所有指纹。经由指纹查询单元(118)将从数据仓库(120)接收的指纹与查询指纹(114)进行比较，以识别匹配。识别匹配可涉及寻找完全匹配，或者寻找匹配的指纹的一小部分不相同的近似匹配。
在本发明的一个或更多个实施例中，数据仓库(120)对应于任何数据存储设备(例如，客户端机器上的本地存储器、经由因特网连接的多个服务器、局域网内的***、移动装置上的存储器等)，或者本领域中公知的数据库，其中可基于对应的媒体内容(102)的分类值(110)来存储和/或查询媒体内容指纹(114)。在本发明的一个或更多个实施例中，可限制和/或保护对数据仓库(120)的访问。因而，对数据仓库(120)的访问可要求使用密码、安全问题、个人识别码(PIN)、生物测量、和/或任何其它适合的认证机制进行认证。数据仓库(120)中存储的数据的元素或各个部分可分布和存储在多个数据仓库中(例如，世界上的服务器)。在本发明的一个或更多个实施例中，数据仓库(120)包括平的、层次的、基于网络的、关系的、维度的、对象建模的、或数据文件结构的等。例如，数据仓库(120)可被保持为SQL数据库的表。另外，可对照其它仓库中存储的数据来验证数据仓库(120)中的数据。
3.0基于媒体内容分类来存储指纹
图2图示用于基于媒体内容的分类来存储从媒体内容导出的指纹的一个示例方法。可同时修改、重排列、或省略图2中图示的一个或更多个步骤。
如图2所示，从媒体内容导出要存储的指纹(步骤102)。在可能的实施例中，可通过将一个或更多个函数应用于根据媒体内容计算的值来导出指纹。例如，函数可使用单个图像内的亮度值的差异来导出指纹。另一示例可涉及应用这样的函数，该函数捕获视频剪辑的不同帧之间的亮度值的差异。函数可将根据媒体内容计算的亮度值的范围投影到向量集以获得投影的值的集合，并且根据投影的值计算构成指纹的签名比特。另外，可使用任何其它的从音频、可视、和音频/可视媒体内容导出指纹的方法。
在可能的实施例中，获得媒体内容的属性(步骤204)。获得属性可涉及分析媒体内容以确定属性、从用户接收属性、从元数据提取属性、基于媒体内容的源来估计属性、或使用任何其它适合的方法。可通过针对指示属性的具体的预定特征检索图像或视频剪辑，来识别可视属性。例如，可针对嗖嗖通过球网而没有碰撞篮框的篮球的独特声音，来检索音频/可视剪辑。球网的该嗖嗖声可与篮球比赛相关联。因此，可利用作为音频/可视剪辑的属性的篮球比赛来识别具有该嗖嗖声的音频/可视剪辑。在另一示例中，可通过图像分析在图像中识别眼睛角膜的独特反射，并且做出图像具有人脸的推论。在另一示例中，可分析音频剪辑以基于音频剪辑中的节奏音符来确定音频剪辑是瑞格舞(reggae)音乐。因此，音频剪辑的至少一个属性可被定义为瑞格舞音乐。根据一个或更多个实施例，可在媒体内容中检索和识别任意数量的属性。在另一示例中，可从篮球当局接收媒体剪辑，并且基于该源，可将该媒体剪辑与运动属性或篮球属性相关联。
在可能的实施例中，根据媒体内容的属性来计算媒体内容的分类值(步骤206)，并且基于媒体内容的分类值来存储从媒体内容导出的指纹(步骤208)。计算分类值可涉及简单地列出属性或属性的表示(例如，数字的、基于文本的、图形的等)。属性的每个组合可为可能的预定分类值的集合之一。例如，如图4A所示，针对具有被识别的属性A、C和D的媒体内容，可计算分类值ACD(402)。然后，基于分类值ACD(402)对从具有被识别的属性A、C和D的媒体内容导出的指纹编索引。类似地，分类值CE(404)、AFK(406)、K(410)、和ABCDEFK(412)用于具有相应属性的媒体内容的分类，并且将从媒体内容导出的指纹与对应的分类值一起存储。没有任何被识别的属性的媒体内容也可具有分类值(例如，分类值空白(408))，其中基于该分类值存储从媒体内容导出的指纹。在可能的实施例中，分类值对应于树的节点。例如，如图4B所示，可基于媒体内容的属性将媒体内容(420)的指纹分类到树的节点中。在该例示性图中，首先按照类型(例如，新闻(422)、电影(424)、运动(426)等)对指纹进行分类。其后，基于与该属性相关的子属性对指纹进行分类。例如，在新闻(422)类型下，可将室内(428)场景和室外(430)场景用作类型下的子分类。在运动(426)下，可按照运动(例如，篮球(432)、棒球(434)等)对指纹进行分类。类似地，其它属性(例如，没有人脸(436)、人脸(438)、白天(440)、夜晚(442)、汽车(444)、没有汽车(446)、汽车(448)、没有汽车(450))可用于分类。因此，每个节点对应于已经被遍历而到达该节点的属性。因此，可从夜晚在室外拍摄的、不存在汽车的新闻，来导出从与没有汽车节点(450)关联存储的媒体内容导出的指纹。
在可能的实施例中，计算分类值可涉及将函数应用于基于属性的值。例如，每个属性的存在或不存在可与具体的属性值相关联，并且可基于通过媒体内容分析而确定的属性值来计算分类值。例如，可将媒体内容中被识别的每个属性的、指示属性的存在的置信度水平乘以N个正交向量，以提供多维空间中的分类值。因此，基于分类值，数据库中的每个媒体内容可与多维空间中的对应的分类值相关联。在可能的实施例中，可基于媒体内容中被识别的属性来计算具有单个数字的分类值。因此，如例示性图4C中所见的，分类值(460)的集合可被映射成具有对应的指纹的单维，其中该指纹与分类值相同的媒体内容相关联。在另一示例中，二维空间可被划分成对应于预定分类值的不同区域。其后，包括基于属性的集合而计算的值的、与预定区域相关联的分类值是赋给媒体内容的分类值。
4.0基于媒体内容的分类来检索媒体内容的指纹
图3图示用于基于媒体内容的分类来检索从媒体内容导出的指纹的一个示例方法。可同时修改、重排、或省略图3中图示的一个或更多个步骤。
图3中图示的步骤302-步骤306实质上与图2中图示的步骤202-步骤206相同。在可能的实施例中，基于查询媒体内容的属性而计算的分类值用来识别从具有类似分类值的媒体内容导出的指纹的检索组(步骤308)。指纹的检索组包括被检索以识别与从查询媒体内容导出的查询指纹相匹配(例如，完全匹配或近似匹配)的指纹的集合。在基于离散分类的方案中，如图4A图示的，被识别的检索组可包括从媒体内容导出的、具有与查询媒体内容完全相同的分类值或具有与查询媒体内容近似的分类值的指纹。在将指纹组织成层级结构的可能实施例中，如图4B图示的，查询媒体内容的分类值可用来遍历到特定的节点，并且该节点或该节点的子节点处存储的所有指纹可用来形成检索组。在分类值包括一维或更多维(例如，图4C中图示的一维)的连续数字的可能实施例中，检索组可包括从分类值在相对于查询分类值的预定范围内的媒体内容导出的指纹。如图4C中为便于说明的单维中可视地图示的，将作为查询媒体内容的分类值的值X(465)与其它分类值(例如，分类值A-分类值H)进行比较。其后，首先为了寻找匹配，将从分类值最接近值X的媒体内容导出的指纹与查询指纹进行比较。在该情况下，如果基于距离来实现严格的连续顺序，则可将从具有分类值E、D、C、F、G、H、B、A(按照该顺序)的媒体内容导出的指纹与从具有分类值X的媒体内容导出的查询指纹进行比较，以识别匹配。分类值E、D、C、F、G、H、B、A的序列是从相对于分类值X的最短距离到最长距离来排序的。在该示例中，可使用相对于分类值X的预定范围来限制检索组的大小。基于从查询媒体内容的分类值到其它分类值的距离进行排序/排列也可应用在多维空间中。在实施例中，将每个媒体内容的分类值与查询分类值进行比较，以确定相应的距离。其后，按照最小距离到最大距离的顺序，将对应的媒体内容/指纹与查询媒体内容/查询指纹进行比较。如果分类值不是数字的，则顺序可基于分类值与查询分类值之间的相似度来确定。
其后，确定在指纹的检索组中是否发现从查询媒体内容导出的查询指纹(步骤312)。如果查询指纹匹配指纹检索组中的目标指纹，则可识别与目标指纹相关联的目标媒体内容。目标媒体内容可与查询媒体内容相同，可具有与查询媒体内容交叠的部分，对查询媒体内容的修改等。如果未发现查询指纹，修改在步骤304中基于媒体内容的分析而被识别的属性的集合(步骤314)。例如，可从用于计算分类值的属性的集合中丢弃具有低置信度测量的属性或一般难以检测的属性。也可将属性的集合修改成包括与之前被识别的属性类似的属性。例如，用于识别新闻类型的字的单调陈述可替代用于识别宗教布道类型。可使用任何算法来修改用于计算查询媒体内容的新分类值的属性的集合。在可能的实施例中，取代或在修改属性的集合之外，还可扩展步骤308中被识别的检索组。例如，在层级组织方案中，如图4B图示的，如果被识别的第一检索组包括从与棒球(432)有关的媒体内容导出的指纹，则新检索组可包括从与运动(426)有关的所有媒体内容导出的指纹。如图4C所示的涉及一维或更多维的连续分类值的示例，到查询媒体内容的分类值的距离可增加到包括额外的分类值，从而包括从具有额外附加值的媒体内容导出的更多指纹。
以上关于通常对应于媒体内容的媒体指纹描述了本发明的示例实施例。在示例实施例的描述中，已经使用具体的***架构和方法描述了根据媒体内容的基于属性的分类值来存储和检索从媒体内容导出的指纹。仅仅为了简单和一致而提供以上描述中的这样的具体***架构和方法，其不应被解释为限制。实施例非常适合于利用任何媒体内容来运行，其中任何媒体内容包括但不限于静止图像、视频媒体、音频媒体、音频/可视媒体、作为媒体内容剪辑的音频剪辑的音频频谱图。
5.0实现机制
根据一个实施例，可通过一个或更多个专用计算装置来实现本文中描述的技术。专用计算装置可被硬接线成执行技术，或者可包括被永久编程成执行技术的数字电子装置，例如一个或更多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可包括被编程成按照固件、存储器、其它存储器中的程序指令来执行技术的一个或更多个通用硬件处理器，或者组合。这样的专用计算装置还可将定制硬接线逻辑、ASIC、或FPGA与定制编程组合，以实现技术。专用计算装置可为桌面计算机***、便携式计算机***、手持装置、网络装置或者任何其它合并硬接线和/或编程逻辑以实现技术的装置。
例如，图5是图示其上可实现本发明的实施例的计算机***500的框图。计算机***500包括总线502或其它用于进行信息通信的通信机制，以及用于处理信息的与总线502耦合的硬件处理器504。硬件处理器例如可为通用微处理器。
计算机***500也可包括用于存储要被处理器504执行的信息和指令的、耦合到总线502的主存储器506，例如随机访问存储器(RAM)或其它动态存储装置。主存储器506也可用于在要被处理器504执行的指令的执行期间存储临时变量或其它中间信息。这样的指令，当存储在处理器504可访问的存储介质中时，使计算机***500成为被定制成执行指令中指定的操作的专用机器。
计算机***还包括用于存储处理器504的静态信息和指令的只读存储器(ROM)508或其它耦合到总线502的静态存储装置。诸如磁盘或光盘的存储装置510被设置并耦合到总线502以存储信息和指令。
计算机***500可经由总线502耦合到诸如阴极射线管(CRT)的显示器512，以向计算机用户显示信息。包括字母数字键和其它键的输入装置514耦合到总线502，以将信息和命令选择传送给处理器504。另一类型的用户输入装置是用于将方向信息和命令选择传送给处理器504以及用于控制显示器512上的光标移动的光标控制器516，例如鼠标、轨迹球、或光标方向键。该输入装置通常在第一轴(例如x)和第二轴(例如y)的两个轴上具有两个自由度，这允许该装置指定平面上的位置。
计算机***500可使用与计算机***组合而使计算机***500成为或将计算机***500编程为专用机器的定制硬接线逻辑、一个或更多个ASIC或FPGA、固件和/或程序逻辑，来实现本文中描述的技术。根据一个实施例，由计算机***500响应于处理器504执行主存储器506中包含的一个或更多个指令的一个或更多个序列，来执行本文中的技术。可将这样的指令从诸如存储装置510的另一存储介质读入到主存储器506中。执行主存储器506中包含的指令序列使处理器504执行本文中描述的处理。在替换实施例中，可替换软件指令或与软件指令组合，来使用硬接线电路。
本文中使用的术语“存储介质”指的是存储使机器以特定方式运行的数据和/或指令的任何介质。这样的存储介质可包括非易失性介质和/或易失性介质。非易失性介质例如包括光盘或磁盘，例如存储装置510。易失性存储器包括动态存储器，例如主存储器506。一般形式的存储介质包括，例如软盘、软磁盘、硬盘、固态驱动器、磁带、或任何其它磁数据存储介质、CD-ROM、任何其它光数据存储介质、任何具有孔穴图案的物理介质、RAM、PROM、和EPROM、FLASH-EPROM、NVRAM、任何其它存储芯片或盒带(cartridge)。
存储介质不同于传输介质，但是可与传输介质结合使用。传输介质参与在存储介质之间传输信息。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线502的电线。传输介质也可采用声波或光波的形式，例如在无线电波和红外数据通信期间产生的那些。
在将一个或更多个指令的一个或更多个序列传送给处理器504以执行时可涉及各种形式的介质。例如，指令可初始地承载在远程计算机的磁盘或固态驱动器上。远程计算机可将指令装载到其动态存储器中，并且使用调制解调器经由电话线来发送指令。计算机***500的本地调制解调器可接收电话线上的数据，并使用红外发射器将数据转换成红外信号。红外检测器可检测红外信号上承载的数据，并且适当的电路可将数据放置在总线502上。总线502将数据传送到主存储器506中，其中，处理器504从主存储器506中检索并执行指令。可以可选地在处理器504的执行之前或之后，将由主存储器506接收的指令存储在存储装置510上。
计算机***500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链接520的双向数据通信，其中，网络链接连接到本地网络522。例如，通信接口518可为综合服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器、或提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口518可为局域网(LAN)卡，以提供到兼容LAN的数据通信连接。也可实现无线链接。在任意这样的实现中，通信接口518发送和接收电信号、电磁信号或光信号，其承载表示各种类型的信息的数字数据流。
网络链接520通常经由一个或更多个网络提供到其它数据装置的数据通信。例如，网络链接520可经由本地网络522提供到主计算机524或到由网络服务提供商(ISP)526运营的数据设备的连接。ISP 526又经由现在一般被称为“因特网”528的环球包数据通信网来提供数据通信服务。本地网络522和因特网528均使用承载数字数据流的电信号、电磁信号或光信号。经过各种网络的信号、和在网络链接520上及经过通信接口518的信号是传输介质的示例形式，其承载到和来自计算机***500的数字数据。
计算机***500可通过网络(多个网络)、网络链接520和通信接口518，来发送消息和接收数据，包括程序代码。在因特网的示例中，服务器530可通过因特网528、ISP 526、本地网络522和通信接口518，来传送所请求的应用程序代码。
接收到的代码可在其被接收到时由处理器504执行，和/或存储在存储装置510、或其它非易失性存储器中用于以后执行。
图6图示示例IC装置600，利用该IC装置600可实现本发明的可能实施例。IC装置600可具有输入/输出(I/O)装置601。I/O装置601接收输入信号，并且经由路由结构610将输入信号路由到中央处理单元(CPU)602，CPU 602利用存储装置603来运行。I/O装置601还接收来自IC装置600的其它部件装置的输出信号，以及可控制路由结构610上的信号流的一部分。数字信号处理(DSP)装置至少执行与数字信号处理有关的功能。接口605访问外部信号并且将其路由到I/O装置601，以及使IC装置600输出信号。路由结构610在IC装置600的各个部件装置之间路由信号和电力。
诸如逻辑门阵列的可配置和/或可编程处理器件(CPPE)611可执行IC装置600的专用功能，这些专用功能在实施例中可涉及导出和处理一般对应于媒体内容的媒体指纹。存储装置612提供充足的存储单元，以使CPPE 611有效地运行。CPPE可包括一个或更多个专用DSP装置614。6.0等同、扩展、替换及杂项
在上面的说明中，已经参考可随实现与实现而变化的许多具体细节，描述了本发明的实施例。因此，对何为本发明以及申请人所期望的发明的唯一和排他的指示是以公布权利要求的具体形式从该申请公布的这样的权利要求的集合，包括任何随后的修正。本文中针对包含在这样的权利要求中的术语明确提出的任何定义应该约束权利要求中使用的这样的术语的含义。因此，权利要求中未明确记载的限制、部件、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，说明书和附图被认为是说明意义上的，而不是限制意义上的。
因此，本发明的实施例可涉及以下列举的示例实施例中的一个或更多个。
1.一种方法，包括：在第一媒体内容中识别至少一个属性；基于至少一个属性来计算第一媒体内容的第一分类值；以及基于第一分类值将从第一媒体内容导出的第一指纹存储在数据库中，其中，该方法由包括处理器、基于软件指令集被配置成专用机器的通用机器来执行。
2.如列举的示例实施例1中所述的方法，其中，计算第一媒体内容的第一分类值包括基于至少一个属性从多个预定分类值中选择第一分类值。
3.如列举的示例实施例1中所述的方法，其中，以能够基于第一分类值来识别至少一个属性的方式来计算第一分类值。
4.如列举的示例实施例1中所述的方法，还包括：基于第一媒体内容中被识别的多个属性来计算第一媒体内容的第一分类值。
5.如列举的示例实施例1中所述的方法，其中，基于至少一个属性来计算第一媒体内容的第一分类值包括：计算第一媒体内容中被识别的至少一个属性中的每个属性的一个或更多个属性值；以及基于至少一个属性中的每个属性的一个或更多个属性值来确定第一分类值。
6.如列举的示例实施例1中所述的方法，其中，至少一个属性包括以下中的一个或更多个：媒体内容中的预定的可听得见的声音；或者媒体内容中的预定的可视觉感知到的特征。
7.如列举的示例实施例1中所述的方法，其中，在第一媒体内容中识别至少一个属性包括以下中的一个或更多个：分析第一媒体内容以检测至少一个属性；基于与第一媒体内容相关联的元数据，在第一媒体内容中识别至少一个属性；或者基于用户输入，在第一媒体内容中识别至少一个属性。
8.如列举的示例实施例1所述的方法，还包括：通过以下步骤来检索从第二媒体内容导出的第二指纹：确定第二媒体内容包括至少一个属性；基于至少一个属性来计算第二媒体内容的第二分类值；确定第二媒体内容的第二分类值与第一分类值相同；响应于确定第二分类值与第一分类值相同，将第一指纹与第二指纹进行比较；以及基于确定第一指纹类似于第二指纹，确定第二媒体内容是从第一媒体内容导出的。
9.一种方法，包括：在查询媒体内容中识别第一组多个属性；基于第一组多个属性来计算查询媒体内容的第一分类值；基于以下项将第一组多个指纹识别为第一检索组：从第一组多个媒体内容导出的第一组多个指纹；以及与第一分类值相关联的第一组多个媒体内容；以及在第一检索组中检索从查询媒体内容导出的指纹，其中，该方法由包括处理器、基于软件指令集被配置成专用机器的通用机器来执行。
10.如列举的示例实施例9中所述的方法，其中在第一检索组中未发现指纹，以及其中基于第一属性和第二属性来计算第一分类值，还包括：响应于在第一检索组中未发现指纹：从第一组多个属性中移除属性，以获得第二组多个属性；基于第二组多个属性来计算查询媒体内容的第二分类值；基于以下项将第二组多个指纹识别为第二检索组：从第二组多个媒体内容导出的第二组多个指纹；以及与第二组分类值相关联的第二组多个媒体内容；在第二检索组中检索从查询媒体内容导出的指纹。
11.如列举的示例实施例10中所述的方法，其中，在第二组多个指纹中发现指纹。
12.如列举的示例实施例10中所述的方法，其中，从第一组多个属性中移除属性以获得第二组多个属性响应于第一组多个属性中的属性的低置信度测量而进行。
13.如列举的示例实施例12中所述的方法，其中，属性的低置信度测量相对于第一组多个属性中的其它属性的置信度测量是低的。
14.如列举的示例实施例9中所述的方法，其中，第一组多个媒体内容中的每个媒体内容与在相对于第一分类值的预定范围内的分类值相关联。
15.如列举的示例实施例9中所述的方法，其中，在查询媒体内容中识别第一组多个属性包括以下中的一个或更多个：分析查询媒体内容以检测第一组多个属性；基于与查询媒体内容相关联的元数据，在查询媒体内容中识别第一组多个属性；或者基于用户输入，在查询媒体内容中识别第一组多个属性。
16.如列举的示例实施例9中所述的方法，还包括：确定第一组多个媒体内容中的每个媒体内容的分类值与第一媒体内容的第一分类值之间的距离；基于各个分类值与第一分类值之间的最小距离到最大距离来确定第一组多个媒体内容的顺序；其中，按照各个第一组多个媒体内容的顺序来检索第一组多个指纹。
17.一种***，包括：一个或更多个处理器，以及具有一个或更多个存储指令序列的计算机可读存储介质，一个或更多个存储指令序列当通过一个或更多个处理器执行时，使一个或更多个处理器执行以下步骤：在第一媒体内容中识别至少一个属性；基于至少一个属性来计算第一媒体内容的第一分类值；以及基于第一分类值将从第一媒体内容导出的第一指纹存储在数据库中。
18.如列举的示例实施例17中所述的***，其中，计算第一媒体内容的第一分类值包括基于至少一个属性从多个预定分类值中选择第一分类值。
19.如列举的示例实施例17中所述的***，其中，一个或更多个指令序列当通过处理器执行时，使处理器还执行以下步骤：基于第一媒体内容中被识别的多个属性来计算第一媒体内容的第一分类值。
20.如列举的示例实施例17中所述的***，其中，基于至少一个属性来计算第一媒体内容的第一分类值包括：计算第一媒体内容中被识别的至少一个属性中的每个属性的一个或更多个属性值；以及基于至少一个属性中的每个属性的一个或更多个属性值来确定第一分类值。
21.如列举的示例实施例17中所述的***，其中，至少一个属性包括：媒体内容中的预定的可听得见的声音；或者媒体内容中的预定的可视觉感知到的特征。
22.如列举的示例实施例17中所述的***，其中，在第一媒体内容中识别至少一个属性包括以下中的一个或更多个：分析第一媒体内容以检测至少一个属性；基于与第一媒体内容相关联的元数据，在第一媒体内容中识别至少一个属性；或者基于用户输入，在第一媒体内容中识别至少一个属性。
23.如列举的示例实施例17中所述的***，一个或更多个指令序列当通过处理器执行时，使处理器还执行以下步骤：通过以下步骤来检索从第二媒体内容导出的第二指纹：确定第二媒体内容包括至少一个属性；基于至少一个属性来计算第二媒体内容的第二分类值；确定第二媒体内容的第二分类值与第一分类值相同；响应于确定第二分类值与第一分类值相同，将第一指纹与第二指纹进行比较；以及基于确定第一指纹类似于第二指纹，确定第二媒体内容是从第一媒体内容导出的。
24.一种***，包括：一个或更多个处理器，以及具有一个或更多个存储指令序列的计算机可读存储介质，一个或更多个存储指令序列当通过一个或更多个处理器执行时，使一个或更多个处理器执行以下步骤：在查询媒体内容中识别第一组多个属性；基于第一组多个属性来计算查询媒体内容的第一分类值；基于以下项将第一组多个指纹识别为第一检索组：从第一组多个媒体内容导出的第一组多个指纹；以及与第一分类值相关联的第一组多个媒体内容；以及在第一检索组中检索从查询媒体内容导出的指纹。
25.如列举的示例实施例24中所述的***，其中在第一检索组中未发现指纹，以及其中基于第一属性和第二属性来计算第一分类值，还包括：响应于在第一检索组中未发现指纹：从第一组多个属性中移除属性，以获得第二组多个属性；基于第组二多个属性来计算查询媒体内容的第二分类值；基于以下项将第二组多个指纹识别为第二检索组：从第二组多个媒体内容导出的第二组多个指纹；以及与第二分类值相关联的第二组多个媒体内容；在第二检索组中检索从查询媒体内容导出的指纹。
26.如列举的示例实施例25中所述的***，其中，在第二组多个指纹中发现指纹。
27.如列举的示例实施例25中所述的***，其中，从第一组多个属性中移除属性以获得第二组多个属性响应于第一组多个属性中的属性的低置信度测量而进行。
28.如列举的示例实施例27中所述的***，其中，属性的低置信度测量相对于第一组多个属性中的其它属性的置信度测量是低的。
29.如列举的示例实施例24中所述的***，其中，利用与在相对于第一分类值的预定范围内的分类值相关联的第一组多个媒体内容中的每个媒体内容，来定义与第一分类值相关联的第一组多个媒体内容。
30.如列举的示例实施例24中所述的***，其中，在查询媒体内容中识别第一组多个属性包括以下中的一个或更多个：分析查询媒体内容以检测第一组多个属性；基于与查询媒体内容相关联的元数据，在查询媒体内容中识别第一组多个属性；或者基于用户输入，在查询媒体内容中识别第一组多个属性。
31.如列举的示例实施例24中所述的***，一个或更多个存储指令序列当通过一个或更多个处理器执行时，使一个或更多个处理器还执行以下步骤：确定第一组多个媒体内容中的每个媒体内容的分类值与第一媒体内容的第一分类值之间的距离；基于各个分类值与第一分类值之间的最小距离到最大距离来确定第一组多个媒体内容的顺序；其中，按照各个第一组多个媒体内容的顺序来检索第一组多个指纹。
32.一种具有经编码的指令的计算机可读存储介质，当指令被一个或更多个处理器执行时，使一个或更多个处理器执行以下步骤：在第一媒体内容中识别至少一个属性；基于至少一个属性来计算第一媒体内容的第一分类值；以及基于第一分类值将从第一媒体内容导出的第一指纹存储在数据库中，其中，该方法由包括处理器、基于软件指令集被配置成专用机器的通用机器来执行。
33.如列举的示例实施例32中所述的计算机可读存储介质，其中，计算第一媒体内容的第一分类值包括基于至少一个属性从多个预定分类值中选择第一分类值。
34.如列举的示例实施例32中所述的计算机可读存储介质，还包括：基于第一媒体内容中被识别的多个属性来计算第一媒体内容的第一分类值。
35.如列举的示例实施例32中所述的计算机可读存储介质，其中，基于至少一个属性来计算第一媒体内容的第一分类值包括：计算第一媒体内容中被识别的至少一个属性中的每个属性的一个或更多个属性值；以及基于至少一个属性中的每个属性的一个或更多个属性值来确定第一分类值。
36.如列举的示例实施例32中所述的计算机可读存储介质，其中，至少一个属性包括以下中的一个或更多个：媒体内容中的预定的可听得见的声音；或者媒体内容中的预定的可视觉感知到的特征。
37.如列举的示例实施例32中所述的计算机可读存储介质，其中，在第一媒体内容中识别至少一个属性包括以下中的一个或更多个：分析第一媒体内容以检测至少一个属性；基于与第一媒体内容相关联的元数据，在第一媒体内容中识别至少一个属性；或者基于用户输入，在第一媒体内容中识别至少一个属性。
38.如列举的示例实施例32中所述的计算机可读存储介质，还包括：通过以下步骤来检索从第二媒体内容导出的第二指纹：确定第二媒体内容包括至少一个属性；基于至少一个属性来计算第二媒体内容的第二分类值；确定第二媒体内容的第二分类值与第一分类值相同；响应于确定第二分类值与第一分类值相同，将第一指纹与第二指纹进行比较；以及基于确定第一指纹类似于第二指纹，确定第二媒体内容是从第一媒体内容导出的。
39.一种具有经编码的指令的计算机可读存储介质，当指令被一个或更多个处理器执行时，使一个或更多个处理器执行以下步骤：在查询媒体内容中识别第一组多个属性；基于第一组多个属性来计算查询媒体内容的第一分类值；基于以下项将第一组多个指纹识别为第一检索组：从第一组多个媒体内容导出的第一组多个指纹；以及与第一分类值相关联的第一组多个媒体内容；以及在第一检索组中检索从查询媒体内容导出的指纹。
40.如列举的示例实施例39中所述的计算机可读存储介质，其中在第一检索组中未发现指纹，以及其中基于第一属性和第二属性来计算第一分类值，还包括：响应于在第一检索组中未发现指纹：从第一组多个属性中移除属性，以获得第二组多个属性；基于第二组多个属性来计算查询媒体内容的第二分类值；基于以下项将第二组多个指纹识别为第二检索组：
从第二组多个媒体内容导出的第二组多个指纹；以及
与第二分类值相关联的第二组多个媒体内容；
在第二检索组中检索从查询媒体内容导出的指纹。
41.如列举的示例实施例40中所述的计算机可读存储介质，其中，在第二组多个指纹中发现指纹。
42.如列举的示例实施例40中所述的计算机可读存储介质，其中，从第一组多个属性中移除属性以获得第二组多个属性响应于第一组多个属性中的属性的低置信度测量而进行。
43.如列举的示例实施例42中所述的计算机可读存储介质，其中，属性的置信度测量相对于第一组多个属性中的其它属性的置信度测量是低的。
44.如列举的示例实施例39中所述的计算机可读存储介质，其中，利用与在相对于第一分类值的预定范围内的分类值相关联的第一组多个媒体内容中的每个媒体内容，来定义与第一分类值相关联的第一组多个媒体内容。
45.如列举的示例实施例39中所述的计算机可读存储介质，其中，在查询媒体内容中识别第一组多个属性包括以下中的一个或更多个：分析查询媒体内容以检测第一组多个属性；基于与查询媒体内容相关联的元数据，在查询媒体内容中识别第一组多个属性；或者基于用户输入，在查询媒体内容中识别第一组多个属性。
46.如列举的示例实施例39中所记载的计算机可读存储介质，当经编码的指令被一个或更多个处理器执行时，使一个或更多个处理器执行步骤，包括：确定第一组多个媒体内容中的每个媒体内容的分类值与第一媒体内容的第一分类值之间的距离；基于各个分类值与第一分类值之间的最小距离到最大距离来确定第一组多个媒体内容的顺序；其中，按照各个第一组多个媒体内容的顺序来检索第一组多个指纹。
47.一种计算机***的用途，包括：在第一媒体内容中识别至少一个属性；基于至少一个属性来计算第一媒体内容的第一分类值；以及基于第一分类值将从第一媒体内容导出的第一指纹存储在数据库中。
48.一种计算机***的用途，包括：在查询媒体内容中识别第一组多个属性；基于第一组多个属性来计算查询媒体内容的第一分类值；基于以下项将第一组多个指纹识别为第一检索组：从第一组多个媒体内容导出的第一组多个指纹；以及与第一分类值相关联的第一组多个媒体内容；以及在第一检索组中检索从查询媒体内容导出的指纹。
49.一种***，包括：用于在第一媒体内容中识别至少一个属性的装置；用于基于至少一个属性来计算第一媒体内容的第一分类值的装置；以及用于基于第一分类值将从第一媒体内容导出的第一指纹存储在数据库中的装置。
50.一种***，包括：用于在查询媒体内容中识别第一组多个属性的装置；用于基于第一组多个属性来计算查询媒体内容的第一分类值的装置；用于基于以下项将第一组多个指纹识别为第一检索组的装置：从第一组多个媒体内容导出的第一组多个指纹；以及与第一分类值相关联的第一组多个媒体内容；以及用于在第一检索组中检索从查询媒体内容导出的指纹的装置。

Claims (42)

1.一种存储指纹的方法，包括：
在第一媒体内容中识别至少一个属性，其中，所述至少一个属性包括以下中的一个或更多个：
所述媒体内容中的预定的可听得见的声音；或者
所述媒体内容中的预定的可视觉感知到的特征；
计算所述第一媒体内容中被识别的所述至少一个属性中的每个属性的属性值，其中，所述属性值表示相应的所述属性在所述第一媒体内容中的存在或不存在；
基于所述至少一个属性值来计算所述第一媒体内容的第一分类值；以及
将从所述第一媒体内容导出的第一指纹存储在数据库中，其中，所述第一指纹链接到所述第一分类值，
其中，所述方法由包括处理器、基于软件指令集被配置成专用机器的通用机器来执行。
2.如权利要求1所述的方法，其中，所述属性值包括置信度测量，所述置信度测量指示相应的所述属性在所述第一媒体内容中的所述存在的可能性。
3.如权利要求1或权利要求2所述的方法，其中，当计算所述第一分类值时，对所述属性值进行加权。
4.如权利要求3所述的方法，其中，所述属性值的加权取决于对应的所述属性的可检测度。
5.如权利要求1所述的方法，其中，识别所述第一媒体内容的所述至少一个属性包括：
接收指示所述至少一个属性的用户输入；
通过使用音频/视频分析方法，分析所述第一媒体内容以检测所接收的所述至少一个属性；
在所述第一媒体内容中识别所接收的所述至少一个属性。
6.如权利要求1所述的方法，其中，识别所述第一媒体内容的所述至少一个属性包括：
从与所述第一媒体内容相关联的元数据中提取所述至少一个属性；
通过使用音频/视频分析方法，分析所述第一媒体内容以检测所提取的所述至少一个属性；
在所述第一媒体内容中识别所提取的所述至少一个属性。
7.如权利要求1所述的方法，其中，将所述第一媒体内容的所述第一指纹与所述第一分类值成对地存储。
8.如权利要求1所述的方法，其中，将所述第一媒体内容的所述第一指纹存储在树的节点处，其中，每个节点由与相应的所述指纹相关联的分类值来标识。
9.如权利要求1所述的方法，其中，所述第一指纹的所述存储包括将所述第一媒体内容的所述第一指纹索引在所述第一分类值下。
10.如权利要求1所述的方法，还包括：
通过以下步骤来检索从第二媒体内容导出的第二指纹：
确定所述第二媒体内容包括所述至少一个属性；
基于所述至少一个属性来计算所述第二媒体内容的第二分类值；
确定所述第二媒体内容的所述第二分类值与所述第一分类值相同；
响应于确定所述第二分类值与所述第一分类值相同，将所述第一指纹与所述第二指纹进行比较；以及
基于确定所述第一指纹类似于所述第二指纹，确定所述第二媒体内容是从所述第一媒体内容导出的。
11.如权利要求1所述的方法，其中，所述至少一个属性包括关于场景中的对象的信息。
12.如权利要求1所述的方法，其中，所述至少一个属性指的是类型、室内场景、室外场景、白天场景或夜晚场景。
13.一种搜索指纹的方法，包括：
在查询媒体内容中识别第一组多个属性，其中，每个属性包括以下中的一个或更多个：
所述媒体内容中的预定的可听得见的声音；或者
所述媒体内容中的预定的可视觉感知到的特征；
计算所述查询媒体内容中被识别的所述第一组多个属性中的每个属性的属性值，其中，所述属性值表示相应的所述属性在所述查询媒体内容中的存在或不存在；
基于所述第一组多个属性的所述属性值来计算所述查询媒体内容的第一分类值；
基于以下项将第一组多个指纹识别为第一检索组：
从第一组多个媒体导出的所述第一组多个指纹；以及
与所述第一组分类值相关联的所述第一组多个媒体内容；以及
在所述第一检索组中检索从所述查询媒体内容导出的指纹，
其中，所述方法由包括处理器、基于软件指令集被配置成专用机器的通用机器来执行。
14.如权利要求13所述的方法，其中在所述第一检索组中未发现所述指纹，还包括：
响应于在所述第一检索组中未发现所述指纹：
从所述第一组多个属性中移除属性，以获得第二组多个属性；
基于所述第二组多个属性来计算所述查询媒体内容的第二分类值；
基于以下项将第二组多个指纹识别为第二检索组：
从第二组多个媒体内容导出的所述第二组多个指纹；以及
与所述第二分类值相关联的所述第二组多个媒体内容；以及在所述第二检索组中检索从所述查询媒体内容导出的所述指纹。
15.如权利要求14所述的方法，其中，在所述第二组多个指纹中发现所述指纹。
16.如权利要求14所述的方法，其中，从所述第一组多个属性中移除所述属性以获得所述第二组多个属性响应于所述第一组多个属性中的所述属性的低置信度测量而进行。
17.如权利要求16所述的方法，其中，所述属性的所述低置信度测量相对于所述第一组多个属性中的其它属性的置信度测量是低的。
18.如权利要求13所述的方法，其中，所述第一组多个媒体内容中的每个媒体内容与在相对于所述第一分类值的预定范围内的分类值相关联。
19.如权利要求13所述的方法，其中，在所述查询媒体内容中识别所述第一组多个属性包括以下中的一个或更多个：
分析所述查询媒体内容以检测所述第一组多个属性；
基于与所述查询媒体内容相关联的元数据，在所述查询媒体内容中识别所述第一组多个属性；或者
基于用户输入，在所述查询媒体内容中识别所述第一组多个属性。
20.如权利要求13所述的方法，还包括：
确定所述第一组多个媒体内容中的每个媒体内容的分类值与所述查询媒体内容的所述第一分类值之间的距离；以及
基于各个分类值与所述第一分类值之间的最小距离到最大距离来确定所述第一组多个媒体内容的顺序；
其中，按照各个所述第一组多个媒体内容的顺序来检索所述第一组多个指纹。
21.如权利要求13所述的方法，其中，所述属性包括关于场景中的对象的信息。
22.如权利要求13所述的方法，其中，所述属性指的是类型、室内场景、室外场景、白天场景或夜晚场景。
23.一种用于存储指纹的***，包括：
用于在第一媒体内容中识别至少一个属性的装置，其中，所述至少一个属性包括以下中的一个或更多个：
所述媒体内容中的预定的可听得见的声音；或者
所述媒体内容中的预定的可视觉感知到的特征；
用于计算所述第一媒体内容中被识别的所述至少一个属性中的每个属性的属性值的装置，其中，所述属性值表示相应的所述属性在所述第一媒体内容中的存在或不存在；
用于基于所述至少一个属性值来计算所述第一媒体内容的第一分类值的装置；以及
用于将从所述第一媒体内容导出的第一指纹存储在数据库中的装置，其中，所述第一指纹链接到所述第一分类值。
24.如权利要求23所述的***，其中，所述属性值包括置信度测量，所述置信度测量指示相应的所述属性在所述第一媒体内容中的所述存在的可能性。
25.如权利要求23或权利要求24所述的***，其中，当计算所述第一分类值时，对所述属性值进行加权。
26.如权利要求25所述的***，其中，所述属性值的加权取决于对应的所述属性的可检测度。
27.如权利要求23所述的***，其中，用于识别所述第一媒体内容的所述至少一个属性的装置包括：
用于接收指示所述至少一个属性的用户输入的装置；
用于通过使用音频/视频分析方法，分析所述第一媒体内容以检测所接收的所述至少一个属性的装置；
用于在所述第一媒体内容中识别所接收的所述至少一个属性的装置。
28.如权利要求23所述的***，其中，用于识别所述第一媒体内容的所述至少一个属性的装置包括：
用于从与所述第一媒体内容相关联的元数据中提取所述至少一个属性的装置；
用于通过使用音频/视频分析方法，分析所述第一媒体内容以检测所提取的所述至少一个属性的装置；
用于在所述第一媒体内容中识别所提取的所述至少一个属性的装置。
29.如权利要求23所述的***，其中，将所述第一媒体内容的所述第一指纹与所述第一分类值成对地存储。
30.如权利要求23所述的***，其中，将所述第一媒体内容的所述第一指纹存储在树的节点处，其中，每个节点由与相应的所述指纹相关联的分类值来标识。
31.如权利要求23所述的***，其中，所述第一指纹的所述存储包括将所述第一媒体内容的所述第一指纹索引在所述第一分类值下。
32.如权利要求23所述的***，还包括：
用于检索从第二媒体内容导出的第二指纹的装置，包括：
用于确定所述第二媒体内容包括所述至少一个属性的装置；
用于基于所述至少一个属性来计算所述第二媒体内容的第二分类值的装置；
用于确定所述第二媒体内容的所述第二分类值与所述第一分类值相同的装置；
用于响应于确定所述第二分类值与所述第一分类值相同，将所述第一指纹与所述第二指纹进行比较的装置；以及
用于基于确定所述第一指纹类似于所述第二指纹，确定所述第二媒体内容是从所述第一媒体内容导出的装置。
33.一种用于搜索指纹的***，包括：
用于在查询媒体内容中识别第一组多个属性的装置，其中，每个属性包括以下中的一个或更多个：
所述媒体内容中的预定的可听得见的声音；或者
所述媒体内容中的预定的可视觉感知到的特征；
用于计算所述查询媒体内容中被识别的所述第一组多个属性中的每个属性的属性值的装置，其中，所述属性值表示相应的所述属性在所述查询媒体内容中的存在或不存在；
用于基于所述第一组多个属性的所述属性值来计算所述查询媒体内容的第一分类值的装置；
用于基于以下项将第一组多个指纹识别为第一检索组的装置：
从第一组多个媒体导出的所述第一组多个指纹；以及
与所述第一组分类值相关联的所述第一组多个媒体内容；以及
用于在所述第一检索组中检索从所述查询媒体内容导出的指纹的装置。
34.如权利要求33所述的***，其中在所述第一检索组中未发现所述指纹，还包括：
响应于在所述第一检索组中未发现所述指纹：
用于从所述第一组多个属性中移除属性，以获得第二组多个属性的装置；
用于基于所述第二组多个属性来计算所述查询媒体内容的第二分类值的装置；
用于基于以下项将第二组多个指纹识别为第二检索组的装置：
从第二组多个媒体内容导出的所述第二组多个指纹；以及
与所述第二分类值相关联的所述第二组多个媒体内容；以及
用于在所述第二检索组中检索从所述查询媒体内容导出的所述指纹的装置。
35.如权利要求34所述的***，其中，在所述第二组多个指纹中发现所述指纹。
36.如权利要求34所述的***，其中，从所述第一组多个属性中移除所述属性以获得所述第二组多个属性响应于所述第一组多个属性中的所述属性的低置信度测量而进行。
37.如权利要求36所述的***，其中，所述属性的所述低置信度测量相对于所述第一组多个属性中的其它属性的置信度测量是低的。
38.如权利要求33所述的***，其中，所述第一组多个媒体内容中的每个媒体内容与在相对于所述第一分类值的预定范围内的分类值相关联。
39.如权利要求33所述的***，其中，用于在所述查询媒体内容中识别所述第一组多个属性的装置包括以下中的一个或更多个：
用于分析所述查询媒体内容以检测所述第一组多个属性的装置；
用于基于与所述查询媒体内容相关联的元数据，在所述查询媒体内容中识别所述第一组多个属性的装置；或者
用于基于用户输入，在所述查询媒体内容中识别所述第一组多个属性的装置。
40.如权利要求33所述的***，还包括：
用于确定所述第一组多个媒体内容中的每个媒体内容的分类值与所述查询媒体内容的所述第一分类值之间的距离的装置；以及
用于基于各个分类值与所述第一分类值之间的最小距离到最大距离来确定所述第一组多个媒体内容的顺序的装置；
其中，按照各个所述第一组多个媒体内容的顺序来检索所述第一组多个指纹。
41.如权利要求33-40中任一项所述的***，其中，所述属性包括关于场景中的对象的信息。
42.如权利要求33-40中任一项所述的***，其中，所述属性指的是类型、室内场景、室外场景、白天场景或夜晚场景。
CN201080019695.8A 2009-05-08 2010-05-05 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹 Expired - Fee Related CN102414683B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17681509P 2009-05-08 2009-05-08
US61/176,815 2009-05-08
PCT/US2010/033654 WO2010129630A1 (en) 2009-05-08 2010-05-05 Storing and searching fingerprints derived from media content based on a classification of the media content

Publications (2)

Publication Number Publication Date
CN102414683A CN102414683A (zh) 2012-04-11
CN102414683B true CN102414683B (zh) 2014-05-21

Family

ID=42358327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080019695.8A Expired - Fee Related CN102414683B (zh) 2009-05-08 2010-05-05 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹

Country Status (3)

Country Link
US (2) US9075897B2 (zh)
CN (1) CN102414683B (zh)
WO (1) WO2010129630A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8259806B2 (en) 2006-11-30 2012-09-04 Dolby Laboratories Licensing Corporation Extracting features of video and audio signal content to provide reliable identification of the signals
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
CN102414683B (zh) 2009-05-08 2014-05-21 杜比实验室特许公司 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹
WO2011087648A1 (en) 2009-12-22 2011-07-21 Dolby Laboratories Licensing Corporation Method to dynamically design and configure multimedia fingerprint databases
JP5810937B2 (ja) * 2012-01-25 2015-11-11 富士通株式会社 管理プログラムおよび装置
US9207964B1 (en) 2012-11-15 2015-12-08 Google Inc. Distributed batch matching of videos with dynamic resource allocation based on global score and prioritized scheduling score in a heterogeneous computing environment
KR102016545B1 (ko) * 2013-10-25 2019-10-21 한화테크윈 주식회사 검색 시스템 및 그의 동작 방법
US9141676B2 (en) * 2013-12-02 2015-09-22 Rakuten Usa, Inc. Systems and methods of modeling object networks
US9727614B1 (en) 2014-03-17 2017-08-08 Amazon Technologies, Inc. Identifying query fingerprints
US9760930B1 (en) 2014-03-17 2017-09-12 Amazon Technologies, Inc. Generating modified search results based on query fingerprints
US9747628B1 (en) 2014-03-17 2017-08-29 Amazon Technologies, Inc. Generating category layouts based on query fingerprints
US10304111B1 (en) * 2014-03-17 2019-05-28 Amazon Technologies, Inc. Category ranking based on query fingerprints
US10026107B1 (en) * 2014-03-17 2018-07-17 Amazon Technologies, Inc. Generation and classification of query fingerprints
US9720974B1 (en) 2014-03-17 2017-08-01 Amazon Technologies, Inc. Modifying user experience using query fingerprints
US9953062B2 (en) * 2014-08-18 2018-04-24 Lexisnexis, A Division Of Reed Elsevier Inc. Systems and methods for providing for display hierarchical views of content organization nodes associated with captured content and for determining organizational identifiers for captured content
KR20160044954A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치
CN104484461B (zh) * 2014-12-29 2018-03-23 北京奇虎科技有限公司 一种基于百科数据对实体进行分类的方法及***
US20190132652A1 (en) * 2016-04-18 2019-05-02 Verance Corporation System and method for signaling security and database population
CN108269127B (zh) * 2018-01-18 2022-10-21 百度在线网络技术（北京）有限公司 潜在对象挖掘方法和装置
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US10902351B1 (en) * 2019-08-05 2021-01-26 Kpn Innovations, Llc Methods and systems for using artificial intelligence to analyze user activity data
US11461700B2 (en) * 2019-08-05 2022-10-04 Kpn Innovations, Llc. Methods and systems for using artificial intelligence to analyze user activity data
US11586599B1 (en) * 2021-11-11 2023-02-21 Bank Of America Corporation Smart data warehouse protocols

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1760693A1 (en) * 2005-09-01 2007-03-07 Seet Internet Ventures Inc. Extraction and matching of characteristic fingerprints from audio signals

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
WO2001009833A2 (en) * 1999-07-30 2001-02-08 Pixlogic Llc Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance
MXPA04004645A (es) 2001-11-16 2004-08-12 Koninkl Philips Electronics Nv Metodo, cliente y servidor para actualizar base de datos de huellas digitales.
CN1596407A (zh) 2001-11-29 2005-03-16 皇家飞利浦电子股份有限公司 指纹数据库维护方法和***
US20070162761A1 (en) * 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
US8259806B2 (en) 2006-11-30 2012-09-04 Dolby Laboratories Licensing Corporation Extracting features of video and audio signal content to provide reliable identification of the signals
CN101622599A (zh) 2007-01-05 2010-01-06 格雷斯诺特公司 用于数字内容元数据的统一格式
ATE494587T1 (de) 2007-05-17 2011-01-15 Dolby Lab Licensing Corp Ableitung von gegen bildbearbeitung und rahmenratenumwandlung unempfindlichen videosignaturen
US20090063277A1 (en) 2007-08-31 2009-03-05 Dolby Laboratiories Licensing Corp. Associating information with a portion of media content
EP2198376B1 (en) 2007-10-05 2016-01-27 Dolby Laboratories Licensing Corp. Media fingerprints that reliably correspond to media content
CN102084358A (zh) 2008-02-05 2011-06-01 杜比实验室特许公司 将信息与媒体内容关联
CN101981574B (zh) 2008-03-31 2013-06-12 杜比实验室特许公司 分布式媒体指纹储存库
WO2010021965A1 (en) 2008-08-17 2010-02-25 Dolby Laboratories Licensing Corporation Signature derivation for images
US8428301B2 (en) 2008-08-22 2013-04-23 Dolby Laboratories Licensing Corporation Content identification and quality monitoring
US8700194B2 (en) 2008-08-26 2014-04-15 Dolby Laboratories Licensing Corporation Robust media fingerprints
US8071869B2 (en) 2009-05-06 2011-12-06 Gracenote, Inc. Apparatus and method for determining a prominent tempo of an audio work
CN102414683B (zh) 2009-05-08 2014-05-21 杜比实验室特许公司 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1760693A1 (en) * 2005-09-01 2007-03-07 Seet Internet Ventures Inc. Extraction and matching of characteristic fingerprints from audio signals

Also Published As

Publication number Publication date
US9075897B2 (en) 2015-07-07
US20150269149A1 (en) 2015-09-24
WO2010129630A1 (en) 2010-11-11
US20120054194A1 (en) 2012-03-01
US10296534B2 (en) 2019-05-21
CN102414683A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
CN102414683B (zh) 基于媒体内容的分类来存储和检索从媒体内容中导出的指纹
CN102460470B (zh) 基于指纹的内容识别趋势分析
EP2657884B1 (en) Identifying multimedia objects based on multimedia fingerprint
CN100383812C (zh) 信息处理装置和方法
CN108549814A (zh) 一种基于机器学习的sql注入检测方法、数据库安全***
US10614312B2 (en) Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
CN107180056B (zh) 视频中片段的匹配方法和装置
CN101853486A (zh) 一种基于局部数字指纹的图像拷贝检测方法
CN101542466A (zh) 用于提供图像处理以追踪数字信息的方法和***
KR102400987B1 (ko) 메모리 관리 장치 및 방법
KR20040021789A (ko) 상품 정보 등록 방법 및 시스템
CN115827816A (zh) 一种基于区块链的bim构件数据存证确权方法及装置
JP2007164633A (ja) コンテンツ検索方法及び装置及びプログラム
CN111738173B (zh) 视频片段检测方法、装置、电子设备及存储介质
KR101111046B1 (ko) 객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법
CN101441666B (zh) 一种基于内容的视频拷贝监测的方法及***
JP2013092941A (ja) 画像検索装置、方法、及びプログラム
CN114218383A (zh) 重复事件的判定方法、装置及应用
CN110059272B (zh) 一种页面特征识别方法和装置
Yang et al. Semi-supervised multimodal clustering algorithm integrating label signals for social event detection
CN117540038B (zh) 智能检测虚假数据合成方法和***
CN117829714B (zh) 一种智能化的储物识别分析***及其方法
Takahashi et al. A compact color descriptor for person re-identification with clothing selection from a wardrobe
KR102671704B1 (ko) 질의 기반 이동 경로 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140521

Termination date: 20170505