CN103069420A - 检测用户图像集合中的重复事件 - Google Patents

Abstract

公开了一种在预定时间段内拍摄的数字图像集合中检测重复事件的方法。该方法将处理器用于分析所述数字图像集合，以产生图像拍摄活动在时间上的分布的二维表示，以及通过在所述二维表示中识别空间聚类来检测重复事件。

Description

检测用户图像集合中的重复事件

技术领域

本发明总的来说涉及数字图像处理领域，特别是涉及识别在用户图像集合中的描述重复事件的数字图像组的方法。

背景技术

随着数码相机和拍照手机的普及，人们拍摄大量的图像和视频来记录对他们重要的事件。这些事件的有趣部分随后被在线共享，以便用户的社交网络对其进行访问。随着时间而积累的大型数字媒体集合中包含丰富的信息，这些信息可以用于了解各个用户以及人群。时间信息通常有利于信息的管理和检索，其增强了搜索和浏览的应用。分析在跨越数年的集合中的用户媒体的内容和时间可以生成用户所感兴趣的重要日期以及视图。这方面的知识可以使得能够对与联系人共享的个人集合进行组织，以及个性化和给予适时地广告。例如，如果某个用户的个人照片集合的迹象表明他/她在三月的学校假期中定期地进行休假，则该组中的图像可以被链接到前一年的假期以进行适当的组织。旅行和旅游相关的广告可以将目标定位在这段时间的计划阶段，并且这些图像可以被共享给所述用户经常与其共享此类图像的联系人。

使用具有重要日期的通用日历来尝试识别出某些事件只能够检测有限数量的事件，并且以这种方式无法检测用户特定的特殊日期（例如生日）。此外，该方法假设在同一地区的用户当前在庆祝相同的假日，而实际在此时，对于不同的人口中的各个人群，需要不同的日历。除了由于文化差异所造成的日历中的差异，用户所在的位置也将当地的事件提供给日历，例如，纽约州罗切斯特市的丁香节，新墨西哥州阿尔伯克基市的国际热气球节。针对这些问题，已经存在将用户所拍摄的图像与其个人日历相关联的工作（例如，“Image Annotation Using Personal Calendars asContext”,Gallagher等人.ACM Intl.Conf.on Multimedia2008（在国际计算机协会的2008年多媒体会议上Gallagher等人的《使用个人日历作为上下文的图像注释》)）。然而，个人日历上的标记通常涉及与拍照无关的约会和工作任务。

已经存在将图像分组为事件的工作。Loui的专利号为6,606,411的美国专利和Loui的专利号为6,351,556的美国专利公开了通过时间事件和子事件来对图像内容聚类的算法。根据专利号为6,606,411的美国专利，事件具有一致的颜色分布，因此，这些照片可能是采用相同的背景进行拍摄的。对于各个子事件，计算出共同拍摄的所有背景区域的单一的颜色和纹理表示。以上两项专利教示了如何将数字图像集合中的图像和视频聚类为相关于时间的事件和子事件。术语“事件”和“子事件”在客观意义上用于指示试图匹配特定出现（对应于事件）以及所述出现的部分（对应于子事件）的用户的主观感受的以计算机为中介的程序产品。Loui等人的专利号为6,915,011的美国专利公开了另一种将图像自动组织为事件的方法。所检测到的事件在时间轴中按照时间顺序从最早到最晚排列。

使用上面的方法，可以通过沿着时间轴来观看事件的表示（representatives）而不是观看各个图像的缩略图来减少用户定位特定事件所需的浏览量。然而，由于相关事件（例如生日）的较大时间间隔，这些事件组在时间轴上相隔甚远，并且不容易被视为一组。因此，需要检测彼此语义相关但被较长的时间差分隔的图像组。

发明内容

根据本发明，提供了一种在预定时间段内拍摄的数字图像集合中检测重复事件的方法，其使用处理器用于：

（a）分析该数字图像集合以产生图像拍摄行为在时间上的分布的多维表示；

（b）通过识别多维表示中的空间聚类来检测重复事件。在所述聚类过程中还可以考虑事件之间的相似度。

在本发明中，描述了从多年的用户集合中挖掘时间上的重复事件的架构。“集合”根据表示在适当的多维空间中的“事件”被描述。以不同的临区尺寸使用基于密度的聚类，基于事件特征来过滤临区以减少组中的错误匹配的数量。基于事件分类、位置和时间特征来创建事件签名以表征事件。本发明检测诸如生日和周年纪念日、用户个人集合定制的要进行庆祝的季节性活动和假期等个人特殊日期。

例如，本发明可应用于用户集合中的基于日历的重复事件的两种常常出现的类型：通常出现在每年相同的日期附近的事件，例如生日、周年纪念日和一些假日；以及不严格地依赖于日历日期的事件。尽管第二类事件也具有类似的时间特征，但其确切的日期通常不是一年接一年地相同。其包括不遵循确切日期的假日，例如那些在特定的星期或月份中的星期中的某一天（例如美国的劳动节；母亲节），以及那些由月亮或太阳的盈亏计算所得出的假日（例如许多亚洲的宗教和文化的节日）。此外，还有定期的休假（例如，学校的假期）、派对/聚会（庆祝基于日历的事件，但是被移到某个方便的周末而不是确定的日期）和体育赛事，其也属于不严格相关于日历和不在某一特定日期的类型。

对于通常的用户，图像和视频的组织和检索是个问题。对于用户来说，能够浏览他们的集合中的重要事件的概览是有益的。现有技术中所公开的技术允许集合中的图像分类为事件，但是当他们在时间上分离时，不能将相关的事件进行关联。本发明能够有效地检测通常出现在每年相同日期附近的重复事件和不严格相关于日历日期的事件。这包括为集合正在被分析的用户定制的个人特殊日期，诸如生日和周年纪念日，要进行庆祝的季节性活动和假期等。

说明书附图

图1是实施本发明的***的框图;

图2是本发明方法的总的流程图;

图3是图2中的模块130所示的事件签名生成的更详细的流程图;

图4示出了根据本发明所产生的事件的二维表示的一个特定示例;

图5示出了根据本发明所产生的事件的三维表示的一个特定示例；

图6A和6B示出了显示经过组织的集合的两个示例，所述经过组织的集合示出了在集合中检测到的重复事件组。

具体实施方式

本发明可以在本领域技术人员所熟知的计算机***中实现。在以下的描述中，本发明的一些实施例将被描述为软件程序。本领域技术人员将容易地认识到，在本发明的范围内这种方法的等效也可以作为硬件或软件来构建。

由于图像处理算法和***是已知的，当前的描述将尤其指向根据本发明的方法的一部分，或与本发明的方法更直接配合的算法和***。在本文中未被特别示出或描述的算法和***的其他方面和用于产生以及处理其所包括的图像信号的所述算法和***的硬件或软件可以从本领域已知的***、算法、组件和元件中选择出来。鉴于以下说明书中所提出的描述，其中的所有软件实施方式都是常规的，并且未超出所属领域的常规技术。

本发明可以在计算机硬件和计算机化的设备中实现。例如，该方法可以在数码相机、多媒体智能手机、数字打印机、互联网服务器、信息亭和个人计算机上执行。参照图1，其中示出了用于实施本发明的计算机***。虽然示出了旨在说明优选实施例的计算机***，但本发明并不限于所示出的计算机***，其可以被使用在例如数码相机、家用电脑、信息亭或用于处理数字图像的任何其他***中所能找到的任何电子处理***中。计算机10包括基于微处理器的单元20（本文中也称为处理器），其用于接收和处理软件程序以及执行其他处理功能。存储器单元30存储能够由处理器20在运行计算机程序时访问的用户所提供的和计算机所生成的数据。显示装置（如监视器）70被电连接到计算机10，其通过例如图形用户界面来显示关联于软件的信息和数据。键盘60也被连接到计算机10。作为使用键盘进行输入的替换项，也可以使用鼠标来移动显示装置70上的选择器，以及选择所述选择器所覆盖的选项，这是本领域所已知的。例如光盘（CD）和DVD的输入装置50可以被嵌入到计算机10中以用于输入软件程序和其他信息到计算机10和处理器20中。另外，如本领域所已知的，计算机10可以被编程以存储软件程序在内部。此外，可以通过使用例如存储卡、闪存盘、CD和DVD的输入设备50，或通过将拍摄装置（如相机，手机，录像机等）直接连接到计算机10作为输入装置，来将媒体文件（例如图像、音乐和视频等）转移到计算机10的存储器单元30。计算机10可以具有连接到例如本地局域网或因特网的外部网络的例如电话线或无线连接80的网络连接。软件程序和媒体文件可以从其他计算机或网络通过网络连接被转移到计算机10。

还应当注意的是，本发明可以实现为软件或硬件的组合，并且不限于物理连接或位于相同物理位置的装置。图1所示出的装置中的一个或多个可以位于远程并且经由网络被连接。所述装置中的一个或多个可以以无线方式连接，例如直接或经由网络通过射频链路来连接。

已经具体参照某些优选实施例详细地描述了本发明，但应理解的是，在本发明的精神和范围之内可以实现各种变化和修改。在接下来的详细描述中，术语“图像”也包括集合中的视频。

参照图2，用户的多年的数字图像集合110存储于计算机10的存储器单元30中。在优选实施例中，数字图像集合110跨越至少5年的时间。图中的其他模块由软件程序实现，并由计算机10的处理器20执行。数字图像集合110被提供给事件聚类算法120，该算法120将数字图像集合110中的图像分组为相关于时间的事件。在优选实施例中，使用了Loui的专利号为6,606,411的美国专利和Loui的专利号为6,351,556的美国专利中所描述的事件和子事件检测器。根据专利号为6,606,411的美国专利，各事件具有一致的颜色分布，并因此，这些照片可能使用相同的背景进行拍摄。对于各个子事件，为共同拍摄的所有背景区域计算出单一的颜色和纹理表示。以上两项专利教示了如何将数字图像集中的图像和视频聚类为相关于时间的事件和子事件。术语“事件”和“子事件”在客观意义上被用于指示试图匹配特定出现（对应于事件）以及所述出现的分区（对应于子事件）的用户的主观感受的以计算机为中介的程序产品。简要地归纳为，通过基于图像的时间或日期的聚类确定一个或多个图像集中的最大时间差，以及基于事件之间具有的一个或多个边界（其中所述一个或多个边界对应于一个或多个最大时间差）将多个图像分割为事件，来将图像的集合分类为一个或多个事件。对于每个事件，如专利号为6,351,556的美国专利中所述，可以通过比较连续图像的颜色直方图信息来确定子事件（如有的话）。通过把图像划分为多个模块，然后计算每个块的颜色直方图来实现。如Loui的专利号为6,351,556的美国专利中所描述的，使用基于块的直方图相关程序来检测子事件边界。Loui等人的专利号为6,915,011的美国专利中公开了另一个将图像自动组织为事件的方法，其通过引用合并于此。简要总结，根据上述发明的一个方面，事件聚类方法使用前景和背景分割用于将来自一组中的图像聚类为类似事件。首先，每个图像被分成多块，从而提供基于块的图像。使用逐块的比较，各个基于块的图像被分割为至少包括前景和背景的多个区域。从所述区域中提取一个或多个亮度、颜色、位置或尺寸特征，并且所提取的特征被用于评估和比较组中的连续图像中的包括前景和背景的区域的相似度。随后，计算连续图像之间的总的相似度的度量，从而提供连续图像之间的图像距离，并且根据图像距离对事件聚类进行划界。

参照图2，在事件聚类算法120中检测到的事件被表示在一个多维空间中140。在一个实施例中，使用了如图4所示的二维空间。参照图4，每个事件在由y轴320上的年数和x轴330上的年中的天所定义的空间中形成一个事件点310，在此应用中，也被称多个事件点。仅按时间顺序来编号年份以生成年数，例如，如果集合跨越2005年到2010年，则2005年对应年数1,2006年对应年数2，依此类推，2010年对应年数6。该年中的天从年初的1月1日起开始计数为天1。如果在该年中出现2月29日，通常在计数中被忽略，以使得连续年中的日期对应于一年中的相同的天。此二维空间中所表示的事件将潜在的重复事件在空间上彼此接近地放置，因此，可以用空间聚类方法来找出事件的组。所述事件也可以被表示在多维空间中，其中的维数n大于2。例如事件类型或者事件尺寸的其他事件特征可以被用做另外的轴，以通过其特征进一步在空间上定位所述事件。在另一个实施例中，一年中的星期以及一星期中的天分别被用作x轴和y轴。图5示出了使用年数作为z轴来创建三维表示的实施例的示例。一年中的星期指的是从该年中作为1而开始第一周的序列号。当第一个和最后一个星期是不完整的星期时，该年中的最后一个星期为星期53。星期中的天由星期一开始从-3到+3（包括0）按顺序编号。这种表示有利于检测相关于星期中的天的重复事件，例如学校的体育联赛，每星期的定期聚会、复活节、感恩节以及其他节日。

参照图2，在140中产生的多维空间中的事件表示上执行空间聚类150。在优选的实施例中，基于密度的聚类方法(Data Ming Concepts andTechniques（《数据挖掘的概念与技术》)，Hanand Kamber，Elsevier，2006年，第418-420页）被用来产生空间聚类。该算法将具有足够高的点密度的区域生长为聚类。在我们的实施例中，任何给定的中央事件点（x，±y）周围的临区被定义为（x±2，y±2），以检测与日历日期紧密相关的事件。其临区中具有大于阈值点数（本实施例中为5个点）的核心目标被识别。基于密度的聚类算法从这些核心目标中迭代地收集直接可获得密度的目标，当没有新的点可以被增加时终止。为了检测不严格相关于日历的重复事件，在中央事件点周围以用于限定核心点的相同的阈值（5个点）来选择较大的临区（x±7，y±7）。然而，只有通过下一段中所描述的事件签名过滤处理的事件点310才被包括，以计算任何给定事件点310的临区点。

参照图2，基于事件签名130的过滤可以被用于使空间聚类150细化。当使用较大的临区或检测一年内的重复事件时，该附加的步骤是特别有益的。事件签名130被用作过滤器来确定各点是否可以被认为处于与任何给定的中央事件点310相同的临区中。所述事件签名130捕获事件之间的特征的共性，并且可以由图像层面的基于内容的分析和/或事件层面的基于事件的分析得出。在一个实施例中，使用了在事件层面获得的三个主要特征-星期中的天、事件类别和位置，其显示出来自于相同的重复组中的事件内的良好的相关性，以执行图3所示的基于事件签名的过滤。

参照图3，当正在考虑一个中央事件点205的临区时，其临区210中的其它事件点310被逐个处理为如下。事件类别匹配220确定潜在的临区事件点210是否具有与中央点205相同的事件类别标签。在优选实施例中，在”Event Classification in Personal Image Collections(《个人图像集合中的事件分类》），Das and Loui，Workshop on Media Information Analysisfor Personal and Social Applications，IEEE intl.ICME2009”中所描述的方法被用于为每个事件提供宽泛的事件类别（“度假”，“派对”，“运动”或“家庭时刻”）。在该方法中，多种表现出与事件类型的良好相关性的高级别视觉和时间特征被用来训练在给定输入特征的情况下计算事件分类的后验概率的、用于事件分类的贝叶斯置信网络（Bayesian beliefnetwork）。

位置匹配模块230检查潜在的临区事件点210是否能够与中央事件点205共同定位。事件所出现的位置是确定其是否与其他事件形成重复组时的重要的因素。许多重复组包含在相同位置处出现的事件。在缺少GPS信息的情况下，如在”Event-based Location Matching for ConsumerImage Collections(《用于用户图像集合的基于事件的位置匹配》），Das etal，Proceedings of the ACM Int.Conf.on Image and Video Retrieval,2008”中所描述的，通过使用SIFT特征来匹配事件位置。在该方法中，通过使用SIFT特征自动地匹配检测到的在场景中出现的不寻常的目标，来通过位置与用户图像集合中的事件进行匹配。使用该方法，如果在两个事件之间存在肯定的场景匹配，则它们的位置被认为是已经匹配的。应当注意，如果使用上边提到的基于场景的方法不能将两个事件匹配，这并不表示事件不能在相同的位置被捕获。因为不存在从两个事件的图像中捕获的唯一的或不寻常的目标，所以，事件可能无法进行匹配。然而，肯定的匹配会明确地指示事件在相同的位置被拍摄。当基于GPS的位置对于匹配可用时，这些被用来确定两个事件是否已经在相同的位置出现。然而，即使在这种情况下，否定的匹配也不排除属于相同的重复组的可能性。用户可能会定期地去特定的区域休假，从而形成一重复组，但是他们可能会访问该地区中的不同的特定地点。重复组中、据说可以位于的区域可能是非常广阔的，例如春假期间的佛罗里达州。相反，在基于与其所位于的城镇相比更精细的粒度的事件群中可能存在差异，例如，用户可能认为“学校”与“家”是不同的位置，尽管他们位于相同的城镇。在某些情况下，位置信息可以是不相关的。例如，生日派对通常在用户的家乡进行庆祝，但是某些生日派对可能在家中，而其他的可能在某些特定的位置。因此，只有肯定的匹配被包括在事件签名比较中。

星期中的天被用作基于事件签名的过滤器的一部分，这是因为通过研究用户的媒体集合，发现在相同的重复事件组中的成员与事件出现的星期中的天之间具有显著的相关性，例如，来自相同组的事件可能都出现在星期日。许多假日都依赖于星期中的天，例如，复活节，感恩节（美国）。通常，在接近周末或周末期间具有更多的拍照活动。鉴于这种事件的分布，星期五到星期一被保持为唯一的选择，并且将星期二到星期四合并到“工作日”标签。星期中的天的匹配240确定两个事件是否具有上述相同的星期中的天的标签。对于多天的事件，星期中的天的任何重叠被认为是匹配的。

事件中从图像的基于内容的分析中所得出的特征也可以包含在事件签名中。这样的一个示例就是基于人的匹配，其中使用现有的面部识别技术（例如欧姆龙的“OKAO视觉”面部检测技术）来确定两个事件中是否存在共同的人。对共同目标的匹配可以提供其他的匹配准则。两个事件中图像的共同的场景分类（例如海滩，城市场景，或田野）可以用作匹配准则。

事件签名比较模块250产生潜在的临区事件点210是否应当被认为处于中央事件点205的临区中的最终判定。因为包括在事件签名130中的上述特征在给定的上下文中是没有意义的，因此未被组合为单一的值。此外，失配对于上面所讨论的三个特征220,230,240中的任何一个都未必是有意义的。相反，肯定的匹配是有意义的，并且上述特征都被注意到。三个特征中的任何一个的肯定的匹配都被分配了相等的权重。例如，出现在星期中的相同天、具有相同的事件类别以及相同的位置的两个事件具有基于事件签名的匹配得分，即3分；而出现在一星期中的相同天、但是具有不同的事件类别，并被发现位置不匹配的两个事件，只具有1分。得分至少为1的事件已经通过了事件签名过滤处理。因此，对于任何给定的事件，被认为处于其临区中的点是出现在前一星期和下一星期期间的星期中的相同天的那些事件，或具有相同的事件类别的那些事件，或在给定的时间段中在相同的位置被拍摄的那些事件。

空间聚类处理150所产生的聚类被作为在多年的集合10中检测到的重复事件160而输出。基于事件的多维表示中所使用的坐标轴，来对这些重复事件进行解释。属于各个重复事件的图像被索引，以使得它们被链接到群中的其他图像。重复事件在经过组织的多年集合的视图中被显示给用户。所述事件可以被代表性的事件或来自事件的图像集合所表示。参照图6A和6B，示出了两种常见的可视化的经过组织的视图--图6A的时间轴视图440和图6B中的日历视图450。非重复事件420基于其出现的日期被显示在时间轴上以及日历中。重复事件400通过图标425、430呈现，其被链接到该重复组中之前和之后的时间段中的事件。例如，某人2010年的生日事件将被链接到其在2009年和2011年的生日。这种形式允许用户方便地访问被较大时间差所分割的相关事件。

部件列表

10  计算机

20  处理器

30  存储器

50  输入装置

60  键盘

70  监视器

80  网络连接

110 多年图像集合

120 事件聚类模块

130 基于事件签名的过滤模块

140 在n维空间中呈现事件的步骤

150 空间聚类模块

160 重复事件检测

205 中央事件点

210 潜在的临区事件点

220 事件类别匹配步骤

230 位置匹配步骤

240 星期的天的匹配步骤

250 事件签名比较步骤

310 事件点

320 年数作为y轴

330 年中的天作为x轴

400 重复事件

420 非重复事件

425 表示在重复组中的前一个事件的图标

430 表示重复组中的下一个事件的图标

440 经过组织的集合的时间轴视图

450 经过组织的集合的日历视图

Claims (20)

1.一种在预定时间段内拍摄的数字图像集合中检测重复事件的方法，包括：将处理器用于

(a)分析所述数字图像的集合，以产生图像拍摄活动在时间上的分布的多维表示；以及

(b)通过在所述多维表示中识别空间聚类来检测重复事件。

2.根据权利要求1所述的方法，其中，通过分析事件之间的特征的共性来进一步细化重复事件的检测。

3.根据权利要求1所述的方法，其中，数字图像集合的所述预定时间段包括多年，以及步骤（b）包括识别跨越多年的空间聚类。

4.根据权利要求1所述的方法，其中，数字图像集合的所述预定时间段包括一年或少于一年，以及步骤（b）包括识别在预定时间段内出现的空间聚类。

5.根据权利要求1所述的方法，其中，数字图像拍摄活动的多维表示基于在年中的天的坐标轴和年坐标轴上表示事件。

6.根据权利要求1所述的方法，其中，数字图像拍摄活动的多维表示基于在年中的星期的坐标轴和星期中的天的坐标轴上表示事件。

7.根据权利要求2所述的方法，其中，对特征的共性的分析包括基于内容的分析或基于事件的分析。

8.根据权利要求7所述的方法，其中，基于内容的分析包括使用人识别、场景分类或目标识别。

9.根据权利要求7所述的方法，其中，基于事件的分析包括事件分类、位置匹配或基于时间的特征。

10.根据权利要求1所述的方法，其中，检测到的重复事件被显示给用户。

11.一种通过检测在预定时间段内拍摄的数字图像集合中的重复事件来组织数字图像集合的方法，包括：将处理器用于：

(a)分析数字图像集合以产生图像拍摄活动在时间上的分布的多维表示；

(b)通过识别多维表示中的空间聚类来检测重复事件；以及

(c)基于检测到的重复事件来索引图像。

12.根据权利要求11所述的方法，其中，通过分析事件之间的特征的共性来进一步细化重复事件的检测。

13.根据权利要求11所述的方法，其中，数字图像集合的所述预定时间段包括多年，以及步骤（b）包括识别跨越多年的空间聚类。

14.根据权利要求11所述的方法，其中，数据图像集合的所述预定时间段包括一年或少于一年，以及步骤（b）包括识别在预定时间段内出现的空间聚类。

15.根据权利要求11所述的方法，其中，数字图像拍摄活动的多维表示基于在年中的天的坐标轴和年坐标轴上表示事件。

16.根据权利要求11所述的方法，其中，数字图像拍摄活动的多维表示基于在年中的星期的坐标轴和星期中的天的坐标轴上表示事件。

17.根据权利要求12所述的方法，其中，对特征的共性的分析包括基于内容的分析或基于事件的分析。

18.根据权利要求17所述的方法，其中，基于内容的分析包括使用人识别、场景分类或目标识别。

19.根据权利要求17所述的方法，其中，基于事件的分析包括事件分类、位置匹配或基于时间的特征。

20.根据权利要求11所述的方法，其中，经过组织的数字图像集合被显示给用户。

Images