CN102741835A - 用于图像处理的方法、装置或者*** - Google Patents

Abstract

提供了一种用于图像处理的方法、装置、***，其创建用于图片的对象注解。该方法、装置或者***包括：从图片源自动获得图片描述信息，其中图片描述信息至少部分地被自动形成；从至少两个对象源获得注释信息，其中两个对象源不同于图片源，自动融合来自两个对象源的注释信息以形成融合的注释信息，并且将融合的注释信息附接到图片以创建用于图片的对象注解。

Description

用于图像处理的方法、装置或者***

背景技术

数码相机可用性的增长，特别是照相机电话可用性的增长，增大了人们可以具有并且需要管理的图片和视频片段的数量。在利用照相机将图片和视频片段记录下来之后，它们能够被存储在计算机上或者网络服务中，或者照相机或照相机电话可能具有大的存储器并且用户可以决定在该设备上存储数字内容。不管存储位置在何处，管理可能成千上万的图片并且了解最佳片段是具有挑战性的。

因此，需要一种使得对于照相机的活动用户管理图片和视频以及发现与这些图片和视频相关的数据更加容易的方案。

发明内容

现在发明了一种克服了上述问题的改善方法以及实现该方法的技术设备。本发明的各种方面包括以在独立权利要求中的表述为特征的方法、装置、服务器、客户端以及包括存储在其中的计算机程序的计算机可读介质。在从属权利要求中公开了本发明的各种实施例。

本发明涉及一种用于交叉对象信息获取和总结的方法、装置和***；特别是用于基于分析多维对象上下文来发现类似摄影图像或者视频的特定对象的相关对象，以及根据相关对象至少部分地自动生成对象总结。首先，可以执行通过多维对象上下文类似度计算来发现对象的相关对象，其结果也被称为超级对象链接。其次，可以根据相关对象创建对象总结，并且对象总结的融合用于创建类似图片或者视频的特定对象的智能注释，也被称为超级对象注解。换句话说，提供一种方案以利用超级对象链接、通过类似照片的条目对象来发现相关对象。基于该相关关系，至少部分地自动生成可以给出活动情景的简要描述的超级对象注解。对象注解可以与不同种类的数据对象相关，包括类似图像、照片、音频、视频、音乐、书籍、纸张和任何其他有用对象的各种媒介对象。

根据第一方面，提供一种方法，包括从图片源自动获得图片描述信息，其中图片描述信息至少部分地被自动形成；从至少两个对象源获得注释信息，其中该至少两个对象源不同于图片源；自动融合来自该至少两个对象源的注释信息以形成融合的注释信息；以及将融合的注释信息附接到图片以创建用于该图片的对象注解。

根据一实施例，方法进一步包括在图片和至少一个对象源之间形成超级对象链接，其中超级对象链接包括到对象源中的对象的链接，以及将到对象的链接附接到图片以创建用于图片的对象注解。根据一实施例，方法进一步包括通过自动分析来自两个源的信息和来自图片源的信息以形成相关性信息，以及基于相关性信息从该至少两个源获得注释信息。根据一实施例，方法进一步包括通过使用时间信息、地点信息、事件信息和人物信息的组中的至少一个确定图片和至少两个源的类似度来确定该图片和该至少两个源之间的相互关系以形成相关性信息，以及通过使用时间信息、地点信息、事件信息和人物信息的组中的该至少一个来形成加权的类似度指示符。根据一实施例，该至少两个源包括电子邮件消息、短消息、多媒体消息、即时消息、日历条目、名片、日志条目、wiki条目和社交网络服务条目中的两个或更多个。根据一实施例，方法进一步包括基于来自该至少两个源的注释信息来聚集图片。根据一实施例，方法进一步包括从用户接收过滤器信息或者源选择信息以用于限制来自该至少两个源的数据。根据一实施例，形成融合的注释信息包括从源内容选择用于注释的内容，过滤所选择的内容以减少不相关和冗余的信息，以及增强内容的结合性和一致性。根据一实施例，形成融合的注释信息包括通过自然语言处理生成内容的总结。

根据第二方面，提供一种装置，该装置包括至少一个处理器、包括计算机程序代码的存储器，存储器和计算机程序代码被配置以与该至少一个处理器一起使得装置：从图片源获得图片描述信息，其中图片描述信息至少部分地被自动形成；从至少两个对象源获得注释信息，其中至少两个对象源不同于图片源；自动融合来自至少两个对象源的注释信息以形成融合的注释信息；以及将融合的注释信息附接到图片以创建用于图片的对象注解。

根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置：在图片和至少一个对象源之间形成超级对象链接，其中超级对象链接包括到对象源中的对象的链接；以及将到对象的链接附接到图片以创建用于图片的对象注解。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置：通过自动分析来自两个源的信息和来自图片源的信息而形成相关性信息，以及基于相关性信息从至少两个源获得注释信息。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置：通过使用时间信息、地点信息、事件信息和人物信息的组中的至少一个确定图片和至少两个源之间的类似度来确定该图片和该至少两个源之间的相互关系以形成相关性信息，以及通过使用时间信息、地点信息、事件信息和人物信息的组中的该至少一个来形成加权的类似度指示符。根据一实施例，该至少两个源包括电子邮件消息、短消息、多媒体消息、即时消息、日历条目、名片、日志条目、wiki条目和社交网络服务条目的组中的至少两个。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置基于来自至少两个源的注释信息来聚集图片。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置从用户接收过滤器信息或者源选择信息以用于限制来自该至少两个源的数据。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置从源内容选择用于注释的内容，过滤所选择的内容以减少不相关和冗余的信息，以及增强内容的结合性和一致性。根据一实施例，装置进一步包括计算机程序代码，其被配置以与至少一个处理器一起使得装置通过自然语言处理生成内容的总结。

根据第三方面，提供一种被存储在计算机可读媒介上并且可在数据处理设备上执行的计算机程序产品，其中计算机程序产品包括用于从图片源获得图片描述信息的计算机程序代码部分，其中图片描述信息至少部分地被自动形成；用于从至少两个对象源获得注释信息的计算机程序代码部分，其中至少两个对象源不同于图片源；用于自动融合来自该至少两个对象源的注释信息以形成融合的注释信息的计算机程序代码部分；以及用于将融合的注释信息附接到图片以创建用于该图片的对象注解的计算机程序代码部分。

根据第四方面，提供一种被存储在计算机可读媒介上并且可在数据处理设备中执行的计算机程序产品，其中计算机程序产品包括用于执行根据第一方面的实施例的方法的计算机程序代码部分。

根据第五方面，提供一种装置，包括用于从图片源获得图片描述信息的装置，其中图片描述信息至少部分地被自动形成；用于从至少两个对象源获得注释信息的装置，其中至少两个对象源不同于图片源；用于自动融合来自至少两个对象源的注释信息以形成融合的注释信息的装置；以及用于将融合的注释信息附接到图片以创建用于该图片的对象注解的装置。

根据第六方面，提供一种网络服务，其向用户提供：来自图片源的图片描述信息，其中图片描述信息至少部分地被自动形成；来自至少两个对象源的注释信息，其中至少两个对象源不同于图片源；通过自动融合来自至少两个对象源的注释信息的融合的注释信息；以及通过将融合的注释信息附接到图片的用于该图片的对象注解。

根据第五方面，提供一种在载体介质上具体化的图片信号，该信号包括来自图片源的图片描述信息，其中图片描述信息至少部分地被自动形成；来自至少两个对象源的注释信息，其中至少两个对象源不同于图片源；通过自动融合来自至少两个对象源的注释信息的融合的注释信息；以及通过将融合的注释信息附接到图片的用于该图片的对象注解。

附图说明

下面将参照附图更加详细地描述本发明的各种示例实施例，在附图中：

图1示出了根据示例实施例用于注释图片的方法；

图2a和图2b示出了根据示例实施例用于注释图片的***和设备；

图3示出了用于注释图片的示例结构的概览；

图4说明了根据示例实施例用于将来自相关对象的信息链接到图片的方式；

图5说明了根据示例实施例用于使用相关对象形成用于图片的注释的方式；

图6示出了根据示例实施例用于注释图片的方法；

图7说明了根据示例实施例用于注释图片的架构；

图8示出了根据示例实施例用于上下文收集的架构；

图9说明了根据示例实施例图片上下文在上下文数据库中的存储结构；

图10说明了根据示例实施例用于关于事件和人物的信息的聚集表；

图11a和图11b示出了根据示例实施例收集事件上下文和人物上下文的流程图；

图12示出了根据示例实施例用于对象到图片的基于相互关系的链接的处理；以及

图13示出了根据示例实施例形成用于图片的注释的实现。

具体实施方式

下面将在设备上或者网络中的图像(照片)管理***的上下文中描述本发明的若干实施例。然而要注意到，本发明并不局限于在单个设备上或者在单个服务中的图像管理，或者甚至是诸如数字照片或者视频的图像。实际上，不同实施例具有在需要不同模态的用户中心数据的管理的任何环境中的广泛应用。

当今，越来越多的人们使用照相机或者照相机电话来记录其日常生活。在人们从事某一活动时会生成或者利用许多数字对象。这些数字对象可以包括利用照相机拍取的图片和视频、日历条目、短消息(SMS)或者多媒体消息(MMS)、即时消息(IM)以及聊天、诸如Twitter和Facebook的社交网络服务、电子邮件、名片、日志条目、音频记录、音乐、书籍、报纸等等许多。这里注意到，这样的数据项不是独立的，而是其组合通常传达公共主题。在浏览照片时发现相关对象，这在现有的照片浏览应用中是不可用的。这里也意识到，在随后浏览照片或者视频时获得该照片或者视频记录的活动的概览对于用户是有利和欣赏的。

在示例实施例中，提供用于在诸如图像和视频的对象与具有相关上下文的相关对象之间自动构造链接的机制和***，并且更具体地用于通过对从所链接的对象提取的上下文信息段进行整合和总结来生成对象摘要。首先，通过计算多维对象上下文类似度度量来发现特定对象的相关对象。然后，通过从相关对象提取对象总结来创建超级对象注解。这样的方案可以提供的优点例如是在基本上没有用户干预的情况下通过上下文的关联分析可以自动发现关于对象的最相关内容，并且可以提取最重要的上下文信息以总结和整合对象摘要以在第一眼看见该对象时向用户给出最有意义的信息。

可以通过交叉对象相关性计算来发现特定对象的相关对象并对其进行分级。超级对象注解可以从所发现的相关对象中提取为对象总结。超级对象注解的生成可以通过下面的机制进行。最相关和最具代表性的对象可以直接用作注释中的对象注解，例如通过使用诸如电子邮件、SMS或者其他消息、日历条目、名片、日志条目、Wiki页面中的第一相关对象。自然语言处理(NLP)可以用于从相关对象提取文本注解。

图1示出了根据示例实施例用于注释图像的方法。首先，在步骤110中，对于来自诸如照相机、存储器中的图像集合或者相册的图像或者照片源的图像(或视频)，获得图像或者照片描述信息。该图像或者照片描述信息可以已经例如通过向该图像添加时间、地点(全球定位***或者GPS坐标)和用户信息而至少部分地自动形成。在步骤120中，例如通过获取电子邮件、SMS和多媒体消息以及日历和联系人信息来获得来自不同源的注释信息。这些源可以与图像源不同并且它们可以具有至少部分不同的信息的内部表示。信息的不同源的使用可以使超级对象注解更加丰富和更加自然。在步骤130中，融合所获得的来自不同源的注释信息以形成超级对象注解。超对象注解可以包含文本、图像、声音和不同的对象并且其可以包含到源对象或者与该源相关的对象的链接。在步骤140中，超级对象注解然后被附接到图像或者照片以获得具有超级对象注解的图像。该附接可以按照各种方式发生，例如通过将该信息嵌入在图像文件中、通过构造其中驻留图像文件和超级对象注解的新文件、通过形成链接图像和超级对象注解信息的元数据、通过文件命名等等链接图像和超级对象注解等等。这里需要意识到，除了图片或者照片，超级对象注解可以涉及不同类型的数据对象，包括类似音频、视频、音乐、书籍、报纸和任何其他有用对象的各种媒体对象。

图2a显示了包含用于注释驻留在一个或者多个设备上的图像的元件的设备、服务器和网络的设置。不同的设备经由诸如互联网或者局域网的固定网络210或者诸如全球移动通信***(GSM)网络、第三代(3G)网络、第3.5代(3.5G)网络、***(4G)网络、无线局域网(WLAN)、蓝牙或者其他当代和未来网络的移动通信网络220连接。不同的网络利用通信接口280彼此连接。这些网络包括诸如路由器和交换机的网络元件以处理数据(未示出)，以及诸如基站230和231的通信接口以用于提供不同设备到网络的接入，并且基站本身经由固定连接276或者无线连接277连接到移动网络。

存在连接到网络的多个服务器，这里示出了用于创建针对图像或者照片的超级对象注解并且连接到固定网络210的服务器240、用于存储图像数据并且连接到固定网络210或者移动网络220的服务器241以及用于创建针对图像或者照片的超级对象注解并且连接到移动网络220的服务器242。还存在连接到网络210和/或220的多个计算设备290，其用于存储数据并且提供经由例如网络服务器接口或者数据存储接口等等到该数据的接入。这些设备例如是与驻留在210中的通信元件一起构成互联网的计算机290。

还存在多个终端用户设备，例如具有各种尺寸和格式的移动电话和智能电话251、互联网访问设备(互联网平板电脑)250和个人计算机260。这些设备250、251和260也能够由多个部件构成。各种设备经由通信连接而连接到网络210和220，这些通信连接诸如到互联网的固定连接270、271、272和280，到互联网的无线连接273，到移动网络的固定连接275以及到移动网络的无线连接278、279和282。连接271-282利用在通信连接的各自端部处的通信接口实现。

如图2b所示，服务器240包含存储器245、一个或者多个处理器246、247以及驻留在存储器245中用于实现注释功能的计算机程序代码248。不同的服务器241、242、290至少包含用于使用与每一个服务器相关的功能的这些相同元件。类似地，终端用户设备251包含存储器252、至少一个处理器253和256以及驻留在存储器252中用于实现注释功能的计算机程序代码254。终端用户设备251也可以具有用于拍取图片的至少一个照相机255。终端用户设备也可以包含用于捕捉声音的一个、两个或者更多麦克风257和258。不同的终端用户设备250、260可以至少包含用于使用与每一个设备相关的功能的这些相同元件。一些终端用户设备可以装配有支持拍取数字图片的数码相机，以及在拍取图片或者照片期间、之前或者之后支持音频记录的一个或者多个麦克风。根据上面清楚的是，服务器和终端用户设备包括用于从各种源获得信息的装置，例如存储器装置、总线或者其他内部数据连接装置，或者用于从外部源获得信息的有线和/或无线网络连接。这些设备和服务器还包含用于处理信息的装置，例如存储器、电路和处理器。这些装置可以是电学或者光学或者其他适合的装置。

需要理解的是，不同实施例允许在不同的元件中执行不同的部分。例如，可以完全在类似250、251或者260的一个用户设备中执行针对图像或者照片的超级对象注解的创建，或者可以完全在一个服务器设备240、241、242或者290中执行图象注释，或者可以在多个用户设备250、251、260之间或者在多个网络设备240、241、242、290之间或者在用户设备250、251、260和网络设备240、241、242、290之间执行针对图象或者照片的超级对象注解的创建。针对图象或者照片的超级对象注解的创建可以被实现为驻留在一个设备上或者分布在几个设备之间的软件部件，如上面提及的。针对图象或者照片的超级对象注解的创建也可以是其中用户通过接口例如使用浏览器来访问服务的一种服务。

图3示出了用于针对图片创建智能注解(超级对象注解)的示例结构的概览。在该结构中，照片或者图片是包括图片312和相关联的超级对象注解314的包含丰富上下文的对象310。图片312的上下文可以描述不同的属性，例如时间信息、地点信息、事件信息、人物的表情、内容信息(元数据)、类似温度和湿度的环境状况、设备参数等等。这些上下文可以不仅存在于照片321中，而且还存在于其他对象中，例如短消息或者类似多媒体消息(MMS)或者即时消息322、日历条目323、社交网络***324、名片325、电子邮件消息326、日志条目327等等的其他消息，以及其他例如类似搜索引擎、数字书籍和报纸、音乐、音频记录等等的不同互联网服务328。不同对象之间的关联链接340可以因此基于公共上下文而建立在图片和其他对象之间以创建超级对象链接。基于这些上下文，图片能够被聚集到不同的相册350中以管理用户照片，例如通过地点排列的地点相册351、基于社交情景的SNS相册352、通过时间排列的时间相册353、通过主题分组的主题相册354以及基于所检测的表情的表情相册355。这样的相册可以被称为多维照片相册350。也有可能从外部源360，例如从其他人员的照片相册，执行照片查询以将来自这些相册的图片关联到正被注释的图片310。

在照片312、321和其他对象之间建立超级对象链接340的处理可以按照下面操作。由于照片和其他对象共享公共上下文，因此在它们之间存在自然关系。首先，从各种源收集照片的上下文。例如，拍取图片的时间、照相机型号、拍照参数以及可以从与图像文件附接的EXIF信息(可交换图像文件格式信息)提取的其他这样的信息；GPS坐标可以通过应用编程接口(API)从内部源收集；湿度、温度和噪声等级可以从位于设备外部或者内部的传感器数据收集。所收集的上下文构成原始数据。上下文建模和数据挖掘允许展现出隐藏在这些收集的原始数据中的照片和其他对象之间的关系。利用这些操作的结果，可以基本上自动或者在用户的很少帮助下建立照片和相关对象之间的关联以创建超级对象链接。相关的对象可以通过在所描述的照片中心模式中的上下文关系而互连。需要理解的是，可以代替使用以及除了图片或者照片之外附加使用诸如视频、声音和其他的其他媒介。

链接的形成以及对象注解(超级对象注解)的创建可以在单个设备上或者在多个设备上发生。形成可以作为由服务供应商至少一个网络地址提供的网络服务而发生。用户可以访问网络服务，例如浏览、组织和搜索图片。服务然后可以提供用于将不同的对象链接到在该文本中早前和随后描述的图片的装置。服务然后可以允许并且使能创建超级对象注解。服务的这些功能可以为用户提供能够在计算机可读介质上具体化的图片信号，其中该图片信号包含到不同对象的链接和/或不同对象的总结。该附接到图片信号的数据可以是通过融合来自各种对象的信息并且通过创建超级对象注解而创建的。

图4说明了根据示例实施例用于将来自相关对象的信息链接到图片以创建超级对象链接的方式。用户选择410存储在移动电话中的照片，并且将其作为查询条目以递交到***。在收集被嵌入在图像文件中或者从内部API或外部传感器数据提取的上下文数据420之后，***开始对这些原始数据进行建模并且进行数据挖掘以发现照片和类似日历注解432、SMS消息或者类似多媒体消息或即时消息434的其他消息、电子邮件消息436、日志438和社交媒介服务以及电话本(名片)439的其他相关对象430之间的潜在关系。之后，通过相关性计算440来构建链接图。可以基于该链接图提供两个链接模式。在简单模式中，背景程序计算相关对象的相关系数(得分)并且也可以利用得分自动对其进行评级。这会产生要被排列在结果条456中的具有最高得分的前N个，例如前3个，对象内容，并且用户可以选择相关对象以获取详细信息。这样的方案可以允许创建总结或者以其他方式示出与图片452相关的对象的内容454以形成超级对象注解450。与简单模式相比较，在迭代模式中用户能够添加其自身的约束条件以限制链接范围或者升高关联的程度。如图4以示例方式所示，用户选择照片到该***；该照片关于接力赛跑。在计算之后，***发现四个与该照片最相关的对象(电子邮件、SMS、日历、日志)。如果用户想要根据其自己的期望发现相关对象，则他可以添加限制。这里，例如如果用户向该***添加限制“接力赛跑、冠军、庆祝”，则可以呈现少于四个最相关对象。点击电子邮件的图标，用户能够进入电子邮件程序以查看关于接力赛跑冠军的庆祝的邮件的详情。

图5说明了根据示例实施例用于使用相关对象形成针对图片或者照片的超级对象注解的方式。该说明通过实践示例按照下面发生。Lin是北京邮电大学的学生，并且他非常喜欢田径运动。2009年7月23日将在该大学召开运动会。Lin和他的同学Lee、Zhang和Tom将参加男子4*100米接力赛跑；Lee、Zhang和Tom会在电话本560中具有条目，以及朋友Jack。Lin盼望比赛并且在他的移动电话510上添加事件550以记录该事件并且提醒他自己为该比赛进行许多锻炼。在接力赛跑日，上午10:00，Lin和他的同伴站在起跑线上。Lin跑接力赛跑的第一棒，并且他跑得非常快。Andy跑第二棒、Zhang跑第三棒并且Lee跑最后一棒。在最后一棒时，他们已经遥遥领先于劲敌队伍。在终点线处，Lin与Lee拍取照片520，他想要用他的照相机电话记录这一激动时刻。最后他们赢得了比赛。他们都感到非常高兴；在10:23，Lin从他的朋友Jack接收到问候消息540，内容是“祝贺你们在运动会中的胜利”。在比赛之后，Lin将该照片从他的移动电话上传到服务器；他想要与他的朋友和同学分享他的快乐。这天下午，Lin更新他的日志555，写道“我们在校运动会上赢得了男子4*100接力赛跑”，同时，Lin从他的同伴Lee接收到电子邮件545，其中写道当天晚上将会有庆祝晚会。

从这个故事我们可以看出，关于比赛的信息以各种类型的对象被记录，例如日历、照片、电子邮件、短消息(SMS)、多媒体消息(MMS)、日志，并且关于接力赛跑的详细介绍也能够在Wikipedia或者其他wiki上找到。这些对象包含关于比赛的记录，并且通过对这些看起来不相关的对象进行总结，可以向用户提供该活动的交叉对象全景浏览，并且用户可以更加容易地能够回忆关于该比赛的详细信息。通过分析EXIF信息，首先提取拍摄时的时间；通过这一信息，照片可以被链接到日历并且可以找出主题、时间间隔、参赛人和地点。通过该主题和时间间隔，具有相关主题或者时间的SMS和电子邮件被链接到照片。

这里提供两种风格的图片注释，基于综合的超级对象注解530和基于提取的超级对象注解535。基于综合的超级对象注解更像是短的论文，并且基于提取的超级对象注解更像是列出关键内容并且提供到它们的链接的目录。在超级对象注解中，因而会存在对象的文本和图标和/或用户能够激活以到达实际对象的到对象的链接。这两种超级对象注解风格也可以被混合和组合，并且可以添加其他风格。随后，通过浏览该照片，用户能够在第一眼获得短的总结以帮助用户在短时间内掌握尽可能多的信息。

图6示出了根据示例实施例用于注释图片的方法。在整个过程中可以存在例如四个步骤。首先，在“照片输入和预处理”610中，输入来自本地文件***和/或类似照片服务、外部计算机等等的外部源的照片，并且根据EXIF数据确定照片时间和例如全球定位***(GPS)坐标之类的地点信息。也可以基于时间和GPS坐标的密度分布来聚集图片或者照片。其次，在“上下文收集”620中，自动收集例如拍取图片的时间、GPS、地点名称等等的明确上下文以用于注释——另一方面，可以通过推荐和用户交互来标记用于注释的所涉及的事件主题和人物。第三，在“对象链接”630中，基于多个上下文的相互关系来链接照片和非照片对象。相关性计算以时间、地点、人物和事件等等的上下文的类似度为基础。第四，在“总结”640中，根据所链接的对象生成用于注释的总结信息。

图7说明了根据示例实施例用于注解图片以创建超对象注解的架构。从下到上，第一层可以被称为“照片输入和预处理层”710，其中的任务是从文件***输入照片712并且根据EXIF解析714提取拍取时间和位置(GPS)数据，可能具有GPS到地点转换720。然后，可以基于时间和GPS坐标将照片聚集718为小的集群。具有类似时间标签和GPS坐标的照片可以与相同的事件和参与者最相关，因此在预聚集之后能够重现集群的注释库以向其他照片推荐注释。第一层的结果可以存储到上下文数据库716。

第二层可以被称为“上下文收集层”730。时间和地点上下文可能不足以提供交叉对象链接，并且在该层上收集更具有语义的上下文。在该层中，可以使用来自诸如日历732的不同的相关源(如前面解释的)的信息。在734中提取信息并且在736中与照片相关联，并且在738中出于该目的也可以确定用户身份。该层可以创建所谓的用于图片的半注释。

第三层可以被称为“相关性链接层”750。除了照片752，可以使用来自诸如电子邮件754、日历条目756和联系人信息758的不同源的信息。可以分别在755、757和759中索引电子邮件754、日历条目756和联系人信息758，并且将其作为输入提供到搜索760。通过764中的多个上下文类似度计算，对条目对象和其他潜在对象之间的相关性进行量化。通过对相关性得分进行评级，可以选择最相关的对象。结果可以被存储在结果数据库768中。

第四层可以被称为“总结层”770。在该层上，可以自动生成来自已经发现的相关对象的总结。当在774中获取相关文档时，可以使用照片772(可以是与752相同的照片)以及相关性链接768的结果作为源。根据该数据，可以至少部分地在784中选择电子邮件778、日历条目776和联系人信息780以及其他信息782。通过786中的内容过滤以及788中的总结，创建用于照片的超级对象注解。下面描述不同层的实现细节。

图8说明了根据示例实施例在图7的第二层中上下文收集的处理。至少存在三种方法以收集上下文。第一种方法是自动上下文注释810。目前许多照相机设备能够以EXIF数据结构向照片812中写入时间和GPS信息，然后在814中可以解析该EXIF数据结构以提取该信息。GPS也能够通过位置-地点名称映射，例如在816中通过软件，被转换为文本地点。可以在818和820中聚集时间和地点上下文以产生不同的上下文集群825。所提取和处理的信息然后能够被存储在上下文数据存储库830中。可以在850中索引存储库830以具有时间、地点、人物和事件索引860用于快速搜索。

也可以半自动地生成上下文注释840。例如，用户可以向他的日历844添加事件信息。该事件可能由于在时间上临近而与照片842相关。然后在846中能够提取该事件并且向用户推荐，并且用户可以判断其是否与照片相关。如果用户确认该事件，则该事件可以作为超级对象注解被添加到照片。

也可以手动创建上下文注释。例如，用户能够通过写下人物的名字而注释照片中的人物。可以手动地注释照片的环境，并且可以例如在表情符号或者其他图标或对当前表情的文本描述的帮助下，或者通过其他标签，来标记表情。在获得位置(GPS)和时间上下文之后，也可以通过GPS坐标和时间上下文来聚集照片，并且可以向用户推荐某一集群的注释以注释属于相同集群的其他照片。

图9说明了根据示例实施例的图片上下文在上下文数据库中的存储结构。照片上下文记录可以包括照片ID 920以识别该照片，拍取照片的日期922以及时间924，GPS位置926、根据该位置可能生成的地点928，与照片相关的人物930、事件信息932以及照片所属于的一个或者多个集群ID 934。不同的上下文记录910、912、914和916可以具有完全不同的字段值，或者字段值中的一些可以相同，并且被实现为基准。

图10说明了根据示例实施例的用于关于事件和人物的信息的聚集表。事件聚集表可以例如具有用于记录1010、1012、1014的如下字段：集群ID 1020用以识别该集群，事件描述1022和事件计数1024。事件计数1024指示使用该事件ID多少次以注释该集群中的照片，即其能够用于确定多少照片属于该事件集群。人物集群表可以包括用于记录1030、1032和1034的如下字段：集群ID 1040、人物名称1042和人物计数1044。人物名称字段1042可以包含描述人物的一个或者多个名字或者其他标签，并且人物计数指示该集群中照片的数量。

图11a和图11b示出了根据示例实施例收集事件上下文和人物上下文的流程图。在图11a中，示出了事件上下文收集。在步骤1110中，将照片输入到该处理。然后，判断该照片属于哪一个集群并且在1112中为该照片分配集群ID。先前已经通过GPS和时间上下文聚集了该集群。在1114中，确定在该集群中是否已经存在事件标签。如果存在标签，则在1116中可以向用户推荐该事件标签。如果该事件标签与照片相关并且在1125中用户接受了该事件标签，则如针对图10所描述的，在1135中事件计数自增。如果在该集群中没有发现事件标签，则在1118中用户可以手动或者自动创建新的事件标签。如果在集群中不存在事件标签，则在1118中搜索具有正确时间范围的日历事件。如果在1120中在日历中存在与时间段相匹配的事件，则从该日历中提取1122该事件并且向用户推荐，并且在1125中用户可以接受该推荐。如果在日历中不存在具有正确范围的事件，则在1130中可以通过用户手动创建新的事件。最后，可以在1140中向集群表添加该结果。

在图11b中示出了人物上下文收集。首先，在1150中输入照片。然后，在1152中为该照片分配集群ID。接下来，在1154中确定在集群记录中是否存在任何人物标签。如果在集群记录中存在人物标签，则在1156中可以向用户推荐该人物标签。如果在1158中该人物标签与照片相关并且用户接受了该人物标签，则在1162中人物计数自增并且在1164中被写入数据库。如果人物标签不与照片相关，则在1160中用户能够手动创建人物标签并且人物计数自增。

图12示出了根据示例实施例在***架构的第三层上用于对象到图片的基于相关性的链接的处理。首先，向***递交条目对象(图片/照片)1212。然后在1214中生成查询以从上下文数据库1210选择该对象的元数据作为基本查询检索词。基于集群ID，也可以在1216中从该照片所属于的集群中选择扩展查询检索词。另一方面，在1230和1235中提前单独索引不同类型的对象。这些对象包括SMS 1220、电子邮件1222、联系人1224、日历条目1226和类似MMS、即时消息、社交网络贴子、日志条目等等的其他对象1228。利用基本和扩展查询检索词作为查询约束条件，在1240中从潜在相关对象中搜索候选结果1250。然后，相关性计算模块1260通过多上下文类似度计算来计算并且评级条目对象和候选对象之间的相关性程度。最后，选择并且在数据库中存储前N个最相关对象。

创建对象之间的超级对象链接的一部分是多维上下文相关性计算。为了测量不同对象之间的相关性程度，定义活动主题的概念。照片记录的活动主题的主要概念能够被提取成四个关键维度：时间/地点/人物/事件。使用四个维度的类似度的加权和，将照片和非照片对象之间的相关性计算为

Sim＝sim_时间+sim_地点+sim_人物+sim_事件

照片被聚集为集群，使用包含在与当前链接照片属于相同集群的其他照片中的上下文标签以补充查询条件。

下面介绍照片和电子邮件之间的相关性计算。

可以按照下面来确定时间相关性。从两个方面计算电子邮件和照片之间在时间维度上的类似度：时间距离和文本共存。

Sim_时间＝α_时间*f(标签_时间，时间_电子邮件)+β_时间*L(标签_时间)

上面，函数f(标签_时间，时间_电子邮件)测量照片的捕捉时间和电子邮件的发送/接收时间之间的时间距离。在大多数情况下，只有在照片的拍取时间和电子邮件的发送/接收时间之间的时间间隔不多于5天时，邮件的主题可能与照片记录的活动相关：

这里，函数L(标签_时间)测量照片和电子邮件之间文本共存上的类似度。如果时间信息被明确地记录在电子邮件的主题部分或者主体部分中，并且时间位于照片记录的活动的开始时间和结束时间之间，则能够推断电子邮件可能与照片具有强的关系：

g(标签_时间)的目的在于将时间的格式转换为与邮件兼容的对应类型。

可以按照下面来确定人物相关性。如果电子邮件和照片涉及相同的人物，则该电子邮件和照片相关。常规地，人物的信息出现在电子邮件的发送者/接收者字段；在一些情况下，人物的姓名也出现在电子邮件的主体部分中。因此，按照这样的方案计算相关性：

Sim_人物＝α_人物*L_头部(f(标签_人物))+β_人物*L_头部(f(标签_{人物_延伸}))+χ_人物*L_主体(标签_人物+标签_{人物_延伸})

上面，标签_人物指代被注释为针对当前照片的标签的人物姓名，并且标签_{人物_延伸}指代被注释为针对与当前照片属于相同集群的照片的标签的人物姓名。函数f(标签_人物)和f(标签_{人物_延伸})将人物姓名翻译为电子邮件地址。

如果人物姓名的标签出现在发送者或者接收者字段中，则能够推断邮件与照片可能具有强的关系；而且如果在与当前照片属于相同集群的其他照片中被注释的人物的姓名出现在发送者或者接收者字段中，则电子邮件也可能与主题具有一些关系：

人们在需要告知一些人物细节时可以在电子邮件主体部分中写入该人物姓名，这一事实提供了另一方案以计算相关性：

可以按照下面来确定地点相关性。如果地点名称出现在电子邮件主体中，则可以存在相关性：

Sim_地点＝L_主体(标签_地点)

L_主体的定义与人物相关性计算的方案中的先前一个相同。

可以按照下面来确定事件相关性。向量空间模型(VSM)可以用于使用所谓的TF-IDF(检索词频率-逆文档频率)模型来计算事件维度中事件标签与电子邮件之间的相关性。

假设在电话中存在|D|个邮件，并且使用向量

来记录在邮件中出现的每一个检索词的权重，并且使用向量

来记录注释的事件标签和延伸的事件标签的权重。

这里，w_i，j指代第j个邮件中第i个检索词的权重，并且w_自身指代当前照片自身的事件标签的权重，并且w_k(2≤k≤m)指代与当前选择的照片属于相同集群的照片的第k个事件标签的权重。

w_i，j＝tf_i，j*idf_i， ${\mathrm{tf}}_{i,j}=\frac{n_{i,j}}{{\mathrm{\Σ}}_k{n}_{k,j}},$ ${\mathrm{idf}}_i=\log \frac{\left|D\right|}{1+\left|\right\{d:t_i\∈d\left\}\right|}$

指代检索词频率。n_i，j代表检索词在第j个邮件中发生的次数。tf_i，j的值越高，检索词越重要。

公式

指代逆文档频率。|D|代表邮件的总数量，而|{d：t_i∈d}|代表包括检索词t_i的邮件数量。

下面描述照片和SMS消息之间的相关性计算。

由于SMS的特性与电子邮件有些类似，因此可以使用与电子邮件相同的相关性计算算法。

Sim＝sim_时间+sim_地点+sim_人物+sim_事件

Sim_时间、Sim_地点、Sim_人物和Sim_事件的定义都与电子邮件的定义相同。

下面描述照片和日历条目之间的相关性计算。

可以按照下面来确定时间相关性。时间信息被明确地记录在时间字段中。提取时间信息并且计算照片的时间标签和从日历提取的时间之间的时间距离。将类似度函数定义为：

可以按照下面来确定地点相关性。在许多情况下，地点名称可以被明确地记录在日历中的相对应字段中。检查地点字段，并且如果地点名称与当前照片的地点标签相匹配，则能够推断照片和日历事件可能具有一些相关性。

可以按照下面来确定人物相关性。在日历条目中可以具有参加者字段以记录将参加该活动的人物姓名。进行比较以计算相关性：如果照片的被注释人物姓名存在于参加者字段中，则给出高评分，并且如果与当前照片属于相同集群的其他照片的人物标签存在于参加者字段中，则给出较低评分；如果字段中不存在集群的人物标签，则给出零评分。

可以按照下面来确定事件相关性。日历中的主题字段记录事件的总结信息。进行比较以计算相关性：如果照片的被注释事件标签存在于该字段中，则给出高评分，并且如果与当前照片属于相同集群的其他照片的被注释事件标签存在于主题字段中，则给出较低评分；如果该字段中不存在集群的事件标签，则给出零评分。

下面描述照片和联系人之间的相关性计算。

拍取的人物照片具有人物的上下文，其可以用于测量照片和名片之间的相关性。如果标签“人物姓名”等于存在于联系人中的记录，则这两个相关。

Sim＝Sim_人物

图13示出了根据示例实施例形成针对图片的超级对象注解的实现。注释以被用作源的内容的综合为基础。从上到下，超级对象注解的创建包括三个层。第一层可以被称为“内容选择”1330。在该层中，类似SMS或者MMS消息或者即时消息1310、电子邮件1312、名片1314、日历条目1316、日志条目1318和其他源1320的相关对象通过解析器1332被首先解析为文本格式。接下来，在1334中计算每一个文本文件中的检索词频率。这里，采取TF-IDF模型。每一个文本文件被表达为TF-IDF向量(这里，TF-IDF的定义和计算过程与文本中前面的定义相同)。通常，检索词对于文档的重要性与检索词在该文档中出现的次数成正比地增加，并且在语料库中以文档频率偏移。因此使用TF(检索词频率)和IDF(逆文档频率)的算术积以生成对于每一个检索词的加权系数并且然后选择前N个检索词，其被认为是在描述相关对象的主题内容方面最有意义的词语。将这些选择的检索词称为相关对象集合的质心检索词。以该质心检索词为基础，在1336中通过下面的步骤提取能够最佳传达公共主题的句子。首先，计算每一个句子的质心值，关键概念在于计算包含在该句子中的每一个质心检索词的加权算术和。然后，如果该句子处于初始或者结束位置，则给出附加的评分。这是由于人们通常将最有意义的句子放在这两个位置中。第三，选择前N个等级的句子作为源材料以生成用于注释和超级对象注解的总结。

第二层可以被称为“内容过滤”1340。由于所选择的句子可以在词位上彼此覆盖或者类似，因此首先对其进行过滤可能比较好。“特征词语过滤”1342可以去除具有很少意义的冗余词语。由于句子可以以类似“但是”、“尽管”、“由于”等等的连接词，或者“说”及其衍生物的动词，或者诸如“他”、“她”和“他们”的代词开始，具有这些“特征词语”的句子会导致总结的断续性，并且因此这些句子的评分被降低以避免将它们包括在总结中。“去除冗余性”模块1344目的在于去除具有重复信息的句子。如果两个句子指代相同的主题则会发生冗余性。为了去除重叠的句子，采取MMR(最大余量相关性)算法以检测重叠的比率。MMR是在考虑相关性和冗余性与已经存在于总结中的句子的组合的情况下对句子打分的模型。如果与已经存在的句子的重叠比率大于某一程度，则将扔掉该句子，并且将保留其他句子。

第三层可以被称为“结合性&一致性增强”1350。为了生成平滑的注解，例如通过编年的顺序对候选句子排序。另一可选技术是在1352中将具有话题相关的主题的句子排列到一起以降低非流畅性。在1354中可以涉及其他自然语言处理技术以改善结合性和一致性。实践方法是对于每一个选择的句子添加介绍性句子，例如将所选择的句子之前的句子作为其介绍性句子。在第三层之后，在1360中可以输出所产生的注释并且与将其与照片一起存储。

实现注释的另一方式可以是收集“时间/地点/人物/事件”的摘要信息并且对于每一个类型的对象列出最相关的对象。目的在于发现最具有代表性的对象以补充照片。

实施例的各种特征可以被实现为用于组织、管理、索引和获取对象以及根据诸如电子邮件、SMS、MMS、即时消息、日历、联系人、日志和wiki等等的多个源自动生成总结的照片中心交叉对象软件***。全部概念、方法、工作流、相关性计算方法和***架构能够被扩展到诸如音乐、视频等等的其他对象。

本发明的各种实施例能够在驻留在存储器中并且使相关装置执行本发明的计算机程序代码的帮助下实现。例如，终端设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码以及在运行计算机程序代码时使终端设备执行实施例的特征的处理器。而且，网络设备可以包括用于处理、接收和传输数据的电路和电子设备、存储器中的计算机程序代码以及在运行计算机程序代码时使网络设备执行实施例的特征的处理器。

明显的是，本发明并不只局限于上面提供的实施例，而是能够在所附权利要求的范围内对其进行修改。

Claims (23)

1.一种方法，包括：

-从图片源自动获得图片描述信息，其中所述图片描述信息至少部分地已被自动形成，

-从至少两个对象源获得注释信息，其中所述至少两个对象源不同于所述图片源，

-自动融合来自所述至少两个对象源的所述注释信息以形成融合的注释信息，以及

-将所述融合的注释信息附接到所述图片以创建用于所述图片的对象注解。

2.根据权利要求1的方法，进一步包括：

-在所述图片和至少一个对象源之间形成超级对象链接，其中所述超级对象链接包括到所述对象源中的对象的链接，

-将所述到所述对象的链接附接到所述图片以创建用于图片的对象注解。

3.根据权利要求1或者2的方法，进一步包括：

-通过自动分析来自所述两个源的信息和来自所述图片源的信息以形成相关性信息，以及

-基于所述相关性信息从所述至少两个源获得所述注释信息。

4.根据权利要求3的方法，进一步包括：

-通过使用时间信息、地点信息、事件信息和人物信息的组中的至少一个确定所述图片和所述至少两个源的类似度来确定所述图片和所述至少两个源之间的相互关系以形成所述相关性信息，

-通过使用所述时间信息、地点信息、事件信息和人物信息的组中的所述至少一个来形成加权的类似度指示符。

5.根据权利要求1到4中的任意一项的方法，其中所述至少两个源包括电子邮件消息、短消息、多媒体消息、即时消息、日历条目、名片、日志条目、wiki条目和社交网络服务条目的组中的至少两个。

6.根据权利要求1到5中的任意一项的方法，进一步包括：

-基于来自所述至少两个源的所述注释信息来聚集图片。

7.根据权利要求1到6中的任意一项的方法，进一步包括：

-从用户接收过滤器信息或者源选择信息以用于限制来自所述至少两个源的数据。

8.根据权利要求1到7中的任意一项的方法，其中形成所述融合的注释信息包括：

-从源内容选择用于注释的内容，

-过滤所选择的内容以减少不相关和冗余的信息，以及

-增强所述内容的结合性和一致性。

9.根据权利要求8的方法，其中形成所述融合的注释信息包括：

-通过自然语言处理来生成所述内容的总结。

10.一种装置，所述装置包括至少一个处理器、包括计算机程序代码的存储器，所述存储器和所述计算机程序代码被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-从图片源获得图片描述信息，其中所述图片描述信息至少部分地已被自动形成，

-从至少两个对象源获得注释信息，其中所述至少两个对象源不同于所述图片源，

-自动融合来自所述至少两个对象源的所述注释信息以形成融合的注释信息，以及

-将所述融合的注释信息附接到所述图片以创建用于所述图片的对象注解。

11.根据权利要求10的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-在所述图片和至少一个对象源之间形成超级对象链接，其中所述超级对象链接包括到所述对象源中的对象的链接，

-将所述到所述对象的链接附接到所述图片以创建用于图片的对象注解。

12.根据权利要求10或者11的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-通过自动分析来自所述两个源的信息和来自所述图片源的信息以形成相关性信息，以及

-基于所述相关性信息从所述至少两个源获得所述注释信息。

13.根据权利要求12的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-通过使用时间信息、地点信息、事件信息和人物信息的组中的至少一个确定所述图片和所述至少两个源的类似度来确定所述图片和所述至少两个源之间的相互关系以形成所述相关性信息，

-通过使用所述时间信息、地点信息、事件信息和人物信息的组中的所述至少一个来形成加权的类似度指示符。

14.根据权利要求10到13中的任意一项的装置，其中所述至少两个源包括电子邮件消息、短消息、多媒体消息、即时消息、日历条目、名片、日志条目、wiki条目和社交网络服务条目的组中的至少两个。

15.根据权利要求10到14中的任意一项的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-基于来自所述至少两个源的所述注释信息来聚集图片。

16.根据权利要求10到15中的任意一项的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下：

-从用户接收过滤器信息或者源选择信息以用于限制来自所述至少两个源的数据。

17.根据权利要求10到16中的任意一项的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下以用于形成所述融合的注释信息：

-从源内容选择用于注释的内容，

-过滤所选择的内容以减少不相关和冗余的信息，以及

-增强所述内容的结合性和一致性。

18.根据权利要求17的装置，进一步包括计算机程序代码，其被配置以与所述至少一个处理器一起使得所述装置至少执行以下以用于形成所述融合的注释信息：

-通过自然语言处理来生成所述内容的总结。

19.一种被存储在计算机可读媒介上并且可在数据处理设备上执行的计算机程序产品，其中所述计算机程序产品包括：

-用于从图片源获得图片描述信息的计算机程序代码部分，其中所述图片描述信息至少部分地已被自动形成，

-用于从至少两个对象源获得注释信息的计算机程序代码部分，其中所述至少两个对象源不同于所述图片源，

-用于自动融合来自所述至少两个对象源的所述注释信息以形成融合的注释信息的计算机程序代码部分，以及

-用于将所述融合的注释信息附接到所述图片以创建用于所述图片的对象注解的计算机程序代码部分。

20.一种被存储在计算机可读媒介上并且可在数据处理设备中执行的计算机程序产品，其中所述计算机程序产品包括用于执行根据权利要求1到9中的任意一项的方法的计算机程序代码部分。

21.一种设备，包括

-用于从图片源获得图片描述信息的装置，其中所述图片描述信息至少部分地已被自动形成，

-用于从至少两个对象源获得注释信息的装置，其中所述至少两个对象源不同于所述图片源，

-用于自动融合来自所述至少两个对象源的所述注释信息以形成融合的注释信息的装置，以及

-用于将所述融合的注释信息附接到所述图片以创建用于所述图片的对象注解的装置。

22.一种网络服务，其向用户至少提供以下：

-来自图片源的图片描述信息，其中所述图片描述信息至少部分地已被自动形成，

-来自至少两个对象源的注释信息，其中所述至少两个对象源不同于所述图片源，

-通过自动融合来自所述至少两个对象源的所述注释信息的融合的注释信息，以及

-通过将所述融合的注释信息附接到所述图片的用于所述图片的对象注解。

23.一种在载体介质上具体化的图片信号，所述信号包括：

-来自图片源的图片描述信息，其中所述图片描述信息至少部分地已被自动形成，

-来自至少两个对象源的注释信息，其中所述至少两个对象源不同于所述图片源，

-通过自动融合来自所述至少两个对象源的所述注释信息的融合的注释信息，以及

-通过将所述融合的注释信息附接到所述图片的用于所述图片的对象注解。

Images