CN109416685A - 用于与用户主动交互的方法 - Google Patents

Abstract

数据点、日历条目、趋势、行为模式可以用于在没有用户的主动参与的情况下利用所选择的图像合集来预测和预先构建数字和可打印产品。该合集选自用户设备上的文件、基于云的照片库或在其他个体之间分享的其他库，并被分组为主题产品。基于对用户的合集和在线行为的分析，***可以估计潜在的以媒体为中心的产品的类型和量，以及估计在预计的时间段内制作和分布这种以媒体为中心的产品所需的资源。用户界面可以采用“虚拟策展人”的形式，该虚拟策展人是用于对用户与管理该用户的所存储的媒体资产的***之间的交互进行增强和管理的图形或动画角色。虚拟策展人可以视情况对每个用户采用诸多角色中之一。例如，虚拟策展人可以以图标呈现为动画化身的人物，或者呈现为浮动在屏幕周围的图标。虚拟策展人还可以经由文本消息或音频消息与用户交互。

Description

用于与用户主动交互的方法

相关申请的交叉引用

本申请要求下述申请的优先权：(i)2016年6月2日提交的名称为“System andMethod for Predictive Curation,Production Infrastructure,and Personal ContentAssistant”的美国临时专利申请no.62/344,770；(ii)2016年6月2日提交的名称为“Systemand Method for Predictive Curation,Production Infrastructure,and PersonalContent Assistant”的美国临时专利申请no.62/344,764；以及(iii)2016年6月2日提交的名称为“System and Method for Predictive Curation,Production Infrastructure,and Personal Content Assistant”的美国临时专利申请no.62/344,761。上述申请的公开内容通过引用合并在此。

本发明的背景

本发明涉及基于对用户的偏好和行为的分析向用户提供服务。特别地，本发明涉及基于对从用户的媒体资产(例如，相片合集(collection，集合)、音乐合集和视频合集)、在线和社交媒体活动收集的信息的分析向用户提供和推荐服务。

随着便携式联网设备(例如，智能电话、平板电脑、膝上型电脑和连接的数码相机)的激增，与记录和存储多媒体资产相关的成本变得无关紧要。因此，用户正在积累大量静止图像和视频剪辑的合集。用户的个人多媒体资产的数量使得难以识别和定位更重要的多媒体资产。此外，由于希望记载、识别以及纪念每一天和重要的生活事件，许多用户在日常事件展现时记录图像和视频。通常，这样的多媒体内容首先捕获在设备的内部存储器中，然后将其转移到个人计算机的硬盘驱动器、联网存储设备、便携式硬盘驱动器、固态存储器或远程基于云的存储装置。很多时候，在个体的重要事件下记录的最佳多媒体内容是由参加该事件的另一个人记录的，但是这个人已经忽视了与其他参与者分享该内容，尽管这个人是个体的亲密个人朋友或家庭成员。因此，用于从多个多媒体内容合集中定位、分享和使用资产的方便且***的方式可能是非常有价值的。

许多用户将个人内容诸如图像存储在基于云的存储服务(例如，Dropbox、GooglePhoto、Amazon Cloud Drive)、实际捕获设备(例如，智能手机)、便携式硬盘驱动器、个人计算机中或社交网络(例如，Facebook)上、或这些方法的组合。然而，如上所述，往往当用户想要检索特定图像、与朋友或家庭成员分享图像、或者在以个人媒体为中心的礼物(例如，照片贺卡、照片日历、相册或数字电影或幻灯片)中使用图像，他或她无法及时有效地找到图像。

对用户的媒体资产诸如相片或音乐和视频合集的分析使得各种商业或社交应用成为可能。例如，在下述中公开了这样的应用：(a)Gobeyn等人的名称为“IMAGE RECORDTREND IDENTIFICATION FOR USER PROFILES”的美国专利7,836,093；(b)McIntyre等人的名称为“IMAGE DISPLAY TABS FOR ACCESSING SOCIAL INFORMATION”的美国专利8,910,071；(c)还是McIntyre等人的名称为“CONCIERGE-SHOPPING ASSISTANT”的美国专利8,028.246；(d)Wood等人的名称为“MEDIA ASSET EVALUATION BASED ON SOCIALRELATIONSHIPS”的美国专利申请公开2009/0132264；(e)Blomstedt等人的名称为“SYSTEMFOR MANAGING DISTRIBUTED ASSETS AND METADATA”的美国专利8,832,023；(f)Newell等人的名称为“AUTOMATIC STORY CREATION USING SEMANTIC CLASSIFIERS FOR DIGITALASSETS AND ASSOCIATED METADATA”的美国专利8,934,717。

在数据挖掘中，已经使用交易历史(例如，购买、在线活动、社交网络交互)来获得关于个体行为和群体行为的有用信息。交易记录通常由交易标识符标识，并记录涉及交易的一组项目。该记录格式被称为“市场购物篮”样式数据，因为它类似于个体购物者的超市购物车的内容的列表。交易数据库包含大量交易记录。已经开发出了数据挖掘工具，以用于从常规交易数据库中提取频繁出现的项目群组(“项目集”)。在图像采集领域中在使用数据挖掘技术方面已经有一些工作。例如，参见Wang等人的名称为“INTEREST LEARNING FROMAN IMAGE COLLECTION FOR ADVERTISING”的美国专利申请公开2011/0072047；参见Schuetze等人的名称为“SYSTEM AND METHOD FOR CLUSTERING DATA OBJECTS IN ACOLLECTION”的美国专利6,598,054；以及参见Baluja等人的名称为“INFERRING USERINTERESTS”的美国专利申请公开2008/0275861。

发明内容

根据本发明的一种实施方式，预测性策展人(predictive curator)分析用户的媒体资产、交易数据、日历条目、趋势、行为模式以在很少有或没有用户的主动参与的情况下使用用户的图像合集预测和预先构建以数字媒体为中心的产品。用户的媒体资产合集可以从用户设备上的文件、基于云的照片库或在其他个体之间分享的其他库中检索，并被分组为主题产品。基于对用户的合集和在线行为的分析，预测性策展人可以估计潜在的以媒体为中心的产品的类型和量，以及估计在预计的时间段内制作(produce，生产)和分布这种以媒体为中心的产品所需的资源。

根据本发明的一种实施方式，“虚拟策展人”可以采用用于对用户与管理该用户的所存储的媒体资产的***之间的交互进行增强和管理的图形或动画角色的形式。虚拟策展人可以视情况对每个用户采用诸多角色中之一。例如，虚拟策展人可以以图标呈现为动画化身的人物，或呈现为浮动在屏幕周围的图标。虚拟策展人还可以经由文本消息或音频消息与用户交互。

根据本发明的一种实施方式，策展人执行共现标记以促进搜索媒体资产。为了提供用于标记的种子术语，策展人可以利用社交网络评论中嵌入的知识，以及利用在媒体资产本身中辨识出的个体和主导对象。策展人还可以利用相关联的用户的合集中的共现术语进行匹配和关联。

考虑下面结合附图的详细描述，可以更好地理解本发明。

附图说明

图1是根据本发明的一种实施方式的其中可以实现预测性策展人的***10的概览。

图2是示出根据本发明的一种实施方式的策展人的工作流程的流程图。

图3是示出根据本发明的一种实施方式的如何为用户选择角色的流程图。

图4a、图4b、图4c和图4d示出了根据本发明一种实施方式的用于学习用户简档的图像内容和情境指示。

图5a、图5b、图5c和图5d示出了根据本发明的一种实施方式的在策展人的工作流程的期间预测性策展人和用户之间的交互的各种示例。

图6a、图6b、图6c和图6d示出了根据本发明的一种实施方式的从两个不同角色提出的问题的基调。

图7a、图7b、图7c和图7d示出了根据本发明的一种实施方式的策展人角色可以询问关于图像的问题，该图像包含图像中已经辨识或识别出的特征。

图8a、图8b、图8c和图8d示出了根据本发明的一种实施方式的策展人可以采用的不同的策展人角色。

图9a和图9b示出了根据本发明的一种实施方式的策展人可以呈现给用户以定制要创建的贺卡的两种表格。

图10a示出了根据本发明的一种实施方式的可由策展人用于所需产品的简档的查找表。

图10b示出了根据本发明一种实施方式的可以基于分配给一个或多个简档类别的值来选择的贺卡的组件。

图11详细说明了根据本发明一种实施方式的图2的流程图中的步骤209至212。

具体实施方式

无论是否因为缺乏兴趣、能力、创意、想象力、时间或所需的技能，用户通常都不愿意手动搜索他或她的图像合集。本发明提供了一种“预测性策展人”，它是具有图形用户界面(“GUI(图形用户接口)”)的应用程序，该图形用户界面在用户与图像分析和产品选择应用程序之间进行通信。基于从用户的音频和视觉媒体资产(例如，用户的图片、音乐、电影和电视节目的合集)和其他数据(例如，人口统计信息和个人风格偏好)中了解用户，策展人组织和管理这些资产。策展人还可以识别用于创建引人注目的基于媒体的产品的机会。

图1是根据本发明的一种实施方式的在其中可以实施预测性策展人的***10的概览。如图1所示，本发明的预测性策展人可以经由用户的计算设备与用户交互。在图1中，例如，用户的计算设备可以包括移动设备100(例如，智能手机或平板计算机)和桌上型设备20，它们通过无线链路90(例如，蓝牙或WiFi)彼此通信。在桌上型设备20上，用户可以通过GUI 110与策展人交互，该GUI显示在图形显示器70上并且有权访问***设备，诸如摄像头40、记忆卡读取器60和输出设备130、140、150和160。输出设备130、140、150和160可以是例如各种类型的打印机，包括适用于打印相片的打印机和3D打印机。在图1中，桌上型设备还有权访问路由器10，该路由器提供对广域计算机网络(例如，因特网)的访问，在桌上型设备20或移动设备100上运行的策展人可以通过该广域计算机网络访问和使用远程计算资源10(例如，远程服务器180)。***10可以体现为个人计算机***或零售照相亭***。

值得注意的是，根据本发明的一种实施方式，向用户提供了包含用户自己的相关多媒体资产的重要图像和潜在的以照片为中心的产品的及时呈现，而不触发用户的真实或想象的隐私问题中的任何。在一些情况下，可以使用如图1所示的输出设备130、140、150和160来创建这样的产品。本发明还为用户提供了富有创意和表现力的机会，以通过将原本复杂难懂的工艺项目的内容转变为个性化的购物体验来辨识和纪念重要的生活事件。

图2是示出根据本发明的一种实施方式的策展人的工作流程的流程图。如图2所示，在步骤201，用户启动策展人以在计算设备上运行。在一些实施方式中，可以从因特网上的供应商的服务器下载策展人。当第一次启动策展人时，在步骤202，策展人向用户呈现用户必须同意的服务协议。图5a示出了策展人，根据本发明的一种实施方式，假设角色“Veronica”通过语音与用户交互以介绍它自己并获得准许，以开始作为用户的媒体资产的策展人。此后，用户提供给策展人访问用户的联系人、社交网络帐号、关系、事件日历、时间和位置数据以及收集的多媒体资产的准许。图5b示出了根据本发明的一种实施方式的策展人在本地和社交媒体上对用户的媒体资产进行盘点之后通过语音消息请求用户的准许，以处理社交媒体上的媒体资产和社交交互。

在步骤203，策展人处理用户提供的信息以创建供其使用的元数据。这种元数据可以包括例如包含多媒体资产、有意义(significant，重要的)个体和事件的元数据。下面更详细地提供了创建这种交叉参引或索引元数据的处理。图5c示出了根据本发明的一种实施方式的已经处理了用户的多媒体资产和社交媒体交互的策展人通过语音消息向用户报告其发现。

在步骤204，策展人存储所创建的元数据以便于访问。可以本地存储、远程存储或者本地及远程存储数据(例如，存储在图1的桌上型设备20或远程计算资源10上)。此时，即，在步骤204，策展人可以与用户交互以获得关于用户的进一步信息，并基于从用户或从在步骤202中获得的根据处理用户的信息得到的元数据取得的信息来创建简档。策展人可以将用户分配给角色种类，如下面进一步详细讨论的。

在步骤205，用户选择与策展人交互的期望水平，其可以包括例如交互的频率和一种或多种交互模态(例如，文本消息、电子邮件、语音或音频消息、通过GUI或通过化身)。在步骤206，用户可以授权策展人与在步骤203中识别出的有意义个体中的一个或多个交互以进行交互(例如，分享用户的多媒体资产)。在步骤207，基于用户在步骤206的批准，策展人可以联系有意义个体以分享多媒体资产或者引入预测性策展人应用程序。在步骤208，然后，策展人返回到步骤201。

在步骤202至208的初始接触之后，步骤201处的策展人的启动将策展人引导到步骤209。在步骤209至210，策展人以已经关于步骤202至203描述的方式处理任何新获得的多媒体资产和元数据。在步骤211，基于处理用户的媒体资产，策展人可以准备一个或多个定制的以媒体为中心的产品用以提供给用户或一个或多个有意义个体。(每个定制的以媒体为中心的产品例如相册包含用户的媒体资产中的一个或多个。)在下面进一步详细公开了策展人用于预测内容、相关事件和潜在的一个或多个接收者的方法中的一些。如果策展人在步骤212确定实现呈现定制的以媒体为中心的产品中之一的机会(例如，在接收者的生日之前一周)，则在步骤213，策展人可以创建定制的以媒体为中心的产品的虚拟版本并向用户呈现该定制的以媒体为中心的产品的虚拟版本，连同呈现一个或多个建议的接收者和展现该定制的以媒体为中心的产品的事件或场合。(产品的虚拟版本是产品的计算机模型，以便允许用户通过策展人的GUI检查、设想、编辑或以其他方式修改产品。)图5d示出了策展人辨识到与用户的有意义个体中之一(例如，用户的姐妹)分享以媒体为中心的产品(例如，相册)的机会的示例。在图5d中，根据本发明的一种实施方式，用户寻求用户的同意以分享该以媒体为中心的产品。

在一种实施方式中，可以参照图11进一步描述步骤209至212。来自图2中的步骤209和步骤210中提及的资产在图11中共同显示为资产2005。通过元数据生成过程2010分析资产2005产生元数据2015，该元数据可以根据行业标准数据模型RDF(资源描述框架)来表示，并且可以存储在数据库2020中。下面进一步描述元数据生成。被设计用于存储RDF数据的数据库诸如数据库2020，在业内称为三元组仓库(triplestore，三元组存储库)。该三元组仓库构造适当的辅助索引以进行有效的数据检索。可以更详细地描述图2的步骤211本身。例如，被称为“故事生成”的对重要媒体资产进行识别和分等级的过程从故事生成组件2040开始。在一种实施方式中，故事仅仅是对一组资产进行特定分组和优先级排序。可以使用不同的算法来生成不同的故事类型。该实施方式可以支持各种故事生成算法。最基本的算法按时间对资产进行分组，但是以层级的方式，使得分组反映事件结构。例如，在多日假期中捕获的资产可以对应于单个“超级事件”，并且每天捕获的资产可以对应于单独的“事件”。属于事件的资产可以根据单独的子事件进一步分类，这些子事件对应于事件内发生的不同活动。可以基于相邻图像之间的相似性来进一步组织子事件。

用于故事生成的第二种算法通过识别共同主题来按主题组织资产。例如，可以使用频繁的项目集挖掘(随后更详细地描述)来完成主题识别。其他算法可以使用替代分组机制。每种算法将基于资产的与故事类型有关的特征来进一步对每个资产进行优先级排序。

通过触发器组2030中的触发器促成图2的步骤211的操作(例如，启动故事生成组件2040)。触发器可以像接收新资产一样简单，如图2的工作流程所示。然而，步骤211可以由其他触发器激活，包括时间触发器(例如，某人的生日即将到来)、位置触发器(检测到用户接近某个位置)、***触发器(例如，待进行的对某一类型的产品的促销)、以及这些和其他触发器类别的各种组合。

通常地，尽管不是必须地，在考虑特定产品类别的情况下开发由故事生成组件2040生成的故事。将故事与特定产品类别相关联的过程被称为“策展”，其优选地以视觉形式向用户呈现故事。完全通用的故事可能只是表示对一组资产的分组和优先级排序。然后可以向用户显示最高优先级的资产。考虑特定产品而开发的故事可能只有在与实现的产品一起可视化时才有意义。例如，一种可能的产品是十二个月的日历。在这种情况下，故事分组和优先级排序可以更加具体(例如，故事以正好十二个产品分组的形式呈现，并且对于每个分组，单个资产被赋予最高优先级)。这样的故事最好被可视化为其预期的产品，例如为日历。其他可能的产品类别包括拼贴画和相册。一些产品类别对应于单个表面(surface，表层、外观)，诸如拼贴画或照片马克杯；其他产品类具有多个表面，诸如相册或日历。当生成被预期用于特定产品类别的故事时，图11的故事生成组件2040使用产品简档2035作为故事算法的输入。可以通过参照用户简档2050对给定用户进一步细化故事生成。故事生成算法可以参照用户简档以细化分组或优先级排序过程。例如，如果已知给定用户喜欢猫，那么猫的图片可能比没有猫的图片接收更高的优先级。更通常地，对于给定用户重要的地点、人、活动和事物的知识可以使得描绘那些地点、人、活动或事物的图片接收比它们原本接收的优先级高的优先级。

在一种实施方式中，故事生成组件2040可以生成通过多个候选的以媒体为中心的产品可视化的多个候选故事2045。虽然这些候选的以媒体为中心的产品可以直接以视觉形式呈现给用户，但是可以首先使用优良评估器2060来筛选可能的候选的以媒体为中心的产品。优良评估器2060通过将用户简档2050与业务规则2055组合来操作以过滤该组候选的以媒体为中心的产品2045，以得到一组良好的以媒体为中心的产品2060。例如，如果在图2的测试212下识别出良好的以媒体为中心的产品2060，则如图2的步骤213所示，处理器创建并向用户呈现自定义的以媒体为中心的产品的相应虚拟版本。

在步骤214，用户授权策展人在用户编辑或修改(如果需要的话)之后，向有意的接收者发送定制的以媒体为中心的产品。或者，可以向用户提供替代的定制的以媒体为中心的产品以供选择。

由策展人在步骤209至211和213至24中获得的附加信息可以在步骤215使用，以更新用户的被分配的角色种类。工作流程在步骤216结束。

除了记录视频、声音、文本和静止图像之外，捕获设备还包括与其传感器相关联的元数据。例如，蜂窝电话、平板电脑或数码相机可以包括来自全球定位***(GPS)或手机信号塔三角测量、定向和惯性传感器或数字罗盘的位置数据，准确的自动被设置和更新的时间和日期，温度和湿度，以及关于无线或有线连接到捕获设备的***设备的数据。这样的***设备可以包括例如监测身体活动水平和心率的可穿戴健康和身体活动设备、远程摄像机和麦克风、以及从捕获设备引导并连接到捕获设备并且能够记录和实时传输视频和高分辨率静止图像的自主空中无人机。此外，来自自主地操作的空中无人机的数据诸如来自GPS、高度传感器、惯性传感器、定向传感器和方向性传感器以及陀螺仪的数据也可以是可记录的。一些记录的元数据诸如GPS数据可以与关于用户的信息链接(例如，纬度和经度信息可以链接到街道地址或地图位置)。

根据本发明的一种实施方式，通过检查其他用户信息，策展人可以将这样的街道地址或地图位置与例如用户的家、娱乐物业、喜爱的露营场地、鳟鱼垂钓点、或者远足小道或山地自行车小道相关联或“标记”。反过来，这样的附加信息提供了关于用户的生活方式和兴趣的进一步背景。在已经识别、分析和编目之后，策展人可以使元数据与用户的帐户、关系和有意义事件相关。可以创建到媒体资产的链接，以便在需要时(例如，用于分享或产生定制的媒体产品)促进访问。可以在不要求用户为其媒体资产或个人内容建立新的或冗余存储的情况下执行这些任务，从而缓和与其在新的或附加位置处的可用性相关的任何隐私问题。

在一些实施方式中，可以通过将媒体资产临时上载到远程处理器来执行对媒体资产的处理(例如，获取记录的元数据，从物体、人或场景的图像得出元数据)。此外，为了创建虚拟产品和物理产品，可以根据需要从相关参与用户上载多媒体资产以用于合并。这些图像和相关的以媒体为中心的产品可以存储达固定的时间段以允许放置附加的订单。

为了允许媒体资产更可搜索并且能够辨识和关联相关事件或个体，可以将“语义标记”应用于媒体资产。可从现有工具诸如Microsoft Corporation的“计算机视觉API”或“Clarifai”获得这种技术。Clarifai为给定的图像或视频资产创建一组语义标签或标记，其中每个标签被分配相关联的置信度分数，该置信度分数指示该标记与被标记的图像或视频帧相关的概率。Clarifai使用基于深度学习的模型，使得反馈机制使***能够随着时间的推移改进其模型。

在一种实施方式中，分配给图像的标记指示图像的质量或“趣味性”的程度。机器学***生成的参考相关联。可以通过针对给定用户或同类群体使模型个性化来进一步细化该数据。除了通过例如Clarifai所做的将标记与单独图像相关联之外，标记可以与事件相关联。与事件中的图像相关联的标记组可以被处理，以使用传统的文档分析技术来识别频繁标记、异常标记或停用词。根据这种处理，可以开发用于事件的简档。这样的简档可以包括例如表征事件的标记组和对事件的重要性的评估。可以对每个候选图像集生成用户简档，并且可以开发度量以在用户简档之间进行比较。

通常，标记应该具有本体论结构(例如，国际象棋是一种棋盘游戏，标记‘国际象棋’应该被理解为与标记‘棋盘游戏’相匹配)。工具诸如WordNet及其直接或继承的上位词可以用于形成本体论。本体论也可以建立在概念扩展方法的基础上，该方法基于领域特定的知识。

使用地面实况数据(即，实际测试的数据)，我们可以生成用于预定事件语义类别的简档，诸如生日派对或学校独奏会。从候选的单张图像或具有计算简档的一组图像中，可以在算法上确定哪个预定语义事件类别与候选图像或图像组最匹配。这样的确定使得能够为候选组分配一个或多个语义事件类别以及相关联的置信度分数。

当使用该方法对图像组进行分类时，在可能过滤掉异常或非描述性标记之后，从与各张图像相关联的标记的并集获得用于图像组的标记组。可以基于它们的出现频率和它们的相关联的置信度分数来进一步加权标记。可以将加权组与参考简档进行比较。在对单张图像进行分类时，每个标记的出现频率为1，但用于各个标记的置信度分数仍可以用于简档比较。

一旦为合集的图像生成事件标记——包括用于层级事件类别的标记——使用标记组来：(a)用于识别事件的主题分组；(b)作为主题分组算法的组件(例如，作为频繁项目集挖掘算法考虑的特征之一，参见下文)；以及(c)用于在其中获得事件的主题分组的方法，诸如在(b)中执行但不考虑标记，然后处理每个主题以独立地获得用于每个主题群组的标记。然后，可以使用与单个主题群组相关联的结果标记来确定重要性或以其他方式对一组主题分组进行评分。该方法允许人们在不知道哪一个或多个主题分组最重要的情况下从一组主题组制作拼贴画。例如，可以通过考虑如针对个体的合集或该合集的子集所测量的或针对其他用户所测量的标记的独特性来对主题分组分等级。或者，可以基于更高价值主题的标记简档的先验知识来限定专业***。随着时间的推移，可以学习特定用户最感兴趣的标记组或简档。例如，对于给定用户，策展人可以学习到狗或以宠物为中心的图像或事件比其他图像或事件具有更高的重要性。对于另一个用户，策展人可以学习到抽象标记诸如“爱”具有更高的价值。

可以通过检查使用模式来完成学习。例如，如果用户在社交媒体网络上发布其中存在于不同时间捕获的图像的子集的相册，则可以推断出该子集代表主题分组。通过在子集上运行主题分组算法，可以获得主题分组的相对重要性。例如，可以每月如此标记包括具有不同姿势的婴儿图像的相册以识别主题分组。这样的标记可以促进搜索(例如，找到由社交网络中的其他人拍摄的类似相册)，以及出于相关原因。例如，如果一个人对特定主题的图片显示出喜好(例如，经常“点赞”主题群组的图片)，则可以在将该主题的附加图片添加到相册时向该人提醒该主题的附加图片。在该应用中，实际标记的语义是不相关的；通过对类似(即，高度匹配)的标记组或简档进行分组来实现该方法的价值。

标记可以用于帮助识别事件边界，增强使用视觉相似性和时间事件聚类的方法，因为视觉相似性度量有时是不准确的。图像的合集可以包含由不同位置处的不同个体捕获图片以用于重叠(overlap，部分重叠)事件。语义标记的使用可以提供改进的事件分段，包括支持并行事件的能力。标记在基于识别具有相同标记组的图像组来识别重复发生的事件中也有用。可以基于标记对这种重复发生的事件进行优先级排序。例如，如果有每年拍摄的类似被标记为7月摄于公园的照片，那么这样的照片变得更加重要。例如，可以参考来自其他用户的聚合结果来确定某些标记的重要性(例如，如果大量人发现生日图片很重要，则可以认为对于特定用户的生日图片是重要的)。当然，可以基于用户反馈随时间学习与用户相关的实际权重。或者，当与事件相关联的标记相对于其他事件异常时，则这可能指示该事件是重要的。当然，任何事件的重要性可以从多个标号得出。通过过滤出不经常发生而且无意义的事件，可能可以进一步增强对有意义事件或重要事件的识别。可以基于从多个合集中提取的聚合行为来开发这种过滤。例如，过滤可以减少从孤立的器具购物事件中取出的几张洗衣机图片的影响。相反，人们可能会有几张校车的图片。可能代表学校的第一天的这样的图片可能很重要。可以使用专业知识开发过滤器，或者从聚合中获得过滤器(例如，可以通过为人们在社交媒体网络上发布的图片生成标记组来创建过滤器)。

标记可以用于向用户建议纪念相片产品。例如，当得知用户每年秋天拍摄南瓜的图片时，策展人可以自动将多年来消费者的最佳南瓜拍摄的拼贴画放在一起。或者，策展人可以提醒人们拍摄与特定位置相关或特定日期左右的某些类型的图片。例如，策展人可能会提醒人们在10月份进行他们的年度南瓜拍摄。在一些情况下，虽然高级别分类(例如，“南瓜拍摄”)通常难以推断，但提醒仅需采取显示来自过去事件的示例图片的形式。

策展人还可以基于相关联的标记组建议对图像或图像组的使用。在一种实施方式中，可以参考用户在社交媒体上发布的图像以标记其他图像。假设已发布到社交媒体的图像已被标记为“第二”。“第二合集”可以包括其他先前捕获或未处理的图像。访问用户的社交媒体帐户允许策展人检查相关联的元数据，诸如“点赞”、情绪、评论和与社交媒体上发布的那些图像相关联的其他元数据。在已经将标记分配给新捕获的或以其它方式未处理的图像之后，策展人可以将生成的标记与第二合集中的标记进行比较，以识别第二合集中的类似标记的图像。如果策展人发现给定图像具有与先前分享的图像组的标记对应的一组标记，并且如果先前分享的图像倾向于与某些社交媒体群组分享，则策展人可建议与相同的社交媒体群组分享当前的图像。此外，如果先前分享的图像倾向于受到社交媒体群组的特定子集的欢迎(“赞过”)，则策展人将突出显示当前图像以用于特别地与社交媒体群组的该子集分享(或在相应的新闻推送上对其打高分)。策展人可以检测先前分享的图像的使用模式，并建议当前图像用于相同的用途。

当然，图像不必局限于单个合集。策展人可以创建对应于不同个体或个体群组(“亲密群组”)的不同图像合集。通过关联每个合集中的标记，策展人可以建议基于其亲密群组或识别出的在亲密群组中即将发生的事件来使用图像或活动。

除了基于主题算法中的标识进行标记(例如，使用下面描述的频繁项目集挖掘)之外，还可以简单地基于一个或两个特征诸如地点或位置来形成群组。结合本体论推理并参考其他辅助数据，这样的群组使人们能够推断出与地点相关的特征。例如，当发现来自已知位置类型(例如，动物园)的图片上的标记与来自另一位置的一组紧密匹配的标记紧密相关时，可以推断出另一位置可能是相同类型(即，也是动物园)。

虽然上面主要结合标记事件讨论了语义标记，但同样的方法同样适用于对活动进行分类。例如，当某些标记通常与特定类型的活动(例如，少年联赛)相关联时，可以将相同的标记应用于另一组相似的图片(即，也作为少年联赛)。被表征的组可能来自事件，但也可能是一些其他合集(例如，保存来自若干少年联赛的最佳图片的父母)。

为了完成其任务，策展人还可以使用规则集合、动态学习或这些和其他合适技术的组合。例如，策展人可以使用关键词共现技术来进行媒体资产之间的关联。

在一些实施方式中，将用户的图像内容和相关联的元数据与一组预定的用户简档(“角色”)进行比较，策展人可以将用户分配给角色或角色种类，使得可以如上面已经关于图2的流程图所提及的与用户一起执行与所指定的角色相关联的功能。图3是示出根据本发明的一种实施方式的如何为用户选择角色的流程图。如图3所示，在步骤301，策展人使用所存储的交叉参引的元数据(例如，在图2的步骤203至204创建和存储的元数据)来绘制问卷以向用户询问。基于用户对问卷的响应和策展人可获得的其他信息，在步骤302，策展人编译用户和有意义个体的个人信息，诸如年龄、出生日期、性别、性别取向、婚姻状况、配偶的姓名和年龄、孩子数量、他们的姓名和年龄，以及每个有关人员的兴趣、活动、宗教和文化派系。在步骤303至305，使用在步骤301至302中收集的数据，策展人匹配数据以从可用人物种类的列表中为用户选择角色种类。在下面进一步详细描述在一些实施方式中使用的匹配技术。

在步骤306，如果数据指示用户的简档与角色种类中的任一种都显著不同，则可以量化差异并将其与阈值进行比较。如果差异足够大，则在步骤310，策展人可以为用户创建新的角色种类。新角色种类及其特征用户简档可以用于将来的用户分类。否则，在步骤307，策展人从角色种类的列表中为用户选择最接近的角色种类，同时注意到该选择是“次优的”。在步骤308，基于所选择的次优角色种类，策展人修改其与用户的交互模态和频率。通过与用户的进一步交互，策展人可以获得更好的信息以随时间推移更准确地将用户简档与可用的角色种类匹配。

每个角色都代表许多有用的用户特质。例如，可以例如通过维护兴趣日志来捕获用户特质。当如从内容分析、社交网络发布、评论、点赞、分享中识别出的以超过预定阈值的频率、量或百分比收集或使用某些类别的内容(例如，某些类型的图像或视频)时，用户的简档可能包括代表特定兴趣的特质(例如，用户被视为喜欢狗、去旅行、从事工程、或参与划船、运动或某些爱好)。

以下是可以基于用户的媒体资产中的相片和视频分配的角色的一些示例：

图4a、图4b、图4c和图4d示出了根据本发明一种实施方式的对学习用户简档有用的图像内容和情境指示。例如，策展人可以从若干张在钓鱼的儿童的图像(例如，其中一张可以是图4a，示出了儿童401、钓鱼竿402和鱼403)中识别，这些图像是在短时间间隔内拍摄的，标记有对应于“库克湖”的GPS位置，其是已知的休闲风景位置(例如，滨水区或海滩)。图像可以涉及所识别的有意义事件(例如，“捕鱼”)。用于识别有意义事件的技术可以在例如Hibino等人的名称为“METHOD OF SELECTING IMPORTANT DIGITAL IMAGES”的美国专利8,774,528中找到。可以例如使用A.Loui等人的名称为“SYSTEM AND METHOD FOR CREATINGNAVIGABLE VIEWS”的美国专利申请公开2015/0036931中公开的技术来识别显著的重复发生的感兴趣区域和数字图像组。

这样的图像可以触发策展人启动用户行为和内容分析。策展人可以使用可能包括在其他用户活动中的附加信息。例如，策展人还可能从用户的多个社交媒体帖子中学习到儿童401已被识别为用户的8岁女儿；此外，策展人还可以学习到用户已经与用户识别为她的母亲和姐妹的个体多次分享这些图像。

作为另一示例，在图4c中，策展人可以辨识持有画作423的人421。策展人可以预测人421——策展人可能能够将其识别为用户——将绘画作为爱好。类似地，示出了用户持有被子462的图4d允许策展人预测用户将缝被子作为另一个爱好。图4c示出了在第三根手指上戴有戒指444的左手443。策展人可以从图像4c预测手443属于最近订婚的人。

根据本发明的一种实施方式，可以使用先前编译或动态学习的行为和内容的查找表来分析用户行为和内容。可以执行分析以用于一般分类或角色识别或者用于特定目。根据内容和元数据，可以将内容分解为种类，诸如事件类型(例如，家庭出游、体育赛事)、参与者、位置(例如，海滨、湖滨、主题公园、露营场地)、一般生活方式种类(例如，室内、室外、团体活动)和内容类型(例如，滑雪、水上运动、帆船)。根据所识别的参与者，可以将用户或其他个体分类为同类群体群组(例如，“母亲”、“幼童”)。类似地，位置可以提供有用的地理信息(例如，家庭邮政编码)。内容分解可以提供与社交或网络简档相关的信息。策展人还可以利用用户的日历和联系人列表，这允许策展人预测重要事件、家庭成员、业务联系人和朋友。

用户行为的其他指示符还可以提供信息以创建用户简档或角色，或者将个体用户分配给这样的简档或角色。顾客会谈、爱好、关系类型、种族背景、民族和国籍、计算机熟悉度、宗教派系、政治派系、偏好的新闻源以及用户阅读的博客都提供了见解并且可以用于辅助建立用户简档或将角色分配给用户。

可以通过图像理解算法自动识别图像中的许多物体和地标，但是自动识别个体通常不是一项容易的任务。然而，在根据相片中的接近度的关系推断方面有学术研究。利用相关个体共有的相似特征诸如面部和身体特征、肤色、眼睛颜色和头发颜色可以实现关系推断。可以基于相对年龄(例如，父母和祖父母)推断一些关系。某些类型的正式相片可以用于建立关系(例如，在人的合集中的婚礼相片)。这样的正式相片有熟悉的姿势，例如新娘和新郎位于中央，父母可能站在新娘和新郎近旁。如果伴郎与新郎相似，则他很可能是新郎的兄弟。父母可能与新娘或新郎相似。

在一些情境下，用户以及与用户有关系的那些人的衣着、服饰或配件是信息性的，例如正式、休闲、制服、前卫、自由精神、宗教装束或头饰、珠宝、纹身、发型、面部毛发、气候相关的衣着(例如，帽子、手套、外套或泳衣)。例如，在Andrew C.Gallagher和Tsuhan Chen，CVPR 2008的“Clothing Cosegmentation for Recognizing People”以及Huizhong Chen，Andrew Gallagher和Bernd Girod，ECCV 2012的“Describing Clothing by SemanticAttributes”中公开了从服饰得到信息的技术。

另外，不太正式和更随意的相片(例如，用于创建节日贺卡的团体拍摄)也提供有价值的关系和身份信息。这些卡的数字版本通常在用户的相片合集中找得到，并且可能包括文本信息诸如“亨德森一家祝您圣诞快乐”。使用这个示例，如果这样的相片包括一名男性成年人和一名女性成年人，并伴有三个孩子，则可合理推断该图片描绘了亨德森先生和夫人及其孩子，这些孩子是彼此的兄弟姐妹。节日贺卡还可以提供信息以推断节日季节的宗教或世俗背景。可以使用年龄计算图像理解算法来确定所描绘的个体的相对年龄。在其他相片中，可以根据下述推断出同事、室友、队友、同学、旅行同伴、情侣关系、亲属、随机连接或任何其他分组：在社交网络上他们的存在、输入的信息或标记、或用户在社交网络服务上进行的活动。分组的粒度可能不同(例如，社交网络服务中指定的单独连接、用户的连接的预定群组、特定类型的连接、用户的所收集的连接、用户的连接的所有连接、或社交网络服务的所有用户)。可以在例如Andrew Gallagher和Tsuhan Chen，CVPR 2009的“Understanding Images of Groups of People”以及G Wang，A Gallagher，J Luo和DForsyth，计算机视觉-ECCV 2010，pp.169-182的“Seeing People in Social Context：Recognizing People and Social Relationships”中找到适用于群组分析的技术。

虽然一些关系往往是暂时的——因为许多人际关系本质上是短暂的，但是可以推断出关系的性质和相对紧密度。对于一般的友谊来说，这可能是真实的，并且对于浪漫关系尤其如此。策展人监测从社交媒体报告和活动指示的或通过其他信息源(例如，电子邮件、文本和电话交互)指示的关系的当前状态。当策展人检测到用户不再处于浪漫关系中时，策展人将在未来的策展内容中省略前浪漫伴侣。可以考虑其他关系变化，这取决于关系的性质。策展人可能遵循某些一般准则，例如，友谊逐渐疏远和破裂，以及家庭关系往往会持续。策展人可以使用数据挖掘技术通过检查社交媒体报道和活动(例如，Facebook发帖)来检测朋友或亲属是否生病或已经死亡。检测到的疾病可以触发策展人建议“早日康复”的响应，并且检测到的死亡可以触发策展人建议对这种关系进行回顾或致敬。

还可以从图像中收集关于有意义生活事件的信息。事件可能会再发生或自发发生。可以通过存在的特定物体(例如，帽子、装饰品、蛋糕、烤火鸡、汉堡包或比萨饼)来识别一些事件，无论是在室内还是在室外进行的，或者通过烧烤架的存在来识别一些事件。刚完成马拉松的用户的自拍(即，用户拍摄的在图片中包括他自己的图片)可能是有意义的生活事件。此外，当捕获设备还已经记录了同期活动(例如，由可穿戴保健或健康设备诸如FitBit设备记录的心率，或使用欧拉视频放大技术从视频中提取的脉率和血流速率)时，元数据可能与感兴趣的图片或视频相关联。在一段时间内收集这样的事件和元数据可以向用户建议有意义的见解以帮助用户保持健康的生活方式(例如，在相关生活事件记录在媒体资产中时，用户的体重、心率、活动水平、情绪、饮食或睡眠模式之间的相互作用)。

在一些情况下，呈现的个体的数量也可以提供有用信息。例如在由Wu发表于IEEE,ICME 2009,Aug.2009,pp.1652-1655中的标题为“Close&closer：discover socialrelationship from photo collections”的文章中公开了用于推断关系和事件类型的技术。在那篇文章中，作者们公开了使用相片中的身体接近度作为关系紧密度的替代或指示。

可以基于事件下的人(例如，名人、著名和臭名昭著的个体、体育人物、演员、团队吉祥物、政治家和古装人物)来推断其他事件。可以从用户的背景和地理区域推断出国家、文化和宗教节日。虽然有些节日庆祝，但其他节日被忽视或劝阻。例如，印度和伊朗强烈劝阻情人节。不同文化和地区庆祝同一节日的方式也从庄严到喜庆各不相同。例如，亲属、亲密朋友和老熟人的存在可能表明家庭、学校或其他社会团体聚会。例如，可以通过车辆类型(例如，豪华车、古董车、功能车、休闲车、越野车、摩托车、赛格威、悬停板、自行车、船、个人船舶、独木舟、皮划艇、划艇、帆船、风帆冲浪板、飞机、直升机和飞船)的计数和混合来识别车辆相关事件。类似地，大量某一运动装备的存在可能是信息性的(例如，直排轮滑鞋和网球拍)。可以通过音乐乐器的存在、计数、混合和比例来推断音乐会和音乐会类型。表演者的数量和各种乐器类型的存在可能表明乐队、管弦乐队、合唱团或行进乐队。

可以手动标记图像和视频中不能通过自动处理(例如，基于图像理解算法)以高置信度识别出的个体和物体。然后，策展人可以向用户询问所标记物品。可以使用其中可以将策展人呈现为化身的图形或者通过更传统的文本或音频消息格式来呈现询问。策展人优选地启动与用户的对话交互，以避免学习导航或使用GUI或工作流的需要。在与用户交互期间，当策展人无法充分响应用户的请求或评论时，可以召唤远程操作员或众包操作员，以便进行干预并暂时采取控制以解决手头的问题。用户不需要知晓可以在后台运行的远程操作员的参与，因为策展人与用户的交互仍然可以由策展人前端处理。

在一种实施方式中，策展人为其自身选择与同类群体角色或与为用户确定的用户简档兼容的角色类型。当然，对策展人的角色的选择优选地是用户的选择，具有修改的选项或选择替代方案的选项。图8a、图8b、图8c和图8d示出了策展人可以采用的不同策展人角色。一些示例是分别在图8a、图8b、图8c和图8d中示出的“益友”、“教授”、“个人助理”和“无所不知的书呆子”。取决于用户采用或选择的哪种策展人角色，询问的音调可以设计成或多或少地个人化、技术化或正式化。图6a、图6b、图6c和图6d示出了根据本发明的一种实施方式的从两个不同角色提出的问题的音调。例如，化身或GUI可以在一种策展人角色(图6a)下询问“这是什么？”，或者在另一种策展人角色(图6b)下不那么唐突地询问“小女孩拿着什么？”。同样地，化身可以在一种策展人角色(图6c)下询问“这是谁？”，或者在一不同的策展人角色(图6d)下不那么唐突地询问“这个小女孩是谁？”。用户可以例如口头响应，然后可以使用语音到文本算法或应用将其转换为文本。

在一些实施方式中，随着图像中的更多特征被自动辨识出或通过与用户的交互识别出，策展人能够问关于图像的更复杂的问题。例如，图7a、图7b、图7c和图7d示出了根据本发明的一种实施方式，策展人角色可以问关于图像的问题，这些问题包含图像中已经辨识或识别出的特征。在图7a中，在学习到图像中的特征之一是“雪堡”(例如，根据与在社交媒体上该图像的发布相关联的评论)之后，策展人可以问“雪堡中的孩子是谁？”。在图7b中，策展人惊呼“这是一个很棒的拍摄！这只狗狗叫什么名字？”。在图7c中，已经辨识出“惊呀”的面部表情，策展人问道，“拿着棒棒糖的惊讶宝贝是谁？”。同样，在图7d中，策展人问道，“穿着衬衫的狗狗叫什么名字？”。

或者，可以转发包含要识别的物体和个体的场景、帧和视频剪辑以在远程处理器处进行进一步分析，在该远程处理器中存在更大的图像辨识能力或资源，从而增强在用户设备上执行的自动辨识算法的性能。此外，可以呈现待识别的物体和个体的图像以用于操作者识别或众包辅助识别。策展人还可以使用用于与相关个体的策展人交换信息(例如，允许将生日相关产品提供给用户的兄弟姐妹或父母的信息)的远程处理器。

可以在用于策展人的内容分析中同时使用许多技术来确定在媒体资产中看到的个体的简档以及他们之间的关系。例如，策展人可以使用回归分析，该回归分析是估计变量之间的关系的统计建模过程。回归分析可以提供因变量与一个或多个独立变量(称为“预测因子”)之间的关系。可以采用逻辑推理规则(“如果/则规则”)。例如，当用户经常被描绘在通常具有识别出的一只或多只狗的图像中时，可以适当地将用户简档与“狗主人”相关联。还可以适当地推断用户是“爱狗的人”，而不是“爱猫的人”。在一些情况下，如果媒体资产显示特殊化(例如，对特定品种诸如“拉布拉多”、“吉娃娃”、“德国牧羊犬”或“比特犬”的偏好)，则用户简档可以进一步与特殊化相关联。通常，在各种环境中记录的媒体资产中的物体的识别可能是有用的。例如，缝纫机、枪械、农业装备、宠物、牲畜、公寓生活、艺术品全部都提供情境，并且可以更好地辅助识别正确的用户简档或“角色种类”。

用户简档还可以考虑从用户的社交网络交互得出的同类群体、联系和关系信息(例如，连接、活动、“登记”、“点赞”、“评论”、视频或相片的分享或发布)。从用户的社交网络帐户获得的信息提供指示，作为在当前时间用户的生活方式态度和偏好的趋势数据。用户的实际产品购买、用户推荐和其他电子商务活动也是高信息性的。通过研究通用购买模式并且通过监测关于媒体相关的产品(例如，相片产品)的成功和不成功的购买行为，在连续的基础上更新这样的行为模式，可以预先建立行为指标与对潜在照片产品的兴趣之间的关联。例如，可以查看用户的在线市场(例如，亚马逊或Overstock)的帐户以基于实际购买和购买习惯用于用户的风格和活动。

另外，视频资产的运动矢量分析可以揭示对动作(例如，运动)的偏好。或者，可以查看用户的流媒体供应商(例如，Hulu、Netflix或AmazonPrime)的帐户以确定用户的查看兴趣。简单的电影类型偏好诸如喜剧、浪漫、科幻、西部片或纪录片以及任何相关联的消费者(“星”)评级可以向用户简档贡献有用信息，并且还可以用于给用户选择和定制合适的媒体产品。

零售业务已经使用角色来代表顾客。创建这样的角色是成熟的营销技巧。公司经常创建标识各种群体的顾客类型的角色，顾客类型表征顾客的动机和障碍。这些角色帮助公司了解顾客并帮助发展策略和技术，以通过干预、激励和定制的营销传播来克服顾客的沉默。角色还允许使用相同平台向不同的个体呈现不同的营销消息。给定营销消息的频率和渠道可以针对特定角色定制，并且能够基于先前的销售准确地预测销售。互联网广告公司依赖于根据监测用户的浏览历史、社交网络活动以及用户选择或响应或点击的任何广告或“弹出广告”而开发的角色。从角色得到的信息允许营销人员将他们的商品广告给目标受众和可能感兴趣的受众。

可以创建角色，并为其分配层级本体论。当从用户、用户的媒体合集和用户的媒体活动收集数据时，分配或创建了更具体的角色。角色类型可以包含具有不同粒度的不同级别。例如，在级别1，可以基于用户在体育赛事拍摄相片来分配给用户“运动爱好者”角色。当辨识出用户拍摄了大量的其孩子参加的体育赛事的相片时，还可以在级别2分配给用户“运动妈妈”角色。当辨识出对用户的参加体操的孩子拍摄了大量相片时，还可以在级别3分配给用户“体操运动员妈妈”。

可以例如在下述内容中找到关于角色的其他讨论：(a)由普林斯顿大学出版社出版的作者Jung、Carl Gustav(1971年8月1日)的书籍“Psychological Types.CollectedWorks of C.G.Jung”(ISBN 0-691-09770-4)；(b)作者Rind，Bonnie，2009年5月5日的文章“The Power of the Persona”；(c)作者Bob Pike，刊登在Computer Fraud&Security 2010(11)：11-15.doi：10.1016/S1361-3723(10)70145-7中的“Persona Management”；(d)作者Alan Copper，Cooper Journal，2008年5月15日的文章“The origin of personas”；以及(e)作者Kim Goodwin.Cooper Journal，2008年5月15日的“Getting from research topersonas：harnessing the power of data”。

为用户创建一系列角色允许公司对潜在顾客和实际顾客的购买行为和活动进行分组和分类。角色是深入用户简档的代理，并为公司提供定制营销消息的能力，以及产生提供给所选择的潜在消费者群体的产品。如果只有不完整的简档信息可以用于特定用户和新用户的话，那么角色也是有用的。角色可以提供有关可能的或偏好的产品种类的信息，诸如照片日历、海报、相册或数字幻灯片。这些信息允许公司基于对应角色所代表的各个顾客群体的预计销售额适当地增加和囤积材料、媒体和产品，并利用来自个体用户自己的多媒体资产的数字多媒体资产或来自其他用户的可访问资产来定制个性化产品。

这些角色还可以用于聚合用户行为并使任何个体用户的实际行为匿名。得到的信息可以用于计划制造和分布。此外，该信息可以提供给其他广告商和制造商。累积购买、社交网络交互、查看、和收听历史可以用于确定或影响“角色”模型，该模型充当用户或新用户群组的代理。一旦被分类，用户的个人数据不需要由公司保存，而是可以由用户驻存。可以在用户准许的情况下使用重要日期和关系以及对所有图像帐户的访问，使得可以以及时的方式提供潜在的相片产品。可以基于产品销售、用户反馈和其他因素来修改可用的角色数量和可以用于分配给用户的角色种类。可以向不同的角色群组提供特别促销和优惠。

如以上所提及的，可以通过用户提交(例如，通过填写表格)、与人或数字化身的会谈或一系列交互式文本或音频问题来主动创建用户简档。当然，角色可以被提前创建，或者通过观察参与用户的行为被动态创建，或者被修改以反映变化的用户行为。用户角色是用户简档的代理，并且允许产品或服务提供商评估和估计其用户基数中各种用户类型的份额。此外，积极监测角色分类与目标用户的有效性可以提供定量结果，其中哪些对你的目标用户起作用，哪些不对其起作用。用于开发角色的其他技术包括例如情感分析或“观点挖掘”，其是用于评估消费者的情绪状态的技术。情感分析为由用户提供的来自社交网络上的评论、博客、评语和帖子的文本提供了情境。情感分析处理文本信息以确定关于对象诸如话题、感兴趣的人、品牌或公司的情感、主题、兴趣、关注或其他主观信息。

根据本发明的一种实施方式，每个用户被分配一个或多个角色。为了在使用来自其他应用程序的服务时保持匿名性，只有策展人监测用户的帐户活动，在将用户的身份、帐户信息和其他个人或机密信息提供给其他应用程序诸如内容分析或社交网络活动分析之前使它们匿名。例如，策展人保留对用户身份信息和个体相片产品购买历史的控制。单个个体可以使用角色层级或相关角色的***与多个角色相关联。例如，既是年轻母亲又是语法学校教师的个体可以通过分开的角色来分类，以区分她的个人生活及事件的关系以及她的职业生活及事件的关系(例如，与学校相关的事件将与个人事件分开呈现)。与这些角色相关的策展人的文本消息或弹出广告在出现在同一用户的设备上时将被区分开(例如，有区别地称呼用户)。例如，策展人会将教师或职业角色称呼为“Johnson夫人”，而年轻的母亲角色将被称呼为“Betty”。可以在社交网络、搜索引擎或购物服务提供商上购买、获取或分享角色。

除了预定的用户简档或角色之外，***还可以动态地辨识用户并将其分配给随时间推移被学习的简档。在一种实施方式中，频繁项目集挖掘的方法识别用户组的共同特征。例如，***可以辨识经常为婴儿拍照的20至35岁的一类女性用户。虽然这组用户类似于先前识别的“新手妈妈”角色，但是这组用户是由***动态学习所得的，没有预定的标签(例如，“新妈妈”)与角色的明确关联，并且没有人类操作员或***设计者参与来限定角色。当足够数量的用户适合这种动态发现的简档时，***可以监测用户的行为，以便学习可以与角色相关联的越来越多的特征。

在替代实施方式中，***使用频繁项目集挖掘的简化形式，通过该频繁项目集挖掘，预定类别的种类被用于动态地构建角色。特别地，不是使用频繁项目集挖掘来完全发现角色的可能特征，而是将指定特征诸如用户性别、年龄和位置与例如图像标记组合以形成更有限的一组可能的角色。

策展人可以基于人物图像的GPS分析来检测用户中的“旅行者角色”。同样地，策展人可以基于指示用户不是每天或每周远离家冒险的地面实况GPS信息来检测出另一个用户是“非旅行者”。如果用户拍摄了足够量照片以通过GPS分析确定他或她的非旅行者行为，则可以确认用户的非旅行者状态。基于这些分组，旅行者角色可以被限定为代表在离家不止几百英里连续几天冒险并且在超过可设定的阈值的预定时间段内拍摄多张照片的个体。对于旅行频率、出行距离、目的地和相片活动分析GPS模式可以用于：(a)增强用户的简档；(b)为用户分配适当的角色；以及(c)修改或创建新的角色。建议的产品可以包括个性化的旅行马克杯或背包、个性化的行李箱、炫耀产品如来自人们已经旅行的位置(例如，意大利、巴黎、大峡谷)的个性化明信片。通过分析GPS位置并将它们与已知的一组度假位置、某些城市、主题公园、典型的度假地点进行比较，策展人可以确定角色类型。策展人可以挖掘GPS数据并建议用户尚未访问的位置以及建议去的地方，以拍摄图片和制作产品。

限定的角色组可以是线性的或层级的。例如，***可以具有对应于“运动妈妈”的角色，其中该角色可以是手动或动态发现的。运动妈妈的类别可以进一步指定为例如“T-球妈妈”和“足球妈妈”。如果***随后呈现出参与另一个新活动诸如体操的孩子的图像，其中体操在本体论意义上被辨识为是一种运动，然后该***可以自动将“运动妈妈”的一般性特征与新发现的类别“体操妈妈”关联起来。即使样本有限，该方法也允许属性与角色相关联。当获得附加数据时，***可以细化角色限定。在一些实施方式中，可以覆盖广义角色的所选特征以限定特化的角色。信息可以在层级结构中向上或向下流动。例如，***最初可以具有对于“T-球妈妈”和“足球妈妈”的限定角色。出于这些角色，***可以形成广义的角色“运动妈妈”，然后其可以形成用于新发现的特殊化“体操妈妈”的基础。

此外，策展人对特定的文化或种族偏好和偏见足够敏感，以避免将个体包括在角色种类中，这会使用户不便或不满。基于用户进行的附加购买或其他后续数据，角色可以随时间推移而演变。可以基于用户的行为进一步使角色个性化，以利用趋势甚至时尚(例如，自拍和仆街照)。例如，可以通过显示用户的特定行为的最近内容(例如，仆街照)来触发角色改变或个性化。随着时间的推移，可以评估角色分配以用于角色有效性(例如，将用户简档和元数据分析与媒体资产分享和销售相关联)。还可以评估策展人的角色的有效性(例如，与内容和简档相关的主动的、敏锐的或会话的方法)。

从一组用户的媒体合集的特征得出的标记可以用于生成该组的角色。在这种方法下，角色简档可以包括与用户的媒体合集相关联的某些标记的分布。例如，年轻母亲群组可能具有从她们的图像合集得出并与她们的角色简档相关联的标记简档{婴儿、儿童、女孩、男孩、游戏、欢乐、室内、家庭、肖像、可爱、微笑、有趣}。同样，用于自行车爱好者群组的角色简档可能具有标记简档{自行车、小道、室外、早晨、锻炼、道路、人、动作、休闲}。简档中的标记还可以具有基于简档中的标记的重要性的分数。例如，标记简档中的标记“室内”可能具有较低的分数，因为对于该角色简档而言图像不必在室内；而标记“家庭”可能在该组中具有较高的分数。

用于表征角色简档的适当的同类群体种类可以包括：年龄、性别、职业(例如，“家庭主妇”、“兼职工人”、“小时工”、“技术工人”、“贸易工匠”、“专业人员”或“执行者”)、收入水平(例如，工薪或家庭收入水平)、位置(例如，“城市”、“郊区”、“农村”、或邮政编码)、教育水平(例如，“高中”、“技术学校”、“某些大学”、“4年制学位”、“硕士学位”、“专业学位”、或“phD或其他博士学位”。)、以及婚姻状况(例如，“已婚”、“单身”、“离婚”、或“其他”)。

除了初始会谈之外，策展人可能偶尔会与用户进行另外的会谈以细化用户简档、为用户分配最新的角色、或动态修改角色以反映用户态度的变化或对新识别的机会做出响应。

在一种实施方式中，从用户的媒体资产的合集得出的标记可以用于角色简档生成。角色简档可以被视为与角色相关联的标记的分布。例如，年轻母亲群组可以具有从她们的图像合集得出并与她们的角色简档相关联的标记简档{婴儿、儿童、女孩、男孩、游戏、欢乐、室内、家庭、肖像、可爱、微笑、有趣}。自行车爱好者群组的角色简档可以具有标记简档{自行车、小道、室外、早晨、锻炼、道路、人、动作、休闲}。可以基于角色简档中的标记的感知重要性在标记简档的情境下给标记分配分数。例如，标记“室内”可以在骑车者的角色简档中被分配较低的分数，因为“室内”可能对该角色简档的图像发挥很小的作用。相反，相关联的标记简档中的标记被分配较高的分数。在某些情况下，某些标记可能与特定角色负面地相关联；即，这种标记的存在对于角色是负面预测。

可以使用下面描述的频繁项目集挖掘方法来在非常大的用户组上生成角色简档，以收集通常一起出现的标记。可以选择彼此显著不同的频繁项目集群组作为描述用户的一组角色简档。可以基于将用户的媒体资产的合集的标记与每个角色的标记简档进行匹配来将用户分配给一个或多个角色。可以给用户分配权重以用于每个分配的角色的隶属度，以便指示标记简档匹配的程度。

用于开发角色的另一种技术是渐进式概要分析(progressive profiling，逐步剖析)，该渐进式概要分析使用给用户的多项选择题、表格和定向提问，以收集随着时间的推移积累并变得更加详细的顾客见解和意见。这些会谈直接从顾客和潜在顾客那里获取信息。与顾客和零售商接洽的区域销售团队也可以接受会谈，以获取有关他们所服务的顾客及其偏好的观察和见解。在实践中，策展人可以使用文本或音频互动会谈进行渐进式概要分析。

根据本发明的一种实施方式，使用任何合适的交易数据库格式诸如在由MorganKaufmann出版社，波士顿在2006年出版的Han等人的书籍“DataMining Concepts andTechniques”第14至15页中描述的交易数据库格式来存储用户的累积购买、查看、社交网络交互、收听历史、标记和同类群体。在这种方法下，为每个用户分配具有唯一交易标识符(“用户ID”)的“交易”。每个交易都是由用户ID和一组量化描述符组成的元组的形式(即，(用户ID，描述符1，描述符2，...，描述符N))，其中量化描述符的数量对于每个用户可以是不同的。量化描述符的一些示例可以是“妈妈”、“28岁至32岁”、“中等收入”、“教师”、“本田CRV”或“环保意识”。用于每个交易的量化描述符都代表一组“项目”，包括其子集中的任何子集的该组项目统称为“项目集”。

时常进行频繁模式挖掘步骤以识别交易数据库中存在的重复发生模式。频繁模式挖掘步骤识别频繁项目集。频繁项目集是至少在用户的预定部分中出现的共现描述符组。频繁模式挖掘步骤可以使用本领域中已知的任何合适的方法来识别频繁项目集。

在一种实施方式中，使用以下方法确定频繁项目集，该方法使用Γ来表示交易数据库中的所有可能的符号描述符的集合，来表示“项目集”，并且交易τi表示具有与交易数据库中的第i个用户相关联的可变长度项目集的交易。然后τ＝<τ1，...，τi，..，τn>表示交易数据库，其中每个交易包括与对应用户对应的项目集。

因此，对于任何项目集，F：

也就是说，cover(F)表示交易数据库τ中包含项目集F的交易τ的集合，因此将以F的频率计数。让support(F)表示cover(F)的大小(即，cover(F)中的交易的数量)：

support(F)＝|cover(F)| (2)

其中|A|表示集合A中的元素的数量。

频繁项目集Φ表示使support(F)至少“minsup”(其是预定最小大小)的项目集的集合：

Φ＝{F|support(F)≥minsup} (3)

在一种实施方案中，“minsup”是区间[0,1]中的值，代表交易数据库中交易的总数的小部分。例如，在一种实施方案中，如果“角色”分类必须具有所有用户的至少2％，则“minsup”可以被设置为0.02。

使用上述方法，在一种实施方案中获得以下角色：

·“Betty”——新手妈妈，28岁至32岁，中等收入，教师，本田CRV，环保意识

·“Belinda”——新手奶奶，55岁至60岁，固定收入，退休，福特福克斯，家庭女族长

·“Bob”——第二次婚姻，35岁至38岁，中等收入，零售经理，吉普切诺基，运动迷

·Veronica——“创意工匠”

·Judy——“动力妈妈”32岁至42岁，3个孩子(语法学校)

·Bill——“赶时髦的人”

·Tom——“动作&冒险”

·Sally——“骄傲的奶奶”

·Jeanne——“收藏家”

·Cindy——“家庭组织者”

·Dan——“爱好者”，50岁至56岁，3个孩子，5个孙子，

用于交易数据库中的频繁项目集模式挖掘的算法可以是例如Proc.ofIEEEICDMWorkshop on Frequent Itemset Mining Implementations,2003中的Borgelt的文章“Efficient Implementations of Apriori and Eclat”中公开的Eclat算法。

此外，可以通过在每个特定产品(例如，“鲜花主题的母亲节卡片”、“迪斯尼世界旅行主题的相册”或“家庭乐趣主题的5张图像的拼贴画”)内执行频繁项目集模式挖掘来获得来自大量用户的使用统计。项目集模式挖掘可以引起识别与该特定产品相关的特征组。然后可以将该产品推荐给具有类似特征的其他用户。

角色是对为用户创建定制化媒体产品或相片产品特别有用的工具，因为它们允许公司：

(a)理解对大型同类人口群体的适当/预期的情绪反应；

(b)构建产品以满足大型同类人口群体；

(c)仅针对最有可能购买的顾客进行目标营销，并避免可能疏远潜在顾客的报价；

(d)识别重要或特殊内容以触发自发销售机会；

(e)定制提供给预期顾客的产品；以及

(f)能够预测对大型同类人口群体而非个体的销售，以用于有效制作、可预测的销售和库存控制。

通常，定制的媒体产品可以是物理的或虚拟的。通常预测虚拟产品所需的资源，包括计算和网络容量和带宽，并且可以逐步部署附加的资源。在高峰需求期间，可以从第三方供应商提供这样的附加资源。

至少有两类物理的定制媒体产品：(a)可为个体顾客定制的通用产品；以及(b)被设计为可定制或可以包含在定制产品中的特定于事件的产品。需要一定水平的库存来满足需求。通用产品的库存的示例包括用于创建相册、海报或日历的卷纸和纸张、打印色带、墨水、碳粉、预先折叠的贺卡、空白马克杯、T恤、服饰物品、装饰物品、鼠标垫、相册封面等。通用产品也可以由提供适当内容和规范的第三方供应商定制和制作。

虽然用于创建通用产品的库存可能不会过期，但特定于事件的产品是特定于时间段或事件的，使得在特定时间段之后或特定事件发生之后所需的库存在价值上可能会减低或变得无价值。对于特定于事件的产品，准确估计需求对于计划所需的库存水平很重要。除非事件重复发生，否则需要处理过剩库存。对于重复发生事件，库存可以存储到下一次事件发生，从而引发附加成本甚至可能引发损失。

特定于事件的产品的一些示例是：用户可以在其上嵌入个人图片的世界杯足球主题的马克杯或足球、带有嵌入糖果的口袋的情人节主题心形卡片、带有用于支持担任职务的候选人的政治口号的照片T恤、带有庆祝主题公园的100周年纪念的图案的相册、带有NASCAR司机和汽车的相框等。在这些情况中的每种情况下，都有特定的日期或时间段，在该特定的日期或时间段之后，库存几乎没有价值。或者，与情人节主题心形卡片一样，库存将必须存储一年，直到下一个情人节。

除了需要定制的通用产品和特定于事件的产品外，还可以对“同伴”产品进行盘点，以便随附主要媒体产品放在礼物包中。例如，以接收者的新孙子的图像定制的通用马克杯可以随附有选择的各类茶、咖啡或热巧克力。库存中的价值概念可以推广到事件重现之间的时间段。单一事件物品诸如特定于2017年除夕的物品在该事件之后几乎没有价值。假日和季节性物品每年都有价值，但会引发库存和存储成本。提供即时生成的日历页面的日历服务可被视为具有月度使用期限。其他通用物品实际上持续有价值。

当在产品供给品中包括可定制产品时，可以将一组用户角色与产品相关联以指示目标顾客是谁。可以计算概率分数以指示与用户角色相关联的顾客可能购买产品的可能性。可以基于例如顾客的可支配收入、对与产品相关联的事件的兴趣程度、对事件也感兴趣的顾客的社交网络联系人的数量(因此，谁是产品的礼物的潜在接收者)、顾客的购买历史以及顾客的同类群体简档来计算概率。基于该概率，然后可以基于与角色相关联的顾客的数量和平均购买概率来生成产品的数量的估计。然后可以添加小缓冲区以确保产品有足够的库存。

对于重复发生的事件(例如，情人节和圣诞节)，可以使用前几年的销售数据来计算所需的库存。使用历史数据作为基线，可以基于与不同角色相关联的顾客群体的变化来计算对所需库存的调整。

对于虚拟产品(例如幻灯片、视频摘要和精彩片段、以及迷你电影)，电视可能是比移动设备上的显示器更好的显示媒介。即使对于物理产品(例如，相册、日历和拼贴画)，通过允许用户从其虚拟演示中选择物理产品，大屏幕上的预览提供了更好的查看体验。此外，当许多用户可以通过他们的图像娱乐并且可以与策展人交互时，移动电话是他们与任务和工作相关联的实用设备，而电视是用户与他们的休闲时间相关联的设备。本发明的策展人可以是包括可使用流式传输设备(例如，Roku、蓝光播放器、AppleTV和Google Chromecast)访问的流式传输频道(例如，“Kodak Moments”频道)的***的一部分。当用户访问频道时，向用户呈现策展人为用户创建的推荐产品的选择。用户可以选择要查看的产品。之前呈现的未被用户删除的产品仍保留在频道上以供重新查看。

在推荐虚拟产品时，策展人考虑了所需的资源(例如，计算和网络容量和带宽)。当用户达到资源约束例如用户仅具有低带宽连接时，策展人在当时不建议将需要大量此类资源来实现或预览的产品。相反，策展人等待直到用户具有到这种资源的更大的通路(例如，WiFi网络连接)或者他们的资源配置得到改善才建议这样的产品。

还可以出于特定目的执行内容评估；在一种实施方案中，执行内容评估以用于与特定场合或“触发事件”相关的自动“虚拟产品创建”。触发事件可以是待被辨识、庆祝、分享或者纪念的即将到来的计划的或自发的通用或个人事件。通常，事件触发是从网络连接的用户的日历、社交网络帐户、帖子、评论等中识别的特定日期或时间表，并且可以包括生日、纪念日、毕业、新工作、新房、出生、死亡、婚礼、国家法定假日、文化假日和民族假日、特殊区域性事件(节日、艺术展或展览会)或季节性事件(例如，葡萄酒之旅、度假或比赛)。例如，策展人可能会注意到，用户穿着露营服装、在室外在库克湖的岸上、拿着非常大的鱼的几张照片是快速连拍的。这个事件为策展人触发了表达例如“哇，这真的很棒！你想在你的Facebook时间线上发布它吗？镶框的图片会看起来很棒......”的机会。

策展人也可以在图片拍摄会话期间发起问题，诸如“您刚拍的几张图片中的红色物体是什么？”。用户可以选择忽略该问题或做出响应。然后，策展人可以将口头响应转换为图像标记(例如，“它是古董消防栓。”)。策展人会针对“古董消防栓”查阅其术语库的。

可以调整事件触发以适应不同的区域、文化传统、习俗、同类群体、种族和其他实践。用于基于事件触发的内容评估的一些技术可以例如在Wood等人的名称为“IDENTIFYINGPARTICULAR IMAGES FROM A COLLECTION”的美国专利9,037,569中找到，该专利公开了基于其捕获日期和时间索引出单独的图像，并将日期和时间映射到概念诸如一年中的季节或其他时间段。此外，'569专利教导了基于民间和宗教假日、生日、纪念日或特定个人事件(例如，“佛罗里达度假”)将个人日历中的信息与媒体资产相关联。作为另一示例，Das等人的名称为“DETECTING RECURRING EVENTS IN CONSUMER IMAGE COLLECTIONS”的美国专利8,634,662公开了其他适用技术。类似地，使用在例如Luo等人的名称为“AUTOMATICALLYSELECTING THEMATICALLY REPRESENTATIVE MUSIC”的美国专利9,098,579中找到的技术，可以根据主题或关键词自动收集音乐曲目。

内容评估还可以由“内容触发”触发。内容触发可以是在内容或元数据中记录和识别的特殊发生，该特殊发生可以与时间或日期、位置、事件或活动相关。可以调整内容触发以适应不同的区域、文化传统、手势、习俗、同类群体、种族和其他实践。策展人可以利用内容或事件触发来提供或推销产品或服务。此外，策展人可以使用户参与以获取关于所检查的图像内容和情境的附加信息，以便更好地理解所分析的图像、物体和个体的重要性和相关性。

可以在要检查的媒体资产中识别以下内容触发：

根据本发明的一种实施方式，已经分析的相片包括以下元数据：

被识别的物体：“钓鱼竿”、“山脉”、“海岸线”、“湖泊”、“鱼”、“女童”、“BettyJohnson”、“船”、“左手-呈现”、“表情-微笑”等......

时间：美国东部11：32

日期：2015年7月25日星期六

地点：LAT：42.585876LONG：-77.082526

位置标识：地址：555Eastlake Rd.Penn Yan，NY 14527

细节：“Johnson家庭小屋”

环境：季节性、休闲、滨水、海滩、小屋、划船、钓鱼

触发条件：1

触发类型：钓鱼、捕鱼、呈现鱼

个体数量：1

身份：Betty Johnson

关系：女儿

生日：2004年6月2日

结婚日期：0

孩子：0

检测到的语言：美国英语

置信度：真(值：1)

姿势：滚转(-0.33)、偏航(1.25)、俯仰(-2.31)

种族：

白种人(0.92)

面部亮度：0.62

面部锐度：1.4

情绪：平静：73％，快乐：45％

年龄：11.3(值：11.3)

微笑：真(值：0.92)

眼镜：没有玻璃(值：0)

太阳镜：假(值：0)

帽子：假(值：0)

胡子：假(值：0)

髭：假(值：0)

闭眼：张开值：0)

嘴张大：0％(值：0)

美：96.22(值：0.9622)

性别：女(值：0)

变焦倍率：(眼睛分离距离/帧大小)

分享到Twitter：假(值：0)

分享到Instagram：真(值：1)

分享到Facebook：真(值：1)

点赞：27

分享：11

评论：3

“太棒了！”

“今晚煎鱼Betty。”

“你的爷爷Jake会为你Betty骄傲。”

在索引出媒体资产之后，或者如果媒体资产已被索引出(例如，可从第三方服务获得的元数据)，则策展人相对于用户的简档信息组织索引出的元数据。一些图像可以被识别为“特殊图像”，其可以被留作用于图像产品或礼物的潜在资产，作为将适当的角色与用户相关联的手段，以发现新的成像时尚、趋势和行为，以及理解用户的图像拍摄或使用优先级(例如，记录、庆祝、分享、炫耀、送礼或纪念)。

基于分析的结果，策展人可以向用户推荐产品。例如在代理人档案号041667-420011、名称为“METHOD FOR IMAGE PRODUCT RECOMMENDATION”的美国专利申请序列号62/273,641中公开了用于图像产品推荐的技术。策展人可以基于美学规则、图像使用和捕获模式、社会兴趣以及与图像中描绘的或与其相关联的其他个体的关系来识别“重要图像”，以用于图像产品中的潜在用途。例如，分析可以推断已经在家庭位置指示中记录了许多猫的图像的用户为“多愁善感”。它可以进一步推断该用户可能喜爱在定制的媒体产品上与猫相关的图形。策展人可以提出旨在教育用户关于用户的相片和视频合集所呈现的可能的分享、创意和赠送机会的建议和推荐。

推荐的产品可以包括例如虚拟产品的众包创建和潜在硬拷贝产品的促销虚拟版本。操作者可以是在竞争环境中策展人的创建者或个人承包商的付费雇员(例如，“ETSY”市场的艺术家)。一些服务诸如“Easy as Amazon”服务允许创建包括要被创建并提供给用户的用户或其他人的图像的定制的相片产品和相片产品类型。策展人还可以接收输入信息以进一步定制针对特定个体或场合的产品。图9a和图9b示出了根据本发明的一种实施方式的策展人可以呈现给用户以定制要创建的贺卡的两种形式。如图9a所示，策展人接收关于贺卡的接收者的简档。类似地，在图9b中，策展人接收发送者的简档。注意，在这种情况下，策展人在创建其推荐的图像产品时意识到文化和种族的敏感性。例如，图9a和图9b显示接收者是主要语言是韩语的男性韩国佛教徒，而发送者是宗教不可知并且说美式英语的美国女性。可以例如在代理人档案号41667-419011、名称为“CROSS CULTURAL GREETING SYSTEM”的美国专利申请序列号62/255,239中可以找到用于这类可以使用的产品的技术。可以例如在2015年2月23日提交的名称为“A METHOD FOR OUTPUT CREATION BASED ON VIDEOCONTENT CHARACTERISTICS”的美国专利申请序列号14/629,075中找到其他图像产品创建技术。

在一些实施方式中，策展人越过服务初始用户延伸到一个或多个接收者。例如，策展人可以建议用户为接收者创建镶框相片礼物产品(例如，用户创建她女儿的镶框图片作为礼物送给用户自己的母亲)。在这种情况下，策展人还建议用户邀请祖母参与完成礼物的最终细节。这样的最终细节可以包括例如从不同颜色和不同样式框的合集中挑选框颜色和样式。策展人可以使接收者(即，祖母)在用户已经授权的成本和选项的范围内呈现她可能的产品预览和可允许的可定制选项。(策展人可以以接收者自费为接收者提供对产品进一步的定制。)策展人也可能收集了足够的关于接收者的信息，以便将接收者与角色相关联。在这种情况下，基于祖母的角色，策展人向祖母推荐特定的框样式(例如，维多利亚时代的)或特定的框颜色。策展人可以利用关于祖母的知识(例如，祖母的房屋装饰)来建议特定的框颜色，会突出她的起居室的颜色。由接收者决定的最终产品变体将被交付给接收者，并向最终选择的用户发送可选通知。

在评估事件触发或推荐产品时，策展人会考虑用户决策的动机和阻碍。可以纳入所分配的角色的一些典型动机种类是：(a)庆祝或辨识重要的生活事件；(b)与朋友和家人连接或分享；(c)分享创意；(d)记录和分享爱好、工艺品、收藏品；或(e)分享兴奋或炫耀的权利。决策的阻碍可以包括：(a)“我太忙了”；(b)“我没有创意”；(c)“太难了”；(d)“太贵了”；以及(e)“我担心安全或隐私”。基于分配给角色的动机和阻碍，策展人可以适当干预，例如，通过在即将发生的事件之前提醒用户，考虑到：(a)制作和交付定制产品所需的时间；以及(b)用户要求他或她的决定的时间窗口。基于这些因素，策展人可以在适合于角色的偏好日期和时间呈现虚拟产品。成功的干预(即，使得用户做出购买决定的干预)要求策展人***及时的陈述，或者也许还提供激励(例如，如果用户在特定的未来时间窗口内订购，则免费送货)。

在一些实施方式中，当评估事件触发或推荐产品时，策展人还考虑用户的当前环境特征。环境特征可以包括***生成产品预览或实际产品并将产品预览或实际产品交付给用户的能力。例如，如果用户当前通过低带宽数据连接(例如，3G蜂窝网络)连接到互联网，或者用户即将接近他们的蜂窝计划上的数据上限，那么策展人将不推荐需要在用户设备和***之间传输的大量数据来显示的任何产品。当用户的环境改变时，例如，在用户连接到Wi-Fi网络之后，然后可以呈现这样的被省略的产品。类似地，如果用户具有带小显示器的智能手机和平板设备两者，则当用户使用智能手机时策展人不会推荐需要更大显示器来被充分预览的产品。策展人可以等待直到用户与更合适的设备交互。在一些实施方式中，***还可以考虑用户在设备上的当前活动。当预期用户仅与设备短暂交互时，将不会显示复杂产品诸如相册。相反，当在一时间***预测用户对产品预览有更大程度的休闲或自由时，将显示这样的产品。

在一种实施方式中，用于创建以媒体为中心的产品的工具包括查找表。图10a示出了根据本发明的一种实施方式的可由策展人用于所需产品的简档的查找表。如图10a所示，策展人基于五个简档种类来选择产品：关系(1230)、情感意图(1240)、场合(1250)、文化简档(1260)和宗教派系(1270)。简档分类下的每个条目可以与要创建的以媒体为中心的产品的特征相关联。图10b示出了可以基于分配给简档种类中的一个或多个的值来选择的贺卡的组件。例如，如果在关系1230下选择“浪漫关系”，在情感意图1240下选择“浪漫”，并且在场合1250下选择“周年纪念日”，则策展人将由查找表1280(图10b)指向“鲜花”组件1310下的卡片组件“红玫瑰”，以及图形1300下的“尊重的”。

在呈现虚拟产品时，策展人可以使用营销技巧，诸如：

(a)内容、关系或与事件有关的宣传；

(b)随机选择的产品，但被记录以防止在未来的宣传中重复；以及

(c)通过包含特定的名称、关系和事件来使方法个性化；例如：

“与_______分享你的创意，”

“认识到朋友和家人的成就。”

“和你爱的人一起庆祝。”

“让_________感到特别。”

“善待自己。”

“与家人和朋友重新联系。”

“让他们知道你关心。”

“做_______的一天。”

“分享美好时光。”

“珍惜的回忆。”

“庆祝_______的新工作。”

以下是说明了策展人的操作的两个示例：

示例1：12月初，用户在她的Facebook帐户上发布了她的新生儿Audrey的一系列照片。她的Netflix帐户指示她已经推出了标题为“Yule LogFireplace”以及一些以假日为主题并且浪漫喜剧的电影。她的亚马逊帐户还指示她最近已经购买了圣诞装饰品。基于这些用户行为、媒体选择、购买美元金额和频率，策展人呈现了以Audrey的图像为特色的几个虚拟定制的相片产品供用户购买。特定产品是基于亚马逊购买历史选择的。例如，如果用户在亚马逊上的购买超过预定的阈值美元金额，则将首先向用户提供三件套的装饰物套装，每件套装都插有不同的Audrey的图片。然而，如果用户购买量低于阈值金额，则将向用户提供带有Audrey的图片的单件装饰物。基于从她的Netflix购买中提取的样式，提供给用户的装饰物将处于“可爱或有趣”或“传统”种类中。如果报价成功(即，用户购买所提供的一件或多件或装饰物)，则根据在策展人中实施的基于行为的产品选择算法，记录销售并且将在未来的更新中考虑进去。

示例2：12月初，被识别为用户的母亲(“奶奶”)的个体对由用户在她的Facebook帐户上发布的她孙女Audrey的一系列相片进行了评论。奶奶与她的朋友和家人分享Audrey的照片，用“我美丽的孙女Audrey！”或“我的第一个孙女！”的评论标记图片。用户随后“点赞”奶奶的分享。监测用户的Facebook帐户的策展人在注意到这些活动时，建议用户将“BabyBrag Book”——以Audrey的图片为特色的虚拟图片产品——送给奶奶过圣诞节。这是通过策展人呈现虚拟图片产品以供用户接受、拒绝、编辑或询问类似产品来完成的。

以下是由策展人和用户一起积极参与的互动的一些示例：

例1：“我自主地创建了你最近到阿拉斯加巡游的相册。你拍了一些壮观的鲸鱼和冰川照片。你的妹妹贝蒂也喜欢阿拉斯加和鲸鱼，我应该分享这本相册吗？”......

例2：“我注意到昨天当你和你的朋友Jenny一起在‘Tokyo Sushi Bar’时你拍了一张你的午餐的图片。你还拍了一张Jenny微笑的好照片。我应该将这些照片发送给Jenny还是将它们发布到Facebook？如果您愿意，我还可以添加评论。告诉我您想要它读作什么，我在听......

例3：“我看到你计划下周再和你的朋友Jenny共进午餐，并且我注意到珍妮下周要过生日了。你想让我为珍妮制作一张生日贺卡吗？我可以使用珍妮和你在一起的许多照片中的一张。这是珍妮和你在一起的最佳照片，你喜欢哪一个？Jenny经常发布关于“猫”的照片和文章，如果你想要，我可以为她制作一张“猫主题”生日贺卡。

例4：“我看到你有你的女儿Brenda的一幅很棒的肖像，但照片有“红眼”的问题。如果你愿意，我可以纠正它。我应该纠正吗？

例5：“我已经收集了你和你的姐妹的所有最佳拍摄并制作了拼贴画。母亲节是在一星期后，你想要我用这个拼贴画给你妈妈制作母亲节卡片并发送给她吗？

例6：“精彩的烟火，7月4日快乐！你还喜欢庆祝其他什么节日？”

例7：“另一张伟大的足球比赛照片！你认识球队中的任何人吗？”

例8：“我看到你去过印度。你在那里有朋友或亲属吗？”

可以从他或她的媒体资产中提供给用户的产品的一些示例：

例1：“一年的自拍”——当在用户的媒体资产中找到的“自拍”的数量超过预定阈值时，可以创建虚拟图片册或幻灯片放映。例如，为了在自拍的幻灯片放映中提供更好的场景到场景转换，策展人可以：(i)按时间顺序整理自拍；(ii)从图片到图片排列眼睛或脸部；(iii)使用选择性缩放、裁剪、旋转或其他图像编辑技术来处理图片以给自拍图像建立匹配的眼部分离或面部定向；以及(iv)对图像进行排序以使用户控制的可变速度用于数字幻灯片放映。可以例如在转让给Kodak Alaris的名称为“METHOD FOR PRODUCING A BENDEDVIDEO SEQUENCE”的美国专利8,692,940中找到这些技术的示例。

例2：“自拍翻页书或相册”、“自拍海报”(例如，在24"x36"海报上排列5"x4"和4"x4"自拍，显示一系列用户选择的表情)、一套“自拍杯垫”、以及“自拍贴纸”。

例3：Selfie or Portrait Auto Tool——一种工具，该工具包括用于下述的实用工具：(i)可以在捕获后应用或在经触发的捕获时应用的对固定在某些面部特征点(例如，眼睛、眼部分离、嘴巴或鼻子)的图像进行对齐、缩放、平移或旋转；以及(ii)按时间顺序或通过一组公认的“表情范围”、“凝视方向”、增量头部位置排列图像。这些特点允许创建具有从帧到帧(gif、电影、VR模型)的无缝过渡的图像合集。这种产品例如对于给小孩和婴儿摄影或作为创意或自动图像创建工具是有用的。

为了向用户提供以媒体为中心的产品，策展人还可以实时利用用户的活动和处境。物联网(IoT)设备——其包括大量网络传感器(例如，恒温器、电器、家庭自动化***和汽车设备)——预计到2020年将达到260至300亿。策展人可以利用这种传感器。例如，配备有IoT安全***的家庭可以随时跟踪房屋中人员的身份，因为***识别每个人并在该人员进入监测周界时分配唯一的安全码。(可以从他或她的智能手机的注册信号中检测到人员的存在)。或者，在任何给定时间，加热或冷却***或照明可以根据当前在房屋中的特定人的偏好来运行。策展人可以使用这些信息与房屋中的人进行交互(例如，策展人可以在特定的人到达他或她的家并已经休息一段时间后向该人提供策展产品)。虚拟策展人还可以基于被检测到在家中的人来改变其角色。

具有物联网功能的电器的传感器输出信号可以指示房屋中发生的活动的类型。例如，当与节目时间表相关联时打开电视机或调至电视机上的特定频道的时间可以指示正在观看的特定电视节目。类似地，频繁访问冰箱可能指示烹饪。咖啡机、洗衣机和洗碗机的操作可能分别指示正在冲泡的咖啡、洗衣和正在清洗的餐具。使用这些数据，策展人可以选择与给定用户交互的有利时间。例如，策展人应该避免与在电视上观看体育节目或者执行某些家务的用户交互。相反，策展人应该在广告休息期间或在电视节目之间与用户交互。随着时间的推移可以学习用户行为的模式。策展人可以保持其与用户交互的历史，以允许策展人分析用户何时通过查看或购买策展产品或者与策展人交互来有利地响应，或者用户何时没有有利地响应。基于所保持的交互历史和实时检测到的活动，策展人可以学习规则以确定吸引用户的理想条件。

智能电视机和移动设备配备有可以用于监测环境中的活动的麦克风、计算处理器和算法。这些活动可以包括在房间里看电视的人或者使用语音命令诸如“静音”、“改变频道”、“呼叫妈妈”等的人。在房间中播放的音乐可以暗示用户的情绪。如果检测到一个人刚刚卷入了与他或她的配偶的争吵，则基于检测到的他们的互动的吵闹和语气以及某些被辨识出已经说过的关键词，策展人不应该尝试推荐购买图片，至少不应购买图片来给配偶！如果检测到用户刚刚清理了狗狗造成的杂乱，那么策展人不应该建议该狗狗的镶框图片。相反，如果检测到下雪天气，则策展人可以建议去年冬天去佛罗里达旅行的图片。

可穿戴保健或运动设备(例如，FitBit设备)监测用户的移动和生理状况，并且可以用于预测用户的情绪。所监测和记录的体力消耗、移动、心率和呼吸模式的指示可以代表用户当前的身体状况，该当前的身体状况可以与已知的简档进行比较以估计或粗略估计用户的心理状况或情绪。

因此，主动或被动地使用生理、行为和情感数据，无论数据是由用户提供的——由个人或环境传感器记录，还是从图像、视频或音频记录解读出的(例如，使用诸如欧拉视频放大或运动矢量确定这样的算法)。

“虚拟现实”(VR)技术在消费类电子产品中越来越重要。在沉浸式环境中查看相片是众所周知的，诸如Flickr VR(https://www.flickr.com/vr)和类似应用所示。利用可以是集成的专业设备或带有镜头的耳机框架以容纳大屏幕智能手机的合适的VR查看器，可以在VR环境中显示图像和视频。佩戴VR耳机的用户可以被呈现VR环境用于相片浏览，例如，以用户周围的虚拟球体的形式。照片合集的图像被投影为衬在虚拟球体的表面上的向内面向的图像。在该示例中，用户可以使用指示设备、从VR耳机记录的手势、VR手套或控制器、或由监测用户的一个或多个摄像机记录的手势、头部移动、面部表情或语音命令来导航VR环境。用户可以对图像进行分类和选择、放大图像、以及选择呈现格式，诸如典型的相片“幻灯片放映”的传统顺序呈现或更适合VR环境的呈现格式，诸如在VR环境内的图像的螺旋或旋转呈现。使用与个体图像和视频剪辑相关联的元数据和标记作为分类和呈现标准，诸如所辨识的面部、物体和场景类型、时间帧或位置，有组织的相片合集可以显示为静态或动态可视化。另外，可以使用单张图像或一组图像来创建可导航环境。此外，记录为立体图像的原始图像或已经转换为立体图像的图像在VR环境中将看起来具有深度。

策展人还可以用作教育资源，例如，帮助用户就收集的图像或视频汇总成报告，或者辅助用户进行基于收集的图像和视频的项目。由于许多用户要么不喜欢他们自己记录的话音的声音，要么缺乏对甚至简短故事进行旁白(narrate，叙述)的信心，所以策展人可以提供用于多媒体叙事产品或功能的音频旁白。因此，通常，策展人可以用作“用户接口外壳”，即在用户、图像组织和操纵软件、以及用户的个人内容合集之间协调的应用。

策展人还可以处理媒体资产以促进在朋友之间和社交网络上分享媒体资产。可以在例如Gallagher等人的名称为“SUMMARIZING IMAGE COLLECTION USING A SOCIALNETWORK”的美国专利9,185,469中找到用于这种处理的技术。

策展人可以执行内容消费模式分析，该分析提供分析数据，诸如页面浏览量、网站停留时间、跳出率、广告点击和下载。这样的分析数据提供了关于用户的主要未满足的需求和兴趣的洞察，这可以用于为用户开发角色。

以上详细描述被提供用以说明本发明的具体实施方式，并且不意图是限制性的。在本发明的范围内的许多修改和变化是可能的。在所附权利要求中阐述了本发明。

Claims (35)

1.一种用于与用户主动交互的方法，所述与用户主动交互包括提供根据用户的媒体资产合集中的一个或多个媒体资产创建的一种或多种定制的以媒体为中心的产品，所述用户的媒体资产合集存储在能够被一个或多个处理器访问的一个或多个存储设备中，所述方法包括：

监测所述媒体资产合集、以及所述用户的媒体记录和媒体使用行为；

基于所述用户的社交网络活动以及在所述用户的帐户、联系人、日历、文本、帖子、时间和日期信息、位置信息中收集的信息，识别所述用户的关系和生活事件；以及

基于所监测的媒体记录和媒体使用行为，从一组预定的或动态创建的用户角色中为所述用户选择用户角色，所述用户角色反映所述用户的偏好风格和主动交互模态的类型。

2.根据权利要求1所述的方法，其中，为所述用户选择所述用户角色包括：呈现可能被所述用户偏好的一种或多种风格和一种或多种主动交互模态的类型，以供所述用户选择。

3.根据权利要求1所述的方法，其中，所述主动交互模态包括下述中的一种或多种：交互式动画虚拟人物、交互式文本和交互式音频通信装置。

4.根据权利要求1所述的方法，其中，所述主动交互模态的类型引导每种定制的以媒体为中心的产品的至少一个虚拟版本的呈现，所述定制的以媒体为中心的产品包含选自所述用户的媒体资产合集的所述用户的媒体资产。

5.根据权利要求1所述的方法，其中，识别所述用户的关系和生活事件还识别一个或多个接收者、以及在所述生活事件发生之前待由所述用户辨识的一个或多个生活事件。

6.根据权利要求1所述的方法，其中，所选择的用户角色关于下述中的一种或多种确定所述主动交互模态：外观、格式、通信风格、语言、步调、直接性、敏锐性、情绪和通信的频率。

7.根据权利要求6所述的方法，其中，所述主动交互模态适于适应种族和文化偏好。

8.根据权利要求1所述的方法，其中，所述主动交互包括下述中的一种或多种：推荐定制的以媒体为中心的产品；识别特殊的图像；以及推荐对所选择的媒体资产进行图像修改、改进和增强。

9.根据权利要求1所述的方法，其中，所述主动交互包括：通过询问相关问题并记录响应来收集关于用户和使用偏好的信息。

10.根据权利要求9所述的方法，其中，所述相关问题包括下述中的一种或多种：多选问题；是或否问题；以及关于个体姓名、物体和位置的特定问题。

11.根据权利要求1所述的方法，其中，识别所述用户的关系和生活事件还包括：分析与所述用户的资产合集相关联的内容、元数据、评论、分享和标记。

12.根据权利要求1所述的方法，还包括分析每个用户的媒体资产合集以确定该用户的重要媒体资产。

13.根据权利要求12所述的方法，其中，所述重要媒体资产包括：已经被所述用户或被其他人在所述用户的社交网络中使用或分享的资产。

14.根据权利要求12所述的方法，还包括：创建并向所述用户呈现包含该用户的所述重要媒体资产的所述定制的以媒体为中心的产品中的一种或多种产品的虚拟版本，向所述用户呈现至少一个建议的接收者，以及向所述用户呈现被辨识为适合该用户的事件。

15.根据权利要求14所述的方法，还包括为所述用户提供下述选项：选择或修改所呈现的所述定制的以媒体为中心的产品的虚拟版本，或请求所呈现的所述定制的以媒体为中心的产品的虚拟版本的替代方案。

16.根据权利要求15所述的方法，其中，基于下述一个或多个角色来提供所述替代方案：所述一个或多个角色同与所述用户的社交网络相关联的个体的活动相关联，或者是根据分析与所述用户的社交网络相关联的个体的活动而动态确定的。

17.根据权利要求14所述的方法，还包括向所述用户呈现下述选项：购买由所呈现的以媒体为中心的产品的虚拟版本所代表的所述定制的以媒体为中心的产品。

18.根据权利要求1所述的方法，其中，所述用户角色引导关于下述对所述以媒体为中心的产品的定制：待从所述用户的识别出的关系和事件中辨识出的特定的接收者和事件。

19.根据权利要求1所述的方法，其中，所选择的用户角色还基于分析所述用户的媒体帐户、媒体资产合集、媒体使用行为、媒体产品购买历史、以及媒体产品类型和格式偏好。

20.根据权利要求1所述的方法，其中，所述媒体资产合集包括由所述用户记录或能够被所述用户访问的静止图像和视频序列。

21.根据权利要求1所述的方法，其中，所述定制的以媒体为中心的产品包括下述中的一种或多种：硬拷贝印刷品；相册；照片日历；照片贺卡；海报；拼贴画；具有包含所述用户的图像的印刷版本的有形表面的各种物理产品，诸如马克杯和T恤；软显示数字多媒体幻灯片；数字电影；精彩视频；视频关键帧；以及虚拟现实对象和演示。

22.根据权利要求1所述的方法，还包括创建所述定制的以媒体为中心的产品中的每一种产品的硬拷贝。

23.根据权利要求22所述的方法，还包括将所述定制的以媒体为中心的产品中的每一种产品的软拷贝传输给所述接收者。

24.根据权利要求22所述的方法，所述定制的以媒体为中心的产品还包括：所提取的人的一张或多张静止图像；或者从所提取的人的视频记录中提取的一个或多个序列。

25.根据权利要求1所述的方法，其中，每个用户与所述定制的以媒体为中心的产品中的一种或多种产品相关联，这样的产品由所述处理器中的一个或多个处理器定制，每个这样的处理器驻留在能够被该用户访问的设备上。

26.根据权利要求1所述的方法，其中，在远程操作员的辅助下、通过众包操作员或者通过所述用户定制所述定制的以媒体为中心的产品中的一种或多种产品。

27.根据权利要求1所述的方法，其中，监测媒体记录和媒体使用行为包括监测对使用或包含所述媒体资产合集的以照片为中心的产品进行下述操作的频率和持续时间：记录、查看、分享、编辑、操纵、评级、打印、或制作。

28.根据权利要求1所述的方法，其中，识别出的生活事件包括下述中的一种或多种：生日、婚礼、纪念日、出生、疾病、死亡、新工作、重复发生的事件、自发事件、新关系、新家、奖励、荣誉、事件的聚合、重要事件、感兴趣的对象、感兴趣的位置、时间事件、学术事件、爱好、娱乐活动、体育赛事、度假、聚会、国家法定假日、宗教假日、非宗教假日及其组合。

29.根据权利要求1所述的方法，其中，所述定制的以媒体为中心的产品中的一些产品包括下述中的一种或多种：专业制作或众包的图形、剪贴画、音乐、音频、旁白、文本、过渡、特效、3D渲染的对象和环境、静止图像和视频序列。

30.根据权利要求1所述的方法，其中，所述定制的以媒体为中心的产品中的一些产品基于计划的或自发的事件。

31.根据权利要求1所述的方法，其中，所述接收者中之一是用户。

32.根据权利要求1所述的方法，其中，所述存储设备中之一本地驻留在所述处理器中之一上。

33.根据权利要求1所述的方法，其中，所述处理器中之一能够经由通信网络远程访问所述存储设备中之一。

34.根据权利要求1所述的方法，还包括：使用图形用户界面与每个用户交互，所述图形用户界面具有基于分析用户偏好所选择的策展人角色，所述分析用户偏好是根据对所述媒体资产合集以及所述用户的媒体记录和媒体使用行为的监测进行的。

35.根据权利要求29所述的方法，其中，所述策展人角色还经由语音和音频交互与所述用户进行交互。