CN103535025B - 内容数据处理装置、内容数据处理方法以及程序 - Google Patents

Abstract

本发明的内容数据处理装置具备：内容数据输入部(101)，取得作为处理对象的内容数据的对象内容数据；内容数据分析部(105)，提取对象内容数据中包含的至少1个以上的目标体和表示目标体的特征的特征信息，并根据用于对目标体的上下文进行确定的分析用信息和提取到的特征信息，确定表示目标体的上下文的上下文信息，该上下文信息包含用于补充目标体的特征的属性信息；输出控制部(104)，根据上下文信息，算出目标体的处理优先级；以及，处理候补提取部(108)，根据上下文信息以及处理优先级，提取能够对对象内容数据执行的处理候补。

Description

内容数据处理装置、内容数据处理方法以及程序

技术领域

本发明涉以及一种内容数据处理装置、内容数据处理方法以及程序。

背景技术

近年来，家用数字静态照相机以及摄像机、便携式电话中内置的照相机等撮像设备越趋于高性能化。因此，现在能够廉价入手的摄像设备可谓多种多样，诸如，既能以高画质记录照片以及影像，又能支持高速连拍等高度拍摄的机型；能够自动附加拍摄场所的位置信息、照片或者影像中的人物的名字等元信息的机型；以及，摄像器设备具备联网功能，能将拍摄到的照片从本体直接上载到网上的服务器的机型等。另外，随着撮像设备的高精细化以及数字处理技术的提高，除了历来的基于光学透镜结构来进行物理性控制，从而对摄影视角进行扩大缩小变焦处理的方法之外，为了满足用户追求便利性的目的，以通过对触摸屏的摄影显示画面进行触摸操作来进行扩大缩小变焦处理以及对焦处理等的数字技术为基础的内容数据处理方法也在逐渐成熟。另外，在对蓄积的内容数据进行阅览、编辑处理时，通过对阅览、编辑的显示画面进行双触操作或者开合操作(用两个手指接触画面，然后使手指相分开的操作)，对任意的区域进行扩大变焦来阅览的这种内容数据处理方法也在广泛普及。

并且，现在还开发出了用于更便利、更简单、更确实地进行这些与摄影、阅览、编辑有关的内容处理，以及补充不够精湛的部分，从而实现更专业的摄影、阅览、编辑的内容数据处理方法(例如，参照专利文献1至3)。

专利文献1：日本特开2008-136024号公报

专利文献2：日本特开2009-77026号公报

专利文献3：日本专利第4213874号公报

但是，所述现有技术的问题是，在摄影、阅览、编辑内容数据时，因内容数据处理之需而由用户进行的思考和操作的负担大。

发明内容

鉴于所述问题，开发了本发明，本发明的目的在于提供一种在摄影、阅览、编辑内容数据时，能够减轻因内容数据处理之需而由用户进行的思考和操作的负担的内容数据处理装置、内容数据处理方法以及程序。

为了达成所述目的，本发明的一形态的内容数据处理装置具备：内容数据取得部，取得作为处理对象的内容数据的对象内容数据；内容数据分析部，提取所述对象内容数据中包含的至少2个以上的目标体和表示所述目标体的特征的特征信息，并根据用于对所述目标体的上下文进行确定的分析用信息和提取到的所述特征信息，确定表示所述目标体的上下文的上下文信息，该上下文信息包含用于补充所述目标体的特征的属性信息；处理控制部，控制对所述对象内容数据的处理；处理候补提取部，根据所述上下文信息以及所述处理优先级，提取能够对所述对象内容数据执行的处理候补，所述处理输出控制部根据所述上下文信息，算出所述目标体的处理优先级，所述处理候补提取部根据所述上下文信息以及所述处理优先级，提取所述处理候补。

根据本发明的内容数据处理装置等，在摄影、阅览、编辑内容数据时，能够减轻因内容数据处理之需而由用户进行的思考和操作的负担。

附图说明

图1是表示实施方式1的内容数据处理装置100的结构的方框图。

图2是表示实施方式1的内容数据的一个例子的图。

图3A是表示作为实施方式1的分析用信息的一个例子的社交信息的例子的图。

图3B是表示作为实施方式1的分析用信息的一个例子的社交信息的例子的图。

图4A是表示实施方式1的社交信息的节点概念的一个例子的图。

图4B是表示实施方式1的关系参照表的一个例子的图。

图5是表示实施方式1的内容数据分析部在其内部作为分析用信息而保持的优先级判断阈值表的一个例子的图。

图6是表示实施方式1的输出控制部的内容数据处理判断的流程的流程图。

图7是表示实施方式1的内容数据分析处理的流程的流程图。

图8是表示实施方式1的对象内容数据的动态图像的一个例子的图。

图9是表示实施方式1的分析数据(人物)的一个例子的图。

图10是表示实施方式1的输出优先级判断处理的流程的流程图。

图11是表示实施方式1的分析数据(人物)以及输出优先级判断结果的一个例子的图。

图12是表示实施方式1的上下文组定义处理的流程的流程图。

图13是表示实施方式1的上下文组信息的定义表的一个例子的图。

图14是表示使实施方式1的上下文组信息与作为定义对象内容数据的动态图像相匹配的例子的图。

图15是表示实施方式1的处理候补模式表的一个例子的图。

图16是表示实施方式1的处理候补提取处理的流程的流程图。

图17是表示对实施方式1的上下文组信息设定了处理候补的例子的图。

图18是表示实施方式1的处理候补执行处理的流程的流程图。

图19是表示实施方式1的内容数据处理执行后的内容数据索引的一个例子的图。

图20A是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20B是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20C是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20D是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20E是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20F是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图20G是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

图21是表示实施方式2的内容数据处理装置的结构的方框图。

图22是表示实施方式2的处理候补执行处理的流程的流程图。

图23是表示实施方式2的显示部显示的画面的一个例子的图。

图24是表示实施方式2的显示部显示的其他画面的一个例子的图。

图25是表示实施方式3的内容数据处理装置的结构的方框图。

图26是表示相对于实施方式3的输入内容数据的最大区域配置的聚焦区域的配置例子的图。

图27是表示实施方式3的输入内容数据的动态图像的一个例子的图。

图28是表示实施方式3的分析数据(一般物体)的一个例子的图。

图29是表示实施方式3的注目信息优先级加点表的一个例子的图。

图30是表示实施方式3的相对距离优先级加点表的一个例子的图。

图31是表示实施方式3的上下文组定义处理的流程的流程图。

图32是表示实施方式3的上下文组信息的定义表的一个例子的图。

图33是表示使实施方式3的上下文组信息的定义与作为对象的输入内容数据的动态图像相匹配的例子的图。

图34是表示实施方式3的处理候补模式表的一个例子的图。

图35是表示实施方式3的聚焦区域与各上下文组的定义区域的位置关系的例子的图。

图36是表示对实施方式3的上下文组信息设定了处理候补的例子的图。

图37是表示实施方式3的处理候补执行处理的流程的流程图。

图38是表示实施方式3的内容数据处理候补显示画面的一个例子的图。

图39是表示实施方式3的内容数据处理候补显示画面的另外一个例子以及内容数据处理执行停止操作接受画面的一个例子的图。

图40是表示实施方式3的内容数据处理候补显示画面的另外一个例子的图。

图41是表示实施方式3的变形例1的图标参照表的例子的图。

图42是表示实施方式3的变形例1的内容数据处理候补显示画面的其他例子的图。

图43是表示相对于实施方式3的变形例2的输入内容数据最大区域配置聚焦区域的配置例以及分析规定范围的例子的图。

图44是表示实施方式3的变形例2的内容数据分析处理的内部状态的图。

图45是表示实施方式3的变形例3的处理候补执行处理的流程的流程图。

图46是表示实施方式3的变形例3的聚焦区域和聚焦区域外的上下文信息的相对位置关系的例子的图。

图47是表示实施方式3的变形例3的包括聚焦区域外的上下文信息的相对坐标算出结果的例子的图。

图48是表示实施方式3的变形例3的包括聚焦区域外的内容数据处理候补的内容数据处理候补显示画面的例子的图。

图49是表示实施方式3的变形例4的包含聚焦区域外的内容数据处理候补的内容数据处理候补显示画面的例子的图。

图50是表示实施方式3的变形例5的处理候补模式表的例子的图。

图51是表示实施方式3的变形例5的处理候补执行处理的流程的流程图。

图52是表示实施方式3的变形例5的内容数据处理候补显示画面的例子的图。

图53是表示实施方式3的变形例5的内容数据处理候补显示画面的子菜单的例子的图。

图54是表示实施方式3的变形例5的分割显示的输出处理的流程的流程图。

图55是表示实施方式3的变形例5的分割合成模板的例子的图。

图56是表示实施方式3的变形例5的分割显示的输出结果的画面显示的例子的图。

图57是表示实施方式3的变形例6的对上下文信息作出输出处理指示的操作的例子的图。

图58是表示实施方式3的变形例6的分割显示的输出结果的画面显示的其他例子的图。

图59是表示实施方式4的内容数据处理装置的结构的方框图。

图60是表示实施方式5的内容数据处理装置的结构的方框图。

图61A是表示实施方式5的相对于输入内容数据最大区域配置的上下文信息的位置关系的例子的图。

图61B是表示实施方式5的相对于输入内容数据最大区域配置的上下文信息的位置关系的例子的图。

图62是表示实施方式6的内容数据处理装置的结构的方框图。

具体实施方式

(本发明的基础知识)

本发明的发明者发现“背景技术”一栏中记载的专利文献1至3所公开的内容数据处理方法有如下问题。

专利文献1公开了，在要摄影的被写体超出了摄影显示画面的视角的情况下，对超出视角的情况进行检测，并显示向操作的用户推荐基于光学透镜结构的物理性缩小变焦处理的图标的方式，以及，在用于实现缩小变焦处理的光学透镜结构达到了广角端的情况下，根据超出的方向和位置，显示向操作的用户建议向后退步的图标的方式。

但是，专利文献1的问题在于，对于进行摄影的用户在摄影显示画面上可看到的被写体超出了摄影显示画面的状态，仅显示推荐进行缩小变焦处理的图标，并未考虑到进行摄影的用户在摄影显示画面上看不到的被写体，而无法获知除了摄影显示画面所显示的被写体以外的重要的被写体。

另外，专利文献2公开了，为了简化摄影后的编辑操作以及按计划执行针对各个活动的摄影时间，预先在记录介质中设定每个文件的摄影时间和文件的记录数，在摄影的同时将动画文件记录到记录介质中的方式。

根据专利文献2，在一边从预定的固定活动的情节标题中手动选择主题，一边与摄影同时对动画文件进行编辑时，可以根据固定活动的情节来控制摄影时间，以及在摄影结束时赋予预定的固定扩大缩小变焦和渐隐等效果并保存。然而，专利文献2的问题在于，无法实现例如一边通过对动态变化的至少1个以上的被写体的动作进行追踪从而实施最适当的内容数据处理，一边对多个文件进行记录的灵活的内容数据处理。

另外，专利文献3公开了，针对被摄影的被写体，根据摄影位置和方位，检测出与被写体有关的补充信息并进行显示的方式。

根据专利文献3，对于位置和摄影方向一致的被写体(一般物体)，只能在存在补充信息的情况下显示补充信息。然而，专利文献3的问题在于，对摄影、阅览、编辑的内容数据的被写体并不进行分析，而无法向进行摄影、阅览、编辑的用户提供基于被写体的属性和内容进行内容数据处理的操作的建议。

为了解决这种问题，本发明的一形态的内容处理装置具备：内容数据取得部，取得作为处理对象的内容数据的对象内容数据；内容数据分析部，提取所述对象内容数据中包含的至少2个以上的目标体和表示所述目标体的特征的特征信息，并根据用于对所述目标体的上下文进行确定的分析用信息和提取到的所述特征信息，确定表示所述目标体的上下文的上下文信息，该上下文信息包含用于补充所述目标体的特征的属性信息；处理控制部，控制对所述对象内容数据的处理；处理候补提取部，根据所述上下文信息以及所述处理优先级，提取能够对所述对象内容数据执行的处理候补，所述处理输出控制部根据所述上下文信息，算出所述目标体的处理优先级，所述处理候补提取部根据所述上下文信息以及所述处理优先级，提取所述处理候补。

根据该结构，能够根据对象内容数据中包含的被写体等目标体或者目标体的特征信息，例如声音等，来确定包含目标体的关系信息等的上下文信息。另外，能够根据确定的上下文信息中包含的目标体间的关系等，算出目标体的处理优先级，因此能够在考虑处理优先级的基础上决定或者执行针对对象内容数据的处理候补。例如，在动态图像等对象内容数据包含作为多个目标体的多个人物的面孔的情况下，能够进行如下控制，对多个人物中被确定为上下文信息的至多2个人物的面孔及其周边进行扩大处理(数字变焦加工)至规定尺寸，并作为个别的动态图像文件进行输出处理(记录到蓄积介质中)等。

即，不需要用户对各目标体的操作指示，就能够容易地实现与上下文信息相应的内容数据处理的执行。

如上所述，通过对对象内容数据中的至少2个以上的被写体的上下文信息进行分析，并将最适合于摄影、阅览、编辑的内容数据处理候补的优先级提示给用户，从而能够控制其执行。由此，能够实现在内容数据的摄影、阅览、编辑时，能够使因内容数据处理之需而由用户进行的思考和操作的负担成为最低限度的内容数据处理装置。

在此，例如对象内容数据是静止图像、动画、声音中的任一个，或者是由其中2个以上结合而成的数据。目标体是至少表示人物、文字、一般物体中的任一个的被写体目标体或者声音目标体的任一个。另外，特征信息，例如，至少可以包含被写体目标体在动态图像内的相对坐标、相对尺寸、相对面积或者声音目标体在时间轴上的出现定时、出现时间、相对音量中的任一个。

由此，能够根据特征信息对内容数据处理候补的执行内容进行调整并执行。例如能够进行，对动态图像中包含的多个人物中的相对面积为规定值以下的人物进行扩大处理、对动态图像中包含的声音中的相对音量为规定值以下的声音的输出音量自动进行提高等的控制。如上所述，不无需用户对各目标体的操作指示，就能够根据特征信息来调整和执行内容数据处理候补的内容。

另外，例如，上下文信息包含用于补充目标体的特征的属性信息，属性信息至少包含与人物、文字、一般物体、声音的任一个有关的信息。具体是，与人物有关的属性信息中包含被写体的名字、类似度、社交信息、服饰信息中的任一个，与文字有关的所述属性信息包含字符串、字符串通用度、字符串危险度中的任一个。此外，与一般物体有关的所述属性信息包含物体名、确率、关联信息，物***置信息中的任一个，与声音有关的所述属性信息包含声波纹、发音者名、类似度、社交信息、声调类别的任一个。

根据以上，能够根据属性信息来补充上下文信息，并调整和执行处理候补的执行内容。例如能够进行如下控制，以动态图像中包含的多个人物中被登录在面孔词典上的重要人物作为主题，并对被定位是主题的好友的人物分别进行扩大处理(数字变焦加工)以及附加用于补充目标体要素的信息，并作为个别的动态图像文件进行输出处理(对根据面孔的类似度和声波纹而确定出的被写体人物名，进行重叠合成来显示，并记录到蓄积介质中)。

如上所述，无需用户对各目标体的操作指示，也能够根据属性信息来调整内容数据处理候补的内容并执行。

另外，例如还可以是，所述处理控制部根据提取到的所述目标体各自的上下文信息，对上下文组信息进行定义，并判断有无由所述处理候补提取部提取的处理候补的执行，所述上下文组信息是表示为了对所述目标体进行分组的基准的信息，所述处理候补提取部提取能够对根据所述上下文组信息被分组的目标体组分别执行的所述处理候补。

根据该结构，能够根据由内容数据中包含的多个目标体构成的上下文组，来判断应该执行的处理候补。例如能够进行，对由多个人物或者一般物体构成的动态图像的构图进行扩大处理(数字变焦加工)或者输出处理(记录到蓄积介质中)等。

如上所述，能够将多个目标体作为一个上下文组来进行处理，因此，无需对各个目标体分别进行处理操作，就能一并执行针对上下文组的内容数据处理。从而，能够减少例如阶段性的扩大处理或者缩小处理等外行人易犯的摄影错徐。

另外，例如还可以是，所述内容数据处理装置还具备输出部，所述输出部输出与所述处理候补的处理状况有关的通知，所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述输出部输出表示有无所述处理候补的执行的信息，以此作为所述通知。

根据该结构，在执行被提取的处理候补之前或者之后，能够向内容数据处理装置外部输出表示处理候补的执行有无的处理候补执行有无信息。例如，在数字照相机的本体侧面具备用于传达内部正在执行中的内容数据处理的发光部或者音频传声器的情况下，能够通过该位置的发光或者蜂鸣音或者有声指南，向用户通知针对被作为对象的目标体进行的扩大处理(数字变焦加工)和输出处理(记录到蓄积介质中)、摄影结束等的动作。

如上所述，无需由操作内容数据处理装置的用户作出操作指示，也能够向用户通知在内部执行中的内容数据处理。

另外，例如还可以是，所述内容数据处理装置还具备显示部，所述显示部显示与针对所述对象内容数据的处理有关的信息，所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述显示部显示表示有无所述处理候补的执行的执行有无信息。

根据该结构，在执行被提取的处理候补之前或者之后，能够在内容数据处理装置的显示部显示表示处理候补的执行有无的处理候补执行有无信息。例如，能够在数字照相机本体的主画面或者副画面上，通过字符串或者图标等，面向用户，对内部执行中的内容数据处理进行可视化。

如上所述，无需操作内容数据处理装置的用户的操作指示，也能够通过字符串和图标，更确实地通知内部执行中的内容数据处理。

另外，例如还可以是，所述处理控制部，根据由所述内容数据分析部提取的所述特征信息中包含的相对坐标以及相对尺寸的至少一方，使所述显示部在该显示部所显示的所述目标体的近旁，以可视形态显示所述执行有无信息。

根据该结构，能够在目标体的近旁显示被提取的处理候补。例如，能够将针对被写体(目标体)的扩大处理(数字变焦加工)等处理候补附带于被写体上，来直观性地掌握处理候补。如上所述，能够减少针对对象内容数据中包含的被写体的处理候补的操作指示错误，从而能够更确实地执行内容数据处理。

另外，例如还可以是，所述内容数据处理装置还具备：显示部，显示与针对所述对象内容数据的处理有关的信息；操作输入部，接受来自用户的操作。所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述显示部显示至少1个以上的该处理候补。所述处理控制部，在所述操作输入部接受了意在执行所述显示部显示的该处理候补中的至少1个以上的处理候补的操作的情况下，执行与该至少1个以上的处理候补对应的处理。

根据该结构，能够通过进行控制，在显示部上显示处理候补，并根据从操作输入部接受的用户的操作(指示)来执行处理候补。例如，在安装有触摸屏式画面的数字照相机或者能够通过鼠标等输入器件进行操作的电子设备中，能够一边目视处理候补一边接受用户所期望的内容数据处理的操作(指示)。因此，能够将因内容数据处理装置的输出控制部的自动判断而执行违背该操作用户意图的内容数据处理的问题防止于未然，并能够实现符合用户意图的内容数据处理，或者提出并执行用户没有想象到的内容数据处理。

另外，例如还可以是，所述处理控制部，根据由所述内容数据分析部提取的所述特征信息中包含的相对坐标以及相对尺寸的至少一方，使所述显示部显示对由所述处理候补提取部提取的处理候补的处理对象区域进行可见化的指南。

根据该结构，能够显示符合被提取的处理候补执行时的输出概况的指南。例如，用户能够根据指南，直观性地掌握针对被写体执行扩大处理(数字变焦加工)等处理之后的扩大处理结果，因此能够从多个处理候补中容易地选定用户所期望的处理候补。

如上所述，能够减少违背用户意图的处理候补的操作指示错误，并能够在掌握了内容数据处理后的概况的基础上，更确实地执行内容数据处理。

另外，例如还可以是，所述处理控制部根据由所述内容数据分析部提取的所述特征信息和由所述处理候补提取部提取的处理候补，使所述显示部至少显示(a)表示该处理候补的概要的信息，或者(b)与所述操作输入部能够受理的操作对应的图标或者菜单的任意一方。

根据该结构，能够显示表示被提取的处理候补的概要的图标，或者为了能够容易地对来自操作输入部的操作指示进行指定的图标或者菜单。例如，用户能够通过图标来直观性地掌握针对被写体的扩大处理(数字变焦加工)等处理，因此，即使在有多个处理候补混在于同一画面上的状况下，也能够更容易地选定用户所期望的处理候补。

如上所述，能够减少违背用户意图的处理候补的操作指示错误，用户能够在掌握了内容数据处理的概要的基础上，更确实地执行内容数据处理。

另外，例如还可以是，所述处理控制部对最大区域和聚焦区域进行管理，所述最大区域是所述显示部显示由所述内容数据取得部取得的对象内容数据时能够显示的最大区域，所述聚焦区域是所述显示部显示中的显示区域，所述处理控制部要求所述内容数据分析部，只对所述对象内容数据中包含的1个以上的目标体中的、所述最大区域以及聚焦区域的至少一方的规定范围内的目标体进行分析。

根据该结构，通过进行控制，能够针对对象内容数据，基于聚焦区域进行分析处理。例如，在最大区域的分辩率为横4096像素、纵2160像素，相对于聚焦区域的分析规定范围的分辨率为1024像素、纵768像素的情况下，通过只对相对于聚焦区域的分析规定范围中包含的目标体要素进行分析，就能够提取处理候补，因此，相对于在最大区域中的内容数据分析处理，能够减轻内容数据分析处理负荷。由此，通过减轻处理负荷，有望对内容数据处理装置的应答等进行改善，以及降低消耗功率。

另外，例如还可以，所述处理控制部在所述显示部显示所述聚焦区域时，在所述聚焦区域的规定部分设定处理候补显示区域，使所述显示部在所述处理候补显示区域内，显示由所述处理候补提取部提取的至少1个以上的处理候补。

根据该结构，能够通过控制，在与聚焦区域不同的处理候补显示区域显示处理候补。例如，能够在聚焦区域显示对象内容数据的内容的同时，在处理候补显示区域显示处理候补，由此，通过重叠显示针对聚焦区域中包含的目标体要素的处理候补，能够避免对象内容数据的可视性降低。如上所述，只通过选择处理候补显示区域中显示的处理候补，就能够执行所希望的处理。

另外，例如还可以，所述处理控制部要求所述内容数据分析部，除了被包含在所述聚焦区域中的目标体之外，还对不被包含在所述聚焦区域中的目标体进行分析。

根据该结构，针对对象内容数据，能够对聚焦区域以外的目标体要素也进行分析，并提取针对聚焦区域以外的目标体要素的处理候补。例如，除了作为聚焦区域被显示的人物以外，还发现其他应该摄影、阅览、编辑的目标体要素，并显示针对聚焦区域中未显示的人物和一般物体的处理候补。在此，由于该用户只通过选择操作来指示执行处理候补，就能够立即执行内容数据的缩小处理(数字变焦拉远)，因此，除了用户针对聚焦区域所意图的内容数据处理以外，还能够实现针对聚焦区域以外的区域所包含的目标体要素的、用户没想到的内容数据处理的提案和执行。

另外，例如还可以，所述处理控制部，使所述显示部显示针对不被包含在所述聚焦区域中的第1目标体的处理候补时，根据利用不被包含在所述聚焦区域中的第2目标体的各特征信息而得出的相对位置关系，算出从所述聚焦区域中心看到的所述第2目标体的出现方向以及出现顺序，使所述显示部根据算出的出现方向以及出现顺序，在所述处理候补显示区域内显示由所述处理候补提取部提取的至少1个以上的处理候补。

根据该结构，相对于聚焦区域的中心，能够根据出现方向以及出现顺序，显示针对聚焦区域以外的目标体要素的处理候补。例如，除了作为聚焦区域被显示的人物以外，对其他应该摄影、阅览、编辑的目标体要素存在于上下左右哪个方向也进行可见化。从而，根据出现顺序等，针对聚焦区域中未显示的人物或者一般物体的处理候补的选定变得直观，因此，该用户能够根据实际空间上的位置关系来选择指示处理候补的执行。

如上所述，能够减少针对聚焦区域以外的目标体要素的处理候补的指示错误，从而能够更确实地执行处理候补。

另外，例如还可以是，所述处理控制部使显示部显示由所述处理候补提取部提取的至少1个以上的处理候补，所述处理控制部根据算出的所述处理优先级，使所述显示部显示的所述处理候补的内容发生变化。

根据该结构，能够根据处理优先级，通过修饰等来强调控制处理候补的显示内容。例如，用户能容易地发现主题和重要的副题，从而能够向用户强调通知除了聚焦区域中显示的人物以外，是否还存在其他应该摄影、阅览、编辑的被写体。

由此，能够减轻该用户错过目标体要素之类的机会损失。

另外，例如还可以，所述处理控制部，根据所述上下文信息中包含的属性信息以及状态信息和算出的所述处理优先级，使所述显示部显示的所述处理候补的选定内容或者处理内容发生变化。

根据该结构，针对用户指示的至少2个以上的目标体(上下文信息)，能够根据包含真实空间的配置、出现顺序、位置关系、人物彼此的关系等的分析数据、输出优先级，来控制处理候补的选定、内容调整以及显示。例如，针对多个被写体，能够直观且容易地选择共同的处理候补，并能够按照空间上的配置来提示处理候补。

通过以上，能够防止用户的误操作以及削减操作数。

另外，例如还可以，所述处理控制部，根据所述上下文信息中包含的属性信息以及状态信息和算出的所述处理优先级，生成至少存放1个以上的上下文信息的输出模板，一边使所述输出模板发生动态变化，一边对至少1个以上的上下文组信息所附带的所述对象内容数据进行合成并输出。

根据该结构，能够根据上下文信息的包含实际空间的配置、出现顺序、位置关系、人物彼此的关系等的分析数据、输出优先级，生成用于存放被选定的至少1个以上的上下文信息的输出模版，并进行合成显示或者合成文件的输出。例如，能够生成根据动态变化的模版的分割显示等的动态图像。

通过以上，消除利用个人电脑等专用工具来从多个动态图像中编辑一个动态图像的麻烦，能够实现在摄影和阅览等操作的同时生成至少配置了1个以上的上下文信息的合成作品的新的方法。

另外，例如还可以，所述处理控制部，通过由所述操作输入部受理的操作，进行至少1个以上的上下文信息的指定和处理候补的确定，并根据所述操作，使至少存放1个以上的上下文信息的输出模板发生动态变化。

根据该结构，根据用户的触摸操作输入等，指定至少1个以上的上下文信息并确定处理候补，除了上下文信息以外，还根据通过触摸操作而被指定的区域的分割线的轨迹或者分配给各上下文组信息的面积比率等，来动态地生成输出模板，并能够使针对该动态图像的处理候补和合成内容以及输出结果发生变化。因此，能够进行如下控制，例如，以面积比来控制变焦率，根据单位时间的被写体目标体要素的行动范围来判断合成的上下文组信息的视角等。如上所述，能够通过触摸操作，直观性地进行上下文信息的指定以及处理候补的执行，从而能够减轻用户的操作负担。

另外，例如可以是，所述内容数据处理装置还具备通信部，该通信部与所述内容数据处理装置外部的设备进行通信，所述处理控制部通过所述通信部，从外部的信息提供装置取得所述内容数据分析部提取所述目标体和所述特征信息时所需要的信息、所述处理候补提取部提取所述处理候补时所需要的信息、以及生成至少存放1个以上的上下文信息的输出模板时所需要的信息中的至少1个以上的信息。

根据该结构，通过网络能够从联网的信息提供装置取得最新的分析用信息或者处理模式、输出模版等的信息，并能够对内容数据处理装置所保持的信息进行追加、更新。因此，例如能够减少因分析用信息陈旧化而导致的上下文信息提取失败，还能够实现与输出有关的内容数据加工方法的处理模式和输出模板的追加、质量提高和检点。

另外，例如可以是，所述内容数据处理装置还具备内容数据输入控制部，所述内容数据输入控制部根据所述处理控制部的处理结果，对所述内容数据取得部进行控制，所述处理控制部，对显示部显示由所述内容数据输入部取得的对象内容数据时能够显示的最大区域和，与通过参照被定义的所述上下文组信息而得到的上下文信息对应的所述状态信息的关系进行监视，并根据所述最大区域和所述上下文信息的重叠或者根据上下文信息的状态，由所述内容数据输入控制部对所述内容数据取得部进行物理性控制或者数字处理性控制。

根据该结构，能够根据被输入的动态图像的被写体上下文信息的状态，自动调整和控制照相机等输入装置的方向和焦点距离等，以防上下文信息发生缺损。因此，例如，在一边摄影，一边在数字照相机的本体画面上通过数字变焦加工来扩大显示摄影中的整体像的一部分的情况下，即使因手持相机进行拍摄的用户集中于画面上显示的动态图像而导致数字照相机本体的方向发生了变化，也能够通过内置于数字照相机本体中方向转台等进行自动调整。

通过以上，能够减轻因进行摄影的用户的错觉和操作失误而造成的上下文信息的缺损。

在此，例如可以是，内容数据处理装置具备认证管理部，该认证管理部对向所述内容处理装置发出的处理要求进行认证，所述输出控制部，通过所述通信部从外部受理处理要求，并在来自外部的处理要求被所述认证管理部判断为执行可能的情况下，向外部提供该处理。

根据该结构，可以在被认证的内容数据处理装置之间，一边通过网络与其他终端共享被输入的动态图像或者被提取的上下文信息等，一边进行作品化等的内容数据加工以及分发。从而，能够提供如下新的摄影、阅览、编辑手段。例如，能够一边对通过联网的移动终端摄影的动态图像进行分发，一边在多个人的移动终端之间共享，并在各个移动终端上切取任意的上下文信息制作成作品。或者，能够一边对各个移动终端的面孔词典进行临时性的合并来提取具有一贯性的上下文信息，一边向各个移动终端分发一个作品。

另外，这些整体或者具体的形态可由***、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质实现，也可由***、方法、集成电路、计算机程序或者记录介质的任意的组合实现。

以下，关于各实施方式，参照附图来进行说明。并且，在实施方式中，对相同的结构要素赋予相同的符号，并省略重复说明。

在此，以下将说明的实施方式均表示本发明的一具体例。以下的实施方式中表示的数值、形状、材料、结构要素、结构要素的配置位置以及连接形态、步骤、步骤的顺序等也都是一个例子，并不表示本发明限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示最上位概念的独立权利要求项中结构要素，作为任意的结构要素进行说明。

(实施方式1)

图1是表示实施方式1的内容数据处理装置100的结构的方框图。

图1所示的内容数据处理装置100具备内容数据输入部101、蓄积部102、内容数据103、输出控制部104、内容数据分析部105、分析用信息106、分析数据107、处理候补提取部108、处理模式109、内容数据加工部110和输出部111。

本实施方式的内容数据处理装置100例如是可24小时进行摄影的监控摄像头或者车载相机、被埋入眼镜或者项链等可携带品内的小型相机、可摄影静止图像或者动画的业务用或者民用数字静态相机或者数字摄像机等。以下，对内容数据处理装置100被利用的情况进行具体说明。在本实施方式中，以通过被设置在学校的教室内的固定照相机(内容数据处理装置100)，为了学生的安全监视与学生的成长记录而自动记录相关的日常情景的情况为例进行说明。以下，说明各结构要素的处理概要。

蓄积部102是由硬盘或闪存等构成的存储介质。蓄积部102将通过内容数据输入部101取得的内容数据作为内容数据103，以可再读取的形式进行积蓄。另外，蓄积部102还具有将蓄积的内容数据103作为对象内容数据提供给内容数据输入部101的作用。

内容数据输入部101例如是内容数据取得部的一个例子，接受成为处理对象的内容数据(对象内容数据)的输入。具体是，内容数据输入部101通过内容数据处理装置100上安装的输入手段(例如，照相机内置的高精细相机模块)取得被作为处理对象的静止图像或者动画等对象内容数据。

另外，内容数据输入部101将取得的对象内容数据输入到输出控制部104。在此存在如下两种模式，即，内容数据输入部101，将通过内容数据处理装置100上装有的输入手段取得的对象内容数据输入到输出控制部104或者蓄积部102的情况，和将蓄积部102中蓄积的内容数据103作为对象内容数据输入到输出控制部104的情况下。在本实施方式中，说明从内容数据处理装置100所具备的蓄积部102取得对象内容数据，然后作为对象数据输入到输出控制部104的情况。

内容数据分析部105提取对象内容数据中包含的至少2个以上的目标体(目标体要素)和表示目标体(目标体要素)的特征的特征信息。另外，内容数据分析部105，根据用于确定目标体的上下文的分析用信息和提取到的特征信息，确定表示目标体(目标体要素)的上下文的上下文信息，该上下文信息包含用于补充目标体的特征的属性信息。

具体是，内容数据分析部105，根据来自输出控制部104的要求，例如确定对象内容数据的动态图像中包含的至少2个以上的被写体目标体，并利用分析用信息106提取被写体目标体的意思信息(上下文信息)。在此，分析用信息106是在内容数据处理装置100的内部被保持或者被更新的信息，是表示目标体要素的特征的特征信息以及用于取得目标体要素的上下文(文理、状况、环境、意思等)的信息。另外，意思信息(上下文信息)是表示被写体目标体的上下文(意思)的信息，例如可以举出，确定被写体目标体的种类和名称的信息、与被写体目标体的特征有关的信息、表示与对象内容数据中包含的其他被写体目标体的关系的信息、表示对象内容数据的绝对位置关系的信息、表示与其他被写体目标体的相对位置关系的信息等。另外，分析用信息106是用于提取所述上下文信息的信息。关于分析用信息106详情后述。内容数据分析部105将提取到的上下文信息作为分析数据107保持在内部，根据来自输出控制部104的要求提供给分析数据107。

处理候补提取部108提取能够对对象内容数据执行的处理候补。

具体是，处理候补提取部108根据来自输出控制部104的要求，基于处理模式109，提取能够针对被提供的上下文信息(或者上下文组信息)执行的处理候补。在此，上下文组信息是表示利用多个目标体要素各自的上下文信息对多个目标体要素进行分组的基准的信息。

例如，处理候补提取部108，针对根据上下文组信息被分组的目标体要素的组即上下文组的每一个(各组)，确认是否存在符合处理候补模式的执行条件的处理候补，并设定符合上下文组的处理候补，从而提取可执行的处理候补。

关于处理候补的具体例，将在下面进行叙述，因此在此省略说明。

内容数据加工部110根据来自输出控制部104的要求，执行从输出控制部104接受的针对对象内容数据的加工处理，并将输出的加工后内容数据存放在蓄积部102。并且，内容数据加工部110，根据需要向输出控制部104通知针对对象内容数据的加工处理状况或者加工处理结果。

具体是，内容数据加工部110接受由输出控制部104指示的处理候补，并确认所接受的处理候补可否执行。然后，内容数据加工部110，在处理候补执行可能的情况下，执行针对对象内容数据的处理候补，在处理候补不可执行的情况下，不执行。在此，处理候补是针对对象内容数据的加工处理的候补。

输出控制部104例如是处理控制部的一个例子，控制针对通过内容数据输入部101取得的对象内容数据的处理。此时，输出控制部104具有，在任意的定时读取被输入的对象内容数据、临时保存用于进行规定的处理的对象内容数据等的作用。

例如，输出控制部104通过内容数据输入部101从蓄积部102，作为对象内容数据接受内容数据103。输出控制部104，要求内容数据分析部105对接受的对象内容数据进行分析，并从内容数据分析部105取得分析结果。

另外，输出控制部104根据取得的分析结果，判断对象内容数据中是否存在目标体要素，并算出对存在的目标体要素的输出优先级。输出控制部104根据由内容数据分析部105提取的上下文信息，算出目标体要素的输出优先级(处理优先级)。

另外，输出控制部104读取(取得)由内容数据分析部105管理的分析数据107，根据分析数据107中包含的特征信息以及上下文信息和算出的输出优先级，对至少1个上下文组信息进行定义，并交给处理候补提取部108。在此，上下文组信息是表示为了使用如上所述的上下文信息来对多个目标体要素分组的基准的信息。

另外，输出控制部104从处理候补提取部108接受由处理候补表108提取的处理候补表，分析处理候补表的内容，判断应该优先处理的处理候补，并要求内容数据加工部110执行被判断将要执行的处理候补。

另外，输出控制部104根据来自内容数据加工部110的加工处理状况或者加工处理结果，要求输出部111作出与加工处理状况或者加工处理结果有关的用户通知。

输出部111输出与被执行的处理候补的处理状况或者处理结果有关的用户通知。输出部111例如是扬声器等的声音输出器件或者LED等的发光器件。作为用户通知，例如有通过声音输出器件发出的蜂鸣音，发光器件的亮灯、熄灯、闪灯等。

以下，关于具有以上结构的内容数据处理装置100，动作，利用图2至图5进行说明。

图2是表示实施方式1的内容数据103的一个例子的图。

图2所示的蓄积部102例如在内部积蓄内容数据103。蓄积部102将内容数据103中的表示内容数据的概要的几个元数据，作为内容数据索引而生成。该内容数据索引中包含例如，对各数据固有赋予的编号或者使对各数据的访问成为可能的数据名(另外，也称之为目标体标示符或者数据通路等)、表示文件的格式类别的扩展名(在此是表示动画的mp4)、表示内容数据103的类型的类别(在此，为了简化说明，只例举表示动画的“Movie”)、表示内容数据103的生成结果的“状态”、表示内容数据103被生成的定时的摄影日期时间、动画的总(再生)时间等。

图3A以及图3B是表示作为实施方式1的分析用信息106的一个例子的社交信息的例子的图。

图3A是社交信息中的表示各用户的信息的用户信息表。在此，例如对各识别ID，记载了表示各用户的名字或者呢称的名称、表示为了向各用户以电子邮件等传送信息时的手段的地址等。

另外，图3B是表示各社交信息所有者与其他用户的关系以及表示亲密程度的亲密度的社交信息表。与图3A同样，图3B所示的社交信息表被作为分析用信息106存放到内容数据分析部105。在此，关系表示注目的对象用户(社交信息所有者)和其他用户在现实生活中是否相识。亲密度则是以规定数值来表示从社交信息所有者的角度所看到的亲密程度的值。

例如，在图3B中，纵轴是社交信息所有者的列表，横轴是相对于各社交信息所有者的评价对象用户的列表，以0至未满1的数值管理对各用户的亲密度满。另外，如果用户彼此在现实生活中不相识，就以“0”或者“接近0数字”来表现。在此，例如将识别ID为“0”的名称“Mike”作为社交信息所有者时，“Mike”与“Alice”相识，且亲密度被表示为“0.83”。另外，与“Julia”的亲密度为“0.83”，与“Tom”的亲密度为“0.53”，这表示对“Mike”而言，比起“Tom”，其与数值大的“Alice”和“Julia”的关系更亲密。当然，“Mike”是社交信息所有者，因此，与“Mike”相交的部分的亲密度的数值为“-”(没有必要输入数值输入)。并且，在以识别ID为“1”的名称“Alice”作为社交信息所有者的情况下，能够以各用户作为起点，将关系以及亲密度作为数值来进行管理。

另外，在此，说明了以0至未满1的规则化数值作为亲密度的数值的情况，但亲密度的管理方法并不限定于此，还可以是无上限地增加的积分制，也可以降低细致度，分级成A至E的数个等级。

图4A是表示实施方式1的社交信息的节点概念的一个例子的图。图4B是表示实施方式1的关系参照表的一个例子的图。图5是表示实施方式1的优先级判断阈值表的一个例子的图。

如图4A所示，社交信息以作为社交信息所有者的“Mike”的节点为中心，以亲密度的数值和箭头来表现了相对于各用户的亲密程度。在此，数值越高关系就越亲密(接近1)，数值越低关系就越疏远(接近0)。另外，利用图4B所示的关系参照表，通过参照关系ID(RID)来管理对于从各节点伸出的箭头的关系。图4B的关系参照表中，各关系的分类号的数字越大表示关系越疏远，例如，在学校的关系中，“朋友”比“好友”疏远，“同学”比“朋友”疏远。

在此，在图4A所示的例子中，设定了作为操作用户的“Davis”。并且，根据从操作用户“Davis”的关系，“Mike”被选为社交信息所有者。关于作为操作用户的“Davis”，可以预先就设定在内容数据处理装置100，也可以通过智能电话等便携式终端来设定。

图5是表示内容数据分析部105在内部作为分析用信息106而保持的优先级判断阈值表的一个例子的图。输出控制部104，通过参照例如图5所示的阈值，算出后述的处理候补的输出优先级水平。在此，由A至C以及Z的4等级构成优先级水平，图4A中“Alice”和“Julia”同为0.83，属于优先级水平“A”，“Tom“和“Paul”是0.53/0.51，属于优先级水平“B”。

以下，关于由实施方式1的内容数据处理装置100进行的内容数据处理的大体流程，参照图6进行说明。

图6是表示实施方式1的输出控制部104内容数据处理判断的流程的流程图。

首先，输出控制部104通过内容数据输入部101从蓄积部102，作为对象内容数据接受内容数据103，并要求内容数据分析部105对该对象内容数据进行分析(S601)。内容数据分析部105，根据来自输出控制部104的要求，对对象内容数据进行分析处理(S602)。

然后，输出控制部104从内容数据分析部105取得分析结果(S603)，判断在该对象内容数据中是否存在表示人物或者一般物体等的目标体要素(S604)。

在步骤S604中，输出控制部104，在该对象内容数据中不存在目标体要素的情况下(S604为“否”)，判断为该对象内容数据的输入在继续(S605)。并且，步骤605中，在该对象内容数据的输入未继续而结束的情况下(S605为“否”)，就结束处理候补的提取处理。另外，在该对象内容数据的输入在继续的情况下(S605为“是”)，返回步骤601继续进行对该对象内容数据的处理候补的提取处理。

另一方面，步骤604中，输出控制部104，在该对象内容数据中存在目标体要素的情况下(S604为“是”)，根据由内容数据分析部105提取的分析结果，开始对输出优先级进行判断(算出)的输出优先级判断处理(S606)。

然后，输出控制部104根据自己判断出的优先级，开始进行上下文组定义处理，上下文组定义处理是指，对表示用于将该对象内容数据中包含的至少1个以上的目标体要素分为上下文组的基准的信息(上下文组信息)进行定义的处理(S607)。

然后，输出控制部104委托处理候补提取部108，提取针对自己定义的上下文组信息的处理候补，处理候补提取部108提取针对上下文组的处理候补(S608)。

然后，输出控制部104从处理候补提取部108接受处理候补提取结果，如果该处理候补提取结果是存在处理候补(S609为“是”)，就判断为符合被预先设定在内容数据处理装置100的该处理候补的执行原则的条件(S610)。

在步骤610中，输出控制部104，如果判断为符合条件(S610为“是”)，就要求内容数据加工部110执行该内容该处理候补的处理(S611)。

然后，输出控制部104接受来自内容数据加工部110的处理执行状况或者处理执行结果，并且，判断该对象内容数据的输入是否继续(S605)。

另外，在步骤609不存在处理候补的情况下(S609为“否”)，以及，在步骤610判断为不符合条件的情况下(S610为“否”)，输出控制部104就进入步骤605，判断该对象内容数据的输入是否在继续。

在本实施方式中，为了简化说明，以“执行被提取的所有处理候补”作为处理候补执行原则来进行说明。

另外，在此以“执行被提取的所有处理候补”作为处理候补执行方针进行说明，但处理候补执行方针并不限定于此，还可以是“只执行被提取的处理候补中的上下文组信息中包含主题的处理候补”或者“执行被提取的处理候补中的上位2个”等，可根据内容数据处理装置100的处理能力(例如，CPU资源或者空余容量等)和设置状况(例如，室内或室外、降雨或者可否进行网络通信等)，对象内容数据的状况变化(例如，亮度极低等)，适当的进行变更。

以下，关于由内容数据分析部105进行的内容数据分析处理的流程(步骤602的详细内容)，参照图7至图9进行说明。

图7是表示实施方式1的内容数据分析处理的流程的流程图。图8是表示实施方式1的对象内容数据的动态图像的一个例子的图。图9是表示实施方式1的分析数据(人物)的一个例子的图。

在本实施方式中，设想将图2所示的内容数据103中的数据名为“C-1”的34分05秒的动画作为对象内容数据来输入的情况进行说明。另外，设想在该动画中，作为动态图像的被写体包含图3A以及图3B所示的用户信息中的ID＝0至5的用户。

首先，内容数据分析部105根据来自输出控制部104的要求，从由输出控制部104提供的输入图像(对象内容数据)中提取目标体要素(S701)。

在此，内容数据分析部105判断输入图像(对象内容数据)中是否存在目标体要素(S702)。在步骤S702中，如果输入图像(对象内容数据)中不存在目标体要素(S702为“否”)，内容数据分析部105就结束内容数据分析处理。

相反，在步骤S702中，如果输入图像(对象内容数据)中存在目标体要素(S702为“是”)，内容数据分析部105，作为被提取的目标体要素的被写体信息，取得提取坐标和提取区域(S703)。在此表示了，在图8所示的对象内容数据(动态图像)中，作为目标体要素，人物的面孔被作为分析结果而提取，存在P1至P6为止的6个目标体要素的例子。图8中的对象内容数据(动态图像)整体的分辩率为横4000像素×纵2000像素的情况下，在图9所示的分析数据(人物)中，P1的被写体信息的提取坐标被表示为横坐标和纵坐标的数值(1120，1021)，其提取区域为(188，187)。以后，关于被提取的P2至P6，也同样能够提取被写体信息。

然后，内容数据分析部105对分析用信息106和目标体要素进行比较(S704)。

然后，内容数据分析部105判断是否存在类似的目标体要素(S705)。在步骤S705，如果不存在类似的目标体要素(S705为“否”)，内容数据分析部105就不记录类似的目标体要素。例如在图9所示的例子中，被提取的P1至P6的目标体要素中，与P1类似的目标体不存在于分析用信息106的面孔词典中，因此，面孔词典栏被记录为“×”的状态，名字被记录为“unknown(未知)”。

相反，在步骤S705中，如果存在类似的目标体要素(S705为“是”)，内容数据分析部105就记录类似的目标体要素的属性信息和类似度(S706)。例如，图9所示的例子中，与P2和P3类似的目标体要素存在于分析用信息106的面孔词典中，因此，将“Alice”或者“Dan”等与分析用信息106的面孔词典类似的人物的名字以及类似度记录到分析数据中。

是此，属性信息是补充目标体要素的特征的信息。作为属性信息的例子，可举出与人物、文字、一般物体、声音等有关信息。作为与人物有关的属性信息，例如有写体的名字、类似度、社交信息、服饰信息等。作为与文字有关的属性信息例如有字符串、字符串通用度、字符串危险度等。作为与一般物体有关的属性信息，例如有物体名、确率、关联信息、物***置信息等。作为与声音有关的属性信息，例如有声波纹、发音者名、类似度、社交信息、声调类别等。

然后，内容数据分析部105判断是否对全目标体要素进行了分析(S707)。在步骤S707中，如果尚未对全目标体要素进行分析(S707“否”)，内容数据分析部105就返回步骤702，反复进行目标体要素提取处理。例如，只完成了图9所示的P1以及P2的分析，就对P3至P6分别进行目标体要素的提取处理，并记录属性信息和类似度。

另一方面，在步骤S707中，如果完成了对全目标体要素的分析(S707为“是”)，内容数据分析部105就决定对象内容数据的主题(S708)。

在此，在图9所示的分析数据中，图4A所示的例子中将操作内容数据处理装置100的用户设想为“Davis”，并根据其关系判断为相当于“R1-2：子女”的“Mike”在目标体要素中是最应该注目的存在，因此将“Mike”判断为主题，并在图9的主题栏上记录了“○”。

在此，主题是指，在分析数据中示出，对象内容数据所包含的多个目标体中的，1)对操作内容数据处理装置的用户而言，2)对预先设定的人物而言，3)对通过与内容数据处理装置连动的连动终端等选择的人物而言，最应该注目的存在即重要的目标体。

并且，内容数据分析部105，如图4A所示，对于从作为主题的“Mike”的角度看到的各目标体要素的关系进行分析和记录(S709)。另外，在此例举了对与提取到的目标体要素有关的所有关系信息都进行记录的例子，但也可以是，根据基于图5所示的亲密度的优先级水平A至C、Z，例如对优先级水平Z的目标体要素不进行关系信息的记录。

最后，内容数据分析部105，在对象内容数据的动态图像中，分析与主题的位置关系和相对距离，并记录为状态信息(S710)。如图9所示，将动态图像中的出现顺序按照从左到右的顺序赋予编号的情况下，P1至P6将按照“1”至“6”被管理。另外，对与主题“Mike”的相对距离进行数值化，并记录在相对距离栏中。例如，相对于作为主题的P4而言，P2的相对距离为“2.1”，与P4相邻位置的P5为“1.2”，因此可判定出，从P4看时，与P5相比，P2位于相对远的位置。另外，状态信息并不限于如上所述的从主题而言的位置关系和相对距离，只要是与对象内容数据中包含的目标体要素的状态有关的信息，也可以是其他信息。作为与目标体要素的状态有关的其他信息，例如可举出，表示对象内容数据的动态图像中的目标体要素的露出程度的露出率，表示目标体要素的重叠程度的重叠率。

以下，关于由输出控制部104进行的输出优先级判断处理的流程(步骤606的详细内容)，参照图10至图11进行说明。

图10是表示实施方式1的输出优先级判断处理的流程的流程图。图11是表示实施方式1的分析数据(人物)以及输出优先级判断结果的一个例子的图。

首先，输出控制部104取得由内容数据分析部105分析的分析数据107(S1001)。

其次，输出控制部104判断在分析数据107中是否存在主题(S1002)。在步骤S1002中，如果不存在主题(S1002为“否”)，输出控制部104就结束输出优先级判断处理。

相反，在步骤S1002如果存在主题(S1002为“是”)，输出控制部104就从关系参照表中的关系ID(RID)以及关系ID的分支号小的数据开始，赋予优先级(S1003)。

然后，输出控制部104判断是否存关系ID(RID)以及关系ID的分支号相同对数据(S1004)。

在步骤S1004中，如果不存在关系ID(RID)以及关系ID的分支号相同的数据(S1004为“否”)，输出控制部104局结束输出优先级判断处理。

相反，在步骤S1004如果存在关系ID(RID)以及关系ID的分支号相同的数据(S1004为“是”)，输出控制部104通过控制，使相对于主题的相对距离近的目标体要素的输出优先级提高(S1005)。

本实施方式中，在步骤S1003，输出控制部104例如从图4B所示的关系参照表中的关系ID(RID)以及关系ID的分支号(父母、子女、兄弟姊妹等按升序表现的编号)的顺序小的数据开始赋予优先级。更具体是，输出控制部104将主题设定为输出优先级的第1。然后，以作为主题的“Mike”为中心，如图11所示，接下来关系密切的“Alice”由于是“子女的好友”，对“Alice”赋予输出优先级的第2。然后，对“子女的朋友”“Tom”赋予输出优先级的第3。在此，P3和P都是关系ID以及关系ID的分支号为“子女的同学”，其关系被视为同位(S1004为“是”)，在对象内容数据(动态图像)中，因此，通过控制，提高相对于主题的相对距离近的目标体要素的输出优先级(S1005)。即，在图11所示的例子中，在位置关系上P3比P6更靠近主题，因此对P3赋予输出优先级“4”，而对P6赋予输出优先级“5”。

以下，关于由输出控制部104进行的上下文组定义处理的流程(步骤607的详细内容)，参照图12至图14进行说明。

图12是表示实施方式1的上下文组定义处理的流程的流程图。图13是表示实施方式1的上下文组信息的定义表的一个例子的图。

首先，输出控制部104取得由内容数据分析部105分析的分析数据107，并对输出控制部104所保持的定义表(对上下文组信息进行了定义的表)进行初始化(S1201)。

其次，输出控制部104判断分析数据107中是否存在主题(S1202)。在步骤S1202，如果不存在主题(S1202“否”)，输出控制部104就结束上下文组定义处理。

相反，在步骤S120如果存在主题(S1202为“是”)，就在考虑附带信息的基础上，对主题专用的上下文组进行定义(S1203)。在此，附带信息是由内容数据分析部105提取的目标体要素所附带的且难以切断的区域信息。在本实施方式中，例如，附带信息是指人的面孔所附带的相当于身体(颈部以下的身躯，上下肢等)的部分，输出控制部104对作为附带信息被包含的坐标以及区域重新进行定义。例如在图14所示的对象内容数据在，输出控制部104对作为主题的P4的面孔位置的坐标、区域，预先测定出根据与面孔的位置关系必然而定的躯体部分的显示区域，进行自动调整，以使那些面孔以及躯体作为一个内容数据被容纳在视角内。另外，在本实施方式中，例举了目标体要素是人的情况，但并不限定于此。目标体要素是物体时，将物体所附带的部分作为附带信息对其进行定义即可。

然后，输出控制部104确认是否还存在主题以外的上下文信息(S1204)。在步骤S1204，如果不存在主题以外上下文信息(S1204为“否”)，输出控制部104就结束上下文组定义处理。

相反，在步骤S1204如果存在主题以外上下文信息(S1204为“是”)，输出控制部104就将输出优先级高者作为副题，并在考虑附带信息的基础上对上下文组信息进行定义(S1205)。

然后，输出控制部104确认副题的输出数是否达到了输出规定数(S1206)。在步骤S1206，例如，该副题的输出数尚未达到输出规定数(在此，输出规定数＝3)(S1206为“否”)，输出控制部104就返回步骤S1205，继续进行副题的提取和副题专用上下文组信息的定义。在本实施方式中，如图13所示，将作为主题的P4记录为为G1，对作为副题的P2、P5分别单独地算出坐标和展开区域，并对这些分别进行记录。

另外，在此以固定的输出规定数说明了副题的输出数，但判断方法并不限定于此，也可以采用，持续到提取完被设定为图5所示的优先级水平为A至C的所有用户为止的判断方法。

相反，输出控制部104，如果在步骤S1206达到了输出规定数(S1206为“是”)，按照从主题的相对距离从近到远的顺序，在考虑附带信息的基础上对副题所包含的上下文组信息进行定义(S1207)。

然后，在考虑附带信息的基础上对提取的全目标体要素所包含的上下文组信息进行定义，结束上下文组的定义处理(S1208)。

在本实施方式中，例如像图13所示的那样，上下文组G4被定义为，除了作为主题的P4之外，还包含于主题的相对距离最近的副题P5的组。其次，上下文组G5被定义为，包含与主题P4的相对距离其次短的副题P2的组。

另外，在本实施方式中，说明了组合与主题的相对距离短的副题来对上下文组信息进行定义的例子，但定义方法并不限定于此。例如，还可以是组合图5所示的优先级水平同为A的信息来进行定义的方法，也可以是包罗组合先提取的上下文信息来进行定义的方法。

图14是表示使实施方式1的上下文组信息的定义与对象内容数据的动态图像匹配的例子的图。

如图14所示，将至少包含1个以上的目标体要素的区域作为上下文组信息进行定义，因此能够实现以进行摄影、阅览、编辑的对象的对象内容数据中的包含主题或者副题的有意思区域作为对象范围的内容数据处理。

以下，关于由处理候补提取部108进行的处理候补提取处理的流程(步骤608的详细内容)，参照图15至图17进行说明。

图15是表示实施方式1的处理候补模式表的一个例子的图。图16是表示实施方式1的处理候补提取处理的流程的流程图。图17是表示对实施方式1的上下文组信息设定了处理候补的例子的图。

处理候补提取部108将处理模式109作为图15所示的处理候补模式表来保持。处理模式按E1、E2等的处理候补ID被管理，对在内容数据加工部110可处理的处理候补作有记述。在本实施方式中，为了简化说明，将被数字处理的处理候补的概要记载为字符串。另外，各处理候补上记载有执行执行所必须的条件，例如，处理候补E2，只在该上下文组信息中包含主题的情况下可执行。

处理候补提取部108在内部取得所述处理候补模式表(S1601)。

然后，从输出控制部104取得上下文组信息(S1602)。

然后，处理候补提取部108，对该上下文组信息的各组，确认是否存在符合处理候补模式的执行条件的处理候补(S1603)。

在步骤S1603，如果有符合条件的处理候补(S1603为“是”)，处理候补提取部108就对该上下文组设定处理候补(S1604)。

相反，在步骤S1603如果没有符合条件的处理候补(S1603为“否”)，处理候补提取部108就进入步骤S1605。

然后，处理候补提取部108确认是否对该上下文组信息的全上下文组进行了处理候补的确认(S1605)。

在步骤S1605，如果还剩有应该确认的上下文组(S1605为“否”)，处理候补提取部108就反复进行步骤S1603以后的处理。

相反，在步骤S1605，如果对全上下文组都进行了处理候补的确认(S1605为“是”)，处理候补提取部108就结束处理候补提取处理。

进行如上所述的处理候补提取处理的结果，在本实施方式中，如图17所示，对上下文组信息的各组，记录与处理候补表中记载的条件相符的处理候补。

以下，关于由内容数据加工部110进行的处理候补执行处理的流程(步骤611的详细内容)，参照图18至图20G进行说明。

图18是表示实施方式1的处理候补执行处理的流程的流程图。

输出控制部104，从处理候补提取部108取得针对对象内容数据的上下文组信息的处理候补之后，要求内容数据加工部110按照所述处理候补执行方针执行该处理候补。

即，首先，内容数据加工部110接受输出控制部104针对对象内容数据以及上下文组信息指示的处理候补(S1801)。

其次，内容数据加工部110确认针对该上下文组信息中包含的上下文组的处理候补可否执行(S1802)。

在步骤S1802，如果该处理候补可执行(S1802为“是”)，内容数据加工部110就对该上下文组执行处理候补(S1803)。相反，在步骤S1802，如果该处理候补不可执行(S1802为“否”)，内容数据加工部110就跳过步骤S1803，进入步骤S1804。

在本实施方式中，对图17所示的上下文组信息的各上下文组，执行参照图15所示的处理候补模式的处理候补E1以及执行E2。即，内容数据加工部110根据坐标以及区域，确定对象内容数据中的包含主题P1的上下文组G1，并根据处理候补E1进行部分切取，并根据处理候补E2合成补充信息(例如，活动名等)生成其他文件，并委托蓄积部102保存该文件。

然后，内容数据加工部110判断是否对该上下文组信息的全上下文组都确认了被指示的处理候补的执行可否(S1804)。

在步骤S1804，如果还存在剩下的上下文组存(S1804为“否”)，内容数据加工部110就反复进行步骤S1802以后的处理。相反，在步骤S1804，如果对全上下文组都确认了处理候补的执行可否(S1804为“是”)，内容数据加工部110就结束处理。

在本实施方式中，对图17所示的上下文组G1以后的G2至G7确认处理候补的执行可否，在所有的确认都结束的情况下，结束处理。

然后，内容数据加工部110向输出控制部104通知加工处理状况或者加工处理结果。输出控制部104，如图6的步骤S605所示，根据来自内容数据加工部110的通知，判断是否要委托对接下来的对象内容数据进行分析处理。

另外，在本实施方式中，为了简化说明，将对象内容数据设想为动画，以动画中包含的时序图像作为对象内容数据进行了说明。为了保持该动画的连续性，输出控制部104也可以采用，例如在执行切取对象内容数据的某区域的内容数据处理的情况下，预先保持基于前一次定义的上下文信息的上下文组信息，通过连续进行对连续图像的追踪处理，作为一个动画输出文件的方式。另外，内容数据处理装置100显然在静止画的摄影、阅览、编辑中是有用的。

图19是表示实施方式1的内容数据处理执行后的内容数据索引的一个例子的图。图20A至图20G是表示实施方式1的内容数据处理执行后的内容数据的一个例子的图。

如图19所示，图2中由内容数据处理装置100的蓄积部102保持的内容数据索引中蓄积了标记信息“Original”的C-1至10，而图19中作为C-11至C-17新积蓄了包含标记信息“Auto”的G1至G7。

另外，如图20A至图20G所示，在各处理候补的处理结果中，例如，图20A中根据处理候补E1只切取主题P4，生成和蓄积根据处理候补E2来对补充信息“Mike 2002”进行合成而文件。另外，图20B中根据处理候补E1只切取副题P2来生成和蓄积文件，并不执行未被指定的处理候补E2。

另外，在本实施方式中，例举了从对象内容数据中提取由人物的面孔为代表的目标体要素的例子进行了说明，但提取的目标体要素并不限定于此。例如，也可以是人物的面孔以外的文字或记号、街角的招牌或者界标等一般物体。另外还可以，例如将对象内容数据中包含的声音在时间轴上的出现定时和出现时间、相对音量等作为目标体要素提取，并通过与作为分析用信息106的声波纹进行比较，以该部分的切取作为处理候补。

另外，在本实施方式中，例举了由内容数据分析部105分析的目标体要素所附带的附带信息相当于身体的情况进行了说明，但附带信息并不限定于此。例如，还可以采用人物身着的衣物的颜色或者形状的特征、携带的包的特征、可通过传感器或者通信等识别固体的信息等。

另外，在本实施方式以及以后的实施方式中，为了简易说明，将对象内容数据作为动画进行说明。例如可应采用，在执行切取对象内容数据的某区域的内容数据处理的情况下，预先保持基于上一次定义的上下文信息的上下文组信息，连续进行针对连续的图像的追踪处理，从而作为一个动画输出文件的方式。但并不限定于此，例如还可以，为了防止因作为上下文信息而提取的人物朝向旁边或后面而无法提取上下文信息，利用上下文信息所附带的附带信息(例如，人物身着的衣物的颜色)的连续性等，补充上下文信息的提取，从而提高追踪处理的精度。

如上所述，根据本实施方式，能够根据内容数据中包含的被写体或者声音的特征信息来算出各目标体要素的上下文信息，并决定和执行从上下文信息中提取到的内容数据处理候补。因此，例如在动态图像或者包含有作为目标体要素的多个人物的面孔的情况下，能够进行如下控制，对多个人物中的作为上下文信息而被算出的至多2个人物的面孔以及周边进行扩大处理(数字变焦加工)，从而作为个别的动态图像文件进行输出处理(记录到蓄积媒体)。通过以上，不需要用户对各目标体要素的操作指示，也能够容易地实现与上下文信息对应的内容数据处理。

另外，本实施方式中说明的目标体要素的被写体信息，例举了对对象内容数据指定坐标以及区域的情况，但表现目标体要素的被写体信息的方式并不限定于此，也可以用矢量表现对象内容数据。

另外，在本实施方式的处理候补提取处理(步骤605)中，说明了通过从处理候补表中参照针对上下文组的处理候补来判断处理候补的例子，但处理候补的判断方法并不限定于此。例如可以是，对目标体要素的动态图像的坐标、相对于整体的相对尺寸和相对面积也进行考虑的基础上，在判断为该目标体要素的面积小的情况下，通过规定的扩大处理(数字变焦加工)来使之增大等，根据针对目标体要素提取的特征信息来调整处理候补的执行内容。

另外，根据本实施方式，能够根据特征信息来调整内容数据处理候补的执行内容并执行。例如能够进行，对动态图像所包含的多个人物中的相对面积为规定值以下的人物进行扩大处理、自动提高动态图像中包含的声音中的相对音量为规定值以下的声音的输出音量等。即，不需要用户对各目标体要素的操作指示，也能够根据特征信息来调整内容数据处理候补的内容并执行。

另外，本实施方式中对目标体要素的补充信息赋予进行说明时，例举了对图20A以及图20D所示的人物名“Mike”和作为参照源的文件的更新日期时间“2002年”进行合成来显示的情况，但补充信息赋予并不限定于此。例如可以如下对处理候补的执行内容进行调整，如果补充信息是文字，可以作为元数据埋入被输出的文件中，如果补充信息是表示目标体要素的图标等，则可以将其合成在输出动态图像的一部分。

另外，根据本实施方式，能够根据属性信息来补充上下文信息并调整和执行内容数据处理候补的执行内容。因此，例如能够进行如下控制，将动态图像所包含的多个人物中的被登录于面孔词典上的重要人物作为主题，并对被定位是主题的好友的人物分别进行扩大处理(数字变焦加工)以及附加用于补充目标体要素的信息，从而作为个别的动态图像文件对其进行输出处理(对根据面孔的类似度或者声波纹而确定的被写体人物名进行重叠合成来显示，记录到蓄积介质录)。即，不需要用户对各目标体要素的操作指示，也能够根据属性信息来调整内容数据处理候补的内容并执行。

另外，在本实施方式中作为针对上下文组的处理候补，以“上下文组区域的切取和文件输出”为例进行了说明，但处理候补并不限定于此。还可以是，从对象内容数据的整体显示转向上下文组的扩大处理、对该上下文组区域***修饰帧的等，在阅览对象内容数据时发挥效果的效果处理。

另外，根据本实施方式，能够根据由内容数据中包含的多个目标体要素构成的上下文组信息来判断应该执行的内容数据处理候补，例如，能够对由多个人物或者一般物体构成的动态图像的构图进行扩大处理(数字变焦加工)或者输出处理(记录到蓄积媒体)等的控制。如上所述，能够将多个目标体要素作为一个上下文组来处理，因此，不需要对各个目标体要素的内容数据处理操作，就能够一并执行对上下文组的内容数据处理。由此，能够减少例如阶段性的扩大处理或者缩小处理等的外行人易犯的摄影失误。

另外，在本实施方式中说明了输出控制部104根据来自内容数据加工部110的加工处理状况或者加工处理结果，要求输出部111通过蜂鸣音或者发光设备来通知用户的情况，但输出部111的输出并不限定于此。例如，数字照相机在其本体侧面具备用于传达内部执行中的内容数据处理的发光部和声音扬声器的情况下，能够通过该部分的发光或者蜂鸣音或者有声指南来向用户通知，针对作为对象的目标体要素的扩大处理(数字变焦加工)和输出处理(记录到蓄积介质)、摄影结束等的动作。即，输出控制部104可以对内容数据处理装置的外部，输出表示处理候补的执行有无的处理候补执行有无信息。

根据本实施方式，不需要操作内容数据处理装置的用户的操作指示，也能够向用户通知在内容数据处理装置内部执行中的内容数据处理。

如上所述，根据本实施方式，能够对多个被写体间(目标体间)的关系进行分析，因此能够向用户提示内容数据摄影、阅览、编辑的构图或者操作。

如上所述，根据本实施方式，能够实现在摄影、阅览、编辑内容数据时，能够减轻用户因内容数据处理而需要进行的思考和操作的负担的内容数据处理装置、内容数据处理方法以及程序。

(实施方式2)

以下，关于实施方式2进行说明。在本实施方式中，说明为了使用户能够掌握内容数据处理装置正在执行中的处理，显示内容数据处理装置正在执行中的处理的情况的例子。

图21是表示实施方式2的内容数据处理装置100A的结构的方框图。在图21中，对于与图1相同的结构要素赋予相同的符号，并省略说明。

图21所示的内容数据处理装置100A中，取代图1所示的内容数据处理装置100的输出部111，具备显示部112。

显示部112具有液晶面板等的显示画面，显示内容数据以及与针对内容数据的处理有关的信息。例如，显示部112显示内容数据处理装置正在执行中的处理。

本实施方式的内容数据处理装置100A具有显示部112，例如是，可以***或者内置可存储动态图像数据的存储介质的，可对多个动态图像数据进行摄影、阅览或者编辑的数字图片相机或者数字摄像机、个人计算机等。

图22是表示实施方式2的处理候补执行处理的流程的流程图。

关于图22所示的处理流程，图18所示的处理流程中的S1803为止的处理以及步骤S1804以后的处理与图22的步骤S2201至S2203以及步骤S2208相同，因此省略说明。

在步骤S2202为“是”的情况下，输出控制部104执行针对上下文组的处理候补(S2203)。

然后，输出控制部104指示显示部112，以实线或者虚线等显示表示在执行该上下文组的处理的对象区域的指南(S2204)。

然后，输出控制部104确认该上下文组以外是否存在显示中的处理候补(包含处理号码和处理名)(S2205)。

在S2205，如果不存在处理候补(S2205为“否”)，输出控制部104使显示部112在表示该上下文组的对象区域的指南的近旁显示将要执行的处理候补的处理号码和处理名(S2206)。相反，在S2205，如果存在处理候补(S2205为“是”)，输出控制部104使显示部112，以针对该上下文组将要显示的处理号码以及处理名和显示中的处理号码以及处理名互不重叠的方式，调整画面上的显示位置来进行显示(S2207)。

然后，输出控制部104确认针对所有的上下文组的处理候补的执行可否(S2208)。

图23是表示实施方式2的显示部112所显示的画面的一个例子的图。

在图23中，全屏显示区域2301是显示部112显示的画面整体。动态图像显示区域2302是显示成为处理对象的输入内容数据中用户实际能目视到的动态图像的区域。空白区域2303是相对于全屏显示区域的动态图像显示区域的空白部分，也用于显示关联信息。

另外，图中的指南2304是在图22的步骤S2204中说明的显示指南的一个例子。在图23所示的例子中，针对在下方示出的人物分析数据P1至P6，显示了基于包含P4以及P5的上下文组“G4”的提取坐标以及提取区域的指南(参照图17的处理候补)。处理结果显示2305中，显示出表示执行中的处理的处理号码“(2)”以及处理名“变焦摄影中”，这些按照步骤S2206以及S2207被显示。另外，处理结果显示2306，表示先执行的输入内容数据整体的摄影处理，在图23所示的例子中，显示出处理号码“(1)”、处理名“全部摄影中”。

如上所述，在内容数据处理装置100A中，在用户目视的显示部112上，在执行中的处理上加上指南和表示处理内容的处理名等来显示。

图24是表示实施方式2的显示部112显示的其他画面的一个例子的图。

在此主要说明与图23的不同之处。在动态图像显示区域2402，以处理号码(2)至(5)的形式省略显示了处理名。在图24中，处理号码(5)的指南以实线被显示，处理号码(2)至(4)的指南以虚线被显示。在此，如果将实线定义为执行中的处理，并将虚线定义为待处理的处理候补，用户只通过目视显示部112的内容就能够掌握执行中的处理。

另外，在此例举了通过实线和虚线来区分指南从而提示是否为执行中的方式，但指南的显示方法并不限定于此。也可以定义为实线是高画质模式，虚线是低画质模式，还可以定义为实线是包括多个人的上下文组，虚线是作为主题或者副题的上下文组。另外，指南也可以是实线、虚线以外的方式，例如，可以采用波浪线、利用分色方式、以粗细或者增添修饰等来表示变化，根据用途区分使用。并且，处理名并不限于文字显示，也可以采用容易向用户传达处理内容的图标等来表现(关于采用图标的画面例，详情后述)。

在本实施方式中，在被提取的处理候补的执行前或者执行后，能够使内容数据处理装置100A的显示部112显示表示处理候补的执行有无的处理候补执行有无信息。因此，例如，数字照相机能够在其本体主画面或者幅画面上，面向用户，能够以字符串或者图标对内部执行中的内容数据处理进行可视化。即，不需要操纵内容数据处理装置的用户的操作指示，就能够通过字符串和图标来确实地通知在内部执行中的内容数据处理。

(实施方式3)

以下，关于实施方式3进行说明。在本实施方式中，除了提取的人物之外，还将一般物体也作为上下文组进行定义的情况进行说明。并且，在本实施方式中，将对能够一边目视内容数据处理候补，一边接受用户所期望的内容数据处理的操作指示的内容数据处理装置100B进行说明。

图25是表示实施方式3的内容数据处理装置100B的结构的方框图。图25中，对于与图1以及图21相同的结构要素赋予相同的符号，并省略其说明。

图25所示的内容数据处理装置100B，除了图21所示的内容数据处理装置100A的结构要素之外，还具备操作输入部113。

操作输入部113受理来自用户的操作。操作输入部113例如是触摸屏等的输入设备，承担受理来自用户的操作的任务。

内容数据处理装置100B具备通过触摸屏式画面或者鼠标等输入设备来控制画面的手段。另外，内容数据处理装置100B，与内容数据处理装置100A等同样，例如可以是可***或者内置可存储动态图像的存储介质的，可对多个动态图像数据进行摄影、阅览或者编辑的触摸屏式数字静态相机或者数字摄像机、可通过鼠标或者触摸屏进行操作的个人计算机等。

图26是表示实施方式3的相对于输入内容数据的最大区域的聚焦区域的配置例的图。

内容数据处理装置100作为处理对象的输入内容数据(对象内容数据)是内容数据输入部101输入的动态图像，存在被称作视角或者分辩率的最大区域。图26表示了作为输入内容数据的最大区域的输入内容数据最大区域2601。对于输入内容数据最大区域2601，将通过数字处理而变焦扩大显示的部分定义为聚焦区域2602。在图26所示的例子中，存在聚焦区域(1)(图中的聚焦区域2602)和聚焦区域(2)(图中的聚焦区域2603)，聚焦区域2602表示对输入内容数据最大区域2601的中心坐标，直接向中央进行数字变焦的情况下的聚焦区域(聚焦区域(1))，聚焦区域2603是在输入内容数据最大区域2601的区域内的任意部分进行数字变焦的情况下的聚焦区域(聚焦区域(2))。例如，具备广角照相机和通常的照相机，由广角照相机和通常的照相机同时进行摄影的影像中，能够将由广角照相机摄影的区域作为最大区域，由通常的照相机摄影的区域作为聚焦区域。另外，在对摄影后的照片和动画进行阅览或编辑的情况下，能够将摄影的内容数据整体的区域作为最大区域，将用于阅览和编辑而显示的区域作为聚焦区域。以下，利用图27至图30，说明在数字照相机中，一边持续进行输入内容数据最大区域2601中的摄影，一边对聚焦区域2603进行数字变焦的例子。

图27是表示实施方式3的输入内容数据的动态图像的一个例子的图。图28是表示实施方式3的分析数据(一般物体)的一个例子的图。图29是表示实施方式3的注目信息优先级加点表的一个例子的图。图30是表示实施方式3的相对距离优先级加点表的一个例子的图。图31是表示实施方式3的上下文组定义处理的流程的流程图。

如图27所示，从内容数据输入部101输入的输入内容数据最大区域2701中包含多个被写体人物。对输入内容数据最大区域2701，以虚线表现了用户实际目视的聚焦区域2702。

在本实施方式中，内容数据分析部105，如实施方式1中说明的那样，对P1至P6的被写体人物进行分析，并作为分析数据提供给输出控制部104。并且，还对图27所示的一般物体2703以及一般物体2704也进行分析，并将其概要作为图28所示的分析数据提供给输出控制部104。以下，作为目标体要素，只对与分析人物的处理的差别(即，只对一般物体的分析处理)进行说明。

内容数据分析部105，如图28所示，将输入内容数据中包含的2个目标体要素作为一般物体数据提取，并作为ID赋予“M1”和“M2”。然后，作为各目标体要素的被写体信息，将提取坐标和提取区域作为分析数据追加。然后，作为属性信息，对与作为分析用信息的词典登录是否类似、类似的情况下的名字以及类似度、是否是主题进行判断，并作为分析数据追加。

并且，内容数据分析部105，将一般物体所属的分类项目和可分析的信息(文字数据和关联物的一般名称等)作为注目信息而追加。在此，设想为图27的2703所示的ID“M1”其分类项目是“记号(MARK)”。图27的2704所示的ID“M2”被进行文字分析，并被追加了表示作为文字提取到了YOSAKOI的“TEXT：YOSAKOI”。另外，内容数据分析部105，将表示作为动态的状态信息的项目的位置关系从左开始以ID“M2”、ID“M1”的顺序出现的情况的信息，追加到分析数据。另外，内容数据分析部105，将表示作为动态的状态信息的项目的聚焦区域，ID“M1”因其位于聚焦区域之外而为“×”、ID“M2”因其横跨聚焦区域而为“Δ”的信息，表示作为动态的状态信息的项目的相对距离即距离先被分析的主题“P4”的相对距离，ID“M1”为“3.2”、ID“M2”为“0.8”的信息，追加到分析数据。在此可以设想，在被提取的目标体要素存在于聚焦区域内的情况下就记载为“○”等运用方式。

输出控制部104参照由内容数据分析部105提取的分析数据，追加输出优先级。在本实施方式中，为了判断一般物体的输出优先级，说明了利用图29所示的注目信息优先级加点表和图30所示的相对距离优先级加点表的情况的例子。

输出控制部104，根据在图28记录的属性信息的注目信息和状态信息的主题的相对距离，通过加点方式算出对一般物体的输出优先级。在此，ID“M1”的注目信息为“MARK”，因此，参照优先级加点表，加算“0.5”点，接下来，与主题的相对距离为“3.2”，因此，参照优先级加点表，加算“0.5”点，合计成为“1.0”点。另一方面，ID“M2”是文字，因此加算“1.0”点，相对距离为“0.8”，因此加算“2.0”点，合计成为“3.0”点。以下，就利用该点进行的上下文组定义进行说明。

图31是表示实施方式3的上下文组定义处理的流程的流程图。图32是表示实施方式3的上下文组信息的定义表的一个例子的图。图33是表示使实施方式3的上下文组与被作为对象的输入内容数据的动态图像相匹配的例子的图。

关于图31所示的输出控制部104的处理流程，图12所示的处理流程中的步骤S1206为止的处理、以及步骤S1207以后的处理与图31的步骤S3101至S3106以及步骤S3109以后的处理相同，因此省略说明。

输出控制部104，通过步骤S3101至步骤S3106，将与人物有关的目标体要素作为上下文信息，根据主题专用的上下文组和人物的输出优先级来对成为副题的上下文组进行第一，直到输出规定数(S3106为“是”)。

并且，输出控制部104，以与一般物体相关的目标体要素作为上下文信息，根据以该一般物体要素的分析数据为基础的输出优先级，对成为副题的上下文组进行定义(S3107)。此时，与人物同样，关于一般物体，优选将基于分析结果的附带信息加到上下文组的定义中。例如，图27所示的ID“M2”的一般物体2704，对于被分析的文字，将围着文字部分作为附带信息，作为一系列的一般物体进行定义。

另外，输出控制部104对与一般物体有关的上下文组进行定义，直到输出规定数为止(S3108为“是”)。具体是，一般而言一般物体的分析对于分析用信息的词典的依赖度高，根据情况有时要进行庞大数量的分析，因此，输出控制部104根据与一般物体有关的输出规定数来对作为副题的上下文组进行定义(S3108为“是”)。另外，在本实施方式中例举，从与被提取的一般物体有关的上下文信息中，作为副题只采用1个例子进行说明。

然后，输出控制部104按照与主题的相对距离从近到远的顺序，对包含副题的上下文组进行定义(S3109)。

然后，输出控制部104对包含被提取的全目标体要素的上下文组进行定义(S3110)。

以上处理的结果，形成图32所示的上下文组信息的定义表。

在此，图32所示的上下文组“G3”不是表示人物的上下文组，而是表示一般物体的ID“M2”。在实施方式1中，上下文组“G1”是作为主题的“P4”，上下文组“G2”是其次输出优先级高的“P2”，并且，上下文组“G3”是下一个输出优先级高的“P5”。相对于此，在本实施方式中设想为，与人物有关的上下文组的输出规定数为“2”，上下文组“G2”为止成为表示人物的“P4”、“P2”，与一般物体有关的上下文组的输出规定数为“1”，因此，上下文组”G3”成为表示一般物体的“M2”。另外，在被提取的一般物体“M1”、“M2”中，采用了根据先前的加点表算出的点的合计较高的“M2”。

图33表示，相对于输入内容数据(对象内容数据)的输入内容数据最大区域，基于图32所示的各上下文组的定义坐标以及定义区域的相关区域。在此，图32所示的上下文组“G3”的附带信息上记录有“TEXT：YOSAKOI”。上下文组“G3”相当于图33的“G3”引用的虚线框，不是人物，而是将作为一般物体的活动牌作为上下文组。即，上下文组“G3”的定义区域，除了为被提取的文字以外，作为关联的一系列的一般物体，对上下文信息以及上下文组区域也进行定义。另外，关于一般物体近旁的定义的相关处理，对一般物体识别的近旁，可组合颜色或者形状的连续性、分析用信息所定义的出现模式定义等一边技术来实现，一方的出现模式定义等一般的技术的组合实现可以。

并且，图32所示的上下文组“G4”，与相对距离从作为主题的上下文信息“P4”最近的意思信息“M2”组合而构成，相当于图33的“G4”引用的实线框。如上所述，在本实施方式中，处理被提取的人物之外，一般物体也被作为上下文组进行定义。另外，如上所述，该被定义的上下文组，作为上下文组信息，被定义在表(定义表)中。

然后，关于本实施方式的处理候补提取部108的处理候补提取处理进行说明。

图34是表示实施方式3的处理候补模式表的一个例子的图。图35是表示实施方式3的聚焦区域和各上下文组的定义区域的位置关系的例子的图。图36是表示对实施方式3的上下文组信息设定处理候补的例子的图。

处理候补提取部108，作为处理模式109保持有如图34所示的处理候补模式表。图34所示的处理候补模式表中，处理模式E1、E2等处理候补以ID被管理，按每个处理候补ID，记述有在内容数据加工部110可进行处理的处理候补。并且，针对各处理候补记载有处理执行所必须的条件。

在本实施方式中，对所述条件中包含该上下文组被定义的区域(上下文组区域)和该聚焦区域的关系的情况进行说明。在此，处理候补E1以及E2，表示该上下文组区域被包含于聚焦区域的情况下的处理候补，以聚焦区域中包含的上下文组区域的区域内的占有面积不满80％为条件。这表示，例如在该上下文组被包含于该聚焦区域的情况下，将作为聚焦区域被显示中的动态图像的一部分，通过候补E1，以适合聚焦区域的方式进行数字变焦(扩大显示)的处理成为候补。另外，处理候补E2表示，将作为聚焦区域被显示中的动态图像的一部分，作为其他数据切取并进行记录的处理候补。

输出控制部104将上下文组信息被定义的定义表交给处理候补提取部108。

在此，例如像图35所示，成为对象的输入内容数据3501中，聚焦区域3502以用户可目视状态被显示。由此，处理候补提取部108判断为对可容纳于聚焦区域内的上下文组“G1”可执行处理候补E1、E2，并判断为对无法容纳于聚焦区域内的上下文组“G2”可执行处理候补E5、E6。此外的上下文组“G3”至“G7”横跨聚焦区域，因此判断为可执行处理候补E3、E4。由处理候补提取部108进行的处理候补提取处理的流程如图16所示，因此省略说明。其结果，如图36所示，在定义表(动态)中，针对作为根据上下文组信息被分组的目标体要素的组的上下文组分别(各组)，记录符合处理候补表中记载的条件的处理候补。

以上，关于输出控制部104的处理候补执行处理进行说明。

图37是表示实施方式3的处理候补执行处理的流程的流程图。图38是表示实施方式3的内容数据处理候补显示画面的一个例子的图。图39是表示实施方式3的内容数据处理候补显示画面其他的一个例子以及内容数据处理执行停止操作接受画面的一个例子的图。

在图37所示的输出控制部104的处理候补执行处理的流程中，从步骤S3701到3702为止的处理、步骤S3704至3705为止的处理，与图18以及图22所示的处理的流程相同，因此省略说明。

在S3702为“是”的情况下，输出控制部104取得显示部112显示中的聚焦区域的显示区域，并显示执行中的处理(S3703)。

在图38所示的例子中，相对于显示部112所显示的全屏显示区域3801，现在显示中的聚焦区域3802与成为处理对象的输入内容数据的最大区域相符合。另外，以下为了简易说明，首先以被输入的动态图像直接被进行最大显示的状态下，选定了处理候补E1以及E2的例子进行说明。空白区域3803表示相对于全屏显示区域3801的聚焦区域3802的空白，右端的字符串显示3804以“(1)整体摄影中”的字符串表现出作为已执行中的处理的输入内容数据的记录处理。

然后，输出控制部104显示变更该上下文组的指南(S3704)，确认是否存在显示中的处理号码或者处理名(S3705)。

在步骤S3705中，如果判断为不存在显示中的处理号码和处理名(S3705为“否”)，输出控制部104就走表示该上下文组的指南的近旁显示可执行的处理号码和处理名(S3706)。相反，在步骤S3705，如果判断为存在显示中的处理号码和处理名(S3705为“是”)，输出控制部104以不使显示中的处理号码和处理名互相重叠的方式，显示可执行的处理号码和处理名(S3707)。

在图38所示的例子中，输出控制部104对该上下文组“G1”，判断为不存在显示中的处理号码和处理名(S3705为“否”)，并使显示部112在P4近旁，将P4的定义区域作为指南3805以虚线显示。另外，输出控制部104，使显示部112在该上下文组“G1”的指南的近旁，将处理名“默认变焦拉近”作为处理候补3806进行而显示。另一发面，对上下文组“G2”，判断为存在显示中的处理号码和处理名(S3705为“是”)，以虚线显示上下文组“G2”的指南3807，并通过调整配置，以与已经显示中的处理候补3806不重叠的方式显示出处理候补3808。另外，同样，输出控制部104使显示部112以实线显示包含一般物体的上下文组“G4”的指南3809，并通过调整配置，以与已经显示中的处理候补不重叠的方式显示出处理候补3810。

然后，输出控制部104判断对所有上下文组的处理候补的执行可否(S3708)，并判断是否经过了规定时间(例如，1秒钟)(S3709)，如果经过了规定时间，即结束处理候补执行处理(S3709为“是”)。

在步骤S3709，如果尚未经过规定时间(S3709为“否)，输出控制部104判断是否从操作输入部113接受到了针对显示中的处理候补的处理候补执行指示(S3710)，如果没有接受(S3710为“否”)在规定时间内继续等待处理候补的执行指示。

在步骤S3710，如果从操作输入部113接受到了针对显示中的处理候补的执行指示(S3710为“是”)，就执行受到指示的处理候补(S3711)。例如，在用户通过触摸屏对图38的处理候补3806的“默认变焦拉近”或者指南3805的虚线上进行了触摸操作的情况下，就开始执行分配给该上下文组“G1”的处理候补E1。

图38中，菜单3811被作有“MODE CHANGE”的标记。即，在本实施方式出，菜单3811具有，通过对菜单3811进行的触摸操作，对显示部112所显示的处理候补的显示模式进行切换的功能。图39表示了与图38所示的处理候补不同的显示模式，表示了为了向用户显示针对一个上下文组分配的多个处理候补，通过对菜单3811进行触摸操作而由显示部112显示的画面的例子。

另外，图38中表示了接受到针对各上下文组的处理候补E1的执行指示(模式)的例子，相对于此，图39中表示了接受到针对各上下文组的处理候补E2的执行指示(模式)的例子。

在图39中，关于上下文组“G2”所附带的处理候补3908、上下文组“G4”所附带的处理候补3910，以白色背景的菜单结构显示着处理候补名为“指定追踪摄影”的字符串。另一方面，关于上下文组“G1”，以黑色背景的菜单结构显示着处理候补名为“指定追踪摄影停止”的字符串。这表示，针对上下文组“G1”的处理候补已经执行中，可从用户接受的操作指示是“停止”执行中的处理。

如上所述，在图39所示的例子中，一边以字符串显示3904表示出正在对符合聚焦区域的输入内容数据最大区域进行整体摄影，一边以黑色背景的菜单结构等表示出针对上下文组“G1”执行中的处理，从而能够接受针对现在的处理执行状况或者执行中的处理的操作指示停止等。

另外，关于本实施方式的其他形态，利用图40进行说明。

图40是表示实施方式3的内容数据处理候补显示画面的另外一个例子的图。

在图40所示的例子中将说明，显示部112所显示的全屏显示区域4001内的聚焦区域4002成为输入内容数据最大区域的一部分，用户实际能目视到的动态图像成为局部的情况。

图40中，显示了聚焦区域4002中容纳的上下文组“G1”的指南4005和处理候补名4006“默认变焦拉近”，并且，显示了上下文组“G3”的指南4007和处理候补名4008“默认变焦拉远”。在此，如果聚焦区域是相对于输入内容数据最大区域的一部分，会发生像上下文组“G3”那样横跨聚焦区域的情况。在这种情况下，如图40所示，显示上下文组的指南的一部分，并利用空白区域4003等将该指南所附带的处理候补名显示在指南的近旁，从而向用户直观地提示处理候补。

另外，在本实施方式中，为了简化说明，省略了上下文组“G3”以及“G5”以后的部分，但是，当然可以控制为显示关于该上下文组的指南以及处理候补名，为了消除画面显示的繁杂问题，可以拨出规定的处理候补数，或者可以控制为按时序顺序进行显示。

另外，在本实施方式中说明了以触摸屏画面作为前提，通过触摸操作来进行处理候补或者菜单操作的执行指示的例子，但操作体系并不限定于此。例如利用鼠标等的操作或者利用笔画圈等的操作来传达操作内容的结构等，可以应用灵活的操作方法。另外，如果画面显示上的指南过于繁杂，可以对各指南所附带的处理候补的显示加以编号进行显示，以及可以调整成在指南的近旁或者指南上显示处理候补名。并且，为了防止触摸操作时造成误操作等，可以将处理候补或者指南的一部分附带于指南上进行大的显示，从而使触摸操作变得容易。

另外，在本实施方式中，说明为聚焦区域意味着通过数字变焦扩大显示的部分，但聚焦区域的定义并不限定于此。在对象内容数据的编辑过程中，周围有模板或者修饰素材重叠的情况下，可将用户可目视的部分定义为聚焦区域。另外，在具有多个相机的数字照相机或者头戴式显示器等中，可以是一个照相机在广角端拍摄输入内容数据最大区域，而将另一个相机拍摄的部分定义为聚焦区域。

根据本实施方式，能够通过控制在显示部显示内容数据处理候补，根据从操作输入部接受的用户的操作指示，执行内容数据处理候补。因此，例如在具有触摸屏式画面的数字照相机或者可用鼠标等输入设备进行操作的电子设备中，能够一边目视内容数据处理候补，一边接受用户所期望的内容数据处理的操作指示。即，即能够未然防止因内容数据处理装置的输出控制部的自动判断而造成执行违背该操作用户的意图的内容数据处理，又能够建议和执行符合用户意图的内容数据处理，或者用户未想象到的内容数据处理的。

另外，根据本实施方式，能够在该目标体要素的近旁显示被提取的处理候补。因此，例如，通过将针对被写体的扩大处理(数字变焦加工)等处理候补附带于被写体上，能够直观地掌握。即，能减轻针对对象内容数据中包含的被写体的处理候补的操作指示错误，从而能够更确实得执行内容数据处理。

根据本实施方式，能够显示符合被提取的处理候补的执行时的输出印象的指南。因此，例如，用户能够通过指南直观地掌握执行了针对被写体的扩大处理(数字变焦加工)等处理之后的扩大处理结果，因此能够从多个处理候补中简单地选定用户所期望的处理候补。即，能够减少违背用户意图的处理候补的操作指示错误，在掌握内容数据处理后的印象的基础上能够更确实得执行内容数据处理。

(变形例1)

另外，作为实施方式3的变形例1，利用图41以及图42进行说明。

图41是表示实施方式3的变形例1的图标参照表的例子的图。图42是表示实施方式3的变形例1的内容数据处理候补显示画面的其他例子的图。

处理候补提取部108，例如像图41所示，在内部保持有画面显示用的图标参照表。

在图41所示的图标参照表中，例如，对图34所示的处理候补模式表的各处理候补，通过图标ID“ZI”以可参照的方式构成可向用户通知的图标。在图41中，图标ID“ZI”意味者处理候补是施给变焦拉近处理，图标ID“ZO”意味着处理候是补施变焦拉远处理。另外，图标ID“FR”意味着处理候补是将上下文组作为其他的文件来进行摄影、录象处理。在此，关于ID“FR”，不仅是在处理候补的执行前，也有意味着处理执行中的停止指示的图标。

显示部112根据来自输出控制部104的指示来显示处理候补号码和处理候补名。

在本变形例中，显示部112通过参照图标ID来访问未图示的文件名、文件通路等显示该图标数据时所需要的数据，例如像图42所示的画面那样进行显示。图42中，相对于图38中显示的画面的例子，省略了处理候补名“默认变焦拉近”的显示。另外，显示了上下文组“G1”的指南4205和处理候补图标4206，并且，还显示了上下文组“G2”的指南4207和处理候补图标4208、上下文组“G4”的指南4209和处理候补图标4210。在此，上下文组“G3”以及“G5”之后也同样，因此省略这些以简化说明。

如上所述，在本变形例中，在相对于一个上下文组存在多个处理候补的情况下，通过采用用户容易直观性得掌握的图标，可同时提示多个处理候补。

根据本变形例，能够显示表示被提取的处理候补的概要的图标或者便于对来自操作输入部的操作指示进行指定的图标或者菜单。因此，用户根据图标能够直观性地掌握例如针对被写体的扩大处理(数字变焦加工)等的处理，即使在多个处理候补混在于同一画面上的状态下，也能够根据图标或菜单，容易地选定用户所期望的处理候补。即，能减轻违背用户意图的处理候补的操作指示错误，用户能够在掌握了内容数据处理的概要的基础上更确实地执行内容数据处理。

(变形例2)

以下，将实施方式3的其他形态作为变形例2，利用图43以及图44进行说明。

图43是表示相对于实施方式3的变形例2的输入内容数据最大区域的聚焦区域的配置例以及分析规定范围的例子的图。图44是表示实施方式3的变形例2的内容数据分析处理的内部状态的图。

在本变形例中，例如像图43所示，输出控制部104持续取得和管理成为对象的输入内容数据的最大区域4301和现在的聚焦区域4302。并且，输出控制部104，委托内容数据分析部105对输入内容数据进行内容数据分析处理时，指示针对现在的聚焦区域4302算出分析规定范围，并只对该分析规定范围进行内容数据分析处理。

内容数据分析部105按照来自输出控制部104的要求，只对该分析规定范围进行目标体要素的提取。其结果，如图44所示，对输入内容数据最大区域4401，只提取可被容纳于聚焦区域4402的分析规定范围4403内的目标体要素。在此，表示所述人物的目标体要素“P3”至“P6”相当于此。

根据本变形例，针对对象内容数据，能够通过控制以使得基于聚焦区域进行分析处理。在此，例如，在最大区域的分辩率为横4096像素和纵2160像素、相对于聚焦区域的分析规定范围横的分辨率为横1024像素和纵768像素的情况下，只通过相对于聚焦区域的分析规定范围所包含的目标体要素的分析就能够提取处理候补，从而相对于在轻最大区域的内容数据分析处理能够减轻内容数据分析处理的负荷。从而，通过处理负荷的减轻有望改善内容数据处理装置的应答以及降低消耗功率。

(变形例子3)

以下，以变形例3的其他形态作为变形例3，利用图45至图48来进行说明。

图45是表示实施方式3的变形例3的处理候补执行处理的流程的流程图。图46是表示实施方式3的变形例3的聚焦区域和聚焦区域外的上下文信息的相对位置关系的例子的图。图47是表示针对实施方式3的变形例3的聚焦区域外的上下文信息的相对坐标算出结果的例子的图。图48是表示实施方式3的变形例3的包括聚焦区域外的内容数据处理候补在内的内容数据处理候补显示画面的例子的图。

在此，图45所示的输出控制部104的处理候补执行处理的流程中，从步骤S4501至4504为止的处理、从步骤S4509至4515为止的处理与图18、图22以及与对图37所示的处理的流程形态，因此省略说明。

在步骤S4505中，输出控制部104确认上下文组的中心坐标是否在聚焦区域外。

输出控制部104，在上下文组的中心坐标在聚焦区域外的情况下(S4505为“是”)，根据连接上下文组的中心坐标以及聚焦区域的中心坐标的直线与聚焦区域端的交点，算出相对坐标(S4506)。

例如，在图46所示的例子中，相对于输入内容数据最大区域4601，聚焦区域4602存在一部分，输出控制部104针对位于聚焦区域4602之外的上下文组“P1”至“P3”以及“P6”，逻辑性地算出从聚焦区域4602的中心坐标至各上下文组的中心坐标的直线。并且，作为相对坐标算出与聚焦区域4602端的交点坐标。

输出控制部104，在例如第聚焦区域4602的坐标轴重新进行了定义的情况下，例如，像图47所示，算出“P1”的相对坐标是“0，348”、“P2(Alice)”的相对坐标是“0，332”、“P3”的相对坐标是“0，315”。

在此，本变形例中为了简化说明，设想为各上下文组中包含表示人物的目标体要素，用与各上下文组中包含的目标体要素对应的人物名来代替处理候补进行显示。以下，以显示由用户指示的针对上下文组的处理候补的情况为例进行说明。

然后，输出控制部104以显示中的处理号码和处理名不相互重叠方式，显示可执行的处理号码和处理名或者上下文信息(S4507)。

具体是，例如像如图48所示，输出控制部104使显示部112，对包含位于聚焦区域内的“P4”的上下文组4805或者包含“P5”的上下文组4806，在这些上下文组的近旁显示上下文组中包含的人物名“Mike”、“Tom”。另一方面，输出控制部104，关于位于聚焦区域外的上下文组“P1”至“P3”以及“P6”，除了位于最左侧且未能确定人物的“P1”之外，根据相对坐标，使显示部112在空白区域4803显示表示出现方向的箭头图标“▲”。并且，按照各上下文组的出现顺序，将从左侧第2个出现的“P2(Alice)”作为4807，通过控制将其显示在比从左侧第3个出现的“P3(Dan)”的4808更靠近左侧的位置。另外，相对于聚焦区域位于右侧的“P6(Paul)”在聚焦区域的右侧显示出表示其存在的4809。如上所述，能够在空白区域4803向用户提示出聚焦区域外的上下文组的存在。

在本变形例中，为了简化说明，说明了取代于对上下文组的处理候补进行显示，作为与上下文组包含的目标体要素对应的上下文信息，显示人物名，以此使用户直观性地获知其存在方式，但显示方法并不限定于此。例如，可以将空白区域的尺寸设定得较大，以聚焦区域外的上下文组以及处理候补也被容纳于空白区域内的方式进行显示。另外，可以直接显示针对聚焦区域外的上下文组的处理候补的处理候补名，还可以显示表示处理概要的图标，也可以通过缩略图等显示处理执行时的输出结果印象。

根据本变形例，除了聚焦区域之外，能够控制为在处理候补显示区域显示理候补。因此，例如，能够一边在聚焦区域显示对象内容数据的内容，一边在处理候补显示区域显示处理候补。通过这样，能够避免因重叠显示针对聚焦区域中包含的目标体要素的处理候补而造成的对象内容数据的可见性降低，从而能够只通过选择处理候补显示区域所显示的处理候补，就执行所期望的处理。

另外，根据本变形例，针对对象内容数据，对聚焦区域以外的目标体要素也进行分析，从而还能够提取聚焦区域以外的目标体要素的处理候补。因此，例如，除了作为聚焦区域被显示的人物以外，还能发现其他应该进行摄影、阅览、编辑的目标体要素，并显示针对聚焦区域中未显示的人物或者一般物体的处理候补，因此该用户只通过选择操作来指示处理候补，就能够即刻执行内容数据的缩小处理(数字变焦拉远)。通过以上，除了用户针对聚焦区域所意图的对内容数据处理以外，还能够实现针对聚焦区域以外的区域中包含的目标体要素的、用户未想象到的内容数据处理的建议和执行。

另外，根据本变形例，相对于聚焦区域的中心，能够根据出现方向以及出现顺序，显示对聚焦区域以外的目标体要素的处理候补。因此，例如，除了作为聚焦区域为显示的人物以外，能够就其他应该摄影、阅览、编辑的目标体要素存在于上下左右哪个方向进行可视化，可根据出现顺序等直观性地选定针对聚焦区域中未显示的人物或者一般物体的处理候补，从而该用户能够根据实际空间上的位置关系来对处理候补的执行进行选择指示。通过以上，能够减轻针对聚焦区域以外的区域中包含的目标体要素的处理候补的指示错误，从而能够更确实地执行处理候补。

(变形例4)

以下，以实施方式3的其他形态作为变形例4，利用图49来进行说明。

图49是表示实施方式3的变形例4的包括聚焦区域外的内容数据处理候补的内容数据处理候补显示画面的例子的图。

在本变形例中，输出控制部104，根据该上下文信息的输出优先级或者处理候补的执行优先级，通过修饰等来变更该上下文组所附带的处理候补的显示内容。例如，如图49所示，对作为主题的上下文组中包含的上下文信息“P4(Mike)”，不是用像显示4905那样的通常的白色背景的图标，而是利用影线等特殊配色或者图案模样加以修饰。另外，对被包含于输出优先级较高的上下文组中且位于聚焦区域外的上下文信息“P2(Alice)”，进行如显示4907那样的修饰，采用比通常的白色背景的图标更大的显示方式，且用粗体修饰字符串。并且，对被包含于输出优先级低的上下文组的上下文信息“P3(Dan)”，像显示4908那样，在用户可目视的范围内以小于通常的图标的方式进行显示。

如上所述，根据本变形例，根据上下文信息的输出优先级来对处理候补的显示内容进行修饰等，从而能够进行强调控制。因此，例如，用户能够容易地发现主题或者重要的副题，能够向用户强调通知除了聚焦区域中显示的人物以外是否还存在其他应该进行摄影、阅览、编辑的被写体。通过以上，能够减轻用户看漏目标体要素的机会损失。

(变形例5)

以下，以实施方式3的其他形态作为变形例5，利用图50至图55进行说明。

图50是表示实施方式3的变形例5的处理候补模式表的例子的图。图51是表示实施方式3的变形例5的处理候补执行处理的流程的流程图。图52是表示实施方式3的变形例5的内容数据处理候补显示画面的例子的图。图53是表示实施方式3的变形例5的内容数据处理候补显示画面显示子菜单的例子的图。

在本变形例中，处理候补提取部108在内部保持图50所示的处理候补模式表。图50表示了，在图34所示的处理候补模式上，将该上下文组被选择多个的情况作为条件加入的例子。在此，例如处理候补E7意味着，在指定了多个上下文组的情况下，作为“默认分割显示”对该上下文组区域进行分割显示。另外，处理候补E8意味着，在指定了多个上下文组的情况下，作为“默认分割摄影”将该上下文组合成为一个动态图像，并与聚焦区域的显示另行切取进行记录的处理。

然后，作为由输出控制部104进行的处理候补执行处理，关于多个上下文组被指定的情况下的接受处理的流程以及分割输出时的处理的流程进行说明。

图51所示的输出控制部104的处理候补执行处理的流程中，从步骤S5101至5103为止的处理与图18、图22、图37以及图45所示的处理的流程相同，因此省略说明。

在步骤S5101以及S5102中，输出控制部104使显示部112显示该上下文组的处理候补，在规定时间以内接受来自用户的处理候补执行指示。

然后，输出控制部104确认是否接受了针对显示中的处理候补的执行指示(S5103)。

在步骤S5103，如果接受了针对显示中的处理候补的执行指示(S5103为“是”)，并且接受了针对显示中的处理候补中的2个以上的处理候补或者对上下文信息的执行指示(S5104为“是”)，根据接受的处理候补或者上下文信息所附带的上下文组的状态信息，对处理候补的内容进行调整(S5105)。具体是，例如在图52所示的聚焦区域5202，显示了显示5205至显示5209，还显示着表示用户可通过操作输入部113进行触摸操作的意味的“●(黑圆点)”。在用户通过黑圆点5210选择了“Alice”、通过黑圆点5211选择了“Tom”的情况下，通过同时或者以微差选择这2个，选择多个处理候补或者上下文信息。

然后，输出控制部104，根据由操作输入部113接受的2个以上的处理候补或者上下文信息所附带的上下文组的状态信息，按照处理候补的内容调整结果，将可执行的处理候补作为子菜单进行显示(S5106)。

具体是，输出控制部104，例如通过图53所示的黑圆点5310以及黑圆点5311被触摸操作，在考虑实际空间上的出现顺序的基础上，将从位于最左侧的“Alice”开始到其次出现的“Dan”，接着是在聚焦区域显示中的“Mike”，直至通过触摸操作指定的“Tom”为止，判断为处理候补的内容调整的对象上下文组，并将显示中的图标作为选择状态，以颜色等进行强调。并且，输出控制部104使显示部112显示子菜单显示区域5312。例如，输出控制部104使显示部112在子菜单显示区域5312并列显示选择中的多个上下文组可共通实施的处理候补。在此分别分配成，处理候补E1是子菜单5313的“默认镜头拉远”，处理候补E2是子菜单5314的“指定追踪摄影”，处理候补E7是子菜单5315的“默认分割显示”，处理候补E8是子菜单5316的“默认分割摄影”。将用于在聚焦区域显示输入内容数据的最大区域即整体的通用处理候补，显示为“整体显示”。

然后，输出控制部104，在通过操作输入部13接受了针对提出的子菜单的执行指示的情况下，执行受指示的处理候补(S5107)。

图54是表示实施方式3的变形例5的分割显示的输出处理的流程的流程图。图55是表示实施方式3的变形例5的分割合成模板的例子的图。图56是表示实施方式3的变形例5的分割显示的输出结果的画面显示的例子的图。

图54所示的流程图表示了以作为图51所示的处理候补执行处理中的步骤S5107的一具体例的分割显示为例的输出处理的流程。以下，关于对指定的上下文组进行分割显示的例子进行说明。

首先，输出控制部104取得由操作输入部113从用户接受的至少1个以上的上下文组(S5401)。

其次，内容数据分析部105分析并取得针对各上下文组提取的提取坐标以及提取区域(S5402)。

然后，输出控制部104，根据被指定的上下文组的数、基于提取坐标的各上下文组间的位置关系以及提取区域的尺寸等，按处理候补的目的，制作内容数据处理装置100可输出的输出模板(S5403)。

在此，例举对被指定的上下文组进行分割显示的“分割合成模板”进行说明。

图55所示的分割合成模板5501具有分割合成框“T1”至“T4”等。内容数据加工部110根据来自输出控制部104的要求，根据该上下文组的提取坐标以及提取区域来局部切取该输入内容数据，并将切取的动态图像分配给该分割合成框。在此，将分割合成框名作为“TN1”至“TN4”，将分割合成模板名表示为“TITLE(图中的5502)”。

然后，输出控制部104，关于制作的输出模板，根据想收容的上下文组的数或者分割等的输出显示尺寸来判断被指定的所有上下文组是否适合该输出模版(S5404)。

在步骤S5404，如果适合(S5404为“是”)，确认能否在内容数据处理装置100确保用于将被指定的所有上下文组分配给该输出模板的输出用资源(S5405)。在此，输出用资源是指例如用于动态图像处理的信道或者CPU处理、输出所需的蓄积部102的空余容量等进行一般的数字处理时所需要的准备和处理能力。

在步骤S5405，如果能够确保资源(S5405为“是”)，输出控制部104从输出优先级高的上下文组开始按顺序对输出模版进行输出(S5407)，对所有的上下文组进行输出(S5408)。

另外，在步骤S5404被判断为“否”以及在步骤S5405被判断为“否”的情况下，通过从候补中去除被指定的上下文组中输出优先级低的上下文组等方式，以使得适合输出模板(S5406)。

然后，输出控制部104，针对该指定的上下文组确认输出处理之后(S5408为“是”)，取得可在输出模板可输出的输入内容数据的摄影日期时间或者与输入内容数据有关的活动的标题等，合成输出模板(S5409)。

然后，输出控制部104输出输出结果的(S5410)。在此，例如，输出控制部104使显示部112显示分割显示的结果，或者作为打算分割显示的文件输出给蓄积部102。

图56中表示了基于图55的“分割合成模板”的分割显示的输出结果例。具体是，在分割合成模板的“T1”合成上下文组“G1”(作为主题的P4：Mike的影像)，在“TN1”合成作为主题的上下文信息的“Mike”。接下来同样，按“T2”至“T4”的输出优先级，输出“G2”以后的上下文组。另外，在分割合成模板的“TITLE(图中的5502)”输出表示摄影日期和活动名的“2002/5/30联欢会”。

另外，本变形例中说明了，在选择了多个成为处理候补的上下文组的情况下，将基于其出现顺序的上下文组作为一并处理的对象，但是选择多个的情况下的处理候补的内容调整方法并不限定于此。例如，可以只对被个别选择的上下文组进行处理候补的内容调整，或者可以只对优先级高的上下文组进行处理候补的内容调整。

另外，本变形例中，为了简化说明，例举了由输出控制部104随时制作输出模板的形式，但输出模板的制作方法并不限定于此。例如，可以在由输出控制部104在其内部管理的未图示的模板管理表中只预先准备输出模式数。

另外，在本变形例中，为了简化说明，省略了由内容数据分析部105提取的目标体要素是一般物体的情况，但并不限定于此。例如，可由输出控制部104判断在步骤S5403、步骤S5404或者步骤S5406等不将一般物体等分配给分割合成框“T1”等，也可以在输出模板的初期定义中预先记载各输出框的推荐利用方法。

如上所述，根据本变形例，针对用户指示的至少2个以上的上下文信息，能够根据包含真实空间的配置、出现顺序、位置关系、人物彼此的关系等在内的分析数据、输出优先级，来控制处理候补的选定、内容调整、显示。因此，例如，能够针对多个被写体直观且容易地选择共同的处理候补，并能够根据空间上的配置来提示处理候补。通过以上，能够防止用户的误操作以及减少操作数。

另外，根据本变形例，能够根据包含上下文信息在真实空间的配置、出现顺序、位置关系、人物彼此的关系等在内的分析数据、输出优先级来生成用于收容被选定的至少1个以上的上下文信息(上下文信息)的输出模板，并能够进行合成显示和合成文件的输出。因此，例如，能够生成基于动态变化的模板的分割显示等的动态图像，能够省略利用个人计算机等的专用工具根据多个动态图像编辑成一个动态图像的工夫。通过以上，能够实现在进行摄影和阅览等操作的同时生成配置有至少1个以上的上下文信息的合成作品的新的手段。

(变形例6)

以下，以本实施方式3的其他形态作为变形例6，利用图57至图58进行说明。

图57是表示实施方式3的变形例6的针对上下文信息的指示输出处理的操作的例子的图。图58是表示实施方式3的变形例6的分割显示的输出结果的画面显示的其他例子的图。

例如像图57所示，相对于显示部112显示的全屏显示区域5701，聚焦区域5702显示了成为对象的输入内容数据的一部分，现在执行中的处理号码“(1)”和处理名“整体摄影中”被作为显示5704显示在空白区域5703。另外，以下以作为聚焦区域内的上下文组提取了主题“Mike(5705)”和副题“Tom(5706)”的情况为例进行说明。

变形例中5中，利用图52来说明了输出控制部104根据操作输入部113对多个上下文组的指定而显示包含处理候补的子菜单，并使用户选择处理候补的流程。

相对于此，在本变形例中，利用图57，说明例如用户在空白区域5703的区域内即聚焦区域外进行触摸操作，对图中的“●(黑圆点)”所示的黑圆点5707至黑圆点5708进行拖动操作的情况。在此，拖动操作是指一边保持触摸操一边向上下左右移动位置的操作方式。

更具体是，输出控制部104从操作输入部113检测出用户从空白区域5703开始了拖动操作的情况，并在内部管理此后的拖动操作的方向性以及轨迹。并且，输出控制部104，按照图中的箭头5709，拖动操作再次达到空白区域的情况下，对该聚焦区域中包含的上下文组，判断为对横跨区域的上下文组另行处理，对处理候补的内容调整以及执行要否进行判断。

图58中表示了，将包含上下文信息“Mike”的上下文组和包含上下文信息“Tom”的上下文组，根据用户的拖动操作而判断为另行处理，分割显示各上下文组的例子。

在此，输出控制部104，不在聚焦区域5802显示输入内容数据的一部分，取而代之制作用于将通过拖动操作被分断的上下文组按照拖动轨进行分割的输出模板(相当于图54的步骤S5403)。然后，一边为了使分割合成框5805和分割合成框5806能够收容上下文信息以及附带信息，对上下文组的切取程度进行调整，一边合成各动态图像，并与摄影日期时间和标题框5807一同显示。

另外，图中的菜单5808上还标记有“MODE CHANGE”。对菜单5808还可以赋予通过对菜单5808进行触摸操作来对显示部112显示的处理候补的显示模式进行切换的功能。在此情况下，能够回到分割显示前的将输入内容数据的一部分显示在聚焦区域的模式。

另外，在本变形例中，说明了从空白区域通过聚焦区域达到空白区域的拖动操作的例子，但包含拖动操作的触摸操作并不限定于此。例如可以，与空白区域独立地，以连续围着上下文信息的方式进行拖动操作，通过拖动操作检测出闭空间时，将该闭空间内包含至少1个以上的上下文信息作为处理对象。另外也可以分配成，在以某特定形状(例如三角形和心形等)围出至少1个以上的上下文信息的情况下，执行特定的处理候补(如果是三角形就执行数字变焦处理，如果是心形就在按心形切取的模板进行分割显示等)。

如上所述，在本变形例中，能够根据用户的触摸操作输入等，指定至少1个以上的上下文信息和确定处理候补。另外，除了上下文信息之外，还能够根据通过触摸操作所指定的区域的分割线的轨迹或者分配给各上下文组的面积比率等，动态地生成输出模板，使相对于该动态图像的处理候补和合成内容以及输出结果发生变化。因此，能够进行例如，按面积比控制变焦率、根据单位时间的被写体目标体要素的行动范围来判断合成的上下文组的视角等控制。通过以上，能够通过触摸操作的能够直观性地指定上下文信息以及执行处理候补，从而能够减轻用户的操作负担。

如上所述，根据本实施方式，能够实现在内容数据的摄影、阅览、编辑时，可减轻因内容数据处理之需而由用户进行的思考和操作的负担的内容数据处理装置、内容数据处理方法以及程序。

另外，在本实施方式中，设想为摄影、阅览、编辑时显示或者文件输出的内容数据是在摄影、阅览、编辑的同时被进行内容数据加工处理和输出的，但加工、输出的定时并不限定于此。例如也可以，在内部预先存储根据内部决定的指示或者从用户接受的指示的处理内容，与内部的指示决定或者与来自用户的指示决定不同步地执行内容数据的加工处理。另外还可以在确保了所述输出用资源的定时执行。

另外，在本实施方式中，说明了将摄影、阅览、编辑时显示或者文件输出的内容数据，按照与摄影、阅览、编辑同时被输入的输入内容数据的时序切取的例子，但是成为内容数据加工处理的对象的输入内容数据并不限定于此。也可以将内容数据103和内容数据103的上下文信息以及上下文组作为履历信息预先蓄积在蓄积部102中，除了在摄影的同时从内容数据输入部101被输入的输入内容数据之外，还通过参照被蓄积在蓄积部102中的内容数据103和上下文信息以及上下文组来进行合成。在此情况下，摄影、阅览、编辑时，并不限定于成为对象的输入内容数据，被蓄积在蓄积部102中的内容数据103也被作为合成的对象。由此，可扩大摄影、阅览、编辑的范围，根据上下文信息，将积蓄的过去的被写体目标体和现在的被写体目标体关联起来进行比较显示、分割合成并再生的幻灯放映等，能够在每次的摄影、阅览、编辑时提供具有不同的合成、演示的内容数据处理。

另外，在本实施方式中，作为摄影、阅览、编辑时显示或者文件输出的内容数据，以成为摄影、阅览、编辑的对象的对象内容数据或者被蓄积在蓄积部102中的内容数据103为中心进行了说明，但并不限定于此。例如，在显示或者文件输出时被合成的内容数据的要素可以是与其相关的修饰素材(例如，对作为陆标的塔进行变形的动画修饰零件等)合成。在此情况下，能够扩大合成、演示的幅度。

(实施方式4)

以下，关于实施方式4进行说明。在本实施方式中，以内容数据处理装置连接网络的情况为例进行说明。

图59是表示实施方式4的内容数据处理装置100C的结构的方框图。在图59中，对与图1、图21以及图25相同的结构要赋予相同的符号，并省略说明。

图59所示的内容数据处理装置100C，除了图25所示的内容数据处理装置100B的结构要素之外，还具备通信部114。

通信部114与内容数据处理装置100C外部的设备进行通信。通信部114例如是网卡等的通信器件，具有内容数据处理装置100C与连接外部的网络200的各种装置之间的通信或者接受远距离操纵的功能。在本实施方式中，通信部114如图59所示，通过互联网和局域网等网络200，与外部的内容数据处理装置100D和外部的信息提供装置300连接。

另外，通信部114根据来自输出控制部104的要求，通过网络200向信息提供装置300发送要求取得信息的要求信息。

另外，通信部114接受来自信息提供装置300的应答信息，确认应答信息的内容，并以取得的信息应答输出控制部104。取得的信息是指例如可在内容数据处理装置100C利用的分析用信息或者处理模式以及输出模板等信息。

输出控制部104对取得的信息进行分析，如果是分析用信息106，就转送到内容数据分析部105，如果是处理模式109，就转送到处理候补提取部108。另外，信息如果是输出模板，就追加到输出控制部104在内部保持的输出模板或者进行更新。

信息提供装置300具备通信部301、信息提供控制部302。信息提供控制部302将可向外部提供的且可在内容数据处理装置100C利用的分析用信息和处理模式以及输出模板等信息，保持在内部HDD等的存储装置303中。在本实施方式中，信息提供装置300例如是与互联网或者局域网连接的应用服务器或者内容数据分发服务器、数据库或者社交网络服务的服务器等。

另外，通信部301接受来自内容数据处理装置100C的要求信息，信息提供控制部302确认要求信息的内容。在此，一般而言，关于要求方内容数据处理装置100C是否是被允许提供信息的装置，或者持有内容数据处理装置100A的所有者是否具有接受信息提供的权利等进行判断。并且，在信息提供被允许的情况下，制作包含对内容数据处理装置100C有用的信息的应答信息，并通过通信部301向内容数据处理装置100C回信。

另外，在本实施方式中说明了内容数据处理装置100C向信息提供装置300提出信息取得的要求的例子，但信息的取得方法并不限定于此。通信部114还可以根据通过网络200而来自信息提供装置300的要求，开始取得信息。

另外，在本实施方式中，作为由内容数据处理装置100C追加、更新其取得的信息，例举分析用信息、处理模式以及输出模板进行了说明，但追加、更新的信息并不限定于此。例如可以是，由处理候补提取部108对网罗一般的动态图像的构图或者色彩模式而成的构图色彩模式进行管理，从信息提供装置300取得这些构图色彩模式。另外，处理候补提取部108可以对相对于成为对象的输入内容数据的输入内容数据最大区域、聚焦区域或者被定义的各上下文组的切取区域的动态图像和构图色彩模式进行比较，利用从该构图色彩模式的比较提取到的处理候补(例如，通过数字变焦拉远来显示目标体要素整体，被写体是食物因此提高彩度等)。

如上所述，根据本实施方式，能够从与网络连接的信息提供装置通过网络取得最新的分析用信息和处理模式、输出模板等的信息，并对内容数据处理装置所保持的信息进行追加、更新。因此，例如，能够减少因分析用信息的陈腐化而造成的上下文信息的提取失败，从而能够与输出有关的内容数据加工方法的处理模式和输出模板的追加、质量提高和维护。

(实施方式5)

以下，关于实施方式5进行说明。

图60表示实施方式5的内容数据处理装置100E的结构的方框图。在图60中，对于与图1相同的结构要素赋予相同的符号，并省略说明。

图60所示的内容数据处理装置100E，与图1所示的内容数据处理装置100相比，不具备输出部111，而追加了内容数据输入控制部115。

内容数据输入控制部115根据输出控制部104的处理结果，对内容数据输入部101进行控制。内容数据输入控制部115例如是内容数据处理装置100中内置或者安装的三脚架或者转台，在内容数据输入部101是照相机的情况下，具备对照相机的朝向进行调节的作用。

图61A以及图61B是表示实施方式5的相对于输入内容数据最大区域的上下文信息的位置关系的例子的图。

输出控制部104，如图61A所示，从内容数据输入部101取得成为对象的输入内容数据，并要求内容数据分析部105进行关于输入内容数据最大区域的分析。在此，输出控制部104以从最大区域的四边开始的规定宽度来对图中的最大区域空白框6102进行定义。并且，输出控制部104委托内容数据分析部105，关于提取到的上下文信息是否被重叠在相当于输入内容数据最大区域6101和最大区域空白框6102之间的区域的最大区域空白框6102上进行判断。此时，输入内容数据最大区域6101之外，输出控制部104对操作内容数据处理装置100的用户所注目的聚焦区域6104进行管理。

在此，如图61A所示，内容数据分析部105，将作为人物被写体信息的目标体要素“P1”至“P6”，作为上下文信息提取。内容数据分析部105，例如在上下文信息“P1”重叠在最大区域空白区域的情况下，向输出控制部104通知发生了输入内容数据超出最大区域空白框的情况、超出方向和超出宽度。输出控制部104接受来自内容数据分析部105的通知，要求内容数据输入控制部115根据由内容数据分析部105通知的超出方向和超出宽度，变更内容数据输入部101的方向。内容数据输入控制部115根据来自输出控制部104的要求变更方向，并应答结果。

如图61B所示，相对于输出控制部104委托内容数据输入控制部115变更内容数据输入部101的方向之前的输入内容数据最大区域6110而言，委托之后的输入内容数据最大区域6111根据图61A所示的上下文信息“P1”的位置进行了移动。即，相对于内容数据输入部101的方向被内容数据输入控制部115变更之后的最大区域空白框6112以及最大区域空白框6113，上下文信息“P1”至“P6”分别被改善为不重叠的状态。

另外，在本实施方式中，以内容数据分析部105与提取的上下文信息和最大区域空白区域重叠的例子进行了说明，但内容数据输入控制部115对内容数据输入部101进行调整的契机并不限定于此。例如，可以将聚焦区域6104和最大区域空白区域的重叠作为契机。另外还可以，例如在聚焦区域6104定义空白区域，像聚焦区域6114那样以重叠于或者接近最大区域空白框6112作为契机。

另外，在本实施方式中，作为内容数据输入控制部115的控制内容，以调整内容数据输入部101的物理方向为例进行了说明，但内容数据输入控制部115的控制内容并不限定于此。例如，可以为了使上下文信息“P1”至“P6”的摄影不发生模糊而调整焦点距离等。另外还可以，例如可以根据上下文信息的输出优先级来调整被写体深度等，也可以通过物理机构实现这些，还可以通过数字化数据处理来实现。

如上所述，根据本实施方式，能够根据被输入的动态图像的被写体上下文信息的状态，以上下文信息不受缺损的方式自动调整照相机等输入装置的方向或者焦点距离的等来进行控制。因此，例如在一边通过数字变焦加工在数字照相机本体画面上对摄影中的整体像的一部分进行扩大显示一边摄影的情况下，即使手持照相机进行摄影的用户集中于显示画面的动态图像而导致数字照相机实体的方向发射变化的情况下，也能够通过数字照相机本体中内置的转台等进行自动调整。由此，能够减轻因进行摄影的用户的错觉和操作失误所造成的上下文信息缺损。

(实施方式6)

以下，关于实施方式6进行说明。

图62是表示实施方式6的内容数据处理装置100F的构成的方框图。在图62中，对于与图1、图21图25图59以及图60相同的结构要素采用相同的符号，并省略说明。

图62所示的内容数据处理装置100F，除了图59以及图60所示的内容数据处理装置的结构要素之外，还具备认证管理部116。

认证管理部116进行针对内容数据处理装置100的处理要求的认证。认证管理部116具有例如按照设备单位、拥有设备的用户单位、用户所属的公司的属性或者契约单位来进行认证的作用。

另外，在本实施方式中，具有互联网或者局域网等网络200，与外部的内容数据处理装置100D相连接。

以下，说明内容数据处理装置100D以流播放等的分发方式阅览由内容数据处理装置100F的内容数据输入部101输入的动态图像的输入内容数据的例子。在此，为了简略附图，通过参照内容数据处理装置100F来说明内容数据处理装置100D的结构块。

在内容数据处理装置100D中，输出控制部104通过通信部114向网络200上存在的其他内容数据处理装置100D发送表示内容数据处理装置100F可分发动态图像的可分发信息。内容数据处理装置100D接受来自内容数据处理装置100F的可分发信息，并在内容数据处理装置100D所具备的显示部112上显示内容数据处理装置100F可分发动态图像的情况。

操纵内容数据处理装置100D的用户，通过内容数据处理装置100D的操作输入部113指示与内容数据处理装置100F的连接。内容数据处理装置100D的输出控制部104按照来自用户的指示，通过通信部114向内容数据处理装置100F发送连接要求信息。

内容数据处理装置100F的输出控制部104通过通信部114将取得的连接要求信息转送到认证管理部116。认证管理部116确认连接要求信息的内容，并判断内容数据处理装置100D能否许可与内容数据处理装置100F的连接，应答输出控制部104。输出控制部104根据认证管理部116的应答结果，判断是否向内容数据处理装置100D发送可通过内容数据输入部101提供的输入内容数据。在此，如果判断为可分发提供，内容数据处理装置100D的输出控制部104就通过通信部114接受由内容数据处理装置100F分发的数据，并在显示部112上显示。

然后，内容数据处理装置100D的输出控制部104向内容数据处理装置100F发送由内容数据分析部105保持的分析用信息106。内容数据处理装置100F从内容数据处理装置100D接受分析用信息106，并临时合并内容数据分析部105的分析用信息106。然后，内容数据处理装置100F的输出控制部104将根据由内容数据分析部105提取的分析数据而提取到上下文组的定义表转送到内容数据处理装置100D。

根据以上，内容数据处理装置100D的输出控制部104，可以在显示部112上与由内容数据处理装置100F分发的输入内容数据一同，从基于由内容数据处理装置100F以及D合成的分析用信息106的上下文组中显示处理候。

然后，内容数据处理装置100D的输出控制部104，从操作输入部113接受针对上下文组的处理候补的执行。按照内容数据处理装置100D的处理模式，委托内容数据加工部110对由内容数据处理装置100F分发的输入内容数据进行加工，在内容数据处理装置100D的蓄积部102等生成内容数据103，或者由显示部112显示。

另外，内容数据处理装置100D的输出控制部104向内容数据处理装置100F通知由内容数据处理装置100D执行的处理候补的处理结果。内容数据处理装置100F的输出控制部104确认由内容数据处理装置100D通知的处理结果的内容，将其用于处理候补提取部108对处理模式的优先级判断，或者作为输出控制部104在内部保持的输出模板而追加、更新。

另外，在本实施方式中例举了内容数据处理装置100D要求内容数据处理装置100F分发提供输入内容数据，且其认证成功的例子进行了说明，但认证管理部116的认证处理并不限定于此。在有多个内容数据处理装置100D同时要求分发提供的情况下，可以通过参照由内容数据分析部105管理的分析用信息106中包含的人物关系信息来判断送信目的地的优先级。

另外，在本实施方式中，利用由内容数据处理装置100D执行例如制作作品等的内容数据加工处理的例子进行了说明，但加工的装置并不限定于分散型。例如，内容数据处理装置100F可以从综合性的内容数据处理装置100D的操作输入部113至少接受1个以上的上下文信息的指定或者处理候补的执行等的操作。在此情况下，可以由内容数据处理装置100F的认证管理部116对作为操作方的内容数据处理装置100进行认证的同时由输出控制部104对其执行进行控制，从而由内容数据加工部110对内容数据进行加工和分发。

如上所述，根据本实施方式，能够一边在被认证的内容数据处理装置间通过网络与其他终端共享被输入的动画图像或者被提取的上下文信息等，一边进行作品化等的内容数据加工以及分发。因此，能够提供例如能够一边对由与网络连接的移动终端摄影的动态图像进行分发或者在多个人的移动终端间进行共享，一边在各个移动终端中切取任意的上下文信息制作作品的这种新型的摄影、阅览、编辑手段。另外，还可以提供能够一边通过对各个移动终端的面孔词典等进行临时合成来提取具有一贯性的上下文信息，一边向各个移动终端能分发一个作品的这种新的摄影、阅览、编辑手段。

以上，关于本发明的一形态的内容数据处理装置，根据实施方式进行了说明，但本发明并不限定于这些实施方式。只要不超出本发明的宗旨，将本领域技术人员所想到的相同实施于本实施方式的形态，或者对不同的实施方式的结构要素进行组合而构成的形态，也属于本发明的范围内。

例如，在实施方式中，说明了根据目标体要素的上下文信息和输出优先级来定义上下文组，并提取与上下文组对应的处理候补的情况，但也可以不是对上下文组进行定义，而是根据上下文信息和输出优先级来提取处理候补。在此情况下，例如在图15、图34、图50的例子所显示的处理模式中，可以根据利用上下文信息(上下文信息)和输出优先级的内容来对条件和处理候补进行定义。

另外，可以利用实施方式1至6的内容数据处理装置，利用于印刷顺序等的构图切取辅助处理等。

另外，如果将来能够利用比现在的数字广播更为高分辨率的广播或者互联网/电缆/卫星/无线等方式进行网络分发的情况下，实施方式1至6的内容数据处理装置例如可以提示与对象内容数据中包含的多个人物目标体中的预先登录的人物对应的人物目标体成为最佳角度的构图的变焦等的操作，也可以一边追踪与预先登录的人物对应的人物目标体一边提示分割显示的构图。

另外，实施方式1至6的内容数据处理装置可以提示，对于对象内容数据中包含的多个目标体中的被判断为障碍物的目标体从，将其排除在构图候补之外、加上马赛克、通过图像合成消除。

另外，实施方式1至6的内容数据处理装置可以提示对对象内容数据的构图进行区域分割，对具有超框风险性的区域进行渐隐的构图(操作)。

另外，被输入的对象内容数据可由是来自2个以上的输入资源的内容数据。在此情况下，实施方式1至6的内容数据处理装置，可以提示对由2个以上的输入资源构成的对象内容数据的构图进行分割的构图(操作)。

另外，实施方式1至6的内容数据处理装置或者信息提供装置所具备的结构要素的一部分或者全部，可由1个***LSI(Large ScaleIntegration：大规模集成电路)构成。例如，内容数据处理装置100可由具备输出控制部104和处理候补提取部108的***LSI构成。再例如，信息提供装置300可由具备信息提供控制部302的***LSI构成。

***LSI是将多个结构部集成于1个芯片上制造而成的超多功能LSI，具体是包括微处理器、ROM(Read Only Memory)、RAM(Ramdom Access Memory)等而构成的计算机***。所述ROM中存储有计算机程序。所述微处理器，按照所述计算机程序进行动作，从而***LSI达成其功能。

在此，例举了***LSI，但根据集成程度的不同，也可以称之为IC、LSI、超级LSI、顶级LSI。另外，集成电路化的方法并不限定于LSI，还可以通过专用电路或者通用处理器来实现。也可以利用能在制造LSI之后编程的FPGA(Field Programmable Gate Array)，或者能够对LSI内部的电路单元的连接和设定进行重建的可重建处理器。

另外，随着半导体技术的进步和其他技术的衍生，若有能够取代LSI的集成电路化技术出现，当然可以采用那个技术进行功能块的集成化。生物技术被视为具有应用可能性。

另外，本发明不仅能够由具备所述特征性处理部的内容数据处理装置、信息提供装置实现，还能够由以内容数据处理装置或者信息提供装置中包含的特征性处理部作为步骤的内容数据处理方法等实现。另外，还能够通过用于使计算机执行所述方法中包含的特征性各步骤的计算机程序来实现。并且，当然能够通过CD-ROM等的计算机可读取的非临时性记录介质或者互联网等的通信网络来传输所述计算机程序。

本发明能够利用于内容数据处理装置、内容数据处理方法以及程序，例如就对静止图像或者动画等数据量相对大的内容数据进行处理的装置而言，尤其能够利用于根据内容数据中包含的被写体目标体的特征信息来对摄影、阅览、编辑等内容数据处理进行控制的内容数据处理装置等。另外，本发明所涉及的内容数据处理装置，适合应用于数字静态照相机、数字摄像机、影像记录器或者家庭服务器、个人计算机或者业务用计算机(工作站)、具备图像数据摄取功能的数字电视接收机、机顶盒、汽车导航***、投影仪、包含平板的移动终端、音响、数字相框、设备控制用遥控终端等。

符号说明

101 内容数据输入部

102 蓄积部

103 内容数据

104 输出控制部

105 内容数据分析部

106 分析用信息

107 分析数据

108 处理候补提取部

109 处理模式

110 内容数据加工部

111 输出部

112 显示部

113 操作输入部

114 通信部

115 内容数据输入控制部

116 认证管理部

200 网络

300 信息提供装置

301 通信部

302 信息提供控制部

303 存储装置

2301、3801、4001、5701 全屏显示区域

2302、2402 动态图像显示区域

2303、3803、4003、4803、5703 空白区域

2304、3805、3807、3809、4005、4007、4205、4207、4209 指南

2305、2306 处理结果显示

2601、2701、4401、4601、6101、6110、6111 输入内容数据最大区域

2602、2603、2702、3502、3802、4002、4302、4402、4602、5202、5702、5802、6104、6114聚焦区域

2703、2704 一般物体

3501 输入内容数据

3804、3904 字符串显示

3806、3808、3810、3908、3910 处理候补

3811 菜单

4006、4008 处理候补名

4206、4208、4210 处理候补图标

4301 最大区域

4403 分析规定范围

4806 上下文组

4905、4907、4908、5205、5209、5704 显示

5210、5211、5310、5311、5707、5708 黑圆点

5312 子菜单显示区域

5313、5314、5315、5316、5317 子菜单

5501 分割合成模板

5709 箭头

5805、5806 分割合成框

5807 标题框

5808 菜单

6102、6112、6113 最大区域空白框

Claims (20)

1.一种内容数据处理装置，具备：

内容数据取得部，取得作为处理对象的内容数据的对象内容数据；

内容数据分析部，提取所述对象内容数据中包含的至少2个以上的目标体和表示所述目标体的特征的特征信息，并根据用于对所述目标体的环境进行确定的分析用信息和提取到的所述特征信息，确定表示所述目标体的环境的环境信息，该环境信息包含用于补充所述目标体的特征的属性信息，该属性信息包含表示所述目标体之间的关系的关系信息；

处理控制部，控制对所述对象内容数据的处理，并且根据所述环境信息中包含的属性信息，算出所述目标体的处理优先级；

处理候补提取部，根据所述环境信息以及所述处理优先级，提取预先设定的处理候补中的能够对所述对象内容数据执行的处理候补；以及

输出部，输出与所述处理候补的处理状况有关的通知，

所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述输出部输出表示有无所述处理候补的执行的信息，以此作为所述通知，

所述处理控制部，在所述2个以上的目标体为人物，且所述2个以上的目标体中的一个为关注目标体的情况下，根据表示所述目标体彼此的亲密度的关系信息，使与所述关注目标体的亲密度高的目标体的处理优先级提高。

2.如权利要求1所述的内容数据处理装置，

所述特征信息至少包含所述对象内容数据内的所述目标体的相对坐标、相对尺寸或者相对面积，或者至少包含所述对象内容数据在时间轴上的出现定时或者出现时间。

3.如权利要求1或者2所述的内容数据处理装置，

所述环境信息包含所述属性信息和状态信息，所述状态信息是包含表示所述对象内容数据中的所述目标体和所述关注目标体的位置关系的信息的、与所述目标体的状态有关的信息。

4.如权利要求3所述的内容数据处理装置，

所述处理控制部，根据提取到的所述目标体各自的环境信息，对环境组信息进行定义，并判断有无由所述处理候补提取部提取的处理候补的执行，所述环境组信息是表示为了对所述目标体进行分组的基准的信息，

所述处理候补提取部，提取能够对根据所述环境组信息被分组的目标体组分别执行的所述处理候补。

5.如权利要求1所述的内容数据处理装置，

所述内容数据处理装置还具备显示部，所述显示部显示与针对所述对象内容数据的处理有关的信息，

所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述显示部显示表示有无所述处理候补的执行的执行有无信息。

6.如权利要求5所述的内容数据处理装置，

所述处理控制部，根据由所述内容数据分析部提取的所述特征信息中包含的相对坐标以及相对尺寸的至少一方，使所述显示部在该显示部所显示的所述目标体的近旁，以可视形态显示所述执行有无信息。

7.如权利要求1所述的内容数据处理装置，

所述内容数据处理装置还具备：

显示部，显示与针对所述对象内容数据的处理有关的信息；以及

操作输入部，接受来自用户的操作，

所述处理控制部，在执行由所述处理候补提取部提取的处理候补之前或者之后，使所述显示部显示至少1个以上的该处理候补，

所述处理控制部，在所述操作输入部接受了意在执行所述显示部显示的该处理候补中的至少1个以上的处理候补的操作的情况下，执行与该至少1个以上的处理候补对应的处理。

8.如权利要求5所述的内容数据处理装置，

所述处理控制部，根据由所述内容数据分析部提取的所述特征信息中包含的相对坐标以及相对尺寸的至少一方，使所述显示部显示对由所述处理候补提取部提取的处理候补的处理对象区域进行可见化的指南。

9.如权利要求7所述的内容数据处理装置，

所述处理控制部，根据由所述内容数据分析部提取的所述特征信息和由所述处理候补提取部提取的处理候补，使所述显示部至少显示，(a)表示该处理候补的概要的信息，或者(b)与所述操作输入部能够受理的操作所对应的图标或者菜单的任意一方。

10.如权利要求5或者7所述的内容数据处理装置，

所述处理控制部对最大区域和聚焦区域进行管理，所述最大区域是所述显示部显示由所述内容数据取得部取得的对象内容数据时能够显示的最大区域，所述聚焦区域是所述显示部显示中的显示区域，

所述处理控制部要求所述内容数据分析部，只对所述对象内容数据中包含的1个以上的目标体中的、所述最大区域以及聚焦区域的至少一方的规定范围内的目标体进行分析。

11.如权利要求10所述的内容数据处理装置，

所述处理控制部，在所述显示部显示所述聚焦区域时，在所述聚焦区域的规定部分设定处理候补显示区域，

使所述显示部在所述处理候补显示区域内，显示由所述处理候补提取部提取的至少1个以上的处理候补。

12.如权利要求10所述的内容数据处理装置，

所述处理控制部要求所述内容数据分析部，除了被包含在所述聚焦区域中的目标体之外，还对不被包含在所述聚焦区域中的目标体进行分析。

13.如权利要求10所述的内容数据处理装置，

所述处理控制部，使所述显示部显示针对不被包含在所述聚焦区域中的第1目标体的处理候补时，根据利用不被包含在所述聚焦区域中的第2目标体的各特征信息而得出的相对位置关系，算出从所述聚焦区域中心看到的所述第2目标体的出现方向以及出现顺序，

使所述显示部根据算出的出现方向以及出现顺序，在所述处理候补显示区域内显示由所述处理候补提取部提取的至少1个以上的处理候补。

14.如权利要求1所述的内容数据处理装置，

所述处理控制部，使显示部显示由所述处理候补提取部提取的至少1个以上的处理候补，

所述处理控制部根据算出的所述处理优先级，使所述显示部显示的所述处理候补的内容发生变化。

15.如权利要求14所述的内容数据处理装置，

所述处理控制部，根据所述环境信息中包含的属性信息以及状态信息和算出的所述处理优先级，使所述显示部显示的所述处理候补的选定内容或者处理内容发生变化。

16.如权利要求4所述的内容数据处理装置，

所述处理控制部，根据所述环境信息中包含的属性信息以及状态信息和算出的所述处理优先级，生成至少存放1个以上的环境信息的输出模板，一边使所述输出模板发生动态变化，一边对至少1个以上的环境组信息所附带的所述对象内容数据进行合成并输出。

17.如权利要求7所述的内容数据处理装置，

所述处理控制部，通过由所述操作输入部受理的操作，进行至少1个以上的环境信息的指定和处理候补的确定，并根据所述操作，使至少存放1个以上的环境信息的输出模板发生动态变化。

18.如权利要求1所述的内容数据处理装置，

所述内容数据处理装置还具备通信部，该通信部与所述内容数据处理装置外部的设备进行通信，

所述处理控制部通过所述通信部，从外部的信息提供装置取得所述内容数据分析部提取所述目标体和所述特征信息时所需要的信息、所述处理候补提取部提取所述处理候补时所需要的信息、以及生成至少存放1个以上的环境信息的输出模板时所需要的信息中的至少1个以上的信息。

19.如权利要求4所述的内容数据处理装置，

所述内容数据处理装置还具备内容数据输入控制部，所述内容数据输入控制部根据所述处理控制部的处理结果，对所述内容数据取得部进行控制，

所述处理控制部，对显示部显示由所述内容数据输入部取得的对象内容数据时能够显示的最大区域和，与通过参照被定义的所述环境组信息而得到的环境信息对应的所述状态信息的关系进行监视，并根据所述最大区域和所述环境信息的重叠或者根据环境信息的状态，由所述内容数据输入控制部对所述内容数据取得部进行物理性控制或者数字处理性控制。

20.一种内容数据处理方法，是内容数据处理装置进行的内容数据处理方法，该内容数据处理方法包括：

取得步骤，所述内容数据处理装置取得作为处理对象的内容数据的对象内容数据；

特征信息提取步骤，提取所述对象内容数据中包含的至少2个以上的目标体和表示所述目标体的特征的特征信息；

确定步骤，根据用于对所述目标体的环境进行确定的分析用信息和所述特征信息，确定表示所述目标体的环境的环境信息，该环境信息包含用于补充所述目标体的特征的属性信息，该属性信息包含表示所述目标体之间的关系的关系信息；

环境信息确定步骤，根据用于对所述目标体的环境进行确定的分析用信息，确定表示所述目标体要素的环境的环境信息；

处理控制步骤，控制对所述对象内容数据的处理，并且根据所述环境信息中包含的属性信息，算出所述目标体的处理优先级；

处理候补提取步骤，根据所述环境信息以及所述处理优先级，提取预先设定的处理候补中的能够对所述对象内容数据执行的处理候补；以及

输出步骤，输出与所述处理候补的处理状况有关的通知，

在执行通过所述处理候补提取步骤提取的处理候补之前或者之后，在所述输出步骤输出表示有无所述处理候补的执行的信息，以此作为所述通知，

在所述处理控制步骤，在所述2个以上的目标体为人物，且所述2个以上的目标体中的一个为关注目标体的情况下，根据表示所述目标体彼此的亲密度的关系信息，使与所述关注目标体的亲密度高的目标体的处理优先级提高。