CN102566753A - 信息处理装置和信息处理*** - Google Patents

Abstract

公开了一种信息处理装置，包括：辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示所述用户的视线相对于所述图像而言位于哪里的坐标信息、并且基于包括指示所述图像中包括所述对象的图像区域的区域信息的对象信息；以及处理部分，被配置为使得：在所述辨别部分辨别出吸引所述用户视线的所述对象时，所述处理部分选择性地执行与所述辨别部分所辨别的所述对象相对应的处理。

Description

信息处理装置和信息处理***

技术领域

本公开涉及一种信息处理装置和信息处理***。

背景技术

今年来，已经见证了用于在显示屏幕上使用吸引(或期望吸引)观看在屏幕上显示的图像的用户的注意力的区域的技术的发展。例如，在日本专利特许公开No.2007-006111(下文中称为专利文献1)中公开的一种这种技术包括：基于参考数据(元数据)检测图像中吸引注意力的对象，并且以如下方式将图像修剪为修剪后图像，所述方式为：在所检测的吸引注意力的对象的坐标的基础上建立的修剪坐标确定该修剪后图像的中心。例如，在日本专利特许公开No.2009-117974(下文中称为专利文献2)中公开的另一种技术包括：基于关于由用户指定的那些内容区域的信息，将感兴趣信息记录到数据库中，从而使用该数据库的分析者可以创建指示用户兴趣的倾向的信息。

发明内容

应用了在专利文献1中描述的技术的装置(在适当的情况下，下文中，该装置可以被称为普通装置1，而该技术可以被称为普通技术1)基于从外部输入的参考数据来检测吸引注意力的对象。然而，由于由普通装置1检测的吸引注意力的对象基于外部输入的参考数据，因此所检测的吸引注意力的对象实际上可能或可能不能吸引观看图像(运动图像或静止图像，下文中也相同)的用户的注意力。如上所述，普通装置1以如下方式修改图像，基于所检测的吸引注意力的对象的坐标建立的修剪坐标确定修剪后图像的中心。这意味着：由普通装置1创建的修建后图像可能结果是其中心被实际上不吸引用户注意力的对象所占据的图像。此外，修剪后图像可能排除在原始图像中包括的并且可能已经吸引用户注意力的对象。为此，不完全确定使用普通技术1能够辨别吸引观看感兴趣图像的用户的注意力的对象并且执行与所辨别的对象相对应的相关处理。

应用了在专利文献2中描述的技术的装置(在适当的情况下，下文中，该装置可以被称为普通装置2，而该技术可以被称为普通技术2)基于关于由用户指定的那些内容区域的信息，将感兴趣信息记录到数据库中。由于根据普通技术2感兴趣信息基于关于由用户指定的那些内容区域的信息，因此存在以下可能性：根据普通技术2，指示用户兴趣的倾向的信息可能实际上是使用存储了感兴趣信息的数据库来创建的。然而，利用普通装置2，除非用户手动地指定了他们感兴趣的区域，否则不能将感兴趣信息记录到数据库中。也就是说，普通技术2预先假定用户有意地执行了操作。这意味着：使用普通技术2可能造成降低了用户的便利性。由于普通技术2预先假定用户的有意操作，被记录到数据库的内容可以包括关于由用户或多或少武断地基于一个理由或另一个理由选择的区域(用户不完全对那些区域感兴趣)的感兴趣信息。因此，不完全确定使用普通技术2能够辨别吸引观看感兴趣图像的用户的注意力的对象或多个对象并执行与所辨别的对象相对应的相关处理。

如上所述，即使利用普通技术1或2(在合适的情况下，下文中统称为普通技术)，不完全确定能够辨别吸引观看感兴趣图像的用户或多个用户的注意力的对象，并使所述对象经过相关处理

考虑到以上情况作出了本公开，并且本公开提供了一种信息处理装置和信息处理***，其被改进来：辨别吸引观看在屏幕上显示的感兴趣图像的用户的注意力的对象并执行与所辨别的对象相对应的相关处理。

根据本公开的一个实施例，提供了一种信息处理装置，包括：辨别部分，被配置为辨别吸引观看在屏幕上显示的图像的用户的视线的对象，所述辨别基于指示用户的视线相对于该图像而言位于哪里的坐标信息，并且基于包括指示该图像中包括该对象的图像区域的区域信息的对象信息；以及处理部分，被配置为使得：在所述辨别部分辨别出吸引用户视线的对象时，所述处理部分选择性地执行与所述辨别部分所辨别的对象相对应的处理。

上面列出的结构允许辨别吸引观看在显示屏幕上显示的图像的用户的注意力的对象，从而实施与所辨别的对象相对应的处理。

优选地，所述信息处理装置还可以包括检测部分，其被配置为通过利用与所述图像相关联的元数据和/或处理所述图像来检测在所述图像中包括的对象以便生成对象信息，其中，所述辨别部分可以基于由所述检测部分生成的对象信息来确定吸引用户视线的对象。

优选地，所述处理部分可以提供以下显示，所述显示表示与由所述辨别部分所辨别的对象有关的辅助信息指示了什么，所述显示位于与由所述辨别部分所辨别的对象相对应的图像区域附近。

优选地，所述信息处理装置还可以包括：存储部分；以及通信部分，被配置为与存储辅助信息的外部装置通信，其中，所述处理部分可以生成指示由所述辨别部分所辨别的对象的吸引注意力对象信息，然后将所生成的吸引注意力对象信息记录到所述存储部分；如果与由所述辨别部分所辨别的对象相对应的吸引注意力对象信息存储在所述存储部分中，则所述处理部分可以经由所述通信部分从外部装置获取与所述吸引注意力对象信息相对应的辅助信息；以及所述处理部分可以在作为所述图像一部分并且与由所述辨别部分所辨别的对象相对应的图像区域附近显示所获取的辅助信息指示了什么。

优选地，所述信息处理装置还可以包括通信部分，其被配置为与外部装置通信，其中，所述处理部分可以生成指示由所述辨别部分所辨别的对象的吸引注意力对象信息，然后使得所述通信部分将所生成的吸引注意力对象信息传送到所述外部装置。

优选地，所述处理部分可以执行用于拉伸与由所述辨别部分所辨别的对象相对应的图像区域的拉伸(expansion)处理、以及/或者用于增强所述图像区域的图像质量的扩展清晰度(extended definition)处理。

优选地，所述处理部分可以防止：与所述图像不同的任何图像以及/或者由与所述图像无关的任何信息所指示的内容，以叠加的方式显示在与由所述辨别部分所辨别的对象相对应的图像区域上。

优选地，所述信息处理装置还可以包括输入部分，其被配置为允许输入坐标信息，该坐标信息由成像设备通过相对于在显示设备的显示屏幕上显示的图像检测用户的视线生成，其中，基于输入到所述输入部分的坐标信息，所述辨别部分可以辨别吸引用户视线的对象。

优选地，所述信息处理装置还可以包括：显示部分，被配置为在显示屏幕上显示图像；以及成像部分，被配置为通过检测相对于在显示部分的显示屏幕上显示的图像的用户的视线来生成坐标信息，其中，基于所述成像部分所生成的坐标信息，所述辨别部分可以辨别吸引用户视线的对象。

根据本公开的另一实施例，提供了一种信息处理***，包括：服务器，被配置为存储关于对象的辅助信息；以及信息处理装置，被配置为与所述服务器通信。所述信息处理装置包括：存储部分；通信部分，被配置为与所述服务器通信；辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示用户的视线相对于该图像而言位于哪里的坐标信息，并且基于包括指示该图像中包括该对象的图像区域的区域信息的对象信息；以及处理部分，被配置为使得：在所述辨别部分辨别出吸引用户视线的对象时，所述处理部分选择性地执行与所述辨别部分所辨别的对象相对应的处理。所述处理部分可以生成指示由所述辨别部分所辨别的对象的吸引注意力对象信息，然后将所生成的吸引注意力对象信息记录到所述存储部分。如果与由所述辨别部分所辨别的对象相对应的吸引注意力对象信息存储在所述存储部分中，则所述处理部分可以经由所述通信部分从所述服务器获取与所述吸引注意力对象信息相对应的辅助信息。所述处理部分在与由所述辨别部分所辨别的对象相对应的图像区域附近，显示所获取的辅助信息指示了什么。

上面列出的结构构成了一种信息处理***，其能够辨别吸引观看在显示屏幕上显示的图像的用户的注意力的对象，从而实施与所辨别的对象相对应的处理。

根据本公开的另一实施例，提供了一种信息处理***，包括：服务器；以及信息处理装置，被配置为与所述服务器通信。所述信息处理装置包括：通信部分，被配置为与所述服务器通信；辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示用户的视线相对于该图像而言位于哪里的坐标信息，并且基于包括指示该图像中包括该对象的图像区域的区域信息的对象信息；以及处理部分，被配置为使得：在所述辨别部分辨别出吸引用户视线的对象时，所述处理部分选择性地执行与所述辨别部分所辨别的对象相对应的处理。所述处理部分可以生成指示由所述辨别部分所辨别的对象的吸引注意力对象信息，然后使得所述通信部分将所生成的吸引注意力对象信息传送到所述服务器。

上面列出的结构还构成了一种信息处理***，其能够辨别吸引观看在显示屏幕上显示的图像的用户的注意力的对象，从而实施与所辨别的对象相对应的处理。

根据本公开，因此能够辨别吸引观看在显示屏幕上显示的图像的用户的注意力的对象并且实施与所辨别的对象相对应的处理。

附图说明

图1是示出典型图像以及在体现本公开时使用的典型图像区域的说明性视图；

图2是说明用于辨别吸引用户视线的对象的方法的说明性视图，该方法被与体现本公开的信息处理装置一起使用；

图3是说明由体现本公开的信息处理装置执行的典型对象标识处理的说明性视图；

图4是说明由体现本公开的信息处理装置执行的典型对象标识处理的另一说明性视图；

图5是说明由体现本公开的信息处理装置与所辨别的对象相对应地执行的典型处理的说明性视图；

图6是说明由体现本公开的信息处理装置与所辨别的对象相对应地执行的另一典型处理的说明性视图；

图7是作为本公开的第一实施例的信息处理装置的典型结构的框图；

图8是示出体现本公开的信息处理装置的典型硬件结构的说明性视图；

图9是作为本公开的第二实施例的信息处理装置的典型结构的框图；以及

图10是示出体现本公开的服务器的典型结构的框图。

具体实施方式

现在将参考附图详细描述本公开的一些优选实施例。在随后说明和附图中，相似的参考标号指定相似或功能上等效的组件，并且在存在重复的情况下省略对它们的说明。

将以如下标题来给出随后说明：

1.本公开的优选实施例的方法；

2.体现本公开的服务器、以及信息处理装置；以及

3.体现本公开的程序。

(本公开的优选实施例的方法)

首先将说明优选实施例的处理方法，接下来说明体现本公开的信息处理装置(下文中，称为信息处理装置100)的典型结构。

[优选实施例的处理方法的概述]

如上所述，在如同利用普通技术1那样基于外部输入的参考数据来检测对象的情况下，不完全确定所检测的对象是可以吸引用户注意力的对象。在如同利用普通技术2那样基于用户有意地执行操作的假设而辨别吸引用户注意力的对象的情况，处理可能造成降低用户的便利性。由于普通技术2预先假定用户的有意操作，因此对象可能是由不完全对该对象感兴趣的用户或多或少武断地辨别的。因此，不完全确定使用普通技术2能够辨别吸引观看在显示屏幕上显示的图像的用户的吸引力的对象。

信息处理装置100因此辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，该辨别基于指示用户的视线相对于该图像而言位于哪里的坐标信息、并且基于包括指示该图像中包括该对象的图像区域的区域信息的对象信息。

例如，与优选实施例结合的用于显示图像的显示屏幕可以是外部显示设备(显示设备500，稍后讨论)的显示屏幕或者附于所述信息处理装置100的显示部分(稍后讨论)的显示屏幕。

此外，可应用于优选实施例的坐标信息可以典型地由用于沿着显示设备500上的显示屏幕的显示方向成像的外部成像设备(例如，呈现设备600，稍后讨论)生成，或者由用于沿着显示部分(稍后讨论)上的显示屏幕的显示方向成像的成像部分(稍后讨论)生成，所述成像部分附于所述信息处理装置100。如果由外部成像设备生成坐标信息，则信息处理装置100使用从外部成像设备发送的坐标信息进行处理；如果由成像部分生成坐标信息，则信息处理装置100使用由成像部分生成的坐标信息进行处理。

坐标信息可以包括通过将其原点固定在特定位置(诸如，图像的左上角)而表达的坐标。例如，外部成像设备(或者简单地称为成像设备；下文中相同)可以通过使用由本申请人提交的日本专利特许公开No.2006-202181中所公开的技术检测用户的视线，而生成坐标信息。具体地，外部成像设备可以通过基于由水平地附于(例如)外部显示设备(或者简单地称为成像设备；下文中相同)的显示屏幕的两个成像设备拍摄的图像来检测用户视线，从而生成坐标信息。外部成像设备还可以通过从对他或她拍摄的图像(下文中，称为拍摄图像)中检测用户面部、并且通过估计面部的高度和用户眼球的高度以估计用户视线的方向，从而生成坐标信息。更具体地，外部图像设备可以通过检测特征点来检测用户面部，例如，所述特征点诸如用户的眼睛、鼻子、嘴巴、和骨骼轮廓；面部的亮度分布、以及与预定结构图案相似的面部区域。利用所检测的用户面部，外部成像设备可以使用(例如)AAM(主动外观模型-Active Appearance Model)技术来估计面部的高度，并且还可以基于在从拍摄图像中检测到的眼睛区域内的虹膜的位置关系来估计眼球的高度。外部成像设备然后可以合成面部的估计高度和眼球的估计高度以便估计用户视线的方向，由此生成与估计结果相对应的坐标信息。上面列出的技术不将用于生成坐标信息的方法限制作为本公开实施例的一部分。例如，作为本公开实施例的一部分的外部成像设备或成像部分可以通过使用适当的眼睛跟踪技术(诸如在由本申请人提交的日本专利特许公开No.2009-59257中公开的眼睛跟踪技术)依据拍摄图像来检测(或估计)用户视线来生成坐标信息。

图1是示出典型图像以及在体现本公开时使用的典型图像区域的说明性视图。图1示出了包含图像区域A、B和C的图像。在该示例中，图像区域A和B每个都包括对象，而图像区域C是该图像中除了图像区域A和B之外的区域。也就是所，图像区域C是不包括任何对象的区域。

可应用于本公开的实施例的区域信息是指示每个均包括对象的图像区域(诸如图像区域A和B)的信息。在每个图像区域是如图1所示的矩形的情况下，区域信息可以指示(例如)左上角和右下角的坐标。矩形区域(诸如图1所示的那些)不限制可应用于本公开实施例的图像区域。例如，与实施例相关的图像区域可以是圆形或椭圆形。在之前的示例中，可应用于本公开实施例的区域信息可以指定每个图像区域的中心的坐标、以及其短轴和长轴(在圆形的情况下，短轴等于长轴)。

信息处理装置100通过使用指示每个均包括对象的图像区域(诸如图像区域A和B)的区域信息能够唯一地标识不包括任何对象的图像区域(诸如图像区域C)。显然，与本公开实施例相关的区域信息不限于指示包括对象的图像区域的信息，所述区域信息还可以指定不包括任何对象的图像区域。

可应用于本公开实施例的对象信息构成了指示在该图像中包括的对象的数据。这样，例如，对象信息可以包括区域信息。对象信息还可以包括标识对象的信息(例如，指示对象的名称和类型的信息)以及其它与对象相关的信息(即，与对象相关的任何信息，下文中被称为辅助信息)。在对象信息中包括的信息不限于上面讨论的信息。例如，对象信息可以包括指示为一对象所建立的观看点的信息。信息处理装置100可以将指示这种观看点的信息传送到与装置100直接连接或经由网络连接的服务器(在适当的情况下，在下文中称为服务器200)(如稍后将讨论的，传送是与所辨别的对象相对应的典型处理)。由从信息处理装置100发送的信息指定的观看点可以被用户200用来例如计算所包含的每个对象的观看率。

信息处理装置100可以获取与图像相对应的并且由外部装置(例如由已经创建了在显示屏幕上显示的图像的创建者(在适当的情况下，在下文中称为内容提供者)拥有的装置)生成的元数据，并且可以利用使用所获取的元数据生成对象信息。在此情况下，信息处理装置100可以从在其显示屏幕上显示图像的外部显示设备、或者从例如直接或经由网络连接的外部装置(例如，服务器200，稍后将讨论)获取元数据。如果信息处理装置100再现构成图像并且被记录在记录介质(诸如蓝光(注册商标)盘)上的内容数据，则信息处理装置100可以从该记录介质获取元数据。

由于上述元数据可以典型地由内容提供者生成，元数据除了包括区域信息之外，还可以包括对象标识信息和辅助信息。因此，通过使用所获取的元数据，信息处理装置100可以生成至少包括区域信息的对象信息。

用于生成可以被信息处理装置100采用的对象信息的方法不限于上面描述的方法。替代地，信息处理装置100可以通过处理在显示屏幕上显示的图像以从该图像中检测多个图像并且基于检测结果建立图像区域，来生成对象信息。上面以“处理在显示屏幕上显示的图像”的方式关于体现本公开的信息处理装置100的措辞可以典型地意味着：处理与在显示屏幕上显示的图像相对应的图像数据或图像信号。而且，由信息处理装置100处理的图像可以是由外部显示设备再现的并由信息处理装置100接收的图像、或者是起源于由信息处理装置100再现的内容数据的图像。

更具体地，信息处理装置100可以使用(例如)局部二进制图案来获取指示在图像中包括的目标对象的轮廓的特征量，并由此在图像的给定区域中计算可应用于该局部二进制图案的特征量的柱状图从而统计性地检测对象。信息处理装置100然后可以建立包括所检测的对象的图像区域，并且生成包括区域信息的对象信息。显然，作为本发明实施例的一部分的用于生成对象信息的方法不限于上面讨论的方法。

如上面所说明的，基于坐标信息和对象信息，信息处理装置100辨别吸引用户视线的对象。如果在图像区域中包括吸引观看在显示屏幕上显示的图像的用户的视线的对象，则很有可能用户关注于所述对象。另一方面，如果在图像区域中不包括吸引观看显示屏幕上的图像的用户的视线的对象，则很有可能在该图像中不存在吸引用户注意力的对象。因此，通过辨别吸引用户视线的对象，信息处理装置100可以执行与图像中吸引用户注意力的对象相对应的处理(稍后将讨论)。

[与本公开实施例的处理方法相关的处理的具体示例]

下面更具体地说明可应用于本公开实施例的处理方法的一些处理。例如，信息处理装置100可以通过实施下面将说明的处理(1)到(3)来实现实施例的处理方法。

(1)对象信息生成处理

信息处理装置100可以例如通过利用与图像相对应的元数据以及/或者通过处理在显示屏幕上显示的图像来检测所述图像中的对象。而且，信息处理装置100可以生成关于所检测的每个对象的对象信息。

(2)对象标识处理

信息处理装置100基于由外部成像设备或成像部分生成的坐标信息、以及通过上面的处理(1)(即，对象信息生成处理)生成的对象信息，来辨别吸引用户视线的对象。

图2是说明用于辨别吸引用户视线的对象的典型方法的说明性视图，该方法被与体现本公开的信息处理装置100一起使用。图2示出了与图1中的图像相同的图像，图2中的图像也包括图像区域A到C。

信息处理装置100可以典型地基于坐标信息区域所指定的坐标点(例如图2中的P)位于哪个图像区域中，来辨别吸引用户视线的对象。在图2的示例中，坐标信息所指定的坐标点位于图像区域B(即，由作为对象信息一部分的区域信息所指定的图像区域)中，从而信息处理装置100可以确定用户视线被吸引到图像区域B。因此，在图2的示例中，信息处理装置100可以将在图像区域B中包括的对象辨别为吸引用户视线的对象。

信息处理装置100辨别对象所依据的方式不限于(例如)用于确定哪种类型的对象吸引用户视线的方法。例如，体现本公开的信息处理装置100可以被安排来通过确定包括吸引用户视线的对象的图像区域而辨别对象。更具体地，信息处理装置100可以基于作为对象信息一部分的区域信息来辨别包括吸引用户视线的对象的图像区域。如果标识对象的信息被包括在对象信息中，则信息处理装置100还可以确定哪种类型的对象吸引用户视线。

在图2的示例中，示出了由坐标信息指定的一个坐标点(图2中的P)。这是其中外部成像设备或成像部分已经生成与一条用户视线相对应的坐标信息的示例。然而，由体现本公开的信息处理装置100使用的坐标信息所指定的坐标不限于一个坐标点。替代地，如果外部成像设备或成像部分已经生成了与多条用户视线相对应的坐标信息，即如果坐标信息指定多个坐标点，则信息处理装置100可以确定由坐标信息所指定的每个坐标点存在于哪个图像区域中，由此关于每个坐标点辨别吸引每个用户的视线的对象。在随后描述中，将基于坐标信息指定单个坐标点的假设来说明本公开实施例的处理方法。

而且，如果由坐标信息所指定的坐标点在预定时间段内保持在与同一对象相对应的图像区域内，则信息处理装置100可以将与所述图像区域相对应的对象(或图像区域本身)辨别为吸引用户视线的对象。上述时间段可以预先在信息处理装置100制造时被定义或者如装置100的用户所期望地被建立。

图3和图4是说明由体现本公开的信息处理装置100执行的典型对象标识处理的说明性视图。图3和图4示出了其中在显示屏幕上显示的图像为运动图像(或静止图像的集合)的示例。在显示屏幕上显示的图像为静止图像的情况下，处理仍与运动图像情况下的处理相同。

在图3的示例中，由坐标信息所指定的坐标点(图3中的P)被示出为存在于两个图像I和II内的图像区域B中。因此，信息处理装置100将在图像区域B中包括的对象(或图像区域B本身)辨别为吸引用户视线的对象。

另一方面，在图4的示例中，坐标点(图4中的P)未被示出为存在于每个图像I、II和III内的同一图像区域中。也就是说，在图4的情况下，用户视线不保持在特定图像区域中，从而用户的注意力被吸引到任何特定对象是不太可能的。在此情况下，信息处理装置100不将在图像中包括的任何对象(或任何图像区域)辨别为吸引用户视线的对象。

如上所述，在坐标信息所指定的坐标点在预定时间段内保持在同一图像区域中的情况下，信息处理装置100可以将该坐标点辨别为吸引用户视线的对象。以此方式，信息处理装置100可以将实际上吸引用户注意力的对象(或图像区域)辨别为吸引用户视线的对象。

由信息处理装置100进行的处理不限于以下处理：如果由坐标信息所指定的坐标点在预定时间段内保持在与同一给定对象相对应的图像区域内，则将给定对象辨别为吸引用户视线的对象。例如，信息处理装置100可以每当接收到坐标信息时确定由坐标信息所指定的坐标点存在于哪个图像区域中。如果发现由坐标信息所指定的坐标点存在于由区域信息所指定的图像区域中，则信息处理装置100可以辨别该区域中吸引用户视线的对象。作为另一示例，信息处理装置100可以将关于由坐标信息所指定的坐标点已经存在于哪个图像区域中的确定结果记录作为用户视线的历史信息。

(3)执行处理

基于上面的处理(2)(对象标识处理)中的辨别结果，信息处理装置100选择性地执行与所辨别的对象相对应的处理。更具体地，在上面的处理(2)(对象标识处理)辨别了吸引用户视线的对象时，信息处理装置100实施与所辨别的对象相对应的处理；在处理(2)未辨别这样的对象时，信息处理装置100不执行任何对应处理。

[与所辨别的对象相对应的处理的具体示例]

下面解释与所辨别的对象相对应的并且由体现本公开的信息处理装置100实施的一些处理。

(A)图像处理

作为与所辨别的对象相对应的处理，信息处理装置100可以对与典型地由上面的处理(2)(对象标识处理)辨别的对象相对应的图像区域执行图像处理。例如，信息处理装置100所实施的图像处理可以包括：用于拉伸与所辨别的对象相对应的图像区域的拉伸处理、用于典型地通过平滑和超分辨率处理(super-resolving)来增强所述图像区域的图像质量的扩展清晰度处理、或者这些处理的组合。用于本公开实施例的图像处理不限于拉伸处理和/或扩展清晰度处理。例如，信息处理装置100可以优选地对与所辨别的对象相对应的图像区域的图像执行2D转3D转换处理。而且，信息处理装置100可以使用例如在由本申请人提交的日本专利特许公开No.2007-256961中公开的技术，以如下方式来调整图像信号，所述方式为使得图像中除了与所辨别的对象相对应的图像区域之外的图像区域比与所辨别的对象相对应的图像区域更不引人注意。

图5是说明由体现本公开的信息处理装置100与所辨别的对象相对应地执行的典型处理的说明性视图。图5示出了其中图2中的图像区域B被上面的处理(2)(对象标识处理)辨别为包括吸引用户视线的对象的图像区域的示例。

信息处理装置100对图5所示的图像区域B执行上述图像处理，而不对其它图像区域执行任何处理。通过仅仅对图像区域B实施图像处理，信息处理装置100可以比在处理整个图像时承担更少的负荷。如上面所说明的，如果吸引用户视线的图像区域包括对象，则很有可能用户注意力被吸引到该对象。在此情况下，信息处理装置100通过对图像区域B执行图像处理，可以向用户提供该图像处理的充分优点。

因此，通过对与所辨别的对象相对应的图像区域实施上述图像处理，信息处理装置100可以强调吸引用户注意力的对象并且增强所述对象的图像质量，同时比在处理整个图像时承担更少的负荷。

(B)显示处理

作为与所辨别的对象相对应的处理，信息处理装置100可以例如参考与由上面的处理(2)(对象标识处理)所辨别的对象相对应的图像区域来执行显示处理。

图6是说明由体现本公开的信息处理装置100与所辨别的对象相对应地执行的另一典型处理的说明性视图。如图5一样，图6示出了其中图2中的图像区域B被上面的处理(2)(对象标识处理)辨别为包括吸引用户视线的对象的图像区域的示例。图6中的示例还示出实施两个显示处理(稍后将讨论)。显然，信息处理装置100可以执行一个或多个显示处理。

例如，信息处理装置100可以使得：在由上面的处理(2)(对象标识处理)所辨别的对象相对应的图像区域附近(图6中的E)，显示与所辨别的对象相对应的辅助信息所指示的内容。由辅助信息指示并且由信息处理装置100显示的内容可以包括作为对象信息一部分的辅助信息的内容、或者预先存储在存储部分中的辅助信息的内容(稍后将讨论)。上面以“在与所辨别的对象相对应的图像区域附近显示辅助信息所指示的内容”方式关于体现本公开的信息处理装置100的措辞可以典型地包括：与所辨别的对象相对应的图像区域相邻地显示辅助信息的内容、以及靠近所述图像区域显示辅助信息的内容。尽管图6示出了其中信息处理装置100以弹出形式显示由辅助信息所指示的内容，然而显然不将用于显示辅助信息的内容的方法限制为本公开实施例的一部分。

如上面所说明的，如果吸引用户视线的图像区域包括一对象，则很有可能用户注意力被吸引到所述对象。因此如果在与所辨别的对象相对应的图像区域附近显示与所辨别的对象相关的辅助信息的内容，则用户可以可视地获得与感兴趣对象相关的信息，而无需广泛地移动他或她的视线。

由体现本公开的信息处理装置100执行的显示处理不限于上面描述的处理。例如，信息处理装置100不需要以叠加方式显示与所辨别的对象相对应的图像区域、与在显示屏幕上显示的图像不同的任何图像(例如图6中的F)、以及/或者不与所述图像相关的信息的内容。上述不同的图像可以是例如以PIP(画中画)或POP(画上画)形式显示的图像。与所述图像不相关的信息可以例如包括新闻快报(news flashes)和广告。

如上面所说明的，在吸引用户视线的图像区域中包括一对象的情况下，则很有可能用户注意力被吸引到所述对象而其它图像区域不吸引用户注意力。因此在不以叠加方式在与所辨别的对象相对应的图像区域上显示其它图像和/或不与所述图像相关的信息时，可以在显示屏幕上显示这种图像和信息而没有影响(encroach)吸引用户注意力的对象(或图像区域)。

(c)记录吸引注意力对象信息的处理

作为与所辨别的对象相对应的处理，信息处理装置100可以将指示由上面的处理(2)(对象标识处理)所辨别的对象的吸引注意力对象信息记录到存储部分等(稍后将讨论)。在此情况下，信息处理装置100可以将由上面的处理(1)(对象信息生成处理)所生成的对象信息中与由上面的处理(2)(对象标识处理)所辨别的对象相对应的对象信息记录作为吸引注意力对象信息。例如，信息处理装置100可以将吸引注意力对象信息记录到能够容纳多条吸引注意力对象信息的对象数据库。作为另一示例，信息处理装置100可以将每条吸引注意力对象信息记录为吸引注意力对象文件。与本公开实施例相关的吸引注意力对象信息不限于上面描述的信息。例如，信息处理装置100可以将补充有一些其它信息(诸如记录时间(例如用户注意力已经被吸引所在的时间段)、或标识图像的信息(例如文件名称、或指示该图像在所有帧的序列中的位置的信息))的上述对象信息记录作为吸引注意力对象信息。

如上面所说明的，如果在吸引用户视线的图像区域中包括一对象，则很有可能用户注意力被吸引到所述对象。因此，通过分析如此存储的吸引注意力对象信息，可以掌握用户的偏好。而且，如果由外部装置或该信息处理装置100再现的图像包含包括与由所存储的吸引注意力对象信息所指定的对象相同或相似(即相对应)的对象的图像区域，则信息处理装置100可以对所述图像区域执行诸如扩展清晰度处理之类的其图像处理。此外，如果图像包含包括上述对应对象的图像区域，则信息处理装置100可以(如在上面的处理(B)(显示处理)中)在所述图像区域附近显示与所存储的吸引注意力对象信息所指定的对象相对应的辅助信息指示了什么。

(D)与服务器200(典型的外部设备)的互锁处理

上面讨论的处理(A)到(C)是与所辨别的对象相对应的并且基本上在单机基础上实施的典型处理。然而，这些处理不限制体现本公开的信息处理装置100与所辨别的对象相对应地执行的处理。例如，还可以实施与外部设备(诸如服务器200)的互锁处理。

(D-1)第一示例

作为与所辨别的对象相对应的处理，信息处理装置100可以以与上面的处理(C)(记录吸引注意力对象信息的处理)相同的方式生成吸引注意力对象信息，并且可以将所生成的吸引注意力对象信息传送到外部设备(诸如服务器200)。

当信息处理装置100将吸引注意力对象信息传送到服务器200(典型的外部设备，下文中相同)，服务器200可以通过使用所接收的吸引注意力对象信息来分析每个图像以便查看哪个对象吸引用户注意力。当从直接或通过网络连接的多个信息处理装置100每个获取了吸引注意力对象信息时，服务器200可以不仅分析吸引单个用户注意力的对象而且还分析吸引多个用户注意力的对象。以此方式，当信息处理装置100将吸引注意力对象信息传送给服务器200时，服务器200例如可以实现下面讨论的三个处理(a)到(c)中的任一个。显然，在信息处理装置100将吸引注意力对象信息传送给服务器200时由服务器200实现的处理不限于下面的三个处理(a)到(c)。

(a)使用信息处理装置100分析用户的偏好

实施该处理(a)允许处理器200通过分析哪个对象吸引了用户注意力而掌握用户偏好。例如，该分析可以使得服务器200能够向用户提供满足他或她偏好的信息(作为一种推荐)。

(b)使用指示观看点的信息来计算关于每个对象的吸引注意力率(观看率)作为吸引注意力对象信息的一部分

该处理(b)计算的吸引注意力率提供了指示在哪个图像中的哪个对象吸引了用户注意力的指示符。这允许服务器提供了明显比单独指示哪个内容吸引了用户注意力的普通指示符更准确的指示符。由于上述吸引注意力对象信息对应于基于例如通过内容提供者的操作而生成的元数据的对象信息，因此对于内容提供者而言可以为所包含的每个对象分配权重。

(c)将所计算的吸引注意力率提供给外部***(诸如内容提供***(例如TV广播***))

给定由该处理(c)计算的吸引注意力率，外部***可以提供可能比以前包括更多的具有高吸引注意力率的内容(图像、图像和声音(包括音乐；下文中同样))。因此，实施该处理(c)使得：通过例如在实况转播中自动地(或手动地)将照相机指向具有高的用户吸引注意力率的对象，可以实现比以前更具交互性的视频传递服务。显然，服务器200还可以具备外部***(诸如上述的内容提供提供)的功能性。

(D-2)第二示例

信息处理装置100从外部装置(诸如服务器200)获取辅助信息并显示所获取的辅助信息的内容。更具体地，利用上面的处理(C)(记录吸引注意力对象信息的处理)，信息处理装置100存储吸引注意力对象信息。如果存在包括与由所存储的吸引注意力对象信息所指定的对象相同或相似的对象(即对应对象)的任何图像区域，则信息处理装置100从服务器200等获取与所述吸引注意力对象信息相对应的辅助信息。而且，利用上面的处理(B)(显示处理)，信息处理装置100使得在所再现的图像的上述图像区域附近显示所获取的辅助信息的内容。

在此情况下，更有可能在外部装置(诸如服务器200)中存储的辅助信息与在信息处理装置100中存储的辅助信息相比，在数量上更大并且更新。因此，通过使得显示从外部装置(诸如服务器200)获取的辅助信息的内容，信息处理装置100可以向用户提供关于吸引用户注意力的对象的更有效(significant)信息。

例如，通过执行上面的处理(1)(对象信息生成处理)到(3)(执行处理)，信息处理装置100可以辨别吸引用户视线的对象，并且在图像中执行与吸引用户注意力的对象相对应的处理。因此，例如通过实施上面的处理(1)(对象信息生成处理)到(3)(执行处理)，可以实现本公开实施例的处理方法。

(体现本公开的服务器、以及信息处理装置)

下面说明体现本公开的信息处理装置100的典型结构以及能够与信息处理装置100以互锁关系执行处理的服务器200的典型结构，装置100和服务器200二者都能够实施与本公开实施例的上述处理方法相关的处理。

接下来说明由通过网络互连的信息处理装置100和服务器200构成的典型信息处理***(下文中称为信息处理***1000)，该说明承担了信息处理装置100和服务器200的典型结构的描述。信息处理装置100不限于作为信息处理***1000的组件。例如，如上面结合处理(3)(执行处理)中的处理(A)到(C)所讨论的，体现本公开的信息处理装置100能够基本上在单机基础上执行与所辨别的对象相对应的处理。

(I)信息处理装置100的结构

[第一实施例]

图7是作为本公开的第一实施例的信息处理装置100的典型结构的框图。图7还指示经由网络300与信息处理装置100连接的服务器200。也就是说，图7所示的配置可以被考虑为包括信息处理装置100和服务器200的信息处理***1000。网络300可以是(例如)以下任一种：包括LAN(局域网)和WAN(广域网)的有线网络；包括无线WAN(WWAN-无线广域网(其包括基站))和无线MAN(WMAN-无线城域网)的无线网络；以及使用诸如TCP/IP(传输控制协议/因特网协议)之类的通信协议的因特网。

此外，图7示出了显示***400，其在显示屏幕上显示图像(静止图像或运动图像)，并且通过对在显示屏幕上的显示方向成像而生成坐标信息。在图7中，显示***400被示出为由用于执行显示的显示设备500和用于执行成像的成像设备600构成。然而，该示例不将显示***400的配置限制作为本公开实施例的一部分。例如，显示***400可以是集成了显示设备500和成像设备600的实体(诸如具有成像能力的显示设备)。

参考图7，信息处理装置100可以包括例如存储部分102、输入部分104、通信部分106和控制部分108。

信息处理装置100还可以包括ROM(只读存储器，未示出)和RAM(随机存取存储器，未示出)。信息处理装置100可以典型地使其组件通过充当数据传输信道的总线而互连。例如，ROM(未示出)可以存储要被控制部分108使用的程序、以及诸如操作参数之类的处理数据。RAM(未示出)可以临时存储供控制部分108和其它组件使用的程序和数据。

[信息处理装置100的典型硬件结构]

图8是示出体现本公开的信息处理装置100的典型硬件结构的说明性视图。参考图8，信息处理装置100可以包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162、和通信接口164。例如，信息处理装置100可以使其组件通过充当数据传输信道的总线而互连。

MPU 150可以典型地由：包括MPU(微处理单元)的集成电路、实现控制功能的多个电路、以及实现诸如图像处理之类的不同功能的多个电路所组成。这样，MPU 150整体上起作用为控制信息处理装置100的控制部分108。在信息处理装置100内，MPU 150起到检测部分120、辨别部分122、和处理部分124的作用。而且，MPU 150可以起到再现处理部分的作用(稍后将讨论)。

ROM 152存储要被MPU 150使用的程序、以及诸如操作参数之类的控制数据。RAM 154可以临时存储要被MPU 150执行的程序和其它资源。

记录介质156起作用为存储部分102，其例如存储各种数据，诸如辅助信息、吸引注意力对象信息和内容数据、以及应用。记录介质156可以是以下任一种：诸如硬盘之类的磁存储介质、或非易失性存储器，该非易失性存储器包括EEPROM(电可擦除可编程只读存储器)、闪存、MRAM(磁阻随机存取存储器)、FeRAM(铁电随机存取存储器)、以及PRAM(相变随机存取存储器)。记录介质156可以可移动地附接到信息处理装置100。

输入/输出接口158可以例如与操作输入设备160和显示设备162连接。输入/输出接口158还可以起到输入部分104的作用。操作输入设备160起作用为操作部分(未示出)，显示设备162起作用为显示部分(稍后将讨论)。输入/输出接口158可以例如包括USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清多媒体接口)端子、以及各种处理电路。操作输入设备160可以典型地安装在信息处理装置100上并与其中的输入/输出接口158连接。操作输入设备160可以是以下任一项或其组合：例如按钮、箭头按键、和诸如转点通(jog dial)之类的旋转选择器。显示设备162可以典型地安装在信息处理装置100上并与其中的输入/输出接口158连接。显示设备162可以是例如以下至少一项：液晶显示器(LCD)、有机电致发光显示器、以及有机发光二极管显示器(OLED)。显然，输入/输出接口158还可以与作为信息处理装置100的外部装置的操作输入设备(例如键盘和鼠标)连接，与显示设备(例如显示设备300)连接，以及与诸如成像设备(例如成像设备600)之类的外部设备连接。而且，显示设备162可以被布置为能够进行显示和用户操作，诸如触摸屏。

通信接口164是作为信息处理装置100一部分的通信部件。这样，通信接口164起作用为用于以有线或无线方式直接或经由网络300与诸如服务器200之类的外部装置通信的通信部分106。例如，通信接口64可以由具有(用于无线通信的)RF电路的通信天线、具有(用于无线通信的)收发机电路的IEEE802.15.1端口、具有(用于无线通信的)收发机电路的IEEE802.11b端口、或者具有(用于无线通信的)收发机电路的LAN端子所组成。

例如，在被如图8所示地构造时，信息处理装置100可以执行与本公开实施例的处理方法相关的处理。体现本公开的信息处理装置100的硬件结构不限于图8所示的结构。

例如，信息处理装置100可以装备有成像设备，其充当成像部分(稍后将讨论)并且其由镜头/成像元件排列和信号处理电路构成。在以上情况下，信息处理装置100可以使用由信息处理装置100本身生成的坐标信息来执行处理。镜头/成像元件排列可以例如由光学镜头、CCD(电荷耦合器件)、以及采用诸如CMOS(互补金属氧化物半导体)之类的多个成像元件的图像传感器构成。信号处理电路可以典型地包括AGC(自动增益控制)电路和ADC(模数转换器)，由此将成像元件生成的模拟信号转换为数字信号(图像数据)。信号处理电路还可以包括MPU等，其通过使用所述图像数据实施上述坐标信息生成处理而生成坐标信息。

信息处理装置100还可以装备有DSP(数字信号处理器)和声音输出设备(包括放大器、扬声器等)。信息处理装置100还可以装备有插槽(slot)，该插槽容纳外部存储器并允许向其写入数据和从其读出数据。此外，信息处理装置100可以被构造为例如不包括图8所示的操作设备160和显示设备162、以及通信接口。

再次参考图7，下面将说明作为本公开的第一实施例的信息处理装置100的结构。存储部分102是作为信息处理装置100一部分的存储部件。例如，存储部分102可以是诸如硬盘之类的磁记录介质、或者诸如闪存之类的非易失性存储器。

存储设备102可以存储各种数据，诸如辅助信息、吸引注意力对象信息和内容数据、以及应用。图7示出了其中辅助信息130和吸引注意力对象信息132存储在存储部分102中的示例。

输入部分104可以典型地接收与在显示屏幕上显示的图像相对应的图像数据(在显示设备500执行再现处理时)、与所述图像对应的元数据、以及由成像设备600生成的坐标数据。输入部分104将所接收(即输入)的各种数据转发到控制部分108。输入部分104可以包括USB端子、DVI端子、HDMI端子、以及各种处理电路，但并不限于这些组件。例如，输入部分104可以以能够以有线或无线方式从外部装置接收不同数据的其它方式来构造。

而且，在信息处理装置100在显示设备500的显示屏幕上显示由该信息处理装置100所再现的图像数据所表示的图像时，信息处理装置100可以经由输入部分104将图像数据传送到显示设备500。也就是说，输入部分104可以起到用于允许信息处理装置100和诸如显示设备500之类的外部设备(或外部***)之间的数据交换的连接部分的作用。尽管图7示出了包括输入部分104和通信部分106的结构，但这不是对信息处理装置100的结构的限制。例如，体现本公开的信息处理装置100可以使输入部分104和通信部分106(稍后将讨论)集成在单个部分中。

通信部分106是作为信息处理装置100一部分的通信部件。这样通信部分106以有线或无线方式直接或经由网络300与诸如服务器200之类的外部装置通信。而且，通信部分106在操作中可以典型地被控制部分108控制。通信部分106可以包括具有RF电路的通信天线、以及具有收发机电路的LAN端子，但不限于此。例如，通信部分106可以按照期望以能够经由网络300与外部装置通信的方式被构造。

在装备有通信部分106的情况下，信息处理装置100可以与服务器200成互锁关系地执行上面的处理(3)(执行处理)。

控制部分108可以典型地包含：包括MPU的集成电路、实现控制功能的多个电路、以及实现图像处理的不同功能的多个电路。这样，控制部分108起到控制整个信息处理装置100的作用。而且，控制部分108包括检测部分120、辨别部分122、和处理部分124，并且在执行与本公开实施例的处理方法相关的处理方面起主要作用。控制部分108可以包括通信控制部分(未示出)，其用于控制与诸如服务器200的外部装置的通信。

检测部分120在执行上面的处理(1)(对象信息生成处理)方面起主要作用。更具体地，检测部分120可以典型地通过利用与图像相关的元数据并且/或者处理在显示屏幕上显示的图像，来检测图像中的对象。对于如此检测的每个对象，信息处理装置100生成对象信息。

辨别部分122在执行上面的处理(2)(对象标识处理)方面起主要作用。更具体地，辨别部分122可以典型地基于由显示设备500(外部成像设备)生成的并且从输入部分104发送而来的坐标信息、以及基于由检测部分120生成的对象信息，来辨别吸引用户视线的对象(或图像区域)。

处理部分124在执行上面的处理(3)(执行处理)方面起主要作用。更具体地，例如基于辨别部分122的辨别结果，处理部分124可以选择性地执行与所辨别的对象相关的处理，诸如上面的处理(A)到(D)中的任一个。在此情况下，处理部分124可以执行与所辨别的对象相对应的预定处理，或者实施关于所辨别的对象由用户操作选择的处理。

在由例如检测部分120、辨别部分122和处理部分124构成时，控制部分108可以在执行与处理方法相关的上面处理(1)(对象信息生成处理)到(3)(执行处理)方面起主要作用。

控制部分108的结构不限于图7所示的结构。例如，控制部分108还可以包括再现处理部分(对应于再现处理部分126，稍后将讨论)，其再现表示图像或者图像和声音两者的内容数据。在此情况下，信息处理装置100可以典型地使得显示设备500的显示屏幕显示由再现处理部分所再现的内容数据所表示的图像，从而可以由检测部分120和辨别部分122处理所述图像。

在如图7所示地构造时，信息处理装置100可以实现与处理方法相关的上面处理(1)(对象信息生成处理)到(3)(执行处理)。因此，利用例如图7的结构，信息处理装置100可以辨别在显示屏幕上显示的并且被用户观看的图像中吸引用户注意力的对象，然后执行与所辨别的对象相对应的处理。

[第二实施例]

在以上描述中，作为本公开的第一实施例的信息处理装置100被示出为被构造用来：辨别被用户观看的并且在作为显示***400一部分的显示设备500(外部显示设备)的显示屏幕上显示的图像中吸引用户注意力的对象，然后实施与所辨别的对象相对应的处理。然而，第一实施例的上述结构不限制体现本公开的信息处理装置100的结构。图9是作为本公开的第二实施例的信息处理装置100的典型结构的框图。

作为本公开的第二实施例的图9所示的信息处理装置100基本上被构造为与作为第一实施例的图7所示的信息处理装置100相同。作为第二实施例的图9中的信息处理装置100的结构与作为第一实施例的图7中的其对应部分的结构之间的主要区别在于：作为第二实施例的信息处理装置100没有输入部分104，而具备成像部分110和显示部分112。在与作为第一实施例的图7中的信息处理装置100相比时，作为第二实施例的图9中的信息处理装置100装备有包括再现处理部分126的控制部分108，再现处理部分126具有与第一实施例中的再现处理部分的功能性相似的功能性。

成像部分110是作为信息处理装置100一部分的成像部件。这样，成像部分110在显示部分112的显示屏幕上显示的图像上检测用户视线，从而生成坐标信息。更具体地，成像部分110可以典型地由镜头/成像元件排列和信号处理电路构成。由成像元件生成的模拟信号被信号处理电路转换为数字信号(图像数据)。成像部分110然后通过使得信号处理电路执行用于使用上述图像数据生成上述坐标信息的处理，来进行坐标信息生成。成像部分110将所生成的坐标信息发送给控制控制部分108。

显示部分112是作为信息处理装置100一部分的显示部件。这样，显示部分112在其显示屏幕上显示不同信息和图像。在显示部分112的显示屏幕上显示的画面可以典型地包括用于显示由再现处理部分126再现的图像(内容)的内容显示屏幕、以及用户通过其可以指示信息处理装置100执行期望操作的操作屏幕。显示部分112可以由如下显示设备中的任一种构成：例如诸如液晶显示器和有机电致发光显示器。

作为第二实施例的图9中的信息处理装置100基本上被构造为与作为第一实施例的图7中的信息处理装置100相同。在被如图9所示地构造时，作为第二实施例的信息处理装置100可以因此向作为第一实施例的信息处理装置100那样实现与处理方法相关的上面处理(1)(对象信息生成处理)到(3)(执行处理)。因此，作为第二实施例的其结构如图9所示的信息处理装置100可以辨别在显示屏幕上显示的并且被用户观看的图像中吸引用户注意力的对象，并且实施与所辨别的对象相对应的处理。

(II)服务器200的结构

图10是示出体现本公开的服务器200的典型结构的框图。参考图10，服务器200可以例如包括存储部分202、通信部分204和控制部分206。

服务器200还可以包括ROM(未示出)和RAM(未示出)。服务器200使其组件通过充当数据传输信道的总线而互连。在该设置中，ROM(未示出)可以典型地存储要被控制部分206使用的程序和诸如操作参数之类的处理数据。RAM(未示出)可以典型地临时存储控制部分206当前操作的程序和数据。

[服务器200的典型硬件结构]

服务器200可以具有与例如如图8所示的体现本公开的信息处理装置100的硬件结构相同的硬件结构。显然，体现本公开的服务器200的硬件结构不限于图8所示的结构。

存储部分202是作为服务器200一部分的存储部件。例如，存储部分202可以是诸如硬盘之类的磁记录介质、或者诸如闪存之类的非易失性存储器。存储部分202可以典型地存储各种数据，诸如辅助信息、包括基于吸引注意力对象信息的分析结果的关于用户偏好的信息的用户信息(在适当的情况下，在下文中，可以将信息的集合称为数据库)、内容数据、以及应用。图10示出了其中存储部分202存储能够容纳多条辅助信息的辅助信息数据库220、以及能够存储关于所涉及的每个用户的多条用户信息的用户信息数据库222的示例。

通信部分204是作为服务器200一部分的通信部件。这样，通信部分204以有线方式或无线方式直接或经由网络300与多个信息处理装置100和诸如内容提供***700(典型的外部***)之类的外部装置每个进行通信。而且，通信部分204在操作方面典型地可以被控制部分206控制。在装备有通信部分204时，服务器200可以从多个信息处理装置100每个中获得吸引注意力对象信息，并且响应于从所述信息处理装置100发送的辅助信息传送请求，可以将辅助信息传送给请求的信息处理装置100。也就是说，具备通信部分204允许服务器200与信息处理装置100成互锁关系地实现诸如上面的处理(D)之类的处理。

通信部分204可以包括具有RF电路的通信天线、以及具有收发机电路的LAN端子，但不限于此。例如，通信部分204可以按照期望以能够经由网络300与外部装置(或外部***)通信的方式被构造。

控制部分206可以典型地包含：包括MPU的集成电路、以及实现控制功能的多个电路。这样，控制部分206起到控制整个信息服务器200的作用。控制部分206还起到与信息处理装置100成互锁关系地实施诸如上面的处理(D)之类的处理的作用。

更具体地，例如控制部分206可以基于通信部分204所接收的吸引注意力对象信息来分析哪种类型的对象正在吸引用户注意力(在上面的处理(a)中)。控制部分206然后可以将分析结果记录至存储部分202中的用户信息数据库。

而且，例如，控制部分206可以基于从多个信息处理装置100传送的并由通信部分204(在上面的处理(b)中)接收的吸引注意力对象信息，来计算每个对象的吸引注意力率。在此情况下，对于每个对象，控制部分206可以通过将由所接收的吸引注意力对象信息指定的对象的数量乘以所述对象对应的观看点并且除以所接收的吸引注意力对象信息的数量，来计算每个对象的吸引注意力率。显然，作为本公开实施例一方面的用于计算对象的吸引注意力率的方法不限于上述方法。

控制部分206可以例如将包括如此计算的吸引注意力率的信息记录至存储部分202。替代地，控制部分206可以控制通信部分204将所计算的吸引注意力率的信息传送到内容提供***700(在上面的处理(c)中)。

如果通信部分204接收到从信息处理装置100发送的辅助信息传送请求，则控制部分206从在存储部分202中保存的辅助信息数据库220中读出与由所述辅助信息传送请求所指定的对象相对应的辅助信息。控制部分206然后控制通信部分204将从辅助信息数据库220中取得的辅助信息传送到已经发送了辅助信息传送请求的信息处理装置100。如果在存储部分202中保存的辅助信息数据库220中没有发现与由辅助信息传送请求所指定的对象相对应的辅助信息，则控制部分206可以经由网络300与外部装置(例如另一服务器)通信，并且从所述外部装置获取对应的辅助信息。如果控制部分206不能传送与由辅助信息传送请求所指定的对象相对应的辅助信息，则控制部分206控制通信部分204将指示错误的响应传送至已经传送了辅助信息传送请求的信息处理装置100。

通过实施例如上述步骤，控制部分206可以与信息处理装置100成互锁关系地执行诸如上面的处理(D)之类的处理。

通过执行图10所示的处理，服务器200可以与信息处理装置100成互锁关系地执行诸如上面的处理(D)之类的处理。显然，体现本公开的服务器200的结构不限于上述结构。

如上面说明的，体现本公开的信息处理装置100可以典型地执行作为与处理方法相关的处理的上面处理(1)(对象信息生成处理)到(3)(执行处理)。通过上面的处理(2)(对象标识处理)，信息处理装置100基于坐标信息和对象信息，辨别吸引用户视线的对象。如果在显示屏幕上显示的并被用户观看的图像内在吸引用户视线的图像区域中包括一对象，则非常可能用户注意力被吸引到该对象。如果在显示屏幕上显示的并被用户观看的图像内在吸引用户视线的图像区域中没有包括对象，则非常可能在该图像内不存在吸引用户注意力的对象。因此，通过辨别吸引用户视线的对象，在辨别图像内吸引用户注意力的对象方面，信息处理装置100提供了比之前明显更高的精度级。

结果，信息处理装置100可以辨别在显示屏幕上显示的并且被用户观看的图像中吸引用户注意力的对象，并且执行与所辨别的对象相对应的处理。

而且，作为与所辨别的对象相对应的处理，信息处理装置100可以执行以下任何处理：上面的处理(A)到(C)(基本上单机处理)、或者上面的处理(D)(与诸如服务器200之类的外部装置成互锁关系地执行的处理)。因此，信息处理装置100提供如上所述的与所辨别的对象相对应地执行的处理的优点。

尽管上面已经使用信息处理装置100作为一个优选实施例描述了本公开，但是这不限制本公开可以如何被实现。本公开的可能实施例可以包括：诸如PC(个人计算机)和服务器之类的计算机、诸如电视机和展示设备(signage device)之类的显示设备、诸如移动电话之类的便携式通信设备、视频/音频播放器(或视频/音频记录和再现设备)、以及游戏机。

尽管上面已经使用服务器200作为另一优选实施例描述了本公开，但是这不限制本公开可以如何被实现。本公开的其它可能实施例可以包括：诸如PC(个人计算机)和服务器之类的计算机、以及一组多个服务器(一组计算机)。

尽管上面已经使用显示***400作为又一优选实施例描述了本公开，但是这不限制本公开可以如何以许多其它方式被实现。本公开的其它可能实施例可以包括能够显示和/或拍摄图像的各种设备，包括：诸如PC(个人计算机)之类的计算机、诸如电视机和展示设备之类的显示设备、以及诸如移动电话之类的便携式通信设备。体现本公开的显示***400还可以是显示设备与成像设备的组合。

(体现本公开的程序)

[与信息处理装置100相关的程序]

可以开发用于使得计算机起作用为体现本公开的信息处理装置的程序(例如，用于实施上面的处理(1)(对象信息生成处理)到(3)(执行处理)的程序)，从而辨别在显示屏幕上显示的并且被用户观看的图像中吸引用户注意力的对象，并且执行与所辨别的对象相对应的处理。

[与服务器相关的程序]

可以开发用于使得计算机起作用为体现本公开的服务器的程序(例如，用于与也体现本公开的信息处理装置成互锁关系地实施处理的程序)，从而实现可以与信息处理装置成互锁关系地执行与图像内被体现本公开的信息处理装置所辨别的并且吸引用户注意力的对象相对应的处理。

应理解，尽管已经参考附图结合具体实施例描述了本公开，然而显然依据上述描述对于本领域技术人员而言许多替换、修改和变型将变得明显。相应地，本公开意图涵盖落入所附权利要求的精神和范围内的所有这样的替换、修改和变型。

例如，体现本公开的信息处理装置100可以独立地装备有图7和9中所示的检测部分120、辨别部分122和处理部分124(例如，每个部分可以由单独的处理电路实现)。

尽管上述描述已经涉及提供用于使得计算机实现体现本公开的信息处理装置的程序(计算机程序)，然而还可以提供存储这些程序的记录介质作为本公开的实施例。

应注意，之前段落中的示例仅仅是也落入所附权利要求的精神和范围内的特征。

本公开包含与在于2010年12月7日提交的日本优先权专利申请JP2010-272367中公开的主题有关的主题，通过引用将所述日本优先权专利申请的全部内容并入于此。

Claims (11)

1.一种信息处理装置，包括：

辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示所述用户的视线相对于所述图像而言位于哪里的坐标信息、并且基于包括指示所述图像中包括所述对象的图像区域的区域信息的对象信息；以及

处理部分，被配置为使得：在所述辨别部分辨别出吸引所述用户视线的所述对象时，所述处理部分选择性地执行与所述辨别部分所辨别的所述对象相对应的处理。

2.如权利要求1所述的信息处理装置，还包括：

检测部分，被配置为通过利用与所述图像相关联的元数据和/或处理所述图像来检测在所述图像中包括的对象以便生成对象信息；

其中，所述辨别部分基于由所述检测部分生成的所述对象信息来确定吸引所述用户视线的所述对象。

3.如权利要求1所述的信息处理装置，其中，所述处理部分提供以下显示，所述显示表示与由所述辨别部分所辨别的所述对象有关的辅助信息指示了什么，所述显示位于与由所述辨别部分所辨别的所述对象相对应的所述图像区域附近。

4.如权利要求3所述的信息处理装置，还包括：

存储部分；以及

通信部分，被配置为与存储所述辅助信息的外部装置通信；

其中，所述处理部分生成指示由所述辨别部分所辨别的所述对象的吸引注意力对象信息，然后将所生成的吸引注意力对象信息记录到所述存储部分；

如果与由所述辨别部分所辨别的所述对象相对应的所述吸引注意力对象信息存储在所述存储部分中，则所述处理部分经由所述通信部分从所述外部装置获取与所述吸引注意力对象信息相对应的所述辅助信息；以及

所述处理部分在作为所述图像一部分并且与由所述辨别部分所辨别的所述对象相对应的所述图像区域附近显示所获取的辅助信息指示了什么。

5.如权利要求1所述的信息处理装置，还包括：

通信部分，被配置为与外部装置通信；

其中，所述处理部分生成指示由所述辨别部分所辨别的所述对象的吸引注意力对象信息，然后使得所述通信部分将所生成的吸引注意力对象信息传送到所述外部装置。

6.如权利要求1所述的信息处理装置，其中，所述处理部分执行用于拉伸与由所述辨别部分所辨别的所述对象相对应的图像区域的拉伸处理、以及/或者用于增强所述图像区域的图像质量的扩展清晰度处理。

7.如权利要求1所述的信息处理装置，其中，所述处理部分防止：与所述图像不同的任何图像以及/或者由与所述图像无关的任何信息所指示的内容，以叠加的方式显示在与由所述辨别部分所辨别的所述对象相对应的所述图像区域上。

8.如权利要求1所述的信息处理装置，还包括：

输入部分，被配置为允许输入所述坐标信息，该坐标信息由成像设备通过相对于在显示设备的显示屏幕上显示的所述图像检测所述用户的视线生成；

其中，基于输入到所述输入部分的所述坐标信息，所述辨别部分辨别吸引所述用户视线的所述对象。

9.如权利要求1所述的信息处理装置，还包括：

显示部分，被配置为在所述显示屏幕上显示所述图像；以及

成像部分，被配置为通过检测相对于在所述显示部分的所述显示屏幕上显示的所述图像的所述用户的视线来生成所述坐标信息；

其中，基于所述成像部分所生成的所述坐标信息，所述辨别部分辨别吸引所述用户视线的所述对象。

10.一种信息处理***，包括：

服务器，被配置为存储关于对象的辅助信息；以及

信息处理装置，被配置为与所述服务器通信；

其中，所述信息处理装置包括：

存储部分；

通信部分，被配置为与所述服务器通信；

辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示所述用户的视线相对于所述图像而言位于哪里的坐标信息、并且基于包括指示所述图像中包括所述对象的图像区域的区域信息的对象信息；以及

处理部分，被配置为使得：在所述辨别部分辨别出吸引所述用户视线的所述对象时，所述处理部分选择性地执行与所述辨别部分所辨别的所述对象相对应的处理，

所述处理部分生成指示由所述辨别部分所辨别的所述对象的吸引注意力对象信息，然后将所生成的吸引注意力对象信息记录到所述存储部分，

如果与由所述辨别部分所辨别的所述对象相对应的所述吸引注意力对象信息存储在所述存储部分中，则所述处理部分经由所述通信部分从所述服务器获取与所述吸引注意力对象信息相对应的所述辅助信息，以及

所述处理部分在与由所述辨别部分所辨别的所述对象相对应的所述图像区域附近，显示所获取的辅助信息指示了什么。

11.一种信息处理***，包括：

服务器；以及

信息处理装置，被配置为与所述服务器通信；

其中，所述信息处理装置包括：

通信部分，被配置为与所述服务器通信；

辨别部分，被配置为辨别吸引观看在显示屏幕上显示的图像的用户的视线的对象，所述辨别基于指示所述用户的视线相对于所述图像而言位于哪里的坐标信息、并且基于包括指示所述图像中包括所述对象的图像区域的区域信息的对象信息；以及

处理部分，被配置为使得：在所述辨别部分辨别出吸引所述用户视线的所述对象时，所述处理部分选择性地执行与所述辨别部分所辨别的所述对象相对应的处理，

所述处理部分生成指示由所述辨别部分所辨别的所述对象的吸引注意力对象信息，然后使得所述通信部分将所生成的吸引注意力对象信息传送到所述服务器。

Images