CN102999450A - 信息处理装置、信息处理方法、程序和信息处理*** - Google Patents

Abstract

本公开涉及信息处理装置、信息处理方法、程序和信息处理***。提供了如下信息处理装置，其包括：图像拾取单元，其对对象进行拍摄；运动检测单元，其检测由图像拾取单元拍摄的对象的运动的变化；数据生成单元，其生成与其中运动检测单元检测到运动的变化的变化定时相关的第一定时数据；接收单元，其在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；以及确定单元，其基于由数据生成单元生成的第一定时数据和由接收单元接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

Description

信息处理装置、信息处理方法、程序和信息处理***

技术领域

本公开涉及信息处理装置、信息处理方法、程序和信息处理***。

背景技术

由于近年来因特网的扩散和硬件技术的进步，日益增长的用户现在使用诸如个人计算机、移动电话和TV（电视）装置的信息处理装置。而且，能够拾取对象的通信的相机的逐渐小型化导致了相机被安装在信息处理装置中。对于装备有相机的信息处理装置，提出了可以识别图像中的对象的对象识别技术（参见日本专利特开第2010-61465号公报）。

发明内容

然而，在一些情况中，多个装备有诸如相机的图像拾取单元的信息处理装置会同时对对象进行拍摄。在这样的情形中，想要的是可以检测由各个信息处理装置拾取的图像中的相同对象。然而，如果多个信息处理装置从不同视点来拍摄对象，则因为对象的脸部的朝向在所拾取的图像中会是不同的，所以难以提取相同的对象。

出于该原因，本公开提出了在由具有不同视点的多个装置对对象进行拍摄时能够容易地提取相同或相似对象的方法。

根据本公开的实施例，提供了一种信息处理装置，其包括：图像拾取单元，其对对象进行拍摄；运动检测单元，其检测由图像拾取单元拍摄的对象的运动的变化；数据生成单元，其生成与其中运动检测单元检测到运动的变化的变化定时相关的第一定时数据；接收单元，其在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；以及确定单元，其基于由数据生成单元生成的第一定时数据和由接收单元接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

根据本公开的实施例，提供了一种信息处理方法，其包括：检测由装置的图像拾取单元拍摄的对象的运动的变化；生成与其中检测到运动的变化的变化定时相关的第一定时数据；在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；以及基于所生成的第一定时数据和所接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

根据本公开的实施例，提供了一种程序，其使得计算机：检测由装置的图像拾取单元拍摄的对象的运动的变化；生成与其中检测到运动的变化的变化定时相关的第一定时数据；在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；并且基于所生成的第一定时数据和所接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

根据本公开的实施例，提供了一种信息处理***，其包括：信息处理装置，其包括对对象进行拍摄的第一图像拾取单元，检测由第一图像拾取单元拍摄的对象的运动的变化的第一运动检测单元，生成与其中第一运动检测单元检测到运动的变化的变化定时相关的第一定时数据的第一数据生成单元；以及通信装置，其包括对对象进行拍摄的第二图像拾取单元，检测由第二图像拾取单元拍摄的对象的运动的变化的第二运动检测单元，生成与其中第二运动检测单元检测到运动的变化的变化定时相关的第二定时数据的第二数据生成单元，以及向信息处理装置发送由第二数据生成单元生成的第二定时数据的发送单元。该信息处理装置还可以包括：在由第一图像拾取单元进行拍摄期间经由发送单元从通信装置接收第二定时数据的接收单元，以及基于第一定时数据和第二定时数据来确定由第一图像拾取单元拍摄的对象和由第二图像拾取单元拍摄的对象是否是相同或相似的对象的确定单元。

根据上述本公开的实施例，在由具有不同视点的多个装置对对象进行拍摄时，有可能容易地提取相同或相似的对象。

附图说明

图1是示出了根据本公开的第一实施例的信息处理***的配置的图；

图2是有助于说明用户的脸部的朝向在由用户终端和TV装置拾取的图像之间是如何不同的示意图；

图3是示出了用户终端的详细配置的图；

图4示出了代码的示例作为由代码生成单元生成的定时数据；

图5是示出了根据第一实施例的TV装置的详细配置的图；

图6A是示出了由TV装置和用户终端生成的示例时间表序列的图；

图6B是示出了由确定单元执行的确定处理的示例算法的图；

图7是示出了信息处理***的示例操作的流程图；

图8是示出了根据第二实施例的TV装置的详细配置的图；

图9是示出了显示单元的示例显示的图；

图10是示出了根据第三实施例的信息处理***的图；并且

图11是有助于说明在执行配对处理时信息处理***的操作的序列图。

具体实施方式

以下，将参照附图来描述本公开的优选实施例。注意，在本说明书和附图中，利用相同的附图标记来指代具有基本相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。

本公开的实施例将按以下指出的顺序来描述。

1.第一实施例

1-1.信息处理***的配置

1-2.用户终端的详细配置

1-3.TV装置的详细配置

1-4.信息处理***的操作

2.第二实施例

3.第三实施例

根据本公开的实施例，提供了一种信息处理装置，其包括：图像拾取单元，其对对象进行拍摄；运动检测单元，其检测由图像拾取单元拍摄的对象的运动的变化；数据生成单元，其生成与其中运动检测单元检测到运动的变化的变化定时相关的第一定时数据；接收单元，其在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；以及确定单元，其基于由数据生成单元生成的第一定时数据和由接收单元接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

根据本公开的实施例，提供了一种信息处理方法，其包括：检测由装置的图像拾取单元拍摄的对象的运动的变化；生成与其中检测到运动的变化的变化定时相关的第一定时数据；在由图像拾取单元进行拍摄期间从另一装置接收第二定时数据，该第二定时数据与在检测到由另一装置拍摄的对象的运动时的变化定时相关；以及基于所生成的第一定时数据和所接收的第二定时数据，确定由图像拾取单元拍摄的对象和由另一装置拍摄的对象是否是相同或相似的对象。

根据本公开的实施例，提供了一种信息处理***，其包括：信息处理装置，其包括对对象进行拍摄的第一图像拾取单元，检测由第一图像拾取单元拍摄的对象的运动的变化的第一运动检测单元，生成与其中第一运动检测单元检测到运动的变化的变化定时相关的第一定时数据的第一数据生成单元；以及通信装置，其包括对对象进行拍摄的第二图像拾取单元，检测由第二图像拾取单元拍摄的对象的运动的变化的第二运动检测单元，生成与其中第二运动检测单元检测到运动的变化的变化定时相关的第二定时数据的第二数据生成单元，以及向信息处理装置发送由第二数据生成单元生成的第二定时数据的发送单元。该信息处理装置还可以包括：在由第一图像拾取单元进行拍摄期间经由发送单元从通信装置接收第二定时数据的接收单元，以及基于第一定时数据和第二定时数据来确定由第一图像拾取单元拍摄的对象和由第二图像拾取单元拍摄的对象是否是相同或相似的对象的确定单元。

1.第一实施例

1-1.信息处理***的配置

现在将参照图1来描述根据本公开的第一实施例的信息处理***10的配置。图1是示出了根据本公开的第一实施例的信息处理***10的配置的图。

如图1中所示，信息处理***10包括作为本公开的“通信装置”的示例的用户终端100A、100B和100C，以及作为“信息处理装置”的一个示例的TV装置200。用户终端100A、100B和100C和TV装置200能够经由无线网络等通信。注意，尽管图1中示出了三个用户终端，但是用户终端的数量不限于此。

用户终端100A、100B和100C是由用户使用的诸如移动电话、PDA（个人数字助理）或个人计算机的终端。用户终端100A、100B和100C（以下统一称为“用户终端100”）各自包括诸如相机的图像拾取单元130，并且拾取该终端的用户的图像作为对象。就是说，每个用户终端100的用户可以使用他/她的用户终端100来自拍。例如，用户终端100A拾取正在使用用户终端100A的用户A的图像，用户终端100B拾取正在使用用户终端100A的用户B的图像，而用户终端100C拾取正在使用用户终端100A的用户C的图像。以下，在本说明书中，对图像的拾取称为“拍摄”。每个用户终端100具有用于检测正在拍摄的用户的脸部的脸部检测功能。与图1不同，用户A、B和C的脸部实际是朝向用户终端100A、100B和100C的。注意，稍后将描述用户终端100的详细配置。

TV装置200是显示诸如视频的装置。以和用户终端100相同的方式，TV装置200包括图像拾取单元230，并且拍摄使用用户终端100A、100B和100C的用户A、B和C（以下简称为“用户”）作为对象。TV装置200也具有用于检测所拍摄的用户的脸部的脸部检测功能。注意，稍后将描述TV装置200的详细配置。

然而，针对根据本实施例的信息处理***10，存在用户终端100和TV装置200同时对用户进行拍摄的情况。作为一个示例，用户终端100A和TV装置200同时对用户A进行拍摄。此时，因为用户终端100A和TV装置200对于用户A具有不同的视点，所以用户的脸部的朝向在所拾取的图像中是不同的。

图2是有助于描述用户的脸部朝向在由用户终端100A和TV装置200拾取的图像之间是如何不同的示意图。如图2中所示，因为用户终端100A的图像拾取单元130被放置为面朝用户A，由图像拾取单元130拾取的图像（静止图像）包括正对着的用户A。同时，因为TV装置200的图像拾取单元230被放置为斜对着用户A，所以由图像拾取单元230拾取的图像包括斜对着的用户A。

为了即使在用户终端100和TV装置200如上所述地从不同视点拍摄用户时也容易地检测相同或相似用户，用户终端100和TV装置200执行下述配合处理。

就是说，尽管稍后将详细描述，但是TV装置200首先检测由图像拾取单元230拍摄的用户的运动的变化（例如，用户的眼睛的眨动），并且生成与其中检测到用户的运动的变化的变化定时相关的定时数据（以下称为“第一定时数据”）。以相同方式，用户终端100也检测由图像拾取单元130拍摄的用户的运动的变化（例如，用户的眼睛的眨动），并且生成与其中检测到用户的运动的变化的变化定时相关的定时数据（以下称为“第二定时数据”）。

接下来，在由图像拾取单元230进行图像拾取期间，TV装置200从用户终端100接收由用户终端100生成的第二定时数据。TV装置200随后基于第一定时数据和第二定时数据来确定由图像拾取单元230拍摄的用户和由图像拾取单元130拍摄的用户是否是相同或相似的用户。

利用以上配置，在由具有不同视点的多个装置对用户进行拍摄时，即使用户的脸部朝向不同方向，也有可能基于脸部运动的定时来确定是否正在拍摄相同的用户。出于该原因，在由具有不同视点的多个装置对用户进行拍摄时，有可能容易地提取相同或相似的用户。

1-2.用户终端的详细配置

现在将描述图1中的用户终端100A、100B和100C（以下统一称为“用户终端100”）的详细配置。图3是示出了用户终端100的详细配置的图。

如图3中所示，用户终端100包括输入单元110、显示单元120、图像拾取单元130、通信单元140、存储单元150和控制单元160。

输入单元110具有用于从用户终端100的用户接收对操作信息的输入的功能。例如，输入单元110接收在用户做出操作时的输入，以使得由图像拾取单元130执行图像拾取。输入单元110由诸如开关、按钮、触摸面板、键盘和/或鼠标的输入装置来构建。

显示单元120具有用于基于由控制单元160进行的控制来显示各种信息的功能。例如，显示单元120显示由图像拾取单元130拾取的图像。显示单元120由诸如液晶显示器、等离子显示器或有机EL（电致发光）显示器的显示装置来构建。

图像拾取单元130具有用于对对象进行拍摄的功能。例如，图像拾取单元130拾取（即，拍摄）用户终端100的用户的图像。就是说，用户终端100的用户可以自拍。由图像拾取单元130拾取的图像数据经受图像处理等，并且顺次地输入控制单元160。作为一个示例，图像拾取单元130将以固定的间隔拾取的图像数据（帧）输出给控制单元160。图像拾取单元130由诸如具有透镜和图像拾取元件的相机的图像拾取装置来构建。

通信单元140是具有基于由控制单元160进行的控制来与TV装置200通信的发送单元和接收单元的功能的通信接口。通信单元140由诸如有线或无线LAN（局域网）、蓝牙通信卡、通信路由器或通信调制解调器的图像装置来构建。

存储单元150具有用于存储由控制单元160使用的各种信息的功能。例如，存储单元150存储由图像拾取单元130拾取的图像数据。存储单元150由诸如磁存储设备、半导体存储设备或光学存储设备的存储装置来构建。

控制单元160具有用于控制用户终端100的整体操作的功能，并且作为一个示例，能够基于从输入单元110输出的操作信息、由通信单元140接收的信息等来控制用户终端100的操作。控制单元160由CPU（中央处理单元）、ROM（只读存储器）和RAM（随机存取存储器）等来构建。

如图3中所示，控制单元160包括脸部检测单元161、运动检测单元162、代码生成单元163和通信控制单元164。

脸部检测单元161具有用于分析从图像拾取单元130顺次输入的图像数据并且从所分析的图像数据当中检测用户的脸部的功能。脸部检测单元161根据从图像拾取单元130输入的图像数据来检测用户的脸部。脸部检测单元161向运动检测单元162输出与检测到的脸部相关的信息。例如，在用户终端100的用户自拍时，脸部检测单元161检测用户的脸部并且向运动检测单元162输出与检测到的脸部相关的信息。

运动检测单元162具有用于基于与从脸部检测单元161输入的、与脸部相关的信息来检测由图像拾取单元130拍摄的用户的脸部的运动的变化的功能。例如，运动检测单元162检测用户的眼睛的运动（例如，用户的眼睛的眨动）作为用户的运动的变化。此处，因为用户下意识地眨动，所以即使用户并不有意地移动他/她的脸部，运动检测单元162仍将能够通过检测用户的眨动来容易地检测到用户的运动的变化。运动检测单元162向代码生成单元163输出与检测到的眼睛运动相关的信息（包括与眨动的定时相关的信息）。注意，尽管在以上描述中检测用户的眼睛运动，但是本公开不限于此。作为一个示例，也有可能检测嘴唇的运动作为用户的脸部的运动的变化。

代码生成单元163具有用于基于从运动检测单元162输入的、与脸部的运动（眼睛的运动）相关的信息来生成与其中由运动检测单元162检测到用户的眼睛的运动的变化的变化定时相关的定时数据（第二定时数据）。代码生成单元163向通信控制单元164输出所生成的第二定时数据。

现在将参照图4来描述所生成的定时数据。图4示出了代码的示例作为由代码生成单元163生成的定时数据。此处，为了便于由通信单元140进行处理，图4中所示的代码以XML（可扩展标记语言）来表达。写入用户终端100的内部时钟的绝对时间作为检测时间。

现在将参照图3来继续对控制单元160的配置的描述。通信控制单元164控制通过通信单元140进行的与TV装置200的通信。例如，通信控制单元164控制通信单元140向TV装置200发送由代码生成单元163生成的第二定时数据。通信单元140向TV装置200发送作为指定数量的包数据的第二定时数据。在这样做时，通信控制单元164使得发送与指定数量的包数据相对应的第二定时数据，以便抑制由TV装置200进行的处理中的任何突然的增加。注意，通过测量用于与TV装置200的通信的通信延迟，通信控制单元164可以同步用户终端100和TV装置200的内部时钟。用来这样做的算法可以通过并入公知的NTP（网络时间协议）来实现。

1-3.TV装置的详细配置

现在将参照图5来描述TV装置200的详细配置，作为根本公开的实施例的信息处理装置的示例。图5是示出了根据第一实施例的TV装置200的详细配置的图。

如图5中所示，TV装置200包括输入单元210、显示单元220、图像拾取单元230、通信单元240、存储单元250和控制单元260。

输入单元210具有用于从用TV装置200的用户接收对操作信息的输入的功能。例如，输入单元210接收在用户做出操作时的输入，以使得由图像拾取单元230执行图像拾取。输入单元210由诸如开关、按钮、触摸面板、键盘和/或鼠标的输入装置来构建。

显示单元220具有用于基于由控制单元260进行的控制来显示各种信息的功能。例如，显示单元220显示由图像拾取单元230拾取的图像。显示单元120由诸如液晶显示器、等离子显示器或有机EL（电致发光）显示器的显示装置来构建。

图像拾取单元230具有用于对对象进行拍摄的功能。例如，图像拾取单元230拾取（即，拍摄）正在使用用户终端100的用户（在图1中，用户终端100A的用户A、用户终端100B的用户B以及用户终端100C的用户C）的图像。由图像拾取单元230拾取的图像数据经受图像处理等，并且顺次地输入控制单元260。作为一个示例，图像拾取单元230将以固定的间隔拾取的图像数据（帧）输出给控制单元260。图像拾取单元230由诸如具有透镜和图像拾取元件的相机的图像拾取装置来构建。

通信单元240是具有基于由控制单元260进行的控制来与用户终端100通信的发送单元和接收单元的功能的通信接口。通信单元240在由图像拾取单元230进行图像拾取期间从用户终端100接收由用户终端100生成的第二定时数据。通信单元240由诸如有线或无线LAN（局域网）、蓝牙通信卡、通信路由器或通信调制解调器的图像装置来构建。

存储单元250具有用于存储由控制单元260使用的各种信息的功能。例如，存储单元250存储由图像拾取单元230拾取的图像数据。存储单元250由诸如磁存储设备、半导体存储设备或光学存储设备的存储装置来构建。

控制单元260具有用于控制TV装置200的整体操作的功能，并且作为一个示例，能够基于从输入单元210输出的操作信息、由通信单元240接收的信息等来控制TV装置200的操作。控制单元260由CPU（中央处理单元）、ROM（只读存储器）和RAM（随机存取存储器）等来构建。

如图5中所示，控制单元260包括脸部检测单元261、运动检测单元262、代码生成单元263、通信控制单元264和确定单元265。

脸部检测单元261具有用于分析从图像拾取单元230顺次输入的图像数据并且从所分析的图像数据当中检测用户（用户A、用户B、用户C）的脸部的功能。脸部检测单元261在从图像拾取单元230输入的图像数据中检测用户的脸部。脸部检测单元261向运动检测单元262输出与检测到的脸部相关的信息。

运动检测单元262具有用于基于与从脸部检测单元261输入的、与脸部相关的信息来检测由图像拾取单元230拍摄的用户（用户A、用户B、用户C）的脸部的运动的变化的功能。例如，运动检测单元262检测用户的眼睛的运动（例如，用户的眼睛的眨动）作为用户的运动的变化。此处，因为用户下意识地眨动，所以即使用户并不有意地移动他/她的脸部，运动检测单元262仍将能够通过检测用户的眨动来容易地检测到用户的运动的变化。运动检测单元262向代码生成单元263输出与检测到的眼睛运动相关的信息（包括与眨动的定时相关的信息）。注意，尽管在以上描述中检测用户的眼睛运动，但是本公开不限于此。作为一个示例，也有可能检测用户的嘴唇的运动作为用户的脸部的运动的变化。

代码生成单元263具有用于基于从运动检测单元262输入的、与脸部的运动（眼睛的运动）相关的信息来生成与其中由运动检测单元262检测到用户的眼睛的运动的变化的变化定时相关的定时数据（第一定时数据）。代码生成单元263向通信控制单元264输出所生成的第一定时数据。

通信控制单元264控制通过通信单元240进行的与用户终端100的通信。例如，通信控制单元264控制通信单元240在由图像拾取单元230进行图像拾取期间接收由用户终端100生成的第二定时数据。通信控制单元264向确定单元265输出由通信单元240接收的第二定时数据。

确定单元265确定由图像拾取单元230拍摄的对象和由用户终端100拍摄的对象是否是相同或相似的对象。更具体地，确定单元265基于由代码生成单元263生成的第一定时数据和由通信单元240接收的第二定时数据，确定两个对象是否是相同或相似的对象。在该情况中，因为这样的确定是基于两个定时数据的，所以与比较图像自身时相比，有可能减少处理负担，并且作为结果，有可能实时地提取相同和相似的用户。

而且，在第一定时数据中的变化定时和第二定时数据中的变化定时之间的差小于指定值时，确定单元265可以确定由图像拾取单元230拍摄的对象和由用户终端100拍摄的对象是相同或相似的对象。通过这样做，即使检测到的两个定时数据由于用户终端100和TV装置200对于用户具有不同的视点而轻微不同，仍将有可能以高可能性检测到相同或相似的用户。

然而，第一定时数据和第二定时数据可以包括在一定时段内的不同时间处检测到的多个变化定时（参见图6，稍后描述）。在该情况中，确定单元265对第一定时数据和第二定时数据中包括的相应变化定时进行比较（例如，通过比较定时之间的误差）。此处，如果所比较的变化定时之间的差低于预定值的发生次数的比例大于预定比例，则确定单元265可以确定对象是相同或相似的对象。通过这样做，有可能以高可能性检测到由具有不同视点的用户终端100和TV装置200拍摄的相同或相似的用户。

此处，将参照图6A和6B来描述由确定单元265执行的特定确定处理。注意，图6A是示出了由TV装置200和用户终端100生成的示例时间表序列的图。图6B是示出了由确定单元265执行的确定处理的示例算法的图。

在图6A中，t_i示出了由TV装置200示出的时间表序列（第一定时数据），而u_i示出了由用户终端100生成的时间表序列（第二定时数据）。此处，t_i和u_i示出了在用户的眼睛眨动时的瞬间的定时。此处，为了容易说明，假定由图1中的用户终端100A、100B和100C之外的用户终端生成了时间表序列u_i。

在图6B中的算法中，确定单元265首先计算T_min和T_max。T_min和T_max是覆盖t_i和u_i的值的范围（以下称为“时间范围”）的最小值和最大值。在图6A中，T_min是u₂而T_max是t₁₂。

接下来，确定单元265计算i_min和i_max。此处，i_min和i_max是时间范围中包括的t_i的索引的最小值和最大值。在图6A中，i_min是t₉而i_max是t₁₂。

接下来，确定单元265求出对于时间范围中的每个t_i最接近的u。在图6A中，u₃最接近t₉，u₄最接近t₁₀，u₅最接近t₁₁，而u₆最接近t₁₂。

接下来，确定单元265求出如上所述地求出的t_i和u的对的两个时间戳之间的误差err。就是说，确定单元265计算t₉和u₃之间的误差、t₁₀和u₄之间的误差、t₁₁和u₅之间的误差、以及t₁₂和u₆之间的误差。确定单元265随后对所计算的err等于或低于上限值ERR_max的次数进行计数。

确定单元265随后计算示出了相对于时间范围中的每个t_i求出了相应的u的次数的比例（此处名为“score”）。如果所计算的score等于或高于标准值（例如90%），则确定单元265确定由TV装置200和用户终端100各自识别的用户的脸部是相同的或相似的。

注意，尽管描述了通过计算两个时间戳t_i和u之间的误差err来确定脸部是否相同或相似的示例作为确定算法，但是本公开不限于此。例如，可以使用通过比较t_i处的变化定时的差和u_i处的变化定时的差来确定脸部是否相同或相似的算法。

而且，尽管在第一实施例中描述了在TV装置200中提供确定单元265的配置，但是本公开不限于此。例如，确定单元可以在一个或多个用户终端100而非TV装置200中提供，或者可以在TV装置200和一个或多个用户终端100两者中都提供。

而且，在第一实施例中，图像拾取单元230对应于本公开的“第一图像拾取单元”，而图像拾取单元130对应于“第二图像拾取单元”。而且，运动检测单元262对应于本公开的“第一运动检测单元”，运动检测单元162对应于“第二运动检测单元”，代码生成单元263对应于“第一数据生成单元”，而代码生成单元163对应于“第二数据生成单元”。

1-4.信息处理***的操作

现在将参照图7来描述信息处理***10的示例操作。图7是示出了信息处理***10的示例操作的流程图。图7中的流程图以TV装置200对如图1中所示正在自拍的、用户终端100的用户进行拍摄来开始。

该处理由执行存储在各自的ROM中的程序的、用户终端100的控制单元160的CPU（计算机）和TV装置200的控制单元260的CPU（计算机）来实现。注意，要执行的程序可以存储在诸如CD（压缩盘）、DVD（数字多功能盘）或存储卡的存储介质上，并且/或者可以经由因特网从服务器下载。

首先，用户终端100输入由图像拾取单元130拾取的图像。以相同方式，TV装置200输入由图像拾取单元230拾取的图像（步骤S102）。接下来，用户终端100的面部检测单元161检测从图像拾取单元130输入的图像中的面部。以相同方式，TV装置200的面部检测单元261还检测从图像拾取单元230输入的图像中的面部（步骤S104）。

因为针对检测到的脸部生成图4中所示的代码的处理在用户终端100和TV装置200处是相同的，所以以下将描述TV装置200处的处理的示例。

接下来，TV装置200的运动检测单元262计算与在前一帧中检测到的面部的组（id=0、……、n）当中位于最近距离处的面部（id=a）的距离dist（步骤S106）。运动检测单元262随后确定所计算的距离dist是否等于或高于阈值（步骤S108）。

如果在步骤S108中距离dist等于或高于阈值（是），则运动检测单元262指定新id（=b）作为要新登记的面部（步骤S110）。代码生成单元263接下来生成针对具有新id（=b）的面部的代码（步骤S114）。

如果在步骤S108中距离dist低于阈值（否）。则运动检测单元262取出针对已指定了id的面部（id=a）的代码（定时数据）。

在步骤S112或者步骤S114之后，运动检测单元262确定是否检测到用户的眼睛的眨动（步骤S116）。如果在步骤S116中检测到用户的眼睛的眨动（是），则代码生成单元263将眨动的瞬间的时间戳添加到所生成的代码或者所取出的代码（步骤S118）。

通过这样做，TV装置200生成图4中所示的定时数据。以相同方式，用户终端100也通过执行上述处理S106至S118来生成图4中所示的定时数据。注意，如果在步骤S104中检测到多个面部，则针对每个检测到的面部执行上述步骤S106至S118中的处理。

如果从在步骤S102中输入图像起经过了一定的时间段，则用户终端100和TV装置200将针对每个面部的代码发送到另一装置（步骤S122）。接下来，用户终端100和TV装置200确定是否从另一装置接收到代码（步骤S124）。

以下描述了TV装置200从用户终端100接收了代码的情况。在TV装置200在步骤S124中从用户终端100接收了代码（id=x）时（是），TV装置200的确定单元265针对所存储的脸部的组的代码（id=0、……、n）和所接收的面部的代码（id=x）执行稍早描述的图6B中的确定处理（步骤S126）。此处，确定单元265通过将所接收的面部代码（id=x）和脸部的组的代码当中与所接收的脸部代码相对应的脸部的代码（此处假定为id=m）进行比较来执行确定。

在确定处理中，确定单元265针对脸部的代码（id=x）和脸部的代码（id=m）确定图6B中的比例“score”是否大于指定的标准值（步骤S128）。如果在步骤S128中score大于指定的标准值（是），则确定单元265确定与两个代码相关的面部是相同（或相似）的面部（步骤S130）。

注意，在步骤S126中TV装置200从多个用户终端100接收了代码时，确定单元265针对每个所接收的面部代码来执行如上所述的步骤S126至S130中的处理。

根据第一实施例，TV装置200在由图像拾取单元230进行图像拾取期间从用户终端100接收由用户终端100生成的第二定时数据。TV装置200随后基于第一定时数据和第二定时数据，确定由图像拾取单元230拍摄的用户和由图像拾取单元130拍摄的用户是否是相同或相似的用户。

在该情况中，在由具有不同视点的TV装置200和用户终端100拍摄了用户时，即使用户以不同的朝向面对各个装置，仍将有可能基于用户的面部的运动的定时来确定是否正在拍摄相同用户。这意味着在由具有不同视点的TV装置200和用户终端100拍摄了用户时，有可能容易地提取相同或相似的用户。特别地，因为不需要预先存储指定的面部图像，所以有可能实时地提取相同或相似的面部。注意，尽管在以上描述中提取用户终端100的用户，但是也有可能提取正在由TV装置200和用户终端100拍摄的用户以外的人。

2.第二实施例

现在将参照图8来描述根据本公开的第二实施例的TV装置300，作为根据本公开的实施例的信息处理装置的示例。图8是示出了根据第二实施例的TV装置300的详细配置的图。TV装置300的配置与稍早描述的图5中的TV装置200的配置相同，但是TV装置300的控制单元360具有与TV装置200的控制单元260不同的配置。出于该原因，以下描述将聚焦于控制单元360的配置。注意，此处没有描述的部件元件的功能等与图5中所示的配置中相同。

如图1中所示，根据第二实施例的TV装置300能够拍摄三个用户终端100A、100B和100C的用户A、B和C。而且，用户A、B和C能够利用各自的用户终端100A、100B和100C作为输入设备来操作TV装置300。

如图8中所示，控制单元360在稍早描述的面部检测单元261、运动检测单元262、代码生成单元263、通信控制单元264和确定单元265之外，包括显示控制单元366和关联单元367。

显示控制单元366控制显示单元220的显示。例如，显示控制单元366使得与由图像拾取单元230拍摄的用户（用户终端100A的用户A、用户终端100B的用户B和用户终端100C的用户C）相对应的图像如图9中所示地显示在显示单元220上。

图9是示出了显示单元220的示例显示的图。在图9中，示出了用户A的面部的面部图像I1、示出了用户B的面部的面部图像I2以及示出了用户C的面部的面部图像I3显示在显示屏幕的下部，作为与由图像拾取单元230拍摄的用户相对应的图像。注意，图像（照片等）也显示在显示屏幕的上部。

如果确定单元265确定了由图像拾取单元230拍摄的用户和由用户终端100拍摄的用户是相同或相似的用户，则关联单元367将显示单元220上显示的相应的脸部图像与该用户终端100相关联。在图9中，关联单元367将脸部图像I1与用户终端100A相关联，将脸部图像I2与用户终端100B相关联，并且将脸部图像I3与用户终端100C相关联。通过这样做，因为在TV装置300（即，显示单元220上显示的脸部图像）和各个用户终端100A、100B和100C之间自动地建立了对应关系，所以用户不需要执行用来将TV装置300（更具体地，脸部图像）和用户终端相关联的操作。

此处，用户（即，TV装置300的用户或者用户终端100的用户）有可能在图9中所示的显示屏幕上做出操作，并且作为一个示例，可以针对脸部图像I1、I2和I3执行操作。出于该原因，TV装置300的输入单元210针对被关联单元367与用户终端100相关联的图像来接收操作。

例如，如果用户在图9中所示的显示屏幕上执行将照片P1拖拽并放置到脸部图像I1的操作，则通信单元240将照片P1发送到与脸部图像I1相关联的用户终端100A。以这种方式，通信单元240将照片P2发送到与脸部图像I2相关联的用户终端100B，并且将照片P3发送到与脸部图像I3相关联的用户终端100C。以这种方式，在输入单元接收了针对脸部图像的操作时，通信控制单元264控制通信单元240来执行与和该脸部图像相关联的用户终端100的通信，并且执行与用户操作相对应的处理。

根据第二实施例，因为在TV装置300上显示的脸部图像和用户终端100A、100B和100C之间自动地建立了对应关系，所以用户不需要执行将TV装置300上显示的脸部图像和用户终端相关联的操作。还变得有可能的是，由用户在屏幕上根据直观的操作来执行诸如数据发送的通信。

3.第三实施例

现在将参照图10来描述根据本公开的第三实施例的信息处理***11。图10是示出了根据第三实施例的信息处理***11的图。

图10中所示的信息处理***11包括用户终端100、TV装置200和出现在相同网络上的TV装置400。TV装置200和用户终端100位于相同的房间中，而TV装置400位于由墙壁隔开的另一房间中。出于该原因，TV装置200能够对用户终端100的用户进行拍摄，而TV装置400不能对用户终端100的用户进行拍摄。

而且，在该第三实施例中，用户终端100、TV装置200和TV装置400生成参照图4描述的代码（定时数据）。此处，在用来建立通信连接的配对期间，将所生成的代码作为PIN（个人识别数字）来发送。随后在针对其所发送和所接收的代码匹配的装置之间建立通信。通过这样做，可以针对位于相同的房间中的用户终端100和TV装置200来安全地执行配对。

图11是有助于说明在执行配对处理时信息处理***11的操作的序列图。

首先，用户终端100向出现在相同的网络上的设备（此处是TV装置200和TV装置400）广播用来搜索设备的包（步骤S202、S204）。在接收到搜索包时，TV装置200和TV装置400向用户终端100发送响应包（步骤S206、S208）。

接下来，用户终端100、TV装置200和TV装置400各自执行生成稍早描述的图4中所示的代码（定时数据）的处理（步骤S210、S212、S214）。此处，因为用户终端100和TV装置200对用户终端100的用户进行拍摄，所以生成与用户的面部的运动（即，眼睛的眨动）相对应的代码。同时，因为TV装置400不能对用户终端100的用户进行拍摄，所以生成不与用户终端100的用户的面部的运动相对应的代码（或者可替选地，可以不生成代码）。注意，尽管在以上描述中在发送响应包之后执行代码的生成，但是本公开不限于此，并且例如可以在响应包的发送之前执行代码的生成。

接下来，用户终端100向TV装置200和TV装置400发送在步骤S212中生成的代码作为PIN码（步骤S216、S218）。就是说，在图4中所示的代码也用作用来建立通信连接的配对期间的PIN码，这意味着不需要生成专用的PIN码。

TV装置200的确定单元265将由通信单元240从用户终端100接收的代码和在步骤S210中生成的代码进行比较（步骤S220）。此处，因为TV装置200和用户终端100对相同的用户进行拍摄，所以确定单元265确定两个代码是相同的。TV装置200的通信控制单元264随后接受连接请求并且向用户终端100发送包（步骤S222）。

以相同方式，TV装置400将从用户终端100接收的代码和在步骤S214中生成的代码进行比较（步骤S224）。此处，因为TV装置400不能对用户终端100的用户进行拍摄，所以确定两个代码不是相同的。TV装置400随后向用户终端100发送针对连接请求的拒绝包（步骤S226）。

此后，在用户终端100和相同的网络上的TV装置200、400当中，位于相同的房间中的用户终端100和TV装置200彼此建立连接（S228）。通过这样做，完成了根据第三实施例的配对处理。

根据第三实施例，因为有可能使用通过对用户进行拍摄而生成的代码来识别位于相同的房间中的识别（用户终端100和TV装置200），所以有可能使用简单的方法来安全地执行用户终端100和TV装置200的配对。

本领域普通技术人员应该理解，取决于设计需求和其他因素，可以存在各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。

尽管在以上描述的实施例中运动检测单元检测身体部位（诸如眼睛或嘴唇）的运动，但是本公开不限于此。作为示例，也有可能检测用户的手或脚的运动。而且，尽管在以上实施例中描述了对象是用户的示例，但是本公开不限于此，并且对象可以是任何运动的对象，诸如动物。

显然的是，以上描述的实施例中的流程图中的步骤可以是以所给出的顺序按时间次序执行的处理。然而，这些处理不需要按时间次序来执行，本公开也包括分别地或者并行地执行这些处理的情况。对于按时间次序执行的步骤，同样显然的是这些步骤的顺序可以取决于环境适当地改变。

此外，本技术还可以如下地配置。

（1）一种信息处理装置，其包括：

图像拾取单元，其对对象进行拍摄；

运动检测单元，其检测由所述图像拾取单元拍摄的对象的运动的变化；

数据生成单元，其生成与其中所述运动检测单元检测到运动的变化的变化定时相关的第一定时数据；

接收单元，其在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；以及

确定单元，其基于由所述数据生成单元生成的所述第一定时数据和由所述接收单元接收的所述第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

（2）根据（1）所述的信息处理装置，

其中，所述确定单元在所述第一定时数据中的变化定时和所述第二定时数据中的变化定时之间的差小于指定值时，用于确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象。

（3）根据（2）所述的信息处理装置，

其中，所述第一定时数据和所述第二定时数据各自包括在一定的时段内的不同定时处检测到的多个变化定时，并且

其中，确定单元将所述第一定时数据和所述第二定时数据中包括的相应变化定时相互比较，并且如果所比较的变化定时之间的差小于所述指定值的发生比例大于指定比例，则确定所拍摄的对象是相同或相似的对象。

（4）根据（1）至（3）中任一项所述的信息处理装置，

其中，所述运动检测单元检测人眼的眨动作为对象的运动的变化。

（5）根据（1）至（4）中任一项所述的信息处理装置，其还包括：

显示控制单元，其使得显示单元显示与由所述图像拾取单元拍摄的对象相对应的图像；以及

关联单元，其在所述确定单元确定了由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象时，用于将所述显示单元上显示的图像与所述另一装置相关联。

（6）根据（5）所述的信息处理装置，其还包括：

输入单元，其针对已由所述关联单元与所述另一装置相关联的图像来接收操作；以及

通信控制单元，其在由所述输入单元接收了操作时，用于与所述另一装置通信。

（7）根据（1）至（6）中任一项所述的信息处理装置，

其中，所述接收单元接收所述第二定时数据作为在用于建立与所述另一装置的通信连接的配对期间的PIN码。

（8）根据（7）所述的信息处理装置，其还包括：

通信控制单元，其在所述确定单元确定了由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象时，用于建立与所述另一装置的通信连接。

（9）一种信息处理方法，其包括：

检测由装置的图像拾取单元拍摄的对象的运动的变化；

生成与其中检测到运动的变化的变化定时相关的第一定时数据；

在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；以及

基于所生成的第一定时数据和所接收的第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

（10）一种程序，其使得计算机：

检测由装置的图像拾取单元拍摄的对象的运动的变化；

生成与其中检测到运动的变化的变化定时相关的第一定时数据；

在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；并且

基于所生成的第一定时数据和所接收的第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

（11）一种信息处理***，其包括：

信息处理装置，其包括对对象进行拍摄的第一图像拾取单元，检测由所述第一图像拾取单元拍摄的对象的运动的变化的第一运动检测单元，生成与其中所述第一运动检测单元检测到运动的变化的变化定时相关的第一定时数据的第一数据生成单元；以及

通信装置，其包括对对象进行拍摄的第二图像拾取单元，检测由所述第二图像拾取单元拍摄的对象的运动的变化的第二运动检测单元，生成与其中所述第二运动检测单元检测到运动的变化的变化定时相关的第二定时数据的第二数据生成单元，以及向所述信息处理装置发送由所述第二数据生成单元生成的所述第二定时数据的发送单元；

其中，所述信息处理装置还包括在由所述第一图像拾取单元进行拍摄期间经由所述发送单元从所述通信装置接收所述第二定时数据的接收单元，以及基于所述第一定时数据和所述第二定时数据来确定由所述第一图像拾取单元拍摄的对象和由所述第二图像拾取单元拍摄的对象是否是相同或相似的对象的确定单元。

本公开包含与2011年5月26日提交日本专利局的日本在先专利申请JP 2011-117610中公开的主题内容相关的主题内容，该在先申请的全部内容通过引用合并于此。

Claims (11)

1.一种信息处理装置，其包括：

图像拾取单元，其对对象进行拍摄；

运动检测单元，其检测由所述图像拾取单元拍摄的对象的运动的变化；

数据生成单元，其生成与其中所述运动检测单元检测到运动的变化的变化定时相关的第一定时数据；

接收单元，其在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；以及

确定单元，其基于由所述数据生成单元生成的所述第一定时数据和由所述接收单元接收的所述第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

2.根据权利要求1所述的信息处理装置，

其中，所述确定单元在所述第一定时数据中的变化定时和所述第二定时数据中的变化定时之间的差小于指定值时，用于确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象。

3.根据权利要求2所述的信息处理装置，

其中，所述第一定时数据和所述第二定时数据各自包括在一定的时段内的不同定时处检测到的多个变化定时，并且

其中，确定单元将所述第一定时数据和所述第二定时数据中包括的相应变化定时相互比较，并且如果所比较的变化定时之间的差小于所述指定值的发生比例大于指定比例，则确定所拍摄的对象是相同或相似的对象。

4.根据权利要求1所述的信息处理装置，

其中，所述运动检测单元检测人眼的眨动作为对象的运动的变化。

5.根据权利要求1所述的信息处理装置，其还包括：

显示控制单元，其使得显示单元显示与由所述图像拾取单元拍摄的对象相对应的图像；以及

关联单元，其在所述确定单元确定了由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象时，用于将所述显示单元上显示的图像与所述另一装置相关联。

6.根据权利要求5所述的信息处理装置，其还包括：

输入单元，其针对已由所述关联单元与所述另一装置相关联的图像来接收操作；以及

通信控制单元，其在由所述输入单元接收了操作时，用于与所述另一装置通信。

7.根据权利要求1所述的信息处理装置，

其中，所述接收单元接收所述第二定时数据作为在用于建立与所述另一装置的通信连接的配对期间的PIN码。

8.根据权利要求7所述的信息处理装置，其还包括：

通信控制单元，其在所述确定单元确定了由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是相同或相似的对象时，用于建立与所述另一装置的通信连接。

9.一种信息处理方法，其包括：

检测由装置的图像拾取单元拍摄的对象的运动的变化；

生成与其中检测到运动的变化的变化定时相关的第一定时数据；

在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；以及

基于所生成的第一定时数据和所接收的第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

10.一种程序，其使得计算机：

检测由装置的图像拾取单元拍摄的对象的运动的变化；

生成与其中检测到运动的变化的变化定时相关的第一定时数据；

在由所述图像拾取单元进行拍摄期间从另一装置接收第二定时数据，所述第二定时数据与在检测到由所述另一装置拍摄的对象的运动时的变化定时相关；并且

基于所生成的第一定时数据和所接收的第二定时数据，确定由所述图像拾取单元拍摄的对象和由所述另一装置拍摄的对象是否是相同或相似的对象。

11.一种信息处理***，其包括：

信息处理装置，其包括对对象进行拍摄的第一图像拾取单元，检测由所述第一图像拾取单元拍摄的对象的运动的变化的第一运动检测单元，生成与其中所述第一运动检测单元检测到运动的变化的变化定时相关的第一定时数据的第一数据生成单元；以及

通信装置，其包括对对象进行拍摄的第二图像拾取单元，检测由所述第二图像拾取单元拍摄的对象的运动的变化的第二运动检测单元，生成与其中所述第二运动检测单元检测到运动的变化的变化定时相关的第二定时数据的第二数据生成单元，以及向所述信息处理装置发送由所述第二数据生成单元生成的所述第二定时数据的发送单元；

其中，所述信息处理装置还包括在由所述第一图像拾取单元进行拍摄期间经由所述发送单元从所述通信装置接收所述第二定时数据的接收单元，以及基于所述第一定时数据和所述第二定时数据来确定由所述第一图像拾取单元拍摄的对象和由所述第二图像拾取单元拍摄的对象是否是相同或相似的对象的确定单元。

Images