CN110351326A - 信息处理方法、信息处理装置以及信息处理*** - Google Patents

Abstract

本发明提供一种信息处理方法、信息处理装置以及信息处理***，所述方法包括以下步骤：让计算机，获取第1人物的生体信息；与生体信息的获取时机同步地获取拍摄了第1人物的图像；基于图像，确定用于识别第1人物的人物识别信息；将所确定的人物识别信息、所获取的生体信息、所获取的图像相互对应地存储在存储部；获取由与第1人物不同的第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息；从存储部提取与获取的人物识别信息和获取的状态信息所对应的生体信息相对应的图像。

Description

信息处理方法、信息处理装置以及信息处理***

技术领域

本发明涉及一种提取指定的图像的信息处理方法、信息处理装置以及信息处理***。

背景技术

以往，在幼儿园或托儿所等保育孩子的保育员，通过记录孩子每天的行动，并确认孩子的兴趣的变化以及孩子的游乐方式的变化，来帮助支援孩子的父母的育儿。

例如，日本专利公开公报特开2015-122005号公报所示的游乐行动识别***，是在空间内可任意移动的游乐行动识别***，具备输出加速度的玩具、获取在空间任意移动的孩子的位置以及姿势的距离图像传感器、利用孩子的位置和姿势以及玩具的加速度，识别根据孩子的社会行为方式而分类的第1游乐行动和根据心理功能而分类的第2游乐行动的中央控制装置。

在日本专利公开公报特开2015-122005公报中，保育员通过确认被识别的两个游乐行动，可以适当地掌握孩子正在进行什么样的游乐行动。

然而，在上述以往技术中，虽然可以掌握孩子正在进行什么样的游乐行动，但是，难以确定孩子们感兴趣的游乐行动并提供表示孩子们在进行感兴趣的游乐行动时的样子的图像，因此需要进一步改善。

发明内容

本发明是为了解决上述问题而做出的发明，其目的在于提供一种信息处理方法、信息处理装置以及信息处理***，能够确定第1人物感兴趣的行动并提供表示第1人物在进行感兴趣的行动时的样子的图像。

本发明的一实施方式涉及的信息处理方法，让计算机，获取第1人物的生体信息；与所述生体信息的获取时机同步地获取拍摄了所述第1人物的图像；基于所述图像，确定用于识别所述第1人物的人物识别信息；将所确定的所述人物识别信息、所获取的所述生体信息、所获取的所述图像相互对应地存储在存储部；获取由与所述第1人物不同的第2人物所选择的所述第1人物的所述人物识别信息和由所述第2人物所选择的表示所述第1人物的状态的状态信息；从所述存储部提取与获取的所述人物识别信息和获取的所述状态信息所对应的所述生体信息相对应的所述图像。

附图说明

图1是表示本发明的第1实施方式涉及的信息处理***的构成的一个例子的示意图。

图2是表示本发明的第1实施方式中的生体信息测量装置的构成的示意图。

图3是表示本发明的第1实施方式中的摄像机的构成的示意图。

图4是表示本发明的第1实施方式中的终端装置的构成的示意图。

图5是表示本发明的第1实施方式中的服务器的构成的示意图。

图6是表示本发明的第1实施方式中的图像DB的数据构成的一个例子的示意图。

图7是用于说明本发明的第1实施方式中的服务器的动作的流程图。

图8是在本发明的第1实施方式中表示终端装置中的日志制作指示的输入画面的一个例子的示意图。

图9是在本发明的第1实施方式中表示终端装置中的日志制作指示的发送画面的一个例子的示意图。

图10是在本发明的第1实施方式中用于说明通过提取部提取的拍摄图像的示意图。

图11是在本发明的第1实施方式中表示受理终端装置中的候选图像选择的选择画面的一个例子的示意图。

图12是表示本发明的第2实施方式中的服务器的构成的示意图。

图13是用于说明本发明的第2实施方式中的服务器的动作的流程图。

图14是在本发明的第2实施方式中表示受理终端装置中的候选图像选择的选择画面的一个例子的示意图。

图15是表示本发明的第3实施方式中的服务器的构成的示意图。

图16是表示本发明的第3实施方式中的图像DB的数据构成的一个例子的示意图。

图17是用于说明本发明的第3实施方式中的服务器的动作的流程图。

图18是在本发明的第3实施方式中表示受理终端装置中的候选图像选择的选择画面的一个例子的示意图。

具体实施方式

(本发明的基础知识)

如上所述，在幼儿园或托儿所等保育孩子的保育员，制作记录了孩子每天的行动的保育日志，并确认孩子的兴趣的变化以及孩子的游乐方式的变化。此时，保育员需要制作多个孩子的保育日志，需要花费很多时间在制作保育日志的工作中。

在以往的技术中，虽然可以掌握孩子们正在进行什么样的游乐行动，但是，难以确定孩子们感兴趣的游乐行动并提供表示孩子们在进行感兴趣的游乐行动时的样子的图像。

为了解决以上的问题，本发明的一方面涉及的信息处理方法，让计算机，获取第1人物的生体信息；与所述生体信息的获取时机同步地获取拍摄了所述第1人物的图像；基于所述图像，确定用于识别所述第1人物的人物识别信息；将所确定的所述人物识别信息、所获取的所述生体信息、所获取的所述图像相互对应地存储在存储部；获取由与所述第1人物不同的第2人物所选择的所述第1人物的所述人物识别信息和由所述第2人物所选择的表示所述第1人物的状态的状态信息；从所述存储部提取与获取的所述人物识别信息和获取的所述状态信息所对应的所述生体信息相对应的所述图像。

根据此构成，第1人物的生体信息被获取。与生体信息的获取时机同步地获取拍摄了第1人物的图像。基于图像确定用于识别第1人物的人物识别信息。将所确定的人物识别信息、所获取的生体信息、所获取的图像相互对应地存储在存储部。获取由与第1人物不同的第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息。从存储部提取与获取的人物识别信息和获取的状态信息所对应的生体信息相对应的图像。

由于从存储部提取由第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息所对应的生体信息相对应的图像，所以可以确定第1人物感兴趣的行动并能提供表示第1人物在进行感兴趣的行动时的样子的图像。

而且，在所述的信息处理方法，所述状态信息也可以包含表示所述第1人物的心理状态的心理状态信息。

根据此构成，由于第1人物的人物识别信息和表示第1人物的心理状态的心理状态信息所对应的生体信息相对应的图像被从存储部提取，所以可以提取对应于第1人物的心理状态的图像。

而且，在所述的信息处理方法，还可以进一步将提取的所述图像发送到所述第2人物使用的终端装置。

根据此构成，由于所提取的图像被发送到第2人物使用的终端装置，所以第2人物可以使用终端装置，确认与第2人物所选择的第1人物的状态相对应的图像。

而且，在所述的信息处理方法，还可以进一步将提取的所述图像、获取所述图像的日期、获取的所述人物识别信息相互对应地存储在所述存储部；并且，还可以进一步将获取的所述人物识别信息所对应的过去的所述图像作为履历图像从所述存储部提取。

根据此构成，提取的图像、获取图像的日期、获取的人物识别信息被相互对应地存储在存储部。并且，获取的人物识别信息所对应的过去的图像作为履历图像被从存储部提取。

由于可以从存储部提取由第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息所对应的生体信息相对应的图像，还可以将人物识别信息所对应的过去的所述图像作为履历图像从存储部提取，所以可以提供表示第1人物在进行感兴趣的行动时的样子的图像，并且可以提供表示第1人物过去的样子的履历图像。

而且，在所述的信息处理方法，还可以进一步将提取的所述图像、提取的所述履历图像发送到所述第2人物使用的终端装置。

根据此构成，由于提取的履历图像与提取的图像一起被发送到第2人物使用的终端装置，所以第2人物可以使用终端装置，确认与第2人物所选择的第1人物的状态相对应的图像和表示第1人物过去的样子的履历图像。而且，第2人物还可以比较所提供的这次的图像和履历图像。

而且，在所述的信息处理方法，具有所述人物识别信息的代码被附加在所述第1人物的表面；所述人物识别信息的确定，也可以通过读取所述图像内的所述代码来确定所述人物识别信息。

根据此构成，具有人物识别信息的代码被附加在第1人物的表面。人物识别信息的确定，可以通过读取图像内的代码来确定人物识别信息。

因此，通过读取被附加在图像内的第1人物的表面的代码，可以容易地确定存在于图像内的第1人物的人物识别信息。

而且，在所述的信息处理方法，所述人物识别信息的确定，也可以通过认证所述图像内的所述第1人物的脸部来确定所述人物识别信息。

根据此构成，人物识别信息的确定可以通过认证图像内的第1人物的脸部来确定人物识别信息。

因此，通过认证图像内的第1人物的脸部，可以容易地确定存在于图像内的第1人物的人物识别信息。

而且，在所述的信息处理方法，还进一步基于所述图像确定用于识别玩具的玩具识别信息；所述存储将所述人物识别信息、所述生体信息、所述图像、所述玩具识别信息相互对应地存储在所述存储部；所述提取，将获取的所述人物识别信息、获取的所述状态信息所对应的所述生体信息相对应的所述图像以及所述玩具识别信息从所述存储部提取。

根据此构成，基于图像确定用于识别玩具的玩具识别信息。在存储时将人物识别信息、生体信息、图像、玩具识别信息相互对应地存储在存储部。在提取时将获取的人物识别信息、获取的状态信息所对应的生体信息相对应的图像以及玩具识别信息从存储部提取。

由于可以从存储部提取由第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息所对应的生体信息相对应的图像以及玩具识别信息，所以可以确定第1人物感兴趣的行动以及玩具，并且可以提供表示第1人物在进行感兴趣的行动时的样子的图像以及用于识别第1人物感兴趣的玩具的玩具识别信息。

而且，在所述的信息处理方法，具有所述玩具识别信息的代码被附加在所述玩具的表面；

所述玩具识别信息的确定，也可以通过读取所述图像内的所述代码，来确定所述玩具识别信息。

根据此构成，具有玩具识别信息的代码被附加在玩具的表面。玩具识别信息的确定，可以通过读取图像内的代码来确定玩具识别信息。

因此，通过读取被附加在图像内的玩具的表面的代码，可以容易地确定存在于图像内的玩具的玩具识别信息。

而且，在所述的信息处理方法，也可以是，所述人物识别信息的确定，进一步确定所述图像内的所述第1人物的位置；所述玩具识别信息的确定，进一步确定所述图像内的所述玩具的位置并进一步确定在获取的所述图像之前获取的过去图像内的所述玩具的位置；所述存储，将所述第1人物的位置和所述图像内的所述玩具的位置之间的距离比规定的阈值短且位置移动的所述玩具的所述玩具识别信息、所述人物识别信息、所述生体信息、所述图像相互对应地存储在所述存储部。

根据此构成，在人物识别信息的确定，进一步确定图像内的第1人物的位置。在玩具识别信息的确定，进一步确定图像内的玩具的位置并进一步确定在获取的图像之前获取的过去图像内的玩具的位置。在存储时，将第1人物的位置和图像内的玩具的位置之间的距离比规定的阈值短且位置移动的玩具的玩具识别信息、人物识别信息、生体信息、图像相互对应地存储在存储部。

由于可以将位于第1人物附近并且位置移动的玩具推定为第1人物所利用的玩具，所以能更可靠地推定第1人物所利用的玩具。

而且，在所述的信息处理方法，也可以是，所述人物识别信息的确定，进一步确定所述图像内的所述第1人物的位置；所述玩具识别信息的确定，进一步确定所述图像内的所述玩具的位置；所述存储，将所述第1人物的位置和所述玩具的位置的距离比规定的阈值短的所述玩具的所述玩具识别信息、所述人物识别信息、所述生体信息、所述图像相互对应地存储在所述存储部。

根据此构成，在人物识别信息的确定，进一步确定图像内的第1人物的位置。在玩具识别信息的确定，进一步确定图像内的玩具的位置。在存储时，将第1人物的位置和玩具的位置的距离比规定的阈值短的玩具的玩具识别信息、人物识别信息、生体信息、图像相互对应地存储在存储部。

由于可以将位于第1人物附近的玩具推定为第1人物所利用的玩具，所以能容易地推定第1人物所利用的玩具。

本发明的另一方面涉及的信息处理装置，具备通信部、处理器、存储器，其中，所述通信部获取第1人物的生体信息；所述通信部与所述生体信息的获取时机同步地获取拍摄了所述第1人物的图像；所述处理器，基于所述图像，确定用于识别所述第1人物的人物识别信息；所述处理器，将确定所述人物识别信息、获取的所述生体信息、获取的所述图像相互对应地存储在所述存储器；所述通信部，获取由与所述第1人物不同的第2人物所选择的所述第1人物的所述人物识别信息和表示由所述第2人物所选择的第1人物的状态的状态信息；所述处理器，将与所获取的所述第1人物的人物识别信息、获取的所述状态信息所对应的所述生体信息相对应的所述图像从所述存储器提取。

根据此构成，通过通信部获取第1人物的生体信息。通过通信部与生体信息的获取时机同步地获取拍摄了第1人物的图像。通过处理器，基于图像，确定用于识别第1人物的人物识别信息。通过处理器，将确定人物识别信息、获取的生体信息、获取的图像相互对应地存储在存储器。通过通信部，获取由与第1人物不同的第2人物所选择的第1人物的人物识别信息和表示由第2人物所选择的第1人物的状态的状态信息。通过处理器，将与所获取的第1人物的人物识别信息、获取的状态信息所对应的生体信息相对应的图像从存储器提取。

由于可以从存储部提取由第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息所对应的生体信息相对应的图像，所以可以确定第1人物感兴趣的行动，并且可以提供表示第1人物在进行感兴趣的行动时的样子的图像。

本发明的另一方面涉及的信息处理***，具备摄像机、生体信息测量装置、信息处理装置、终端装置，其中，所述摄像机具备：拍摄第1人物的摄影部；将通过所述摄影部拍摄的图像发送到所述信息处理装置的发送部，所述生体信息测量装置具备：测量所述第1人物的生体信息的测量部；将通过所述测量部测量的所述生体信息发送到所述信息处理装置的发送部，所述信息处理装置具备：存储部；获取由所述生体信息测量装置发送的所述生体信息的第1获取部；与所述生体信息的获取时机同步地获取由所述摄像机发送的所述图像的第2获取部；基于所述图像，确定用于识别所述第1人物的人物识别信息的确定部；将确定的所述人物识别信息、获取的所述生体信息、获取的所述图像相互对应地存储在所述存储部的存储执行部；从所述终端装置获取由与所述第1人物不同的第2人物所选择的第1人物的所述人物识别信息和表示由所述第2人物选择的所述第1人物的状态的状态信息的第3获取部；从所述存储部提取将所获取的所述人物识别信息、所获取的状态信息所对应的所述生体信息相对应的所述图像的提取部；将所提取的所述图像发送到所述终端装置的发送部，所述终端装置具备：受理所述第2人物输入的所述第1人物的所述人物识别信息和表示所述第1人物的状态的所述状态信息的输入受理部；将所输入的所述人物识别信息和所述状态信息发送到所述信息处理装置的发送部；接收由所述信息处理装置发送的所述图像的接收部；显示由所述接收部接收的所述图像的显示部。

根据此构成，通过摄像机的摄影部拍摄第1人物。通过摄像机的发送部将通过摄影部拍摄的图像发送到信息处理装置。通过生体信息测量装置的测量部测量第1人物的生体信息。通过生体信息测量装置的发送部将通过测量部测量的生体信息发送到信息处理装置。通过信息处理装置的第1获取部获取由生体信息测量装置发送的生体信息。通过信息处理装置的第2获取部与生体信息的获取时机同步地获取由摄像机发送的图像。通过信息处理装置的确定部基于图像确定用于识别第1人物的人物识别信息。通过信息处理装置的存储执行部将确定的人物识别信息、获取的生体信息、获取的图像相互对应地存储在存储部。通过信息处理装置的第3获取部从终端装置获取由与第1人物不同的第2人物所选择的第1人物的人物识别信息和表示由第2人物选择的第1人物的状态的状态信息。通过信息处理装置的提取部从存储部提取将所获取的人物识别信息、所获取的状态信息所对应的生体信息相对应的图像。通过信息处理装置的发送部将所提取的图像发送到终端装置。通过终端装置的输入受理部受理第2人物输入的第1人物的人物识别信息和表示第1人物的状态的状态信息。通过终端装置的发送部将所输入的人物识别信息和状态信息发送到信息处理装置。通过终端装置的接收部接收由信息处理装置发送的图像。通过终端装置的显示部显示由接收部接收的图像。

由于可以从存储部提取由第2人物所选择的第1人物的人物识别信息和由第2人物所选择的表示第1人物的状态的状态信息所对应的生体信息相对应的图像，所以可以确定第1人物感兴趣的行动，并且可以提供表示第1人物在进行感兴趣的行动时的样子的图像。

以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式仅是本发明具体化的一个示例，并不用于限定本发明的技术保护范围。

(第1实施方式)

图1是表示本发明的第1实施方式涉及的信息处理***的构成的一个例子的示意图。图1所示的信息处理***具备服务器1、摄像机2、多个生体信息测量装置3以及终端装置4。

另外，在第1实施方式中，以在幼儿园或托儿所保育员保育孩子并制作孩子的保育日志为例进行说明。

服务器1、摄像机2、多个生体信息测量装置3以及终端装置4分别介于网络5可相互通信地连接。网络5例如是英特网。

摄像机2被设置在室内或室外，拍摄作为保育对象的多个孩子。另外，第1实施方式中的信息处理***不仅仅具备一个摄像机2，也可以具备多个摄像机2。

多个生体信息测量装置3，例如是智能手表，安装在每个孩子的身上。多个生体信息测量装置3分别测量孩子的生体信息。

另外，在第1实施方式中，信息处理***虽然具备多个生体信息测量装置3，但是，如果通过一个生体信息测量装置3就能测量多个孩子的生体信息，信息处理***也可以只具备一个生体信息测量装置3。

终端装置4例如是智能手机、平板电脑或个人计算机，从服务器1接收各种信息并向服务器1发送各种信息。保育员(第2人物)利用终端装置4。

图2是表示本发明的第1实施方式中的生体信息测量装置的构成的示意图。图2所示的生体信息测量装置3具备生体信息测量部31、控制部32以及通信部33。

生体信息测量部31例如是各种传感器，测量孩子(第1人物)的生体信息。生体信息测量部31以规定的时间间隔测量孩子的生体信息。生体信息，例如是孩子的血流、心率、脉搏数、脑波、血压、脉波、生体气体、呼吸以及体温的至少其中之一。

控制部32，例如是CPU(中央运算处理装置)，控制整个生体信息测量装置3。

通信部33将通过生体信息测量部31测量的生体信息发送到服务器1。通信部33以规定的时间间隔(例如，1秒间隔)定期地向服务器1发送生体信息。此时，通信部33将用于识别作为测量对象的孩子的人物识别信息与生体信息一起进行发送。

另外，在第1实施方式中的信息处理***虽然具备接触型的生体信息测量装置3，但是，也可以具备非接触型的生体信息测量装置3。非接触型的生体信息测量装置3，例如使用高灵敏度的频谱扩散毫米波雷达等，以非接触的方式测量孩子的脉搏，并检测孩子的心率以及心率变动。

图3是表示本发明的第1实施方式中的摄像机的构成的示意图。图3所示的摄像机2具备摄影部21、控制部22以及通信部23。

摄影部21拍摄孩子。摄影部21以规定的时间间隔(例如，1秒间隔)进行拍摄。摄像机2，如果在室内，就设置在有孩子在的房间的天花板上，如果在室外，就设置在可以从高处拍摄有孩子在的地方的位置。

控制部22，例如是CPU，控制整个摄像机2。

通信部23将通过摄影部21拍摄的拍摄图像发送到服务器1。另外，在第1实施方式中，通信部23虽然将以规定的时间间隔拍摄的静止图像以规定的时间间隔(例如，1秒间隔)发送到服务器1，但是，本发明并不仅仅局限于此，也可以将动态图像发送到服务器1。

图4是表示本发明的第1实施方式中的终端装置的构成的示意图。图4所示的终端装置4具备通信部41、控制部42、输入受理部43以及显示部44。

输入受理部43，例如是触摸面板、键盘或鼠标等，受理与孩子(第1人物)不同的保育员(第2人物)进行的信息输入。输入受理部43受理保育员输入的用于识别孩子的人物识别信息和表示孩子的状态的状态信息。在制作孩子的保育日志时，保育员指定制作保育日志的孩子并指定用于提取附加在保育日志上的图像所需的孩子的状态。

通信部41向服务器1发送用于制作保育日志的保育日志制作指示。保育日志制作指示包含通过输入受理部43输入的人物识别信息和状态信息。通信部41，通过向服务器1发送保育日志制作指示，将通过输入受理部43输入的人物识别信息和状态信息发送到服务器1。而且，通信部41，还接收由服务器1发送的候选图像。

控制部42，例如是CPU，控制整个终端装置4。

显示部44，例如是液晶显示装置，显示通过通信部41接收到的图像。另外，在通信部41接收到多个候选图像的情况下，显示部44显示接收到的多个候选图像，输入受理部43也可以受理保育员从多个候选图像中选择所希望的候选图像的选择。此时，保育员，即可以从多个候选图像中选择附加在保育日志上的一个候选图像，也可以选择附加在保育日志上的两个以上的候选图像。而且，在通信部41接收到一个候选图像的情况下，显示部44显示接收到的一个候选图像，输入受理部43也可以受理保育员是否将一个候选图像附加到保育日志上的决定。

通信部41，向服务器1发送用于确定通过输入受理部43所选择的候选图像的图像选择信息。而且，通信部41，还接收由服务器1发送来的日志图像。

图5是表示本发明的第1实施方式中的服务器的构成的示意图。图5所示的服务器1具备通信部11、控制部12以及存储部13。

通信部11具备生体信息获取部111、拍摄图像获取部112、日志制作指示获取部113、候选图像发送部114、图像选择信息获取部115以及日志图像发送部116。控制部12，例如是CPU，具备确定部121、存储执行部122、提取部123以及日志制作部124。存储部13，例如是半导体存储器，具备图像DB(数据库)131。

生体信息获取部111获取孩子(第1人物)的生体信息。生体信息获取部111以规定的时间间隔(例如，1秒间隔)定期地接收通过生体信息测量装置3发送的生体信息。生体信息获取部111向存储执行部122输出表示接收到生体信息的时刻的时间戳和接收到的生体信息。

拍摄图像获取部112，与生体信息的获取时机同步，获取拍摄了孩子(第1人物)的拍摄图像。拍摄图像获取部112以规定的时间间隔(例如，1秒间隔)定期地接收由摄像机2发送的拍摄图像。另外，在拍摄图像是静止图像的情况下，拍摄图像获取部112与生体信息的获取时机同步地接收静止图像。而且，在拍摄图像是动态图像的情况下，拍摄图像获取部112从接收到的动态图像与生体信息的获取时机同步地提取静止图像。拍摄图像获取部112向确定部121输出表示接收到拍摄图像的时刻的时间戳和接收到的拍摄图像。

确定部121，基于由拍摄图像获取部112获取的拍摄图像，确定用于识别孩子(第1人物)的人物识别信息。具有人物识别信息的代码被附加在孩子(第1人物)的表面。确定部121通过读取拍摄图像内的代码来确定拍摄图像内所包含的人物识别信息。

另外，作为代码，例如使用色位(colorbit，注册商标)。色位是连续地排列多个颜色单元，人物识别信息通过基于规定的标准进行转换而生成。确定部121，通过解码拍摄图像内的色位得到人物识别信息。作为色位的特征，可以确定拍摄图像内的色位的位置并可一并读取拍摄图像内的多个色位。为此，确定部121，通过同时读取拍摄图像内的多个色位，可以同时确定多个孩子的人物识别信息以及位置信息。

存储执行部122，将通过确定部121确定的人物识别信息、通过生体信息获取部111获取的生体信息、通过拍摄图像获取部112获取的拍摄图像相互对应地存储在存储部13的图像DB131中。

图6是表示本发明的第1实施方式中的图像DB的数据构成的一个例子的示意图。图6的“孩子ID-1”表示特定的孩子的人物识别信息。

图像DB131针对每个人物识别信息将拍摄图像、生体信息、时刻相互对应地进行存储。拍摄图像表示保存该拍摄图像的文件名，时刻表示在服务器1获取拍摄图像以及生体信息的时刻。另外，时刻也可以是摄像机2和生体信息测量装置3将拍摄图像以及生体信息发送到服务器1的时刻。而且，生体信息例如是心率等的数值。

存储执行部122将在同一时刻获取的生体信息和拍摄图像相互对应地存储在图像DB131中。

日志制作指示获取部113获取包含由与孩子(第1人物)不同的保育员(第2人物)选择的孩子(第1人物)的人物识别信息和表示由保育员选择的孩子的状态的状态信息的日志制作指示。日志制作指示获取部113接收由终端装置4发送的日志制作指示。

提取部123从存储部13的图像DB131提取通过日志制作指示获取部113获取的人物识别信息和通过日志制作指示获取部113获取的状态信息所对应的生体信息相对应的拍摄图像。例如，状态信息包含表示孩子(第1人物)心理状态的心理状态信息。心理状态，例如是兴奋度较高的状态或兴奋度较低的状态。兴奋度较高的状态，例如，表示作为生体信息的心率在第1阈值以上的状态，兴奋度较低的状态，例如，表示作为生体信息的心率在比第1阈值低的第2阈值以下的状态。

为此，在状态信息为孩子的兴奋度较高的状态的情况下，提取部123从与获取的人物识别信息相对应的多个拍摄图像之中提取心率在第1阈值以上的心率所对应的至少一个拍摄图像。而且，在状态信息为孩子的兴奋度较低的状态的情况下，提取部123从与获取的人物识别信息相对应的多个拍摄图像之中提取心率在第2阈值以下的心率所对应的至少一个拍摄图像。

而且，例如，在状态信息为孩子的兴奋度较高的状态的情况下，提取部123也可以从与获取的人物识别信息相对应的多个拍摄图像之中提取心率从最高的值起依次为规定数的心率分别对应的拍摄图像。而且，例如，在状态信息为孩子的兴奋度较低的状态的情况下，提取部123也可以从与获取的人物识别信息相对应的多个拍摄图像之中提取心率从最低的值起依次为规定数的心率分别对应的拍摄图像。规定数例如是三个。

另外，在较短时间间隔期间提取多个拍摄图像的情况下，该多个拍摄图像被推测是在进行同一游乐兴奋时所拍摄的拍摄图像。为此，在规定的时间间隔内提取多个拍摄图像的情况下，提取部123也可以只选择多个拍摄图像中的一个拍摄图像。然后，提取部123也可以在包含所选择的一个拍摄图像相对应的时刻的规定的时间间隔以外提取剩余的拍摄图像。

而且，兴奋度较高的状态，例如，也可以表示作为生体信息的心率为最高的状态，兴奋度较低的状态，例如，也可以表示作为生体信息的心率为最低的状态。而且，在状态信息为孩子的兴奋度较高的状态的情况下，提取部123也可以从与获取的人物识别信息相对应的多个拍摄图像之中提取心率为最高的心率所对应的拍摄图像。而且，在状态信息为孩子的兴奋度较低的状态的情况下，提取部123也可以从与获取的人物识别信息相对应的多个拍摄图像之中提取心率为最低的心率所对应的拍摄图像。

而且，从终端装置4接收的状态信息可以是表示例如兴奋状态、高兴状态、放松状态、无聊状态、忧郁状态、悲伤状态、恐怖状态或愤怒状态等孩子的感情的信息。在这种情况下，提取部123可以将与图像DB131的人物识别信息相对应的多个生体信息分别转换为感情。然后，提取部123也可以从变换的感情之中提取与通过日志制作指示获取部113获取的状态信息所示的感情相同的感情所对应的拍摄图像。另外，关于将生体信息转换为感情的方法，例如，可以使用国际发明专利公开第2016/170810号公报、日本专利公开公报特开2009-208727号公报以及日本专利公开公报特开2015-46065号公报所公开的技术。据此，可以提取孩子的感情例如为高兴状态等保育员所希望的感情出现时的拍摄图像。

候选图像发送部114将通过提取部123提取的拍摄图像作为候选图像发送到终端装置4。

图像选择信息获取部115获取表示由保育员选择的候选图像的图像选择信息。图像选择信息获取部115接收由终端装置4发送的图像选择信息。

日志制作部124，基于通过图像选择信息获取部115获取的图像选择信息，制作将由保育员选择的候选图像嵌入规定的日志模板的日志图像。另外，日志模板预先存储在存储部13。

日志图像发送部116向终端装置4发送通过日志制作部124制作的日志图像。

接着，对第1实施方式中的服务器1的动作进行说明。

图7是用于说明本发明的第1实施方式中的服务器的动作的流程图。

首先，在步骤S1，生体信息获取部111从生体信息测量装置3获取孩子的生体信息。另外，在第1实施方式中，分别从多个生体信息测量装置3获取生体信息。

其次，在步骤S2，拍摄图像获取部112从摄像机2获取拍摄了孩子所在空间内的拍摄图像。此时，拍摄图像获取部112与生体信息的获取时机同步地获取拍摄图像。据此，可以使获取生体信息的时刻和获取拍摄图像的时刻一致。

其次，在步骤S3，确定部121读取通过拍摄图像获取部112获取的拍摄图像内的代码。

其次，在步骤S4，确定部121确定在拍摄图像内所包含的人物识别信息。

其次，在步骤S5，存储执行部122将通过生体信息获取部111获取的生体信息、通过确定部121确定的人物识别信息、通过拍摄图像获取部112获取的拍摄图像相互对应地存储在存储部13的图像DB131中。

另外，由于附加给孩子的代码位于摄像机2的死角，虽然获取了生体信息，但是存在不能确定拍摄图像内所包含的人物识别信息的情况。为此，存储执行部122最好将通过确定部121确定的人物识别信息、被确定的人物识别信息所对应的生体信息、包含被确定的人物识别信息的拍摄图像、获取拍摄图像以及生体信息的时刻相互对应地存储在图像DB131中。

其次，在步骤S6，日志制作指示获取部113判断是否从终端装置4获取了包含由保育员选择的孩子的人物识别信息和表示由保育员选择的孩子的状态的状态信息的日志制作指示。在此，在判断为没有从终端装置4获取日志制作指示(在步骤S6为否)的情况下，处理返回到步骤S1。

图8是在本发明的第1实施方式中表示终端装置中的日志制作指示的输入画面的一个例子的示意图。

终端装置4的显示部44在受理保育员输入的孩子的人物识别信息和表示孩子的状态的状态信息时，显示图8所示的输入画面。图8所示的输入画面包含用于受理输入孩子的人物识别信息的第1输入受理区域441和用于受理输入表示孩子的状态的状态信息的第2输入受理区域442。

在第1输入受理区域441可选择地显示包含预先登记的孩子的人物识别信息、这个孩子的名字、这个孩子的脸部图像的至少一个孩子图像。保育员从被显示在第1输入受理区域441的至少一个孩子图像之中选择制作日志的一个孩子图像。另外，保育员通过对第1输入受理区域441进行滑动(swipe)操作可以显示多个孩子图像，通过点击所希望的孩子图像可以选择制作日志的孩子的人物识别信息。输入受理部43受理保育员对第1输入受理区域441的输入操作。

而且，在第2输入受理区域442可选择地显示至少一个状态信息。例如，在图8中，保育员可以从表示兴奋度较高状态的状态信息、表示兴奋度较低状态的状态信息、表示高兴状态的状态信息以及表示悲伤状态的状态信息中选择一个状态信息。保育员从被显示在第2输入受理区域442的至少一个状态信息中选择表示用于提取载入日志中的拍摄图像所需要的孩子的状态的一个状态信息。另外，保育员，通过点击所希望的状态信息，可以选择孩子的状态信息。据此，可以提取与保育员指定的孩子的状态相一致的拍摄图像。输入受理部43受理保育员对第2输入受理区域442的输入操作。

图9是在本发明的第1实施方式中表示终端装置中的日志制作指示的发送画面的一个例子的示意图。

终端装置4的显示部44在向服务器1发送包含孩子的人物识别信息和表示孩子的状态的状态信息的日志制作指示时，显示图9所示的发送画面。图9所示的发送画面包含由保育员选择的人物识别信息、由保育员选择的状态信息、用于受理是否向服务器1发送日志制作指示的输入的发送按钮443。例如，在图9中，选择了“孩子ID-2”所对应的人物识别信息并选择了表示兴奋度较高的状态的状态信息。如果在所显示的人物识别信息和状态信息没有问题的情况下，保育员就点击发送按钮443。输入受理部43受理保育员对发送按钮443的输入操作。如果保育员点击发送按钮443，通信部41就向服务器1发送包含由保育员输入的人物识别信息以及状态信息的日志制作指示。

返回到图7，在判断为从终端装置4获取了日志制作指示的情况下(在步骤S6为是)，在步骤S7，日志制作指示获取部113将获取的日志制作指示中包含的人物识别信息和状态信息输出到提取部123。

其次，在步骤S8，提取部123从存储部13的图像DB131提取将通过日志制作指示获取部113获取的人物识别信息与通过日志制作指示获取部113获取的状态信息所对应的生体信息相互对应的拍摄图像。例如，在获取的状态信息表示兴奋度较高的状态的情况下，提取部123从获取的人物识别信息所对应的拍摄图像之中提取作为生体信息的心率在阈值以上的拍摄图像。

图10是用于说明在本发明的第1实施方式中通过提取部提取的拍摄图像的示意图。

图10所示的图表，纵轴表示与获取的人物识别信息对应的孩子的心率，横轴表示与获取的人物识别信息对应的孩子的保育开始时刻到保育结束时刻的时间。心率是生体信息，在规定的时刻被获取。而且，拍摄图像与获取心率的时机同步进行获取。图10中，在时刻tp、时刻tq以及时刻tr，心率在阈值以上。在这种情况下，提取部123从获取的人物识别信息所对应的多个拍摄图像中提取心率在阈值以上的时刻tp、tq、tr的拍摄图像p1、p2、p3。

返回到图7，其次，在步骤S9，候选图像发送部114将通过提取部123提取的拍摄图像作为候选图像发送到终端装置4。终端装置4的通信部41接收由服务器1发送的候选图像。显示部44显示通过通信部41接收的候选图像。

图11是表示在本发明的第1实施方式中受理在终端装置的候选图像的选择的选择画面的一个例子的示意图。

如果接收到由服务器1发送的候选图像，终端装置4的显示部44显示图11所示的选择画面。图11所示的选择画面包含孩子的名字、孩子的状态、今天的日期、至少一个候选图像、获取各候选图像的时刻、表示孩子兴奋到哪个程度的兴奋度等级。

在图11显示有孩子的名字为“小B”、孩子的状态为兴奋度较高的状态、日期为“2018年2月23日”、候选图像为p1、p2、p3、时刻为tp、tb、tr、兴奋度等级。兴奋度等级对应于心率值的大小而表示。这些信息与候选图像一起从服务器1接收。即，候选图像发送部114将与人物识别信息相对应的孩子的名字、状态信息、今天的日期、至少一个候选图像、各候选图像所对应的时刻、各候选图像所对应的生体信息发送到终端装置4。终端装置4的通信部41接收由服务器1发送的这些信息。

保育员，通过点击在选择画面所显示的多个候选图像p1、p2、p3之中所希望的候选图像，选择载入日志的候选图像。输入受理部43受理保育员对候选图像的选择操作。如果保育员点击候选图像，通信部41就将表示被选择的候选图像的图像选择信息发送到服务器1。另外，图像选择信息即可以是被选择的候选图像，也可以是用于确定被选择的候选图像的信息。

返回到图7，其次，在步骤S10，图像选择信息获取部115获取通过终端装置4发送的图像选择信息。

其次，在步骤S11，日志制作部124制作将通过图像选择信息获取部115获取的图像选择信息所示的由保育员选择的候选图像嵌入规定的日志模板的日志图像。日志图像，例如，包含制作日志的今天的日期和由保育员选择的候选图像。另外，日志图像所包含的信息不局限于上述，日志图像也可以包含可由保育员写入的文字输入栏。而且，日志制作部124也可以将所制作的日志图像存储在存储部13。

其次，在步骤S12，日志图像发送部116向终端装置4发送通过日志制作部124制作的日志图像。终端装置4的通信部41接收由服务器1发送的日志图像。显示部44显示通过通信部41接收的日志图像。

如果接收到由服务器1发送的日志图像，终端装置4的显示部44就显示日志图像。在日志图像包含文字输入栏的情况下，保育员向日志图像所显示的文字输入栏输入文字。输入受理部43受理保育员对文字输入栏的输入操作。如果保育员输入文字，控制部42就将在文字输入栏输入了文字的日志图像存储到存储部(未图示)。另外，通信部41也可以将在文字输入栏输入了文字的日志图像发送到服务器1。在这种情况下，服务器1的通信部11也可以接收通过终端装置4发送的日志图像并将接收到的日志图像存储到存储部13。

另外，在通过控制部42将在文字输入栏输入了文字的日志图像存储到存储部之后，显示部44显示用于受理保育员输入其它孩子的人物识别信息和表示其它孩子的状态的状态信息的输入画面(图8)。据此，可以制作其它孩子的日志。

其次，在步骤S13，日志制作部124判断是否制作了所有的人物识别信息的日志图像。在此，在判断为制作了所有的人物识别信息的日志图像的情况下(在步骤S13为是)，结束处理。

另一方面，在判断为没有制作所有的人物识别信息的日志图像的情况下(在步骤S13为否)，处理返回到步骤S6。

如此，在第1实施方式，能够确定孩子感兴趣的游乐行动并提供表示孩子在进行感兴趣的游乐行动时的样子的图像。其结果，可以辅助保育员制作日志，谋求制作日志的工作效率从而减轻制作日志的负担。

另外，在第1实施方式，确定部121通过读取拍摄图像内的代码确定人物识别信息，但是，本发明并不局限于此，确定部121也可以通过认证拍摄图像内的孩子(第1人物)的脸部来确定人物识别信息。在这种情况下，存储部13将孩子的脸部图像和人物识别信息相互对应地预先进行存储。

(第2实施方式)

在第1实施方式中，将基于生体信息提取的拍摄图像在终端装置进行提示，但是，在第2实施方式中，将基于生体信息提取的拍摄图像和保育员在过去选择的拍摄图像一起在终端装置进行提示。

图12是表示本发明的第2实施方式中的服务器的构成的示意图。另外，第2实施方式中的信息处理***的构成与第1实施方式中的信息处理***的构成相同。而且，在第2实施方式中，对于与第1实施方式相同的构成，赋予相同的符号并省略其说明。而且，在第2实施方式，以在幼儿园或托儿所保育员保育孩子并制作孩子的保育日志为例进行说明。

图12所示的服务器1A具备通信部11A、控制部12A以及存储部13A。

通信部11A具备生体信息获取部111、拍摄图像获取部112、日志制作指示获取部113、候选图像发送部114A、图像选择信息获取部115以及日志图像发送部116。控制部12A，例如是CPU，具备确定部121、存储执行部122、提取部123A、日志制作部124以及履历图像存储执行部125。存储部13A，例如是半导体存储器，具备图像DB131和履历图像DB132。

履历图像DB132将过去的拍摄图像、获取拍摄图像的日期、人物识别信息相互对应地存储。

履历图像存储执行部125将提取的拍摄图像、获取拍摄图像的日期、通过日志制作指示获取部113获取的人物识别信息相互对应起来存储到履历图像DB132。在第2实施方式中，履历图像存储执行部125将通过提取部123A提取的拍摄图像之中在终端装置4被选择的拍摄图像，即，由通过图像选择信息获取部115获取的图像选择信息确定的候选图像、使用该候选图像制作日志图像的日期、获取的人物识别信息相互对应起来存储到履历图像DB132。另外，履历图像存储执行部125也可以将通过提取部123A提取的拍摄图像存储到履历图像DB132。

提取部123A从存储部13的图像DB131提取将通过日志制作指示获取部113获取的人物识别信息和通过日志制作指示获取部113获取的状态信息所对应的生体信息相对应的拍摄图像。

而且，提取部123A从履历图像DB132提取与通过图像选择信息获取部115获取的人物识别信息相对应的过去的候选图像作为履历图像。

候选图像发送部114A将通过提取部123A提取的拍摄图像作为候选图像发送到终端装置4并将通过提取部123A提取的履历图像发送到终端装置4。

接着，对第2实施方式中的服务器1A的动作进行说明。

图13是用于说明本发明的第2实施方式中的服务器的动作的流程图。

另外，步骤S21至步骤S26的处理因为与图7所示的步骤S1至步骤S6的处理相同，所以，省略其说明。

在判断为从终端装置4获取了日志制作指示的情况下(在步骤S26为是)，在步骤S27，日志制作指示获取部113将获取的日志制作指示中所包含的人物识别信息和状态信息输出到提取部123A。

其次，在步骤S28，提取部123A从存储部13A的图像DB131提取将通过日志制作指示获取部113获取的人物识别信息、通过日志制作指示获取部113获取的状态信息所对应的生体信息相互对应的拍摄图像。例如，在获取的状态信息表示兴奋度为较高的状态的情况下，提取部123A从与获取的人物识别信息相对应的拍摄图像之中提取作为生体信息的心率在阈值以上的拍摄图像。

其次，在步骤S29，提取部123A从履历图像DB132提取与通过图像选择信息获取部115获取的人物识别信息相对应的过去的拍摄图像作为履历图像。此时，提取部123A，例如，提取过去规定天数的履历图像。规定天数例如是三天。提取部123A，例如，提取一天前的履历图像、两天前的履历图像以及三天前的履历图像。

其次，在步骤S30，候选图像发送部114A将通过提取部123A提取的拍摄图像作为候选图像发送到终端装置4，并将通过提取部123A提取的履历图像发送到终端装置4。终端装置4的通信部41接收由服务器1A发送的候选图像和履历图像。显示部44显示通过通信部41接收的候选图像和履历图像。

图14是表示在本发明的第2实施方式中受理在终端装置的候选图像的选择的选择画面的一个例子的示意图。

如果接收到由服务器1A发送的候选图像和履历图像，终端装置4的显示部44就显示图14所示的选择画面。图14所示的选择画面包含孩子的名字、孩子的状态、今天的日期、至少一个候选图像、获取各候选图像的时刻、表示孩子是什么样兴奋程度的兴奋度等级、至少一个履历图像。

在图14中显示有孩子的名字为“小B”、孩子的状态为兴奋度较高的状态、日期为2018年2月23日、候选图像为p1、p2、p3、时刻为tp、tb、tr以及兴奋度等级。兴奋度等级对应于心率值的大小而显示。而且，在图14中显示有履历图像为p20、p21、p22和履历图像p20、p21、p22被拍摄的日期“2月20日”、“2月21日”、“2月22日”。这些信息与候选图像一起从服务器1A接收。即，候选图像发送部114A将与人物识别信息相对应的孩子的名字、状态信息、今天的日期、至少一个候选图像、各候选图像所对应的时刻、各候选图像所对应的生体信息、至少一个履历图像发送到终端装置4。终端装置4的通信部41接收由服务器1A发送的这些信息。

保育员，通过点击在选择画面所显示的多个候选图像p1、p2、p3之中的所希望的候选图像，选择载入日志的候选图像。此时，保育员，通过确认履历图像p20、p21、p22，可以以不与过去的图像重复的方式选择所希望的候选图像。输入受理部43受理保育员对候选图像的选择操作。如果保育员点击候选图像，通信部41就将表示被选择的候选图像的图像选择信息发送到服务器1A。另外，图像选择信息即可以是所选择的候选图像也可以是用于确定所选择的候选图像的信息。

返回到图13，步骤S31至步骤S33的处理因为与图7所示的步骤S10至步骤S12的处理相同，所以，省略其说明。

其次，在步骤S34，履历图像存储执行部125将获取的图像选择信息所示的由保育员选择的候选图像、使用该候选图像制作日志图像的日期、通过日志制作指示获取部113获取的人物识别信息相互对应地存储在履历图像DB132中。

步骤S35的处理因为与图7所示的步骤S13的处理相同，所以，省略其说明。

如此，在第2实施方式中，因为所提取的拍摄图像被作为候选图像发送到终端装置4并且所提取的履历图像被发送到终端装置4，载入日志的候选图像和在过去所选择的履历图像被一起提示给保育员，所以，保育员通过确认履历图像，可以以不与过去的图像重复的方式选择所希望的候选图像。其结果，可以辅助保育员制作日志。

(第3实施方式)

在第1实施方式中，将基于生体信息提取的拍摄图像提示给终端装置，但是，在第3实施方式中，将基于生体信息提取的拍摄图像与拍摄该拍摄图像时孩子感兴趣的玩具的相关信息提示给终端装置。

图15是表示本发明的第3实施方式中的服务器的构成的示意图。另外，第3实施方式中的信息处理***的构成与第1实施方式中的信息处理***的构成相同。而且，在第3实施方式中，对于与第1实施方式相同的构成赋予相同的符号并省略其说明。而且，在第3实施方式中，以在幼儿园或托儿所保育员保育孩子并制作孩子的保育日志为例进行说明。

图15所示的服务器1B具备通信部11B、控制部12B以及存储部13B。

通信部11B具备生体信息获取部111、拍摄图像获取部112、日志制作指示获取部113、候选图像发送部114B、图像选择信息获取部115以及日志图像发送部116。控制部12B，例如是CPU，具备确定部121B、存储执行部122B、提取部123B以及日志制作部124。存储部13B，例如是半导体存储器，具备图像DB131B。

确定部121B，基于通过拍摄图像获取部112获取的拍摄图像，确定用于识别孩子的人物识别信息。确定部121B，通过认证由拍摄图像获取部112获取的拍摄图像内的孩子的脸部，确定在拍摄图像内包含的人物识别信息。在这种情况下，存储部13B将孩子的脸部图像与人物识别信息相对应地预先进行存储。而且，确定部121B进一步确定拍摄图像内的孩子(第1人物)的位置。例如，确定部121B，在拍摄图像内将认证的孩子的脸部存在的位置坐标作为拍摄图像内的孩子的位置进行确定。

而且，确定部121B，基于通过拍摄图像获取部112获取的拍摄图像，确定用于识别玩具的玩具识别信息。玩具，例如是积木、画本或秋千等，存在于与孩子相同的空间内。具有玩具识别信息的代码贴附在玩具的表面。确定部121B，通过读取拍摄图像内的代码，确定拍摄图像内包含的玩具识别信息。而且，确定部121B进一步确定拍摄图像内的玩具的位置。例如，确定部121B，在拍摄图像内，将读取的玩具存在的位置坐标作为拍摄图像内的玩具的位置来确定。而且，确定部121B进一步确定在获取现在的拍摄图像之前获取的过去拍摄图像内的玩具的位置。

另外，作为代码，例如，使用上述的色位。色位，是连续排列多个颜色的单元，通过基于规定的规格转换玩具识别信息而生成。确定部121B，通过对拍摄图像内的色位进行解码，获得玩具识别信息。作为色位的特征，可以确定拍摄图像内的色位的位置并可一并读取拍摄图像内的多个色位。为此，通过读取拍摄图像内的多个色位，可以确定多个玩具的玩具识别信息和位置信息。

而且，在第3实施方式中，确定部121B，通过认证拍摄图像内的孩子的脸部，确定在拍摄图像内包含的人物识别信息，但是，本发明并不局限于此，与玩具识别信息相同，也可以将具有人物识别信息的代码附加在人物的表面，确定部121B通过读取拍摄图像内的代码，确定拍摄图像内包含的人物识别信息。

此外，在第3实施方式中，确定部121B通过读取拍摄图像内的代码来确定玩具识别信息，但是，本发明并不局限于此，确定部121B也可以通过图像认证拍摄图像内的玩具来确定玩具识别信息。在这种情况下，存储部13B将玩具的图像和玩具识别信息相对应地预先进行存储。

存储执行部122B将通过确定部121B确定的人物识别信息、通过生体信息获取部111获取的生体信息、通过拍摄图像获取部112获取的拍摄图像、通过确定部121B确定的玩具识别信息相互对应地存储在存储部13B的图像DB131B中。

图16是表示本发明的第3实施方式中的图像DB的数据构成的一个例子的示意图。图16的“孩子ID-1”表示特定的孩子的人物识别信息。

图像DB131B针对每个人物识别信息将拍摄图像、生体信息、时刻、玩具识别信息相互对应地存储。拍摄图像表示保存该拍摄图像的文件名，时刻表示拍摄图像以及生体信息在服务器1B被获取的时刻。另外，时刻也可以是摄像机2和生体信息测量装置3将拍摄图像以及生体信息发送到服务器1B的时刻。而且，生体信息，例如是心率等的数值。玩具识别信息表示通过确定部121B确定的玩具识别信息。

存储执行部122B将孩子(第1人物)的位置和玩具的位置之间的距离比规定的阈值短且位置移动的玩具的玩具识别信息、人物识别信息、生体信息、拍摄图像相对应地存储在图像DB131B。

在此，有必要确定孩子对哪个玩具感兴趣。为此，存储执行部122B将拍摄图像内的孩子的位置和拍摄图像内的玩具的位置之间的距离比规定的阈值短且位置移动的玩具推测为这个孩子感兴趣玩乐的玩具。玩具的位置是否在移动的判断，通过比较现在的拍摄图像内的玩具的位置和在现在的拍摄图像之前获取的过去的拍摄图像内的玩具的位置来进行。另外，存储执行部122B也可以将拍摄图像内的孩子的位置和拍摄图像内的玩具的位置之间的距离为最短且位置移动的玩具推测为这个孩子感兴趣进行玩乐的玩具。如此，将存在于孩子的附近且位置移动的玩具推测为这个孩子感兴趣进行玩乐的玩具。

而且，存储执行部122B也可以将拍摄图像内的孩子的位置和拍摄图像内的玩具的位置之间的距离比规定的阈值短的玩具推测为这个孩子感兴趣进行玩乐的玩具。另外，存储执行部122B也可以将拍摄图像内的孩子的位置和拍摄图像内的玩具的位置之间的距离为最短的玩具推测为这个孩子感兴趣进行玩乐的玩具。如此，也可以只将存在于孩子附近的玩具推测为这个孩子感兴趣进行玩乐的玩具。

进一步，在通过确定部121B仅确定了一个玩具识别信息的情况下，可以推测孩子使用该玩具识别信息所示的玩具进行玩乐。为此，在通过确定部121B仅确定了一个玩具识别信息的情况下，存储执行部122B也可以将所确定的一个玩具识别信息、人物识别信息、生体信息、拍摄图像相对应地存储在图像DB131B。

提取部123B从存储部13B的图像DB131B提取通过日志制作指示获取部113获取的人物识别信息和通过日志制作指示获取部113获取的状态信息所对应的生体信息相对应的拍摄图像和玩具识别信息。

候选图像发送部114B将通过提取部123B提取的拍摄图像作为候选图像发送到终端装置4，并将与拍摄图像一起提取的玩具识别信息发送到终端装置4。

接着，对第3实施方式中的服务器1B的动作进行说明。

图17是用于说明本发明的第3实施方式中的服务器的动作的流程图。

另外，步骤S41至步骤S44的处理因为与图7所示的步骤S1至步骤S4的处理相同，所以省略其说明。

其次，在步骤S45，确定部121B确定拍摄图像内包含的玩具识别信息。

其次，在步骤S46，存储执行部122B将通过生体信息获取部111获取的生体信息、通过确定部121B确定的人物识别信息、通过拍摄图像获取部112获取的拍摄图像、通过确定部121B确定的玩具识别信息相互对应地存储在存储部13B的图像DB131B。此时，存储执行部122B将孩子的位置和玩具的位置之间的距离比规定的阈值短且位置移动的玩具的玩具识别信息、人物识别信息、生体信息、拍摄图像相互对应地存储在图像DB131B。

步骤S47至步骤S48的处理因为与图7所示的步骤S6至步骤S7的处理相同，所以省略其说明。

其次，在步骤S49，提取部123B从存储部13B的图像DB131B提取通过日志制作指示获取部113获取的人物识别信息和通过日志制作指示获取部113获取的状态信息所对应的生体信息相对应的拍摄图像和玩具识别信息。例如，在获取的状态信息表示为兴奋度较高的状态的情况下，提取部123B从获取的人物识别信息所对应的拍摄图像以及玩具识别信息之中提取作为生体信息的心率在阈值以上的拍摄图像以及玩具识别信息。

其次，在步骤S50，候选图像发送部114B将通过提取部123B提取的拍摄图像作为候选图像发送到终端装置4，并将通过提取部123B提取的玩具识别信息发送到终端装置4。终端装置4的通信部41接收由服务器1B发送的候选图像以及玩具识别信息。显示部44显示通过通信部41接收到的候选图像以及玩具识别信息。

图18是在本发明的第3实施方式中表示受理在终端装置的候选图像的选择的选择画面的一个例子的示意图。

如果接收到由服务器1B发送的候选图像以及玩具识别信息，终端装置4的显示部44就显示图18所示的选择画面。图18所示的选择画面包含孩子的名字、孩子的状态、今天的日期、至少一个候选图像、获取各候选图像的时刻、表示孩子处于哪种兴奋程度的兴奋度等级、表示在各候选图像内孩子使用的玩具的玩具识别信息。

在图18中显示孩子的名字“小B”、孩子处于兴奋度较高的状态、日期“2018年2月23日”、候选图像p1、p2、p3、时刻tp、tq、tr、兴奋度等级。兴奋度等级对应于心率值的大小而显示。而且，在图18中，诸如“积木”、“画本”、“秋千”的玩具识别信息被显示在各候选图像p1、p2、p3的上部。这些信息与候选图像一起从服务器1B接收。即，候选图像发送部114B将与人物识别信息相对应的孩子的名字、状态信息、今天的日期、至少一个候选图像、各候选图像所对应的时刻、各候选图像所对应的生体信息、候选图像所对应的玩具识别信息发送到终端装置4。终端装置4的通信部41接收由服务器1B发送的这些信息。

保育员，通过在选择画面所显示的多个候选图像p1、p2、p3之中点击所希望的候选图像，选择载入日志的候选图像。此时，保育员，可以根据所显示的玩具识别信息，一边确认孩子对什么样的玩具感兴趣，一边选择所希望的候选图像。输入受理部43受理保育员对候选图像的选择操作。如果保育员点击候选图像，通信部41就将表示所选择的候选图像的图像选择信息发送到服务器1B。另外，图像选择信息即可以是所选择的候选图像，也可以是用于确定所选择的候选图像的信息。

返回到图17，步骤S51至步骤S54的处理因为与图7所示的步骤S10至步骤S13的处理相同，所以省略其说明。

如此，在第3实施方式中，因为将提取的拍摄图像作为候选图像发送到终端装置4并将提取的玩具识别信息发送到终端装置4，向保育员提示载入日志的候选图像和玩具识别信息，所以，保育员可以一边确认孩子感兴趣的玩具一边选择所希望的候选图像。其结果，可以辅助保育员制作日志。

而且，也可以将上述的第2实施方式与第3实施方式组合。即，在第3实施方式中，也可以是，将所提取的拍摄图像作为候选图像发送到终端装置4并将所提取的履历图像以及玩具识别信息发送到终端装置4，向保育员提示载入日志的候选图像和过去选择的履历图像以及玩具识别信息。

而且，在第1至3实施方式中，虽然以第1人物是孩子、第2人物是保育员、在幼儿园或托儿所保育员保育孩子并制作孩子的保育日志为例进行了说明，但是，本发明并不特别限定于此，在第1人物是老年人等被看护人、第2人物是看护人、在日托护理中心或疗养院等福利设施看护人看护被看护人并制作被看护人的看护日志的例子也能适用。

以上，基于实施方式对本发明的装置进行了说明，但是，本发明并不局限于这些实施方式。只要没有脱离本发明的主旨，本领域技术人员对该实施方式进行的所能想象到的各种变形、通过组合不同实施方式中的构成要素而构建的实施方式也可以包含在本发明的一个或多个实施方式的范围内。

另外，在上述各实施方式中，各构成要素是用专用的硬件而构成的，但是，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过让CPU或处理器等程序执行部读取记录在硬盘或半导体存储器等记录介质中的软件程序来实现。

本发明的实施方式所涉及的装置的功能的一部分或全部可以典型地作为集成电路LSI(Large Scale Integration)来实现。这些功能的一部分或全部即可以分别地形成芯片化，也可以形成为包含一部分或全部的芯片化。而且，集成电路不局限于LSI，也可以用专用电路或通用处理器来实现。也可以利用在制造LSI之后可编程的FPGA(FieldProgrammable Gate Array)或可重新构筑LSI内部的电路单元的连接或设定的可重构处理器。

而且，本发明的实施方式所涉及的装置的功能的一部分或全部也可以通过让CPU等处理器执行程序来实现。

而且，在上述所使用的数字都是为了具体地说明本发明而给出的示例，本发明不局限于这些被示例的数字。

而且，上述流程图所示的各步骤被执行的顺序只是为了具体地说明本发明而给出的示例，在能够获得同样效果的范围内也可以是上述以外的顺序。而且，上述步骤的一部分也可以与其它的步骤同时(并行)执行。

并且，只要不脱离本发明的主旨，本领域技术人员对本发明的各实施方式所进行的能想到的范围内的变更后的各种变形例都包含在本发明中。

本发明所涉及的信息处理方法、信息处理装置以及信息处理***，可以确定第1人物感兴趣的行动，并可以提供表示第1人物在进行感兴趣的行动时的样子的图像，作为提取规定的图像的信息处理方法、信息处理装置和信息处理***具有其实用价值。

本申请基于在2018年4月3日向日本专利局提交的日本专利申请No.2018-071841，其内容在此引入作为参考。

尽管参照附图对本发明进行了充分的说明，需要说明的是，对于本领域技术人员而言，各种各样的变形和变更都是显而易见的。因此，除非这样的变形和变更脱离了本发明所定义的范围，否则均包含在本发明之中。

Claims (13)

1.一种信息处理方法，其特征在于，让计算机执行以下处理：

获取第1人物的生体信息；

与所述生体信息的获取时机同步地获取拍摄了所述第1人物的图像；

基于所述图像，确定用于识别所述第1人物的人物识别信息；

将所确定的所述人物识别信息、所获取的所述生体信息、所获取的所述图像相互对应地存储在存储部；

获取由与所述第1人物不同的第2人物选择的所述第1人物的所述人物识别信息和由所述第2人物选择的表示所述第1人物的状态的状态信息；

从所述存储部提取与获取的所述人物识别信息和获取的所述状态信息所对应的所述生体信息相对应的所述图像。

2.根据权利要求1所述的信息处理方法，其特征在于，

所述状态信息包含表示所述第1人物的心理状态的心理状态信息。

3.根据权利要求1所述的信息处理方法，其特征在于，

还进一步将提取的所述图像发送到所述第2人物使用的终端装置。

4.根据权利要求1所述的信息处理方法，其特征在于，

还进一步将提取的所述图像、获取所述图像的日期、获取的所述人物识别信息相互对应地存储在所述存储部；

还进一步将获取的所述人物识别信息所对应的过去的所述图像作为履历图像从所述存储部提取。

5.根据权利要求4所述的信息处理方法，其特征在于，

还进一步将提取的所述图像、提取的所述履历图像发送到所述第2人物使用的终端装置。

6.根据权利要求1所述的信息处理方法，其特征在于，

具有所述人物识别信息的代码被附加在所述第1人物的表面；

所述人物识别信息的确定，通过读取所述图像内的所述代码来确定所述人物识别信息。

7.根据权利要求1所述的信息处理方法，其特征在于，

所述人物识别信息的确定，通过认证所述图像内的所述第1人物的脸部来确定所述人物识别信息。

8.根据权利要求1所述的信息处理方法，其特征在于，

还进一步，基于所述图像，确定用于识别玩具的玩具识别信息；

所述存储将所述人物识别信息、所述生体信息、所述图像、所述玩具识别信息相互对应地存储在所述存储部；

所述提取，将获取的所述人物识别信息、获取的所述状态信息所对应的所述生体信息相对应的所述图像以及所述玩具识别信息从所述存储部提取。

9.根据权利要求8所述的信息处理方法，其特征在于，

具有所述玩具识别信息的代码被附加在所述玩具的表面；

所述玩具识别信息的确定，通过读取所述图像内的所述代码，来确定所述玩具识别信息。

10.根据权利要求8所述的信息处理方法，其特征在于，

所述人物识别信息的确定，进一步确定所述图像内的所述第1人物的位置；

所述玩具识别信息的确定，进一步确定所述图像内的所述玩具的位置并进一步确定在获取所述图像之前获取的过去图像内的所述玩具的位置；

所述存储，将所述第1人物的位置和所述图像内的所述玩具的位置之间的距离比规定的阈值短且位置移动的所述玩具的所述玩具识别信息、所述人物识别信息、所述生体信息、所述图像相互对应地存储在所述存储部。

11.根据权利要求8所述的信息处理方法，其特征在于，

所述人物识别信息的确定，进一步确定所述图像内的所述第1人物的位置；

所述玩具识别信息的确定，进一步确定所述图像内的所述玩具的位置；

所述存储，将所述第1人物的位置和所述玩具的位置的距离比规定的阈值短的所述玩具的所述玩具识别信息、所述人物识别信息、所述生体信息、所述图像相互对应地存储在所述存储部。

12.一种信息处理装置，具备通信部、处理器、存储器，其特征在于，

所述通信部获取第1人物的生体信息；

所述通信部与所述生体信息的获取时机同步地获取拍摄了所述第1人物的图像；

所述处理器，基于所述图像，确定用于识别所述第1人物的人物识别信息；

所述处理器，将确定的所述人物识别信息、获取的所述生体信息、获取的所述图像相互对应地存储在所述存储器；

所述通信部，获取由与所述第1人物不同的第2人物选择的所述第1人物的所述人物识别信息和表示由所述第2人物选择的第1人物的状态的状态信息；

所述处理器，将与所获取的所述第1人物的人物识别信息、获取的所述状态信息所对应的所述生体信息相对应的所述图像从所述存储器提取。

13.一种信息处理***，具备摄像机、生体信息测量装置、信息处理装置以及终端装置，其特征在于，

所述摄像机具备：

拍摄第1人物的摄影部；

将通过所述摄影部拍摄的图像发送到所述信息处理装置的发送部，

所述生体信息测量装置具备：

测量所述第1人物的生体信息的测量部；

将通过所述测量部测量的所述生体信息发送到所述信息处理装置的发送部，

所述信息处理装置具备：

存储部；

获取由所述生体信息测量装置发送的所述生体信息的第1获取部；

与所述生体信息的获取时机同步地获取由所述摄像机发送的所述图像的第2获取部；

基于所述图像，确定用于识别所述第1人物的人物识别信息的确定部；

将确定的所述人物识别信息、获取的所述生体信息、获取的所述图像相互对应地存储在所述存储部的存储执行部；

从所述终端装置获取由与所述第1人物不同的第2人物选择的所述第1人物的所述人物识别信息和表示由所述第2人物选择的所述第1人物的状态的状态信息的第3获取部；

从所述存储部提取将所获取的所述人物识别信息、所获取的所述状态信息所对应的所述生体信息相对应的所述图像的提取部；

将所提取的所述图像发送到所述终端装置的发送部，

所述终端装置具备：

受理所述第2人物输入的所述第1人物的所述人物识别信息和表示所述第1人物的状态的所述状态信息的输入受理部；

将所输入的所述人物识别信息和所述状态信息发送到所述信息处理装置的发送部；

接收由所述信息处理装置发送的所述图像的接收部；

显示由所述接收部接收的所述图像的显示部。