CN117859338A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及可以减少功耗并从而提高便利性的信息处理装置、信息处理方法和程序。本技术检测由图像传感器捕获的捕获图像是否包括规定的检测目标的图像，获取从图像传感器输出的输出图像，并且对输出图像执行规定的处理。当检测到包括检测目标的图像时，由图像传感器输出输出图像。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够减少功耗而不损害便利性的信息处理装置、信息处理方法和程序。

背景技术

专利文献1公开了一种用于基于使用由相机捕获的图像的面部识别的结果将移动终端从正常模式切换到具有低功耗的节能模式的技术。

引用列表

专利文献

专利文献1：日本专利申请公开号2014-27386

发明内容

本发明要解决的问题

在装置的运行状态使用包括在装置中的成像单元切换的情况下，成像单元和终端内计算装置中的功耗成为问题。成像单元中的功耗和使用装置的便利性处于权衡关系，并且难以降低功耗。

本技术鉴于这种情况做出，并且能够在不损害便利性的情况下降低功耗。

问题的解决方案

根据本技术的一个方面的信息处理装置或程序是使计算机用作这种信息处理装置的信息处理装置或程序，信息处理装置包括：图像识别单元，图像传感器具有该图像识别单元，并且图像识别单元检测预定检测目标的图像是否包括在由图像传感器捕获的捕获图像中；以及处理单元，获取从图像传感器输出的输出图像，对输出图像执行预定处理，并且在图像识别单元检测到包括检测目标的图像的情况下使图像传感器输出输出图像。

根据本技术的另一方面的信息处理方法是一种信息处理方法，包括：经由信息处理装置的图像识别单元来检测预定检测目标的图像是否包括在由图像传感器捕获的捕获图像中，该信息处理装置具有图像传感器、图像传感器的图像识别单元和处理单元；并且获取从图像传感器输出的输出图像，对输出图像执行预定处理，并在图像识别单元检测到包括检测目标的图像的情况下使图像传感器输出输出图像。

在本技术的信息处理装置、信息处理方法和程序中，检测预定检测目标的图像包括在由图像传感器捕获的捕获图像中，获取从图像传感器输出的输出图像，对输出图像执行预定处理，并且在检测包括检测目标的图像的情况下，从图像传感器输出输出图像。

附图说明

图1是举例说明应用本技术的终端装置的示意性配置的框图。

图2是举例说明CIS的配置的框图。

图3是描述CIS的图像识别和AP的图像识别的第一使用形式的示图。

图4是描述CIS的图像识别和AP的图像识别的第二使用形式的示图。

图5是描述CIS的图像识别和AP的图像识别的第三使用形式的示图。

图6是描述CIS的图像识别和AP的图像识别的第四使用形式的示图。

图7是描述在终端解锁中由CIS和AP执行的图像识别的示图。

图8是描述终端解锁功能的具体情形的示例(示例1)和此时的CIS和AP的状态转换的概要的示图。

图9为描述终端锁定和终端解锁功能的具体情形的示例(示例2)以及此时的CIS和AP的状态转换的概要的示图。

图10是示出在终端解锁功能中作为终端装置的状态转换以及CIS和AP的状态转换的流程图。

图11是示出作为终端锁定功能中的终端装置的状态转换和CIS和AP的状态转换的流程图。

图12是举例说明终端锁定和终端解锁的处理程序的时序图。

图13是示出在终端锁定中由CIS和AP执行的处理过程的流程图。

图14是示出在终端解锁中由CIS和AP执行的处理过程的流程图。

图15是描述由CIS和AP执行的用于智能旋转功能的图像识别的示图。

图16是示出在智能旋转中由CIS和AP执行的处理过程的流程图。

图17是描述由CIS和AP 12执行的用于视频再现控制功能的图像识别的示图。

图18是例示视频再现控制的处理过程的时序图。

图19是例示用于与图18比较的时序图。

图20是示出在视频再现控制中由CIS和AP执行的处理过程的流程图。

图21是描述由CIS和AP执行的用于防止偷窥功能的图像识别的示图。

图22是示出在防止偷窥中由CIS和AP执行的处理过程的流程图。

图23是描述语音/视频通话自动转换功能的具体情形的示例和此时的CIS和AP的状态转换的概要的图。

图24是示出在语音/视频通话中由CIS和AP执行的处理过程的流程图。

图25是示出在屏幕亮度自动调整中由CIS和AP执行的处理过程的流程图。

图26是描述宠物相机功能的具体情形的示例和此时的CIS和AP的状态转换的概要的示图。

图27是示出在宠物相机中由CIS和AP执行的处理过程的流程图。

图28是描述安全门电话功能的具体情形的示例和此时的CIS和AP的状态转换的概要的示图。

图29是示出在安全门电话中由CIS和AP执行的处理过程的流程图。

图30是描述使用2D码的应用激活功能的具体情形的示例和此时的CIS和AP的状态转换的概要的示图。

图31是示出在使用2D码的应用激活功能中由CIS和AP执行的处理过程的流程图。

具体实施方式

在下文中，将参照附图描述本技术的实施方式。

<信息处理装置的实施方式>

图1是举例说明应用本技术的终端装置的示意性配置的框图。在图1中，终端装置1是例如移动终端，诸如智能电话、移动电话、笔记本电脑或平板电脑。然而，终端装置1不限于移动终端，并且可以是任何类型的信息处理装置。终端装置1包括CMOS图像传感器(CIS)11、应用处理器(AP)12、存储装置13等。

CIS11被包括在终端装置1中包括的相机(成像单元)中。CIS11是包括一个芯片的成像元件，该芯片具有进行光电转换的光接收单元和进行信号处理的信号处理单元。应注意，假设终端装置1主要是智能电话的情况。终端装置1包括显示单元(显示器)，并且相机安装在终端装置1中，使得在正常状态下浏览显示器的用户(具体地，头部)进入相机(CIS11)的视角(成像范围)。

AP 12是包括在终端装置1中的计算处理单元。AP 12不仅执行关于包括CIS11的成像单元的处理，还根据程序执行关于诸如包括在终端装置1中的输入单元、显示单元、电源单元、存储单元和通信单元的每个单元的处理、应用的处理等。例如，由于来自CIS11的诸如触发的通知信号，AP 12进行关于终端装置1的运行状态的切换等的处理。终端装置1的运行状态表示预定状态，诸如为终端装置1的正常运行状态的激活状态、功耗小于激活状态的功耗状态的省电状态、以及需要解锁操作等以使终端装置1返回至原始运行状态或预定运行状态的锁定状态。

存储装置13是包括在终端装置1中的存储单元，并且存储各种数据。

CIS11具有预处理单元21、检测处理单元22、只读存储器(ROM)23和随机存取存储器(RAM)24。预处理单元21包括CIS11中的光接收单元，并且由光学***(未示出)形成的图像被输入到光接收单元(光接收元件)。预处理单元21对输入至光接收单元并经受光电转换的图像执行预定信号处理，并且将处理图像作为图像数据提供至检测处理单元22。注意，通过光接收单元的光电转换获得的具有固定的垂直和水平像素大小的一个屏幕(一帧)的图像数据也简称为图像或捕获图像，捕获图像的整个轮廓或捕获图像中出现的对象的范围也称为图像帧(或视角)。通过光接收单元的光电转换获取图像也称为成像。

检测处理单元22包括基于具有深度神经网络(DNN)结构的推断模型来执行计算处理(称为DNN处理)的处理单元。检测处理单元22对来自预处理单元21的图像数据执行DNN处理。在DNN处理中，获得在由光接收单元捕获的图像(输入到预处理单元21的图像)的范围内(即，在图像帧内)被检测为人的对象的区域的范围(人物图像)、该对象是人的可信度(该对象是人的可信程度)等作为检测结果。注意，DNN处理要检测的检测目标不限于人。DNN处理的检测结果还取决于用于DNN处理的推断模型的结构而变化。检测处理单元22基于DNN处理的检测结果向AP 12提供激活触发(检测触发)和检测结果。

ROM 23存储CIS11的操作程序的数据等仅能够读取的数据。要用于检测处理单元22中的DNN处理的推断模型的数据也被存储在ROM 23中并由检测处理单元22读取。RAM 24以可写和可读的方式临时存储在CIS11中使用或生成的数据。除了在制造时被写入ROM 23中之外，要用于检测处理单元22中的DNN处理的推断模型的数据可从AP 12被写入RAM 24。

此处，在本说明书中，从捕获图像内(图像帧内)检测预先确定的一种或者多种类型的检测目标(的图像)并且检测其位置(检测目标的区域的位置或者范围)被称为对象检测。在检测目标是人的情况下，其被称为人检测，并且在检测目标是面部的情况下，其被称为面部检测。在检测目标是特定人的面部的情况下，其被称为面部识别。将通过面部检测所检测的面部与预先准备的特定人的面部(面部图像)进行对齐并且确定所检测的面部是否是特定人的面部被称为面部认证。在本说明书中，图像识别是用于获取与关于包括在图像中的对象的信息相关联的信息(诸如，对象检测、人检测、面部检测、面部识别、以及面部认证)的所有处理和技术的通用术语。面部识别和面部认证被称为面部认证，而不被特别区分。

检测处理单元22是执行包括使用DNN处理进行的图像识别的处理的处理单元，并且图像识别的类型不限于诸如人检测、面部检测或面部认证的特定类型。然而，在本实施方式中，为了简化描述，假设检测处理单元22中的图像识别(DNN处理)原则上是人检测。

检测处理单元22的DNN处理所使用的推断模型的数据是用于根据推断模型的结构(DNN的结构)和预先通过学习而确定的各种参数(学习系数)的数据来执行计算的程序数据。推断模型的数据在制造时被写入ROM 23，检测处理单元22从ROM 23读取推断模型的数据并执行DNN处理。在产品装运之后使用与制造时不同的推断模型的情况下，检测处理单元22从RAM 24读取推断模型的数据并执行DNN处理。例如，在推断模型的检测对象(类)被改变为与制造时的检测对象不同的检测对象的情况下，在学习系数存在改变以提高检测精度的情况下，在程序数据存在改变以改变推断模型的结构本身的情况下，等等，将改变之后的推断模型的数据从AP 12提供到RAM 24并存储。

图1示出生成将由检测处理单元22在DNN处理中使用的推断模型时的过程。据此，在学习过程P1中，利用与推断模型中的检测目标(人、动物等)对应的学习数据D2，对包括用于确定推断模型的结构本身的程序数据和初始学习系数的推断模型的数据D1进行学习。因此，执行推断模型的学习，并且生成其中学习系数被更新的推断模型的数据D3。在学习处理P1之后，在评估处理P2中，使用与学习数据D2不同的评估数据D4评估已进行学习的推断模型的数据D3。作为评估的结果，如果推断模型的数据D3没有问题，则推断模型被应用到终端装置1，作为训练(评估)的推断模型的数据D5。在制造时，经训练的推断模型的数据D5被写入CIS11的ROM 23。在制造之后，经训练的推断模型的数据D5经由存储装置13和终端装置1的AP 12被存储在CIS11的RAM 24中。

<CIS11的配置>

图2是举例说明CIS11的配置的框图。在图2中，CIS11具有光接收单元31、像素读取单元32、驱动定时控制单元33、图像预处理单元34、中央处理单元(CPU)35、感测处理单元36、感测图像信号处理单元37、查看图像信号处理单元38、寄存器控制单元39、外部IO控制单元40、GPO 41、电源管理单元42以及图像输出接口43。

光接收单元31包括以高密度规则布置的大量光接收元件(像素)，以像素为单位对由光学***(透镜)(未示出)形成的图像执行光电转换，并且将图像累积为电荷。

像素读取单元32读取与累积在光接收单元31的每个像素中的电荷量相对应的电压值(像素值)，并且将电压值提供给图像预处理单元34。

驱动定时控制单元33将与驱动模式(图像读取大小、成像模式等)对应的控制信号提供至像素读取单元32，并且给出像素读取单元32从光接收单元31读取像素值的定时的指令。

图像预处理单元34根据后续阶段中的信号处理(用于感测、用于查看等)对来自像素读取单元32的像素值执行诸如重新排列或者像素相加的预处理。图像预处理单元34将预处理后的图像数据提供给CPU 35、感测处理单元36、感测图像信号处理单元37或浏览图像信号处理单元38。

例如，中央处理单元(CPU)35由固件操作，并且执行诸如曝光控制单元61、***单元62以及感测后处理单元63的处理等的各种处理。

曝光控制单元61基于来自图像预处理单元34的图像数据，通过环境光传感器(ALS)的计算来计算由光接收单元31获得的图像(捕获图像)的亮度值。基于该结果，曝光控制单元61通过AE控制来控制曝光时间和增益等，使得由光接收单元31拍摄具有适当亮度的图像。

***单元62控制CIS11的整体操作。例如，***单元62执行模式转换控制，诸如感测功能的自动转换和感测模式与查看模式之间的转换控制。

感测后处理单元63对从感测处理单元36提供的检测结果(运动检测结果、人检测可信度等)执行稳定处理和阈值确定处理，以抑制错误检测等，并且将稳定的检测结果提供给寄存器控制单元39和外部IO控制单元40。例如，在稳定处理中，通过滤波处理来抑制来自感测处理单元36的检测结果的变化。在阈值确定处理中，对来自感测处理单元36的稳定检测结果执行阈值确定。根据该阈值确定，在确定在图像帧中检测到运动的情况下的确定结果以及在确定在图像帧中检测到人的情况下的确定结果具有高可靠性。在确定在图像帧中检测到运动的情况下以及在通过阈值确定在图像帧中检测到人的情况下，感测后处理单元63将检测标志提供给寄存器控制单元39和外部IO控制单元40。要注意的是，除了来自感测处理单元36的运动检测结果和人检测可信度以外，感测后处理单元63将所有检测结果(例如，在图像帧内检测个人的位置)提供给寄存器控制单元39。

感测处理单元36具有DNN处理单元81和运动检测单元82。DNN处理单元81基于使用DNN处理核的上述推断模型对来自图像预处理单元34的图像数据执行DNN处理，并执行人检测。DNN处理单元81将检测为人的对象是人的可信程度(人检测可信度)、图像帧中存在人的区域的范围(位置)等作为检测结果提供给感测后处理单元63。注意，如上所述，在本实施方式中，DNN处理的检测目标是人，但是检测目标不限于人。DNN处理的检测结果还取决于执行DNN处理的推断模型而不同。

运动检测单元82对来自图像预处理单元34的图像数据执行运动检测，并且检测在任何图像帧中存在运动、存在运动的范围(运动范围)、指示检测的运动的幅度的运动量等。运动检测单元82将检测结果(运动检测结果)提供至感测后处理单元63。注意，由运动检测单元82进行的运动检测的运动检测结果的内容不限于这里描述的内容。作为由运动检测单元82进行运动检测的方法，例如，可使用任何方法，诸如通过比较先前帧的捕获图像与后续帧的捕获图像来检测图像帧中与运动相同的位置处的图像变化的方法、考虑成像方法的变化而检测实际移动的对象的方法等。

感测图像信号处理单元37对来自图像预处理单元34的图像数据执行用于生成适合于AP 12中的感测***处理(诸如面部检测和面部认证的图像识别)的图像的信号处理。感测图像信号处理单元37将处理的图像数据供应至图像输出接口43。

查看图像信号处理单元38对来自图像预处理单元34的图像数据执行用于生成用于查看的图像的信号处理。查看图像信号处理单元38将处理的图像数据提供至图像输出接口43。

寄存器控制单元39保持控制CIS11所需的参数、感测处理单元36的检测结果等各部的计算结果。保存在寄存器控制单元39中的数据可经由作为通信接口标准的内部集成电路(12C)从AP 12适当地参照。

外部IO控制单元40经由作为通用输出端口的GPO 41将检测结果(运动或人的存在或不存在)从感测后处理单元63发送到AP 12。例如，当从感测后处理单元63提供在图像帧中检测到运动的情况下的检测标志或者在图像帧中检测到人的情况下的检测标志时，外部IO控制单元40向AP 12发送用于提供事实的通知的检测触发。在图像帧中检测到人的情况下，可以仅对应于检测标志向AP 12发送检测触发。

电源管理单元42控制CIS11的整体电源，并且根据CIS11的驱动模式来控制每个单元的开/关。

图像输出接口43控制作为接口标准的MIPI，并将来自感测图像信号处理单元37或查看图像信号处理单元38的图像数据发送到AP 12。

应注意，当由光接收单元31捕获图像时，CIS11可执行能够获取具有比单个曝光成像更高的灰度的图像的单个曝光成像(标准动态范围(SDR))和多个曝光成像(高动态范围)。当分别从图像预处理单元34提供至感测处理单元36、感测图像信号处理单元37、以及查看图像信号处理单元38的图像相互比较时，提供至查看图像信号处理单元38的图像是用于生成用于查看的图像的图像，并且因此是具有高分辨率的图像并且也被称为查看高分辨率图像。提供给感测图像信号处理单元37的图像是用于生成适合于AP 12中的感测***处理(面部检测、面部认证等)的图像的图像，并且因此是具有比查看高分辨率图像更低的分辨率的图像并且还被称为感测低分辨率图像。可从通过单次曝光成像获取的图像和通过多次曝光成像获取的图像中选择查看高分辨率图像和感测低分辨率图像。提供给感测处理单元36的图像(称为检测处理图像)是用于期望CIS11的芯片中的高速检测和低处理负荷和低功耗的人检测的图像。因此，检测处理图像具有比至少查看高分辨率图像低的分辨率。与感测低分辨率图像相比，检测处理图像可具有基本上相同的分辨率或更低的分辨率。检测处理图像是通过多次曝光成像获取的图像，以便在DNN处理中获得高精度的结果。然而，检测处理图像可以是通过单次曝光成像获取的图像。

虽然在图2中省略了AP 12的详细配置，但是AP 12具有CPU 101和图像信号处理器(ISP)102。CPU 101根据程序进行各种处理。在通过CIS11中的感测处理单元36在图像帧中检测到运动的情况下或者在图像帧中检测到人的情况下，CPU 101经由GPO 40从外部IO控制单元40接收检测触发。CPU 101可以执行由检测触发触发的处理。CPU 101可以通过作为通信接口标准的内部集成电路(12C)来获取寄存器控制单元39中保持的数据。由于感测处理单元36检测的检测结果保存在寄存器控制单元39中，因此CPU 101可以经由寄存器控制单元39获取感测处理单元36检测的检测结果，并且可以在任何处理中使用所获取的检测结果。

ISP 102主要执行诸如图像调整的信号处理。ISP 102经由图像输出接口43获取由CIS11的感测图像信号处理单元37处理的感测低分辨率图像和由查看图像信号处理单元38处理的查看高分辨率图像。ISP 102对获取的感测低分辨率图像和查看高分辨率图像执行诸如图像调整的信号处理，然后将处理后的图像提供给CPU 101。注意，排他地执行从感测图像信号处理单元37到ISP 102的感测低分辨率图像的传输和从查看图像信号处理单元38到ISP 102的查看高分辨率图像的传输。因此，ISP 102不会同时获取这些图像。CPU 101可以将来自ISP 102的感测低分辨率图像或查看高分辨率图像用于任何目的。例如，存在CPU101通过DNN处理进行诸如面部检测的图像识别并解除终端锁定等的情况。在这种情况下，CPU 101从ISP 102获取感测低分辨率图像，并对感测低分辨率图像执行DNN处理。注意，AP12中的DNN处理可应对对象检测、人检测、面部检测、面部识别等中的任一种，但为了简化描述，主要执行面部检测。

<CIS11的AP 12中的DNN处理的使用形式>

在使用DNN处理等的图像识别可在AP 12中执行的情况下，终端装置1可使用CIS11的图像识别(DNN处理)和AP 12的图像识别。在这种情况下，终端装置1可以以下面的第一至第四使用形式来使用CIS11的图像识别和AP 12的图像识别。应注意，由感测处理单元36的运动检测单元82执行的运动检测包括在CIS11的图像识别技术中。

<第一使用形式>

图3是描述CIS11的图像识别和AP 12的图像识别的第一使用形式的示图。在图3中，CIS11具有预处理单元21、检测处理单元22以及后处理单元25。由于预处理单元21和检测处理单元22对应于在图1的CIS11中由相同的参考标号表示的预处理单元21和检测处理单元22，因此将省略其描述。图3中的后处理单元25在图1中省略，并且是包括例如图2中的感测后处理单元63、寄存器控制单元39、外部IO控制单元40和GPO 41的处理单元。即，后处理单元25包括对检测处理单元22中的图像识别的检测结果执行处理、存储和至AP 12的传输的处理单元。

在图3中，AP 12具有ISP 102、检测确定处理单元103、动态随机存取存储器(DRAM)104和存储装置105。由于ISP 102对应于在图2的AP 12中由相同的附图标记表示的ISP102，因此将省略其描述。例如，在图2的AP 12中，检测确定处理单元103进行在由CPU 101执行的处理之中的包括图像识别的处理。DRAM 104在AP 12中临时存储由ISP 102处理的图像。存储装置105将各种数据存储在AR12中。

在第一使用形式中，CIS11处于激活状态(运行状态)，并且AP 12处于具有低功耗的待机状态(待机状态)。在这种状态下，CIS11的检测处理单元22对从预处理单元21提供的图像执行图像识别。AP 12的检测确定处理单元103不执行图像识别。在检测确定处理单元103执行图像识别的情况下，CIS11的预处理单元21将面部检测图像(感测低分辨率图像)发送到AP 12的ISP 102，AP 12的检测确定处理单元103经由ISP 102获取面部检测图像。由于AP 12的检测确定处理单元103不进行图像识别，因此不从CIS11向AP 12发送面部检测图像。

在基于从检测处理单元22提供的图像识别的检测结果确定在图像帧中检测到人的情况下，CIS11的后处理单元25将检测触发发送至AP 12。当AP 12接收到检测触发时，从待机状态切换到主用状态，并且开始预定处理。AP 12可以根据需要从CIS11的后处理单元25获取检测处理单元22的图像识别的检测结果(人检测可信度、对象位置等信息)。

根据第一使用形式，在其中在图像帧中没有检测到人的情况下AP 12处于待机状态的情形下是有效的。AP 12不消耗不必要的电力，并且，从CIS11向AP 12发送图像所需的电力消耗也是不必要的。由于CIS11的图像识别所需的功耗也小，因此功耗小于AP 12进行图像识别时的功耗。

<第二使用形式>

图4是描述CIS11的图像识别和AP 12的图像识别的第二使用形式的示图。在图中，与在图3中的CIS11和AP 12相对应的部分由相同的参考标号表示，并且将省略其描述。

在第二使用形式中，CIS11和AP 12均处于激活状态(运行状态)。在该状态下，CIS11的检测处理单元22不进行图像识别。AP 12的检测确定处理单元103进行图像识别。在这种情况下，CIS11的预处理单元21将面部检测图像(感测低分辨率图像)发送到AP 12的ISP 102，AP 12的检测确定处理单元103经由ISP 102获取面部检测图像。

根据第二使用形式，在需要高精度图像识别的情况下是有效的。从CIS11发送到AP12的面部检测图像可以是具有比用于查看的查看者高分辨率图像的分辨率低的分辨率的感测低分辨率图像。因此，从CIS11向AP 12发送面部检测图像所需的数据量小，并且能够降低功耗。第二使用形式可以与第一使用形式组合应用。在这种情况下，可以降低功耗，这更加有效。具体而言，在图像帧中没有检测到人的情况下，CIS11如第一使用形式那样通过图像识别进行人检测。当CIS11通过图像识别检测到人时，检测触发被发送到AP 12。当AP 12接收到检测触发时，AP 12如在第二使用形式中执行图像识别。在这种情况下，当在图像帧中未检测到人时，不必至少将面部检测图像从CIS11发送到AP 12，并且AP 12不必执行图像识别。因此，减少了在AP 12中传输图像所需的功率消耗和图像识别所需的功率消耗。

<第三使用形式>

图5是描述CIS11的图像识别和AP 12的图像识别的第三使用形式的示图。在图中，与在图3中的CIS11和AP 12相对应的部分由相同的参考标号表示，并且将省略其描述。

第三使用形式表示终端装置1具有两个CIS(即，CIS11和另另一个CIS121)的情况。然而，CIS121不具有执行图像识别的功能。CIS121具有预处理单元141、ISP 142和后处理单元143。由于预处理单元141对应于CIS11的预处理单元21，因此将省略其描述。ISP 142从预处理单元141获取例如面部检测图像(感测低分辨率图像)，并通过信号处理生成适合于AP12中的感测***处理(面部检测、面部认证等)的图像。后处理单元143将面部检测图像提供给AP 12的ISP 102。AP 12可以对从CIS11获取的面部检测图像和从CIS121获取的面部检测图像两者进行图像识别。

在所述第三使用形式中，所述CIS11、所述CIS121和所述AP 12全部成为激活状态。CIS11的检测处理单元22对来自预处理单元21的面部检测图像执行图像识别，并且AP 12的检测确定处理单元103对来自CIS 121的面部检测图像执行图像识别。

根据第三使用形式，可根据检测目标分配图像识别。例如，CIS11可以通过图像识别执行人检测，并且AP 12可以通过图像识别执行面部检测等。

<第四使用形式>

图6是描述CIS11的图像识别和AP 12的图像识别的第四使用形式的示图。在图中，与在图3中的CIS11和AP 12相对应的部分由相同的参考标号表示，并且将省略其描述。

在图6中，CIS11具有预处理单元21、检测处理单元22、后处理单元25和编码器26。编码器26对来自预处理单元21的面部检测图像进行编码以减少数据量。编码器26将编码的面部检测图像发送到AP 12。应注意，编码器26使用例如MIPI、12C或作为通信接口标准的改进的集成电路间(13C)将面部检测图像传输至AP 21。

AP 12具有ISP 102、检测确定处理单元103、DRAM 104、存储装置105和解码器106。解码器106接收并解码从CIS11的编码器26发送的面部检测图像。解码器106将解码的面部检测图像提供给ISP 102。检测确定处理单元103从ISP 102获取从解码器106提供给IPS102的面部检测图像，并执行图像识别。

在第四使用形式中，CIS11和AP 12处于激活状态。在AP 12的检测确定处理单元103进行图像识别的情况下，CIS11的预处理单元21将面部检测图像提供给编码器26。编码器26对来自预处理单元21的面部检测图像进行编码，并将编码的面部检测图像发送到AP12的解码器106。解码器106对来自编码器26的面部检测图像进行解码，并将解码的面部检测图像提供给ISP 102。检测确定处理单元103经由ISP 102获取面部检测图像，并执行图像识别。

在第四使用形式中，CIS11和AP 12均处于激活状态(运行状态)。在该状态下，CIS11的检测处理单元22不进行图像识别。AP 12的检测确定处理单元103执行DNN处理。在这种情况下，CIS11的预处理单元21将感测低分辨率图像(面部检测图像)发送到AP 12的ISP 102，AP 12的检测确定处理单元103经由ISP 102获取感测低分辨率图像。

根据第4使用形式，即使在AP 12进行图像识别的情况下，从CIS11向AP 12发送的图像数据也被编码，因此要发送的数据量减少。因此，降低了从CIS11向AP 12发送图像所需的功耗。

<终端装置1的功能的具体示例>

在下文中，将描述当CIS11的图像识别应用于终端装置1可采用的各种功能的执行时的应用示例1至9。如上所述，CIS11的图像识别(也称为感测)包括图2中的CIS11的感测处理单元36中的DNN处理单元81的DNN处理和运动检测单元82的运动检测两者。

<应用示例1>

应用示例1是当CIS11的图像识别应用于终端装置1的终端解锁(面部解锁)和终端锁定(面部锁定)的功能时的应用示例。终端装置1的终端解锁是在终端装置1的锁定状态下认证用户的面部的情况下将终端装置1的锁定状态切换至解锁状态的功能(也称为面部解锁)。终端装置1的锁定状态除了禁止终端装置1的操作而不是特定操作的一般状态之外，还包括需要用于将终端装置1返回至原始运行状态或预定运行状态的解锁处理的所有状态。包括在终端装置1的锁定状态中的典型运行状态包括待机状态(处理被停止并且处理由与解锁处理相关联的触发激活的状态)，待机状态也是省电状态、显示器被关闭的省电状态等中的一个。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

图7是描述由CIS11和AP 12执行的图像识别以用于对终端装置1进行终端解锁的图像识别的示图。在图7中，捕获图像161是由CIS11捕获的捕获图像的示例，并且表示图像帧中的对象的状态。用户181表实施例如终端装置1的所有者。移动体182表示任意的移动体。

在终端装置1的终端解锁中，在终端装置1的解锁状态下，执行由运动检测框201指示的运动检测、由人检测框202指示的人检测、以及由面部检测框203指示的面部检测作为图像识别。

运动检测框201表示在假设用户181和移动体182同时移动的情况下通过运动检测在图像帧中检测到运动的范围。在运动检测中，不必检测图像帧中的运动检测帧201的范围，并且可以是检测到在图像帧中的任何范围中检测到运动(存在运动)的情况。该运动检测通过CIS11的图像识别来进行。

人检测框202表示通过人检测在图像帧中检测到人的范围。在人类检测中，例如，在图像帧中存在多个人的情况下，检测多个人中的每一个的范围(人类检测框202的范围)。在用户181存在于图像帧中的情况下，检测用户181的范围。然而，不指定所检测的人是否是用户181。通过CIS 11的图像识别进行该人检测。

面部检测框203表示通过面部检测在图像帧中检测到面部的范围。在面部检测中，例如，在图像帧中存在多个面部的情况下，检测多个面部中的每的范围(面部检测框203的范围)。在用户181存在于图像帧中的情况下，检测用户181的面部的范围。然而，不指定所检测的面部是否是用户181。此面部检测是通过AP 12的图像识别来执行的。AP 12的图像识别通过例如图3的检测确定处理单元103中的DNN处理来执行。在终端解锁中，在终端装置1仅在没有检测到任意面部而是检测到用户181的面部的情况下进入解锁状态的情况下，将通过面部检测检测到的面部与预先准备的关于用户181的面部的信息进行对照(面部认证)。

运动检测、人检测和面部检测彼此协作地执行。在仅首先执行运动检测并在图像帧中检测到运动的情况下，从运动检测转换到人检测。在通过人检测在图像帧中检测到人的情况下，进行从人检测到面部检测的转换。然而，在直到经过特定时间段之前通过人检测在图像帧中未检测到人的情况下，从人检测转换到运动检测，并且从运动检测再次执行处理。在进行从人检测到面部检测的转换并且通过面部检测检测面部的情况下，执行面部认证。在直到经过特定时间段之前通过面部检测没有检测到面部的情况下，进行从面部检测到运动检测的转换，并且从运动检测再次执行处理。在面部认证成功进行面部认证的情况下，终端装置1从锁定状态转换至解锁状态，并且图像识别结束。在面部认证失败的情况下，进行从面部检测到运动检测的转换，并且从运动检测再次执行处理。然而，面部认证失败的情况下的处理不限于此。

运动检测、人检测和面部检测的协作不限于时间协作。例如，在运动检测框201的范围由运动检测检测的情况下，可以利用限于运动检测框201的范围的范围执行人检测。在通过人检测来检测人检测框202的范围的情况下，可以利用限于人检测框202的范围的范围来执行面部检测。注意，通过AP 12执行将终端装置1设置为锁定状态或解锁状态。

(终端解锁的具体情形的示例1)

图8是描述直到终端装置1通过终端装置1的终端解锁功能从锁定状态切换至解锁状态的具体情形(场景发展)的示例(示例1)以及此时的CIS11和AP 12的状态转换的概要的示图。

在图8中，场景C1是用户正在口袋中以待机状态的终端装置1(例如，智能电话)行走的场景。当终端装置1处于待机状态时，显示器关闭，只接受特定的操作，如电源按钮。

场景C2是用户从口袋中取出待机状态下的终端装置1以使用终端装置1的场景。

场景C3是用户使用终端解锁功能将终端装置1(相机)指向他或她的面部以便使终端装置1进入解锁状态的场景。应注意，存在当使用终端装置1时终端装置1的相机安装在对用户面部成像的方向上的情况。该情况下的场景C3包括由于用户意图使用终端装置1而没有意识到使终端装置1进入解锁状态而使相机指向用户的面部的场景。

场景C4是在终端解锁功能中用户的面部认证成功的场景，终端装置1从待机状态(锁定状态)切换到能够正常使用的激活状态(解锁状态)。

在场景C1和场景C2中，AP 12的状态为“等待低功率事件”。“等待低功率事件”表示AP 12处于睡眠模式。在睡眠模式下，AP 12不执行处理，并且等待来自CIS11的检测触发(人检测通知信号)。在休眠模式下，AP 12的功率消耗极小。

在场景C1和场景C2中，CIS11的状态是“AO MD”或“AO HE”。“AO MD”和“AO HE”均表示该CIS11处于感测模式中。在该感测模式下，CIS11至少由光接收部反复进行摄像。存在多种类型的感测模式，并且在“AO MD”和“AO HE”的感测模式的情况下，CIS11捕获具有低分辨率的检测处理图像。“AO MD”(MO：运动检测(Motion Detection))表示CIS11使用检测处理图像执行运动检测的运动检测模式。“AO HE”表示人检测模式，其中使用检测处理图像通过DNN处理执行人检测。在场景C1和场景C2中，由于改变由相机捕获的图像帧中的图像，所以CIS 11在运动检测模式(“AO MD”)中检测图像帧中的运动，并且自动转换到人检测模式(“AO HE”)。在场景C1和场景C2中，由于在图像帧中未检测到人(假设如此)，所以当在人检测模式(“AO HE”)中过去特定时间段时，CIS11自动转换成运动检测模式(“AO MD”)。在场景C1和场景C2中，CIS11重复这种状态转换。

在场景C3中，CIS11的状态从人检测模式(“AO HE”)转换成“感测(VGA)”。在该转换时，CIS11将“开启(ON)”发送至AP 12。“开启”是在CIS11以人检测模式(“AO HE”)在图像帧中检测到人的情况下从CIS11传输至AP 12的检测触发(人检测通知信号)。通过图2中的感测后处理单元63将检测触发传输至AP 12。“感测(VGA)”是感测模式的类型，并且是用于将用于图像识别的低分辨率的图像传输至AP 12的模式。在感测模式(“感测(VGA)”)中，CIS11连续捕获(获取)具有低分辨率的感测低分辨率图像，并且将获取的感测低分辨率图像传输至AP 12。感测低分辨率图像从图2中的感测图像信号处理单元37被传输至AP 12。

应注意，感测模式(“感测(VGA)”)是旨在将用于图像识别等的低分辨率的感测图像(感测低分辨率图像)输出至外部的模式，并且还被称为用于感测图像输出的感测模式或感测图像输出模式。在用于感测图像输出的感测模式下，CIS11可与感测图像的输出同时执行运动检测和人检测，但是在没有明确说明执行运动检测和人检测的情况下，CIS11不执行运动检测和人检测。

在场景C3中，由于用户被包括在图像帧中，所以CIS11在人检测模式(“AO HE”)下检测图像帧中的人。因此，CIS11将用于向AP 12通知事实的检测触发(“ON”)传输至AP 12，并且从人检测模式(“AO HE”)转换至用于感测图像输出的感测模式(“感测(VGA)”)。

在场景C3中，当从CIS11接收到检测触发(“ON”)时，AP 12的状态从睡眠模式(“等待低功率事件”)转换至“面部记录”。“面部识别”表示AP 12执行面部认证的面部认证模式。在面部认证模式(“面部识别”)中，AP 12在认证之前通过图像识别(DNN处理等)执行面部检测。当执行面部检测时，AP 12从CIS11获取感测低分辨率图像，并对该感测低分辨率图像执行DNN处理等。

在场景C4中，AP 12的状态从面部认证模式(“面部识别”)转换到“电话解锁”。在该转换时，AP 12向CIS11发送“Comp”。“Comp”是用于指示CIS11停止用于感测图像输出的感测模式(“感测(VGA))的通知信号。“电话解锁”表示AP 12执行将终端装置1设置为解锁状态的处理的状态。当转换到“电话解锁”时，AP 12结束面部认证。在场景C4中，因为用户的面部包括在图像帧中，所以AP 12通过面部认证模式中的面部检测来检测图像帧中的面部(“面部识别”)。当检测面部时，AP 12将所检测的面部与预先获取的有关用户的面部的信息(面部图像或者用户的面部的特征)进行对照。因为图像帧中的面部是用户面部，所以AP 12确定作为对照的结果面部认证已经成功，并且从面部认证模式(“面部识别”)转换成“电话解锁”。在该转换时，AP 12向CIS11发送通信信号(“Comp”)。

在场景C4中，当从AP 12接收通知信号(“Comp”)时，CIS11的状态从感测模式(“感测(VGA)”)转换成“断开→由AP控制”。“关闭(OFF)→由AP控制”表示CIS11的处理停止且CIS11等待从AP 12接收关于控制等的通知信号的待机状态。在场景C4中，由于用户的面部认证成功并且终端装置1进入解锁状态，所以CIS11从AP 12接收通知信号(“Comp”)。因此，CIS11停止用于感测图像输出的感测模式(“感测(VGA)”)，并且停止捕获感测低分辨率图像并将感测低分辨率图像传输至CIS11。在停止感测模式(“感测(VGA)”)的情况下，CIS11转换至待机模式(“关闭→由AP控制”)并且切换至等待来自AP 12的通知信号的状态。

(终端解锁的具体情形的示例2)

图9是描述通过终端装置1的终端锁定和终端解锁(面部解锁)的功能直到终端装置1从解锁状态切换至锁定状态并且从锁定状态切换至解锁状态的具体情形(场景发展)的示例(示例2)以及此时的CIS11和AP 12的状态转换的概要的示图。在图9中，场景C1是在用户参照在解锁状态下显示在终端装置1的显示器上的食谱时正在烹饪的场景。注意，假定用户没有对终端装置1进行任何操作的状态继续。

场景C2是从用户不对终端装置1进行任何操作的状态起经过了预定时间段并且终端装置1通过终端锁定功能进入锁定状态的场景。终端装置1的锁定状态是，例如，省电状态(功耗低于正常激活状态时的功耗的状态)以及显示器关闭的状态。

场景C3是用户为了查看食谱而朝向终端装置1的显示方向的场景。此时，可以在图像帧中确认用户的面部。

场景C4是在终端解锁功能中用户的面部认证成功，并且终端装置1从锁定状态返回至锁定状态之前的显示被打开的解锁状态的场景。

在场景C1中，AP 12的状态为“电话解锁”。“电话解锁”表示AP 12将终端装置1设置为解锁状态。在场景C1中，CIS11的状态是待机模式(“关闭→由AP控制”)。

在场景C2中，AP 12的状态从“电话解锁”转换到睡眠模式(“等待低功率事件”)。在该转换时，AP 12发送向CIS11请求启用感测模式(基于运动检测和人检测的感测模式)的通知信号。在场景C2中，尽管稍后将描述细节，但由于在图像帧中没有检测到用户面部的状态继续，所以终端装置1进入锁定状态作为终端锁定功能。此时，AP 12从“电话解锁”状态转换为睡眠模式(“等待低功率事件”)。

在场景C2中，当从AP 12接收到请求启用感测模式的通知信号时，CIS11的状态从作为感测模式的待机模式(“关闭→由AP控制”)转换到运动检测模式(“AO MD”)。在运动检测模式(“AO MD”)中，CIS11捕获低分辨率的检测处理图像，并使用检测处理图像执行运动检测。在场景C2中，在图像帧中不存在运动的情况下，CIS11没有检测到图像帧中的运动，并且继续运动检测模式(“AO MD”)。

在场景C3中，CIS11的状态从运动检测模式(“AO MD”)转换到人检测模式(“AOHE”)。在场景C3中，由于用户沿终端装置1的方向移动他/她的面部，CIS11检测图像帧中的运动。因此，作为感测模式，CIS11从运动检测模式(“AO MD”)自动转换到人检测模式(“AOHE”)。在人类检测模式(“AO HE”)中，CIS11捕获低分辨率的检测处理图像，并且使用检测处理图像执行人类检测。在场景C3中，AP 12的状态继续睡眠模式(“等待低功率事件(Waitinglow power event)”)。

在场景C4中，CIS11的状态从人检测模式(“AO HE”)转换成感测模式(“感测(VGA)”)。在该转换时，CIS11将检测触发(“开启”)(人检测通知信号)发送至AP 12。此后，在从AP 12接收通知信号(“Comp”)的情况下，CIS11的状态从感测模式(“感测(VGA))转换至待机模式(“关闭→由AP控制”)。

在场景C4中，在接收到来自CIS11的检测触发(“开启”)的情况下，AP 12的状态从睡眠模式(“等待低功率事件”)激活(转换成激活模式)，并且转换成面部认证模式(“面部识别”)。此后，在面部认证成功(假设面部认证成功)的情况下，AP 12的状态从面部认证模式(“面部识别”)转换至“电话解锁”。在该转换时，AP 12向CIS11发送通知信号(“Comp”)。

在场景C4中，由于在图像帧中检测到面部，所以CIS11在人检测模式(“AO HE”)下检测图像帧中的人。因此，CIS11将提供检测到人的通知的检测触发(“开启”)发送至AP 12，并且CIS11转换至感测模式(“感测(VGA)”)。在感测模式(“感测(VGA)”)下，CIS11不执行图像识别，连续捕获具有低分辨率的感测低分辨率图像，并且将获取的感测低分辨率图像传输至AP 12。另一方面，在接收到来自CIS11的检测触发(“开启”)的情况下，AP 12从睡眠模式(“等待低功率事件”)转换至面部认证模式(“面部识别”)。

在面部认证模式(“面部识别”)下，AP 12在认证之前通过图像识别(DNN处理)执行面部检测。当执行面部检测时，AP 12从CIS11获取感测低分辨率图像，并对感测低分辨率图像执行图像识别。在场景C4中，因为用户的面部包括在图像帧中，所以AP 12通过面部认证模式中的面部检测来检测图像帧中的面部(“面部识别”)。当检测面部时，AP 12将所检测的面部与预先获取的有关用户的面部的信息(面部图像或者用户的面部的特征)进行对照。因为图像帧中的面部是用户面部，所以AP 12确定作为对照的结果面部认证已经成功，并且从面部认证模式(“面部识别”)转换成“电话解锁”。在该转换时，AP 12向CIS11发送通知信号(“Comp”)。在接收到来自AP 12的通知信号(“Comp”)的情况下，CIS11停止感测模式(“感测(VGA))，并且停止捕获感测低分辨率图像并将感测低分辨率图像传输至CIS11。在停止感测模式(“感测(VGA)”)的情况下，CIS 11转换至待机模式(“关闭→由AP控制”)并且切换至等待来自AP 12的关于控制等的通知信号的状态。

(终端解锁的具体情形的示例1的细节)

图10是示出在CIS11和AP 12的图像识别用于终端解锁功能的情况下作为终端装置1的状态转换和CIS11和AP 12的状态转换的流程图。

在图10中，状态C1至C7表示终端装置1的状态转换。在状态C1下，终端装置1处于执行应用的状态。此时，AP 12的状态是执行CIS11的激活设置的状态，CIS11的状态是待机模式(“HW待机”)。待机模式(“HW待机”)是不向CIS11供电并且CIS11停止处理的状态。终端装置1从状态C1转换到状态C2。

在状态C2下，终端装置1进入待机状态(锁定状态)。从状态C1到状态C2的转换不限于特定条件。例如，它可以是在预定时间段内在图像帧中未连续检测到面部的情况、在预定时间段内未对终端装置1连续执行操作的情况等。

在状态C2下，AP 11处于睡眠模式(“AP睡眠”)。在睡眠模式(“AP睡眠”)下，不向AP12提供电力，并且AP 12处于待机状态而不进行任何操作。当转换成睡眠模式(“AP睡眠”)时，AP 12基于运动检测和人检测发送请求CIS11启用感测模式的通知信号(“转到感测模式”)。CIS11根据来自AP 11的通知信号(“转到感测模式”)从不供应电力的待机模式(“HW待机”)转换至供应电力的待机模式(“SW待机”)，并且由AP 11执行预定的激活设置。终端装置1从状态C2转换到状态C3。

在状态C3下，终端装置1执行运动检测。CIS11基于运动检测和人检测从状态C2中的待机模式(“SW待机”)转换到感测模式中的运动检测模式(“感测模式(运动检测)”)。运动检测模式(“感测模式(运动检测)”)指示与图8中描述的运动检测模式(“AO MD”)相同的模式。因此，终端装置1进入通过CIS11的图像识别来执行运动检测的状态C3。在状态C3下，AP12处于睡眠模式(“AP睡眠”)。终端装置1从状态C3转换到状态C4。

在状态C4中，终端装置1进行人检测。在状态C3中在运动检测模式(“感测模式(运动检测)”)下在图像帧中检测到运动的情况下，CIS11从运动检测模式(“感测模式(运动检测)”)自动转换到人检测模式(“感测模式(人类存在)”)。人检测模式(“感测模式(人类存在)”)指示与图8中描述的人检测模式(“AO HE”)相同的模式。因此，终端装置1进入通过CIS11的图像识别执行人检测的状态C4。在状态C4下，AP 12继续睡眠模式(“AP睡眠”)。终端装置1从状态C4转换到状态C5。

在状态C5中，终端装置1执行面部检测。在状态C4中在人检测模式(“感测模式(人类存在)”)下在图像帧中检测到人的情况下，CIS11将检测触发(“唤醒AP”)(人检测通知信号)发送到AP 12。检测触发(“唤醒AP”)是与在图8中描述的检测触发(“ON”)相同的信号。因此，AP 12从睡眠模式(“AP睡眠”)被激活(转换到激活模式)，并且转换到面部检测模式(“面部检测”)。在AP 12转换成面部检测模式(“面部检测”)的情况下，AP 12向CIS11发送请求传输具有低分辨率的感测图像的通知信号(“请求感测图像”)。在CIS11从AP 12接收通知信号(“请求感测图像”)的情况下，CIS11从人检测模式(“感测模式(人类存在))转换成用于感测图像输出的感测模式(“感测模式(感测图像流)”)。感测模式(“感测模式(感测图像流)”)表示与在图8中描述的感测模式(“感测(VGA)”)相同的模式。在感测模式(“感测模式(感测图像流))中，CIS11将具有低分辨率的感测低分辨率图像传输至AP 12。AP 12从CIS11接收感测低分辨率图像，并通过对感测低分辨率图像执行图像识别来执行面部检测。因此，终端装置1进入通过AP 12的图像识别执行面部检测的状态C5。终端装置1从状态C5转换到状态C6。

在状态C6中，终端装置1执行面部认证。在状态C5中在面部检测模式(“面部检测”)下在图像帧中检测到面部的情况下，AP 12转换至面部认证模式(“面部识别”)。在面部认证模式(“面部识别”)中，AP 12通过将面部检测所检测的面部与预先获取的有关用户面部的信息进行对照来执行面部认证。因此，终端装置1进入通过AP 12的图像识别执行面部认证的状态C6。终端装置1从状态C6转换到状态C7。

在状态C7中，终端装置1处于解锁状态。在状态C6中在面部认证模式(“面部识别”)中面部认证成功的情况下，AP 12转换至“解锁”。“解锁”是与图8中描述的“电话解锁”相同的状态，并且表示AP 12将终端装置1设置为解锁状态的状态。当从面部认证模式(“面部识别”)转换至“电话解锁”时，AP 12向CIS11发送请求CIS11切换至待机模式(“HW待机”)的通知信号(“转到HW待机”)。在从AP 12接收通知信号(“转到HW待机”)的情况下，CIS11从感测模式(“感测模式(感测图像流))转换至待机模式(“HW待机”)。因此，终端装置1进入其中通过AP 12释放锁定状态的状态C7。

(终端锁定的具体情形的示例2的细节)

图11是示出作为终端装置1的状态转换和在CIS11和AP 12的图像识别用于终端锁定功能的情况下的CIS11和AP 12的状态转换的流程图。要注意的是，CIS11的感测模式包括感测模式和感测模式，在该感测模式中，在运动检测模式中检测到运动的情况下，在人检测模式中执行人检测，与在图10中的状态C3和C4一样，在该感测模式中，在人检测模式中仅仅执行人检测。前者被称为基于运动检测和人检测的感测模式，而后者被称为仅基于人检测的感测模式。使用运动检测和人检测(如在前者中)的感测被称为基于运动检测和人检测的感测，并且仅使用人检测(如在后者中)的感测被称为仅基于人检测的感测。

在这些感测模式或感测中，代替仅在图像帧中检测到人的情况下向AP 12等输出检测结果，可以向AP 12等连续输出关于是否检测到人的检测结果。在这种情况下，将CIS11的图像识别(感测)称为持续感测，将CIS11进行持续感测的模式也称为持续感测模式。在持续感测中连续输出的检测结果不限于在图像帧中是否检测到人，而是还可以是在图像帧中是否检测到运动，并且根据图像识别的处理内容而不同。

在图11中，状态C1至C3表示终端装置1的状态转换。在状态C1下，终端装置1处于执行应用的状态。此时，AP 12的状态是执行CIS11的激活设置的状态(“CIS激活设置”)，并且CIS11的状态是待机模式(“HW待机”)。终端装置1从状态C1转换到状态C2。

在状态C2下，终端装置1在持续感测中执行人检测。例如，在用户在预定时间段内连续未对终端装置1执行任何操作的情况下，发生从状态C1至状态C2的转换。

在状态C2中，AP 12转换至空闲模式(“AP空闲”)。在空闲模式(“AP空闲”)中，向AP12提供电力，但是AP 12待机而不做任何事情。当转换到空闲模式(“AP空闲”)时，AP 12发送通知信号(“转到感测模式”)，请求CIS11仅基于人检测启用持续感测模式。CIS11根据来自AP 12的通知信号(“转到感测模式”)从不供应电力的待机模式(“HW待机”)转换至供应电力的待机模式(“SW待机”)。在CIS11转换成待机模式(“SW待机”)的情况下，CIS11随后转换成人检测模式(“感测模式(人类存在)”)。此时的人物检测模式是仅基于人物检测的持续感测模式。因此，CIS11通过图像识别连续地进行人检测。

在人检测模式(“感测模式(人类存在)”)下在图像帧中检测到人的情况下，CIS11将指示检测到人的人检测通知信号(“检测到人类”)发送至AP 12。在人检测模式(“感测模式(人类存在)”)下在图像帧中未检测到人的情况下，CIS11将提供未检测到人的通知的非人检测通知信号(“未检测到人类”)发送至AP 12。在无人检测通知信号(“未检测到人类”)被发送至AP 12的情况下，CIS11转换至待机模式(“SW待机”)。在从CIS 11接收到非人检测通知信号(“未检测到人类”)的情况下，AP 12进行使终端装置1进入锁定状态的处理，并进入执行CIS11的激活设置的“CIS激活设置”的状态。在这种状态下，AP 12向CIS11发送用于请求启用基于运动检测和人检测的感测模式的通知信号(“转到感测模式”)。此后，AP 12切换至不供应电力的睡眠模式(“AP睡眠”)。因此，终端装置1转换至作为待机状态的状态C3。在待机状态下，例如终端装置1的显示器关闭。在从AP 12接收到请求启用基于运动检测和人检测的感测模式的通知信号(“转到感测模式”)的情况下，CIS11从待机模式(“SW待机”)转换至基于运动检测和人检测的感测模式。CIS11基于运动检测和人检测转换到感测模式的原因是解锁终端。

(终端锁定和终端解锁的处理过程)

图12是举例说明终端锁定和终端解锁的处理程序的时序图。图12示出关于相机(CIS11)、AP 12、用户181、另一对象(移动体182)和用户181的处理的流程。由于相机对应于CIS11，所以在本说明书中将其描述为CIS11，并且由于另一个物体对应于图7中的移动体182，所以在本说明书中将其描述为移动体182。在图12中，步骤S1至S7涉及终端锁定，并且步骤S9至S21涉及终端解锁。

AP 12请求CIS11仅基于人检测来实现恒定的感测(步骤S1)。响应于步骤S1中的请求，CIS11转换为人检测模式(对应于图11中的人检测模式(“感测模式(人类存在)”))(步骤S2)。在用户181在图像帧之外的情况下(步骤S3)，CIS11向AP 12通知无人检测(没有检测到人)(步骤S4)。响应于步骤S4中的无人检测的通知，AP 12进行到终端锁定处理(步骤S5)。在AP 12进行到终端锁定处理的情况下，AP 12请求CIS11基于运动检测和人检测来启用感测(持续感测)(步骤S6)。响应于步骤S6中的请求，CIS11转换到运动检测模式(步骤S7)。在步骤S6的通知之后，AP 12将终端装置1设置为锁定状态，并且转换成睡眠模式。因此，终端装置1进入锁定状态。

在步骤S6中，CIS11响应于通知信号基于运动检测和人检测转换到感测模式，并且在步骤S7中转换到人检测模式的情况下，假设除了人之外的移动体182出现在图像帧中(步骤S9)。在图像帧中检测到运动的情况下，CIS11从运动检测模式转换到人检测模式(步骤S10)，并且进入人检测模式(步骤S11)。在步骤S11的人检测模式中，由于在图像帧中未检测到人，所以CIS11转换到运动检测模式(步骤S12)，并且返回到运动检测模式(步骤S13)。在步骤S13的运动检测模式中用户181出现在图像帧中(步骤S14)的情况下，CIS11转换到人检测模式(步骤S15)，并进入人检测模式(步骤S16)。在步骤S16的人检测模式中，CIS11将用户181检测为人，并且将人检测(检测到人)通知给AP 12(步骤S17)。在步骤17的通知之后，AP12向CIS11请求用于面部识别的图像(感测图像)(步骤S18)。响应于步骤S18的请求，CIS11转换为感测图像输出模式(用于感测图像输出的感测模式)(步骤S19)。在CIS11转换到感测图像输出模式的情况下，CIS11将感测图像(感测低分辨率图像)发送到AP 12(步骤S20)。AP12使用步骤S20的感测图像执行包括面部检测的面部认证，并且当面部认证成功时，AP 12将终端装置1设置为解锁状态(步骤S21)。

(终端锁定的处理程序)

图13是示出在终端锁定时由CIS11和AP 12执行的处理过程的流程图。在步骤S41中，AP 12仅基于人检测将CIS11设置为持续感测模式。即，AP 12仅根据人检测来请求CIS11启动恒定的感测模式，并且使CIS 11转换为该模式。在步骤S42中，CIS11进行人检测。在步骤S43中，CIS11确定图像帧中是否存在人。在步骤S43中为肯定确定的情况下，处理返回至步骤S42，并且从步骤S42重复该处理。

在步骤S43中为否定确定的情况下，处理进行至步骤S44。在步骤S44中，CIS11向AP12通知无人检测(没有检测到人)(发出无人检测的标志)。在步骤S45中，AP 12基于运动检测和人检测将CIS11设置为感测模式。也就是说，AP 12请求CIS11基于运动检测和人检测来启用感测模式，并且使CIS11转换到该模式。在步骤S46中，AP 12将终端装置1设置为锁定状态。在步骤S47中，AP 12转换至睡眠模式。

通过上述终端锁定中的CIS11和AP 12的处理，在图像帧中没有检测到人的情况下，终端装置1被设置为锁定状态。

(终端解锁的处理过程)

图14是示出在终端解锁中由CIS11和AP 12执行的处理过程的流程图。在步骤S61中，CIS11通过基于运动检测和人检测的感测模式下的图像识别(感测处理)来执行运动检测和人检测。注意，假设AP 12的状态是睡眠模式。在步骤S62中，CIS11进行运动检测，确定在图像帧中是否检测到运动。在步骤S62中为否定确定的情况下，处理返回至步骤S61。在步骤S62中为肯定确定的情况下，处理进入步骤S63。

在步骤S63中，CIS11进行人物检测，确定在图像帧中是否检测到人物。在步骤S63中为否定确定的情况下，处理返回至步骤S61，并且从步骤S61重复进行处理。在步骤S63中为肯定确定的情况下，处理进入步骤S64。在步骤S64中，CIS11向AP 12通知人检测(检测到人)(发布人检测的标志)。在步骤S65中，AP 12响应于步骤S64的通知从睡眠模式被激活(转换到激活模式)。在步骤S66中，AP 12将CIS11设置为用于感测图像输出的感测模式。在步骤S67中，AP 12从CIS11获取感测图像。在步骤S68中，AP 12使用来自CIS11的感测图像执行图像帧中的面部是用户面部的面部认证。在步骤S69中，AP 12确定面部认证是否成功。

在步骤S69中为否定确定的情况下，处理进入步骤S70。在步骤S70中，AP 12基于运动检测和人检测将CIS11设置为感测模式。在步骤S71中，AP 12转换为睡眠模式。处理从步骤S71返回至步骤S61，并且从步骤S61重复。

在步骤S69中为肯定确定的情况下，处理进入步骤S72。在步骤S72中，AP 12将终端装置1设置为解锁状态。在步骤S72的处理结束的情况下，该流程图的处理结束。

(应用示例1的概要)

根据应用示例1，在终端解锁中，执行关于在图像帧中是否检测到用户(人)的人检测，并且仅在图像帧中检测到人的情况下执行面部认证。在面部认证成功的情况下，终端装置1被解锁。在通过人检测在图像帧中未检测到人的情况下或者在面部认证失败的情况下，不解锁终端装置1。在终端锁定中，在终端装置1未被锁定的状态(解锁状态)下，执行关于在图像帧中是否检测到用户(人)的人检测，并且在图像帧中没有检测到人的情况下，终端装置1被锁定。在图像帧中检测到人的情况下，终端装置1不被锁定。由于能够以比面部认证低的处理能力实现人物检测，因此能够通过对处理能力比AP 12低的CIS11进行图像识别来进行人物检测，还能够降低耗电量。由于人检测是通过CIS11的图像识别来进行的，不仅用于终端解锁，而且用于终端锁定，所以在人检测时不需要将大量的图像数据从CIS11发送到AP12，并且AP 12可以在诸如睡眠模式的省电状态下待机或者可以专注于除人检测以外的处理。因此，在由CIS11进行人检测的情况下，与由AP 12进行人检测的情况相比，传输图像数据所需的功耗和由AP 12消耗的功耗减小。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为容易执行面部认证的状态，并且可检测图像帧中的人的存在。容易执行面部认证的状态是例如相对于图像帧的人的尺寸在预定比例的范围内的状态或者人面向前方(相机的方向)的状态。可以通过调整用于执行从CIS11到AP 12的检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。

在通过运动检测在图像帧中检测到运动的情况下，进行通过CIS11的图像识别的人检测。由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP 12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例2>

应用示例2是当CIS11的图像识别应用到终端装置1的智能旋转功能时的应用示例。终端装置1的智能旋转是根据终端装置1的显示器上所显示的图像的垂直方向(图像的屏幕的垂直方向)和终端装置1的姿态或查看终端装置1的显示器的用户的面部的方向(垂直方向)的旋转的函数。在应用示例2中，CIS11的图像识别用于在终端装置1的相机(CIS11)能够检测到用户的面部的方向的情况与终端装置1的相机(CIS11)不能够检测到用户的面部的方向的情况之间，确定是基于终端装置1的姿态来旋转屏幕还是基于面部的方向来旋转屏幕。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

图15是描述由CIS11和AP 12执行的用于终端装置1的智能旋转功能的图像识别的示图。在图15中，捕获图像221是由CIS11捕获的捕获图像的实施例，并且表示图像帧中的对象的状态。例如，用户241表示终端装置1的所有者，但也可以不是终端装置1的所有者，也可以是正在查看终端装置1的显示的用户。

在终端装置1的智能旋转功能中，作为图像识别，执行由运动检测框261指示的运动检测、由人检测框262指示的人检测和由面部检测框263指示的面部检测。运动检测框261、人检测框262和面部检测框263分别对应于图7中描述的运动检测框201、人检测框202和面部检测框203，并且因此，省略其详细描述。

通过CIS11的图像识别来执行由运动检测框261指示的运动检测和由人检测框262指示的人检测。通过AP 12的图像识别来执行由面部检测框263指示的该面部检测。在应用示例2中的面部检测中，不仅检测图像帧中的面部的范围，而且检测面部(头部)的朝向。在智能旋转中，图像被旋转，使得所检测到的面部的朝向和显示在显示器上的图像的朝向是适当的。

(智能旋转的处理程序)

图16是示出在智能旋转中由CIS11和AP 12执行的处理过程的流程图。在步骤S91中，AP 12根据用户的操作激活视频应用(应用)。视频应用是用于再现视频的应用。

在步骤S92中，AP 12根据用户的操作再现视频。在步骤S93中，AP 12仅基于人检测将CIS11设置为持续感测模式。即，AP 12仅根据人检测来请求CIS11启动恒定的感测模式，并且使CIS11转换为该模式。在步骤S94中，AP 12使用陀螺仪传感器测量终端装置1(显示器)的倾斜度。例如，AP 12检测沿相对于水平面的显示面的方向中相对于水平面的倾斜度变得更大的方向作为检测方向。应注意，在步骤S94中，终端装置1的倾度(姿态)可由任意传感器检测，并且所检测的倾度的表示方法不限于特定方法。

在步骤S95中，AP 12基于步骤S94的测量结果确定在终端装置1中是否检测到倾斜。在步骤S95中的否定确定的情况下，处理返回至步骤S94。在步骤S95的肯定确定的情况下，处理进行到步骤S96。在步骤S96中，CIS11仅基于人类检测在感测模式下通过图像识别(感测处理)进行人类检测。在步骤S97中，CIS11确定在图像帧中是否检测到人。在步骤S97中的否定确定的情况下，处理进行到步骤S98。

在步骤S98，AP 12基于在步骤S94由陀螺仪传感器检测到的检测方向旋转要在显示器上显示的视频的屏幕。例如，旋转视频的屏幕，使得视频的屏幕的检测方向和垂直方向彼此最平行。在步骤S98之后，处理进行到步骤S103。在步骤S97中的肯定确定的情况下，处理进行到步骤S99。在步骤S99中，AP 12将CIS11设置为用于感测图像输出的感测模式。在步骤S100中，AP 12从CIS11获取感测图像。在步骤S101中，AP 12基于来自CIS11的感测图像检测面部旋转角度。面部旋转角度例如是面部在垂直方向上相对于图像帧的参考方向(例如，垂直方向)的旋转角度。

在步骤S102中，AP 12基于在步骤S101中检测到的面部旋转角度(面部相对于图像帧的方向)旋转要在显示器上显示的视频的屏幕。例如，视频的屏幕被旋转，使得面部的垂直方向和视频的屏幕的垂直方向彼此最平行。在步骤S102之后，处理进入步骤S103。在步骤S103中，AP 12确定视频应用是否结束。在步骤S103中为否定确定的情况下，处理返回至步骤S93。在步骤S103中为肯定确定的情况下，该流程图的处理结束。

(应用示例2的概要)

根据应用示例2，在智能旋转中，执行关于在图像帧中是否检测到用户(人)的人检测，在图像帧中检测到人的情况下执行面部检测，并且执行基于面部检测的屏幕的旋转。在图像帧中没有检测到人的情况下，执行基于终端装置1的姿态的屏幕的旋转。通过在执行屏幕旋转之前执行人检测，适当地确定是基于面部检测还是基于终端装置1的姿态来执行屏幕的旋转，并且还可以减少在图像帧中没有检测到人的情况下由于浪费的面部检测而导致的功耗。

由于能够以比面部检测低的处理能力实现人检测，因此能够通过对处理能力比AP12低的CIS11进行图像识别来进行人检测，还能够降低消耗电力。由于通过CIS11的图像识别进行人检测，因此在人检测时不需要从CIS11向AP 12发送大量的图像数据，并且与通过AP 12进行人检测的情况相比，降低了在人检测时发送图像数据所需的功耗和由AP 12消耗的功耗。AP 12可专注于除人检测之外的处理。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为人正在注视屏幕的状态，并且可检测图像帧中的人的存在。人注视屏幕的状态例如是人相对于图像帧的大小在预定比例的范围内的状态或者人面向前方(相机的方向)的状态。可以通过调整用于执行从CIS11到AP 12的检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。

在通过运动检测在图像帧中检测到运动的情况下，可以执行通过CIS 11的图像识别的人检测。在该情况下，由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例3>

应用示例3是当CIS11的图像识别应用到终端装置1的视频再现控制功能时的应用示例。视频再现控制功能是在终端装置1中再现视频的情况下，在用户正在浏览显示器的视频的情况下再现视频，并且在用户没有正在浏览视频的情况下自动停止视频的再现的功能。在应用示例3中，CIS11的图像识别用于确定用户是否正在浏览视频。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

图17是描述由CIS11和AP 12执行的用于终端装置1的视频再现控制功能的图像识别的示图。在图17中，捕获图像281是由CIS11捕获的捕获图像的实施例，并且表示图像帧中的对象的状态。例如，用户301表示终端装置1的所有者，但可以不是终端装置1的所有者，并且可以是正在浏览终端装置1的显示的用户。

在终端装置1的视频再现控制功能中，执行由运动检测框321指示的运动检测和由人检测框322指示的人检测作为图像识别。运动检测框321和人检测框322分别对应于图7中描述的运动检测框201和人检测框202，并且因此，省略其详细描述。通过CIS11的图像识别来执行由运动检测框321指示的运动检测和由人检测框322指示的人检测。

注意，在应用示例3中，CIS11的图像识别(感测)不限于运动检测和人检测。例如，CIS11的图像识别可包括运动检测、人检测和视线检测中的任意一个或多个。不仅在指定视线方向的情况下，而且在视线是否在特定方向(终端装置1的显示的方向)上的情况下，可以执行视线检测。视线检测可以是任何方法，诸如基于眼睛内角与虹膜之间的位置关系的检测的方法。在应用示例3中，假设CIS11的感测模式是持续感测模式。

(视频再现控制的处理程序)

图18是例示视频再现控制的处理过程的时序图。图18示出关于用户301、相机(CIS11)、AP 12和视频再现服务341的处理的流程。由于相机对应于CIS11，因此在本说明书中将其描述为CIS11。视频再现服务341对应于用于执行视频再现控制的程序。

在图18中，在用户301激活视频应用的情况下(步骤S121)，激活视频再现服务341。视频再现服务341向CIS11请求启用持续感测模式(步骤S122)。应注意，持续感测模式是执行运动检测、人检测、以及视线检测之中的人检测或者视线检测中的至少一个的感测模式。在说明书中，在CIS11的持续感测模式下，假设人类检测还包括视线检测，并且检测结果包括诸如在图像帧中是否检测到人类以及视线是否正在浏览(凝视)显示器(视频)等检测结果。

响应于步骤S122中的请求，CIS11转换为持续感测模式(步骤S123)。在用户301指示视频再现服务341再现视频的情况下(步骤S124)，因为用户301出现在图像帧中，所以CIS11在图像帧中检测人。因此，CIS11将人检测(检测到人)通知给视频再现服务341(步骤S125)。视频再现服务341响应于在步骤S124中的指令再现视频。

这里，假设由于在视频的再现期间用户301远离座位或不浏览而用户301从图像帧中出来的情况，或者视线偏离显示器的情况。此时，作为持续感测模式下的检测结果，CIS11将指示在图像帧中没有检测到人或者视线没有注视显示器的检测结果通知给视频再现服务341(步骤S127)。因此，视频再现服务341停止视频的再现(步骤S128)。

接下来，假定用户301输入图像帧或者视线注视显示器，因为在步骤S128中视频停止时用户301存在或者恢复浏览。此时，CIS11将指示在图像帧中检测到人或者视线正在注视显示器的检测结果作为持续感测模式下的检测结果通知给视频再现服务341(步骤S129)。因此，视频再现服务341恢复视频的再现(步骤S130)。在用户301结束视频应用的情况下(步骤S131)，视频再现服务341使CIS11仅基于人检测来结束持续感测模式(步骤S132)。

(视频再现控制的处理程序)

图19是例示在用于与图18相比的通过AP 12的图像识别而不使用CIS11的图像识别来实现与图18中相同的功能的情况下的视频再现控制的处理过程的时序图。

图19示出关于用户301、相机(CIS11-1)、AP 12-1、用户301、以及视频再现服务341的处理的流程。相机(CIS11-1)可被视为图19中的CIS11，或者可以是不具有对CIS11执行图像识别的功能的一般图像传感器，这是因为这是不使用CIS11的图像识别的情况。AP 12-1对应于图18中的AP 12并且具有执行图像识别的功能。用户301和视频再现服务341对应于图18中的用户301和视频再现服务341。在图19中，在用户301激活视频应用的情况下(步骤S151)，激活视频再现服务341。视频再现服务341请求AP 12启用持续感测(步骤S152)。要注意的是，在图18的情况下，持续感测与在持续感测模式下的图像识别相似，因此，省略其描述。

为了执行感测(图像识别)，AP 12-1激活CIS11-1(相机)，并且请求CIS11-1(相机)向AP 12-1发送捕获的图像(步骤S153)。在用户301指示视频再现服务41再现视频的情况下(步骤S154)，用户301出现在图像帧中。在获取从CIS11-1发送的图像(捕获图像)的情况下(步骤S155)，AP 12-1对该图像进行图像识别(感测)。假设图像识别是类似于图18中的图像识别(感测)并且还包括视线检测。结果，将用于检测AP 12-1的捕获图像发送到AP 12-1(步骤S155)。作为感测的结果，AP 12-1检测图像帧中的人，将检测结果通知给视频再现服务341(步骤S156)，并且指示CIS11-1停止成像(停止相机)。在步骤S156中，视频再现服务341根据通知再现视频。CIS11-1根据步骤S156的指示停止摄像。

这里，假设由于在视频的再现期间用户301远离座位或不浏览而用户301从图像帧中出来的情况，或者视线偏离显示器的情况。为了进行周期性检测，AP 12-1启动CIS11-1(相机)(步骤S159)，取得CIS11-1拍摄到的图像(步骤S160)。此时，作为感测中的检测结果，AP 12-1向视频再现服务341通知指示在图像帧中未检测到人或者视线没有注视显示器的检测结果(步骤S161)，并且指示CIS11-1停止摄像(停止相机)(步骤S162)。因此，视频再现服务341停止视频的再现(步骤S163)。CIS11-1响应于步骤S162中的指令停止摄像。

接下来，假定用户301输入图像帧或者视线注视显示器，因为在步骤S163中视频停止时用户301存在或者恢复浏览。在这种情况下，为了周期性感测，AP 12-1激活CIS11-1(相机)(步骤S164)，并且获取由CIS11-1捕获的图像(步骤S165)。此时，AP 12-1将指示在图像帧中检测到人或者视线正在注视显示器的检测结果作为感测中的检测结果通知给视频再现服务341(步骤S166)，并且指示CIS11-1停止摄像(停止相机)(步骤S167)。因此，视频再现服务341恢复视频的再现(步骤S168)。CIS11-1响应于步骤S167中的指示停止摄像。在用户301结束视频应用的情况下(步骤S169)，视频再现服务341使AP 12-1结束持续感测(步骤S170)。

从图18与图19之间的比较中显而易见，由于在图18中未执行从CIS 11到AP 12的图像传输，所以大幅减少了从CIS11到AP 12传输图像所需要的功耗。

(视频再现控制的处理程序)

图20是示出在视频再现控制中由CIS11和AP 12执行的处理过程的流程图。在步骤S191中，在用户301激活视频应用的情况下，激活视频再现服务341。在步骤S192中，视频再现服务341将CIS11设置为持续感测模式。要注意的是，持续感测模式是在图18中描述的持续感测模式，但是在此，持续感测模式是仅基于人检测的持续感测模式。

在步骤S193中，视频再现服务341再现视频。在步骤S194中，CIS11对捕获图像(检测处理图像)执行图像识别(感测)，并将检测结果通知给视频再现服务341。在步骤S195中，视频再现服务341基于在步骤S194中提供的检测结果通知来确定在图像帧中是否检测到人(在图像帧中是否存在人)。

在步骤S195中肯定确定的情况下，处理返回至步骤S194。在步骤S195的否定确定的情况下，处理进入步骤S196。在步骤S196中，视频再现服务341停止视频的再现。在步骤S197中，CIS11对捕获图像(检测处理图像)执行图像识别(感测)，并将检测结果通知给视频再现服务341。

在步骤S198中，视频再现服务341基于在步骤S197中提供的检测结果通知来确定在图像帧中是否检测到人(在图像帧中是否存在人)。在步骤S198中的否定确定的情况下，处理返回至步骤S197。在步骤S198中的肯定确定的情况下，处理进入步骤S199。

在步骤S199，视频再现服务341恢复视频的再现。在步骤S200中，视频再现服务341确定视频应用是否结束。在步骤S200中为否定确定的情况下，处理返回至步骤S194。在步骤S200的肯定确定的情况下，该流程图的处理结束。

(应用示例3的概要)

根据应用示例3，在视频再现控制中，执行关于在图像帧中是否检测到用户(人)的人检测，在图像帧中检测到人的情况下再现视频，并且在图像帧中没有检测到人的情况下停止视频的再现。由于能够以较低的处理能力实现人检测，因此能够通过对处理能力比AP12低的CIS11进行图像识别来进行人检测。由于通过CIS11的图像识别进行人检测，因此在人检测时不需要从CIS11向AP 12发送大量的图像数据，并且与通过AP 12进行人检测的情况相比，降低了在人检测时发送图像数据所需的功耗和由AP 12消耗的功耗。AP 12可专注于除人检测之外的处理。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为人正在注视屏幕的状态，并且可检测图像帧中的人的存在。人注视屏幕的状态例如是视线朝向屏幕的方向的状态、人相对于图像帧的大小在预定比例的范围内的状态、或者人面向前方(相机的方向)的状态。除了上述的视线检测的情况以外，还可以通过调整用于执行从CIS11到AP 12检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。视线检测可以通过已经从CIS11接收到指示在图像帧中检测到人的通知的AP 12来执行。

在通过运动检测在图像帧中检测到运动的情况下，可以执行通过CIS 11的图像识别的人检测。在该情况下，由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例4>

应用示例4是当CIS11的图像识别应用于终端装置1的防止偷窥功能时的应用示例。终端装置1的防止偷窥是在除用户之外的人正在注视终端装置1的显示的情况下执行预定警告处理(诸如警告消息的显示)的功能。在应用示例4中，CIS11的图像识别被用于确定在能够浏览终端装置1的显示的位置处是否存在除用户以外的人。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

图21是描述由CIS11和AP 12执行的用于终端装置1的防止偷窥功能的图像识别的示图。在图21中，捕获图像351是由CIS11捕获的捕获图像的实施例，并且表示图像帧中的对象的状态。用户361表实施例如终端装置1的所有者。人362表示除用户361之外的人。移动体363表示任意的移动体。

在终端装置1的防止偷窥功能中，执行由运动检测框381指示的运动检测、由人检测框382-1和382-2指示的人检测、以及由人检测框383-1和383-2指示的人检测(偷窥确定)作为图像识别。运动检测帧381和人检测帧382-1和382-2分别对应于图7中描述的运动检测帧201和人检测帧202，因此，省略其详细描述。

人检测框383-1和383-2表示通过人检测在图像帧中检测到人的范围。对于人检测框383-1和383-2，确定人是否正在注视显示器(偷窥确定)。通过CIS11的图像识别来执行由运动检测框381指示的运动检测和由人检测框382-1和382-2指示的人检测。通过AP 12的图像识别来执行由人检测帧383-1和383-2指示的人检测和偷窥确定。注意，类似于应用示例3中所描述的视线检测，可以通过检测视线是否在终端装置1的显示的方向上来执行偷窥确定。

(防止偷窥处理过程)

图22是示出在防止偷窥中由CIS11和AP 12执行的处理过程的流程图。在步骤S221中，AP 12激活预定应用(邮件应用等)。在步骤S222中，AP 12在显示器上显示与应用的类型对应的显示图像(消息等)。在步骤S223中，AP 12将CIS11设置为持续感测模式。在本说明书中，持续感测模式是仅基于人检测的持续感测模式，但可以是基于运动检测和人检测的持续感测模式。

在步骤S224中，CIS11通过图像识别进行人检测(感测处理)。在步骤S225中，CIS11确定在图像帧中是否检测到多个人。在步骤S225中为否定确定的情况下，处理返回至步骤S224。在步骤S225中为肯定确定的情况下，处理进入步骤S226。在步骤S226中，AP 12将CIS11设置为用于感测图像输出的感测模式。

在步骤S227中，AP 12获取从CIS11发送的低分辨率的感测图像(感测低分辨率图像)。在步骤S228中，AP 12对在步骤S227中获取的感测图像进行图像识别，并且进行偷窥确定。例如，AP 12检测图像帧中的多个人，并基于检测到的多个人中的每的视线等来检测注视显示器的人的数量。在步骤S229中，AP 12确定多个人是否正注视显示器。在步骤S229中为否定确定的情况下，处理返回至步骤S223。在步骤S229中为肯定确定的情况下，处理进入步骤S230。

在步骤S230中，AP 12进行警告处理。警告处理可以是任何处理，只要它是防止偷窥的处理，例如显示指示正在对显示器进行偷窥的消息的处理或者简化显示器的显示图像的处理。在步骤S231中，AP 12根据用户的指令等确定应用是否结束。在步骤S231中为否定确定的情况下，处理返回至步骤S223。在步骤S231的肯定确定的情况下，该流程图的处理结束。

(应用示例4的概要)

根据应用示例4，在防止偷窥中，执行关于在图像帧中是否检测到多个人的人检测，并且仅在图像帧中检测到多个人的情况下执行偷窥确定。由于能够以比偷窥确定低的处理能力来实现人检测，因此能够通过对处理能力比AP 12低的CIS11进行图像识别来进行人检测。由于通过CIS11的图像识别进行人检测，因此在人检测时不需要从CIS11向AP 12发送大量的图像数据，并且与通过AP 12进行人检测的情况相比，降低了在人检测时发送图像数据所需的功耗和由AP 12消耗的功耗。AP 12可专注于除人检测之外的处理。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为人正在注视屏幕的状态，并且可检测图像帧中的人的存在。人注视屏幕的状态例如是视线朝向屏幕的方向的状态、人相对于图像帧的大小在预定比例的范围内的状态、或者人面向前方(相机的方向)的状态。可以通过执行CIS11中的视线检测并且反映人检测的结果中的结果来执行对人检测的这种限制，或者可以通过调整从CIS11到AP 12执行检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。视线检测可以通过已经从CIS11接收到指示在图像帧中检测到人的通知的AP 12来执行。

在通过运动检测在图像帧中检测到运动的情况下，可以执行通过CIS 11的图像识别的人检测。在该情况下，由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例5>

应用示例5是当CIS11的图像识别应用于终端装置1的语音通话和视频通话的自动转换(语音/视频通话自动转换)的功能时的应用示例。终端装置1的语音/视频通话自动转换是当终端装置1在将终端装置1放在耳朵上的同时进行语音通话时在图像帧中检测到用户(人)的情况下自动切换到视频通话的功能。在应用示例5中，CIS11的图像识别用于检测在图像帧中是否存在人。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

(语音/视频通话自动转换的具体情形的示例)

图23是描述直到终端装置1通过终端装置1的语音/视频通话自动转换功能从语音通话切换到视频通话之前的具体情形(场景发展)的示例以及此时的CIS11和AP 12的状态转换的概要的示图。

在图23中，场景C1是其中用户在将终端装置1置于他/她的耳朵上的语音通话的状态下讲话的场景。场景C2是用户移动到浏览终端装置1的显示的状态以便从语音通话切换到视频通话的场景(用户在终端装置1的相机中出现的状态)。场景C3是在语音通话被切换到视频通话的状态下正在终端装置1上保持会话的场景。

在场景C1中，AP 12的状态为“语音通话”。“语音通话”是AP 12正在执行语音通话处理的状态。在“语音通话”时，AP 12发送通知信号(“转到感测模式”)，请求CIS11基于运动检测和人检测启用感测模式。根据来自AP 11的通知信号(“转到感测模式”)，CIS11从不供应电力的待机模式(“HW待机”)转换到供应电力的待机模式(“SW待机”)，并且然后在感测模式下转换到运动检测模式(“感测模式(运动检测)”)。

在场景C2中，因为终端装置1从戴在用户耳朵上的位置移动到用户的前侧，所以CIS11通过在运动检测模式(“感测模式(运动检测)”)下的图像识别的运动检测来检测图像帧中的运动。因此，CIS11从运动检测模式(“感测模式(运动检测)”)自动转换成人检测模式(“感测模式(人类存在)”)。CIS11通过人检测模式(“感测模式(人类存在)”)中的图像识别的人检测来检测图像帧中的人(用户)。在图像帧中检测到人的情况下，CIS11将检测触发(“人检测”)(人检测通知信号)发送至AP 12，并且切换至待机模式(“SW待机”)。因此，AP 12从语音通话处理(“语音通话”)转换到“从语音通话切换到视频通话”。“从语音通话切换到视频通话”是其中正在执行从语音通话切换到视频通话的处理的状态。

在场景C3中，AP 11从“从语音通话切换至视频通话”切换至“视频通话”。“视频通话”是执行视频通话处理的状态。当从“从语音通话切换到视频通话”到“视频通话”转换时，AP 11向CIS11发送请求传输具有高分辨率的查看图像的通知信号(“请求查看图像”)。当接收来自AP 12的通知信号(“请求查看图像”)时，CIS11从待机模式(“SW待机”)转换至“查看模式(流)”。“查看模式(流)”是将具有高分辨率的查看高分辨率图像发送到AP 12的查看模式。当转换到查看模式(“查看模式(流))时，CIS11将具有高分辨率的查看高分辨率图像连续发送到P12。AP 12从CIS11接收查看高分辨率图像，并将该图像发送到视频通话的另一方的终端装置。

(语音/视频通话自动转换的处理过程)

图24是示出在语音/视频通话自动转换中由CIS11和AP 12执行的处理过程的流程图。在步骤S251中，AP 12根据来自用户的指令等激活通话应用。在步骤S252中，AP 12开始语音通话处理。在步骤S253中，AP 12将CIS11设置为持续感测模式。在本说明书中，持续感测模式是仅基于人检测的持续感测模式，但可以是基于运动检测和人检测的持续感测模式。在步骤S254中，CIS11通过图像识别进行人检测(感测处理)。在步骤S255中，CIS11确定在图像帧中是否检测到人。

在步骤S255中否定确定的情况下，处理返回至步骤S254。在步骤S255中进行肯定确定的情况下，该处理进入步骤S256。在步骤S256中，AP 12将CIS11设置为查看模式(“查看模式(流)”)。查看模式(“查看模式(流)”)是用于将具有高分辨率的查看高分辨率图像连续发送到AP 12的模式。注意，在查看模式下发送到AP 12的图像的分辨率可等于或低于感测低分辨率图像的分辨率。

在步骤S257中，AP 12切换到视频通话处理。在这种情况下，AP 12向通话的另一方的终端装置发送在步骤S256中从CIS11接收的查看高分辨率图像。在步骤S258中，AP 12通过图像识别对查看高分辨率图像执行面部检测。在步骤S259中，作为步骤S258的结果，AP12确定在图像帧中是否检测到面部。

在步骤S259中肯定确定的情况下，处理返回至步骤S258。在步骤S259中否定确定的情况下，处理进行至步骤S260。在步骤S260中，AP 12根据用户的操作等确定视频通话是否结束。

在步骤S260中为否定确定的情况下，处理进入步骤S261。在步骤S261，AP 12从视频通话切换到语音通话处理。处理从步骤S261返回至步骤S253。在步骤S260中为肯定确定的情况下，该流程图的处理结束。

(应用示例5的概要)

根据应用示例5，在语音/视频通话自动转换中，执行关于在图像帧中是否检测到用户(人)的人检测，并且在图像帧中检测到人的情况下执行面部检测。在通过面部检测在图像帧中检测到面部的情况下设置视频通话。在通过人检测在图像帧中没有检测到人的情况下，或者在通过面部检测在图像帧中没有检测到面部的情况下，设置语音通话。由于能够以比面部检测低的处理能力实现人类检测，因此能够通过对处理能力比AP 12低的CIS11进行图像识别来进行人类检测。由于通过CIS11的图像识别进行人检测，因此在人检测时不需要从CIS11向AP 12发送大量的图像数据，并且与通过AP 12进行人检测的情况相比，降低了在人检测时发送图像数据所需的功耗和由AP 12消耗的功耗。AP 12可专注于除人检测之外的处理。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为容易执行面部检测的状态，并且可检测图像帧中的人的存在。执行面部检测的状态例如是人物相对于图像帧的大小在预定比率的范围内的状态或人物面向前方(相机的方向)的状态。可以通过调整用于执行从CIS11到AP 12的检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。

在通过运动检测在图像帧中检测到运动的情况下，可以执行通过CIS 11的图像识别的人检测。在该情况下，由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例6>

应用示例6是当CIS11的图像识别应用于终端装置1的屏幕亮度自动调整功能时的应用示例。终端装置1的屏幕亮度自动调整是根据终端装置1(显示器)周围的环境的亮度自动调整显示器的屏幕的亮度的功能。例如，随着显示器的周围环境变亮，终端装置1使屏幕的亮度变亮，并且使显示图像更容易看到。此时，即使在周围环境明亮的情况下，也存在用户不浏览屏幕的情况，并且在这种情况下，由于功耗被浪费，所以屏幕的亮度降低。在这种情况下，CIS11的图像识别用于检测用户是否正在浏览屏幕。应注意，例如，智能电话被假设为终端装置1，并且包括CIS11的相机在面向智能电话的显示器的范围内成像。

(屏幕亮度自动调整的处理过程)

图25是示出在屏幕亮度自动调整中由CIS11和AP 12执行的处理过程的流程图。在步骤S281，AP 12将CIS11设置为持续感测模式。在本说明书中，持续感测模式是仅基于人检测的持续感测模式，但可以是基于运动检测和人检测的持续感测模式。在步骤S282中，AP12从CIS11获取ALS值。通过图2中的CIS11的曝光控制单元61计算ALS值。在步骤S283中，CIS11通过图像识别(感测)进行人检测。在步骤S284中，CIS11确定作为图像识别的结果在图像帧中是否检测到人。应注意，步骤S284可以是已从CIS11获取检测结果的AP 12的确定处理。

在步骤S284中的否定确定的情况下，处理进行至步骤S285。在步骤S285中，AP 11确定用户没有在浏览显示器的屏幕，并且将屏幕的亮度设置或改变为最小值。在步骤S285的处理结束的情况下，该流程图的处理结束。在步骤S284的肯定确定的情况下，该处理进入步骤S286。在步骤S286，AP 11确定用户正在浏览显示器的屏幕，并且基于在步骤S282获取的ALS值，将屏幕的亮度设置为最佳亮度值。在步骤S286的处理结束的情况下，该流程图的处理结束。

(应用示例6的概要)

根据应用示例6，在屏幕亮度自动调整中，执行关于在图像帧中是否检测到用户(人)的人检测，并且在图像帧中检测到人的情况下，基于环境亮度的测量值(ALS值)来调整屏幕的亮度(亮度值)。例如，当环境明亮时，屏幕的亮度也增加，以使屏幕更容易看见。在图像帧中没有检测到人的情况下，屏幕的亮度被设置为最小值。屏幕的亮度的最小值是预定亮度值，例如，在屏幕亮度自动调整中可以调整的亮度范围的下限值。因此，即使在环境明亮的情况下，当无人浏览屏幕时，与有人浏览屏幕的情况相比，屏幕的亮度降低，使得不必要的功耗降低。注意，ALS值可以从除了CIS11之外的传感器获取，但是通过使用由CIS11检测到的ALS值，终端装置1不必包括诸如除了CIS11之外的照度传感器的传感器用于屏幕亮度自动调整，并且不必操作这样的传感器。因此，与使用传感器的情况相比，降低了功耗。由于能够以较低的处理能力实现人检测，因此能够通过对处理能力比AP 12低的CIS11进行图像识别来进行人检测。由于通过CIS11的图像识别进行人检测，因此在人检测时不需要从CIS11向AP 12发送大量的图像数据，并且与通过AP 12进行人检测的情况相比，降低了在人检测时发送图像数据所需的功耗和由AP 12消耗的功耗。AP 12可专注于除人检测之外的处理。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为人正在注视屏幕的状态，并且可检测图像帧中的人的存在。人注视屏幕的状态例如是视线朝向屏幕的方向的状态、人相对于图像帧的大小在预定比例的范围内的状态、或者人面向前方(相机的方向)的状态。可以通过执行CIS11中的视线检测并且反映人检测的结果中的结果来执行对人检测的这种限制，或者可以通过调整从CIS11到AP 12执行检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。视线检测可以通过已经从CIS11接收到指示在图像帧中检测到人的通知的AP 12来执行。

在通过运动检测在图像帧中检测到运动的情况下，可以执行通过CIS 11的图像识别的人检测。在该情况下，由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例7>

应用示例7是当CIS11的图像识别应用到终端装置1的宠物相机功能时的应用示例。终端装置1的宠物相机是例如利用安装在房间等中的终端装置1的相机对宠物的状态成像的功能。在应用示例7中，在仅在宠物出现在图像帧中的情况下执行记录的情况下，CIS11的图像识别用于检测在图像帧中是否存在宠物。注意，终端装置1可以主要用作相机(成像设备)或者可以用作相机之外的设备，诸如智能电话。在应用示例7中，CIS11的图像识别(DNN处理)中的对象检测的检测目标不是人而是要成像的宠物，并且该检测目标根据宠物的类型而改变。在应用示例7中，假设宠物的类型是狗，并且通过CIS11的图像识别执行狗检测而不是人检测。

(宠物相机的具体情形的示例)

图26是描述直到终端装置1通过终端装置1的宠物相机功能从非记录状态转换到记录状态和从记录状态转换到非记录状态的具体情形(场景发展)的实施例以及此时的CIS11和AP 12的状态转换的概要的示图。

在图26中，场景C1至C3是房间的一部分由终端装置1的相机通过固定至房间地板等的终端装置1成像为图像帧的场景。在场景C1中，通过终端装置1的相机开始成像，并且此时，作为宠物的狗在图像帧之外。在场景C2中，狗进入图像帧，并且在场景C3中，狗再次在图像帧之外。

在场景C1中，AP 12的状态是执行CIS11的激活设置的状态(“CIS激活设置”)，并且CIS11的状态是待机模式(“HW待机”)。AP 12转换成睡眠模式(“AP睡眠”)，此时，AP 12发送通知信号(“转到感测模式”)，请求CIS11基于运动检测和狗检测启用感测模式。根据来自AP12的通知信号(“转到感测模式”)，CIS11从待机模式(“HW待机”)转换至待机模式(“SW待机”)，并且然后基于运动检测和狗检测在感测模式下转换至运动检测模式(“感测模式(运动检测)”)。

在场景C2中，当狗在运动检测模式(“感测模式(运动检测)”)下进入图像帧时，CIS11检测图像帧中的运动。因此，CIS11从运动检测模式(“感测模式(运动检测)”)自动转换为狗检测模式(“感测模式(狗存在)”)。狗检测模式(“感测模式(狗存在)”)指示用于检测狗而不是在人检测模式中检测人的模式。

在狗检测模式(“感测模式(狗存在)”)下在图像帧中检测到狗的情况下，CIS11将检测触发(“检测到的狗”)(狗检测通知信号)发送至AP 12。

因此，AP 12从睡眠模式(“AP睡眠”)激活(转换至激活模式)，并且转换至记录模式(“记录”)。在AP 12转换至记录模式(“记录”)的情况下，AP 12发送用于请求CIS11启用查看模式(“查看模式”)的通知信号。在CIS11从AP 12接收请求启用查看模式的通知信号(“请求查看图像”)的情况下，CIS11转换至待机模式(“SW待机”)，然后转换至查看模式(“查看模式(流)”)。查看模式(“查看模式(流)”)是用于将具有高分辨率的查看高分辨率图像连续发送到AP 12的模式。当转换到查看模式(“查看模式(流))时，CIS11将具有高分辨率的查看高分辨率图像连续发送到AP 12。AP 12从CIS11接收查看高分辨率图像，并将接收的查看高分辨率图像存储在存储单元中。在将查看用高分辨率图像存储在存储单元中的处理的同时，AP12通过图像识别(DNN处理)等对查看用高分辨率图像执行狗检测，并检测在图像帧中是否存在狗。

在场景C3中，因为AP 12在查看高分辨率图像上的图像识别(狗检测)中未检测到狗，所以AP 12在记录模式(“记录”)中停止记录，并且转换成“CIS激活设置”的状态。AP 12通过“CIS激活设置”执行CIS11的激活设置，然后，转换成睡眠模式(“AP睡眠”)。当转换成睡眠模式(“AP睡眠”)时，AP 12基于运动检测和狗检测发送请求CIS11启用感测模式的通知信号(“转到感测模式”)。根据来自AP 12的通知信号(“转到感测模式”)，CIS11从待机模式(“HW待机”)转换至待机模式(“SW待机”)，并且然后基于运动检测和狗检测在感测模式下转换至运动检测模式(“感测模式(运动检测)”)。

(宠物相机的处理程序)

图27是示出在宠物相机中由CIS11和AP 12执行的处理过程的流程图。

在步骤S301中，AP 12基于运动检测和动物检测将CIS11设置为感测模式。在本说明书中，宠物是图26中的狗，但是在本说明书中是动物。在步骤S302中，AP 12转换成睡眠模式。在步骤S303中，CIS11通过基于运动检测和动物检测的感测模式下的图像识别来执行运动检测。在步骤S304中，CIS11确定在图像帧中是否检测到运动。

在步骤S304中为否定确定的情况下，处理返回到步骤S303。在步骤S304中为肯定确定的情况下，处理进入步骤S305。在步骤S305中，CIS11通过基于运动检测和动物检测的感测模式下的图像识别来执行动物检测，并且确定在图像帧中是否检测到动物。在步骤S305的否定确定的情况下，处理返回到步骤S303。在步骤S305中为肯定确定的情况下，处理进入步骤S306。

在步骤S306中，CIS11向AP 12发送检测标志。在步骤S307中，AP 12从睡眠模式转换到激活模式，并且被激活。在步骤S308中，AP 12将CIS11设置为查看模式(“查看模式(流)”)。在步骤S309中，AP 12开始从CIS11记录查看用高分辨率图像。在步骤S310中，AP 12通过图像识别对来自CIS11的查看用高分辨率图像执行动物检测。在步骤S311中，AP 12确定在图像帧中是否检测到动物作为步骤S310中的动物检测的结果。在步骤S311的肯定确定的情况下，处理返回到步骤S310。在步骤S311的否定确定的情况下，处理进行至步骤S312。在步骤S312中，AP 12停止记录。在步骤S313中，根据用户的指令等确定是否结束宠物相机。在步骤S313中否定确定的情况下，处理返回至步骤S301。在步骤S314的肯定确定的情况下，该流程图的处理结束。

(应用示例7的概要)

根据应用示例7，在宠物相机中，进行关于在图像帧中是否检测到宠物(动物)的动物检测，在图像帧中检测到动物的情况下执行记录，以及在图像帧中未检测到动物的情况下不执行记录。由于能够以较低的处理能力实现动物检测，因此能够通过对处理能力比AP12低的CIS11进行图像识别来进行人检测，还能够降低消耗电力。由于除了在记录期间以外，还通过CIS11的图像识别来进行动物检测，因此在动物检测时不需要将大量的图像数据从CIS11发送到AP 12，并且AP 12仅需要在诸如睡眠模式的省电状态下待机。因此，在动物检测时传输图像数据所需的功耗和由AP 12消耗的功耗与由AP 12执行动物检测的情况相比减少。应注意，通过动物检测所检测的目标可以是人。

在通过CIS11的图像识别(DNN处理)进行的动物检测中，可以调整动物检测的灵敏度(过度检测或检测遗漏的程度)，以便能够应对遮挡、可见性等。通过CIS11的图像识别(DNN处理)进行的动物检测可被限制到特定状态，使得图像帧中的人的存在被检测到。例如，特定状态是动物相对于图像帧的大小在预定比率的范围内的状态、动物面向前方(相机的方向)的状态等。可以通过调整从CIS11到AP 12执行检测到动物的通知(检测触发)的条件来处理对动物检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的动物检测可信度对确定为检测到动物的阈值(下限值)的调整。

在通过运动检测在图像帧中检测到运动的情况下，通过CIS11的图像识别进行动物检测。由于以比动物检测更低的处理能力来执行运动检测，因此与在CIS11中仅执行动物检测的情况相比，进一步减少了功耗。另外，也可以仅在CIS11中进行运动检测和动物检测中的任意一方。在仅在CIS 11中执行运动检测的情况下，仅需要向AP 12通知在图像帧中检测到运动，作为与在检测到动物的情况下相同的通知。

<应用示例8>

应用示例8是当CIS11的图像识别应用到终端装置1的安全门电话功能时的应用示例。终端装置1的安全门电话是以下功能：利用安装在门***的相机对门外的人成像，当成像的人是预先认证的人时解锁门，并且当成像的人未被认证时在没有解锁门的情况下利用警报等通知房间中的人。在应用示例8中，CIS11的图像识别用于确定在图像帧中是否存在人。注意，终端装置1被假定为构成安全门电话的设备。

(安全门电话的具体情形的示例)

图28是描述通过终端装置1的安全门电话功能解锁门或者锁定门的具体情形(场景发展)的实施例以及此时的CIS11和AP 12的状态转换的概要的示图。

在图28中，场景C1是安装在门周边的相机的图像帧没有变化的情况。场景C2、C3和C4分别相对于场景C1选择性地出现，并且场景C2是其中在图像帧中检测到认证的人的场景。被认证的人是其用于面部认证的面部被预先注册的人，并且表示被允许解锁门的人。场景C3是在图像帧中检测到未认证的人的场景。未认证的人表示除了认证的人之外的人。场景C4是在场景C2或场景C3之后的图像帧中仅检测到人类以外的移动体的场景。

在场景C1中，AP 12的状态是执行CIS11的激活设置的状态(“CIS激活设置”)，并且CIS11的状态是待机模式(“HW待机”)。AP 12转换成睡眠模式(“AP睡眠”)，此时，AP 12发送通知信号(“转到感测模式”)，请求CIS11基于运动检测和人检测启用感测模式。根据来自AP12的通知信号(“转到感测模式”)，CIS11从待机模式(“HW待机”)转换至待机模式(“SW待机”)，并且然后基于运动检测和人检测在感测模式下转换至运动检测模式(“感测模式(运动检测)”)。

在场景C2中，当认证的人在运动检测模式(“感测模式(运动检测)”)下进入图像帧时，CIS11检测图像帧中的运动。因此，CIS11从运动检测模式(“感测模式(运动检测)”)自动转换成人检测模式(“感测模式(人类存在)”)。在人检测模式(“感测模式(人类存在)”)下在图像帧中检测到人的情况下，CIS11将检测触发(“检测到人类”)(人类检测通知信号)发送至AP 12。因此，AP 12从睡眠模式(“AP睡眠”)被激活(转换到激活模式)，并且转换到面部认证模式(“面部检测、面部识别”)。

在AP 12转换成面部认证模式(“面部检测、面部识别”)的情况下，AP 12发送向CIS11请求启用用于感测图像输出(“感测图像流”)的感测模式的通知信号。因此，CIS11转换至待机模式(“SW待机”)，并且然后转换至用于感测图像输出(“感测图像流”)的感测模式。在CIS11转换成用于感测图像输出(“感测图像流”)的感测模式的情况下，CIS11将具有低分辨率的感测图像(感测低分辨率图像)连续传输至AP 12。在面部认证模式下，AP 12在面部认证之前对来自CIS11的感测图像执行面部检测，并将检测到的面部与认证的面部进行对照。因此，因为在图像帧中检测到的人已被认证，所以AP 12在面部认证中成功，并且解锁门。

在场景C3中，因为在图像帧中检测到的人是未认证的，所以AP 12在面部认证中失败，不解锁门(或者锁定门)，并且通过警报等通知房屋中的人未认证的人访问。在场景C4中，状态从面部认证模式转换至“CIS激活设置”状态。AP 12通过“CIS激活设置”执行CIS11的激活设置，然后，转换成睡眠模式(“AP睡眠”)。当转换成睡眠模式(“AP睡眠”)时，AP 12基于运动检测和人检测发送请求CIS11启用感测模式的通知信号(“转到感测模式”)。根据来自AP 12的通知信号(“转到感测模式”)，CIS11从用于感测图像输出(“感测图像流”)的感测模式转换至待机模式(“SW待机”)，并且然后基于运动检测和人检测在感测模式中转换至运动检测模式(“感测模式(运动检测)”)。在场景C4中，由于在图像帧中未检测到人，所以重复运动检测模式(“感测模式(运动检测)”)和感测模式中的人检测模式(“感测模式(人类存在)”)。

(安全门电话的处理程序)

图29是示出在安全门电话中由CIS11和AP 12执行的处理过程的流程图。在步骤S321中，AP 12基于运动检测和人检测将CIS11设置为感测模式。在步骤S322，AP 12进入睡眠模式。在步骤S323中，CIS11基于运动检测和人检测在感测模式下执行运动检测和人检测。在步骤S324中，CIS11使用运动检测来确定在图像帧中是否检测到运动。在步骤S324中的否定确定的情况下，处理返回至步骤S323。在步骤S324的肯定确定的情况下，处理进入步骤S325。在步骤S325中，CIS11使用人检测来确定在图像帧中是否检测到人。在步骤325中为否定确定的情况下，处理进入步骤S324。在步骤S325的肯定确定的情况下，处理进入步骤S326。

在步骤S326中，CIS11将表示检测到人的检测标志设置到AP 12(发送检测触发)。在步骤S327中，AP 12通过步骤S326中的检测标志而被激活。在步骤S328，AP 12将CIS11设置为用于感测图像输出的感测模式。在步骤S329中，AP 12获取从CIS11发送的感测图像。在步骤S330中，AP 12基于在步骤S329中获取的感测图像执行面部认证。在步骤S331中，AP 12基于步骤S330中的面部认证的结果确定图像帧中是否存在认证的人。在步骤S331中为否定确定的情况下，处理进入步骤S332。在步骤S332，AP 12进行警告处理。警告处理的示例包括锁定门的处理、发出警报声的处理、通知安全公司的处理等。处理进入步骤S334。

在步骤S331中为肯定确定的情况下，处理进入步骤S333。在步骤S333，AP 12解锁门。处理进入步骤S334。在步骤S334中，AP 12根据用户的指令等确定是否结束处理。在步骤S334中为否定确定的情况下，处理返回至步骤S321。在步骤S334中为肯定确定的情况下，该流程图的处理结束。

(应用示例8的概要)

根据应用示例8，在安全门电话中，执行关于在图像帧中是否检测到用户(人)的人检测，并且仅在图像帧中检测到人的情况下执行面部认证。在面部认证成功的情况下，车门被解锁(解锁)。在图像帧中没有检测到人的情况下或者在面部认证失败的情况下，门未被解锁。由于能够以比面部认证低的处理能力实现人物检测，因此能够通过对处理能力比AP12低的CIS11进行图像识别来进行人物检测，还能够降低耗电量。由于通过CIS11的图像识别来执行人检测，因此在人检测时不需要将大量的图像数据从CIS11发送到AP 12，并且AP12仅需要在诸如睡眠模式的省电状态下待机。因此，与由AP 12执行人检测的情况相比，减少了在人检测时传输图像数据所需的功率消耗和由AP 12消耗的功率消耗。另外，待锁定的目标不限于住宅的门，也可以是诸如汽车的门、建筑物的入口的门、储物箱的门、住宅的窗的能够打开和关闭的打开和关闭单元。

在通过CIS11的图像识别(DNN处理)的人检测中，可以调整人检测的灵敏度(过度检测的程度或检测的遗漏)，以便能够应对毛发、遮罩、眼镜等的遮挡、图像帧末端处的外观、由于图像帧的放大或缩小引起的可见度等。通过CIS11的图像识别(DNN处理)的人检测可被限制为容易执行面部认证的状态，并且可检测图像帧中的人的存在。容易执行面部认证的状态是例如相对于图像帧的人的尺寸在预定比例的范围内的状态或者人面向前方(相机的方向)的状态。可以通过调整用于执行从CIS11到AP 12的检测到人的通知(检测触发)的条件来处理对人检测的这种限制。条件的调整例如可以是针对作为DNN处理的检测结果的人检测可信度对确定为检测到人的阈值(下限值)的调整。

在通过运动检测在图像帧中检测到运动的情况下，进行通过CIS11的图像识别的人检测。由于能够以比人类检测低的处理能力进行运动检测，因此与在CIS11中仅进行人类检测的情况相比，能够进一步降低消耗电力。可能存在仅执行CIS11中的运动检测和人检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP 12通知在图像帧中检测到运动，作为与检测到人的情况下相同的通知。

<应用示例9>

应用示例9是当CIS11的图像识别被应用到使用终端装置1的1D码(一维码)或2D码(二维码)的应用激活功能时的应用示例。应注意，在应用示例9的描述中，将描述CIS11的图像识别应用于使用2D码的应用激活功能的情况。即使在使用诸如条形码等1D码代替2D码或使用1D码和2D码中的任意码来激活应用的情况下，CIS11的图像识别也可与本描述类似地应用。使用终端装置1的2D码的应用激活是在包括在终端装置1中的相机(CIS11)的捕获图像的图像帧中检测到2D码的情况下激活与2D码相关联的应用的功能。在应用示例9中，CIS11的图像识别用于确定在图像帧中是否检测到2D码。

在应用示例9中，CIS11的图像识别(DNN处理)中的对象检测的检测目标不是人而是2D码。在应用示例9中，假设执行2D码检测，而不是通过CIS11的图像识别进行人检测。应注意，例如，智能电话被假设为终端装置1。包括CIS11的相机可以是拍摄显示器的后表面侧的相机，而不是拍摄面向智能电话的显示器的范围。

(使用2D码的应用激活的具体情形的示例)

图30是描述直到通过使用终端装置1的2D码的应用激活功能激活与2D码相关联的应用以及此时的CIS11和AP 12的状态转换的概要的具体情形(场景发展)的实施例的示图。在图30中，场景C1是其中用户在待机状态或激活状态下通过携带终端装置1行走的场景。场景C2是当用户在自动售货机处购买饮用水时，显示在自动售货机上的2D码通过终端装置1的相机成像，并且与2D码相关联的应用(支付应用等)被激活的场景。

在场景C1中，AP 12的状态是执行CIS11的激活设置的状态(“CIS激活设置”)，并且CIS11的状态是待机模式(“HW待机”)。AP 12转换成睡眠模式(“AP睡眠”)或空闲模式(“AP空闲”)，此时，AP 12发送通知信号(“转到感测模式”)，请求CIS11基于运动检测和2D码检测启用感测模式。根据来自AP 12的通知信号(“转到感测模式”)，CIS11从待机模式(“HW待机”)转换至待机模式(“SW待机”)，然后，基于运动检测和2D码检测，在感测模式下转换至运动检测模式(“感测模式(运动检测)”)。

在场景C2中，CIS11通过在运动检测模式(“感测模式(运动检测)”)下用户将终端装置1移动至自动售货机的2D码的位置附近来检测图像帧中的运动。因此，CIS11从运动检测模式(“感测模式(运动检测)”)自动转换为2D码检测模式(“感测模式(码存在)”)。在以2D码人检测模式(“感测模式(人类存在)”)在图像帧中检测到2D码的情况下，CIS11将检测触发(“码检测”)(检测通知信号)发送至AP 12。因此，AP 12从睡眠模式(“AP睡眠”)或空闲模式(“AP空闲”)被激活(转换至激活模式)，并且转换至2D码认证模式(“码识别”)。

在AP 12转换为2D码认证模式(“码识别”)的情况下，AP 12发送用于请求CIS11启用用于感测图像输出(“感测图像流”)的感测模式的通知信号。因此，CIS11转换至待机模式(“SW待机”)，并且然后转换至用于感测图像输出(“感测图像流”)的感测模式。在CIS11转换成用于感测图像输出(“感测图像流”)的感测模式的情况下，CIS11将具有低分辨率的感测图像(感测低分辨率图像)连续传输至AP 12。在2D码认证模式下，AP 12在认证之前对来自CIS11的感测图像执行2D码分析。结果，AP 12在转换到“CIS设置”(“应用执行”)之后激活与图像帧中的2D码相关联的应用。在通过“CIS设置”设置CIS11之后，AP 12发送通知信号(“转到HW待机”)，请求CIS11在激活应用时转换到待机模式(“HW待机”)。CIS11根据来自AP 12的通知信号(“转到HW待机”)转换为待机模式(“HW待机”)。

(使用2D码的应用激活的处理过程)

图31是示出在使用2D码的应用激活中由CIS11和AP 12执行的处理过程的流程图。在步骤S351中，AP 12基于运动检测和码检测将CIS11设置为感测模式。在步骤S352中，AP12进入睡眠模式。在步骤S353中，CIS11基于运动检测和码检测以感测模式进行运动检测和2D码检测。在步骤S354中，CIS11使用运动检测来确定在图像帧中是否检测到运动。在步骤S354的否定确定的情况下，处理返回到步骤S353。在步骤S354的肯定确定的情况下，处理进入步骤S355。在步骤S355中，CIS11使用2D码检测来确定在图像帧中是否检测到2D码。

在步骤S355中为否定确定的情况下，处理返回到步骤S353。在步骤S355的肯定确定的情况下，处理进入步骤S356。在步骤S356中，CIS11将指示检测到2D码的检测触发发送至AP 12。在步骤S357中，在步骤S356中通过检测标志来激活AP 12。在步骤S358中，AP 12将CIS11设置为用于感测图像输出的感测模式。在步骤S359中，AP 12获取从CIS11发送的感测图像。在步骤S360中，AP 12基于在步骤S359中获取的感测图像执行2D码识别处理。

在步骤S361中，AP 12确定在步骤S360中识别的2D码是否是正确的2D码。在步骤S361中作出否定确定的情况下，处理返回到步骤S351。在步骤S361中确定为肯定的情况下，进入步骤S362。在步骤S362中，AP 12分析2D码。在步骤S363，AP 12执行与2D码相对应的处理。例如，AP 12激活与2D码相关联的应用(支付应用等)。在步骤S363的处理结束的情况下，该流程图的处理结束。

(应用示例9的概要)

根据应用示例9，在使用2D码(或1D码，在下文中省略)的应用激活中，执行关于在图像帧中是否检测到2D码的码检测，并且仅在图像帧中检测到2D码的情况下执行码识别(分析)。通过码识别读取2D码的内容，并且在存在与2D码对应的应用(处理)的情况下，执行应用(或处理)。在码检测没有检测到2D码的情况下，在2D码识别不能读取2D码的内容的情况下，或者在不存在与2D码对应的应用(处理)的情况下，不执行应用(处理)。由于能够以比码识别低的处理能力实现码检测，所以能够通过具有比AP 12低的处理能力的CIS11的图像识别来进行人检测，并且能够降低功耗。由于通过CIS11的图像识别来执行码检测，因此在码检测时不需要将大量的图像数据从CIS11发送到AP 12，并且AP 12仅需要在诸如睡眠模式的省电状态下待机。因此，与由AP 12执行码检测的情况相比，在码检测时传输图像数据所需的功率消耗和由AP 12消耗的功率消耗减少。

在通过运动检测在图像帧中检测到运动的情况下，进行通过CIS11的图像识别的码检测。由于可以比码检测更低的处理能力来执行运动检测，所以与在CIS11中仅执行码检测的情况相比，进一步减少了功耗。可能存在仅执行CIS11中的运动检测和码检测中的一个的情况。在CIS11中仅执行运动检测的情况下，仅需要向AP 12通知在图像帧中检测到该运动，作为与检测到2D码的情况下相同的通知。

<程序>

上述CIS11和AP 12中的一系列处理可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下，在计算机上安装构成软件的程序。这里，计算机例如包括并入专用硬件的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。

本技术还可具有以下配置。

(1)

一种信息处理装置，包括：

图像识别单元，图像传感器具有图像识别单元，并且图像识别单元检测由图像传感器捕获的捕获图像包括预定检测目标的图像；以及

处理单元，获取从图像传感器输出的输出图像，对输出图像执行预定处理，并且在图像识别单元检测到包括检测目标的图像的情况下，使图像传感器输出输出图像。

(2)

在(1)中描述的信息处理装置，

其中，图像识别单元将检测目标设置为人。

(3)

在(2)中描述的信息处理装置，

其中，在图像识别单元没有检测到包括检测目标的图像的情况下，处理单元处于省电状态。

(4)

在(2)或(3)中描述的信息处理装置，

其中，处理单元执行检测包括在输出图像中的面部的图像的处理。

(5)

根据(2)至(4)中任一项的信息处理装置，

其中，处理单元执行用于认证包括在输出图像中的面部的图像是特定人的面部的面部认证。

(6)

在(5)中描述的信息处理装置，

其中，在面部认证成功的情况下，处理单元解锁自身装置。

(7)

在(5)或(6)中描述的信息处理装置，

其中，在图像识别单元没有检测到包括人的图像的情况下，处理单元启用对自身装置的锁定。

(8)

在(5)中描述的信息处理装置，

其中，在面部认证成功的情况下，处理单元解锁打开和关闭单元。

(9)

在(2)中描述的信息处理装置，

其中，处理单元检测包括在输出图像中的面部的图像的朝向。

(10)

在(9)中描述的信息处理装置，

其中，处理单元基于面部的图像的朝向旋转在显示单元上显示的图像。

(11)

根据(10)的信息处理装置，

其中，在图像识别单元未检测到包括人的图像的情况下，处理单元基于自身装置的姿态旋转在显示单元上显示的图像。

(12)

在(2)中描述的信息处理装置，

其中，在图像识别单元检测到包括多个人的图像的情况下，处理单元执行防止偷窥的处理。

(13)

在(12)中描述的信息处理装置，

其中，处理单元仅在多个人正在注视显示单元的图像的情况下执行防止偷窥的处理。

(14)

在(2)中描述的信息处理装置，

其中，处理单元将输出图像发送至视频通话的另一方。

(15)

在(14)中描述的信息处理装置

其中，在检测出面部的图像没有包括在输出图像中的情况下，处理单元执行语音通话处理。

(16)

在(1)中描述的信息处理装置，

其中，图像识别单元将检测目标设置为动物，并且

处理单元将输出图像存储在存储单元中。

(17)

根据(16)的信息处理装置，

其中，在检测到动物的图像不包括在输出图像中的情况下，处理单元停止将输出图像存储在存储单元中。

(18)

在(1)中描述的信息处理装置，

其中，图像识别单元将检测目标设置为一维码以及二维码中的至少一个码，并且

处理单元执行对应于码的处理。

(19)

在(18)中描述的信息处理装置，

其中，处理单元激活对应于码的应用。

(20)

在(18)或(19)中描述的信息处理装置，

其中，处理单元执行分析包括在输出图像中的码的处理。

(21)

一种信息处理装置，包括：

图像识别单元，图像传感器具有图像识别单元，并且图像识别单元检测由图像传感器捕获的捕获图像是否包括预定检测目标的图像；以及

处理单元，基于从图像传感器输出并且由图像识别单元检测的结果执行预定处理。

(22)

根据(21)的信息处理装置，

其中，图像识别单元将检测目标设置为人。

(23)

根据(22)的信息处理装置，

其中，在图像识别单元未检测到包括人的图像的情况下，处理单元停止视频的再现。

(24)

在(23)中描述的信息处理装置，

其中，在图像识别单元检测到包括人的图像的情况下，处理单元恢复视频的再现。

(25)

在(22)中描述的信息处理装置

其中，在图像识别单元检测到包括人的图像的情况下，处理单元基于环境的亮度来调节显示单元的屏幕的亮度，并且在图像识别单元检测到不包括人的图像的情况下，处理单元将显示单元的屏幕设置为预定亮度。

(26)

根据(1)至(25)中任一项的信息处理装置，

其中，图像识别单元包括使用具有神经网络结构的推断模型来对图像识别的处理。

(27)

根据(1)至(26)中任一项的信息处理装置，

其中，图像识别单元使用分辨率低于输出图像的分辨率的图像执行图像识别的处理。

(28)

根据(1)至(20)中任一项的信息处理装置，

其中，图像传感器将具有比查看图像的分辨率低的分辨率的输出图像输出至处理单元。

(29)

根据(1)至(28)中任一项的信息处理装置，

其中，图像识别单元在捕获图像中检测到运动的情况下检测检测目标的图像是否包括在捕获图像中。

(30)

一种信息处理方法，包括：

经由信息处理装置的图像识别单元来检测由图像传感器捕获的捕获图像包括预定检测目标的图像，信息处理装置具有图像传感器、图像传感器的图像识别单元、以及处理单元；以及

获取从图像传感器输出的输出图像，对输出图像执行预定处理，并且在图像识别单元检测到包括检测目标的图像的情况下，使图像传感器输出输出图像。

(31)

一种程序，使计算机用作：

图像识别单元，图像传感器具有图像识别单元，并且图像识别单元检测由图像传感器捕获的捕获图像包括预定检测目标的图像；以及

处理单元，获取从图像传感器输出的输出图像，对输出图像执行预定处理，并且在图像识别单元检测到包括检测目标的图像的情况下，使图像传感器输出输出图像。

参考符号列表

1 终端装置

13 存储装置

21 预处理单元

22 检测处理单元

31 光接收单元

32 像素读取单元

33 驱动定时控制单元

34 图像预处理单元

36 感测处理单元

37 感测图像信号处理单元

38 观察图像信号处理单元

39 寄存器控制单元

40外部IO控制单元

42 电源管理单元

43 图像输出接口

61 曝光控制单元。

Claims (20)

1.一种信息处理装置，包括：

图像识别单元，图像传感器具有所述图像识别单元，并且所述图像识别单元检测由所述图像传感器捕获的捕获图像包括预定检测目标的图像；以及

处理单元，获取从所述图像传感器输出的输出图像，对所述输出图像执行预定处理，并且在所述图像识别单元检测到包括所述检测目标的图像的情况下，使所述图像传感器输出所述输出图像。

2.根据权利要求1所述的信息处理装置，

其中，所述图像识别单元将所述检测目标设置为人。

3.根据权利要求2所述的信息处理装置，

其中，所述处理单元执行对包括在所述输出图像中的面部的图像进行检测的处理。

4.根据权利要求2所述的信息处理装置，

其中，所述处理单元执行面部认证，所述面部认证用于认证包括在所述输出图像中的面部的图像是特定人的面部。

5.根据权利要求4所述的信息处理装置，

其中，在所述面部认证成功的情况下，所述处理单元解锁自身装置。

6.根据权利要求4所述的信息处理装置，

其中，在所述图像识别单元未检测到包括所述人的图像的情况下，所述处理单元启用对自身装置的锁定。

7.根据权利要求4所述的信息处理装置，

其中，在所述面部认证成功的情况下，所述处理单元解锁打开和关闭单元。

8.根据权利要求2所述的信息处理装置，

其中，所述处理单元检测包括在所述输出图像中的面部的图像的朝向。

9.根据权利要求8所述的信息处理装置，

其中，所述处理单元基于所述面部的图像的朝向来旋转显示单元上显示的图像。

10.根据权利要求9所述的信息处理装置，

其中，在所述图像识别单元未检测到包括所述人的图像的情况下，所述处理单元基于自身装置的姿态来旋转所述显示单元上显示的图像。

11.根据权利要求2所述的信息处理装置，

其中，在所述图像识别单元检测到包括多个人的图像的情况下，所述处理单元执行防止偷窥的处理。

12.根据权利要求2所述的信息处理装置，

其中，所述处理单元将所述输出图像发送至视频通话的另一方。

13.根据权利要求1所述的信息处理装置，

其中，所述图像识别单元将所述检测目标设置为动物，并且所述处理单元将所述输出图像存储在存储单元中。

14.根据权利要求1所述的信息处理装置，

其中，所述图像识别单元将所述检测目标设置为一维码以及二维码中的至少一个码，并且

所述处理单元执行对应于所述码的处理。

15.根据权利要求14所述的信息处理装置，

其中，所述处理单元激活对应于所述码的应用。

16.一种信息处理装置，包括：

图像识别单元，图像传感器具有所述图像识别单元，并且所述图像识别单元检测由所述图像传感器捕获的捕获图像是否包括预定检测目标的图像；以及

处理单元，基于从所述图像传感器输出并且由所述图像识别单元检测的结果执行预定处理。

17.根据权利要求1所述的信息处理装置，

其中，所述图像识别单元包括使用具有神经网络结构的推断模型的图像识别的处理。

18.根据权利要求1所述的信息处理装置，

其中，所述图像识别单元使用分辨率低于所述输出图像的分辨率的图像执行图像识别的处理。

19.一种信息处理方法，包括：

经由信息处理装置的图像识别单元来检测由图像传感器捕获的捕获图像包括预定检测目标的图像，所述信息处理装置具有图像传感器、所述图像传感器的所述图像识别单元、以及处理单元；以及

获取从所述图像传感器输出的输出图像，对所述输出图像执行预定处理，并且在所述图像识别单元检测到包括所述检测目标的图像的情况下，使所述图像传感器输出所述输出图像。

20.一种程序，使计算机用作：

图像识别单元，图像传感器具有所述图像识别单元，并且所述图像识别单元检测由所述图像传感器捕获的捕获图像包括预定检测目标的图像；以及

处理单元，获取从所述图像传感器输出的输出图像，对所述输出图像执行预定处理，并且在所述图像识别单元检测到包括所述检测目标的图像的情况下，使所述图像传感器输出所述输出图像。