CN107622248B - 一种注视识别及互动方法与装置 - Google Patents

Abstract

一种注视识别及互动方法与装置，此方法适用于具有摄像头及舵机的电子装置，其中舵机用以将摄像头转向。所述方法包括下列步骤：利用所述摄像头获取多个视频帧；检测这些视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各个人脸是否对视摄像头；以及如果识别结果确认有人脸对视，则依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。

Description

一种注视识别及互动方法与装置

技术领域

本申请是有关于一种互动方法与装置，且特别是有关于一种注视识别及互动方法与装置。

背景技术

现行的互动装置(例如电子玩偶、电子宠物或智能机器人)可通过肢体移动或声光效果与使用者互动，借以达到娱乐效果。例如，电子宠物可检测使用者的声音，而对应地变换表情或做出响应动作。通过即时响应的动作，可达到与使用者互动的效果。

然而，这些互动装置的动作或响应都必须预先定义，且在与使用者互动的过程中，也只能针对特定的指示(例如按下按键或发出声音)做出简单的响应动作，并无法依据使用者的脸部表情或肢体语言作出适当的响应，未能体现出真实场景中人与人互动的效果。

发明内容

有鉴于此，本申请提供一种注视识别及互动方法及装置，可模拟真实场景中人与人对话时的对视交流效果。

本申请的注视识别及互动方法适用于具有摄像头及舵机的电子装置，其中舵机是用以将摄像头转向。所述方法包括下列步骤：利用摄像头获取多个视频帧(video frame)；检测这些视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各个人脸是否对视摄像头；以及如果识别结果确认有人脸对视，则依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。

本申请的注视识别及互动装置包括摄像头、舵机、存储装置及处理器。其中，摄像头用以获取多个视频帧。舵机用以将摄像头转向。存储装置用以存储多个模块。处理器用以存取并执行存储在存储装置的模块。这些模块包括视频帧旋转模块、人脸检测模块、对视识别模块及转向模块。其中，视频帧旋转模块将所述视频帧的当前视频帧相对于方向轴旋转为旋转视频帧。人脸检测模块检测当前视频帧及旋转视频帧中的至少一个人脸。对视识别模块利用预先训练的分类器识别所检测的各个人脸是否对视摄像头。转向模块在对视识别模块的识别结果确认有人脸对视时，依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。

基于上述，本申请的注视识别及互动方法与装置通过对摄像头获取的视频帧进行人脸检测，并将该视频帧依不同轴向旋转后再进行人脸检测，可检测出各种姿态下的人脸。而通过预先训练的分类器对所检测的人脸进行对视识别，可确认所检测的人脸是否对视着摄像头，进而控制摄像头转向该人脸。借此，可模拟出真实情景中人与人对话时的对视交流效果。

为让本申请的上述特征和优点能更明显易懂，下文特别举实施例，并配合所附图示作详细说明如下。

附图说明

图1是依据本申请实施例所示的注视识别及互动装置的方块图。

图2是依照本申请实施例所示的注视识别及互动方法流程图。

图3是依照本申请实施例所示的旋转视频帧的示意图。

图4是依照本申请实施例所示的控制摄像头转向的示意图。

图5是依照本申请实施例所示的注视识别及互动方法流程图。

具体实施方式

本申请将声音识别、人脸检测及对视识别等技术整合至智能机器人或其他可与人互动的智能装置。当接收到使用者的声音时，机器人即会转向发声方向，使得配置在机器人身上的摄像头可获取到使用者的视频帧(video frame)。而当使用者注视机器人时，机器人可从视频帧中检测出人脸，并利用预先训练的分类器识别所检测的人脸是否对视着机器人，进而将机器人的头转向人脸中心(代表使用者的眼睛)，借此可模拟出真实情景中人与人对话时的对视交流效果。

图1是依据本申请实施例所示的注视识别及互动装置的方块图。请参考图1，本实施例的注视识别及互动装置10例如是智能机器人或其他可与人互动的电子装置，其中包括摄像头12、舵机14、存储装置16及处理器18，其功能分述如下：

摄像头12例如是由镜头、光圈、快门、影像传感器等元件组成。其中，镜头包括多个光学透镜，其例如是通过步进电机或音圈电机(Voice Coil Motor，VCM)等致动器驱动，以改变透镜之间的相对位置，从而改变焦距。光圈是由许多金属叶片构成的圈状开孔，此开孔会随着光圈值的大小而开大或缩小，进而控制镜头的进光量。快门则是用以控制光进入镜头的时间长短，其与光圈的组合会影响影像传感器所获取影像的曝光量。影像传感器例如是由电荷耦合元件(Charge Coupled Device，CCD)、互补金属半氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他种类的感光元件组成，其可感测进入镜头的光线强度以产生被摄物的视频帧。

舵机14例如是伺服电机，其可配置于摄像头12下方或周围，而可依据处理器18的控制信号，推动摄像头12以改变其位置及/或角度。

存储装置16可以是任何型态的固定式或可移动式随机存取存储器 (randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘驱动器(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合。在本实施例中，存储装置 16用以存储人脸检测模块162、视频帧旋转模块164、对视识别模块166及转向模块168的软件程序。

处理器18例如是中央处理单元(Central Processing Unit，CPU)，或是其他可编程的微处理器(Microprocessor)、数子信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuit，ASIC)或其他类似元件或上述元件的组合。在本实施例中，处理器18用以存取并执行上述存储装置16中所存储的模块，借以实现本申请实施例的注视识别及互动方法。

图2是依照本申请实施例所示的注视识别及互动方法流程图。请同时参照图1与图2，本实施例的方法适用于上述的注视识别及互动装置10，以下即搭配图1中注视识别及互动装置10的各项元件，说明本实施例方法的详细流程。

首先，由处理器18控制摄像头12获取多个视频帧(步骤S202)。接着，由处理器18执行视频帧旋转模块164，以将当前视频帧相对于方向轴旋转为旋转视频帧，并执行人脸检测模块162，以检测当前视频帧及旋转视频帧中的至少一个人脸(步骤S204)。其中，人脸检测模块162例如会执行维奥拉- 琼斯(Viola–Jones)检测法或其他人脸检测算法，以即时处理摄像头12所获取的视频帧或旋转后的视频帧，并检测出现在这些视频帧中的人脸。

具体而言，在与人互动的初始场景中，人脸可能并未正对着注视识别及互动装置10，这使得该人脸在摄像头12所获取的视频帧中有可能是侧面对着或歪着对着注视识别及互动装置10。对此，本实施例例如是通过将当前视频帧对水平轴或垂直轴以顺时针或逆时针的方向旋转某个角度，以便于人脸检测模块162进行人脸。而通过重复上述旋转视频帧及检测人脸的步骤，有机会将视频帧中原本歪斜的人脸转正，使得人脸检测模块162能够顺利地检测人脸。

举例来说，图3是依照本申请实施例所示的旋转视频帧的示意图。请参照图3，假设x轴、y轴、z轴为三维空间的3个方向轴，其中xz平面为水平面、xy平面为竖直面。图3中所示的由z轴旋转至x轴(对y轴顺时针旋转) 代表水平方向上的旋转，而图3中由y轴旋转至x轴(对z轴逆时针旋转) 代表垂直方向上的旋转。而通过将视频帧对不同方向轴进行顺时针或逆时针旋转，并在旋转后执行人脸检测，即可在各种人脸姿态下仍然能够检测到人脸。

需说明的是，由于同一张人脸可能同时会在原始视频帧及旋转后的视频帧中被检测到，但实际代表同一个人。对此，本申请实施例提供一种利用面积比排除相同人脸的方式，如果在其他方向(即旋转后方向)上检测到的人脸的有效面积比大于一定的阈值，则将该人脸视为相同人脸，放弃保存该人脸的信息，且不会对该人脸进行对视识别。上述的有效面积比可以理解为重复面积比，而上述在旋转视频帧与原始视频帧中分别检测到的人脸如果有重复，且重复率超过一定的阈值，则只对原始视频帧中检测到的那个人脸进行后续的对视识别，而不对旋转视频帧中检测到的人脸进行对视识别。借此，可保证对一幅视频帧中的人脸只进行一次对视识别验证，避免重复。需注意的是，上述人脸检测的目标是原始视频帧与旋转视频帧中的所有人脸，而对所有人脸分别进行且只进行一次识别。

具体而言，人脸检测模块162在检测旋转视频帧中的人脸后，会进一步将旋转视频帧中的人脸映射回当前视频帧，并与当前视频帧中位置相应的人脸的进行比对，判断映射回当前视频帧的人脸与原本在当前视频帧中的人脸的重叠面积与原本在当前视频帧中的人脸的原始面积的比值是否大于一个阈值。如果此比值大于阈值，则代表在旋转视频帧中检测到的人脸与在当前视频帧中检测到的人脸是属于同一个人，此时人脸检测模块162将会放弃保存在旋转视频帧中检测到的人脸的信息，且不会对该人脸进行对视识别，避免重复识别。

然后，由处理器18执行对视识别模块166，利用预先训练的分类器识别由人脸检测模块162所检测到的各个人脸是否对视摄像头12，以确认是否有人脸对视(步骤S206)。具体而言，对视识别模块166例如会预先采集大量的人脸影像，由使用者判断各张人脸影像中的人脸是否对视着摄像头，从而在各张人脸影像上标注对视标签。借此，对视识别模块166即可利用这些人脸影像及其对应的对视标签训练一个神经网络，以获得用以识别人脸对视的分类器。上述的神经网络例如包括2层卷积层(convolutional layer)、2层全连接层(Fullyconnected layer)及1层使用softmax函数的输出层，但不限于此。本领域技术人员可视实际需要，使用包括不同数目且不同组合的卷积层、池层(pooling)、全连接层、输出层的卷积神经网络或其他种类的神经网络。

最后，在对视识别模块166的识别结果确认有人脸对视时，由处理器18 执行转向模块168，以依据此人脸在当前视频帧中的位置或是此人脸由旋转视频帧映射回当前视频帧的位置，控制舵机14将摄像头12转向被识别为对视的人脸(步骤S208)。具体而言，针对在旋转视频帧中的人脸被识别为对视的情况，对视识别模块166会先将该人脸的位置映射回当前视频帧，以作为控制摄像头12转向的依据。举例来说，假设旋转视频帧的旋转角度为α，检测到的人脸位置(x₀,y₀)，原视频帧的宽度为w、高度为h，则映射回原视频帧的位置(x,y)为：

逆时针旋转：

顺时针旋转：

需说明的是，在实施例中，转向模块168例如是将当前视频帧等分为多个区域，而依据人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置偏离这些区域的中心区域的距离及方向，控制舵机14将摄像头 12转向人脸，使得人脸可位于转向后摄像头12所获取的视频帧的中心区域。在另一实施例中，可通过将摄像头的转向范围与视频帧的宽度w对应，由人脸偏离中心区域的像素差，计算出摄像头应该旋转的方向及角度。在又一实施例中，可通过平移摄像头的位置，或是同时平移并旋转摄像头，以使人脸可位于平移及/或旋转后摄像头12所获取的视频帧的中心区域，在此不设限。

举例来说，图4是依照本申请实施例所示的控制摄像头转向的示意图。请参照图4，假设视频帧40是由摄像头获取的视频帧，其中的人脸42是被识别出有对视的人脸。如图4所示，视频帧40被区分为9个区域，其中被识别出有对视的人脸42位于右下区域40b。而根据此人脸42所在位置(例如人脸42的中心点位置)偏离中心区域40a(中心点位置)的距离及方向，可控制摄像头朝相反方向转向(以本实施例为例，朝右下方向转向)，使得该人脸42在转向后摄像头所获取的视频帧中是位于中心区域40a。通过将人脸42 保持在视频帧40的中心区域40a，即可实现摄像头转向对视的位置。

通过上述的注视识别及互动方法，可识别出周围是否有人注视本实施例的注视识别及互动装置10，并将注视识别及互动装置10转向朝向注视的人脸，借此可模拟真实场景中与人对话时的对视交流效果。

需说明的是，在与人互动的初始场景中，人脸可能并未出现装置摄像头的视野内，即便人脸有出现在摄像头的视野内并且对视着摄像头，这也可能是刚好目光扫过，并非特意注视。对此，本申请提供另一实施例，可解决上述问题，从而获得更好的识别效果。

具体而言，图5是依照本申请实施例所示的注视识别及互动方法流程图。请同时参照图1与图5，本实施例的方法适用于上述的注视识别及互动装置 10，以下即搭配图1中注视识别及互动装置10的各项元件，说明本实施例方法的详细流程。

首先，由处理器18利用收音装置接收音频，并判定音频的来源方向，以控制舵机14将摄像头12转向此来源方向(步骤S502)。所述的收音装置例如为麦克风、指向性麦克风、麦克风阵列等可以识别声音来源方向的装置，在此不设限。而通过将摄像头12转向音频的来源方向，可确保摄像头12能够获取到包含发出音频的人脸的视频帧，从而进行后续的对视识别。

接收，由处理器18控制摄像头12获取多个视频帧(步骤S504)。由处理器18执行视频帧旋转模块164，以将当前视频帧相对于方向轴旋转为旋转视频帧，并执行人脸检测模块162，以检测当前视频帧及旋转视频帧中的至少一个人脸(步骤S506)，以及执行对视识别模块166，利用预先训练的分类器识别由人脸检测模块162所检测到的各个人脸是否对视摄像头12，以确认是否有人脸对视(步骤S508)。上述步骤S504～S508与前述实施例的步骤 S202～S206相同或相似，故其详细内容在此不再赘述。

相对于在前述实施例中只要当前视频帧有识别出人脸对视即确认有人脸对视，本实施例则需要有连续多个视频帧都有识别出人脸对视才确认有人脸对视。据此，当对视识别模块166于步骤S510中识别出当前视频帧有人脸对视之后，会判断连续判定有人脸对视的视频帧的数目是否大于预设数目(步骤S510)。

如果判定有人脸对视的视频帧的数目未大于预设数目，则流程会回到步骤S504，由处理器18控制摄像头12获取下一视频帧，而由人脸检测模块162 继续检测下一视频帧及其旋转后的旋转视频帧中的人脸，并由对视识别模块 166识别所检测的各个人脸是否对视摄像头12，以判定下一视频帧是否有人脸对视。如果判定有人脸对视，则可累加连续判定有人脸对视的视频帧的数目，并进入步骤S510进行判断。

如果判定有人脸对视的视频帧的数目大于预设数目，即确认有人脸对视，此时处理器18即会执行转向模块168，以依据人脸在当前视频帧中的位置或是人脸由旋转视频帧映射回当前视频帧的位置，控制舵机14将摄像头12转向被识别为对视的人脸(步骤S512)。上述转向方法已揭露于前述实施例，故其详细内容在此不再赘述。

通过将摄像头12转向音频的来源方向，可确保摄像头12能够获取到包含发出音频的人脸的视频帧，而通过连续检测多个视频帧是否有人脸对视，则可确认使用者的意图是否真为注视。借此，可获得更好的识别效果。

综上所述，本申请的注视识别及互动方法及装置可在摄像头拍摄视频帧时，由后台***进行即时的人脸检测及对视识别，并自动控制调节摄像头转向。借此，每当检测到有目光注视时，摄像头(或包含摄像头的机器人的头部)会立刻转向与之对视，从而达到近似真实场景中人与人之间交流时目光对视的效果。

虽然本申请已以实施例揭露如上，然而其并非用以限定本申请，任何所属技术领域技术人员，在不脱离本申请的精神和范围内，应当可以作出一些更动与润饰，因此本申请的保护范围以所附的权利要求所限定的范围为准。

附图标记说明

10：注视识别及互动装置

12：摄像头

14：舵机

16：存储装置

18：处理器

40：视频帧

40a：中央区域

40b：右下区域

42：人脸

S202～S208、S502～S512：步骤。

Claims (8)

1.一种注视识别及互动方法，适用于具有摄像头及舵机的电子装置，所述舵机用以将所述摄像头转向，所述方法包括下列步骤：

利用所述摄像头获取多个视频帧；

检测所述视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；

利用预先训练的分类器识别所检测的各所述人脸是否对视所述摄像头，其中利用人脸影像及其上标注的指示所述人脸影像中的人脸是否对视摄像头的对视标签来训练所述分类器；以及

如果识别结果确认有人脸对视，则依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置，控制所述舵机将所述摄像头转向被识别为对视的所述人脸，

其中，在检测所述视频帧的当前视频帧与所述当前视频帧相对于所述方向轴旋转后所产生的所述旋转视频帧中的所述人脸的步骤之后，还包括：

判断所述旋转视频帧中的所述人脸映射回所述当前视频帧后与所述当前视频帧中位置相应的所述人脸的重叠面积与所述人脸于所述当前视频帧中的原始面积的比值是否大于阈值；以及

如果所述比值大于所述阈值，则放弃保存所述旋转视频帧中的所述人脸的信息，并且不识别所述旋转视频帧中的所述人脸是否对视所述摄像头；其中，在利用预先训练的所述分类器识别所检测的各所述人脸是否对视所述摄像头的步骤之后，还包括：

检测所述当前视频帧的下一视频帧及其旋转后的旋转视频帧中的所述人脸，并识别所检测的各所述人脸是否对视所述摄像头，以判定所述下一视频帧是否有人脸对视；以及

重复上述步骤，并在连续判定有人脸对视的所述视频帧的数目大于预设数目时，确认有人脸对视。

2.如权利要求1所述的注视识别及互动方法，其中所述电子装置还包括收音装置，而在利用所述摄像头获取所述视频帧的步骤之前，还包括：

利用所述收音装置接收音频，并判定所述音频的来源方向，以控制所述舵机将所述摄像头转向所述来源方向。

3.如权利要求1所述的注视识别及互动方法，其中在利用预先训练的所述分类器识别所检测的各所述人脸是否对视所述摄像头的步骤之前，还包括：

采集大量的所述人脸影像，并依据各所述人脸影像中的人脸是否对视标注所述对视标签；以及

利用所述人脸影像及其对应的所述对视标签训练神经网络，以获得用以识别对视的所述分类器。

4.如权利要求1所述的注视识别及互动方法，其中控制所述舵机将所述摄像头转向被识别为对视的所述人脸的步骤包括：

将所述当前视频帧等分为多个区域，而依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置偏离所述区域的中心区域的距离及方向，控制所述舵机将所述摄像头转向所述人脸，使得所述人脸位于转向后所述摄像头所获取的所述视频帧的所述中心区域。

5.一种注视识别及互动装置，包括：

摄像头，获取多个视频帧；

舵机，将所述摄像头转向；

存储装置，存储多个模块；以及

处理器，存取并执行所述模块，所述模块包括：

视频帧旋转模块，将所述视频帧的当前视频帧相对于方向轴旋转为旋转视频帧；

人脸检测模块，检测所述当前视频帧与所述旋转视频帧中的至少一个人脸；

对视识别模块，利用预先训练的分类器识别所检测的各所述人脸是否对视所述摄像头，其中利用人脸影像及其上标注的指示所述人脸影像中的人脸是否对视摄像头的对视标签来训练所述分类器；以及

转向模块，在所述对视识别模块的识别结果确认有人脸对视时，依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置，控制所述舵机将所述摄像头转向被识别为对视的所述人脸，

其中，所述人脸检测模块还判断所述旋转视频帧中的所述人脸映射回所述当前视频帧后与所述当前视频帧中位置相应的所述人脸的重叠面积与所述人脸于所述当前视频帧中的原始面积的比值是否大于阈值，而如果所述比值大于所述阈值，则放弃保存所述旋转视频帧中的所述人脸的信息，并且不利用所述对视识别模块识别所述旋转视频帧中的所述人脸是否对视所述摄像头；

其中，所述人脸检测模块还检测所述当前视频帧的下一视频帧及其旋转后的旋转视频帧中的所述人脸；以及

所述对视识别模块还识别所检测的各所述人脸是否对视所述摄像头，以判定所述下一视频帧是否有人脸对视，并在连续判定有人脸对视的所述视频帧的数目大于预设数目时，确认有人脸对视。

6.如权利要求5所述的注视识别及互动装置，还包括：

收音装置，接收音频，其中所述转向模块还判定所述音频的来源方向，以控制所述舵机将所述摄像头转向所述来源方向。

7.如权利要求5所述的注视识别及互动装置，其中对视识别模块还采集大量的所述人脸影像，并依据各所述人脸影像中的人脸是否对视标注所述对视标签，以及利用所述人脸影像及其对应的所述对视标签训练神经网络，以获得用以识别对视的所述分类器。

8.如权利要求5所述的注视识别及互动装置，其中所述转向模块包括将所述当前视频帧等分为多个区域，而依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置偏离所述区域的中心区域的距离及方向，控制所述舵机将所述摄像头转向所述人脸，使得所述人脸位于转向后所述摄像头所获取的所述视频帧的所述中心区域。

Images