CN112149593A - 刷脸纠偏方法、装置、设备与计算机可读存储介质 - Google Patents
刷脸纠偏方法、装置、设备与计算机可读存储介质 Download PDFInfo
- Publication number
- CN112149593A CN112149593A CN202011045953.1A CN202011045953A CN112149593A CN 112149593 A CN112149593 A CN 112149593A CN 202011045953 A CN202011045953 A CN 202011045953A CN 112149593 A CN112149593 A CN 112149593A
- Authority
- CN
- China
- Prior art keywords
- face
- deviation
- determining
- brushing
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001680 brushing effect Effects 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012937 correction Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000007547 defect Effects 0.000 claims 1
- 230000001815 facial effect Effects 0.000 claims 1
- 230000015541 sensory perception of touch Effects 0.000 abstract description 3
- 230000001771 impaired effect Effects 0.000 description 40
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种刷脸纠偏方法，包括：若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；若是，则执行刷脸操作。本发明还公开了一种刷脸纠偏装置、设备和计算机可读存储介质。本发明在视障用户进行刷脸时，从视障人士的行为习惯和可行性出发，通过听觉和触觉两个维度的纠偏指引为视障用户提供纠偏信息，使得视障用户在不需要旁人的帮助下，也能对准刷脸识别框，更快速、便捷地完成人脸识别操作。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及刷脸纠偏方法、装置、设备与计算机可读存储介质。
背景技术
刷脸是人脸生物特征识别技术的俗称，即通过人脸识别技术进行身份鉴定的过程。人脸识别技术可以快捷、精准地识别用户身份，而随着人脸识别技术的成熟，其应用范围也在不断扩大，成为人类生活不可缺少的一部分。
现有技术中公开了一种刷脸纠偏方法，在屏幕上通过文字和颜色简单提示用户是否已经对准识别框。普通用户可以通过这种方法快捷地进行刷脸认证，但这种简单、快捷的认证方式并不适用于视障用户。对于视障用户来说，他们没有办法通过视觉来感知屏幕上的信息，因此，在使用刷脸功能时他们很难自己独立完成，需要旁人帮忙协助才能完成操作。
发明内容
本发明的主要目的在于提出一种刷脸纠偏方法、装置、设备与计算机可读存储介质，旨在实现在视障用户进行刷脸时，通过纠偏指引为视障用户提供纠偏信息，使得视障用户在不需要旁人的帮助下，也能对准刷脸识别框，完成刷脸操作的目的。
为实现上述目的，本发明提供一种刷脸纠偏方法，所述刷脸纠偏方法包括如下步骤：
若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
若是，则执行刷脸操作。
可选地，所述基于所述图像，确定所述人脸的姿态角的步骤包括：
确定所述图像中的人脸区域，并确定所述人脸区域对应的脸部关键点；
基于右手笛卡尔坐标系，将所述脸部关键点映射转换成目标脸部模型；
旋转预设三维脸部模型，并记录将所述预设三维脸部模型旋转成所述目标脸部模型的旋转角度；
基于所述旋转角度，确定所述人脸的姿态角。
可选地，若所述偏离参数包括偏离方向和偏离程度，则所述基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引的步骤包括：
确定所述姿态角的正负关系和对应的绝对值；
基于所述正负关系，确定所述人脸的偏离方向，并基于所述绝对值，确定所述人脸的偏离程度；
基于所述偏离方向和所述偏离程度，确定对应的纠偏指引。
可选地，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
基于所述播报内容，确定对应的纠偏指引。
可选地，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述震动强度，确定对应的纠偏指引。
可选地，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
可选地，所述确定所述震动纠偏模式对应的震动强度的步骤包括：
若所述偏离程度大于或等于预设阈值，则确定所述震动纠偏模式对应的震动强度为第一震动强度；
若所述偏离程度小于所述预设阈值，则确定所述震动纠偏模式对应的震动强度为第二震动强度，其中所述第一震动强度大于所述第二震动强度。
此外，为实现上述目的，本发明还提供一种刷脸纠偏装置，所述刷脸纠偏装置包括：
第一确定模块，用于若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
第二确定模块，用于基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
纠偏监测模块，用于执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
执行刷脸模块，用于若是，则执行刷脸操作。
可选地，所述第一确定模块还用于：
确定所述图像中的人脸区域，并确定所述人脸区域对应的脸部关键点；
基于右手笛卡尔坐标系，将所述脸部关键点映射转换成目标脸部模型；
旋转预设三维脸部模型，并记录将所述预设三维脸部模型旋转成所述目标脸部模型的旋转角度；
基于所述旋转角度，确定所述人脸的姿态角。
可选地，所述第二确定模块还用于：
确定所述姿态角的正负关系和对应的绝对值；
基于所述正负关系，确定所述人脸的偏离方向，并基于所述绝对值，确定所述人脸的偏离程度；
基于所述偏离方向和所述偏离程度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
基于所述播报内容，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述震动强度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
若所述偏离程度大于或等于预设阈值，则确定所述震动纠偏模式对应的震动强度为第一震动强度；
若所述偏离程度小于所述预设阈值，则确定所述震动纠偏模式对应的震动强度为第二震动强度，其中所述第一震动强度大于所述第二震动强度。
此外，为实现上述目的，本发明还提供一种刷脸纠偏设备，所述刷脸纠偏设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的刷脸纠偏程序，所述刷脸纠偏程序被所述处理器执行时实现如上所述的刷脸纠偏方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有刷脸纠偏程序，所述刷脸纠偏程序被处理器执行时实现如上所述的刷脸纠偏方法的步骤。
本发明提出的刷脸纠偏方法，若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；若是，则执行刷脸操作。本发明在视障用户进行刷脸时，通过纠偏指引为视障用户提供纠偏信息，使得视障用户在不需要旁人的帮助下，也能对准刷脸识别框，完成刷脸操作。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明刷脸纠偏方法第一实施例的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备指的是手持终端设备，如智能手机，掌上电脑，平板电脑等。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作设备、网络通信模块、用户接口模块以及刷脸纠偏程序。
其中，操作设备是管理和控制刷脸纠偏设备与软件资源的程序，支持网络通信模块、用户接口模块、刷脸纠偏程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
在图1所示的刷脸纠偏设备中，所述刷脸纠偏设备通过处理器1001调用存储器1005中存储的刷脸纠偏程序，并执行下述刷脸纠偏方法各个实施例中的操作。
基于上述硬件结构，提出本发明刷脸纠偏方法实施例。
参照图2，图2为本发明刷脸纠偏方法第一实施例的流程示意图，所述刷脸纠偏方法包括：
步骤S10，若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
步骤S20，基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
步骤S30，执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
步骤S40，若是，则执行刷脸操作。
本实施例刷脸纠偏方法运用于视障用户要进行刷脸操作的刷脸纠偏设备中，刷脸纠偏设备指的是手持终端设备，如智能手机，掌上电脑，平板电脑等，为描述方便，刷脸纠偏设备以刷脸设备简称。由于视障用户无法通过视觉来准确感知刷脸设备上的屏幕信息，因此，视障用户在进行刷脸操作时很难对准刷脸识别框。在本实施例中，当检测到视障用户未对准刷脸识别框时，通过执行纠偏指引，给视障用户提供协助信息，使他们不需要旁人的帮助，也能独立完成刷脸操作。
在本实施例之前，可通过刷脸设备的语音功能，为视障用户读取新手引导手册的具体内容，让视障用户在使用刷脸设备之前，熟悉刷脸设备的设置和具体功能，如刷脸设备的震动模式分第一震动强度和第二震动强度，其中，第一震动强度大于第二震动强度，在具体实施时，可以强弱之分区别，如第一震动强度命名为强震动，第二震动强度命名为弱震动，若出现强震动，则说明人脸偏离程度较大，若出现弱震动，则说明人脸的偏离程度较小等，方便视障用户能够根据纠偏指引快速、准确地对准识别框，从而使得视障用户能够独立完成刷脸操作。
本实施例的刷脸纠偏方法，若检测到人脸未对准刷脸识别框，则控制摄像头采集人脸对应的图像，并通过采集到的图像来确定人脸对应的姿态角；通过姿态角来确定人脸的偏离参数，并根据偏离参数确定对应的纠偏指引；执行纠偏指引，并监测人脸是否对准刷脸识别框；若是，则执行刷脸操作。本发明在检测到视障用户未对准刷脸识别框时，通过纠偏指引为视障用户提供纠偏信息，使得视障用户在不需要旁人的帮助下，也能对准刷脸识别框，完成刷脸操作。
以下将对各个步骤进行详细说明：
步骤S10，若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
在本实施例中，若通过摄像头检测到人脸未对准刷脸识别框，则控制摄像头采集人脸对应的图像，并通过对采集到的图像进行处理，从而确定人脸的姿态角。
需要说明的是，由于普通用户能够通过自己的视觉来快速对准识别框，故本实施例的人脸为视障用户的脸。
具体的，所述基于所述图像，确定所述人脸的姿态角的步骤包括：
步骤a1，确定所述图像中的人脸区域，并确定所述人脸区域对应的脸部关键点；
在本实施例中，检测采集到的图像中的人脸区域，具体可通过人脸轮廓识别，或者神经网络深度学习等方式确定图像中的人脸区域，并确定人脸区域中的脸部关键点，如鼻子、左眼、右眼、左嘴角、右嘴角、下巴等。
步骤a2，基于右手笛卡尔坐标系，将所述脸部关键点映射转换成目标脸部模型；
在本实施例中，右手笛卡尔坐标系可以是以预设的正向三维脸部模型的右耳作为坐标原点，并通过右手定则，以右耳到左耳所在的直线为X轴，通过原点垂直向上为Y轴，通过原点垂直脸部且指向刷脸设备的方向为Z轴，以此来设定三维空间下的右手笛卡尔坐标系，然后将二维的脸部关键点，映射转换成笛卡尔坐标系中的三维坐标点，也即，确定了三维空间下的人脸关键点，从而构建三维的目标脸部模型。
需要说明的是，预设三维脸部模型是通过大量的训练数据而确定的，作为对准刷脸识别框的标准脸部模型。
步骤a3，旋转预设三维脸部模型，并记录将所述预设三维脸部模型旋转成所述目标脸部模型的旋转角度；
在本实施例中，通过右手笛卡尔坐标系，将预设三维脸部模型沿着坐标轴旋转，使得预设三维脸部模型与构建的目标脸部模型重合，并记录对应的旋转角度。其中，旋转角度指的是使得预设三维脸部模型与构建的目标脸部模型重合的最小旋转角度。
步骤a4，基于所述旋转角度，确定所述人脸的姿态角。
在本实施例中，刷脸设备通过旋转角度确定人脸的姿态角，姿态角指的是右手笛卡尔坐标系中的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)。俯仰角指的是绕X轴旋转对应的旋转角度，偏航角是指绕Y轴旋转的旋转角度，翻滚角是指绕Z轴旋转的旋转角度。
步骤S20，基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
在本实施例中，通过人脸的姿态角，确定人脸的偏离参数和对应的纠偏指引，其中，偏离参数包括偏离方向和偏离程度，纠偏指引指的是辅助视障用户进行纠正的信息，如语音信息，震动信息等。
具体的，若所述偏离参数包括偏离方向和偏离程度，则步骤S20包括：
步骤b1，确定所述姿态角的正负关系和对应的绝对值；
在本实施例中，姿态角的俯仰角，或偏航角，或翻滚角有正负之分，但通过正负关系不能比较姿态角的大小关系；只有通过确定姿态角俯仰角、偏航角、翻滚角对应的绝对值大小，才能比较对应角的大小关系。
步骤b2，基于所述正负关系，确定所述人脸的偏离方向，并基于所述绝对值，确定所述人脸的偏离程度；
在本实施例中，就右手笛卡尔坐标系来说，定义的旋转正方向为绕坐标轴逆时针旋转的方向，也即，绕坐标轴逆时针旋转得到的姿态角为正，绕坐标轴顺时针旋转的到的姿态角为负，因此，通过姿态角的正负关系，可以确定人脸准确的偏离方向，具体的，与预设三维脸部模型相比，当俯仰角为正，人脸偏向正下方，相对地，当俯仰角为负，人脸偏向正上方；当偏航角为正，人脸偏向右前方，相对地，当偏航角为负，人脸偏向左前方；当翻滚角为正，人脸偏向正左方，相对地，当翻滚角为负，人脸偏向正右方。若姿态角对应的绝对值越大，说明人脸的在对应方向偏离程度越大，具体的，若俯仰角的绝对值最大，则说明人脸主要在正上方或正下方，也即竖直方向上偏离程度最大，若偏航角的绝对值最大，则说明人脸在左前方或右前方上偏离程度最大，若翻滚角的绝对值最大，则说明人脸在正左方或正右方上偏离程度最大。
步骤b3，基于所述偏离方向和所述偏离程度，确定对应的纠偏指引。
在本实施例中，根据确定的偏离方向和偏离程度，确定对应的纠偏指引，其中，刷脸设备中预存有偏离方向和偏离程度与纠偏指引的映射关系，因此，可在确定了偏离方向和偏离程度之后，通过预存的映射关系，确定对应的纠偏指引。
需要说明的是，通过姿态角确定的偏离方向只能给予视障用户在左右方向和上下方向的反馈，但在实际应用中，通过调研和大量的数据训练得知，人脸偏离识别框最多的偏离方向是前后方向，其次是左右方向，以及上下方向。因此，为了给予视障用户最直观、最容易操作的反馈，以最小调整路径对准人脸识别框，可优先从最直观和最容易操作的角度上确定偏离方向，也即，预先确定偏离方向的纠偏顺序，具体的，可确定人脸偏离方向的优先纠偏顺序为前后方向，左右方向次之，最后是上下方向。
步骤S30，执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
在本实施例中，执行对应的纠偏指引，方便视障用户根据纠偏指引的提示进行调整，并通过刷脸设备的摄像头监测人脸是否对准刷脸识别框。在具体实施时，预先通过大量的训练数据，确定了人脸对准识别框时对应的人脸面积与识别框面积的占比范围，也即，通过确定摄像头采集到的图像中人脸面积与识别框面积的占比大小是否在预设占比范围内，就可确定视障用户对应的人脸是否在识别框内，而且，若占比大小不符合预设占比范围，则说明人脸距离刷脸设备的识别框偏远或偏近。具体的，在执行纠偏指引过程中，若检测到占比大小大于预设占比范围，则说明识别框内的人脸面积过大，也即人脸与识别框的距离过近，人脸主要向前方偏离，可通过纠偏指引提示用户将手持刷脸设备往外移动；若占比大小小于预设占比范围，则说明识别框内的人脸面积过小，也即人脸与识别框的距离过远，人脸主要向后方偏离，可通过纠偏指引提示用户将手持刷脸设备靠近人脸，使得摄像头采集到的人脸在识别框内。若检测到人脸在识别框内还是无法进行刷脸操作，则根据偏离方向的纠偏顺序，从人脸偏离的上下方向、左右方向进行纠偏，直至人脸对准识别框。
需要说明的是，视障用户在根据纠偏指引的提示进行调整，不仅可通过调整手持刷脸设备的位置，也可通过调整自己的头部姿态来对准刷脸识别框。
步骤S40，若是，则执行刷脸操作。
在本实施例中，若人脸对准刷脸识别框，则执行刷脸操作；若人脸尚未对准刷脸识别框，则继续执行纠偏指引，以供视障用户根据刷脸设备的提示与反馈进行头部姿势调整，直至人脸对准识别框。
本发明提出的刷脸纠偏方法，若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；若是，则执行刷脸操作。本发明在视障用户进行刷脸时，通过纠偏指引为视障用户提供纠偏信息，使得视障用户在不需要旁人的帮助下，也能对准刷脸识别框，完成刷脸操作。
进一步地，基于本发明刷脸纠偏方法第一实施例，提出本发明刷脸纠偏方法第二实施例。
刷脸纠偏方法的第二实施例与刷脸纠偏方法的第一实施例的区别在于，所述基于所述偏离参数，确定对应的纠偏指引的步骤包括：
步骤c，基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
步骤d，基于所述播报内容，确定对应的纠偏指引。
本实施例的刷脸纠偏方法，通过确定语音纠偏模式，并确定对应的播报内容，从听觉上给视障用户提供纠偏指引。
以下将对各个步骤进行详细说明：
步骤c，基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
在本实施例中，若偏离参数包括偏离方向和偏离程度，通过确定人脸的偏离方向和偏离程度，确定语音纠偏模式，并确定对应的播报内容。在具体实施时，若以人脸的鼻子为坐标原点，遵循右手定则，建立三维空间的笛卡尔坐标系，在确定语音纠偏模式对应的播报内容时，需要确定用户脸部的具体偏向。以确定的人脸俯仰角为-9.04，偏航角为-40.2，翻滚角为2.35为例，俯仰角、偏航角、翻滚角对应的绝对值分别为9.04，40.2，2.35，显而易见地，偏航角的绝对值最大，且偏航角为负，则可以确定人脸主要向左前方偏离，也就是说，为了让视障用户清楚人脸的偏离方向，在确定播报内容时，偏离方向可以是根据绝对值最大的姿态角的正负关系来决定。因此，可以根据偏离方向和偏离程度，确定语音纠偏模式对应的播报内容。
步骤d，基于所述播报内容，确定对应的纠偏指引。
在本实施例中，确定人脸的偏离方向和偏离程度之后，通过刷脸设备的语音功能，为视障用户生成对应的播报内容，如“脸部向左偏离程度最大，请调整”等，从而确定语音纠偏模式对应的纠偏指引。为了不过于打扰用户，需要把控播报内容的信息量，同时，还要兼顾由于用户调整而导致人脸的偏离方向和偏离程度发生的变化，实现准确播报的目的，在具体实施时，可根据人脸在调整过程中的偏离方向和偏离程度，设定不同的播报频率，如检测到视障用户在调整过程中，偏离方向或偏离程度有明显变化的，可通过间隔为3000ms(millisecond，毫秒)的播报频率来进行语音纠偏；偏离方向和偏离程度都没有明显变化的，可通过间隔为5000ms的播报频率进行播报。具体的，若视障用户在调整前，语音播报内容提示人脸向左偏离，但在视障用户调整过程中，检测到人脸向右偏离，也即，视障用户在调整过程中偏离方向发生明显变化的，可确定播报频率为3000ms的语音纠偏模式，用来及时调整播报内容，为视障用户准确播报；若检测到视障用户调整前后的偏离方向或偏离程度未发生明显变化，也即偏离方向不变且偏离程度变化不大的，可通过播报频率为5000ms的语音纠偏模式，用来强调视障用户调整前后的偏离方向和偏离程度没有明显变化。通过设置不同的播报频率，可针对视障用户调整过程中的偏离方向和偏离程度，及时告知用户进行对应调整。
需要说明的是，偏离参数是否发生明显变化，可通过确定偏离参数的变化值与预设变化值来进行判定，大于或等于预设变化值，判定为发生明显变化，可确定对应的播报频率为3000ms；小于预设变化值，可判定为未发生明显变化，可确定对应的播报频率为5000ms。
本实施例的刷脸纠偏方法，根据人脸的偏离方向和偏离程度，确定语音纠偏模式，并确定对应的播报内容，通过设置不同的播报频率，从听觉上给视障用户提供纠偏指引，协助用户进行对应的调整，从而对准识别框。
进一步地，基于本发明定位方法第一、第二实施例，提出本发明定位方法第三实施例。
定位方法的第三实施例与定位方法的第一、第二实施例的区别在于，所述确定所述偏离参数对应的纠偏指引的步骤包括：
步骤e，基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
步骤f，基于所述震动强度，确定对应的纠偏指引。
本实施例的刷脸纠偏方法，通过确定震动纠偏模式，并确定对应的震动强度，从触觉上给视障用户提供纠偏指引。
以下将对各个步骤进行详细说明：
步骤e，基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
在本实施例中，根据人脸的偏离程度，确定震动纠偏模式，并确定对应的震动强度，其中，偏离程度的确定方法与第二实施例的方法类似，此处不再赘述。在具体实施时，可以在视障用户使用的刷脸设备的上下左右四端安装震动装置，震动强度以强弱进行区分。在具体实施时，一组强震动可以是持续400ms、无停顿的震动模式，一组弱震动可以是持续震动10ms，停顿20ms，再震动30ms的震动模式，或者为急促而轻的一下震动等。当偏离程度大于或等于预设阈值，即偏离程度较大时，使用强震动模式，给予用户强烈的反馈；当偏离程度小于预设阈值也即偏离程度较小时，使用弱震动模式，给予用户适中的反馈；而当人脸对准刷脸识别框时，刷脸设备停止震动，给予用户无需继续调整姿态的反馈。震动强度由偏离程度与预设阈值来判定，若预设阈值为25，以确定的人脸俯仰角为-9.04，偏航角为-40.2，翻滚角为2.35为例，俯仰角、偏航角、翻滚角对应的绝对值分别为9.04，40.2，2.35，偏航角对应的绝对值最大，则可以确定人脸在左前方偏离，而且偏航角的绝对值大于预设阈值，因此，可以确定刷脸设备的左方和上方震动装置的震动强度为强震动，相对应地，右方和下方震动装置的震动强度为弱震动。
需要说明的是，每组强震动与每组弱震动的震动间隔是一样的，可为1000ms，但强震动与弱震动对应的震动幅度是不一样的，且强震动对应的震动幅度要明显高于弱震动的震动幅度，以便区分，但具体的震动幅度，可根据应用场景的实际情况来决定。
步骤f，基于所述震动强度，确定对应的纠偏指引。
在本实施例中，通过震动强度的差异，从触觉上给视障用户提供纠偏指引，协助用户对准识别框。
本实施例的刷脸纠偏方法，根据人脸的偏离方向和偏离程度，确定震动纠偏模式，并确定对应的震动强度，通过刷脸设备的震动强度差异，从触觉上给视障用户提供纠偏指引，协助用户对准识别框。
进一步地，基于本发明定位方法第一、第二、第三实施例，提出本发明定位方法第四实施例。
定位方法的第四实施例与定位方法的第一、第二、第三实施例的区别在于，所述确定所述偏离参数对应的纠偏指引的步骤包括：
步骤g，基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
步骤h，基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
步骤i，基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
本实施例的刷脸纠偏方法，通过语音纠偏模式和震动纠偏模式的结合，从听觉和触觉上给视障用户提供纠偏指引，协助用户对准识别框。
以下将对各个步骤进行详细说明：
步骤g，基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
在本实施例中，根据人脸的偏离参数，确定语音纠偏模式和对应的语音播报内容与第二实施例中的确定方法类似，此处不再赘述。
步骤h，基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
在本实施例中，根据人脸的偏离程度，确定震动纠偏模式和对应的震动强度与第三实施例的确定方法类似，此处不再赘述。
步骤i，基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
在本实施例中，通过确定语音播报内容和震动强度，从听觉和触觉两个维度为视障用户提供纠偏指引，从而使得视障用户脸部对准刷脸识别框。
本实施例的刷脸纠偏方法，根据人脸的偏离方向和偏离程度，确定语音纠偏模式和对应的语音播报内容，并确定震动纠偏模式和对应的震动强度，从听觉和触觉上更加精准、全面地给视障用户提供纠偏指引，使得视障用户能够更快地对准识别框。
本发明还提供一种刷脸纠偏装置。本发明刷脸纠偏装置包括：
第一确定模块，用于若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
第二确定模块，用于基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
纠偏监测模块，用于执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
执行刷脸模块，用于若是，则执行刷脸操作。
可选地，所述第一确定模块还用于：
确定所述图像中的人脸区域，并确定所述人脸区域对应的脸部关键点；
基于右手笛卡尔坐标系，将所述脸部关键点映射转换成目标脸部模型；
旋转预设三维脸部模型，并记录将所述预设三维脸部模型旋转成所述目标脸部模型的旋转角度；
基于所述旋转角度，确定所述人脸的姿态角。
可选地，所述第二确定模块还用于：
确定所述姿态角的正负关系和对应的绝对值；
基于所述正负关系，确定所述人脸的偏离方向，并基于所述绝对值，确定所述人脸的偏离程度；
基于所述偏离方向和所述偏离程度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
基于所述播报内容，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述震动强度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
可选地，所述第二确定模块还用于：
若所述偏离程度大于或等于预设阈值，则确定所述震动纠偏模式对应的震动强度为第一震动强度；
若所述偏离程度小于所述预设阈值，则确定所述震动纠偏模式对应的震动强度为第二震动强度，其中所述第一震动强度大于所述第二震动强度。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有刷脸纠偏程序，所述刷脸纠偏程序被处理器执行时实现如上所述的刷脸纠偏方法的步骤。
其中，在所述处理器上运行的刷脸纠偏程序被执行时所实现的方法可参照本发明刷脸纠偏方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种刷脸纠偏方法，其特征在于，所述刷脸纠偏方法包括如下步骤：
若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
若是，则执行刷脸操作。
2.如权利要求1所述的刷脸纠偏方法，其特征在于，所述基于所述图像，确定所述人脸的姿态角的步骤包括：
确定所述图像中的人脸区域，并确定所述人脸区域对应的脸部关键点；
基于右手笛卡尔坐标系，将所述脸部关键点映射转换成目标脸部模型；
旋转预设三维脸部模型，并记录将所述预设三维脸部模型旋转成所述目标脸部模型的旋转角度；
基于所述旋转角度，确定所述人脸的姿态角。
3.如权利要求1所述的刷脸纠偏方法，其特征在于，若所述偏离参数包括偏离方向和偏离程度，则所述基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引的步骤包括：
确定所述姿态角的正负关系和对应的绝对值；
基于所述正负关系，确定所述人脸的偏离方向，并基于所述绝对值，确定所述人脸的偏离程度；
基于所述偏离方向和所述偏离程度，确定对应的纠偏指引。
4.如权利要求1所述的刷脸纠偏方法，其特征在于，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的播报内容；
基于所述播报内容，确定对应的纠偏指引。
5.如权利要求1所述的刷脸纠偏方法，其特征在于，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述震动强度，确定对应的纠偏指引。
6.如权利要求1所述的刷脸纠偏方法，其特征在于，所述确定所述偏离参数对应的纠偏指引的步骤包括：
基于所述偏离参数，确定语音纠偏模式，并确定所述语音纠偏模式对应的语音播报内容；
基于所述偏离程度，确定震动纠偏模式，并确定所述震动纠偏模式对应的震动强度；
基于所述语音播报内容和所述震动强度，确定对应的纠偏指引。
7.如权利要求5-6任一项所述的刷脸纠偏方法，其特征在于，所述确定所述震动纠偏模式对应的震动强度的步骤包括：
若所述偏离程度大于或等于预设阈值，则确定所述震动纠偏模式对应的震动强度为第一震动强度；
若所述偏离程度小于所述预设阈值，则确定所述震动纠偏模式对应的震动强度为第二震动强度，其中所述第一震动强度大于所述第二震动强度。
8.一种的刷脸纠偏装置，其特征在于，所述的刷脸纠偏装置包括：
第一确定模块，用于若检测到人脸未对准刷脸识别框，则控制摄像头采集所述人脸对应的图像，并基于所述图像，确定所述人脸的姿态角；
第二确定模块，用于基于所述姿态角，确定所述人脸的偏离参数，并确定所述偏离参数对应的纠偏指引；
纠偏监测模块，用于执行所述纠偏指引，并监测所述人脸是否对准所述刷脸识别框；
执行刷脸模块，用于若是，则执行刷脸操作。
9.一种刷脸纠偏设备，其特征在于，所述刷脸纠偏设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的刷脸纠偏程序，所述刷脸纠偏程序被所述处理器执行时实现如权利要求1至7中任一项所述的刷脸纠偏方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有刷脸纠偏程序，所述刷脸纠偏程序被处理器执行时实现如权利要求1至7中任一项所述的刷脸纠偏方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011045953.1A CN112149593A (zh) | 2020-09-28 | 2020-09-28 | 刷脸纠偏方法、装置、设备与计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011045953.1A CN112149593A (zh) | 2020-09-28 | 2020-09-28 | 刷脸纠偏方法、装置、设备与计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149593A true CN112149593A (zh) | 2020-12-29 |
Family
ID=73896050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011045953.1A Pending CN112149593A (zh) | 2020-09-28 | 2020-09-28 | 刷脸纠偏方法、装置、设备与计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149593A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906597A (zh) * | 2021-03-03 | 2021-06-04 | 支付宝(杭州)信息技术有限公司 | 用户身份的识别方法、装置和刷脸设备 |
| CN112987934A (zh) * | 2021-04-20 | 2021-06-18 | 杭州宇泛智能科技有限公司 | 一种人像识别交互方法、装置及电子设备 |
| CN113066223A (zh) * | 2021-04-22 | 2021-07-02 | 中国工商银行股份有限公司 | ***自动验证方法及装置 |
| CN113343788A (zh) * | 2021-05-20 | 2021-09-03 | 支付宝(杭州)信息技术有限公司 | 图像采集方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118276A (ja) * | 2006-11-01 | 2008-05-22 | Sony Ericsson Mobilecommunications Japan Inc | カメラ付き移動機器およびその撮影支援方法 |
| CN103393526A (zh) * | 2013-07-29 | 2013-11-20 | 南京信息工程大学 | 一种引导盲人避障的导盲拐及其避障方法 |
| CN104883486A (zh) * | 2015-05-28 | 2015-09-02 | 上海应用技术学院 | 一种盲人拍照*** |
| CN109118233A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于人脸识别的认证方法和装置 |
| CN109977836A (zh) * | 2019-03-19 | 2019-07-05 | 维沃移动通信有限公司 | 一种信息采集方法及终端 |
| CN110647811A (zh) * | 2019-08-15 | 2020-01-03 | 中国平安人寿保险股份有限公司 | 人脸姿态检测方法、装置及计算机可读存储介质 |
-
2020
- 2020-09-28 CN CN202011045953.1A patent/CN112149593A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118276A (ja) * | 2006-11-01 | 2008-05-22 | Sony Ericsson Mobilecommunications Japan Inc | カメラ付き移動機器およびその撮影支援方法 |
| CN103393526A (zh) * | 2013-07-29 | 2013-11-20 | 南京信息工程大学 | 一种引导盲人避障的导盲拐及其避障方法 |
| CN104883486A (zh) * | 2015-05-28 | 2015-09-02 | 上海应用技术学院 | 一种盲人拍照*** |
| CN109118233A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 基于人脸识别的认证方法和装置 |
| CN109977836A (zh) * | 2019-03-19 | 2019-07-05 | 维沃移动通信有限公司 | 一种信息采集方法及终端 |
| CN110647811A (zh) * | 2019-08-15 | 2020-01-03 | 中国平安人寿保险股份有限公司 | 人脸姿态检测方法、装置及计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906597A (zh) * | 2021-03-03 | 2021-06-04 | 支付宝(杭州)信息技术有限公司 | 用户身份的识别方法、装置和刷脸设备 |
| CN112987934A (zh) * | 2021-04-20 | 2021-06-18 | 杭州宇泛智能科技有限公司 | 一种人像识别交互方法、装置及电子设备 |
| CN113066223A (zh) * | 2021-04-22 | 2021-07-02 | 中国工商银行股份有限公司 | ***自动验证方法及装置 |
| CN113343788A (zh) * | 2021-05-20 | 2021-09-03 | 支付宝(杭州)信息技术有限公司 | 图像采集方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149593A (zh) | 刷脸纠偏方法、装置、设备与计算机可读存储介质 | |
| US10553033B2 (en) | Head-mounted display system and method for presenting display on head-mounted display | |
| CN107957120B (zh) | 空调器的送风方法、空调器和计算机可读存储介质 | |
| CN109410285B (zh) | 一种校准方法、装置、终端设备及存储介质 | |
| US20170072569A1 (en) | Robot apparatus, method for controlling the same, and computer program | |
| CN111532205A (zh) | 后视镜的调节方法、装置、设备及存储介质 | |
| CN109498384B (zh) | 一种按摩部位识别、定位、按摩方法及装置、设备 | |
| JP2019057111A (ja) | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム | |
| US11340714B2 (en) | Information processing device, information processing method and program | |
| CN105991924A (zh) | 一种拍摄辅助方法和装置 | |
| JP2009266097A (ja) | 入力機器 | |
| JP6736298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20190329364A1 (en) | Object Recognition and Presentation for the Visually Impaired | |
| JP2010127779A (ja) | 情報提供装置、情報提供方法およびプログラム | |
| KR20140072734A (ko) | 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법 | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| KR102147930B1 (ko) | 포즈 인식 방법 및 장치 | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| CN107330361B (zh) | 美容设备护肤手法的判断方法、美容设备及存储介质 | |
| EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| CN111383298A (zh) | 一种思维导图的转换方法及装置 | |
| CN112839162B (zh) | 一种调整眼睛显示位置的方法、装置、终端及存储介质 | |
| CN109040592A (zh) | 控制拍摄角度的方法和装置 | |
| CN110119674B (zh) | 一种作弊检测的方法、装置、计算设备及计算机存储介质 | |
| CN112133314A (zh) | 声纹密码的设置和验证的方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |