CN113221630A - 一种人眼注视镜头的估算方法及其在智能唤醒中的应用 - Google Patents

一种人眼注视镜头的估算方法及其在智能唤醒中的应用 Download PDF

Info

Publication number
CN113221630A
CN113221630A CN202110301136.6A CN202110301136A CN113221630A CN 113221630 A CN113221630 A CN 113221630A CN 202110301136 A CN202110301136 A CN 202110301136A CN 113221630 A CN113221630 A CN 113221630A
Authority
CN
China
Prior art keywords
camera
picture
delta
awakening
estimation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110301136.6A
Other languages
English (en)
Inventor
刘鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110301136.6A priority Critical patent/CN113221630A/zh
Publication of CN113221630A publication Critical patent/CN113221630A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种人眼注视镜头的估算方法及其在智能唤醒中的应用，采用摄像头对准人脸实时拍摄，并通过人脸识别API获取图片中的人脸的特征点；获取图片中150个特征点后找到每一只眼睛的最小包含矩形；分别计算出最小包含矩形为M1、M2；计算人眼是否注视摄像头；在消除唤醒词中，不断的对人脸参数进行识别，判断用户是否注视摄像头，如果用户已经注视摄像头，直接唤醒物联网中控；本发明通过摄像头检测人眼是否注视摄像头，通过注视摄像头达到唤醒人工智能设备的目的，无需语音唤醒，避免产生噪音。

Description

一种人眼注视镜头的估算方法及其在智能唤醒中的应用
技术领域
本发明涉及智能检测技术领域，具体是指一种人眼注视镜头的估算方法及其在智能唤醒中的应用。
背景技术
当前各种各样的智能助手都需要唤醒词，比如小爱同学等，需要使用者说话唤醒，缺乏无需语音唤醒 的智能唤醒方法。
所以，一种人眼注视镜头的估算方法及其在智能唤醒中的应用成为人们亟待解决的问题。
发明内容
本发明的目的是利用摄像头判断用户是否需要激活物联网中控，从而提供一种不需要唤醒词的智能设 备唤醒方法。
为实现上述目的，本发明提供的技术方案为：一种人眼注视镜头的估算方法及其在智能唤醒中的应用， 包括以下步骤：
步骤1：采用摄像头对准人脸实时拍摄，并通过人脸识别API获取图片中的人脸的特征点；
步骤2：获取图片中150个特征点后找到每一只眼睛的最小包含矩形；
步骤3：分别计算出最小包含矩形为M1、M2；
步骤4：设左眼球的中心点为OM1，右眼球的中心点为OM2，把OM1、OM2的横纵坐标分别相加之 后除以2即可计算出眉心的坐标为A；
设图片的正中心点为B，连接AB两点，此时线AB和中轴线的上半截形成一个夹角X，X的范围是 0～360度；
分别求出M1、M2矩形的中心点为O1、O2，连接O1与OM1形成线段S，连接O2与OM2形成线 段T，S与整张图片的中轴线的上半截形成的夹角为Y，T与整张图片的中轴线的上半截形成的夹角为Z；
设误差为△1，计算Y和X的差值的绝对值为D，计算Z和X的差值的绝对值为E，如果D和E的 平均数F小于△1，则说明人眼是看着摄像头的；
步骤5：步骤1-4的计算方案只适合估算的应用场景，在实际应用中需要更加精准判断人眼朝向，需 要把常量△1的使用方式改为线性计算，更改如下：
判断结果为正在看摄像头的算法应该改成X(1-△1)<(Y+Z)/2<X(1+△1)；
步骤6：在消除唤醒词中，不断的对人脸参数进行识别，重复步骤1至步骤5计算用户是否注视摄像 头，如果用户已经注视摄像头，直接唤醒物联网中控。
作为改进，所述△1的值因人而异，根据实际情况识别并将数据录入算法中参与计算。
本发明与现有技术相比的优点在于：本发明通过摄像头检测人眼是否注视摄像头，通过注视摄像头达 到唤醒人工智能设备的目的，无需语音唤醒，避免产生噪音。
具体实施方式
本发明一种人眼注视镜头的估算方法及其在智能唤醒中的应用的具体实施过程如下：
采用摄像头对准人脸实时拍摄，并通过人脸识别API获取图片中的人脸的特征点；
获取图片中150个特征点后找到每一只眼睛的最小包含矩形；
分别计算出最小包含矩形为M1、M2；
设左眼球的中心点为OM1，右眼球的中心点为OM2，把OM1、OM2的横纵坐标分别相加之后除以2 即可计算出眉心的坐标为A；
设图片的正中心点为B，连接AB两点，此时线AB和中轴线的上半截形成一个夹角X，X的范围是 0～360度；
分别求出M1、M2矩形的中心点为O1、O2，连接O1与OM1形成线段S，连接O2与OM2形成线 段T，S与整张图片的中轴线的上半截形成的夹角为Y，T与整张图片的中轴线的上半截形成的夹角为Z；
设误差为△1，计算Y和X的差值的绝对值为D，计算Z和X的差值的绝对值为E，如果D和E的 平均数F小于△1，则说明人眼是看着摄像头的；
上述计算方案只适合估算的应用场景，在实际应用中需要更加精准判断人眼朝向，需要把常量△1的 使用方式改为线性计算，更改如下：
判断结果为正在看摄像头的算法应该改成X(1-△1)<(Y+Z)/2<X(1+△1)；
与此同时还需要加入头脑旋转带来的误差值；每个人的脑袋的参数均不一样，所以此处还需要补偿一 个误差值△2。
考虑到相机分辨率的问题，为了保证实际使用中效果明显，摄像头的设置以及所拍摄的图片应遵循表 1所示的要求；
表1：摄像头参数以及所拍摄照片要求
人眼裂 25mm
相机焦距 4mm
感光元件 7mm*4.15mm
相片尺寸 1920*1080
相片眼裂大小 X个像素
对应距离范围 Y＝25*4*1920/7/X/100米
假设当X＝55时，Y≈5米，也就是说，如果要识别5米内的用户，那么最好保证照片中的眼裂的像素 大于55。其中眼裂长度为内眦点到为外眦点的直线距离。简单来说，眼裂(睑裂)就是内眦点到外眦点的 直线距离，内眦点就是上下眼睑的内遇合处，外眦点就是上下眼睑的外遇合处。
在消除唤醒词中，不断的对人脸参数进行识别，计算用户是否注视摄像头，如果用户已经注视摄像头， 直接唤醒物联网中控。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言之 如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术 方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.一种人眼注视镜头的估算方法及其在智能唤醒中的应用，其特征在于：包括以下步骤：
步骤1：采用摄像头对准人脸实时拍摄，并通过人脸识别API获取图片中的人脸的特征点；
步骤2：获取图片中150个特征点后找到每一只眼睛的最小包含矩形；
步骤3：分别计算出最小包含矩形为M1、M2；
步骤4：设左眼球的中心点为OM1，右眼球的中心点为OM2，把OM1、OM2的横纵坐标分别相加之后除以2即可计算出眉心的坐标为A；
设图片的正中心点为B，连接AB两点，此时线AB和中轴线的上半截形成一个夹角X，X的范围是0～360度；
分别求出M1、M2矩形的中心点为O1、O2，连接O1与OM1形成线段S，连接O2与OM2形成线段T，S与整张图片的中轴线的上半截形成的夹角为Y，T与整张图片的中轴线的上半截形成的夹角为Z；
设误差为△1，计算Y和X的差值的绝对值为D，计算Z和X的差值的绝对值为E，如果D和E的平均数F小于△1，则说明人眼是看着摄像头的；
步骤5：步骤1-4的计算方案只适合估算的应用场景，在实际应用中需要更加精准判断人眼朝向，需要把常量△1的使用方式改为线性计算，更改如下：
判断结果为正在看摄像头的算法应该改成X(1-△1)<(Y+Z)/2<X(1+△1)；
步骤6：在消除唤醒词中，不断的对人脸参数进行识别，重复步骤1至步骤5计算用户是否注视摄像头，如果用户已经注视摄像头，直接唤醒物联网中控。
2.根据权利要求1所述的一种人眼注视镜头的估算方法及其在智能唤醒中的应用，其特征在于：所述△1的值因人而异，根据实际情况识别并将数据录入算法中参与计算。
CN202110301136.6A 2021-03-22 2021-03-22 一种人眼注视镜头的估算方法及其在智能唤醒中的应用 Pending CN113221630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110301136.6A CN113221630A (zh) 2021-03-22 2021-03-22 一种人眼注视镜头的估算方法及其在智能唤醒中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110301136.6A CN113221630A (zh) 2021-03-22 2021-03-22 一种人眼注视镜头的估算方法及其在智能唤醒中的应用

Publications (1)

Publication Number Publication Date
CN113221630A true CN113221630A (zh) 2021-08-06

Family

ID=77084044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110301136.6A Pending CN113221630A (zh) 2021-03-22 2021-03-22 一种人眼注视镜头的估算方法及其在智能唤醒中的应用

Country Status (1)

Country Link
CN (1) CN113221630A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN101520838A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 自动跟踪和自动变焦的虹膜图像获取方法
KR20090105531A (ko) * 2008-04-03 2009-10-07 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
US20100097227A1 (en) * 2008-10-21 2010-04-22 Samsung Electronics Co., Ltd. Alarm control apparatus and method using face recognition
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN102594999A (zh) * 2012-01-30 2012-07-18 郑凯 一种通过人脸识别进行自适应手机节能的方法和***
CN103561142A (zh) * 2013-10-24 2014-02-05 广东明创软件科技有限公司 通过人眼识别控制闹钟状态的方法及其移动终端
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及***
US20170156589A1 (en) * 2015-12-04 2017-06-08 Shenzhen University Method of identification based on smart glasses
CN106919918A (zh) * 2017-02-27 2017-07-04 腾讯科技（上海）有限公司 一种人脸跟踪方法和装置
CN206353336U (zh) * 2016-12-07 2017-07-25 浙江交通职业技术学院 一种汽车行驶过程中的防碰瓷装置
CN108098767A (zh) * 2016-11-25 2018-06-01 北京智能管家科技有限公司 一种机器人唤醒方法及装置
US20190057247A1 (en) * 2016-02-23 2019-02-21 Yutou Technology (Hangzhou) Co., Ltd. Method for awakening intelligent robot, and intelligent robot
CN111145739A (zh) * 2019-12-12 2020-05-12 珠海格力电器股份有限公司 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
CN112099621A (zh) * 2020-08-12 2020-12-18 杭州同绘科技有限公司 一种眼睛注视解锁机器人的***及方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN101520838A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 自动跟踪和自动变焦的虹膜图像获取方法
KR20090105531A (ko) * 2008-04-03 2009-10-07 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
US20100097227A1 (en) * 2008-10-21 2010-04-22 Samsung Electronics Co., Ltd. Alarm control apparatus and method using face recognition
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN102594999A (zh) * 2012-01-30 2012-07-18 郑凯 一种通过人脸识别进行自适应手机节能的方法和***
CN103561142A (zh) * 2013-10-24 2014-02-05 广东明创软件科技有限公司 通过人眼识别控制闹钟状态的方法及其移动终端
US20170156589A1 (en) * 2015-12-04 2017-06-08 Shenzhen University Method of identification based on smart glasses
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及***
US20190057247A1 (en) * 2016-02-23 2019-02-21 Yutou Technology (Hangzhou) Co., Ltd. Method for awakening intelligent robot, and intelligent robot
CN108098767A (zh) * 2016-11-25 2018-06-01 北京智能管家科技有限公司 一种机器人唤醒方法及装置
CN206353336U (zh) * 2016-12-07 2017-07-25 浙江交通职业技术学院 一种汽车行驶过程中的防碰瓷装置
CN106919918A (zh) * 2017-02-27 2017-07-04 腾讯科技（上海）有限公司 一种人脸跟踪方法和装置
CN111145739A (zh) * 2019-12-12 2020-05-12 珠海格力电器股份有限公司 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
CN112099621A (zh) * 2020-08-12 2020-12-18 杭州同绘科技有限公司 一种眼睛注视解锁机器人的***及方法

Similar Documents

Publication Publication Date Title
CN107606512B (zh) 一种智能台灯、基于智能台灯提醒用户坐姿的方法及装置
TWI646444B (zh) 一種喚醒智慧機器人的方法及智慧機器人
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
CN102520796B (zh) 一种基于逐步回归分析映射模型的视线跟踪方法
CN105550631B (zh) 一种虹膜图像采集方法及装置
CN104539924A (zh) 基于人眼追踪的全息显示方法及全息显示装置
CN103412643B (zh) 终端及其遥控的方法
CN102456137B (zh) 基于近红外反射点特性的视线跟踪预处理方法
CN104581113B (zh) 基于观看角度的自适应全息显示方法及全息显示装置
CN109948435A (zh) 坐姿提醒方法及装置
CN106919250A (zh) 一种提醒方法及装置
CN107273814A (zh) 一种屏幕显示的调控方法及调控***
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
CN111012131B (zh) 一种睡姿矫正的方法、装置及智能枕头
CN110610176A (zh) 一种基于人脸亮度的曝光自适应调节方法
CN104850228A (zh) 基于移动终端的锁定眼球的注视区域的方法
JP2007003618A (ja) 表示装置および携帯端末装置
Radlak et al. A novel approach to the eye movement analysis using a high speed camera
CN107948399A (zh) 移动终端的护眼方法、装置、移动终端及存储介质
JP2020191089A (ja) 顔生体の検出方法及び検出装置、電子機器、並びにコンピュータ読み取り可能な媒体
TWI647666B (zh) 瞌睡偵測裝置及其瞌睡偵測方法
Chukoskie et al. Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection
CN113221630A (zh) 一种人眼注视镜头的估算方法及其在智能唤醒中的应用
CN105741326A (zh) 一种基于聚类融合的视频序列的目标跟踪方法
CN108921010A (zh) 一种瞳孔检测方法及检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination