CN107801098A - 机顶盒的指令执行方法和装置 - Google Patents

机顶盒的指令执行方法和装置 Download PDF

Info

Publication number
CN107801098A
CN107801098A CN201610789196.6A CN201610789196A CN107801098A CN 107801098 A CN107801098 A CN 107801098A CN 201610789196 A CN201610789196 A CN 201610789196A CN 107801098 A CN107801098 A CN 107801098A
Authority
CN
China
Prior art keywords
pupil
image
eye
binary image
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610789196.6A
Other languages
English (en)
Other versions
CN107801098B (zh
Inventor
包智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
Nanjing ZTE New Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing ZTE New Software Co Ltd filed Critical Nanjing ZTE New Software Co Ltd
Priority to CN201610789196.6A priority Critical patent/CN107801098B/zh
Publication of CN107801098A publication Critical patent/CN107801098A/zh
Application granted granted Critical
Publication of CN107801098B publication Critical patent/CN107801098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种机顶盒的指令执行方法和装置。其中，该方法包括：在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。本发明解决了相关技术中与数字视频变换盒的交互较繁琐的技术问题。

Description

机顶盒的指令执行方法和装置
技术领域
本发明涉及自动控制领域，具体而言，涉及一种机顶盒的指令执行方法和装置。
背景技术
数字视频变换盒(英文全称为Set Top Box，简称为STB，俗称为机顶盒)，是一个连接电视机与外部信号源的设备，它可以将压缩的数字信号转成电视内容，并在电视机上显示出来，传统的机顶盒的控制方法是用遥控器进行控制，随着科技的发展，这种控制方式已经显得不合时宜，为用户造成诸多的不便，尤其对于老人、残障人士、病人等，例如，对于老人，由于视力下降等原因，而遥控器的操控较繁琐，造成老人操控遥控器时较困难；再如，在遥控器找不到或者坏掉时，或者由于其他的原因不愿意去拿遥控器时，均会给用户带来诸多的不便。
针对相关技术中与数字视频变换盒的交互较繁琐的技术问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种机顶盒的指令执行方法和装置，以至少解决相关技术中与数字视频变换盒的交互较繁琐的技术问题。
根据本发明实施例的一个方面，提供了一种机顶盒的指令执行方法，该方法包括：在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。
进一步地，通过比对参考图像和当前图像确定操作者的面部操作动作包括：获取参考图像中预设部位的第一位置信息，其中，预设部位为操作者的面部的任一部位；获取当前图像中预设部位的第二位置信息；通过比较第一位置信息和第二位置信息确定面部操作动作。
进一步地，预设部位包括眼部，获取参考图像中预设部位的第一位置信息包括：对参考图像进行YCbCr处理，得到第一二值化图像；利用肤色模型对参考图像进行二值化处理，得到第二二值化图像；对第一二值化图像中的面部区域和第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，第一位置信息包括初始瞳孔中心坐标和瞳孔半径。
进一步地，从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径包括：识别出第三二值化图像中眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到初始瞳孔中心坐标；确定第三二值化图像中眼部的外接矩形，通过区域分割算法和质心算法修正外接矩形，将修正后的外接矩形中内切圆的半径作为瞳孔半径。
进一步地，获取当前图像中预设部位的第二位置信息包括：对当前图像进行YCbCr处理，得到第四二值化图像；利用肤色模型对当前图像进行二值化处理，得到第五二值化图像；对第四二值化图像中的面部区域和第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；识别出第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，第二位置信息包括当前瞳孔中心坐标和当前瞳孔坐标。
进一步地，执行面部操作动作所指示的目标指令包括：获取多个指令中与面部操作动作对应的目标指令；执行与目标指令对应的控制函数。
进一步地，在识别出操作者的开始手势时，启动机顶盒的面部操作识别功能。
进一步地，该方法还包括：在识别出操作者的结束手势时，关闭机顶盒的面部操作识别功能。
进一步地，参考图像为在采集操作者的图像时，初次采集到的图像，或者为与当前图像的采集时间差在预设值内的图像。
根据本发明实施例的另一个方面，提供了一种机顶盒的指令执行装置，该装置包括：采集单元，用于在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；确定单元，用于通过比对参考图像和当前图像确定操作者的面部操作动作；执行单元，用于执行面部操作动作所指示的目标指令。
进一步地，确定单元包括：第一获取模块，用于获取参考图像中预设部位的第一位置信息，其中，预设部位为操作者的面部的任一部位；第二获取模块，用于获取当前图像中预设部位的第二位置信息；确定模块，用于通过比较第一位置信息和第二位置信息确定面部操作动作。
进一步地，预设部位包括眼部，第一获取模块包括：第一处理子模块，用于对参考图像进行YCbCr处理，得到第一二值化图像；第二处理子模块，用于利用肤色模型对参考图像进行二值化处理，得到第二二值化图像；第三处理子模块，用于对第一二值化图像中的面部区域和第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；第一识别子模块，用于从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，第一位置信息包括初始瞳孔中心坐标和瞳孔半径。
进一步地，第一识别子模块还用于：识别出第三二值化图像中眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到初始瞳孔中心坐标；确定第三二值化图像中眼部的外接矩形，通过区域分割算法和质心算法修正外接矩形，将修正后的外接矩形中内切圆的半径作为瞳孔半径。
进一步地，第二获取模块包括：第四处理子模块，用于对当前图像进行YCbCr处理，得到第四二值化图像；第五处理子模块，用于利用肤色模型对当前图像进行二值化处理，得到第五二值化图像；第六处理子模块，用于对第四二值化图像中的面部区域和第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；第二识别子模块，用于识别出第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，第二位置信息包括当前瞳孔中心坐标和当前瞳孔坐标。
进一步地，执行单元包括：第三获取模块，用于获取多个指令中与面部操作动作对应的目标指令；执行模块，用于执行与目标指令对应的控制函数。
根据本发明的另一个实施例，提供了一种存储介质，存储介质可以被设置为存储用于执行以下步骤的程序代码：在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。
在本发明实施例中，通过在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。从而解决了相关技术中与数字视频变换盒的交互较繁琐的技术问题，实现了简化与数字视频变换盒的交互的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的移动终端的示意图；
图2是根据本发明实施例的机顶盒的指令执行方法的流程图；
图3是根据本发明实施例的机顶盒的示意图；
图4是根据本发明实施例的图像处理模块的示意图；
图5是根据本发明实施例的可选的机顶盒的指令执行方法的流程图；
图6是根据本发明实施例的可选的机顶盒的指令执行方法的流程图；
图7是根据本发明实施例的可选的机顶盒的指令执行方法的流程图；
图8是根据本发明实施例的可选的机顶盒的指令执行方法的流程图；
图9是根据本发明实施例的机顶盒的指令执行装置的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端(如机顶盒)、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器101(处理器101可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器103、以及用于通信功能的传输装置105。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。
存储器103可用于存储应用软件的软件程序以及模块，如本发明实施例中的设备的控制方法对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
例如，存储介质(即存储器)可以被设置为存储用于执行以下步骤的程序代码：在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
根据本发明实施例，提供了一种机顶盒的指令执行方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的机顶盒的指令执行方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，参考图像的采集时刻早于当前图像。
步骤S202，通过比对参考图像和当前图像确定操作者的面部操作动作。
步骤S203，执行面部操作动作所指示的目标指令。
通过上述实施例，在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令，从而解决了相关技术中与数字视频变换盒的交互较繁琐的技术问题，实现了简化与数字视频变换盒的交互的技术效果。
可选地，上述步骤的执行主体可以为机顶盒、机顶盒的控制设备等，但不限于此。
需要说明的是，参考图像为在采集操作者的图像时，初次采集到的图像，即在开始的时候采集一个图形作为后续对比的标准参考图像，或者为与当前图像的采集时间差在预设值内的图像，即在连续采集到的多张图像中，从中选择两张进行对比。
在使用上述方法控制机顶盒时，主要可通过如下的操作步骤实现：
步骤S11，势识别阶段。
开始时先判断是否初始化了开始手势和结束手势，如果没有就存入相应的手势，方便以后开始控制和结束控制。
步骤S12，机顶盒判断是否有相应的手势输入，如果检测到开始手势则开始眼部控制，如果没有手势输入，则不采集脸部图像。
步骤S13，机顶盒初始化瞳孔位置。判断出了开始手势后，则开始采集初始瞳孔位置，为以后的对比做好基准。
步骤S14，***实时运行阶段。
***将实时传入摄像头的眼部图像进行特征提取，得到实时的瞳孔和内眼角的精确坐标数据，然后将坐标与初始化瞳孔坐标进行比对得出偏差值，将偏差值传给机顶盒。
机顶盒部分，将实时传入的偏差值对比内部的控制表，得出对应控制的函数，将控制函数交给上层应用软件执行，上层应用软件执行函数控制光标进行相对应的动作。
下面结合图2详述本申请的实施例。
在步骤S201之前，采集操作者的图像，从采集的图像中识别用户手势，在识别出操作者的开始手势时，启动机顶盒的面部操作识别功能。
在步骤S201中，采集操作者的参考图像和当前图像时，可以在机顶盒上内嵌摄像头，通过内嵌的摄像头采集图像；也可以为机顶盒外接摄像头，通过外接的摄像头采集图像。
在步骤S202中，通过比对参考图像和当前图像确定操作者的面部操作动作包括：获取参考图像中预设部位的第一位置信息，其中，预设部位为操作者的面部的任一部位；获取当前图像中预设部位的第二位置信息；通过比较第一位置信息和第二位置信息确定面部操作动作。
上述的预设部位可以为脸部的任意位置，如眼部、额头、鼻子、嘴等，下面，以预设部位为眼部为例进行说明。
可选地，在预设部位为眼部的情况下，获取参考图像中预设部位的第一位置信息包括：对参考图像进行YCbCr(是用于影像连续处理的一种处理方式，“Y”表示颜色的高亮成分、“Cb”和“Cr”表示蓝色和红色的浓度偏移量成分)处理，得到第一二值化图像；利用肤色模型(图像处理中用于肤色处理的一种模型)对参考图像进行二值化处理，得到第二二值化图像(即用灰度表示的图像)；对第一二值化图像中的面部区域和第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，第一位置信息包括初始瞳孔中心坐标(即两个瞳孔组成直线的中间点的坐标，也即眉心坐标)和瞳孔半径。
具体地，从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径通过如下步骤实现：识别出第三二值化图像中眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到初始瞳孔中心坐标；确定第三二值化图像中眼部的外接矩形，通过区域分割算法和质心算法修正外接矩形，将修正后的外接矩形中内切圆的半径作为瞳孔半径。
可选地，获取当前图像中预设部位的第二位置信息包括：对当前图像进行YCbCr处理，得到第四二值化图像；利用肤色模型对当前图像进行二值化处理，得到第五二值化图像；对第四二值化图像中的面部区域和第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；识别出第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，第二位置信息包括当前瞳孔中心坐标和当前瞳孔坐标。
在步骤S203中，执行面部操作动作所指示的目标指令包括：获取多个指令中与面部操作动作对应的目标指令；执行与目标指令对应的控制函数。
需要说明的是，在机顶盒的面部操作识别功能启动后，可以在任何时候结束其面部操作识别功能。具体是在识别出操作者的结束手势时，关闭机顶盒的面部操作识别功能。
在本申请的实施例中，用到的主要技术包括光学眼球追踪***，该***是一种非接触式***，***首先通过摄像设备***获取眼部图像信息，利用图形图像学原理定位眼部特征信息(例如瞳孔，内外眼角等)，之后通过对比前后获取的眼部特征信息来分析眼球移动的方向、趋势等，以此控制机顶盒光标的移动，***与用户没有发生直接的接触，因此对用户的影响小，使用方便，易接受。
首先使用摄像头获取使用者面部图像，之后利用YCbCr肤色聚集模型和投影法定位人脸区域矩形，在人脸区域利用人脸先验知识及差分投影法粗略定位瞳孔中心，确定人眼外接矩形框范围，在此范围内运用区域分割，内眼角算子及质心算法，确定内眼角，瞳孔中心坐标，最后通过判断使用者内眼角及瞳孔中心坐标相对基准位置的位移控制机顶盒光标的移动。
在本申请的实施例中，执行步骤S201至S203的机顶盒可以由图3所示的模块组成：摄像头模块301、图像处理模块303以及机顶盒模块305。通过该机顶盒，使得与机顶盒的人机交互不在困难。
摄像头模块301，用于采集各种视频信息。
图像处理模块303(包括软件和硬件)，该模块独立于机顶盒，可集成在机顶盒内，用于处理摄像头采集到的图像，并根据处理结果生成控制信号。
图像处理模块的硬件，是实现模块功能的物理平台，用于完成对目标图像的采集、传输、处理和结果输出等功能，***硬件主要包括视频采集和存储、图像数据处理、数据传输控制等模块。图像处理模块的软件主要完成对目标图像的处理、人脸特征参数的生成，机顶盒信号输出等功能。
机顶盒模块305，用于接收和传输各种媒体数据，并且播放到接收端(相当于普通机顶盒的播放功能)。
图像处理模块303的硬件部分如图4所示，主要包括：4个ARM处理器(包括主控处理器CPU1，从处理器CPU2、CPU3、CPU4)，5个存储器(MEM1至MEM5)，处理器和存储器通过一条可切换多路总线联系在一起，2个USB接口(USB1和USB2)直接连接到主处理器上，主处理器还与辅助存储器MEM5连接。除此之外，各子处理器与主处理器之间用控制线连接在一起，以解决处理器之间的通信问题。
需要说明的是，用4个处理器进行数据处理是为了保持负载的均衡，保证数据采集与处理的实时性和准确性。4个处理器上的负载安排如下：主处理器CPU1在初始化阶段运行肤色函数，在人脸特征初始化阶段和***实时运行阶段执行差分函数；子处理器CPU2运行平滑函数；子处理器CPU3运行去噪函数；子处理器CPU4运行脸部特征提取函数。
图像处理模块303的软件部分可按功能分成四个子***，分别是：
(1)图像采集子***，用于对摄像头拍摄的数字图像进行采集和预处理；
(2)部位识别子***，用于对图像采集子***生成的预处理图像中的手或者脸进行识别；
(3)人脸特征提取子***，用于对部位识别子***识别的脸部图像进行脸部特征提取，以准确定位瞳孔坐标；
(4)机顶盒控制子***，将人脸特征提取子***定位出的瞳孔坐标差值，通过查询控制表生成控制命令。
在手势识别时需要用到图像采集子***和部位识别子***。具体如下：将摄像头拍摄的背景图像进行YCbCr处理，生成背景二值化图像，然后将摄像头拍摄的背景图像进行肤色模型二值化。之后与背景二值化图像进行差分运算，将运算结果进行去噪、腐蚀、膨胀等预处理，之后进行积分投影。以此确定肤色矩形区域，并且区分出人脸或者是手掌。
在瞳孔测距时需要用到图像采集子***和部位识别子***以及人脸特征提取子***。具体如下：图像采集子***和部位识别子***区分出的人脸区域传入人脸特征子***，在人脸特征子***中首先根据人脸先验知识，截取人脸外接矩形高度1/3到3/4的部分作为包含眼睛的局部矩形区域，用于后续定位眼睛的处理。截取后的图像包含瞳孔中心和内眼角等人脸特征信息点，然后对左右眼区域粗略分割，并分别对左右眼灰度图进行差分投影粗定位瞳孔中心。
接着，以瞳孔中心确定眼睛外接矩形，先使用区域分割算法，再运用质心算法计算出瞳孔中心的准确位置，最后对眼睛外接矩形进行修正，为下一步确定内眼角的位置奠定基础。最后，以瞳孔中心为基准，分割出内外眼角的局部区域(即眼角图)，然后对内眼角局部区域的灰度图使用内眼角的角点算子提取出内眼角的角点的确切位置。
下面结合图5详述如何使用上述机顶盒，如图5所示：
步骤S501，预先设置控制开始标识、控制结束标识及确认标识等控制标识，摄像头采集标识图像作为眼部控制的开始或结束，避免了摄像头将多余的眼部活动误当成控制。
上述的控制标识可以为手势、肢体动作、头部动作等。后续以手势操作为例进行说明。
步骤S502，判断是否为开始手势。如果是则执行步骤S503，否则重复执行步骤S502。
在设定好了控制标识后，摄像头先采集图像，交给图像处理模块，图像处理模块在收到摄像头传递的图像后，进入部位识别子***。在该子***中首先将背景图像进行YCbCr处理，得到背景二值化图像，将此图像和背景图像经肤色模型二值化得到的图像进行二值运算，然后经过去噪、腐蚀、膨胀等预处理后，进行积分投影从而确定肤色矩形区域。
判断该肤色矩形区域是否和开始手势相同，如果相同则启动控制。如果不同，则一直采集直到与开始手势相同的标识出现为止。
步骤S503，出现开始手势则意味着控制开始，摄像头采集图像并且进入图像处理模块的部位识别子***，判断其肤色矩形区域是否是人脸，以此判断是否初始化瞳距，如果是则执行步骤S504，人脸则进入瞳孔初始位置设置，否则继续执行步骤S503。
步骤S504，瞳孔初始位置设置，首先将肤色矩形区域判断的人脸传入人脸特征提取子***，在该子***中首先对人脸区域进行差分投影，以初步定位瞳孔中心位置。然后通过区域分割算法和质心算法修正瞳孔中心位置，以及眼部外接矩形，并且可以得到瞳孔的半径。在眼外接矩形中通过内眼角的角点算子进行内眼角的精确定位。经过以上步骤得出内眼角坐标和瞳孔中心坐标，并且将这两个坐标作为初始值保存。
步骤S505，在保存瞳孔坐标和内眼角坐标的了初始值之后，进入瞳孔坐标实时采集阶段(即实时采集瞳距)，摄像头实时采集图像，然后采集的图像传递给图像处理模块，图像处理模块通过部位识别子***判断出是人脸图像，然后将人脸图像传递给人脸特征提取子***确定实时的瞳孔坐标和内眼角坐标。此时，将实时的瞳孔坐标和内眼角坐标与初始的瞳孔坐标和内眼角坐标，以及瞳孔半径传入机顶盒控制子***。
步骤S506，在机顶盒控制子***中，根据实时瞳孔坐标和内眼角坐标，以及初始化的瞳孔坐标和内眼角坐标以及瞳孔半径，得到瞳孔的相对位移。
步骤S507，机顶盒控制子***根据相对位移判断出当前使用者的头部姿势(即面部操作动作)，将该姿势代表的操作指示信息(即目标指令)通过查表转化成控制函数，将控制函数传给应用层。
设基准瞳孔中心坐标位置为(baseX，baseY)，实时左眼瞳孔位置为(leftX，leftY)，实时右眼瞳孔位置为(rightX，rightY)，实时瞳孔中心位置为(midX，midY)。D＝人眼外接矩形的内切圆半径。
瞳孔位置变化、头部姿势以及操作指示信息之间的关联关系如表1所示。
表1
瞳孔位置变化 头部姿势 操作指示信息
leftY+D<rightY 头部左倾 确定
leftY>righty+D 头部右倾 取消
midY>baseY+2D 在初始位置之上 上移
midY+2D<baseY 在初始位置之下 下移
midX+2D<base X 在初始位置左边 左移
midX>2D+baseX 在初始位置右边 右移
步骤S508，应用软件在收到相应的处理函数后，执行该函数，在界面上完成控制。
步骤S509，在完成移动控制后，根据摄像头采集到的图像判断是否为结束标识，如果是则结束，否则等待结束标识出现。
下面结合图6至图8详述各个子***的功能。
(1)部位识别子***的执行的步骤如图6所示：
步骤S601，从图像采集子***中获取采集到的背景图像。
步骤S602，对背景彩色进行YCbCr处理。
步骤S603，得到YCbCr处理后生成的背景二值化图像。
步骤S604，获取背景彩色图像。
步骤S605，将背景彩色图像通过肤色模型进行二值化处理。
步骤S606，将背景彩色图像的二值化处理结果和背景二值化图像进行差分运算。
步骤S607，将差分运算结果进行预处理，包括去噪、腐蚀、膨胀等预处理。
步骤S608，进行积分投影确定肤色矩形区域，包括脸部区域和手部区域。
(2)人脸特征提取子***执行的步骤如图7所示：
步骤S701，获取人脸区域图。
步骤S702，将人脸区域图进行差分投影，初步定位瞳孔中心。
步骤S703，用算法(区域分割算法和质心算法)修正瞳孔中心及外接矩形。
步骤S704，用算法(内眼角的角点算子)对内眼角进行精确定位。
步骤S705，得到内眼角坐标和瞳孔中心坐标。
(3)机顶盒控制子***执行的步骤如图8所示：
步骤S801，接收相对位置并且查询控制表。
步骤S802，获取控制表。
步骤S803，从控制表中得到与相对位置相应的控制函数。
步骤S804，上层软件通过多路监听读取控制函数。
步骤S805，上层软件执行控制函数。
步骤S806，光标相对动作。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
本发明实施例中还提供了一种机顶盒的指令执行装置。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的机顶盒的指令执行装置的示意图。如图9所示，该装置可以包括：采集单元91、确定单元93以及执行单元95。
采集单元91，用于在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像。
确定单元93，用于通过比对参考图像和当前图像确定操作者的面部操作动作。
执行单元95，用于执行面部操作动作所指示的目标指令。
通过上述实施例，采集单元在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，参考图像的采集时刻早于当前图像；确定单元通过比对参考图像和当前图像确定操作者的面部操作动作；执行单元执行面部操作动作所指示的目标指令，从而解决了相关技术中与数字视频变换盒的交互较繁琐的技术问题，实现了简化与数字视频变换盒的交互的技术效果。
需要说明的是，参考图像为在采集操作者的图像时，初次采集到的图像，即在开始的时候采集一个图形作为后续对比的标准参考图像，或者为与当前图像的采集时间差在预设值内的图像，即在连续采集到的多张图像中，从中选择两张进行对比。
上述的采集单元还用于采集操作者的图像，从采集的图像中识别用户手势，在识别出操作者的开始手势时，启动机顶盒的面部操作识别功能。
在上述实施例中，确定单元包括：第一获取模块，用于获取参考图像中预设部位的第一位置信息，其中，预设部位为操作者的面部的任一部位；第二获取模块，用于获取当前图像中预设部位的第二位置信息；确定模块，用于通过比较第一位置信息和第二位置信息确定面部操作动作。
可选地，预设部位包括眼部，第一获取模块包括：第一处理子模块，用于对参考图像进行YCbCr处理，得到第一二值化图像；第二处理子模块，用于利用肤色模型对参考图像进行二值化处理，得到第二二值化图像；第三处理子模块，用于对第一二值化图像中的面部区域和第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；第一识别子模块，用于从第三二值化图像中识别出眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，第一位置信息包括初始瞳孔中心坐标和瞳孔半径。
上述的第一识别子模块还用于：识别出第三二值化图像中眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到初始瞳孔中心坐标；确定第三二值化图像中眼部的外接矩形，通过区域分割算法和质心算法修正外接矩形，将修正后的外接矩形中内切圆的半径作为瞳孔半径。
可选地，第二获取模块包括：第四处理子模块，用于对当前图像进行YCbCr处理，得到第四二值化图像；第五处理子模块，用于利用肤色模型对当前图像进行二值化处理，得到第五二值化图像；第六处理子模块，用于对第四二值化图像中的面部区域和第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；第二识别子模块，用于识别出第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，第二位置信息包括当前瞳孔中心坐标和当前瞳孔坐标。
可选地，执行单元包括：第三获取模块，用于获取多个指令中与面部操作动作对应的目标指令；执行模块，用于执行与目标指令对应的控制函数。
可选地，上述装置还包括：关闭单元，用于在识别出操作者的结束手势时，关闭机顶盒的面部操作识别功能。
(一)设置开始控制手势和结束控制手势
在第一次开机时，***提示设置控制手势，分为开始控制手势和结束控制手势，两个手势应该不一样。这样，就防止了摄像头将非控制用的眼部运动作为控制输入。
收到***提示的设置控制手势命令后，摄像头给2秒缓冲时间，到了两秒后采集被摄画面手部姿势作为开始控制手势，结束控制手势采集过程与此类似。为了避免混淆，可将开始控制手势与结束控制手势设置为不一样的手势。
(二)用眼控机顶盒切换频道
在设置了开始控制手势和结束控制手势的基础上，开始进行眼控机顶盒控制，这时首先在摄像头处用手摆出开始手势，之后摄像头红灯闪烁表示开始收集瞳孔初始位置，摄像头给1秒缓冲时间，到了1秒后采集被摄画面眼部瞳孔中心坐标和内眼角坐标作为初始坐标，采集完毕后红灯闪烁。采集瞳孔初始位置完毕后，摄像头将实时采集用户的眼部瞳孔位置。用户只需要将眼睛望上下左右看，并且眨眼确认。这时摄像头采集实时的瞳孔坐标与内眼角坐标。之后将采集的实时瞳孔坐标和内眼角坐标与瞳孔和内眼角坐标的初始值进行对比，得出位移差值。由于眼睛上下左右看，故与初始值的偏差也是相应的上偏差，下偏差，左偏差，右偏差，和确认。
图像采集***将这些偏差实时传入机顶盒控制子***，***根据偏差查表，如果是上偏差则根据查表，调用光标上移的函数，下偏差，左偏差，右偏差，确认与此类似。然后将该函数传递给上层软件，上层软件在接收到偏差函数后执行该函数，使得光标相应移动。这样就切换到了用户喜欢的节目。最后用户在摄像机上摆出结束手势。控制结束，这时无论用户如何转动眼球和眨眼，摄像头都不会采集用户的眼部活动作为控制信号。只有等到用户摆出了开始手势之后，摄像头才开始下一个控制周期。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；
S2，通过比对参考图像和当前图像确定操作者的面部操作动作；
S3，执行面部操作动作所指示的目标指令。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行：在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，参考图像的采集时刻早于当前图像；通过比对参考图像和当前图像确定操作者的面部操作动作；执行面部操作动作所指示的目标指令。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种机顶盒的指令执行方法，其特征在于，包括：
在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，所述参考图像的采集时刻早于所述当前图像；
通过比对所述参考图像和所述当前图像确定所述操作者的面部操作动作；
执行所述面部操作动作所指示的目标指令。
2.根据权利要求1所述的方法，其特征在于，通过比对所述参考图像和所述当前图像确定所述操作者的面部操作动作包括：
获取所述参考图像中预设部位的第一位置信息，其中，所述预设部位为所述操作者的面部的任一部位；
获取所述当前图像中所述预设部位的第二位置信息；
通过比较所述第一位置信息和所述第二位置信息确定所述面部操作动作。
3.根据权利要求2所述的方法，其特征在于，所述预设部位包括眼部，获取所述参考图像中预设部位的第一位置信息包括：
对所述参考图像进行YCbCr处理，得到第一二值化图像；
利用肤色模型对所述参考图像进行二值化处理，得到第二二值化图像；
对所述第一二值化图像中的面部区域和所述第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；
从所述第三二值化图像中识别出所述眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，所述第一位置信息包括所述初始瞳孔中心坐标和所述瞳孔半径。
4.根据权利要求3所述的方法，其特征在于，从所述第三二值化图像中识别出所述眼部的初始瞳孔中心坐标并确定瞳孔半径包括：
识别出所述第三二值化图像中所述眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到所述初始瞳孔中心坐标；
确定所述第三二值化图像中所述眼部的外接矩形，通过区域分割算法和质心算法修正所述外接矩形，将修正后的所述外接矩形中内切圆的半径作为所述瞳孔半径。
5.根据权利要求2所述的方法，其特征在于，获取所述当前图像中所述预设部位的第二位置信息包括：
对所述当前图像进行YCbCr处理，得到第四二值化图像；
利用肤色模型对所述当前图像进行二值化处理，得到第五二值化图像；
对所述第四二值化图像中的面部区域和所述第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；
识别出所述第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，所述第二位置信息包括所述当前瞳孔中心坐标和所述当前瞳孔坐标。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，执行所述面部操作动作所指示的目标指令包括：
获取多个指令中与所述面部操作动作对应的所述目标指令；
执行与所述目标指令对应的控制函数。
7.根据权利要求1所述的方法，其特征在于，在识别出所述操作者的开始手势时，启动所述机顶盒的面部操作识别功能。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在识别出所述操作者的结束手势时，关闭所述机顶盒的面部操作识别功能。
9.根据权利要求1所述的方法，其特征在于，所述参考图像为在采集所述操作者的图像时，初次采集到的图像，或者为与所述当前图像的采集时间差在预设值内的图像。
10.一种机顶盒的指令执行装置，其特征在于，包括：
采集单元，用于在机顶盒的面部操作识别功能启动后，采集操作者的参考图像和当前图像，其中，所述参考图像的采集时刻早于所述当前图像；
确定单元，用于通过比对所述参考图像和所述当前图像确定所述操作者的面部操作动作；
执行单元，用于执行所述面部操作动作所指示的目标指令。
11.根据权利要求10所述的装置，其特征在于，所述确定单元包括：
第一获取模块，用于获取所述参考图像中预设部位的第一位置信息，其中，所述预设部位为所述操作者的面部的任一部位；
第二获取模块，用于获取所述当前图像中所述预设部位的第二位置信息；
确定模块，用于通过比较所述第一位置信息和所述第二位置信息确定所述面部操作动作。
12.根据权利要求11所述的装置，其特征在于，所述预设部位包括眼部，所述第一获取模块包括：
第一处理子模块，用于对所述参考图像进行YCbCr处理，得到第一二值化图像；
第二处理子模块，用于利用肤色模型对所述参考图像进行二值化处理，得到第二二值化图像；
第三处理子模块，用于对所述第一二值化图像中的面部区域和所述第二二值化图像中的面部区域进行差分投影，得到第三二值化图像；
第一识别子模块，用于从所述第三二值化图像中识别出所述眼部的初始瞳孔中心坐标并确定瞳孔半径，其中，所述第一位置信息包括所述初始瞳孔中心坐标和所述瞳孔半径。
13.根据权利要求12所述的装置，其特征在于，所述第一识别子模块还用于：
识别出所述第三二值化图像中所述眼部的瞳孔中心坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到所述初始瞳孔中心坐标；
确定所述第三二值化图像中所述眼部的外接矩形，通过区域分割算法和质心算法修正所述外接矩形，将修正后的所述外接矩形中内切圆的半径作为所述瞳孔半径。
14.根据权利要求11所述的装置，其特征在于，所述第二获取模块包括：
第四处理子模块，用于对所述当前图像进行YCbCr处理，得到第四二值化图像；
第五处理子模块，用于利用肤色模型对所述当前图像进行二值化处理，得到第五二值化图像；
第六处理子模块，用于对所述第四二值化图像中的面部区域和所述第五二值化图像中的面部区域进行差分投影，得到第六二值化图像；
第二识别子模块，用于识别出所述第六二值化图像中眼部的瞳孔中心坐标和当前瞳孔坐标，并通过区域分割算法和质心算法修正识别出的瞳孔中心坐标，得到当前瞳孔中心坐标，其中，所述第二位置信息包括所述当前瞳孔中心坐标和所述当前瞳孔坐标。
15.根据权利要求10所述的装置，其特征在于，所述执行单元包括：
第三获取模块，用于获取多个指令中与所述面部操作动作对应的所述目标指令；
执行模块，用于执行与所述目标指令对应的控制函数。
CN201610789196.6A 2016-08-31 2016-08-31 机顶盒的指令执行方法和装置 Active CN107801098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610789196.6A CN107801098B (zh) 2016-08-31 2016-08-31 机顶盒的指令执行方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610789196.6A CN107801098B (zh) 2016-08-31 2016-08-31 机顶盒的指令执行方法和装置

Publications (2)

Publication Number Publication Date
CN107801098A true CN107801098A (zh) 2018-03-13
CN107801098B CN107801098B (zh) 2021-10-29

Family

ID=61529368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610789196.6A Active CN107801098B (zh) 2016-08-31 2016-08-31 机顶盒的指令执行方法和装置

Country Status (1)

Country Link
CN (1) CN107801098B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112622A1 (en) * 2006-11-13 2008-05-15 Samsung Electro-Mechanics Co., Ltd Skin detection system and method
US20080240237A1 (en) * 2007-03-26 2008-10-02 Dihong Tian Real-time face detection
CN101281600A (zh) * 2008-06-03 2008-10-08 北京大学 一种掌纹特征获取方法及相应的基于掌纹的身份识别方法
CN102316219A (zh) * 2011-09-21 2012-01-11 深圳市同洲电子股份有限公司 一种网络终端设备的控制方法、装置和***
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互***中手部、指示点定位方法和手势确定方法
CN103425970A (zh) * 2013-08-29 2013-12-04 大连理工大学 一种基于头部姿态的人机交互方法
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
US20140341442A1 (en) * 2013-05-14 2014-11-20 Google Inc. Image masks for face-related selection and processing in images
CN105425964A (zh) * 2015-11-30 2016-03-23 青岛海信电器股份有限公司 一种手势识别方法和***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112622A1 (en) * 2006-11-13 2008-05-15 Samsung Electro-Mechanics Co., Ltd Skin detection system and method
US20080240237A1 (en) * 2007-03-26 2008-10-02 Dihong Tian Real-time face detection
CN101281600A (zh) * 2008-06-03 2008-10-08 北京大学 一种掌纹特征获取方法及相应的基于掌纹的身份识别方法
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互***中手部、指示点定位方法和手势确定方法
CN102316219A (zh) * 2011-09-21 2012-01-11 深圳市同洲电子股份有限公司 一种网络终端设备的控制方法、装置和***
US20140341442A1 (en) * 2013-05-14 2014-11-20 Google Inc. Image masks for face-related selection and processing in images
CN103425970A (zh) * 2013-08-29 2013-12-04 大连理工大学 一种基于头部姿态的人机交互方法
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法
CN105425964A (zh) * 2015-11-30 2016-03-23 青岛海信电器股份有限公司 一种手势识别方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周锋华，孟宪元，梅顺良，任雁军: "司机疲劳驾驶实时检测***设计", 《测控技术》 *
宋凌怡: "基于肤色模型的人脸检测与人眼定位", 《吉林大学学报（理学版）》 *
张宇: "基于差分和肤色图像的人脸检测算法", 《电子科技大学学报》 *

Also Published As

Publication number Publication date
CN107801098B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
US20210365492A1 (en) Method and apparatus for identifying input features for later recognition
US10936051B2 (en) Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10606364B2 (en) Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US11227158B2 (en) Detailed eye shape model for robust biometric applications
US10642369B2 (en) Distinguishing between one-handed and two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN110363867B (zh) 虚拟装扮***、方法、设备及介质
WO2021218293A1 (zh) 图像处理方法、装置、电子设备和存储介质
US10592002B2 (en) Gesture sequence recognition using simultaneous localization and mapping (SLAM) components in virtual, augmented, and mixed reality (xR) applications
KR101807241B1 (ko) 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
CN114303120A (zh) 虚拟键盘
US10579153B2 (en) One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
EP3968131A1 (en) Object interaction method, apparatus and system, computer-readable medium, and electronic device
CN105657249A (zh) 一种图像处理方法及用户终端
CN111222379A (zh) 一种手部检测方法及装置
CN114930798A (zh) 拍摄对象切换方法及装置、图像处理方法及装置
CN110321009B (zh) Ar表情处理方法、装置、设备和存储介质
WO2021026281A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
CN107801098A (zh) 机顶盒的指令执行方法和装置
CN112183155B (zh) 动作姿态库建立、动作姿态生成、识别方法及装置
AU2021411776A1 (en) Object identifications in images or videos
EP4394733A1 (en) Method and electronic device for determining user&#39;s hand in video
CN113902790B (zh) 美容指导方法、装置、电子设备和计算机可读存储介质
US20240020901A1 (en) Method and application for animating computer generated images
CN114943852A (zh) 图像比对方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: 518057 Nanshan District science and technology, Guangdong Province, South Road, No. 55, No.

Applicant after: ZTE Corporation

Address before: Yuhuatai District of Nanjing City, Jiangsu province 210012 Bauhinia Road No. 68

Applicant before: Nanjing Zhongxing New Software Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant