CN111399627B - 一种3d显示装置节能方法及*** - Google Patents

Abstract

本发明提供的一种3D显示装置节能方法，包括：在3D显示装置监测范围内进行人脸检测；若检测到人脸，则判断是否被意图使用；若确定被意图使用，则唤醒所述3D显示装置并切换至跟踪交互模式；若没有检测到使用意图，则切换至2D非跟踪交互模式，有效解决了3D显示装置的节能问题。

Description

一种3D显示装置节能方法及***

技术领域

本发明涉及终端应用技术领域技术领域，尤其涉及一种3D显示装置节能方法及***。

背景技术

随着社会生产力和科学技术的不断发展，各行各业对虚拟现实(VirtualReality，VR)技术的研究日益重视，VR技术也取得了巨大进展，并逐步成为一个新的科学技术领域。VR技术作为一种体验虚拟世界的仿真***，采用交互式的三维动态视景以及实体行为的***仿真，使操控者沉浸到仿真环境中。

目前，可利用VR技术衍生各类人机交互产品，操控者可操控者使用无线控制器或手持有线控制器进行交互操作，该种操作方式下操控者观看到的是虚拟画面，但是仍然操作现实中的无线控制器或手持有线控制器，降低了VR体验的临场感。

目前，裸眼3D、立体视频播放器、虚拟现实技术VR和增强显示技术AR成为现实应用技术中一个新兴的发展方向。3D立体显示是通过全息技术、投影技术、眼睛式技术制成的基于平面立体成像的显示技术。3D显示技术可以使用户观察到具有物理景深的三维图像，真三维立体显示技术图像逼真、具有全视景、对角度、多人同时观察等众多优点。

随着3D显示装置的普及，3D显示装置给人们的生活带来越来越多的趣味，同时这些装置的功耗也越来越大。目前的3D显示装置，当用户不使用或临时走开时，通常依然保持交互状态，导致能源浪费。

发明内容

有鉴于此，本发明提供了一种3D显示装置节能方法及***，主要目在于解决3D显示装置在显示过程中的节能问题。

为了解决上述技术问题，本发明提供了如下技术方案：

第一方面，本发明提供一种3D显示装置节能方法，所述方法包括：

在3D显示装置监测范围内进行人脸检测；

若检测到人脸，则判断是否被意图使用；

若确定被意图使用，则唤醒所述3D显示装置。

可选的，所述若检测到人脸，则判断是否被意图使用，包括：

通过人眼眼动跟踪确定3D显示装置是否被意图使用。

可选的，所述通过人眼眼动跟踪确定3D显示装置是否被意图使用，包括：

获取人脸的亮瞳图像和暗瞳图像；

对获取的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者。

可选的，所述若确定被意图使用，则唤醒所述3D显示装置，包括：

测量意图使用者眼睛坐标及瞳距；

并对意图使用者进行定位跟踪；

使得所述3D显示装置进入跟踪交互状态。

可选的，所述使得所述3D显示装置进入跟踪交互状态，包括：

根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；

根据意图使用者眼睛坐标、瞳距和实时3D场景模型合成实时3D场景。

可选的，所述方法还包括：

在所述3D显示装置进入跟踪交互状态后，对3D显示装置监测范围内进行人脸检测；

若没有检测到人脸，则使所述3D显示装置退出跟踪交互状态，进入2D非跟踪交互状态。

另一方面，本发明还提供一种3D显示装置节能***，包括：

检测单元，用于在3D显示装置监测范围内进行人脸检测；

判断单元，用于在检测到人脸时，判断是否被意图使用；

唤醒单元，用于在确定被意图使用，唤醒所述3D显示装置。

可选的，所述判断单元包括：

获取模块，用于获取人脸的亮瞳图像和暗瞳图像；

第一处理模块，用于对拍摄的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

第二处理模块，用于对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

筛选模块，用于遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者。

可选的，所述***包括数据采集单元，所述数据采集单元包括测量模块，用于测量意图使用者眼睛坐标及瞳距；以及

定位跟踪模块，用于对意图使用者进行定位跟踪。

可选的，所述***还包括实时3D场景合成单元，

所述实时3D场景合成单元包括实时3D模型生成模块，用于根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；以及

实时3D场景合成模块，用于根据意图使用者眼睛坐标和实时3D模型合成实时3D场景。

与现有技术相比，本发明提供的一种3D显示装置节能方法及***，在3D显示装置监测范围内进行人脸检测；若检测到人脸，再判断是否被意图使用；若确定被意图使用，则唤醒所述3D显示装置，如果没有被意图使用，则依然保持在原状态，并且在3D显示的过程中，如果没有检测到人脸，则退出3D显示状态退回至2D显示状态，根据判断是否意图使用，来切换3D显示和2D显示状态，有效解决了3D显示装置的节能问题。

附图说明

图1为本发明实施例提供的第一种3D显示装置节能方法；

图2为本发明实施例提供的第二种3D显示装置节能方法；

图3为本发明实施例提供的第三种3D显示装置节能方法；

图4为本发明实施例提供的第四种3D显示装置节能方法；

图5为本发明实施例提供的第五种3D显示装置节能方法；

图6为本发明实施例提供的第一种3D显示装置节能***；

图7为本发明实施例提供的第二种3D显示装置节能***；

图8为本发明实施例提供的第三种3D显示装置节能***；

图9为本发明实施例提供的第四种3D显示装置节能***。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种3D显示装置节能方法，如图1所示，所述方法包括：

101、在3D显示装置监测范围内进行人脸检测；

本实施例中，3D显示装置包括摄像装置，在3D显示装置处于休眠状态时，可通过摄像装置实时拍摄监控范围内的图像，得到环境图像。在获取环境图像后，可对环境图像进行检测，以识别进入监控范围的目标。这里的目标可以理解为人。

具体地，3D显示装置可通过人脸检测，识别环境图像中的人。更具体地，从环境图像中提取物体的轮廓，将提取的物体轮廓与预存的人脸轮廓，进行比对。当提取的轮廓与预设的轮廓之间的相似度超过预设的阈值，可以认为从环境图像中识别到了人。从而，通过该方法可以识别出环境图像中所有的人。

102、若检测到人脸，则判断是否被意图使用；

103、若确定被意图使用，则唤醒所述3D显示装置。

具体的，可通过RGB摄像机实时采集RGB图像，并从RGB图像识别人脸，检测到人脸时，通过人脸正对3D显示装置的时间、人眼注视3D显示装置的时间或是否手动启动智能设备等任一种或几种方式，判断被意图使用，则向主机发送唤醒信号，唤醒所述3D显示装置。若没有检测到人脸，则继续检测。本实施例中，人脸检测采用成熟的算法实现，首先将RGB相机拍摄的图像转换成灰度图像，然后采用LBP(Local Binary Pattern，局部二值模式)算子或canny算子实现人脸检测。

本发明实施例提供的3D显示装置节能方法，在检测到人脸时，判断是否被意图使用；若确定被意图使用，唤醒所述3D显示装置，有效解决了3D显示装置的节能问题，且使3D显示装置的唤醒更精准，减少了3D显示装置的误唤醒，同时也减少了对人的打扰。

在具体应用过程中，可通过人眼眼动跟踪确定3D显示装置是否被意图使用。如图2所示，具体包括：

201：若检测到人脸，获取人脸的亮瞳图像和暗瞳图像；

首先，该步骤中需要对3D显示装置前的可能意图者进行人脸识别，并排除大幅度移动的人脸。目的在于防止其他旁观者的干扰，以确保意图使用者最佳的观看角度，如此一来才会呈现最佳3D效果。

亮瞳图像和暗瞳图像的获取方法为：首先通过RGB摄像机实时采集RGB图像，并从RGB图像识别人脸，以确定当前观看显示平面的人数。之后进行人眼视线跟踪，当采用红外光照射时，RGB相机将拍摄到亮瞳图像，当关闭红外光照射时，RGB相机将拍摄到暗瞳图像。

202、对获取的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

将亮瞳图像和暗瞳图像进行差分处理可获取到差分图像，通过差分图像可以获取某一时刻人眼瞳孔的位置，可以实现人眼视线跟踪。

本实施例中，通过RGB相机实现人眼的眼动跟踪，通过分时复用方式实现(在不同时间段设置设备不同的工作模式)，不需要采用额外的眼动或视线跟踪装置。

203、对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

204、遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者。

实际应用中可能存在3D显示装置前的人数较多的场景，本实施例通过提取眼球运动及注视3D显示装置的注视时间，确定意图使用者。在判定意图使用者时，如果检测到有人脸面向显示屏且有凝视行为，或有多张脸面向显示屏且有凝视行为时，根据人脸在RGB图像的位置信息判断可能的意图使用者作为候选人。若眼球运动及注视时间符合预设条件阈值，则将所述候选人确定为意图使用者。

为确定意图使用者的最佳，如图3所示，本发明实施例提供的所述方法还包括：

测量意图使用者眼睛坐标及瞳距；

并对意图使用者进行定位跟踪；

使得所述3D显示装置进入跟踪交互状态。

由于不同的意图使用者其眼睛坐标、瞳距及位置信息不同，导致3D显示装置对应的交互参数不同，因此针对不同的使用者，需要对这些参数进行测量，以匹配每个使用者的情况，增加交互的真实感。本实施例中，当确定意图使用者，则开启TOF相机测量意图使用者眼睛坐标及瞳距，同时对意图使用者进行定位跟踪，***进入跟踪交互状态。

优选的，为了进一步提高使用者与3D显示装置的跟踪交互状态的真实性及多样性，如图4所示，本发明实施例提供的所述方法还包括：

401、根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；

402、根据意图使用者眼睛坐标、瞳距和实时3D场景模型合成实时3D场景。

本实施例中，3D显示装置中的3D场景需要根据意图使用者的交互动作初始3D场景模型及意图使用者眼睛坐标等进行实时进行调整，以提高使用者与3D显示装置的跟踪交互状态的真实性及多样性。

为了进一步提高节能效果，如图5所示，本发明实施例所提供的方法还包括：

在所述3D显示装置进入跟踪交互状态后，对3D显示装置监测范围内进行人脸检测；

若没有检测到人脸，则使所述3D显示装置退出跟踪交互状态，进入2D非跟踪交互状态。

在3D显示装置进入跟踪交互状态后，可能使用者较长时间内不在使用3D显示装置的场景，为了节省显示终端的使用资源，当出现以上场景时，RGB摄像机会实时检测其锁定的人脸检测窗口的人脸是否丢失，或者检测操作者活动信息是否超时，若确定人脸丢失，或者检测操作者活动信息超时，则将该标识注册的操作者进行注销，其目的在于确定操作者是否离开，其中，本发明实施例所述的预设中断阈值为一经验值，可设置为5分钟或10分钟等等，具体本发明实施例不进行限定。

进一步的，本发明实施例还提供一种3D显示装置节能***，如图6所示，包括：

检测单元11，用于在3D显示装置监测范围内进行人脸检测；

判断单元12，用于在检测到人脸时，判断是否被意图使用；

唤醒单元13，用于在确定被意图使用，唤醒所述3D显示装置。

本发明实施例提供的3D显示装置节能方法及***，在检测到人脸时，判断是否被意图使用；若确定被意图使用，唤醒所述3D显示装置，有效解决了3D显示装置的节能问题，且使3D显示装置的唤醒更精准，减少了3D显示装置的误唤醒，同时也减少了对人的打扰。

进一步的，如图7所示，本发明实施例中所述判断单元包括：

获取模块121，用于获取人脸的亮瞳图像和暗瞳图像；

第一处理模块122，用于对拍摄的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

第二处理模块123，用于对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

筛选模块124，用于遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者。

进一步的，如图8所示，本发明实施例提供的所述***包括数据采集单元14，所述数据采集单元包括测量模块141，用于测量意图使用者眼睛坐标及瞳距；以及定位跟踪模块142，用于对意图使用者进行定位跟踪。

进一步的，如图9所示，本发明实施例提供的所述***还包括实时3D场景合成单元15，

所述实时3D场景合成单元15包括实时3D模型生成模块151，用于根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；以及

实时3D场景合成模块152，用于根据意图使用者眼睛坐标和实时3D模型合成实时3D场景。

本发明提供的3D显示装置节能方法及***，在3D显示装置监测范围内进行人脸检测；若检测到人脸，再判断是否被意图使用；若确定被意图使用，则唤醒所述3D显示装置，如果没有被意图使用，则依然保持在原状态，并且在3D显示的过程中，如果没有检测到人脸，则退出3D显示状态退回至2D显示状态，根据判断是否意图使用，来切换3D显示和2D显示状态，有效解决了3D显示装置的节能问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法和***。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种3D显示装置节能方法，其特征在于，所述方法包括：

在3D显示装置监测范围内进行人脸检测；

若检测到人脸，则通过人眼眼动跟踪确定3D显示装置是否被意图使用，具体包括：

获取人脸的亮瞳图像和暗瞳图像；

对获取的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者；

具体为：通过提取眼球运动及注视3D显示装置的注视时间，确定意图使用者，

在判定意图使用者时，如果检测到有人脸面向显示屏且有凝视行为，或有多张脸面向显示屏且有凝视行为时，根据人脸在RGB图像的位置信息判断可能的意图使用者作为候选人，若眼球运动及注视时间符合预设条件阈值，则将所述候选人确定为意图使用者；

若确定被意图使用，则唤醒所述3D显示装置。

2.根据权利要求1所述的方法，其特征在于，所述若确定被意图使用，则唤醒所述3D显示装置，包括：

测量意图使用者眼睛坐标及瞳距；

并对意图使用者进行定位跟踪；

使得所述3D显示装置进入跟踪交互状态。

3.根据权利要求2所述的方法，其特征在于，所述使得所述3D显示装置进入跟踪交互状态，包括：

根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；

根据意图使用者眼睛坐标、瞳距和实时3D场景模型合成实时3D场景。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述3D显示装置进入跟踪交互状态后，对3D显示装置监测范围内进行人脸检测；

若没有检测到人脸，则使所述3D显示装置退出跟踪交互状态，进入2D非跟踪交互状态。

5.一种3D显示装置节能***，其特征在于，包括：

检测单元，用于在3D显示装置监测范围内进行人脸检测；

判断单元，用于在检测到人脸时，判断是否被意图使用,若检测到人脸，则通过人眼眼动跟踪确定3D显示装置是否被意图使用；具体为：通过提取眼球运动及注视3D显示装置的注视时间，确定意图使用者，

在判定意图使用者时，如果检测到有人脸面向显示屏且有凝视行为，或有多张脸面向显示屏且有凝视行为时，根据人脸在RGB图像的位置信息判断可能的意图使用者作为候选人，若眼球运动及注视时间符合预设条件阈值，则将所述候选人确定为意图使用者；

唤醒单元，用于在确定被意图使用，唤醒所述3D显示装置；

所述判断单元包括：

获取模块，用于获取人脸的亮瞳图像和暗瞳图像；

第一处理模块，用于对拍摄的亮瞳图像和暗瞳图像进行差分处理，获取人眼瞳孔的图像；

第二处理模块，用于对人脸图像中的每个人脸编号，将人眼瞳孔图像与人脸检测图像对齐处理；

筛选模块，用于遍历每一个人脸的眼睛瞳孔位置，筛选出产生凝视动作的人脸，确定为意图使用者；

所述***包括数据采集单元，所述数据采集单元包括测量模块，用于测量意图使用者眼睛坐标及瞳距；以及

定位跟踪模块，用于对意图使用者进行定位跟踪。

6.根据权利要求5所述的***，其特征在于，所述***还包括实时3D场景合成单元，

所述实时3D场景合成单元包括实时3D模型生成模块，用于根据意图使用者的交互动作和眼睛坐标改变初始3D场景模型的姿态和位置，形成实时3D模型；以及

实时3D场景合成模块，用于根据意图使用者眼睛坐标和实时3D模型合成实时3D场景。

Images