CN117234325A - 图像处理方法、装置、存储介质及头显设备 - Google Patents

图像处理方法、装置、存储介质及头显设备 Download PDF

Info

Publication number
CN117234325A
CN117234325A CN202210639122.XA CN202210639122A CN117234325A CN 117234325 A CN117234325 A CN 117234325A CN 202210639122 A CN202210639122 A CN 202210639122A CN 117234325 A CN117234325 A CN 117234325A
Authority
CN
China
Prior art keywords
eye
image
user
display device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210639122.XA
Other languages
English (en)
Inventor
陈才
李伟哲
潘定龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202210639122.XA priority Critical patent/CN117234325A/zh
Priority to PCT/CN2023/098980 priority patent/WO2023237023A1/zh
Publication of CN117234325A publication Critical patent/CN117234325A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及头显设备，该方法包括：通过眼动跟踪模块以预定频率获取佩戴头显设备的用户的眼部图像；从眼部图像中提取用户的眼部特征；基于眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；在外部显示模块上显示风格化眼部图像。根据本申请实施例的技术方案，能够降低头显设备对佩戴用户与普通用户之间的交互的影响，实现用户的个性化视觉输出。

Description

图像处理方法、装置、存储介质及头显设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质及头显设备。
背景技术
随着VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)技术的发展，头戴式显示设备即头显设备的使用也越来越广泛。
在一种技术方案中，用户通过佩戴头显设备来获取VR或AR内容，例如获取VR视频内容或游戏内容。然而，在这种技术方案中，由于头显设备遮住了佩戴用户的眼睛，影响了佩戴头显设备的佩戴用户与未佩戴头显设备的普通用户之间的交互。
因此，如何降低头显设备对佩戴用户与普通用户之间的交互的影响成为了亟待解决的技术难题。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及头显设备，能够降低头显设备对佩戴用户与普通用户之间的交互的影响。所述技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，应用于头显设备，所述头显设备包括外部显示模块和眼动跟踪模块，所述方法包括：
通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
从所述眼部图像中提取所述用户的眼部特征；
基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
在所述外部显示模块上显示所述风格化眼部图像。
第二方面，本申请实施例提供了一种图像处理装置，应用于头显设备，所述头显设备包括外部显示模块和眼动跟踪模块，所述方法包括：
图像获取模块，用于通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
特征提取单元，用于从所述眼部图像中提取所述用户的眼部特征；
风格化渲染模块，用于基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
显示模块，用于在所述外部显示模块上显示所述风格化眼部图像。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
第四方面，本申请实施例提供一种头显设备，所述头显设备包括：
处理器以及存储器；
眼动跟踪模块，与所述处理器通信连接，用于以预定频率获取佩戴所述头显设备的用户的眼部图像；
所述处理器用于：从所述眼部图像中提取所述用户的眼部特征，基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
外部显示模块，与所述处理器通信连接，用于显示所述风格化眼部图像。
第五方面，本申请实施例提供一种头显设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
一方面，通过眼动跟踪模块获取佩戴头显设备的佩戴用户的眼部图像，对眼部图像进行风格化渲染后在外部显示模块上进行显示，能够使普通用户通过外部显示屏与头显设备的佩戴用户进行更丰富的交互，降低头显设备对佩戴用户与普通用户之间的交互的影响；另一方面，由于能够基于佩戴用户的眼部特征对佩戴用户进行风格化渲染，从而能够实现用户的个性化视觉输出。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请实施例提供的图像处理方法的应用场景的示意图；
图2示出了根据本申请实施例提供的头显设备的结构示意图；
图3示出了根据本申请的一些实施例提供的图像处理方法的流程示意图；
图4示出了根据本申请的一些实施例提供的风格化渲染后的示意图；
图5示出了根据本申请的又一些实施例提供的图像处理方法的流程示意图；
图6示出了根据本申请的另一些实施例提供的图像处理方法的流程示意图；
图7示出了根据本申请的一些实施例提供的眼部跟踪模块采集的眼部图像的示意图；
图8示出了根据本申请的一些实施例提供的识别眼部形状的示意图；
图9示出了根据本申请的一些实施例提供的注视点位置的示意图；
图10示出了本申请实施例提供的一种图像处理装置的结构示意图；
图11示出了本申请实施例提供的一种头显设备的结构示意图；
图12示出了本申请实施例提供的另一种头显设备的结构示意图；
图13示出了本申请实施例提供的又一种头显设备的结构示意图；
图14示出了本申请实施例提供的一种眼动跟踪模块的结构示意图；
图15示出了本申请实施例提供的再一种头显设备的结构示意图；
图16示出了本申请实施例提供的另一种头显设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请实施例涉及的名词进行示意性的解释和说明。
头显设备：头戴式的显示设备，例如AR眼镜。
风格化渲染：也可以称为风格迁移，指的是将风格图像的风格转换到待渲染图像的风格上的渲染过程。
眼动行为类型：指的是佩戴头显设备的用户的眼动行为的类型，眼动行为类型可以包括闭眼、眨眼和睁眼，睁眼可以包括向下看、向上看、向左看、向右看、向前看、以及结合结构光传感器的眯眼、瞪眼、挑眉等眼动行为。
眼动特效：与眼动行为类型对应的眼睛特效。
下面，将结合附图对本申请实施例的图像处理方法的技术方案进行详细的说明。
图1示出了根据本申请实施例提供的图像处理方法的应用场景的示意图。
参照图1所示，该图像处理方法可以应用于可穿戴式的头显设备100，该头显设备100包括置于头显设备100外部的外部显示模块110，外部显示模块110可以为显示屏110，显示屏110可以是平面，也可以是曲面，在头显设备110的显示屏110上可以有一个或多个显示区域，这些区域可以是矩形、圆形或其他形状。显示屏110可以是OLED(Organic Light-Emitting Diode，有机发光二极管)、LCD(Liquid Crystal Display，液晶显示)、MicroLED(Micro-Light-Emitting Diode，微型发光二极管)、裸眼3D屏等用于显示的显示屏，裸眼3D屏的技术实现方案包括光屏障和柱状透镜。可选地，该显示屏110也可以为支持触摸操作的触摸屏，通过触摸屏能够实现更多的交互功能。
需要说明的是，可以通过在与头显设备配套使用的存储器中安装软件、应用程序来实现本申请实施例的图像处理方法的逻辑，或者在头显设备内部的相应器件中写入程序来实现本申请实施例的图像处理方法的逻辑。
图2示出了根据本申请实施例提供的头显设备的结构示意图。
参照图2所示，该头显设备200的包括传感器205、处理器210以及存储器215、外部显示模块220以及内部显示模块225。此外，该头显设备200还可以包括其他适当点的模块或单元，例如，电源、支撑结构或输入输出单元等。
其中，传感器205用于采集佩戴头显设备200的用户或者头显设备200周围环境相关的数据，传感器205可以包括多个传感器，传感器205可以位于头显设备200上，也可以位于头显设备200的外部，传感器205通过有线或者无线的方式将采集到的原始数据或者处理过的数据发送至头显设备200的处理器210上。多个传感器可以包含：用于采集用户眼部特征的眼动跟踪模块，眼动追踪模块包含MEMS(Micro-Electro-Mechanical System，微机电***)传感器或事件相机等传感器。眼动跟踪模块包括发射端与接收端，例如，若眼动跟踪模块为MEMS传感器，发射端可以为红外激光发射端或其他适当颜色的激光发射端，接收端为对应光源的接收器，可选为红外激光接收端；若眼动跟踪模块为事件相机，则发射端可以为红外发射端，接收端为事件相机。
以发射端为红外发射端为例，红外发射端以预定频率发射红外光照射佩戴头显设备200的用户的眼部，通过红外接收装置回收眼部的反射信息，生成用户的眼部图像。通过使用红外发射端和红外接收端，能够排除可见光波段的干扰，同时由于红外光不可见，暗环境下也能实现眼动追踪。
进一步地，在示例实施例中，传感器205还包括三维图像传感器，三维图像传感器用于获取三维的眼部图像，例如带z轴信息的眼部图像，三维图像传感器可以是结构光传感器或双目立体深度相机。以三维图像传感器为结构光传感器为例，该结构光传感器包括发射端和接收端，由红外发射端打出散斑激光，在经过衍射光学元件(DOE，DiffractiveOptical Elements)复制和扩散后，形成一个面的点阵；红外发射端投射的点阵经过眼部的3D轮廓反射后，被接收端接收；接收端对接收的反射信号进行特征比对，得出眼部附近的三维轮廓。进一步地，可以通过特征点匹配和重建生成具有3维信息的眼部图像。
此外，传感器205还可以包括：用于采集用户生理数据的生理数据采集传感器，例如体温、心跳、血压或血糖的传感器，生理数据采集传感器位于头显设备的外框上与用户的皮肤接触的部位；用于感受头显设备200的运动趋势的传感器，例如加速计、磁力计、IMU(Inertial Measurement Unit，惯性测量单元)传感器等；用于感知头显设备200的***环境的传感器，例如摄像头、深度相机、毫米波、超声波等传感器等。
处理器210和存储器215是用于存储和处理各个传感器的信号的设备，处理器210和存储器215可以位于头显设备200中，处理器210和存储器215也可以部分或者全部运算位于云端，处理器210和存储器215通过有线或者无线的方式与头显设备200通信连接。
外部显示模块220用于显示经风格化渲染后的佩戴头显设备200的用户的眼部图像，外部显示模块220可以为显示屏，外部显示模块220上的显示内容可为静态图片或动态视频，若外部显示模块220包括两个显示屏，则能够通过两个显示屏显示相同内容，或分别显示不同内容。
内部显示模块225用于显示佩戴头显设备200的用户观看的AR内容或VR内容，例如VR视频内容或VR游戏内容。
进一步地，在示例实施例中，传感器205包括眼动跟踪模块例如红外摄像头，通过眼动跟踪模块以预定频率获取佩戴头显设备200的用户的眼部图像；从眼部图像中提取用户的眼部特征；基于眼部特征以及预定风格图像进行风格化渲染，得到风格化眼部图像；在外部显示模块220上显示风格化眼部图像例如，外部显示模块220为外部显示屏，渲染出显示在外部显示屏上的卡通眼神、眉毛等造型。根据本申请实施例的技术方案，头显设备外的用户可以通过外部显示屏与佩戴头显设备的用户进行更丰富的交互，降低了头显设备对佩戴用户与普通用户之间的交互的影响。
图3示出了根据本申请的一些实施例提供的图像处理方法的流程示意图。该图像处理方法的执行主体可以是具有计算处理功能的计算设备，例如上述头显设备的处理器。该图像处理方法包括步骤S310至步骤S340，下面，结合附图对示例实施例中的图像处理方法进行详细的说明。
参照图3所示，在步骤S310中，通过眼动跟踪模块以预定频率获取佩戴头显设备的用户的眼部图像。
在示例实施例中，头显设备包括眼动跟踪模块，眼动跟踪模块为红外眼动跟踪模块，红外眼动跟踪模块包括红外发射端和红外接收端，通过红外发射端以预定频率发射红外光照射佩戴头显设备的用户的眼部；通过红外接收端接收用户的眼部的反射光，生成用户的眼部图像。
在示例实施例中，预定频率可以为50Hz或者其他适当的频率。进一步地，可以根据不同的场景，自适应地调整预定频率，例如，在佩戴用户与普通用户正在交互的场景下，提高预定频率；在佩戴用户未进行交互的场景下，降低预定频率。此外，还可以根据显示设备的处理性能设置预定频率的值。
需要说明的是，虽然以红外眼动跟踪模为例进行说明，但是本领域技术人员应该理解的是，眼动跟踪模块也可以为其他适当的光学传感器例如近红外传感器、带深度信息的RGBD摄像头或者带有光源的摄像头等。
在步骤S320中，从眼部图像中提取用户的眼部特征。
在示例实施例中，眼部特征可以包括注视点位置特征、瞳孔特征、眉毛特征以及眼部形状特征中的一种或多种。其中，注视点位置特征可以表示用户当前的注视方向；瞳孔特征包括瞳孔直径，若瞳孔小于某一阈值则判断为闭眼；眼部形状特征用于表示不同用户的眼部形状。
进一步地，通过特征提取运算从眼部图像中提取用户的眼部特征，例如提取用户的瞳孔状态和注视点位置。举例而言，特征提取运算可以包括：滤波算法或结构光算法，例如，若以滤波算法为卡尔曼滤波算法为例，通过卡尔曼滤波算法对眼部的浦肯野图像进行特征提取，得到用户的眼部特征。
进一步地，以结构光提取算法为例，在发射端发射出有特定编码的散斑激光后，经过物体表面反射，在接收端接收到反射信号后，经过滤波等信号处理，形成散斑图(包括空间相位和光强等信息)；再经过特征比对运算进行局部或全局的特征比对，找出特征点在眼部图像的空间中的位置，和/或与前一帧眼部图像或前几帧眼部图像的对比，从而得出眼部附近的轮廓和轮廓的变化的图像。
需要说明的是，虽然以滤波算法和结构光提取算法为例对特征提取进行了说明，但是本领域技术人员应该理解的是，特征提取运算也可以为其他适当的特征提取模型例如目标检测模型或递归神经网络模型等，这同样在本申请实施例的范围内。
在步骤S330中，基于眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像。
在示例实施例中，风格化渲染指的是将风格图像的风格转换到待渲染图像的风格上的渲染过程。例如，将卡通眼部图像的风格转换到佩戴头显设备的用户的眼部图像的风格，即将卡通眼部图像的风格迁移到佩戴头显设备的用户的眼部图像上。预定风格图像的风格包括但不限于：卡通风格、拟人风格、写实风格或夸张风格等。卡通风格可以包括卡通眼睛的风格，拟人风格可以包括虚拟人物的眼睛的风格。可以预先设置需要变换的预定风格图像，例如，响应于用户的风格选择操作，设置对应的眼部图像的预定风格图像。
在一些实施例中，基于佩戴头显设备的用户的眼部图像的眼部特征，对预定风格图像进行调整和渲染，生成风格化眼部图像，眼部特征可以包括注视点位置特征、瞳孔特征、虹膜位置特征、眉毛特征、眼睑特征以及眼部形状中的一种或多种。例如，设眼部特征包括眼部形状和瞳孔直径，基于佩戴头显设备的用户的眼部图像的眼部形状和瞳孔直径，对预定风格图像进行调整和渲染，生成风格化眼部图像。
进一步地，在另一些实施例中，可以通过风格变换神经网络模型对眼部图像进行风格化渲染，该风格变换神经网络模型用于实现眼部图像的多种风格的变换。例如，将预先选择的预定风格图像以及获取的用户的眼部图像输入到风格变换神经网络，将该风格图像的风格迁移到用户的眼部图像上，生成风格化眼部图像。
在示例实施例中，风格变换神经网络包括风格推理网络和风格迁移网络，风格推理网络用于从风格图像中获取对应的风格特征，风格迁移网络则将获取的风格特征传递到眼部图像上。
在步骤S340中，在外部显示模块上显示生成风格化眼部图像。
在示例实施例中，在获取到经风格化渲染的眼部图像之后，在外部显示模块例如外部显示屏上显示经风格化渲染的眼部图像。图4示出了根据本申请的一些实施例提供的风格化渲染后的示意图。参照图4所示，外部显示模块为外部显示屏，在外边显示屏上显示了6个经风格化渲染的眼部图像。
根据图3的示例实施例中的技术方案，一方面，通过眼动跟踪模块获取佩戴头显设备的佩戴用户的眼部图像，对眼部图像进行风格化渲染后在外部显示模块上进行显示，使得外部人员能够通过外部显示屏与佩戴头显设备的用户进行更丰富的交互，降低头显设备对佩戴用户与普通用户之间的交互的影响；另一方面，由于能够基于佩戴用户的眼部特征对佩戴用户进行风格化渲染，从而能够实现用户的个性化视觉输出。
此外，在示例实施例中，眼部特征包括所述用户的眼部角度，上述图像处理方法还包括：通过图像采集模块采集头显设备的外部图像；若外部图像中包括外部人员，则识别外部人员的面部位置；基于外部人员的面部位置动态调整用户的眼部角度。例如，通过摄像头采集头显设备的外部图像，识别外部图像中的外部人员的位置，确定外部人员的面部位置，基于外部人员的面部位置动态调整佩戴头显设备的用户的眼部角度。对于不同角度的外部人员，可以显示有眼部角度信息的2D渲染的眼部图像；显示屏如果是3D的显示屏，如裸眼3D显示屏，则可以渲染出不同角度的3D特效的眼部图像。
根据上述实施例的技术方案，基于外部人员的面部位置调整佩戴头显设备的佩戴用户的眼部角度，能够根据外部环境调整佩戴用户的眼部角度，使得外部人员能够直观地知道佩戴用户是否在与自己交流。
此外，在示例实施例中，头显设备还包括生理数据采集传感器，生理数据采集传感器包括测量体温、心跳、血压或血糖等生理数据的传感器。生理数据采集传感器位于头显设备的外部与用户的皮肤接触的部位，例如，生理数据采集传感器可以位于头显设备的外框上与用户的皮肤接触的部位，生理数据刺激传感器也可以是头显设备外部的可穿戴设备例如手环等。该图像处理方法还包括：通过生理数据采集传感器采集用户的生理数据；从采集的用户的生理数据中提取用户的生理特征，基于眼部特征以及生理特征，对预定风格图像进行调整和渲染。
举例而言，设生理数据包括心跳数据，生理特征包括心跳速率，可以根据心跳数据以及眼部特征对预定风格图像进行调整和渲染，例如若心跳较快，则睁大预定风格图像中的眼睛。
根据上述实施例中的技术方案，通过结合生理特征以及眼部特征进行风格化渲染，能够进一步实现用户的个性化视觉输出。
进一步地，在示例实施例中，头显设备还包括：运动传感器，运动传感器可以包括加速计、磁力计、IMU传感器等，该图像处理方法还包括：通过运动传感器采集头显设备的运动数据；基于头显设备点的运动数据，确定头显设备的位置偏移，基于眼部特征以及位置偏移，对预定风格图像进行调整和渲染。
举例而言，设根据采集到的运动数据确定头显设备与眼部发生了一定的位置偏移，则结合该位置偏移以及眼部特征，对预定风格图像进行调整和渲染。例如，若用户摘下头显设备再次带上头显设备时，头显设备与之前的眼部位置具有一定的位置偏移，则基于该位置偏移，对渲染后的风格化图像的位置进行调整。
根据上述实施例中的技术方案，结合头显设备的运动数据对预定风格图像进行调整和渲染，即使佩戴者的头显设备发生了位置偏移或反复摘戴也不会影响外部显示模块上显示的风格化图像的稳定性和一致性。
图5示出了根据本申请的又一些实施例提供的图像处理方法的流程示意图。
参照图5所示，在步骤S510中，从佩戴头显设备的用户的眼部图像中提取用户的眼部特征。
在示例实施例中，步骤S510与步骤S320的实现过程以及实现效果基本类似，在此不再赘述。
在步骤S520中，基于用户的眼部特征，确定用户的眼动行为类型。
在示例实施例中，眼动行为类型包括眨眼类型和睁眼类型，可以通过神经网络模型确定用户的眼动行为类型，例如，设神经网络模型为分类网络模型，将用户的眼部特征输入到该分类网络模型，确定用户的眼动行为类型。
此外，在一些示例实施例中，眼部特征包括瞳孔特征，基于佩戴用户的瞳孔特征，确定眼部图像中的闭眼图像；对预定时间内获取的多个眼部图像中的闭眼图像进行统计，得到闭眼图像数量；若闭眼图像数量大于或等于预定阈值，则确定用户的眼动行为类型为闭眼类型；若闭眼图像数量小于所述预定阈值，则确定用户的眼动行为类型为睁眼类型。进一步地，若用户的眼动行为类型为闭眼类型，则获取下一眼部图像；若下一眼部图像为睁眼图像，则确定用户的眼动行为类型为眨眼类型。也就是说，闭眼图像数量大于或等于预定阈值时，确定眼睑闭合，眨眼闭合后，到采集到下一睁眼图像，判定为眼睑打开，眼睑闭合与眼睑打开，共同组成眨眼。
举例而言，设预定时间为1s，在缓存中记录用户在闭眼状态下的闭眼图像数量为LD，在闭眼图像首次出现时，LD计为1，若新眼部图像依然为闭眼图像，则LD加1。若闭眼图像数量超过或者达到一定阈值，例如LD>50或者LD＝50。需要说明的是，LD记录的是连续闭眼的次数，如果中间睁眼，则将LD清零。
在步骤S530中，基于眼动行为类型以及眼部特征，对预定风格图像进行调整和渲染，生成风格化眼部图像。
在示例实施例中，若用户眼动行为类型为眨眼类型，则基于闭眼图像数量确定用户的眨眼时长；基于眨眼时长以及所述眼部特征，对预定风格图像进行调整和渲染，生成眨眼动画。若用户的眼动行为类型为睁眼类型，则确定用户的注视点位置；基于用户的注视点位置，确定用户的眼动方向；基于用户眼动方向以及瞳孔直径，对预定风格图像进行调整和渲染，生成风格化眼部图像。
在示例实施例中，眼动方向包括但不限于向下看、向上看、向左看、向右看、向前看等。图4示出了不同的眼动方向对应的风格化眼部图像。
在步骤S540中，在外部显示模块上显示经风格化渲染的眼部图像。
在示例实施例中，步骤S540与步骤S340的实现过程以及实现效果基本类似，在此不再赘述。
根据图5的示例实施例中的技术方案，通过眼动跟踪模块获取佩戴头显设备的佩戴用户的眼部图像，根据眼动行为类型以及眼部特征对预定风格图像进行调整和渲染后在外部显示模块上进行显示，能够显示不同眼动行为类型对应的风格化眼部图像，使得外部人员能够通过外部显示屏与佩戴头显设备的用户进行更丰富的交互。
此外，在示例实施例中，该图像处理方法还包括：根据眼动行为类型与预设对应关系，确定眼动行为类型对应的眼动特效，预设对应关系为眼动行为类型与眼动特效的对应关系，基于眼部特征、眼动行为类型以及对应的眼动特效，对预定风格图像进行调整和渲染。例如，预先在数据库中存储眼动行为类型与眼动特效之间的对应关系，若眼动行为类型为眨眼类型，则获取对应的眨眼特效，基于眼部图像以及眨眼类型对应的眨眼特效，对预定风格图像进行调整和渲染。
根据上述示例实施例中的技术方案，通过结合眼动行为类型对应的眼动特效，能够实现眼部图像的表情增强，输出夸张的眼神特效。
图6示出了根据本申请的另一些实施例提供的图像处理方法的流程示意图。
参照图6所示，在步骤S605中，获取最近一次采集的眼部图像。
在示例实施例中，通过眼动跟踪模块以预定频率例如50Hz采集佩戴头显设备的用户的眼部图像，获取最近一次采集的眼部图像。在存储器的缓存中存储闭眼图像数量LD，初始状态下闭眼图像数量LD为0。图7示出了根据本申请的一些实施例提供的眼部跟踪模块采集的眼部图像的示意图。
在步骤S610中，确定采集的眼部图像是否为闭眼图像。
在示例实施例中，基于眼部图像的瞳孔数据例如瞳孔直径确定采集的眼部图像是否为闭眼图像。若采集的眼部图像为闭眼图像即未采集到瞳孔数据，则闭眼图像数量加1，返回至步骤S605，继续获取最近一次采集的闭眼图像；若采集的眼部图像不是闭眼图像，则进行至不在S615。
在步骤S615中，确定闭眼图像数量LD是否大于或等于预定数量。
在示例实施例中，若闭眼图像数量LD大于或等于预定数量例如50，则表示用户闭眼了一段时间即用户已眨眼，进行至步骤S620；若闭眼图像数量LD小于该预定数量，则进行至步骤S635。
需要说明的是，预定数量可以根据头显设备的硬件处理能力进行调整，例如若硬件处理能力较强，则可以将预定数量设置较大；若硬件处理能力较弱，则可以将预定数量设置较小。
在步骤S620中，计算闭眼时长，生成风格化眨眼动画。
在示例实施例中，基于闭眼图像数量LD计算闭眼时长，根据眨眼过程中的眼部图像中识别得到的不同眼部形状，对眼部图像进行风格化渲染，生成风格化眨眼动画。
在步骤S625中，通过外部显示模块显示眨眼动画。
在示例实施例中，在头显设备的外部显示屏上显示眨眼动画，从而输出接近真实眼部状态的眨眼特效。
在步骤S630中，将LD置0。
在示例实施例中，将存储器的缓存中存储的闭眼图像数量LD置0。
在步骤S635中，识别眼部形状。
在示例实施例中，从用户的眼部图像中识别眼部形状，例如通过特征提取运算从眼部图像中提取用户的眼部形状特征。图8示出了根据本申请的一些实施例提供的识别眼部形状的示意图。参照图8所示，通过三个选择框分别代表眼睛形状、虹膜形状以及瞳孔形状，其中，椭圆框代表眼睛形状的眼睛选择框、大圆框代表虹膜形状的虹膜选择框以及小圆框代表瞳孔形状的瞳孔选择框。
在步骤S640中，计算注视点位置以及瞳孔直径。
在示例实施例中，基于佩戴用户的眼部形状特征计算用户的注视点位置以及瞳孔直径。参照图8所示和图9所示，基于上述图8中的眼部形状的三个选择框计算用户的注视点位置以及瞳孔直径，基于瞳孔选择框的大小计算瞳孔直径，基于瞳孔选择框在眼睛选择框中的位置确定用户的注视点位置。例如，确定图9的瞳孔选择框的俯仰角pitch为15度以及航向角yaw为9度。
在步骤S645中，进行风格化渲染。
在示例实施例中，基于佩戴头显设备的用户的眼部图像的眼部特征，对预定风格图像进行调整和渲染。例如，设眼部特征包括眼部形状、注视点位置和瞳孔直径，基于佩戴头显设备的用户的眼部图像的眼部形状、注视点位置和瞳孔直径，对预定风格图像进行调整和渲染。
在步骤S650中，输出风格化渲染的眼部图像。
根据图6的示例实施例中的技术方案，通过识别佩戴头显设备点的用户的眼部特征例如眼部几何形状、注视点位置以及瞳孔直径，基于眼部特征以及风格化图像进行风格化渲染，能够实现个性化的视觉输出，且每位用户呈现的效果都不一样，实现千人千面的个性化显示效果。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图10示出了本申请一个示例性实施例提供的图像处理装置的结构示意图。
参照图10所示，该图像处理装置1000可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分，该图像处理装置1000应用于头显设备，所述头显设备包括外部显示模块和眼动跟踪模块。该图像处理装置1000包括图像获取模块1010、特征提取模块1020、风格化渲染模块1030以及显示模块1040。其中：
图像获取模块1010，用于通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
特征提取模块1020，用于从所述眼部图像中提取所述用户的眼部特征；
风格化渲染模块1030，用于基基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
显示模块1040，用于在所述外部显示模块上显示所述风格化眼部图像。
在一些示例实施例中，基于上述方案，所述头显设备还包括生理数据采集传感器，所述装置1000还包括：
生理数据采集模块，用于通过所述生理数据采集传感器采集所述用户的生理数据；
生理特征提取模块，用于从采集的所述用户的生理数据中提取所述用户的生理特征，
所述风格化渲染模块1030还用于：
基于所述眼部特征以及所述生理特征，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述头显设备还包括：运动传感器，所述装置1000还包括：
运动数据采集模块，用于通过所述运动传感器采集所述头显设备的运动数据；
位置偏移确定模块，用于基于所述头显设备点的运动数据，确定所述头显设备的位置偏移，
所述风格化渲染模块1030还用于：
基于所述眼部特征以及所述位置偏移，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述风格化渲染模块1030包括：风迁移单元，用于基于所述眼部特征，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述风格迁移单元包括：
眼睛行为类型确定单元，用于基于所述眼部特征，确定所述用户的眼动行为类型；
调整和渲染单元，用于基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述眼部特征包括瞳孔特征，所述眼睛行为类型确定单元被配置为：
基于所述瞳孔特征，确定所述眼部图像是否为闭眼图像；
对预定时间内获取的多个所述眼部图像中的闭眼图像进行统计，得到闭眼图像数量；
若所述闭眼图像数量大于或等于预定阈值，则确定所述用户的眼动行为类型为闭眼类型；
若所述闭眼图像数量小于所述预定阈值，则确定所述用户的眼动行为类型为睁眼类型。
在一些示例实施例中，基于上述方案，所述眼睛行为类型确定单元还被配置为：
若所述用户的眼动行为类型为闭眼类型，则获取下一眼部图像；
若所述下一眼部图像为睁眼图像，则确定所述用户的眼动行为类型为眨眼类型。
在一些示例实施例中，基于上述方案，所述调整和渲染单元被配置为：
若所述用户眼动行为类型为眨眼类型，则基于所述闭眼图像数量确定所述用户的眨眼时长；
基于所述眨眼时长以及所述眼部特征，对所述预定风格图像进行调整和渲染，生成眨眼动画，
所述显示模块1040被配置为：
在所述外部显示模块上显示所述眨眼动画。
在一些示例实施例中，基于上述方案，所述装置1000还包括：
注视点确定模块，用于若所述用户的眼动行为类型为睁眼类型，则基于所述眼部特征确定所述用户的注视点位置；
眼动方向确定模块，用于基于所述用户的注视点位置，确定所述用户的眼动方向。
在一些示例实施例中，基于上述方案，所述调整和渲染单元被配置为：
基于所述瞳孔特征确定所述眼部图像的瞳孔直径；
基于所述眼动方向以及所述瞳孔直径，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述装置还包括：
特征确定模块，用于根据所述眼动行为类型与预设对应关系，确定所述眼动行为类型对应的眼动特效，所述预设对应关系为所述眼动行为类型与所述眼动特效的对应关系，
所述调整和渲染单元被配置为：
基于所述眼部特征、所述眼动行为类型以及对应的所述眼动特效，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述眼动跟踪模块包括发射端和接收端，所述图像获取模块1010被配置为：
通过所述发射端以预定频率发出入射光照射佩戴所述头显设备的用户的眼部；
通过接收端接收所述用户的眼部的反射光，生成所述用户的眼部图像。
在一些示例实施例中，基于上述方案，所述头显设备还包括图像采集模块，所述眼部特征包括所述用户的眼部角度，所述装置还包括：
外部图像采集模块，用于通过所述图像采集模块采集所述头显设备的外部图像；
面部位置识别模块，用于若所述外部图像中包括外部人员，则识别所述外部人员的面部位置；
位置调整模块，用于基于所述外部人员的面部位置调整所述用户的眼部角度。
需要说明的是，上述实施例提供的图像处理装置在执行图像处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其体现实现过程以及实现效果详见方法实施例，这里不再赘述。
图11示出了本申请实施例提供的一种头显设备的结构示意图。
参照图11所示，头显设备1100包括：处理器1110、存储器、眼动跟踪模块1120以及外部显示模块1130。其中，
眼动跟踪模块1120，与所述处理器1110通信连接，用于以预定频率获取佩戴所述头显设备的用户的眼部图像；
所述处理器1110用于：从所述眼部图像中提取所述用户的眼部特征，基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
外部显示模块1130，与所述处理器1110通信连接，用于显示所述风格化眼部图像。
在一些示例实施例中，参照图12所示，所述头显设备1100还包括：
生理数据采集传感器1210，与所述处理器1110通信连接，用于采集所述用户的生理数据，
所述处理器1110还用于：从采集的所述用户的生理数据中提取所述用户的生理特征，基于所述眼部特征以及所述生理特征，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述生理数据采集传感器位于所述头显设备的外框上与所述用户的皮肤接触的部位。
在一些示例实施例中，参照图13所示，所述头显设备1100还包括：
运动传感器1310，与所述处理器通信连接，用于采集所述头显设备的运动数据；
所述处理器1110还用于：基于所述头显设备点的运动数据，确定所述头显设备的位置偏移，基于所述眼部特征以及所述位置偏移，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，参照图14所示，所述眼动跟踪模块1120包括：
发射端1410，用于以预定频率发出入射光照射佩戴所述头显设备的用户的眼部；
接收端1420，用于接收所述用户的眼部的反射光，生成所述用户的眼部图像。
在一些示例实施例中，参照图15所示，所述头显设备1100还包括：
外部图像采集模块1510，与所述处理器1110通信连接，用于采集所述头显设备的外部图像；
所述处理器1110还用于：若所述外部图像中包括外部人员，则识别所述外部人员的面部位置；基于所述外部人员的面部位置动态调整所述用户的眼部角度。
在一些示例实施例中，基于上述方案，所述处理器1110在执行所述基于所述眼部特征以及预定风格图像进行风格化渲染时，具体执行以下操作：
基于所述眼部特征，对所述预定风格图像进行调整和渲染；或者，
基于所述眼部特征，将所述预定风格图像的风格迁移到所述眼部图像。
在一些示例实施例中，基于上述方案，所述处理器1110在执行所述基于所述眼部特征，对所述预定风格图像进行调整和渲染时，具体执行以下操作：
基于所述眼部特征，确定所述用户的眼动行为类型；
基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述眼部特征包括瞳孔特征，所述处理器1110在执行所述基于所述眼部特征，确定所述用户的眼动行为类型时，具体执行以下操作：
基于所述瞳孔特征，确定所述眼部图像是否为闭眼图像；
对预定时间内获取的多个所述眼部图像中的闭眼图像进行统计，得到闭眼图像数量；
若所述闭眼图像数量大于或等于预定阈值，则确定所述用户的眼动行为类型为闭眼类型；
若所述闭眼图像数量小于所述预定阈值，则确定所述用户的眼动行为类型为睁眼类型。
在一些示例实施例中，基于上述方案，所述处理器1110还用于：
若所述用户的眼动行为类型为闭眼类型，则获取下一眼部图像；
若所述下一眼部图像为睁眼图像，则确定所述用户的眼动行为类型为眨眼类型。
在一些示例实施例中，基于上述方案，所述处理器1110在执行所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染时，具体执行以下操作：
若所述用户眼动行为类型为眨眼类型，则基于所述闭眼图像数量确定所述用户的眨眼时长；
基于所述眨眼时长以及所述眼部特征，对所述预定风格图像进行调整和渲染，生成眨眼动画，
所述在所述外部显示模块上显示经所述风格化眼部图像，包括：
在所述外部显示模块上显示所述眨眼动画。
在一些示例实施例中，基于上述方案，所述处理器1110还用于：
若所述用户的眼动行为类型为睁眼类型，则基于所述眼部特征确定所述用户的注视点位置；
基于所述用户的注视点位置，确定所述用户的眼动方向。
在一些示例实施例中，基于上述方案，所述处理器1110在执行所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染时，具体执行以下操作：
基于所述瞳孔特征确定所述眼部图像的瞳孔直径；
基于所述眼动方向以及所述瞳孔直径，对所述预定风格图像进行调整和渲染。
在一些示例实施例中，基于上述方案，所述处理器1110还用于：
根据所述眼动行为类型与预设对应关系，确定所述眼动行为类型对应的眼动特效，所述预设对应关系为所述眼动行为类型与所述眼动特效的对应关系，
所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
基于所述眼部特征、所述眼动行为类型以及对应的所述眼动特效，对所述预定风格图像进行调整和渲染。
需要说明的是，上述实施例提供的头显设备与图像处理方法实施例属于同一构思，其体现实现过程以及实现效果详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述实施例的所述图像处理方法，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述实施例的所述图像处理方法，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。
请参见图16，为本申请实施例提供了一种头显设备的结构示意图。如图16所示，所述头显设备1600可以包括：至少一个处理器1601，至少一个通信模块1604，输入输出接口1603，存储器1605，至少一个通信总线1602。
其中，通信总线1602用于实现这些组件之间的连接通信。
其中，输入输出接口1603可以包括显示屏(Display)、摄像头(Camera)，可选输入输出接口1603还可以包括外部显示模块例如外部显示屏。
其中，通信模块1604可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1601可以包括一个或者多个处理核心。处理器1601利用各种借口和线路连接整个头显设备1600内的各个部分，通过运行或执行存储在存储器1605内的指令、程序、代码集或指令集，以及调用存储在存储器1605内的数据，执行头显设备1600的各种功能和处理数据。可选的，处理器1601可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1601可集成中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1601中，单独通过一块芯片进行实现。
其中，存储器1605可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1605包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1605可用于存储指令、程序、代码、代码集或指令集。存储器1605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1605可选的还可以是至少一个位于远离前述处理器1601的存储装置。如图16所示，作为一种计算机存储介质的存储器1605中可以包括操作***、通信模块、输入输出接口模块以及图像处理应用程序。
在图16所示的头显设备1600中，输入输出接口1603主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1601可以用于调用存储器1605中存储的图像处理程序，使得处理器1601执行根据本公开各种示例性实施例的图像处理方法中的步骤。例如，处理器1601可以用于调用存储器1605中存储的图像处理应用程序，并具体执行以下操作：
通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
从所述眼部图像中提取所述用户的眼部特征；
基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
在所述外部显示模块上显示所述风格化眼部图像。
在一些实施例中，基于上述方案，所述处理器1601在执行所述基于所述眼部特征以及预定风格图像，对所述眼部图像进行风格化渲染，具体执行以下操作：
基于所述眼部特征，对所述预定风格图像进行调整和渲染。
在一些实施例中，基于上述方案，所述处理器1601在执行所述基于所述眼部特征，对所述预定风格图像进行调整和渲染，具体执行以下操作：
基于所述眼部特征，确定所述用户的眼动行为类型；
基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染。
在一些实施例中，基于上述方案，所述眼部特征包括瞳孔特征，所述处理器1601在执行所述基于所述眼部特征，确定所述用户的眼动行为类型，具体执行以下操作：
基于所述瞳孔特征，确定所述眼部图像是否为闭眼图像；
对预定时间内获取的多个所述眼部图像中的闭眼图像进行统计，得到闭眼图像数量；
若所述闭眼图像数量大于或等于预定阈值，则确定所述用户的眼动行为类型为眨眼类型；
若所述闭眼图像数量小于所述预定阈值，则确定所述用户的眼动行为类型为睁眼类型。
在一些实施例中，基于上述方案，所述处理器1601在执行所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，具体执行以下操作：
若所述用户眼动行为类型为眨眼类型，则基于所述闭眼图像数量确定所述用户的眨眼时长；
基于所述眨眼时长以及所述眼部特征，对所述预定风格图像进行调整和渲染，生成眨眼动画，
在所述外部显示模块上显示经所述风格化渲染的所述眼部图像，包括：
在所述外部显示模块上显示所述眨眼动画。
在一些实施例中，基于上述方案，所述处理器1601还执行以下操作：
若所述用户的眼动行为类型为睁眼类型，则基于所述眼部特征确定所述用户的注视点位置；
基于所述用户的注视点位置，确定所述用户的眼动方向。
在一些实施例中，基于上述方案，所述处理器1601在执行所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，具体执行以下操作：
基于所述瞳孔特征确定所述眼部图像的瞳孔直径；
基于所述眼动方向以及所述瞳孔直径，对所述预定风格图像进行调整和渲染。
在一些实施例中，基于上述方案，所述处理器1601还执行以下操作：
根据所述眼动行为类型与预设对应关系，确定所述眼动行为类型对应的眼动特效，所述预设对应关系为所述眼动行为类型与所述眼动特效的对应关系，
所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
基于所述眼部特征、所述眼动行为类型以及对应的所述眼动特效，对所述预定风格图像进行调整和渲染。
在一些实施例中，基于上述方案，所述眼动跟踪模块包括红外发射端和红外接收端，所述处理器1601在执行所述通过眼动跟踪模块获取佩戴所述头显设备的用户的眼部图像，具体执行以下操作：
通过所述红外发射端以预定频率发射红外光照射佩戴所述头显设备的用户的眼部；
通过红外接收端接收所述用户的眼部的反射光，生成所述用户的眼部图像。
在一些实施例中，基于上述方案，所述头显设备还包括图像采集模块例如摄像头，所述眼部特征包括所述用户的注视点位置，所述处理器1601还执行以下操作：
通过图像采集模块采集所述头显设备的外部图像；
若所述外部图像中包括外部人员，则识别所述外部人员的面部位置；
基于所述外部人员的面部位置调整所述用户的注视点位置。
上述为本说明书实施例的一种头显设备的示意性方案。需要说明的是，该头显设备的技术方案与上述的图像处理处理方法的技术方案属于同一构思，头显设备的技术方案未详细描述的细节内容，均可以参见上述图像处理处理方法的技术方案的描述。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (22)

1.一种图像处理方法，其特征在于，应用于头显设备，所述头显设备包括外部显示模块和眼动跟踪模块，所述方法包括：
通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
从所述眼部图像中提取所述用户的眼部特征；
基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
在所述外部显示模块上显示所述风格化眼部图像。
2.根据权利要求1所述的方法，其特征在于，所述头显设备还包括生理数据采集传感器，所述方法还包括：
通过所述生理数据采集传感器采集所述用户的生理数据；
从采集的所述用户的生理数据中提取所述用户的生理特征，
所述基于所述眼部特征以及预定风格图像进行风格化渲染，包括：
基于所述眼部特征以及所述生理特征，对所述预定风格图像进行调整和渲染。
3.根据权利要求1所述的方法，其特征在于，所述头显设备还包括：运动传感器，所述方法还包括：
通过所述运动传感器采集所述头显设备的运动数据；
基于所述头显设备点的运动数据，确定所述头显设备的位置偏移，
所述基于所述眼部特征以及预定风格图像进行风格化渲染，包括：
基于所述眼部特征以及所述位置偏移，对所述预定风格图像进行调整和渲染。
4.根据权利要求1所述的方法，其特征在于，所述基于所述眼部特征以及预定风格图像进行风格化渲染，包括：
基于所述眼部特征，对所述预定风格图像进行调整和渲染；或者，
基于所述眼部特征，将所述预定风格图像的风格迁移到所述眼部图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
基于所述眼部特征，确定所述用户的眼动行为类型；
基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染。
6.根据权利要求5所述的方法，其特征在于，所述眼部特征包括瞳孔特征，所述基于所述眼部特征，确定所述用户的眼动行为类型，包括：
基于所述瞳孔特征，确定所述眼部图像是否为闭眼图像；
对预定时间内获取的多个所述眼部图像中的闭眼图像进行统计，得到闭眼图像数量；
若所述闭眼图像数量大于或等于预定阈值，则确定所述用户的眼动行为类型为闭眼类型；
若所述闭眼图像数量小于所述预定阈值，则确定所述用户的眼动行为类型为睁眼类型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述用户的眼动行为类型为闭眼类型，则获取下一眼部图像；
若所述下一眼部图像为睁眼图像，则确定所述用户的眼动行为类型为眨眼类型。
8.根据权利要求7所述的方法，其特征在于，所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
若所述用户眼动行为类型为眨眼类型，则基于所述闭眼图像数量确定所述用户的眨眼时长；
基于所述眨眼时长以及所述眼部特征，对所述预定风格图像进行调整和渲染，生成眨眼动画，
所述在所述外部显示模块上显示经所述风格化眼部图像，包括：
在所述外部显示模块上显示所述眨眼动画。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述用户的眼动行为类型为睁眼类型，则基于所述眼部特征确定所述用户的注视点位置；
基于所述用户的注视点位置，确定所述用户的眼动方向。
10.根据权利要求9所述的方法，其特征在于，所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
基于所述瞳孔特征确定所述眼部图像的瞳孔直径；
基于所述眼动方向以及所述瞳孔直径，对所述预定风格图像进行调整和渲染。
11.根据权利要求5至10中任一项所述的方法，所述方法还包括：
根据所述眼动行为类型与预设对应关系，确定所述眼动行为类型对应的眼动特效，所述预设对应关系为所述眼动行为类型与所述眼动特效的对应关系，
所述基于所述眼动行为类型以及所述眼部特征，对所述预定风格图像进行调整和渲染，包括：
基于所述眼部特征、所述眼动行为类型以及对应的所述眼动特效，对所述预定风格图像进行调整和渲染。
12.根据权利要求1至10中任一项所述的方法，其特征在于，所述眼动跟踪模块包括发射端和接收端，所述通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像，包括：
通过所述发射端以预定频率发出入射光照射佩戴所述头显设备的用户的眼部；
通过所述接收端接收所述用户的眼部的反射光，生成所述用户的眼部图像。
13.根据权利要求1至5中任一项所述的方法，其特征在于，所述头显设备还包括图像采集模块，所述眼部特征包括所述用户的眼部角度，所述方法还包括：
通过所述图像采集模块采集所述头显设备的外部图像；
若所述外部图像中包括外部人员，则识别所述外部人员的面部位置；
基于所述外部人员的面部位置动态调整所述用户的眼部角度。
14.一种图像处理装置，其特征在于，应用于头显设备，所述头显设备包括外部显示模块和眼动跟踪模块，所述装置包括：
图像获取模块，用于通过所述眼动跟踪模块以预定频率获取佩戴所述头显设备的用户的眼部图像；
特征提取模块，用于从所述眼部图像中提取所述用户的眼部特征；
风格化渲染模块，用于基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
显示模块，用于在所述外部显示模块上显示所述风格化眼部图像。
15.一种头显设备，其特征在于，所述头显设备包括：
处理器及存储器；
眼动跟踪模块，与所述处理器通信连接，用于以预定频率获取佩戴所述头显设备的用户的眼部图像；
所述处理器用于：从所述眼部图像中提取所述用户的眼部特征，基于所述眼部特征以及预定风格图像进行风格化渲染，生成风格化眼部图像；
外部显示模块，与所述处理器通信连接，用于显示所述风格化眼部图像。
16.根据权利要求15所述的头显设备，其特征在于，所述头显设备还包括：
生理数据采集传感器，与所述处理器通信连接，用于采集所述用户的生理数据，
所述处理器还用于：从采集的所述用户的生理数据中提取所述用户的生理特征，基于所述眼部特征以及所述生理特征，对所述预定风格图像进行调整和渲染。
17.根据权利要求16所述的头显设备，其特征在于，所述生理数据采集传感器位于所述头显设备的外部与所述用户的皮肤接触的部位。
18.根据权利要求15所述的头显设备，其特征在于，所述头显设备还包括：
运动传感器，与所述处理器通信连接，用于采集所述头显设备的运动数据；
所述处理器还用于：基于所述头显设备点的运动数据，确定所述头显设备的位置偏移，基于所述眼部特征以及所述位置偏移，对所述预定风格图像进行调整和渲染。
19.根据权利要求15至18中任一项所述的头显设备，其特征在于，所述眼动跟踪模块包括：
发射端，用于以预定频率发出入射光照射佩戴所述头显设备的用户的眼部；
接收端，用于接收所述用户的眼部的反射光，生成所述用户的眼部图像。
20.根据权利要求15至18中任一项所述的头显设备，其特征在于，所述头显设备还包括：
外部图像采集模块，与所述处理器通信连接，用于采集所述头显设备的外部图像；
所述处理器还用于：若所述外部图像中包括外部人员，则识别所述外部人员的面部位置；基于所述外部人员的面部位置动态调整所述用户的眼部角度。
21.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～13任一项所述方法的步骤。
22.一种头显设备，包括：处理器以及存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～13任一项所述方法的步骤。
CN202210639122.XA 2022-06-08 2022-06-08 图像处理方法、装置、存储介质及头显设备 Pending CN117234325A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210639122.XA CN117234325A (zh) 2022-06-08 2022-06-08 图像处理方法、装置、存储介质及头显设备
PCT/CN2023/098980 WO2023237023A1 (zh) 2022-06-08 2023-06-07 图像处理方法、装置、存储介质及头显设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639122.XA CN117234325A (zh) 2022-06-08 2022-06-08 图像处理方法、装置、存储介质及头显设备

Publications (1)

Publication Number Publication Date
CN117234325A true CN117234325A (zh) 2023-12-15

Family

ID=89081348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639122.XA Pending CN117234325A (zh) 2022-06-08 2022-06-08 图像处理方法、装置、存储介质及头显设备

Country Status (2)

Country Link
CN (1) CN117234325A (zh)
WO (1) WO2023237023A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117978864A (zh) * 2024-03-18 2024-05-03 东莞莱姆森科技建材有限公司 一种具备信息推送功能的智能镜子及镜柜
CN117978864B (zh) * 2024-03-18 2024-08-02 东莞莱姆森科技建材有限公司 一种具备信息推送功能的智能镜子及镜柜

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726584B2 (en) * 2018-11-28 2020-07-28 International Business Machines Corporation Displaying a virtual eye on a wearable device
CN110531516A (zh) * 2019-07-12 2019-12-03 上海大学 一种头戴式眼动跟踪操作辅助的智能装置
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117978864A (zh) * 2024-03-18 2024-05-03 东莞莱姆森科技建材有限公司 一种具备信息推送功能的智能镜子及镜柜
CN117978864B (zh) * 2024-03-18 2024-08-02 东莞莱姆森科技建材有限公司 一种具备信息推送功能的智能镜子及镜柜

Also Published As

Publication number Publication date
WO2023237023A1 (zh) 2023-12-14

Similar Documents

Publication Publication Date Title
US11563700B2 (en) Directional augmented reality system
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US10055642B2 (en) Staredown to produce changes in information density and type
CN107209386B (zh) 增强现实视野对象跟随器
US10445937B2 (en) Contextual augmented reality devices collaboration
TWI549505B (zh) 用於擴展現實顯示的基於理解力和意圖的內容
US9728010B2 (en) Virtual representations of real-world objects
KR102304827B1 (ko) 시선 스와이프 선택
AU2022202543A1 (en) Eye image collection, selection, and combination
US9135508B2 (en) Enhanced user eye gaze estimation
US20160343168A1 (en) Virtual personification for augmented reality system
US20130241805A1 (en) Using Convergence Angle to Select Among Different UI Elements
JP2022132550A (ja) ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US20140002496A1 (en) Constraint based information inference
CN112181152A (zh) 基于mr眼镜的广告推送管理方法、设备及应用
KR20160019964A (ko) Hmd 상의 하이브리드 월드/바디 락 hud
US11645823B2 (en) Neutral avatars
US11620792B2 (en) Fast hand meshing for dynamic occlusion
US20180190019A1 (en) Augmented reality user interface visibility
CN112639681B (zh) 用于进程数据共享的方法和设备
US11328187B2 (en) Information processing apparatus and information processing method
CN117234325A (zh) 图像处理方法、装置、存储介质及头显设备
JP2023520448A (ja) ガイダンスを提供するためのシステム
CN118401910A (zh) 用于生成和显示用户的表示的设备、方法和图形用户界面
JP2018205647A (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination