CN115002444B - 显示模组及其显示方法、显示装置、虚拟显示设备 - Google Patents

Abstract

本公开实施例提供一种显示方法，包括：将一帧彩色画面拆解为n个子帧画面；n个子帧画面依次进行显示，n≥3，且n为整数；获取眼部图像，对眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；第一子帧画面为n个子帧画面依次显示时首先进行显示的子帧画面；根据第一子帧画面对应的当前瞳孔位置和前m次测量获取的第一子帧画面对应的瞳孔位置，计算n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；计算后续各子帧画面的原待显示位置相对于第一子帧画面的当前位置的实际偏移量；并根据实际偏移量计算后续各子帧画面的实际显示位置；按照后续各子帧画面的实际显示位置依次显示后续各子帧画面。

Description

显示模组及其显示方法、显示装置、虚拟显示设备

技术领域

本公开涉及显示技术领域，具体涉及一种显示模组及其显示方法、显示装置、虚拟显示设备。

背景技术

虚拟现实(Virtual Reality,简称VR)显示设备，是利用VR显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。其显示原理为利用电脑技术模拟出一个立体、高度模拟的3D空间，当使用者穿戴VR头显装置时，会产生好像处在现实中一般的错觉。在这空间中，操作者可以使用控制器或键盘在这个虚拟的环境下穿梭或互动。

发明内容

一方面，本公开实施例提供一种显示方法，其中，包括：

将一帧彩色画面拆解为n个子帧画面；所述n个子帧画面依次进行显示，n≥3，且n为整数；

获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；所述第一子帧画面为所述n个子帧画面依次显示时首先进行显示的子帧画面；

根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；

根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；

按照后续各子帧画面的实际显示位置依次显示后续各子帧画面。

在一些实施例中，所述获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置，包括：

在所述第一子帧画面显示时，拍摄眼部图像；

将眼部图像转换为灰度图像；

在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；

在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置。

在一些实施例中，所述在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置，包括：

对灰度图像进行二值化处理，获得眼部的二值化图像；

采用连通区域标记法在所述眼部的二值化图像上检测候选瞳孔连通区域；

基于几何约束和距离约束算法，在所述候选瞳孔连通区域中筛选出眼部的所述瞳孔区域；

用直径最小的圆圈将所述瞳孔区域覆盖，将所述圆圈的中心确定为所述瞳孔区域的中心。

在一些实施例中，n＝3，m＝2；

所述第一子帧画面的后续子帧画面包括第二子帧画面和第三子帧画面；所述第一子帧画面、所述第二子帧画面和所述第三子帧画面依次进行显示；

所述根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置，包括：

根据公式(1)计算所述第二子帧画面对应的当前瞳孔位置，根据公式(2)计算所述第三子帧画面对应的当前瞳孔位置；

pos_curr_g＝pos_curr+v_curr×delta+1/2×a_curr×delta²； (1)

pos_curr_b＝pos_curr+v_curr×delta×2+1/2×a_curr×(2×delta)2； (2)

其中，

a_curr为眼球转动的当前加速度；v_curr为眼球转动的当前速度；pos_1和pos_2分别为前2次测量获取的所述第一子帧画面对应的瞳孔位置；pos_curr为所述第一子帧画面对应的当前瞳孔位置；pos_curr_g为所述第二子帧画面对应的当前瞳孔位置；pos_curr_b为所述第三子帧画面对应的当前瞳孔位置；delta为一个所述子帧画面的刷新时长，delta＝1/一个所述子帧画面的刷新频率。

在一些实施例中，所述根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置，包括：

根据所述第二子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第二子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第一偏移矩阵；

根据所述第三子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第三子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第二偏移矩阵；

将所述第二子帧画面的原待显示位置与所述第一偏移矩阵相乘，获得所述第二子帧画面的实际显示位置；

将所述第三子帧画面的原待显示位置与所述第二偏移矩阵相乘，获得所述第三子帧画面的实际显示位置。

在一些实施例中，

所述第一偏移矩阵为：

所述第二偏移矩阵为：

其中，Rx1、Ry1、Rz1分别表示所述第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的旋转幅度；Tx1、Ty1、Tz1分别表示所述第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的平移幅度；

Rx2、Ry2、Rz2分别表示所述第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的旋转幅度；Tx2、Ty2、Tz2分别表示所述第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的平移幅度；

Z轴垂直于X轴和Y轴相交形成的二维坐标平面，且Z轴与X轴和Y轴相交于原点。

在一些实施例中，还包括：存储所述第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。

第二方面，本公开实施例还提供一种显示模组，其中，包括：

拆解模块，被配置为将一帧彩色画面拆解为n个子帧画面；n≥3，且n为整数；

显示模块，被配置为将所述n个子帧画面依次进行显示；

处理模块，被配置为获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；所述第一子帧画面为所述n个子帧画面中首先进行显示的子帧画面；

第一预测模块，被配置为根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；

第二预测模块，被配置为根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；

所述显示模块，还被配置为按照后续各子帧画面的实际显示位置对后续各子帧画面依次进行显示。

在一些实施例中，所述显示模块包括显示面板和透镜，所述透镜位于所述显示面板的显示侧；

所述处理模块包括红外发射器和红外相机，

所述红外发射器位于所述透镜的背离所述显示面板的一侧，且分布于所述透镜的四周边缘，用于向眼部发射红外光；

所述红外相机位于所述透镜的背离所述显示面板的一侧，且位于所述透镜的边缘，用于拍摄眼部图像。

在一些实施例中，所述处理模块还包括图像处理单元，被配置为将眼部图像转换为灰度图像；在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；

所述图像处理单元，还被配置为对眼部的灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置。

在一些实施例中，所述第二预测模块被配置为根据所述第二子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第二子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第一偏移矩阵；

所述第二预测模块还被配置为根据所述第三子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第三子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第二偏移矩阵；

所述第二预测模块还被配置为将所述第二子帧画面的原待显示位置与所述第一偏移矩阵相乘，获得所述第二子帧画面的实际显示位置；将所述第三子帧画面的原待显示位置与所述第二偏移矩阵相乘，获得所述第三子帧画面的实际显示位置。

在一些实施例中，还包括存储模块，被配置为存储所述第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。

第三方面，本公开实施例还提供一种显示装置，其中，包括上述显示模组。

第四方面，本公开实施例还提供一种虚拟显示设备，其中，包括上述显示装置。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为公开技术中VR显示彩色画面时出现色分离的原理示意图。

图2为公开技术中产生色分离的场景图片。

图3为本公开实施例中显示模组的原理框图。

图4为本公开实施例显示模组中像素和光源的排布俯视示意图。

图5为本公开实施例中将一帧彩色画面拆解为三个子帧画面的一种示意图。

图6为本公开实施例中将一帧彩色画面拆解为三个子帧画面的另一种示意图。

图7为本公开实施例显示模组的显示过程中各子帧画面依次刷新和背光模组中不同颜色的光源依次点亮的示意图。

图8为本公开实施例中显示模块的结构拆解示意图。

图9a为眼部图形的灰度图像的示意图。

图9b为本公开实施例中图像处理单元处理获得的眼部的二值化图像的示意图。

图10为本公开实施例中第一子帧画面对应的瞳孔位置的检测频率示意图。

图11为本公开实施例中预测第二子帧画面和第三子帧画面的实际显示位置的过程示意图。

图12为本公开实施例中显示模组显示方法的流程图。

具体实施方式

为使本领域技术人员更好地理解本公开实施例的技术方案，下面结合附图和具体实施方式对本公开实施例提供的显示模组及其显示方法、显示装置、虚拟显示设备作进一步详细描述。

在下文中将参考附图更充分地描述本公开实施例，但是所示的实施例可以以不同形式来体现，且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本公开实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了区的具体形状，但并不是旨在限制性的。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

公开技术中，对于VR显示屏，当画面刷新率达到90Hz时才会让使用者有身临其境的感觉。当使用场序屏幕作为VR屏幕时，为了保证以上的效果，需要使其刷新率达到270Hz。场序屏幕是将之前的一帧彩色图像(RGB图像)，拆成三个子帧画面(即分别由红、绿、蓝色光源提供背光的图像)进行显示，各子帧画面顺次显示，且用于各子帧画面显示的背光也顺次提供。

参照图1，为公开技术中VR显示彩色画面时出现色分离的原理示意图；随着人眼眼球的转动，屏幕上同一位置的像素分别通过红、绿、蓝色光源提供背光而显示的红、绿、蓝色画面分别落在人眼视网膜的不同位置，导致人眼会感受到色分离现象。参照图2，为公开技术中产生色分离的场景图片；从图2中可以看到在窗户边框上有红绿蓝三色条纹。分析色分离发生的场景发现，三个子帧差异越大(即三个子帧的显示灰阶相同且显示灰阶都不为0时)，色分离越明显。例如：三个子帧(即由红色光源提供背光的子帧、由绿色光源提供背光的子帧、由蓝色光源提供背光的子帧)分别显示255灰阶时，各个子帧的背光顺次点亮，这时眼球扫视最容易发生色分离。

为了解决公开技术中存在的上述问题，第一方面，本公开实施例提供一种显示方法，其中，包括：将一帧彩色画面拆解为n个子帧画面；n个子帧画面依次进行显示，n≥3，且n为整数；获取眼部图像，对眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；第一子帧画面为所述n个子帧画面依次显示时首先进行显示的子帧画面；根据第一子帧画面对应的当前瞳孔位置和前m次测量获取的第一子帧画面对应的瞳孔位置，计算n个子帧画面中第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；根据n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；按照后续各子帧画面的实际显示位置依次显示后续各子帧画面。

本公开实施例中所提供的显示模组的显示方法，通过处理确定n个子帧画面中首先显示的第一子帧画面对应的当前瞳孔位置；计算第一子帧画面的后续各子帧画面对应的当前瞳孔位置；根据第一子帧画面的后续各子帧画面对应的当前瞳孔位置的计算结果计算第一子帧画面的后续各子帧画面的实际显示位置；能够获取人眼眼球的转动轨迹信息，以便对人眼眼球的转动进行捕捉和追踪；通过将第一子帧画面的后续各子帧画面由原待显示位置调整至实际显示位置，能够实现使第一子帧画面的后续各子帧画面的实际显示位置去追赶眼球转动的位置，从而使第一子帧画面的后续各子帧画面上位置相同的像素显示的画面投射到人眼瞳孔区域(即视网膜上)的同一个位置，三个由不同颜色光源提供背光的画面在此进行融合，从而消除色分离现象，保证人眼感受到的画面是一个完整的画面。

第二方面，本公开实施例提供一种显示模组，参照图3，为本公开实施例中显示模组的原理框图；其中，显示模组包括：拆解模块，被配置为将一帧彩色画面拆解为n个子帧画面；n≥3，且n为整数；显示模块，被配置为将n个子帧画面依次进行显示；处理模块，被配置为获取眼部图像，对眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；第一子帧画面为n个子帧画面依次显示时首先进行显示的子帧画面；第一预测模块，被配置为根据第一子帧画面对应的当前瞳孔位置和前m次测量获取的第一子帧画面对应的瞳孔位置，计算n个子帧画面中第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；第二预测模块，被配置为根据n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；显示模块，还被配置为按照后续各子帧画面的实际显示位置对后续各子帧画面依次进行显示。

在一些实施例中，参照图4，为本公开实施例显示模组中像素和光源的排布俯视示意图；其中，显示模块包括显示面板1，显示面板1包括多个像素10，多个像素10排布呈阵列。本实施例中，参照图5和图6，图5为本公开实施例中将一帧彩色画面拆解为三个子帧画面的一种示意图；图6为本公开实施例中将一帧彩色画面拆解为三个子帧画面的另一种示意图；将一帧彩色画面拆解为三个子帧画面，该三个子帧画面分别由像素10阵列依次显示。

在一些实施例中，显示模块还包括透镜，透镜位于显示面板1的显示侧。在一些实施例中，参照图4，显示模块还包括背光模组5，位于显示面板1背离透镜的一侧，用于为显示面板1的显示提供背光；背光模组5包括n种颜色的光源；显示面板1包括上基板和下基板，上基板和下基板对盒形成对盒间隙，对盒间隙中填充有液晶。

在一些实施例中，背光模组5包括三种颜色的光源，分别为红色光源51、绿色光源52和蓝色光源53。红色光源51、绿色光源52和蓝色光源53分别为依次显示的三个子帧画面提供背光。

在一些实施例中，背光模组5为显示面板1的显示提供直下式背光，即光源的出光面朝向显示面板1的显示面。

在一些实施例中，参照图4，显示面板1的显示区包括多个子区100，每个子区100内分布有多个像素10；多个像素10排布呈阵列；背光模组5包括多组光源50，每组光源50包括n种颜色的光源各一个；多组光源50与多个子区100一一对应设置。

本实施例中，参照图4和图7，图7为本公开实施例显示模组的显示过程中各子帧画面依次刷新和背光模组中不同颜色的光源依次点亮的示意图；各个子区100的背光分别由红、绿、蓝三个颜色的光源(如LED灯)组成的一组光源50提供。背光模组中不同颜色的光源可以依次点亮，如红、绿、蓝色光源依次点亮，以分别为依次显示的三个子帧画面提供背光。背光模组中不同颜色光源的亮度可以调节。与公开技术中由红、绿、蓝三个颜色的子像素组成的一个像素控制彩色显示的液晶面板不同的是，本公开实施例中的场序显示模组的每一个像素10均分别对应一个整体的像素区，该像素10在各子帧画面的显示中只能通过液晶的偏转显示灰阶图；该显示模组中的像素10阵列配合三个子帧画面的依次刷新以及背光模组中的三个颜色光源的依次点亮实现彩色画面的显示。本实施例中的像素10设计增大了显示开口率，降低了显示功耗。

在一些实施例中，参照图7，显示模组生成的是90Hz的原始彩色画面，本实施例中显示模组的场序显示为了模拟90Hz的刷新率，将每一帧原始彩色画面拆解为三个子帧画面，实际是从原始彩色画面中提取对应颜色的像素值(即灰阶值)，即从一帧原始彩色画面中提取由红色光源51提供背光的第一子帧画面的像素值(如像素值为167)、由绿色光源52提供背光的第二子帧画面的像素值(如像素值为145)和由蓝色光源53提供背光的第三子帧画面的像素值(如像素值为189)；参照图6为原始的一帧彩色画面拆分后对应的三个子帧画面，即R、G、B三通道画面。将R、G、B三通道画面按顺序依次进行显示，同时背光模组中三种颜色光源也按顺序依次点亮，以分别为三个子帧画面提供不同颜色的背光。

在一些实施例中，三个子帧画面的刷新频率分别为270Hz，背光模组中三种颜色光源的点亮频率分别为270Hz。

在一些实施例中，参照图8，为本公开实施例中显示模块的结构拆解示意图；其中，显示模块还包括透镜2，透镜2位于显示面板1的显示侧；处理模块包括红外发射器3和红外相机4，红外发射器3位于透镜2的背离显示面板1的一侧，且分布于透镜2的四周边缘，用于向眼部发射红外光；红外相机4位于透镜2的背离显示面板1的一侧，且位于透镜2的边缘，用于拍摄眼部图像。

其中，透镜2的作用是引入畸变，以实现虚拟现实显示。红外发射器3的数量为多个，多个红外发射器3围绕透镜2的四周边缘一圈。红外相机4设置有一个。红外发射器3向眼部发射红外光，能使红外相机4拍摄到清楚的眼部红外图像。

在一些实施例中，参照图3，处理模块还包括图像处理单元，被配置为将眼部图像转换为灰度图像；在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；图像处理单元，还被配置为对眼部的灰度图像进行处理，确定眼部的瞳孔区域；将瞳孔区域的中心确定为第一子帧画面对应的当前瞳孔位置。

其中，参照图9a，为眼部图形的灰度图像的示意图；红外相机拍摄的眼部图像为彩色图片；由于确定眼部的瞳孔区域的过程中不需要眼部图像中的颜色成份，所以将眼部图像转为灰度图像，即只计入眼部图像的亮度值(灰阶值)；如：灰度图像的计算公式可以为：gray＝0.30R+0.60G+0.1B；其中，gray为灰度图像中各像素的灰度值；设像素包括R(红色)子像素、G(绿色)子像素和B(蓝色)子像素，则该灰度图像中每个像素的灰度值计算计入30％的R子像素灰阶值、60％的G子像素灰阶值以及10％的B子像素灰阶值，从而获得整幅眼部图像的灰度图像。参照图9a，在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点eye_edeg_l和eye_edge_r，并以这两个位置点为左右边对灰度图像进行裁剪；将眼部的左右眼角位置点eye_edeg_l和eye_edeg_r的连线作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点eye_edeg_l和eye_edeg_r连线的中点。

在一些实施例中，参照图9b，为本公开实施例中图像处理单元处理获得的眼部瞳孔区域的示意图；其中，图像处理单元，还被配置为对眼部的灰度图像进行处理，确定眼部的瞳孔区域；将瞳孔区域的中心确定为第一子帧画面对应的当前瞳孔位置，图像处理单元的具体处理过程为：首先，对灰度图像进行二值化处理，获得眼部的二值化图像；然后，采用连通区域标记法在眼部的二值化图像上检测候选瞳孔连通区域；接着，基于几何约束和距离约束算法，在候选瞳孔连通区域中筛选出眼部的瞳孔区域；最后，用直径最小的圆圈将瞳孔区域覆盖，将圆圈的中心确定为瞳孔区域的中心0_t。

在一些实施例中，对灰度图像进行二值化处理包括：设置一个灰度阈值t，对灰度图像中每个子像素的灰度值进行判断，大于灰度阈值t则将该子像素的灰度值置为0，小于或等于灰度阈值t则将该子像素的灰度值置为1，经过二值化处理后形成如图9b所示的眼部的二值化图像(如黑白图像)。

在一些实施例中，处理模块可以是显示模组中的图像处理芯片，图像处理芯片中集成有图像处理单元。

在一些实施例中，n＝3，m＝2；第一子帧画面的后续子帧画面包括第二子帧画面和第三子帧画面；显示模块被配置为将第一子帧画面、第二子帧画面和第三子帧画面依次进行显示；第一预测模块被配置为根据公式(1)计算第二子帧画面对应的当前瞳孔位置，根据公式(2)计算第三子帧画面对应的当前瞳孔位置。

pos_curr_g＝pos_curr+v_curr×delta+1/2×a_curr×delta²； (1)

pos_curr_b＝pos_curr+v_curr×delta×2+1/2×a_curr×(2×delta)2； (2)

其中，

a_curr为眼球转动的当前加速度；v_curr为眼球转动的当前速度；pos_1和pos_2分别为前2次测量获取的第一子帧画面对应的瞳孔位置；pos_curr为第一子帧画面对应的当前瞳孔位置；pos_curr_g为第二子帧画面对应的当前瞳孔位置；pos_curr_b为第三子帧画面对应的当前瞳孔位置；delta为一个子帧画面的刷新时长，delta＝1/一个子帧画面的刷新频率。

在一些实施例中，第一子帧画面为由红色光源提供背光的子帧画面；第二子帧画面为由绿色光源提供背光的子帧画面；第三子帧画面为由蓝色光源提供背光的子帧画面。

在一些实施例中，参照图10，为本公开实施例中第一子帧画面对应的瞳孔位置的检测频率示意图；其中，n＝3，即每隔两个子帧画面进行一次眼部瞳孔位置的检测以及第二子帧画面和第三子帧画面的实际显示位置的预测。

在一些实施例中，一个子帧画面的刷新频率为270Hz，一个子帧画面的刷新时长delta＝1/270＝0.0037s。为各个子帧画面提供背光的背光模组中光源的点亮频率为270Hz。

在一些实施例中，前m次测量获取的第一子帧画面对应的瞳孔位置计入n个子帧画面中第一子帧画面的后续各子帧画面对应的当前瞳孔位置的计算，由此能够获取人眼眼球的转动轨迹信息，从而便于对人眼眼球的转动进行捕捉和追踪。

在一些实施例中，第一预测模块为显示模组中具有计算功能的硬件结构，如算法器等。

在一些实施例中，参照图11，为本公开实施例中预测第二子帧画面和第三子帧画面的实际显示位置的过程示意图；其中，第二预测模块被配置为根据第二子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算第二子帧画面的原待显示位置相对于第一子帧画面的当前位置的第一偏移矩阵；第二预测模块还被配置为根据第三子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算第三子帧画面的原待显示位置相对于第一子帧画面的当前位置的第二偏移矩阵；第二预测模块还被配置为将第二子帧画面的原待显示位置与第一偏移矩阵相乘，获得第二子帧画面的实际显示位置；将第三子帧画面的原待显示位置与第二偏移矩阵相乘，获得第三子帧画面的实际显示位置。

其中，第一子帧画面的当前位置指第一子帧画面的当前显示位置。第一子帧画面对应的当前瞳孔位置是当前建立坐标系检测获得的。第二子帧画面对应的当前瞳孔位置和第三子帧画面对应的当前瞳孔位置是根据第一子帧画面对应的当前瞳孔位置、眼球转动的速度和加速度、一个子帧画面的刷新频率计算获得的。第二子帧画面的原待显示位置在人眼中的位置对应第二子帧画面对应的当前瞳孔位置，第三子帧画面的原待显示位置在人眼中的位置对应第三子帧画面对应的当前瞳孔位置；第二子帧画面的实际显示位置在人眼中的位置对应第一子帧画面对应的当前瞳孔位置；第三子帧画面的实际显示位置在人眼中的位置对应第一子帧画面对应的当前瞳孔位置；即通过第二预测模块的上述计算之后，能使第一子帧画面、第二子帧画面和第三子帧画面在人眼中的位置都位于第一子帧画面对应的当前瞳孔位置，从而能够消除眼球转动所导致的色分离现象。

在一些实施例中，第一偏移矩阵为：

第二偏移矩阵为：

其中，Rx1、Ry1、Rz1分别表示第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的旋转幅度；Tx1、Ty1、Tz1分别表示第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的平移幅度；Rx2、Ry2、Rz2分别表示第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的旋转幅度；Tx2、Ty2、Tz2分别表示第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的平移幅度；Z轴垂直于X轴和Y轴相交形成的二维坐标平面，且Z轴与X轴和Y轴相交于原点。

在一些实施例中，第二预测模块为显示模组中具有计算功能的硬件结构，如算法器等。

在一些实施例中，参照图5，显示模块被配置为按照第二子帧画面和第三子帧画面的实际显示位置对第二子帧画面和第三子帧画面依次进行显示。具体为：将第二子帧画面和第三子帧画面依次显示到显示模组上其各自对应的实际显示位置，如此能使第一子帧画面、第二子帧画面和第三子帧画面上位置相同的像素10显示的画面投射到人眼瞳孔区域(即视网膜上)的同一个位置，三个由不同颜色光源提供背光的画面在此进行融合，从而消除色分离现象，保证人眼感受到的画面是一个完整的画面。

在一些实施例中，参照图3，显示模组还包括存储模块，被配置为存储第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。如此便于各子帧画面对应的当前瞳孔位置数据参与到后续的各子帧画面对应的瞳孔位置的预测中。

在一些实施例中，存储模块为显示模组中具有存储功能的硬件结构，如存储器等。

本公开实施例中所提供的显示模组，通过处理模块处理确定n个子帧画面中首先显示的第一子帧画面对应的当前瞳孔位置；第一预测模块计算第一子帧画面的后续各子帧画面对应的当前瞳孔位置；第二预测模块根据第一预测模块的计算结果计算第一子帧画面的后续各子帧画面的实际显示位置；能够获取人眼眼球的转动轨迹信息，以便对人眼眼球的转动进行捕捉和追踪；通过将第一子帧画面的后续各子帧画面由原待显示位置调整至实际显示位置，能够实现使第一子帧画面的后续各子帧画面的实际显示位置去追赶眼球转动的位置，从而使第一子帧画面的后续各子帧画面上位置相同的像素显示的画面投射到人眼瞳孔区域(即视网膜上)的同一个位置，三个由不同颜色光源提供背光的画面在此进行融合，从而消除色分离现象，保证人眼感受到的画面是一个完整的画面。

基于上述实施例中显示模组的结构，本公开实施例还提供一种该显示模组的显示方法，参照图12，为本公开实施例中显示模组显示方法的流程图；其中，该显示方法包括：步骤S101：将一帧彩色画面拆解为n个子帧画面；n个子帧画面依次进行显示，n≥3，且n为整数。

步骤S102：获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；第一子帧画面为所述n个子帧画面依次显示时首先进行显示的子帧画面。

该步骤具体包括：在第一子帧画面显示时，拍摄眼部图像；将眼部图像转换为灰度图像；在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将瞳孔区域的中心确定为第一子帧画面对应的当前瞳孔位置。

在一些实施例中，在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将瞳孔区域的中心确定为第一子帧画面对应的当前瞳孔位置，具体包括：对灰度图像进行二值化处理，获得眼部的二值化图像；采用连通区域标记法在眼部的二值化图像上检测候选瞳孔连通区域；基于几何约束和距离约束算法，在候选瞳孔连通区域中筛选出眼部的瞳孔区域；用直径最小的圆圈将瞳孔区域覆盖，将圆圈的中心确定为瞳孔区域的中心。

步骤S103：根据第一子帧画面对应的当前瞳孔位置和前m次测量获取的第一子帧画面对应的瞳孔位置，计算n个子帧画面中第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数。

在一些实施例中，n＝3，m＝2；第一子帧画面的后续子帧画面包括第二子帧画面和第三子帧画面；第一子帧画面、第二子帧画面和第三子帧画面依次进行显示；该步骤S103包括：根据公式(1)计算第二子帧画面对应的当前瞳孔位置，根据公式(2)计算第三子帧画面对应的当前瞳孔位置。

pos_curr_g＝pos_curr+v_curr×delta+1/2×a_curr×delta²； (1)

pos_curr_b＝pos_curr+v_curr×delta×2+1/2×a_curr×(2×delta)²； (2)

其中，

a_curr为眼球转动的当前加速度；v_curr为眼球转动的当前速度；pos_1和pos_2分别为前2次测量获取的第一子帧画面对应的瞳孔位置；pos_curr为第一子帧画面对应的当前瞳孔位置；pos_curr_g为第二子帧画面对应的当前瞳孔位置；pos_curr_b为第三子帧画面对应的当前瞳孔位置；delta为一个子帧画面的刷新时长，delta＝1/一个子帧画面的刷新频率。

在一些实施例中，该显示方法还包括：存储第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。

步骤S104：根据n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置。

该步骤具体包括：根据第二子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算第二子帧画面的原待显示位置相对于第一子帧画面的当前位置的第一偏移矩阵。根据第三子帧画面对应的当前瞳孔位置相对于第一子帧画面对应的当前瞳孔位置的偏移量计算第三子帧画面的原待显示位置相对于第一子帧画面的当前位置的第二偏移矩阵。将第二子帧画面的原待显示位置与第一偏移矩阵相乘，获得第二子帧画面的实际显示位置。将第三子帧画面的原待显示位置与第二偏移矩阵相乘，获得第三子帧画面的实际显示位置。

在一些实施例中，所述第一偏移矩阵为：

所述第二偏移矩阵为：

其中，Rx1、Ry1、Rz1分别表示第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的旋转幅度；Tx1、Ty1、Tz1分别表示第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的平移幅度；Rx2、Ry2、Rz2分别表示第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的旋转幅度；Tx2、Ty2、Tz2分别表示第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于第一子帧画面的当前位置的平移幅度；Z轴垂直于X轴和Y轴相交形成的二维坐标平面，且Z轴与X轴和Y轴相交于原点。

步骤S105：按照后续各子帧画面的实际显示位置依次显示后续各子帧画面。

本公开实施例中所提供的显示模组的显示方法，通过处理确定n个子帧画面中首先显示的第一子帧画面对应的当前瞳孔位置；计算第一子帧画面的后续各子帧画面对应的当前瞳孔位置；根据第一子帧画面的后续各子帧画面对应的当前瞳孔位置的计算结果计算第一子帧画面的后续各子帧画面的实际显示位置；能够获取人眼眼球的转动轨迹信息，以便对人眼眼球的转动进行捕捉和追踪；通过将第一子帧画面的后续各子帧画面由原待显示位置调整至实际显示位置，能够实现使第一子帧画面的后续各子帧画面的实际显示位置去追赶眼球转动的位置，从而使第一子帧画面的后续各子帧画面上位置相同的像素显示的画面投射到人眼瞳孔区域(即视网膜上)的同一个位置，三个由不同颜色光源提供背光的画面在此进行融合，从而消除色分离现象，保证人眼感受到的画面是一个完整的画面。

第三方面，本公开实施例还提供一种显示装置，其中，包括上述实施例中的显示模组。

通过采用上述实施例中的显示模组，使该显示装置在进行虚拟现实显示时不会出现色分离现象，提升了该显示装置的虚拟现实显示效果。

该显示装置可以为：VR眼镜、VR面板、VR电视、手机、平板电脑、笔记本电脑、显示器、数码相框、导航仪等任何具有VR显示功能的产品或部件。

第四方面，本公开实施例还提供一种虚拟显示设备，包括上述实施例中的显示装置。

通过采用上述实施例中的显示装置，使该虚拟显示设备在进行虚拟现实显示时不会出现色分离现象，提升了该虚拟显示设备的虚拟现实显示效果。

该虚拟显示设备可以为：VR眼镜、VR面板、VR电视、手机、平板电脑、笔记本电脑、显示器、数码相框、导航仪等任何具有VR显示功能的产品或部件。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (11)

1.一种显示方法，其中，包括：

将一帧彩色画面拆解为n个子帧画面；所述n个子帧画面依次进行显示，n≥3，且n为整数；

获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；所述第一子帧画面为所述n个子帧画面依次显示时首先进行显示的子帧画面；

根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；

根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；

按照后续各子帧画面的实际显示位置依次显示后续各子帧画面；

所述获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置，包括：

在所述第一子帧画面显示时，拍摄眼部图像；

将眼部图像转换为灰度图像；

在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；

在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置；

所述在X轴和Y轴构成的坐标平面内对灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置，包括：

对灰度图像进行二值化处理，获得眼部的二值化图像；

采用连通区域标记法在所述眼部的二值化图像上检测候选瞳孔连通区域；

基于几何约束和距离约束算法，在所述候选瞳孔连通区域中筛选出眼部的所述瞳孔区域；

用直径最小的圆圈将所述瞳孔区域覆盖，将所述圆圈的中心确定为所述瞳孔区域的中心。

2.根据权利要求1所述的显示方法，其中，n＝3，m＝2；

所述第一子帧画面的后续子帧画面包括第二子帧画面和第三子帧画面；所述第一子帧画面、所述第二子帧画面和所述第三子帧画面依次进行显示；

所述根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置，包括：

根据公式(1)计算所述第二子帧画面对应的当前瞳孔位置，根据公式(2)计算所述第三子帧画面对应的当前瞳孔位置；

pos_curr_g＝pos_curr+v_curr×delta+1/2×a_curr×delta²； (1)

pos_curr_b＝pos_curr+v_curr×delta×2+1/2×a_curr×(2×delta)²； (2)

其中，

a_curr为眼球转动的当前加速度；v_curr为眼球转动的当前速度；pos_1和pos_2分别为前2次测量获取的所述第一子帧画面对应的瞳孔位置；pos_curr为所述第一子帧画面对应的当前瞳孔位置；pos_curr_g为所述第二子帧画面对应的当前瞳孔位置；pos_curr_b为所述第三子帧画面对应的当前瞳孔位置；delta为一个所述子帧画面的刷新时长，delta＝1/一个所述子帧画面的刷新频率。

3.根据权利要求2所述的显示方法，其中，所述根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置，包括：

根据所述第二子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第二子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第一偏移矩阵；

根据所述第三子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第三子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第二偏移矩阵；

将所述第二子帧画面的原待显示位置与所述第一偏移矩阵相乘，获得所述第二子帧画面的实际显示位置；

将所述第三子帧画面的原待显示位置与所述第二偏移矩阵相乘，获得所述第三子帧画面的实际显示位置。

4.根据权利要求3所述的显示方法，其中，

所述第一偏移矩阵为：

所述第二偏移矩阵为：

其中，Rx1、Ry1、Rz1分别表示所述第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的旋转幅度；Tx1、Ty1、Tz1分别表示所述第二子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的平移幅度；

Rx2、Ry2、Rz2分别表示所述第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的旋转幅度；Tx2、Ty2、Tz2分别表示所述第三子帧画面的原待显示位置沿X轴、Y轴、Z轴相对于所述第一子帧画面的当前位置的平移幅度；

Z轴垂直于X轴和Y轴相交形成的二维坐标平面，且Z轴与X轴和Y轴相交于原点。

5.根据权利要求1-4任意一项所述的显示方法，其中，还包括：存储所述第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。

6.一种显示模组，其中，包括：

拆解模块，被配置为将一帧彩色画面拆解为n个子帧画面；n≥3，且n为整数；

显示模块，被配置为将所述n个子帧画面依次进行显示；

处理模块，被配置为获取眼部图像，对所述眼部图像进行处理，确定第一子帧画面对应的当前瞳孔位置；所述第一子帧画面为所述n个子帧画面中首先进行显示的子帧画面；

第一预测模块，被配置为根据所述第一子帧画面对应的当前瞳孔位置和前m次测量获取的所述第一子帧画面对应的瞳孔位置，计算所述n个子帧画面中所述第一子帧画面的后续各子帧画面对应的当前瞳孔位置；m≥2，且m为整数；

第二预测模块，被配置为根据所述n个子帧画面中后续各子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算后续各子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的实际偏移量；并根据后续各子帧画面的原待显示位置以及其相对于所述第一子帧画面的当前位置的实际偏移量计算后续各子帧画面的实际显示位置；

所述显示模块，还被配置为按照后续各子帧画面的实际显示位置对后续各子帧画面依次进行显示；

所述处理模块还包括图像处理单元，被配置为将眼部图像转换为灰度图像；在灰度图像中根据眼角特征点检测出眼部的左右眼角位置点；将左右眼角位置点连线并作为X轴，与X轴垂直的轴作为Y轴，X轴和Y轴相交的原点为左右眼角位置点连线的中点；

所述图像处理单元，还被配置为对眼部的灰度图像进行处理，确定眼部的瞳孔区域；将所述瞳孔区域的中心确定为所述第一子帧画面对应的当前瞳孔位置；

所述图像处理单元被配置为对灰度图像进行二值化处理，获得眼部的二值化图像；

采用连通区域标记法在所述眼部的二值化图像上检测候选瞳孔连通区域；

基于几何约束和距离约束算法，在所述候选瞳孔连通区域中筛选出眼部的所述瞳孔区域；

用直径最小的圆圈将所述瞳孔区域覆盖，将所述圆圈的中心确定为所述瞳孔区域的中心。

7.根据权利要求6所述的显示模组，其中，所述显示模块包括显示面板和透镜，所述透镜位于所述显示面板的显示侧；

所述处理模块包括红外发射器和红外相机，

所述红外发射器位于所述透镜的背离所述显示面板的一侧，且分布于所述透镜的四周边缘，用于向眼部发射红外光；

所述红外相机位于所述透镜的背离所述显示面板的一侧，且位于所述透镜的边缘，用于拍摄眼部图像。

8.根据权利要求7所述的显示模组，其中，所述第一子帧画面的后续子帧画面包括第二子帧画面和第三子帧画面；所述第一子帧画面、所述第二子帧画面和所述第三子帧画面依次进行显示；

所述第二预测模块被配置为根据所述第二子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第二子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第一偏移矩阵；

所述第二预测模块还被配置为根据所述第三子帧画面对应的当前瞳孔位置相对于所述第一子帧画面对应的当前瞳孔位置的偏移量计算所述第三子帧画面的原待显示位置相对于所述第一子帧画面的当前位置的第二偏移矩阵；

所述第二预测模块还被配置为将所述第二子帧画面的原待显示位置与所述第一偏移矩阵相乘，获得所述第二子帧画面的实际显示位置；将所述第三子帧画面的原待显示位置与所述第二偏移矩阵相乘，获得所述第三子帧画面的实际显示位置。

9.根据权利要求6-8任意一项所述的显示模组，其中，还包括存储模块，被配置为存储所述第一子帧画面对应的当前瞳孔位置和后续各子帧画面对应的当前瞳孔位置。

10.一种显示装置，其中，包括权利要求6-9任意一项所述的显示模组。

11.一种虚拟显示设备，其中，包括权利要求10所述的显示装置。