CN109886876A - 一种基于人眼视觉特征的近眼显示方法 - Google Patents
一种基于人眼视觉特征的近眼显示方法 Download PDFInfo
- Publication number
- CN109886876A CN109886876A CN201910138436.XA CN201910138436A CN109886876A CN 109886876 A CN109886876 A CN 109886876A CN 201910138436 A CN201910138436 A CN 201910138436A CN 109886876 A CN109886876 A CN 109886876A
- Authority
- CN
- China
- Prior art keywords
- subregion
- display
- eye
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种基于人眼视觉特征的近眼显示方法,首先将近眼显示器屏幕划分为n个显示子区域;然后获取所述n个显示子区域分别对应的临界空间频率;根据所述n个显示子区域分别对应的临界空间频率,从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据;将所述n个图层的视频图像数据传输至所述近眼显示器;最后对所述n个图层的视频图像数据进行重建和拼接,生成符合人眼凝视效果的图像,显示在所述近眼显示器屏幕中。本发明提供的近眼显示器的控制方法可大幅减小图像发生源传输到近眼显示器的数据量,降低传输带宽、支持更高的显示分辨率和刷新率、降低功耗,且符合人眼空间分布特性,同时还可减缓晕眩现象。
Description
技术领域
本发明涉及显示器领域,具体而言,涉及一种基于人眼视觉特征的近眼显示方法。
背景技术
近眼显示器是一种通过光学***形成大视场的新型显示器,通常位于人眼附近,可用于穿戴式近眼显示场景,例如虚拟/增强现实的头盔或眼镜。随着虚拟/增强现实应用对显示器分辨率和刷新率的指标要求不断提高,显示***所需要的显示数据量急剧提升,当前技术的传输带宽无法很好满足虚拟/增强现实应用对显示数据的传输要求。
考虑到近眼显示器***所传输的视频图像信息源存在很大的视觉感知冗余,传输并显示人眼视觉***不能觉察到的冗余信息相对于有限的网络带宽和终端设备来说是一种浪费,因此若能去除这些冗余信息,就可以使传输的图像数据极大地减少,从而改善视频图像数据传输量巨大带来的技术问题。
由于常规平板显示器在面板各区域采用了相同的物理像素点距和相同的驱动方法,因此传统图像数据压缩方法更多考虑人眼视觉特性关于色彩方面的参变量来减少冗余信息,而较少考虑人眼在空间上的分布特性。
发明内容
有鉴于此,本发明的目的在于提供一种基于人眼视觉特性的近眼显示方法,从而减小数据传输带宽。对于空间而言,人眼视力在视中心方向上的分辨率最高,随着视角增大而分辨能力变得越来越小,因此本发明构思了一种近眼显示器的控制方法,使在图像中心提供高的显示质量,在图像边缘提供低的显示质量,并使显示质量随着空间分布从中心向四周递减,从而减小传输数据量。
为了实现上述目的,本发明提供了一种基于人眼视觉特征的近眼显示方法,所述方法包括:
根据人眼凝视点,将近眼显示器屏幕划分为n个显示子区域,其中包括位于中心的人眼凝视子区域;
获取所述n个显示子区域分别对应的临界空间频率;
根据所述n个显示子区域分别对应的临界空间频率,从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据;
将所述n个图层的视频图像数据传输至所述近眼显示器;
对所述n个图层的视频图像数据进行重建和拼接,生成符合人眼凝视效果的图像,显示在所述近眼显示器屏幕中。
进一步地,所述人眼凝视效果至少包括:
在所述人眼凝视子区域采用了相对高的图像信息量的显示效果,
在边缘子区域采用了相对低的图像信息量的显示效果,
在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用了介于最高的图像信息量和最低的图像信息量之间的显示效果;
且所述图像信息量通过图像的像素空间分辨率和像素点灰度值位数来描述。
进一步地,所述n个显示子区域依据人眼到所述近眼显示器屏幕的视网膜偏心率的量化或连续划分,且包括了以所述人眼凝视子区域向边缘扩张的环状子区域和/或无显示内容的边角子区域。
进一步地,所述n个显示子区域构成的分辨率和细节符合人类视觉特征的中心凹图像,且每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。
进一步地,所述中心凹图像通过几何映射方法、滤波方法或层次化方法得到,并对应了n个图层,所述n个图层可由图像金字塔描述,所述n个图层在所述图像金字塔的映射平面上组合拼接后形成了在所述近眼显示屏幕上呈现的中心凹图像。
进一步地,所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔中的一种。
进一步地,所述临界空间频率根据经验公式或人眼模型公式得到,所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数,所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数。
进一步地,获取所述n个显示子区域分别对应的临界空间频率的具体步骤包括:
将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。
进一步地,所述创建和渲染对应的n个图层的视频图像数据的具体步骤包括:
依据所述n个显示子区域所处近眼显示器屏幕的物理位置,从输入视频图像中获取这n个显示子区域相应位置的视频图像数据;
对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波,生成n个图层的视频图像数据,且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率;
获取所述n个图层的视频图像数据的下采样系数。
进一步地,所述创建和渲染对应的n个图层的视频图像数据的具体步骤还包括了将像素低位数据累加到周围像素上,从而减小像素数据位数的步骤。
进一步地,将所述n个图层的视频图像数据基于无线或有线的通信方式,在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中,所述信道为物理信道或者逻辑信道。
进一步地,所述n个图层的视频图像数据进行重建和拼接的具体步骤包括:
对所述n个图层的视频图像数据进行重建,使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值;
在相邻显示区域间预留重叠区进行多分辨率图像拼接,所述预留重叠区的步骤包括了判断处于所述重叠区的图像数据,以及将所述重叠区的图像按不同权重进行相互融合并形成完整画面的步骤。
进一步地,所述重建和拼接的步骤包括了图像插值、图像重采样、图像增强、双边滤波和像素位扩展的计算。
进一步地,所述人眼凝视子区域的中心点通过眼球追踪方式实时获得,且从所述中心点的获取到所述近眼显示器显示图像的时间延迟不被人查觉。
进一步地,所述眼球追踪包括根据眼球和眼球周边的特征变化进行跟踪,或根据虹膜角度变化进行跟踪,或主动投射红外线光束到虹膜后提取特征来进行跟踪。
进一步地,所述近眼显示器屏幕包括了显示两个分别用于人的左眼和右眼的独立图像,或包括了两个独立屏幕分别用于显示人的左眼和右眼,所述独立图像和独立屏幕都可分别划分为包括人眼凝视子区域的若干显示子区域。
本发明与现有技术相比较,具有如下显而易见的实质性特点和显著进步:
(1)本发明提供的近眼显示方法,可大幅减小图像源传输到近眼显示器的数据量,从而降低传输带宽,支持更高的显示分辨率和刷新率,降低***功耗。
(2)本发明提供的数据压缩方法和还原方法符合人眼的空间分布特性,压缩效率高,数据计算量小,图像还原效果好,同时还可减缓晕眩现象。
(3)本发明提供了有线和无线的多种信道传输方式,使传输更加灵活。
(4)本发明提供了眼球追踪方案来实时控制凝视点,更具实用性。
(5)本发明提供了单目和双目近眼显示器的方案,更具实用性。
附图说明
图1为本发明第一实施例的流程图;
图2为一种近眼显示器屏幕分区示意图;
图3为另一种近眼显示器屏幕分区示意图;
图4为一种n个图层对应的图像金字塔的示意图;
图5为一种n个图层对应的图像金字塔合成中心凹图像的示意图;
图6为视网膜偏心率和临界空间频率的关系的一种实例;
图7为像素位置和临界空间频率的关系的一种实例。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
参照图1,示出了本发明一种近眼显示方法的流程图,包括步骤:
步骤S100:根据人眼凝视点,将近眼显示器屏幕划分为n个显示子区域,其中包括了位于中心的人眼凝视子区域。
步骤S110:获取n个显示子区域分别所对应的临界空间频率。
步骤S120:根据n个显示子区域分别所对应的临界空间频率,从输入的视频图像中为这n个显示子区域分别创建和渲染对应的n个图层的视频图像数据。
步骤S130:将这n个图层的视频图像数据传输至所述近眼显示器中。
步骤S140:对这n个图层的视频图像数据进行重建和拼接,生成符合人眼凝视效果的图像,显示在所述近眼显示器屏幕中。
为了更清楚的说明本发明第一实施例的技术方案及有益效果,下面更进一步说明。
参照图2,示出了以上技术方案的近眼显示器屏幕的第一种分区示意图。将显示器屏幕T30划分为n个显示子区域,其中n为大于1的整数。根据所述n个显示子区域分别所对应的临界空间频率从输入的视频图像中为所述n个显示子区域分别创建对应的视频图像数据。其中,不同显示子区域对应的视频图像数据的分辨率不同。依据人眼到所述显示子区域的视网膜偏心率的量化结果将显示器屏幕T30划分为n个显示子区域,且至少包含了中心人眼凝视区和中心向边缘扩张的正方形或长方形环状区域,正方形或长方形环状区域宽度不必相等,但每个正方形或长方形环状区域宽度至少包含一个像素;所述显示子区域的数量和大小根据用户需求配置;量化划分表明了对于显示器T30的划分是一种量化过程,采用了有限的划分区域,简化了划分过程和运算过程;而另一种方式采用连续划分,可达到与人眼的最佳匹配程度。
显然,所描述的分区方法仅仅是本发明一部分的分区方法,而不是全部的分区方法。
参照图3,示出了另一种技术方案的近眼显示器屏幕的分区示意图。将显示器屏幕T40划分为n个显示子区域,其中n为大于1的整数。本分区方法与上述第一种分区方法基本相同,特别之处在于:依据人眼视角将近眼显示器屏幕T40划分为n个显示子区域,且至少包含了中心人眼凝视区和中心向边缘扩张的圆形或椭圆形的环状区域,圆形或椭圆形的环状区域宽度不必相等,但每个圆形或椭圆形的环状区域宽度至少包含一个像素;所述显示子区域的数量和大小根据用户需求配置。特别地,当采用圆形的目镜对准所述近眼显示器时,在显示器屏幕的四角T50处,不必传输视频图像数据,从而进一步减少数量传输量。
上述方法能够在保证在人眼凝视效果的前提下,降低数据传输的带宽。人眼凝视点位置所在的像素,被人眼感知到的分辨率最高,其余像素点被人眼感知到的分辨率随着其距离人眼凝视点位置的像素距离的增加而减小;所述像素距离越大,其被人眼感知到的分辨率越小。因此根据这种特征,可以使显示器达到人眼凝视效果。特别地,这种人眼凝视效果还包括:在所述人眼凝视子区域采用了高(或最高)的图像信息量的显示效果,在远离所述人眼凝视子区域的边缘子区域采用了低(或最低)的图像信息量的显示效果,以及在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用了介于高(或最高)的图像信息量和低(或最低)的图像信息量之间的显示效果。
进一步地,所述图像信息量通过图像的像素点数量和像素点灰度值位数来表征,这也就意味一方面可以通过压缩图像的空间数据来达到减少数据传输量的目的,另一方面也可以通过压缩图像的灰度位数来达到减少数据传输量的目的,例如,对中心的人眼凝视子区域采用24-30位彩色数据或8-10位单色数据,在远离人眼凝视子区域的边缘子区域采用10-18位彩色数据或3-6位单色数据来表征图像的灰度,越远离人眼凝视子区域,采用越少的数据位数。
本发明实施例所述的技术方案利用了临界空间频率,在人眼凝视区域保持高分辨率的逼真度显示,而在视线边缘区域采用低分辨率的图像显示,模拟人眼凝视效果,保证了用户体验。
实施例二:
本实施例进一步详细描述了实施一中步骤S100中将近眼显示器屏幕划分为n个显示子区域的方法。
首先,所述n个显示子区域构成的分辨率和细节符合人类视觉特征的中心凹图像(Foveated图像),使得屏幕所显示的中心凹图像对应了人眼视网膜的中心凹,从而使屏幕图像分辨率和细节与人眼模型保持一致。在所述中心凹图像中,每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。
特别地,中心凹图像方法可采用几何映射方法、滤波方法和层次化方法得到。
以下分别阐述详细实施:
几何映射方法将非均匀采样的几何结构随同空间变化的自适应坐标转换结合起来,例如,采用对数极坐标映射变换或超像素变换方法,将视线中心的重要目标物体映射到坐标中间的高分辨率区域,将不重要的内容映射到图像边缘区域,形成中心凹图像。
滤波方法通过采用低通或带通滤波器实现图像重采样,所述滤波器截止频率的选取由视网膜的局部采样密度决定。通过采用有限组滤波器进行不同采样频率的滤波后得到一系列图像,拼接得到中心凹图像。
层次化方法是通过对输入图像进行不同程度的模糊后构建形成图像金字塔,将图像金字塔映射后得到中心凹图像。不同程度的模糊方法包含了对于图像空间分辨率的重采样(缩放)以及对于像素点色深等图像处理方法。例如,采用高斯金字塔、拉普拉斯金字塔、差分金字塔、混合高斯金字塔法或mipmap金字塔等图像金字塔来描述中心凹图像。
参照图4,示出了一种n个图层对应的图像金字塔的示意图,该图像金字塔描述了来源于同一个图像源的、分辨率由底自上逐步降低的、呈金字塔形状排列的n个图层。所述金字塔为高斯金字塔、拉普拉斯金字塔、差分高斯金字塔、混合高斯金字塔法或mipmap金字塔。所述高斯金字塔是指将图像进行高斯滤波(或高斯卷积)并向下采样形成了一组图像,在一个例子中,先将图像扩大一倍后再对其高斯滤波,然后对高斯滤波生成的图像进行下采样,如此在图像金字塔中反复,得到n个图层。特别地,对图像金字塔中两幅相邻的图像做差得到插值图像,得到差分高斯金字塔。此外,还可以采用拉普拉斯金字塔,用于从金字塔的低层图像通过上采样重建高层图像。配合高斯金字塔一起使用。在另一个例子中,通过Mipmap纹理映射技术产生图像金字塔,例如,建立起高斯核半径和Mipmap等级m之间的关系,从而减小高斯滤波的运算量。
参照图5,示出了一种n个图层对应的图像金字塔合成的中心凹图像。每个图层都用来表示所述近眼显示器屏幕中的一个显示子区域,这些显示子区域在映射平面上组合拼接后形成了在近眼显示屏幕上呈现的中心凹图像。可以看到,在图像金字塔中不被合成到中心凹图像的部分将不再被传输。特别地,所述拼接还包括边界滤波的过程,使图像拼接处更为平滑。
实施例三:
本实施例进一步详细描述了实施一中临界空间频率的计算方法。所述临界空间频率表示在当前区域中人眼对事物所能感知到的最大的细节程度,即超过这个频率的高频信号信息将不会被人眼所感知。
在第一个例子中,示出了临界空间频率通过一种经验公式的计算过程:
首先,将某一个特定显示子区域中物理像素点位置所对应的人眼对比敏感度和此显示子区域的空间频率建立数学关系,该关系的一种优选方案可由式(1)和式(2)描述:
式中,CS(f,e)是人眼对比敏感度,CT(f,e)是可见的对比度阈值,f是空间频率,e是视网膜偏心率,e2是半分辨率偏心率常数,CT0是人眼对比敏感度阈值,a是空间频率衰减系数。进一步地,a=0.05~0.25,e2=2.0~3.0,CT0=1/128~1/16。特别地,当a=0.106,e2=2.3,CT0=1/64,可以满足大部分图像要求,用来拟合对比度敏感模型。
然后,将人眼对比敏感度CS(f,e)设置为最大值或加权平均值,优选为设置为最大值,其次,设置为略小于最大值的加权平均值也是可以被接受的方案。
最后,根据式(1)和式(2)计算得到的空间频率即为临界空间频率。
图6反应了本实施例计算得到的视网膜偏心率和临界空间频率的关系,横坐标为视网膜偏心率,纵坐标为临界空间频率。
应当指出,式(1)和式(2)是一种优选的倒数型和指数型关系,但并不代表所有的函数关系。当人眼对比敏感度CS(f,e)保持固定时,只要满足视网膜偏心率e的增加导致所述空间频率f减少的数学关系都可能被采用。
在第二个例子中,示出了临界空间频率通过一种人眼模型公式的计算过程:
首先,根据式(3),利用3×3的高斯卷积函数对原始图像进行高斯滤波处理:
I(l)表示l层的纹理金字塔图像,p为固定点位置,G为3×3的高斯卷积函数,包含了各个临近像素的高斯权重,为固定点为中心的八个相邻像素,wG为高斯函数各部分权重和的倒数。从l=0开始计算每一个层的纹理金字塔图像。
其次,采用滤波下采样的取值的方式使图像的长宽均变为原来的1/1.5~1/10,优选1/2,从而建立了纹理金字塔。
然后,根据式(4)计算每一个像素点所对应凝视点的相对应角度值,即偏心率;
其中,Nv为观测者到凝视点平面的距离,d(x)为像素点到凝视点的距离。
最后,根据式(5)计算空间频率,从而采用高斯滤波来去除图像信息中的高频信号。
其中,fc为空间频率,σ为高滤波的核半径(可配置的滤波系数),e为视网膜偏心率,d(x)为像素点到凝视点的距离。
图7反应了本实施例计算得到的像素位置和临界空间频率的关系,横坐标为平面上的像素位置,纵坐标为临界空间频率,本例包括了四个图层,在其他例子中,可以包含更多的图层以进一步减少图像传输的数据量。图层的数量取决于运算体的速度,运算体速度越快,可以支持的图层数量也越多,减少图像传输的数据量也越大。
实施列四:
本实施例详细描述了实施一中的获取n个显示子区域分别所对应的临界空间频率的具体步骤S110,该步骤包括:
将所述显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某个固定值。后者表示采用略低的图像的质量以提供更大的数据压缩和更小数据传输带宽。
实施例五:
本实施例详细描述了实施一中的所述创建和渲染对应的n个图层的视频图像数据的具体步骤S120,该步骤包括:
首先,依据n个显示子区域所处近眼显示器屏幕的物理位置,从输入视频图像中获取这n个显示子区域相应位置的视频图像数据;
然后,根据每一个显示子区域的临界空间频率,对这n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波,生成n个图层的视频图像数据,且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率,从而使下采样滤波根据人眼可以接受的临界空间频率进行滤波压缩数据,需要注意的是,可以使下采样滤波后的图像空间频率略小于这一子区域的临界空间频率,通过略微牺牲图像质量达到增加压缩比的目的。
同时,获取所述n个图层的视频图像数据的下采样系数。
进一步地,所述滤波下采样包括了对图像的空间分辨率的滤波下采样和对图像灰度分辨率的下采样,前者包含了取若干像素点灰度平均值的过程,后者包含了将像素点低位灰度值累加到周边像素从而减少像素位数的过程。特别地,所述创建和渲染对应的n个图层的视频图像数据的具体步骤还包括了将像素低位数据累加到周围像素上,从而减小像素数据位数的过程。
进一步地,可将下采样滤波的过程用图像的中心凹(Foveated)计算来进行,这包括了对人眼凝视子区域采用更小的下采样系数进行滤波以保留更多图像信息,以及对远离所述人眼凝视子区域采用更大的下采样系数进行滤波以压缩更多图像信息的过程。进一步地,中心凹计算可以采用几何映射法、滤波法或层次化法,且包括小波变换、高斯滤波、卷积、量化、纹理金字塔(包括mipmap金字塔)、数据压缩和/或灰度抖动等数学运算。特别的,中心凹计算方法如第三实例中的方法。
实施例六:
本实施例详细描述了实施一中的将n个图层的视频图像数据传输至所述近眼显示器的具体步骤S130,包括:
将n个图层的视频图像数据基于无线或有线的通信方式,在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中,所述信道为物理信道或者逻辑信道。
实施例七:
本实施例详细描述了实施一中的对n个图层的视频图像数据进行重建和拼接,生成符合人眼凝视效果的图像的具体步骤S140,包括:
对n个图层的视频图像数据进行重建,使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值;
在相邻显示区域间预留重叠区进行多分辨率图像拼接,所述预留重叠区的步骤包括了判断处于所述重叠区的图像数据,以及将所述重叠区的图像按不同权重进行相互融合并形成完整画面的过程。
进一步地,所述重建和拼接的过程包括了图像插值、图像重采样、图像增强、双边滤波和像素位扩展的计算。特别地,所述图像插值可采用最近邻插值、双线性插值、双三次插值、样条插值、基于边缘的图像插值算法、基于区域的图像插值算法。
特别的,为了降低纹理图层拼接过程中的边界线效应,采用添加中间过渡带的方式,在相邻纹理图层在拼接过程中预留一定重叠区域,重叠区域的像素按不同权重进行相互融合,形成图像融合过渡带,具体可描述为式(6):
IF(i,j)=γ(i,j)IA(i,j)+(1-γ(i,j))IB(i,j)(6)
其中,IF为图像融合过渡带中的像素,IA为当前图层的像素,IB为下一图层中的像素;通过控制γ的取值可进行不同图层间像素相互融合,γ的取值范围为0~1。
实施例八:
本实施例在实施例一至七的基础上,增加了通过眼球追踪方式实时获得人眼凝视点的方法。当人眼球发生位置改变时,立即根据新的人眼凝视点,对近眼显示器屏幕进行显示子区域的重新划分,并重新得到人眼凝视子区域的中心点。对于显示图像进行重新计算。从人眼凝视点的获取到近眼显示器显示图像的时间延迟不被人查觉,从而避免造成了晕眩。特别地,鉴于人眼凝视子区域的中心点具有一定误差,因此在划分显示子区域和设定临界空间频率,应留出足够裕量,以保证不被人眼觉察。
进一步地,所述眼球追踪包括根据眼球和眼球周边的特征变化进行跟踪,或根据虹膜角度变化进行跟踪,或主动投射红外线光束到虹膜后提取特征来进行跟踪。
实施例九:
所述近眼显示器屏幕包括了显示两个分别用于人的左眼和右眼的独立图像,所述独立图像可以分别被划分为包括人眼凝视子区域的若干显示子区域。特别地,这两个独立图像可以分别反应人眼追踪得到的人眼凝视点和相应的显示子区域。
在另一个实例中,所述近眼显示器屏幕包括了两个独立屏幕分别用于显示人的左眼和右眼,所述独立屏幕都可以分别划分为包括人眼凝视子区域的若干显示子区域。特别地,这两个独立屏幕可以分别反应人眼追踪得到的人眼凝视点和相应的显示子区域。
Claims (16)
1.一种基于人眼视觉特征的近眼显示方法,其特征在于,所述方法包括:
根据人眼凝视点,将近眼显示器屏幕划分为n个显示子区域,其中包括位于中心的人眼凝视子区域;
获取所述n个显示子区域分别对应的临界空间频率;
根据所述n个显示子区域分别对应的临界空间频率,从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据;
将所述n个图层的视频图像数据传输至所述近眼显示器;
对所述n个图层的视频图像数据进行重建和拼接,生成符合人眼凝视效果的图像,显示在所述近眼显示器屏幕中。
2.根据权利要求1所述的近眼显示方法,其特征在于,所述人眼凝视效果至少包括:
在所述人眼凝视子区域采用相对高的图像信息量的显示效果,
在边缘子区域采用相对低的图像信息量的显示效果,
在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用介于最高的图像信息量和最低的图像信息量之间的显示效果;
且所述图像信息量通过图像的像素空间分辨率和像素点灰度值位数来描述。
3.根据权利要求1所述的近眼显示方法,其特征在于,所述n个显示子区域依据人眼到所述近眼显示器屏幕的视网膜偏心率的量化或连续划分,且包括以所述人眼凝视子区域向边缘扩张的环状子区域和/或无显示内容的边角子区域。
4.根据权利要求1所述的近眼显示方法,其特征在于,所述n个显示子区域构成的分辨率和细节符合人类视觉特征的中心凹图像,且每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。
5.根据权利要求4所述的近眼显示方法,其特征在于,所述中心凹图像通过几何映射方法或滤波方法或层次化方法得到,并对应n个图层,所述n个图层可由图像金字塔描述,所述n个图层在所述图像金字塔的映射平面上组合拼接后形成在所述近眼显示屏幕上呈现的中心凹图像。
6.根据权利要求5所述的近眼显示方法,其特征在于,所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔中的一种。
7.根据权利要求1所述的近眼显示方法,其特征在于,所述临界空间频率根据经验公式或人眼模型公式得到,所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数,所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数。
8.根据权利要求1所述的近眼显示方法,其特征在于,获取所述n个显示子区域分别对应的临界空间频率的具体步骤包括:
将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。
9.根据权利要求1所述的近眼显示方法,其特征在于,所述创建和渲染对应的n个图层的视频图像数据的具体步骤包括:
依据所述n个显示子区域所处近眼显示器屏幕的物理位置,从输入视频图像中获取这n个显示子区域相应位置的视频图像数据;
对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波,生成n个图层的视频图像数据,且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率;
获取所述n个图层的视频图像数据的下采样系数。
10.根据权利要求1所述的近眼显示方法,其特征在于,所述创建和渲染对应的n个图层的视频图像数据的具体步骤还包括将像素低位数据累加到周围像素上,从而减小像素数据位数的步骤。
11.根据权利要求1所述的近眼显示方法,其特征在于,将所述n个图层的视频图像数据基于无线或有线的通信方式,在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中,所述信道为物理信道或者逻辑信道。
12.根据权利要求1所述的近眼显示方法,其特征在于,所述n个图层的视频图像数据进行重建和拼接的具体步骤包括:
对所述n个图层的视频图像数据进行重建,使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值;
在相邻显示区域间预留重叠区进行多分辨率图像拼接,所述预留重叠区的步骤包括判断处于所述重叠区的图像数据,以及将所述重叠区的图像按不同权重进行相互融合并形成完整画面的步骤。
13.根据权利要求12所述的近眼显示方法,其特征在于,所述重建和拼接的步骤包括图像插值、图像重采样、图像增强、双边滤波和像素位扩展的计算。
14.根据权利要求1所述的近眼显示方法,其特征在于,所述人眼凝视子区域的中心点通过眼球追踪方式实时获得,且从所述中心点的获取到所述近眼显示器显示图像的时间延迟不被人查觉。
15.根据权利要求14所述的近眼显示方法,其特征在于,所述眼球追踪包括根据眼球和眼球周边的特征变化进行跟踪,或根据虹膜角度变化进行跟踪,或主动投射红外线光束到虹膜后提取特征来进行跟踪。
16.根据权利要求1所述的近眼显示方法,其特征在于,所述近眼显示器屏幕包括显示两个分别用于人的左眼和右眼的独立图像,或包括两个独立屏幕分别用于显示人的左眼和右眼,所述独立图像和独立屏幕都可分别划分为包括人眼凝视子区域的若干显示子区域。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138436.XA CN109886876A (zh) | 2019-02-25 | 2019-02-25 | 一种基于人眼视觉特征的近眼显示方法 |
PCT/CN2020/076512 WO2020173414A1 (zh) | 2019-02-25 | 2020-02-25 | 一种基于人眼视觉特征的近眼显示方法和装置 |
US17/060,840 US11438564B2 (en) | 2019-02-25 | 2020-10-01 | Apparatus and method for near-eye display based on human visual characteristics |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138436.XA CN109886876A (zh) | 2019-02-25 | 2019-02-25 | 一种基于人眼视觉特征的近眼显示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109886876A true CN109886876A (zh) | 2019-06-14 |
Family
ID=66929343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910138436.XA Pending CN109886876A (zh) | 2019-02-25 | 2019-02-25 | 一种基于人眼视觉特征的近眼显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109886876A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020173414A1 (zh) * | 2019-02-25 | 2020-09-03 | 昀光微电子(上海)有限公司 | 一种基于人眼视觉特征的近眼显示方法和装置 |
CN112070657A (zh) * | 2020-08-14 | 2020-12-11 | 昀光微电子(上海)有限公司 | 图像处理方法、装置、***、设备及计算机存储介质 |
CN112272294A (zh) * | 2020-09-21 | 2021-01-26 | 苏州唐古光电科技有限公司 | 一种显示图像压缩方法、装置、设备及计算机存储介质 |
CN112468820A (zh) * | 2020-11-26 | 2021-03-09 | 京东方科技集团股份有限公司 | 图像显示方法及图像显示*** |
CN112991169A (zh) * | 2021-02-08 | 2021-06-18 | 辽宁工业大学 | 基于图像金字塔和生成对抗网络的图像压缩方法及*** |
CN113362450A (zh) * | 2021-06-02 | 2021-09-07 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及*** |
CN113763361A (zh) * | 2021-08-26 | 2021-12-07 | 北京龙知远科技发展有限公司 | 一种提高人眼辨识度的红外图像处理方法、装置及存储介质 |
WO2024148536A1 (en) * | 2023-01-11 | 2024-07-18 | Jade Bird Display (shanghai) Limited | Method and system for image evaluation of near-eye displays |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160267716A1 (en) * | 2015-03-11 | 2016-09-15 | Oculus Vr, Llc | Eye tracking for display resolution adjustment in a virtual reality system |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
CN106856010A (zh) * | 2015-12-09 | 2017-06-16 | 想象技术有限公司 | 视网膜凹式渲染 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
CN108665521A (zh) * | 2018-05-16 | 2018-10-16 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、***、计算机可读存储介质及设备 |
CN109242943A (zh) * | 2018-08-21 | 2019-01-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
-
2019
- 2019-02-25 CN CN201910138436.XA patent/CN109886876A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160267716A1 (en) * | 2015-03-11 | 2016-09-15 | Oculus Vr, Llc | Eye tracking for display resolution adjustment in a virtual reality system |
CN106856010A (zh) * | 2015-12-09 | 2017-06-16 | 想象技术有限公司 | 视网膜凹式渲染 |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
CN107516335A (zh) * | 2017-08-14 | 2017-12-26 | 歌尔股份有限公司 | 虚拟现实的图形渲染方法和装置 |
CN108665521A (zh) * | 2018-05-16 | 2018-10-16 | 京东方科技集团股份有限公司 | 图像渲染方法、装置、***、计算机可读存储介质及设备 |
CN109242943A (zh) * | 2018-08-21 | 2019-01-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
Non-Patent Citations (3)
Title |
---|
XIN ZHANG等: "Real-time foveation filtering using nonlinear Mipmap interpolation", 《VISUAL COMPUTER》 * |
张鑫: "基于人眼视觉生理、心理的表达式绘制算法研究", 《万方学位论文》 * |
杨中雷: "基于眼睛生理的凝视效果模拟", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020173414A1 (zh) * | 2019-02-25 | 2020-09-03 | 昀光微电子(上海)有限公司 | 一种基于人眼视觉特征的近眼显示方法和装置 |
US11438564B2 (en) | 2019-02-25 | 2022-09-06 | Lumicore Microelectronics Shanghai Co. Ltd. | Apparatus and method for near-eye display based on human visual characteristics |
CN112070657A (zh) * | 2020-08-14 | 2020-12-11 | 昀光微电子(上海)有限公司 | 图像处理方法、装置、***、设备及计算机存储介质 |
CN112070657B (zh) * | 2020-08-14 | 2024-02-27 | 昀光微电子(上海)有限公司 | 图像处理方法、装置、***、设备及计算机存储介质 |
CN112272294A (zh) * | 2020-09-21 | 2021-01-26 | 苏州唐古光电科技有限公司 | 一种显示图像压缩方法、装置、设备及计算机存储介质 |
CN112468820A (zh) * | 2020-11-26 | 2021-03-09 | 京东方科技集团股份有限公司 | 图像显示方法及图像显示*** |
CN112468820B (zh) * | 2020-11-26 | 2023-08-15 | 京东方科技集团股份有限公司 | 图像显示方法及图像显示*** |
CN112991169A (zh) * | 2021-02-08 | 2021-06-18 | 辽宁工业大学 | 基于图像金字塔和生成对抗网络的图像压缩方法及*** |
CN113362450A (zh) * | 2021-06-02 | 2021-09-07 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及*** |
CN113362450B (zh) * | 2021-06-02 | 2023-01-03 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及*** |
CN113763361A (zh) * | 2021-08-26 | 2021-12-07 | 北京龙知远科技发展有限公司 | 一种提高人眼辨识度的红外图像处理方法、装置及存储介质 |
WO2024148536A1 (en) * | 2023-01-11 | 2024-07-18 | Jade Bird Display (shanghai) Limited | Method and system for image evaluation of near-eye displays |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886876A (zh) | 一种基于人眼视觉特征的近眼显示方法 | |
US20210325684A1 (en) | Eyewear devices with focus tunable lenses | |
EP3744007B1 (en) | Controlling image display via real-time compression in peripheral image regions | |
Weier et al. | Perception‐driven accelerated rendering | |
US11900578B2 (en) | Gaze direction-based adaptive pre-filtering of video data | |
Banks et al. | 3D Displays | |
CN107516335A (zh) | 虚拟现实的图形渲染方法和装置 | |
DE60000335T2 (de) | Graphishes system, ausgestaltet zur pixel berechnung mit parallelmustern | |
Jones et al. | Degraded reality: using VR/AR to simulate visual impairments | |
CN106484116B (zh) | 媒体文件的处理方法和装置 | |
US11438564B2 (en) | Apparatus and method for near-eye display based on human visual characteristics | |
CA3109499A1 (en) | Methods and devices for optical aberration correction | |
CN108076384B (zh) | 一种基于虚拟现实的图像处理方法、装置、设备和介质 | |
CN109933268A (zh) | 一种基于人眼视觉特征的近眼显示装置 | |
CN110378914A (zh) | 基于注视点信息的渲染方法及装置、***、显示设备 | |
CN105763865A (zh) | 一种基于透明液晶的裸眼3d增强现实的方法及装置 | |
CN112040222B (zh) | 一种视觉显著性预测方法及设备 | |
CN111757090A (zh) | 基于注视点信息的实时vr图像过滤方法、***和存储介质 | |
CN106780313A (zh) | 图像处理方法及装置 | |
Bektaş et al. | GeoGCD: Improved visual search via gaze-contingent display | |
CN112272294B (zh) | 一种显示图像压缩方法、装置、设备及计算机存储介质 | |
CN114418857A (zh) | 图像显示方法、装置、头戴显示设备及存储介质 | |
Kim et al. | Selective foveated ray tracing for head-mounted displays | |
Çöltekin | Foveation for 3D visualization and stereo imaging | |
CN103824250A (zh) | 基于gpu的图像色调映射方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |