CN113867526A - 一种基于人眼追踪的优化显示方法、装置、设备及介质 - Google Patents

一种基于人眼追踪的优化显示方法、装置、设备及介质 Download PDF

Info

Publication number
CN113867526A
CN113867526A CN202111102967.7A CN202111102967A CN113867526A CN 113867526 A CN113867526 A CN 113867526A CN 202111102967 A CN202111102967 A CN 202111102967A CN 113867526 A CN113867526 A CN 113867526A
Authority
CN
China
Prior art keywords
current
determining
period width
user
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111102967.7A
Other languages
English (en)
Inventor
夏正国
廖鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Vision Technology Nanjing Co ltd
Shenxian Technology Nanjing Co ltd
Original Assignee
Deep Vision Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Vision Technology Nanjing Co ltd filed Critical Deep Vision Technology Nanjing Co ltd
Priority to CN202111102967.7A priority Critical patent/CN113867526A/zh
Publication of CN113867526A publication Critical patent/CN113867526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种基于人眼追踪的优化显示方法、装置、设备及介质。其中,所述方法包括:当检测到用户在屏幕的注视点位置发生改变时,确定用户在屏幕的当前注视点位置;确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,当前排图周期宽度根据用户的当前双眼位置进行确定,预设排图周期宽度为一组待排图片的宽度之和;根据相对大小关系以及当前注视点位置确定与当前注视点相匹配的显示区域。通过执行本方案,可以实现向用户提供清晰、稳定的显示界面,可以避免视点附近显示画面的串扰和抖动,可以提高用户的观看体验。

Description

一种基于人眼追踪的优化显示方法、装置、设备及介质
技术领域
本发明实施例涉及裸眼3D显示技术领域,尤其涉及一种基于人眼追踪的优化显示方法、装置、设备及介质。
背景技术
裸眼3D显示的原理一般是通过透镜将显示器显示的图像进行分光,透镜通过对光的折射作用,将不同的显示内容折射到空间中不同的地方,到达人眼时显示的内容被分开,人眼接收到两幅含有视差的图像,这样便产生了立体效果。
相关技术中,带有人眼跟踪***的光栅祼眼3D显示***,利用人眼跟踪实时获取人眼位置信息。根据位置信息,控制裸眼3D显示屏的显示,使用户双眼注视点不受位置的限制能自由地看到来自屏上的无串扰的左右图,获得极致的3D体验。但是人眼跟踪***获得的人眼位置的准确性的偏差,以及稳定性的不足,导致控制显示的参数也一定的偏差,进而导致全屏左右边界处区域产生时好时差的串扰抖动,从而影响了观看体验。
发明内容
本发明实施例提供一种基于人眼追踪的优化显示方法、装置、设备及介质,可以实现向用户提供清晰、稳定的显示界面,可以避免视点附近显示画面的串扰和抖动,可以提高用户的观看体验。
第一方面,本发明实施例提供了一种基于人眼追踪的优化显示方法,该方法包括:当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
第二方面,本发明实施例还提供了一种基于人眼追踪的优化显示装置,该装置包括:当前注视点位置确定模块,用于当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
相对大小关系确定模块,用于确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
当前显示区域确定模块,用于根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
第三方面,本发明实施例还提供了一种电子设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一项所述的基于人眼追踪的优化显示方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一项所述的基于人眼追踪的优化显示方法。
本发明实施例提供的技术方案,通过当检测到用户在屏幕的注视点位置发生改变时,确定用户在屏幕的当前注视点位置;确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,当前排图周期宽度根据用户的当前双眼位置进行确定,预设排图周期宽度为一组待排图片的宽度之和;根据相对大小关系以及当前注视点位置确定与当前注视点相匹配的显示区域。通过执行本发明实施例提供的技术方案,可以实现向用户提供清晰、稳定的显示界面,可以避免视点附近显示画面的串扰和抖动,可以提高用户的观看体验。
附图说明
图1a是本发明实施例提供的一种基于人眼追踪的优化显示方法的流程图;
图1b是本发明实施例提供的一种人眼追踪装置示意图;
图1c是本发明实施例提供的人眼在预设排图周期下的观看效果俯视图;
图1d是本发明实施例提供的人眼在当前排图周期宽度小于预设排图周期宽度的情况下观看效果俯视图;
图1e是本发明实施例提供的人眼在当前排图周期宽度大于预设排图周期宽度的情况下观看效果俯视图;
图2a是本发明实施例提供的另一种基于人眼追踪的优化显示方法的流程图;
图2b是本发明实施例提供的当前排图周期宽度偏大并且注视点左移过程中人眼接收图片序号的示意图;
图2c是本发明实施例提供的当前排图周期宽度偏大并且注视点右移过程中人眼接收图片序号的示意图;
图2d是本发明实施例提供的当前排图周期宽度偏小并且注视点左移过程中人眼接收图片序号的示意图;
图2e是本发明实施例提供的当前排图周期宽度偏小并且注视点右移过程中人眼接收图片序号的示意图;
图3a是现有技术的屏幕边缘注视点附近串扰抖动的效果图;
图3b是本发明实施例提供的屏幕边缘注视点附近观看内容正确显示的效果图;
图4是本发明实施例提供的一种基于人眼追踪的优化显示装置结构示意图;
图5是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
为了清楚、明白地描述本发明各实施例,下面首先将本发明的实现原理进行简单介绍:
在实现裸眼3D显示效果时,裸眼3D显示器是在液晶显示屏的前面布设一层光栅膜,每个光栅膜下面的图像像素被分成R、G、B子像素,每个子像素通过光栅膜后向不同的方向投影,将不同的显示内容折射到空间中不同的地方,观众便可从不同的方向观看到不同的视图。对于每个用户而言,左眼和右眼分别能够看到合适的图像,从而形成双目视差,产生纵深感和空间感,体验到裸眼3D的显示效果。
其中,经过光栅膜分光后,存在多个视角。对于每个视角而言,存在多个区域,多个视点周期性地排布在这多个区域中。在每个区域内,如果相邻视点之间有效叠加,不存在图像混叠和反转,则该区域可被视为可视区域。在可视区域内的视点图按照预设排图方式进行排图后,用户可观看到理想的3D显示效果。
在本方案的一个应用场景中,用户在使用具备裸眼3D显示器的PC端进行游戏时,用户眼睛位置固定,注视点位置时刻发生变化。由于左右视图格式采用左视图和右视图并排传输的方式,左眼所观看的左视图和右眼所观看的右视图随着用户注视点的位置变化,也需要进行调整。如果各个视点图的排图方式不随用户注视点位置发生改变,则由于用户双眼位置与屏幕之间观看距离的偏差,用户双眼可能从对应的可视区域移动到不可视区域内。在不可视区域内,图像存在混叠或反转现象,用户不能够观看到3D显示效果,甚至会出现眩晕等症状,严重影响了用户的游戏视觉体验。
图1a是本发明实施例提供的基于人眼追踪的优化显示方法的流程图,所述方法可以由基于人眼追踪的优化显示装置来执行,所述装置可以由软件和/或硬件的方式实现,所述装置可以配置在用于基于人眼追踪的优化显示的电子设备中。所述方法应用于用户通过裸眼3D显示器进行游戏的场景中。如图1a所示,本发明实施例提供的技术方案具体包括:
S110:当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置。
其中,本方案可以获取用户的双眼位置以及用户在屏幕上的注视点位置,如图1b所示,获取双眼位置以及注视点位置的人眼识别装置例如可以是眼动仪。注视点位置可以是以显示器屏幕左上角为原点构建平面坐标系确定的位置坐标,包括横坐标和纵坐标,本方案中优选使用横坐标。本方案当检测到用户在屏幕的注视点位置发生改变时,可以确定用户在屏幕的当前注视点位置。
S120:确定当前排图周期宽度与预设排图周期宽度的相对大小关系。
其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和。
具体的,排图周期宽度可以由用户双眼位置与屏幕的观看距离确定,当观看距离越大,排图周期宽度越小。当观看距离越小,排图周期宽度越大。排图周期pitch一个挨一个排列。如图1c所示,预设排图周期宽度可以是一组待排图宽度0~14、14~27之和,可以由标准观看距离进行确定。预设排图周期宽度的中点为屏幕中心,当用户双眼位于距离屏幕标准观看距离的标准位置时,无论用户的注视点在屏幕的哪个位置,用户双眼透过柱镜中心看到的都是序号14的图片内容。如图1d所示,当观看距离大于标准观看距离时,当前排图周期宽度小于预设排图周期宽度。反之,如图1e所示,当观看距离小于标准观看距离时,当前排图周期宽度大于预设排图周期宽度。
S130:根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
具体的,本方案可以通过当前注视点的位置坐标以及屏幕宽度,确定当前注视点位置相对于屏幕中心点位置的偏移方向以及偏移角度。偏移方向例如可以是当前注视点位置相对于屏幕中心点位置左移还是右移。偏移角度例如可以是当前注视点位置相对于屏幕中心点位置的偏移比例。本方案可以确定当注视点位于屏幕边缘时的最大偏移量,根据最大偏移量和偏移角度可以确定当前注视点位置的偏移量,并根据当前排图周期宽度与预设排图周期宽度之间的相对大小关系,确定偏移量为正还是偏移量为负,将所有排图基于偏移量进行平移得到与当前注视点匹配的显示区域。
本发明实施例提供的技术方案,通过当检测到用户在屏幕的注视点位置发生改变时,确定用户在屏幕的当前注视点位置;确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,当前排图周期宽度根据用户的当前双眼位置进行确定,预设排图周期宽度为一组待排图片的宽度之和;根据相对大小关系以及当前注视点位置确定与当前注视点相匹配的显示区域。通过执行本发明实施例提供的技术方案,可以实现向用户提供清晰、稳定的显示界面,可以避免视点附近显示画面的串扰和抖动,可以提高用户的观看体验。
图2a是本发明实施例提供的基于人眼追踪的优化显示方法的流程图,本实施例在上述实施例的基础上进行优化。如图2a所示,本发明实施例中的基于人眼追踪的优化显示方法可以包括:
S210:当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置。
S220:确定当前排图周期宽度与预设排图周期宽度的相对大小关系。
在一个可行的实施方式中,可选的,确定当前排图周期宽度与预设排图周期宽度的相对大小关系,包括:确定所述用户的当前双眼位置,并根据所述当前双眼位置确定所述用户与屏幕的观看距离;根据所述观看距离确定所述当前排图周期宽度,并确定所述当前排图周期宽度相对所述预设排图周期宽度的相对大小关系。
示例性的,排图周期宽度CD与观看距离D的关系为:CD=[(D+d)+P]/D,其中,D表示观看距离,d表示玻璃厚度,P表示柱镜宽度,d和P均为常量。本方案可以通过人眼识别装置确定用户的当前双眼位置,并根据当前双眼位置确定用户相对于屏幕的垂直观看距离;进而根据该垂直观看距离确定当前排图周期宽度。然后根据当前排图周期宽度与已知的预设排图周期宽度,确定当前排图周期宽度相对预设排图周期宽度的相对大小关系,例如当前排图周期宽度大于预设排图周期宽度,或者,当前排图周期宽度小于预设排图周期宽度。
由此,通过确定用户的当前双眼位置,并根据当前双眼位置确定用户与屏幕的观看距离;根据观看距离确定当前排图周期宽度,并确定当前排图周期宽度相对预设排图周期宽度的相对大小关系。可以实现确定与用户实际观看位置相匹配的实际排图周期宽度,可以确定实际排图周期宽度与已知的预设排图周期宽度的相对大小关系,为后续确定当前注视点位置的显示区域提供准确的参考依据。
在另一个可行的实施方式中,可选的,确定当前排图周期宽度与预设排图周期宽度的相对大小关系,包括:所述当前排图周期宽度大于所述预设排图周期宽度,或者,所述当前排图周期宽度小于所述预设排图周期宽度。
具体的,当当前观看距离大于标准观看距离时,确定当前排图周期宽度小于预设排图周期宽度。当当前观看距离小于标准观看距离时,确定当前排图周期宽度大于预设排图周期宽度。
由此,通过确定当前排图周期宽度与预设排图周期宽度的相对大小关系,可以实现根据当前注视点位置确定双眼显示区域相对于正确显示区域的偏移趋势,可以实现为后续确定当前注视点位置的显示区域提供准确的参考依据。
S230:确定所述屏幕的中心点位置,并基于所述中心点位置和所述当前注视点位置确定所述当前注视点相对于所述中心点位置的偏移角度。
具体的,本方案可以根据坐标原点,屏幕高度以及屏幕宽度确定屏幕的中心点位置,例如中心点位置坐标。本方案还可以根据已经确定的当前注视点位置坐标以及中心点位置坐标确定当前注视点相对于中心点位置的偏移角度。
在本实施例中,可选的,基于如下公式确定所述偏移角度:α=△x/w/2;
其中,△x=x1-x0,α表示所述当前注视点相对于所述中心点位置的偏移角度,△x表示所述当前注视点相对所述中心点位置的横向偏移距离,w表示所述屏幕的宽度;其中,x1表示所述当前注视点位置的当前横坐标,x0表示所述中心点位置的中心横坐标。
示例性的,假设屏幕宽度为1m,x0=0.5,x1=0.8,则当前注视点相对于中心点位置的偏移角度α=(0.8-0.5)/0.5=0.6。
由此,通过根据中心点位置坐标以及当前注视点位置坐标确定当前注视点相对于中心点位置的偏移角度,可以实现确定当前注视点位置的偏移程度,为后续确定当前注视点位置的显示区域提供准确的参考依据。
S240:确定当注视点位于屏幕边缘时的最大偏移量。
具体的,当注视点位于屏幕的左侧边缘或者右侧边缘时,本方案可以确定用户双眼接收到的是哪一个pitch的哪个图片。本方案还可以确定用户双眼在距离屏幕标准距离时,注视点位于屏幕边缘双眼接收到的标准pitch以及对应的标准图片,进而可以确定当注视点位于屏幕边缘时的最大偏移量。例如,当注视点位于屏幕左边缘时,用户双眼接收到的是左侧倒数第一个pitch的第二幅图片以及左侧倒数第二个pitch的第一幅图片。而用户双眼在距离屏幕标准距离时,注视点位于屏幕左边缘双眼接收到的标准pitch以及对应的标准图片为左侧倒数第一个pitch的两幅图片,则可以确定当注视点位于屏幕边缘时的最大偏移量为1个图片。
S250:根据所述偏移角度以及所述最大偏移量确定目标偏移量。
具体的,目标偏移量可以是偏移角度与最大偏移量的乘积。例如,当前注视点相对于中心点位置的偏移角度为0.6,而当注视点位于屏幕边缘时的最大偏移量为1个图片,那么目标偏移量为0.6个图片。
S260:根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域。
其中,可以根据当前排图周期宽度与预设排图周期宽度的相对大小关系、当前注视点相对于屏幕中心的偏移方向以及目标偏移量确定与当前注视点相匹配的显示区域。
在本实施例中,可选的,根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域,包括:若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为正;若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为负。
示例性的,如图2b所示,当前排图周期宽度大于预设排图周期宽度,如果注视点位于屏幕中心点位置,双眼看到的正好是中间周期的图片0-14、14-27。如果注视点相对于屏幕中心点向左移动,横向偏移距离小于0,左侧的柱镜看到的是会偏向小于序号14的图,离中心点位置越远,由于累积效应,偏离的序号数越多。也即如果在相对于屏幕中心的左侧注视点看到正确的内容,需要将待排图片整体向左移动,即使用序号14的图替代小于序号14的图,目标偏移量为正。根据实际显示区域与目标偏移量确定与当前注视点相匹配的显示区域。如图2c所示,如果注视点相对于屏幕中心点向右移动,横向偏移距离大于0,右侧的柱镜看到的是会偏向大于序号14的图,离中心点位置越远,由于累积效应,偏离的序号数越多。也即如果在相对于屏幕中心的右侧注视点看到正确的内容,需要将待排图片整体向右移动,即使用序号14的图替代大于序号14的图,偏移量为负。根据实际显示区域与目标偏移量确定与当前注视点相匹配的显示区域。
由此,通过若确定当前排图周期宽度大于预设排图周期宽度,并确定横向偏移距离小于0,则确定目标偏移量的值为正;若确定当前排图周期宽度大于预设排图周期宽度,并确定横向偏移距离大于0,则确定目标偏移量的值为负。可以实现确定当前排图周期宽度偏大时与当前注视点匹配的显示区域,可以保证注视点附近的观看效果。
在又一个可行的实施方式中,可选的,根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域,包括:若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为负;若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为正。
示例性的,如图2d所示,当前排图周期宽度小于预设排图周期宽度,如果注视点位于屏幕中心点位置,双眼看到的正好是中间周期的图片0-14、14-27。如果注视点相对于屏幕中心点向左移动,横向偏移距离小于0,左侧的柱镜看到的是会偏向大于序号14的图,离中心点位置越远,由于累积效应,偏离的序号数越多。也即如果在相对于屏幕中心的左侧注视点看到正确的内容,需要将待排图片整体向右移动,即使用序号14的图替代大于序号14的图,目标偏移量为负。根据实际显示区域与目标偏移量确定与当前注视点相匹配的显示区域。如图2e所示,如果注视点相对于屏幕中心点向右移动,横向偏移距离大于0,右侧的柱镜看到的是会偏向小于序号14的图,离中心点位置越远,由于累积效应,偏离的序号数越多。也即如果在相对于屏幕中心的右侧注视点看到正确的内容,需要将待排图片整体向左移动,即使用序号14的图替代小于序号14的图,偏移量为正。根据实际显示区域与目标偏移量确定与当前注视点相匹配的显示区域。
由此,通过若确定当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为负;若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为正。可以实现确定当前排图周期宽度偏小时与当前注视点匹配的显示区域,可以保证注视点附近的观看效果。
本发明实施例提供的技术方案,通过当检测到用户在屏幕的注视点位置发生改变时,确定用户在屏幕的当前注视点位置;确定当前排图周期宽度与预设排图周期宽度的相对大小关系;确定屏幕的中心点位置,并基于中心点位置和当前注视点位置确定当前注视点相对于中心点位置的偏移角度;确定当注视点位于屏幕边缘时的最大偏移量;根据偏移角度以及最大偏移量确定目标偏移量;根据相对大小关系和目标偏移量确定与当前注视点相匹配的显示区域。通过执行本发明实施例提供的技术方案,可以实现向用户提供清晰、稳定的显示界面,可以避免视点附近显示画面的串扰和抖动,可以提高用户的观看体验。
相关技术中,带有人眼跟踪的光栅祼眼3D显示***,利用人眼跟踪实时获取人眼跟踪位置信息。根据注视点位置信息,控制裸眼显示屏的显示,使用户双眼不受注视点位置的限制能自由地看到来自屏幕上的无串扰的左右图,获得极致的3D体验。但是人眼跟踪***获得的位置的准确性的偏差,以及稳定性的不足,导致控制显示的参数也产生一定的偏差。所以导致全屏中的一部分的变动区域,能够产生无串扰的3D效果,但是左右边界处的区域因为参数的偏差,产生时好时差的串扰抖动,从而影响了观看体验。
为了更清楚的表述本发明的技术方案,本发明实施例提供的技术方案可以包括如下步骤:
步骤1、眼动仪实时获取用户双眼注视屏幕的注视点,注视点是屏幕上用户注视的位置。
其中,如图1b所示,眼动仪是一种头部和眼动追踪技术的设备,专为PC游戏而设计。它可以追跟踪人眼位置和注视点位置。
步骤2、根据注视点的位置,将正确区域往注视点位置方向移动,使注视点周围区域,都有好的观看区域,假定注视点在右边的位置。
如图3a所示,若不移动正确区域,注视点附近很容易看到右边串扰抖动区域。如图3b所示,正确区域往注视点方向移动后,注视点附近区域效果都很好。只有较远的左侧有串扰。
移动原理及方法:排列28张图的排图周期宽度依赖眼睛位置到屏幕的观看距离。如图1c所示,为了让眼睛通过每一个光栅中心,看到同一个视图,这里假定序号为14的视图。排图周期宽度CD=[(D+d)+P]/D,其中,D表示用户眼睛距离屏幕的观看距离,d表示玻璃厚度,P表示柱镜宽度。如果人眼跟踪确定的观看距离有偏差或抖动,会导致对应的排图周期宽度发生动态的变化。
排图周期宽度偏大偏小对观看的影响:由于排图周期宽度的起点是屏幕中心,如图1c所示,假定CD中点为屏幕中心,当当前排周期宽度等于预设排图周期宽度时,人眼透过柱镜中心看到的都是序号14的图片内容。
但是如果人眼跟踪给出的观看距离D有偏差时,这时排图周期pitch或偏大或偏小。pitch一个挨一个排列,离屏幕中心越远,眼睛看到的内容偏离序号14就越远。如图2b和2c所示,显示pitch偏大,除了中点看到视图14外,中点左侧的柱镜看到的会偏向小于序号14的图,中点右侧的柱镜看到的会偏向大于序号14的图,离中心点越远,因为累积效应,偏离的序号数越多。
如图2d和2e所示,显示pitch偏小,除了中点看到视图14外,中点左侧的柱镜看到的会偏向大于序号14的图,中点右侧的柱镜看到的会偏向小于序号14的图,离中心点越远,因为累积效应,偏离的序号数越多。
由于屏幕两边离中心最远,所以当pitch不准时,最先看到串扰。中间离中心点位置较近偏差未达到临界值(假定临界值是2个view),不致影响效果。当人眼注视点偏屏幕右边时,我们希望能够将中间的正确区域向右移动,以确保注视点附近有正确的观看效果。
以注视点在屏幕右边的情况,分两种情况说明移动方法:1、当pitch偏大时,注视点在屏幕右侧时,如图2c所示,除了中心点14不偏移外,其它地方,实际的序号14排图的位置偏移正确值,随着离中心越远,偏离的越多。当偏移值超过一定值表现为串扰,所以两边最先表现出串扰,中间区域正常显示。如果将偏大的周期往右移动目标偏移量,与准确排图周期的显示效果相比,屏的右边相对标准偏差变小,即正常的显示区域由中心移向注视点方向,从而实现了追随功能。2)当pitch偏小时,与上述情况相反。也能达到追随注视点功能。
本发明实施例提供的技术方案,针对人眼跟踪,所得到的位置的微小偏差和稳定性的不足,只能控制90%的屏幕中心区域保持稳定的正确的效果。在人眼跟踪的基础上,利用用户注视屏幕的位置信息,控制裸眼3D显示参数,将正确的显示区域,移动到完全覆盖用户注视点位置。从而达到不管用户观看哪个位置,都能看到无串扰的显示内容,提升观看体验。
图4是本发明实施例提供的基于人眼追踪的优化显示装置结构示意图,所述装置可以配置在用于基于人眼追踪的优化显示的电子设备中,如图4所示,所述装置包括:
当前注视点位置确定模块410,用于当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
相对大小关系确定模块420,用于确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
当前显示区域确定模块430,用于根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
可选的,相对大小关系确定模块420,具体用于:确定所述用户的当前双眼位置,并根据所述当前双眼位置确定所述用户与屏幕的观看距离;根据所述观看距离确定所述当前排图周期宽度,并确定所述当前排图周期宽度相对所述预设排图周期宽度的相对大小关系。
可选的,相对大小关系确定模块420,具体用于:所述当前排图周期宽度大于所述预设排图周期宽度,或者,所述当前排图周期宽度小于所述预设排图周期宽度。
可选的,当前显示区域确定模块430,具体用于:确定所述屏幕的中心点位置,并基于所述中心点位置和所述当前注视点位置确定所述当前注视点相对于所述中心点位置的偏移角度;确定当注视点位于屏幕边缘时的最大偏移量;根据所述偏移角度以及所述最大偏移量确定目标偏移量;根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域。
可选的,当前显示区域确定模块430,具体用于:基于如下公式确定所述偏移角度:α=△x/w/2;其中,△x=x1-x0,α表示所述当前注视点相对于所述中心点位置的偏移角度,△x表示所述当前注视点相对所述中心点位置的横向偏移距离,w表示所述屏幕的宽度;其中,x1表示所述当前注视点位置的当前横坐标,x0表示所述中心点位置的中心横坐标。
可选的,当前显示区域确定模块430,具体用于:若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为正;若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为负。
可选的,当前显示区域确定模块430,具体用于:若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为负;若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为正。
上述实施例所提供的装置可以执行本发明任意实施例所提供的基于人眼追踪的优化显示方法,具备执行方法相应的功能模块和有益效果。
图5是本发明实施例提供的一种电子设备结构示意图,如图5所示,该设备包括:
一个或多个处理器510,图5中以一个处理器510为例;
存储器520;
所述设备还可以包括:输入装置530和输出装置540。
所述设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接,图5中以通过总线连接为例。
存储器520作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种基于人眼追踪的优化显示方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述方法实施例的一种基于人眼追踪的优化显示方法,即:
当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
存储器520可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的一种基于人眼追踪的优化显示方法,也即:
当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于人眼追踪的优化显示方法,其特征在于,包括:
当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
2.根据权利要求1所述的方法,其特征在于,确定当前排图周期宽度与预设排图周期宽度的相对大小关系,包括:
确定所述用户的当前双眼位置,并根据所述当前双眼位置确定所述用户与屏幕的观看距离;
根据所述观看距离确定所述当前排图周期宽度,并确定所述当前排图周期宽度相对所述预设排图周期宽度的相对大小关系。
3.根据权利要求1所述的方法,其特征在于,根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域,包括:
确定所述屏幕的中心点位置,并基于所述中心点位置和所述当前注视点位置确定所述当前注视点相对于所述中心点位置的偏移角度;
确定当注视点位于屏幕边缘时的最大偏移量;
根据所述偏移角度以及所述最大偏移量确定目标偏移量;
根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域。
4.根据权利要求3所述的方法,其特征在于,
基于如下公式确定所述偏移角度:
α=△x/w/2;
其中,△x=x1-x0,α表示所述当前注视点相对于所述中心点位置的偏移角度,△x表示所述当前注视点相对所述中心点位置的横向偏移距离,w表示所述屏幕的宽度;
其中,x1表示所述当前注视点位置的当前横坐标,x0表示所述中心点位置的中心横坐标。
5.根据权利要求4所述的方法,其特征在于,确定当前排图周期宽度与预设排图周期宽度的相对大小关系,包括:所述当前排图周期宽度大于所述预设排图周期宽度,或者,所述当前排图周期宽度小于所述预设排图周期宽度。
6.根据权利要求5所述的方法,其特征在于,根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域,包括:
若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为正;
若确定所述当前排图周期宽度大于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为负。
7.根据权利要求5所述的方法,其特征在于,根据所述相对大小关系和所述目标偏移量确定与所述当前注视点相匹配的显示区域,包括:
若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离小于0,则确定所述目标偏移量的值为负;
若确定所述当前排图周期宽度小于所述预设排图周期宽度,并确定所述横向偏移距离大于0,则确定所述目标偏移量的值为正。
8.一种基于人眼追踪的优化显示装置,其特征在于,包括:
当前注视点位置确定模块,用于当检测到用户在屏幕的注视点位置发生改变时,确定所述用户在屏幕的当前注视点位置;
相对大小关系确定模块,用于确定当前排图周期宽度与预设排图周期宽度的相对大小关系;其中,所述当前排图周期宽度根据用户的当前双眼位置进行确定,所述预设排图周期宽度为一组待排图片的宽度之和;
当前显示区域确定模块,用于根据所述相对大小关系以及所述当前注视点位置确定与所述当前注视点相匹配的显示区域。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一项所述的基于人眼追踪的优化显示方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于人眼追踪的优化显示方法。
CN202111102967.7A 2021-09-17 2021-09-17 一种基于人眼追踪的优化显示方法、装置、设备及介质 Pending CN113867526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102967.7A CN113867526A (zh) 2021-09-17 2021-09-17 一种基于人眼追踪的优化显示方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102967.7A CN113867526A (zh) 2021-09-17 2021-09-17 一种基于人眼追踪的优化显示方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113867526A true CN113867526A (zh) 2021-12-31

Family

ID=78992948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102967.7A Pending CN113867526A (zh) 2021-09-17 2021-09-17 一种基于人眼追踪的优化显示方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113867526A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584754A (zh) * 2022-02-28 2022-06-03 广东未来科技有限公司 3d显示方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617332A (en) * 1988-08-10 1997-04-01 Fressola; Alfred A. Method and system for producing stereographic images of celestial objects
EP2236074A1 (en) * 2009-04-01 2010-10-06 Tobii Technology AB Visual display with illuminators for gaze tracking
JP2012212986A (ja) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd 3d画像処理方法及び3d画像処理装置
TW201317636A (zh) * 2011-10-20 2013-05-01 Seereal Technologies Sa 顯示三維場景之顯示裝置及方法
CN107885325A (zh) * 2017-10-23 2018-04-06 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d显示方法及控制***
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
CN108989785A (zh) * 2018-08-22 2018-12-11 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617332A (en) * 1988-08-10 1997-04-01 Fressola; Alfred A. Method and system for producing stereographic images of celestial objects
EP2236074A1 (en) * 2009-04-01 2010-10-06 Tobii Technology AB Visual display with illuminators for gaze tracking
JP2012212986A (ja) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd 3d画像処理方法及び3d画像処理装置
TW201317636A (zh) * 2011-10-20 2013-05-01 Seereal Technologies Sa 顯示三維場景之顯示裝置及方法
CN107885325A (zh) * 2017-10-23 2018-04-06 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d显示方法及控制***
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
CN108989785A (zh) * 2018-08-22 2018-12-11 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584754A (zh) * 2022-02-28 2022-06-03 广东未来科技有限公司 3d显示方法及相关装置
CN114584754B (zh) * 2022-02-28 2023-12-26 广东未来科技有限公司 3d显示方法及相关装置

Similar Documents

Publication Publication Date Title
CN107885325B (zh) 一种基于人眼跟踪的裸眼3d显示方法及控制***
US9215452B2 (en) Stereoscopic video display apparatus and stereoscopic video display method
US20180192022A1 (en) Method and System for Real-time Rendering Displaying Virtual Reality (VR) On Mobile Using Head-Up Display Devices
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
WO2018058914A1 (zh) 裸眼3d显示设备及其显示方法
US9460555B2 (en) System and method for three-dimensional visualization of geographical data
US10237539B2 (en) 3D display apparatus and control method thereof
CN102497563B (zh) 跟踪式裸眼立体显示控制方法、显示控制装置和显示***
US9530179B2 (en) Two-dimensional (2D)/three-dimensional (3D) image processing method and system
KR20100135007A (ko) 다시점 영상 표시 장치 및 방법
CN105282539A (zh) 曲面多视点图像显示设备及其控制方法
CN103595987A (zh) 立体图像显示装置、图像处理装置及图像处理方法
US9049435B2 (en) Image providing apparatus and image providing method based on user's location
KR20120016408A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
US20140192044A1 (en) Display apparatus and display method thereof
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN108076208B (zh) 一种显示处理方法及装置、终端
CN108881893A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
US20170185147A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
CN108881880A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备及存储介质
US20130088488A1 (en) Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN102970561A (zh) 视频处理装置以及视频处理方法
CN113867526A (zh) 一种基于人眼追踪的优化显示方法、装置、设备及介质
CN108234994B (zh) 一种人眼位置确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240619

Address after: 411-446, Block B, Science and Technology Innovation Headquarters Building, No. 320 Pubin Road, Nanjing Free Trade Zone, Nanjing, Jiangsu Province, 210000

Applicant after: Shenxian Technology (Nanjing) Co.,Ltd.

Country or region after: China

Applicant after: Deep vision technology (Nanjing) Co.,Ltd.

Address before: 13 / F, block a, Jiangbei International wisdom Valley, No.1, Xinbei Road, Pukou District, Nanjing City, Jiangsu Province, 211899

Applicant before: Deep vision technology (Nanjing) Co.,Ltd.

Country or region before: China