CN108600733B - 一种基于人眼跟踪的裸眼3d显示方法 - Google Patents

一种基于人眼跟踪的裸眼3d显示方法 Download PDF

Info

Publication number
CN108600733B
CN108600733B CN201810418994.7A CN201810418994A CN108600733B CN 108600733 B CN108600733 B CN 108600733B CN 201810418994 A CN201810418994 A CN 201810418994A CN 108600733 B CN108600733 B CN 108600733B
Authority
CN
China
Prior art keywords
naked eye
eye
mobile phone
visual area
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810418994.7A
Other languages
English (en)
Other versions
CN108600733A (zh
Inventor
李万钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Taihe Wanzhong Technology Co ltd
Original Assignee
Chengdu Taihe Wanzhong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Taihe Wanzhong Technology Co ltd filed Critical Chengdu Taihe Wanzhong Technology Co ltd
Priority to CN201810418994.7A priority Critical patent/CN108600733B/zh
Publication of CN108600733A publication Critical patent/CN108600733A/zh
Application granted granted Critical
Publication of CN108600733B publication Critical patent/CN108600733B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明是提出一种基于人眼跟踪的裸眼3D显示方法,包括以下步骤:1.人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧,对每一帧图像进行人脸识别并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度;2.裸眼视区修正模块在接收到人眼跟踪模块的观看视区数据后对裸眼输出视区进行调整;3.裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式;4.裸眼3D出屏舒适度修正模块对图像序列帧进行人眼疲劳监测并减缓出屏效果。本方法让手机用户时刻都能体验到无拘束的裸眼3D体验效果,让用户可以更加舒适的长时间使用裸眼3D产品。

Description

一种基于人眼跟踪的裸眼3D显示方法
技术领域
本发明涉及人眼识别跟踪和裸眼3D显示领域,尤其涉及一种基于人眼跟踪的裸眼3D显示方法。
背景技术
随着三维显示技术的逐渐成熟发展,裸眼3D技术的应用场景越来越广泛。不同于传统的二维显示技术,裸眼3D显示有着真实感、立体感、无需佩戴专用眼镜等优势且能有效避免沉浸式体验惯于带来的恶心、眩晕、视觉疲劳等不良反应,而被各种显示应用领域所看好、追捧。
现在的裸眼3D显示技术都是通过区分左右眼来显示两幅图,通过让你左眼看到左眼的图像,右眼看到右眼的图像就可以让你的大脑合成一副有纵深感的立体画面,但是现在的裸眼3D技术都存在视点和视角固定,观看3D效果的时候既不能移动也不能晃动,大大的影响了使用体验,尤其对于裸眼3D手机用户来说一点震动或者晃动都会影响观看效果。
本发明就是提出一种基于人眼跟踪的裸眼3D显示方法。本发明利用先进的人眼识别跟踪算法实时改变裸眼3D手机的显示视区和观看视角,让手机用户时刻都能体验到无拘束的裸眼3D体验效果,并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3D出屏效果的适应度从而实时改变3D深度信息,让用户可以更加舒适的长时间使用裸眼3D手机。
发明内容
本发明的目的是提供一种基于人眼跟踪的裸眼3D显示方法。该方法利用先进的人眼识别跟踪算法实时改变裸眼3D手机的观看视角和观看视区,让手机用户时刻都能体验到无拘束的裸眼3D体验效果,并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3D出屏效果的疲劳度从而实时改变3D深度信息。
如上所述,实现一种基于人眼跟踪的裸眼3D显示方法包括如下步骤:
本发明包括人眼跟踪模块,裸眼视区修正模块,裸眼显示模块和裸眼3D出屏舒适度修正模块;
当手机用户打开裸眼3D显示功能后,人眼跟踪模块调用手机前置摄像头,将手机前置摄像头切换至视频拍摄状态,人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧,在获取视频图像序列帧后对每一帧图像进行人脸识别并识别出人眼区域,计算出准确的左右眼相对位置,再获取当期手机陀螺仪姿态计算倾斜角度从而得到左右眼在当期手机姿态中的相对空间坐标;
在识别匹配人眼区域时,一般包括:
手机摄像头视频帧率通常为30帧,需要对每一帧进行人眼识别并且需要存储近5秒视频图像序列帧以供104裸眼3D出屏舒适度修正模块使用。在对每一帧进行人眼识别中,识别图像中的左右眼在图像上的坐标,单位为像素点个数;
通过人眼跟踪模块计算图左右眼相对距离,计算出左右眼的空间坐标和左右眼相对手机裸眼屏幕的初始水平观看距离,再结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度,并对初始水平观看距离进行修正,同时可以提醒用户观看裸眼手机屏幕的最佳观看角度;
其中,由于裸眼手机屏幕材质通常采用柱状透镜技术,柱状透镜技术是利用立体光栅对光线的折射配合人的双眼视差和会聚形成立体感,所以为了最佳的观看效果,观看者双眼需要与柱状透镜光栅保持相对水平。因此,在计算左右眼相对距离的同时,对人脸姿态进行计算,修正左右眼相对手机裸眼屏幕的初始水平观看距离并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度;
其中,人眼跟踪模块对每一帧视频图像序列进行特征点匹配,首先检查出人脸位置和框架,再利用分类器进行特质筛选保留适合人体眼部特征的图像特征值,剔除独立的人眼特征值,保留符合左右眼相对距离范围内的参考点作为比对,最后比对预设左右眼瞳距像素阈值从而得到初始水平观看距离;
进一步的,结合人脸姿态估计和裸眼手机当前陀螺仪姿态,以裸眼手机屏幕中心点为标准点来确定相对手机裸眼屏幕的观看视区并且修正左右眼的观看角度;
进一步的,在识别匹配人眼区域时中,如果出现手机晃动或者人眼移动时,由于手机摄像头帧率较低,摄像头的传感器从接到信息到把图像序列帧输送到处理器中会有延迟。观看者双眼在移动或者手机晃动时,通常的裸眼视区修正算法会让观看者双眼看到串扰区或者逆视区,甚至出现视区跳动的现象,因此在人眼跟踪模块需要加入预测跟踪的算法,保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区;
其中,裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区R来预测裸眼视区变动。优选的,当人眼跟踪模块检测通过裸眼手机陀螺仪传递手机出现晃动,读取前5秒视频图像序列帧的裸眼手机陀螺仪旋转速度,根据手机旋转角速度预测当前情况下用户真正的观看视区R;优选的,当人眼跟踪模块检测到左右眼出现水平垂直方向上大幅变动的情况下,读取前5秒视频图像序列帧的裸眼观看视区R,根据观看视区R的变速值来预测当前情况下用户真正的观看视区R;优选的,在预测跟踪观看视区R时,可以基于卡尔曼滤波器来辅助预测,用于削弱手机摄像头和陀螺仪带来的噪音干扰,基于卡尔曼滤波器可用包含正交状态变量的微分方程模型来描述前5秒观看视区R的变动,这种滤波器是将过去前5秒的测量估计误差合并到新的测量误差中来估计将来的观看视区R变动;
人眼跟踪模块将视频图像序列每一帧的最终观看视区R数据传递给102裸眼视区修正模块,在修正视区时一般包括:
裸眼视区修正模块在接收到人眼跟踪模块的实时信息观看视区R后需要对裸眼输出视区进行调整。视点数为N的裸眼手机总共有视区数N个,各个视区之间存在串扰区,并且当左右眼移动中,左右眼会看到相互逆转的逆视区,裸眼视区修正模块就需要根据人眼跟踪模块的数据来避免用户观看时出现串扰和逆视区现象;
其中,人眼跟踪模块传递的观看视区R直接影响了最终裸眼显示的裸眼视区排图修正值Dis,裸眼修正模块需要根据观看视区R改变裸眼视区排图修正值Dis从而给当前用户的左右眼分别呈现完全正确的图像,由于左右眼距离裸眼手机屏幕的距离和观看者人数num也会影响裸眼修正模块计算的视区排图,因此裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图,并且最后在渲染裸眼图像时需要将两者或两者以上的视区进行重合交织;
裸眼显示模块,在手机应用需要进行裸眼3D显示时打开,裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式,一般包括:
其中,针对2D手机应用,将手机***3D UI集成进应用中,添加3D UI按钮并且将2D应用界面渲染在裸眼手机的零平面中,102裸眼修正模块传递的裸眼视区排图修正值Dis将仅改变3D UI的裸眼效果,预设Dis值为0;
其中,针对3D手机应用,将102裸眼修正模块传递的裸眼视区排图修正值Dis传递给3D渲染底层,将修正值Dis替换柱镜光栅映射表中的偏移量offset,根据裸眼修正模块传递的修正系数Dis来改变裸眼图像的物理排图序列,再根据3D渲染层零平面前后来决定修正值Dis的正负号,当大于零平面的3D渲染层修正值Dis为正;小于零平面的3D渲染层修正值Dis为负;
裸眼3D出屏适应度修正模块,在手机应用例如视频播放,3D游戏裸眼显示时,由于出屏效果和观看距离不能统一,所以在观看者在观看裸眼3D出屏画面时往往会出现头晕,眼睛疲劳的情况,本发明优选的采用裸眼3D出屏舒适度修正模块来解决这一问题。
其中,裸眼3D出屏舒适度修正模块需要手机摄像头拍摄的近5秒视频图像序列帧,在对这些图像序列帧进行人眼疲劳监测;
进一步的,由于裸眼3D大视差会导致人的双眼在短时间内无法适应剧烈的出屏效果,因此裸眼3D出屏舒适度修正模块需要对人眼疲劳进行实时监测并且做出裸眼效果修正。通过101人眼跟踪模块对双眼总共12个特征点a1-a12进行实时监测,当眨眼次数超过阈值或者微闭弧度持续时间超过阈值即人眼无法适应当前裸眼3D出屏效果;
进一步的,当人眼疲劳监测到人眼无法适应当前裸眼3D出屏效果时,需要改变大于零平面的3D渲染层的裸眼图像排列顺序。通过监测到人眼疲劳状态,再通过公式计算出新的裸眼图像排列顺序,这样来减缓出屏效果左右眼过度视差值,就可以提升用户长时间观看裸眼3D画面的舒适度。
本发明采用上述技术方案,与现有的技术方案相比,具有以下有益的效果:
本方法利用先进的人眼识别跟踪算法实时改变裸眼3D手机的观看视角和观看视区,让手机用户能够时刻体验到无拘束的裸眼3D体验效果,同时能够预测人眼运动规律让用户不用长时间保持静止可以随意变换观看姿势,提升了用户的观看舒适度,并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3D出屏效果的疲劳度从而实时改变3D深度信息,进一步提升了用户在观看裸眼3D效果的主观满意度。
附图说明
图1是本发明一种基于人眼跟踪的裸眼3D显示方法的流程示意图。
图2是本发明人眼跟踪模块的人眼观看角度计算调整示意图。
图3是本发明裸眼视区修正模块中正确视区,逆视区和串扰区示意图。
图4是本发明裸眼视区修正模块修正前后的观看视区对比图。
图5是本发明裸眼3D出屏舒适度修正模块实现方法示意图。
图6是本发明裸眼3D出屏舒适度修正模块中左右眼特征点示意图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步详细的描述。
附图1是本发明一种基于人眼跟踪的裸眼3D显示方法的流程示意图,该方法包括101人眼跟踪模块,102裸眼视区修正模块,103裸眼显示模块和104裸眼3D出屏舒适度修正模块,该方法具体包括以下步骤:
S100:当手机用户打开裸眼3D显示功能后,人眼跟踪模块调用手机前置摄像头,将手机前置摄像头切换至视频拍摄状态,人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧,在获取视频图像序列帧后对每一帧图像进行人脸识别并识别出人眼区域,计算出准确的左右眼相对位置,再获取当期手机陀螺仪姿态计算倾斜角度从而得到左右眼在当期手机姿态中的相对空间坐标。
在识别匹配人眼区域时,一般包括:
S101:手机摄像头视频帧率通常为30帧,需要对每一帧进行人眼识别并且需要存储近5秒视频图像序列帧以供附图1中104裸眼3D出屏舒适度修正模块使用。在对每一帧进行人眼识别中,识别图像中的左右眼在图像上的坐标,单位为像素点个数。
S102:通过人眼跟踪模块计算图左右眼相对距离,计算出左右眼的空间坐标和左右眼相对手机裸眼屏幕的初始水平观看距离,再结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度,并对初始水平观看距离进行修正,同时可以提醒用户观看裸眼手机屏幕的最佳观看角度。
S103:其中,由于裸眼手机屏幕材质通常采用柱状透镜技术,柱状透镜技术是利用立体光栅对光线的折射配合人的双眼视差和会聚形成立体感,所以为了最佳的观看效果,观看者双眼需要与柱状透镜光栅保持相对水平。因此,在计算左右眼相对距离的同时,对人脸姿态进行计算,修正左右眼相对手机裸眼屏幕的初始水平观看距离并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度。
S104:其中,人眼跟踪模块对每一帧视频图像序列进行特征点匹配,首先检查出人脸位置和框架,再利用分类器进行特质筛选保留适合人体眼部特征的图像特征值,剔除独立的人眼特征值,保留符合左右眼相对距离范围内的参考点作为比对,最后比对预设左右眼瞳距像素阈值从而得到初始水平观看距离。
S105:进一步的,结合附图2中人脸姿态估计202和附图2中裸眼手机201当前陀螺仪姿态附图2中的角度α,以裸眼手机屏幕中心点为标准点来确定相对手机裸眼屏幕的观看视区并且修正左右眼的观看角度。
S106:观看视区可以通过以下公式计算得到:
Figure BDA0001650212210000051
其中,L(x,y)是左右眼中心点到标准点的距离,(x,y)是左右眼中心点的横纵坐标,tanα是手机当前陀螺仪姿态中垂直方向上的偏转角度,x0是标准点在视频图像序列帧中的水平方向坐标值,s1是当前观看者左右眼的相对瞳距像素值,s0是标准点预设的瞳距像素值,而N是裸眼手机当前的总视点数,%是取余计算。通过上述公式可以计算出当前左右眼的实际观看视区R,将每一帧的观看视区R传递给裸眼视区修正模块用以改变裸眼视区排列,从而调整符合观看者左右眼的真实观看视区。
S107:当前观看者观看角度可以通过以下公式计算得到:
Figure BDA0001650212210000052
其中,f(β,γ)代表了当前左右眼相对裸眼手机屏幕的观看角度,包括水平方向上和垂直方向上的角度,n代表着人脸姿态估计中人脸的待测特征点个数,优选的,本方法采用匹配人脸中左眼,右眼,鼻尖和双唇中心点总共4个点来计算观看角度即n=4,qi代表待测的人脸特征点,pi代表待测人脸特征点在视频图像序列帧中对应的空间坐标值,F(x,y)是裸眼手机当前陀螺仪计算的旋转矩阵。
其中,当β和γ同时等于零时,即观看者与裸眼手机屏幕保持完全水平,达到左右眼最佳的观看角度,在实例中,如附图2中B点是人眼实际位置,A点是最佳裸眼效果观看点,当人眼处于B点,这时β和γ不等于零,人眼跟踪模块可以提醒观看者抬头或者低头来改变用户观看裸眼手机屏幕的角度,使β和γ同时等于零以达到最理想的裸眼观看视角。
S108:进一步的,在识别匹配人眼区域时中,如果出现手机晃动或者人眼移动时,由于手机摄像头帧率较低,摄像头的传感器从接到信息到把图像序列帧输送到处理器中会有延迟。观看者双眼在移动或者手机晃动时,通常的裸眼视区修正算法会让观看者双眼看到串扰区或者逆视区,甚至出现视区跳动的现象,因此在人眼跟踪模块需要加入预测跟踪的算法,保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区。
其中,裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区R来预测裸眼视区变动。优选的,当人眼跟踪模块检测通过裸眼手机陀螺仪传递手机出现晃动,读取前5秒视频图像序列帧的裸眼手机陀螺仪旋转速度,根据手机旋转角速度预测当前情况下用户真正的观看视区R;优选的,当人眼跟踪模块检测到左右眼出现水平垂直方向上大幅变动的情况下,读取前5秒视频图像序列帧的裸眼观看视区R,根据观看视区R的变速值来预测当前情况下用户真正的观看视区R;优选的,在预测跟踪观看视区R时,可以基于卡尔曼滤波器来辅助预测,用于削弱手机摄像头和陀螺仪带来的噪音干扰,基于卡尔曼滤波器可用包含正交状态变量的微分方程模型来描述前5秒观看视区R的变动,这种滤波器是将过去前5秒的测量估计误差合并到新的测量误差中来估计将来的观看视区R变动。
S200:附图1中的101人眼跟踪模块将视频图像序列每一帧的最终观看视区R数据传递给附图1中的102裸眼视区修正模块,在修正视区时一般包括:
S201:附图1中的102裸眼视区修正模块在接收到人眼跟踪模块的观看视区R实时信息后需要对裸眼输出视区进行调整。视点数为N的裸眼手机总共有视区数N个,各个视区之间存在串扰区,并且当左右眼移动中,左右眼会看到相互逆转的逆视区,例如附图3中,当人眼处于A点时,人眼可以观看到完整正确的裸眼视区;当处于C点时,人眼处于逆视区将会看到重影;而当人眼处于B点时,由于位于逆视区这样左右眼会观看到相反的画面,不会观看到正确的裸眼效果。因此,裸眼视区修正模块就需要根据人眼跟踪模块的数据来避免用户观看时出现串扰和逆视区现象。
S202:其中,人眼跟踪模块传递的观看视区R直接影响了最终裸眼显示的裸眼视区排图修正值Dis,裸眼视区修正模块需要根据观看视区R改变裸眼视区排图修正值Dis从而给当前用户的左右眼分别呈现完全正确的图像,由于左右眼距离裸眼手机屏幕的距离和观看者人数num也会影响裸眼修正模块计算的视区排图,因此裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图,并且最后在渲染裸眼图像是需要将两者或两者以上的视区进行重合交织。在附图4中,301区域是人眼最初能过正确观看裸眼的观看视区,经过裸眼视区修正模块修正过后的视区302,相比于301大幅增加了用户可以正确观看裸眼效果的区域。
S203:进一步的计算裸眼视区排图需要针对num*2数量的人眼来进行视区修正计算,可以通过以下公式计算:
Figure BDA0001650212210000071
其中,Dis是最终裸眼视区排图修正值,num是对应的观看人数,N是裸眼手机视区总数,%是取余计算,Ri是对应的人眼跟踪到的视区,xi是对应的人眼跟踪到的当前视区的横坐标,最终的裸眼视区排图修正值Dis就是裸眼视区最终横向排列的变化系数。
S300:附图1中的103裸眼显示模块,在手机应用需要进行裸眼3D显示时打开,裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式,一般包括:
S301:针对2D手机应用,将手机***3D UI集成进应用中,添加3D UI按钮并且将2D应用界面渲染在裸眼手机的零平面中,102裸眼修正模块传递的裸眼视区排图修正值Dis将仅改变3D UI的裸眼效果,预设Dis值为0。
S302:针对3D手机应用,将102裸眼修正模块传递的裸眼视区排图修正值Dis传递给3D渲染底层,将修正值Dis替换柱镜光栅映射表中的偏移量offset,根据裸眼修正模块传递的修正系数Dis来改变裸眼图像的物理排图序列,再根据3D渲染层零平面前后来决定修正值Dis的正负号,当大于零平面的3D渲染层修正值Dis为正;小于零平面的3D渲染层修正值Dis为负。
S400:附图1中的104裸眼3D出屏适应度修正模块,在手机应用例如视频播放,3D游戏裸眼显示时,由于出屏效果和观看距离不能统一,所以在观看者在观看裸眼3D出屏画面时往往会出现头晕,眼睛疲劳的情况,本发明优选的采用裸眼3D出屏舒适度修正模块来解决这一问题。
S401:其中,裸眼3D出屏舒适度修正模块需要手机摄像头拍摄的近5秒视频图像序列帧,在对这些图像序列帧进行人眼疲劳监测。
S402:进一步的,由于裸眼3D大视差会导致人的双眼在短时间内无法适应剧烈的出屏效果,因此裸眼3D出屏舒适度修正模块需要对人眼疲劳实时监测并且做出裸眼效果修正。如附图5中,用户在401区域观看裸眼屏幕,当裸眼3D出屏效果出现在402区域时,人眼就会出现眩晕,肿胀等不良反应,这时如果将裸眼3D入屏效果调整至403区域同时裸眼3D出屏效果调整至401区域,那么观看者就不会因为过于出屏的裸眼3D效果而发生各种眼睛不良反应,就可以长时间观看裸眼3D画面。
S403:其中,通过附图1中的101人眼跟踪模块对附图6中双眼总共12个特征点a1-a12进行实时监测,当眨眼次数超过阈值或者微闭弧度持续时间超过阈值即人眼无法适应当前裸眼3D出屏效果。
S404:进一步的,当人眼疲劳监测到人眼无法适应当前裸眼3D出屏效果时,需要改变大于零平面的3D渲染层的裸眼图像排列顺序,新的裸眼图像排列顺序可以通过以下公式计算:
Figure BDA0001650212210000081
其中,Ary(i)就是视点数为N的裸眼图像排列顺序,i是当前视点次序,dep当前裸眼图像的视差值,当dep<0,裸眼图像画面是入屏效果,当dep>0,裸眼图像画面是出屏效果,%是取余计算。通过监测到人眼疲劳状态,再来改变裸眼3D出屏效果,这样来减缓出屏效果左右眼过度视差值,就可以提升用户长时间观看裸眼3D画面的舒适度。
本说明书中公开的任一特性,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤之外,均可以以任何方式组合。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具类似目的的替代特征加以替代。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (1)

1.一种基于人眼跟踪的裸眼3D显示方法,其特征包括人眼追踪模块,裸眼视区修正模块,裸眼显示模块和裸眼3D出屏舒适度修正模块;
a)人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧,对每一帧图像进行人脸识别并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度,再加入预测跟踪的算法,保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区;
结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区,观看视区可以通过以下公式计算得到:
Figure DEST_PATH_IMAGE001
其中,L(x,y)是左右眼中心点到屏幕中心点的距离,(x,y)是左右眼中心点的横纵坐标,
Figure 310871DEST_PATH_IMAGE002
是手机当前陀螺仪姿态中垂直方向上的偏转角度,
Figure DEST_PATH_IMAGE003
是屏幕中心点在视频图像序列帧中的水平方向坐标值,
Figure 579041DEST_PATH_IMAGE004
是当前观看者左右眼的相对瞳距像素值,
Figure DEST_PATH_IMAGE005
是标准瞳距像素值,而N是裸眼手机当前的总视点数,%是取余计算;
结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看角度,并对初始水平观看距离进行修正,当前观看者观看角度可以通过以下公式计算得到:
Figure 633585DEST_PATH_IMAGE006
= min{
Figure DEST_PATH_IMAGE007
}
其中,
Figure 594588DEST_PATH_IMAGE006
代表了当前左右眼相对裸眼手机屏幕的观看角度,包括水平方向上和垂直方向上的角度,n代表着人脸姿态估计中人脸的待测特征点个数,包括人脸中左眼,右眼,鼻尖和双唇中心点总共4个点来计算观看角度即n=3,
Figure 632951DEST_PATH_IMAGE008
代表上述4个人脸特征点标准坐标值,
Figure DEST_PATH_IMAGE009
代表待测人脸特征点在视频图像序列帧中对应的空间坐标值,
Figure 439233DEST_PATH_IMAGE010
是裸眼手机当前陀螺仪计算的旋转矩阵;
b)裸眼视区修正模块在接收到人眼跟踪模块的观看视区实时信息后对裸眼输出视区进行调整;裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图,并且最后在渲染裸眼图像时需要将两名或两名以上观看者的视区重合交织;计算裸眼视区排图需要针对num*2数量的人眼来进行视区修正计算,可以通过以下公式计算:
Figure DEST_PATH_IMAGE011
=
Figure 348283DEST_PATH_IMAGE012
其中,
Figure 480187DEST_PATH_IMAGE011
是最终裸眼视区排图修正值,num是对应的观看人数,N是裸眼手机视区总数,%是取余计算,
Figure DEST_PATH_IMAGE013
是对应的人眼跟踪到的视区,
Figure 241732DEST_PATH_IMAGE014
是对应的人眼跟踪到的当前视区的横坐标,最终的裸眼视区排图修正值
Figure 54967DEST_PATH_IMAGE011
就是裸眼视区最终横向排列的变化系数;
c)裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式;针对2D手机应用,将手机***3D UI集成进应用中,添加3D UI按钮并且将2D应用界面渲染在裸眼手机的零平面中,裸眼视区修正模块传递的裸眼视区排图修正值
Figure 349682DEST_PATH_IMAGE011
将仅改变3D UI的裸眼效果;针对3D手机应用,将裸眼视区修正模块传递的裸眼视区排图修正值
Figure 855750DEST_PATH_IMAGE011
传递给3D渲染底层,将修正值
Figure 603126DEST_PATH_IMAGE011
替换柱镜光栅映射表中的偏移量offset,根据裸眼视区修正模块传递的修正值
Figure 220052DEST_PATH_IMAGE011
来改变裸眼图像的物理排图序列,再根据3D渲染层零平面前后来决定修正值
Figure 369274DEST_PATH_IMAGE011
的正负号,当大于零平面的3D渲染层修正值
Figure 46243DEST_PATH_IMAGE011
为正;小于零平面的3D渲染层修正值
Figure 280915DEST_PATH_IMAGE011
为负;
d)裸眼3D出屏舒适度修正模块对图像序列帧进行人眼疲劳监测,减缓出屏效果左右眼过度视差值;当人眼疲劳监测到人眼无法适应当前裸眼3D出屏效果时,需要改变大于零平面的3D渲染层的裸眼图像排列顺序,新的裸眼图像排列顺序可以通过以下公式计算:
Figure 435953DEST_PATH_IMAGE016
其中,
Figure DEST_PATH_IMAGE017
就是视点数N的裸眼图像排列顺序,i是当前视点次序,
Figure 236419DEST_PATH_IMAGE018
当前裸眼图像的视差值,当
Figure DEST_PATH_IMAGE019
,裸眼图像画面是入屏效果,当
Figure 881027DEST_PATH_IMAGE020
,裸眼图像画面是出屏效果,%是取余计算。
CN201810418994.7A 2018-05-04 2018-05-04 一种基于人眼跟踪的裸眼3d显示方法 Expired - Fee Related CN108600733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810418994.7A CN108600733B (zh) 2018-05-04 2018-05-04 一种基于人眼跟踪的裸眼3d显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810418994.7A CN108600733B (zh) 2018-05-04 2018-05-04 一种基于人眼跟踪的裸眼3d显示方法

Publications (2)

Publication Number Publication Date
CN108600733A CN108600733A (zh) 2018-09-28
CN108600733B true CN108600733B (zh) 2020-06-30

Family

ID=63619840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810418994.7A Expired - Fee Related CN108600733B (zh) 2018-05-04 2018-05-04 一种基于人眼跟踪的裸眼3d显示方法

Country Status (1)

Country Link
CN (1) CN108600733B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522866A (zh) * 2018-11-29 2019-03-26 宁波视睿迪光电有限公司 裸眼3d图像处理方法、装置以及设备
CN109725721B (zh) * 2018-12-29 2022-03-11 上海易维视科技股份有限公司 用于裸眼3d显示***的人眼定位方法及***
CN112243121A (zh) * 2019-07-18 2021-01-19 格相科技(北京)有限公司 裸眼3d显示器的多模式显示方法
CN110889905B (zh) * 2019-11-21 2023-06-06 宁波财经学院 基于裸眼3d的产品展示方法和***
CN112135116A (zh) * 2020-08-21 2020-12-25 深圳市立体通科技有限公司 一种裸眼3d显示方法及智能终端
CN114584652B (zh) * 2020-11-28 2023-06-20 华为技术有限公司 一种用户图形界面显示方法、装置、计算机设备及存储介质
CN112752085A (zh) * 2020-12-29 2021-05-04 北京邮电大学 基于人眼跟踪的裸眼3d视频播放***及方法
CN113347410B (zh) * 2021-06-01 2022-12-30 广东未来科技有限公司 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
CN113660476A (zh) * 2021-08-16 2021-11-16 纵深视觉科技(南京)有限责任公司 一种基于Web页面的立体显示***及方法
CN113920280A (zh) * 2021-09-28 2022-01-11 广东未来科技有限公司 一种2d游戏的裸眼3d显示的方法和***
CN113891061B (zh) * 2021-11-19 2022-09-06 深圳市易快来科技股份有限公司 一种裸眼3d显示方法及显示设备
CN114040184A (zh) * 2021-11-26 2022-02-11 京东方科技集团股份有限公司 图像显示方法、***、存储介质及计算机程序产品
CN114327343B (zh) * 2021-12-31 2024-06-18 珠海豹趣科技有限公司 一种裸眼3d效果显示优化方法、装置、电子设备及存储介质
CN114928739A (zh) * 2022-02-11 2022-08-19 广东未来科技有限公司 3d显示方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331902A (zh) * 2014-10-11 2015-02-04 深圳超多维光电子有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
CN105072431A (zh) * 2015-07-28 2015-11-18 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d播放方法及***
CN106341675A (zh) * 2016-09-13 2017-01-18 江苏奥斯汀光电科技股份有限公司 基于人体检测和图像处理调整裸眼3d电视机参数的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331902A (zh) * 2014-10-11 2015-02-04 深圳超多维光电子有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
CN105072431A (zh) * 2015-07-28 2015-11-18 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d播放方法及***
CN106341675A (zh) * 2016-09-13 2017-01-18 江苏奥斯汀光电科技股份有限公司 基于人体检测和图像处理调整裸眼3d电视机参数的方法

Also Published As

Publication number Publication date
CN108600733A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
JP7094266B2 (ja) 単一深度追跡型の遠近調節-両眼転導ソリューション
US20230141039A1 (en) Immersive displays
US10397539B2 (en) Compensating 3D stereoscopic imagery
CN103595987B (zh) 立体图像显示装置、图像处理装置及图像处理方法
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US9225973B2 (en) Image processing apparatus, image processing method, and image communication system
US8203599B2 (en) 3D image display apparatus and method using detected eye information
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
CN111007939B (zh) 一种基于深度感知的虚拟现实***空间定位方法
US20110221750A1 (en) Display device, terminal device, and display method
CN103595988A (zh) 立体图像显示装置、图像处理装置及图像处理方法
US20200304769A1 (en) Head-mountable display system
JP5148016B2 (ja) 立体映像提供装置及びその方法
KR101203921B1 (ko) 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치
CN104349152A (zh) 用于响应于头转动来调整立体图像的装置和方法
JP2012244453A (ja) 画像表示装置、画像表示システム、及び3次元眼鏡
EP3419287A1 (en) An apparatus and a method for displaying a 3d image
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
KR101247501B1 (ko) 3차원 영상 표시 장치
KR101645795B1 (ko) 입체감을 조절할 수 있는 입체 영상 안경, 입체 영상 시스템 및 입체감 조절 방법
KR20230065846A (ko) 스마트안경
CN117170602A (zh) 显示虚拟对象的电子设备
KR101246846B1 (ko) 3차원 영상 표시 방법
JP2010256713A (ja) 眼鏡および表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200630

Termination date: 20210504