CN104618705A - 基于眼球追踪的不同距离自适应全息显示方法及设备 - Google Patents

基于眼球追踪的不同距离自适应全息显示方法及设备 Download PDF

Info

Publication number
CN104618705A
CN104618705A CN201410712422.1A CN201410712422A CN104618705A CN 104618705 A CN104618705 A CN 104618705A CN 201410712422 A CN201410712422 A CN 201410712422A CN 104618705 A CN104618705 A CN 104618705A
Authority
CN
China
Prior art keywords
eyes
distance
holographic
display
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410712422.1A
Other languages
English (en)
Other versions
CN104618705B (zh
Inventor
刘美鸿
高炜
徐万良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN WEICHAO INTELLIGENT TECHNOLOGY Co.,Ltd.
Original Assignee
Shenzhen Estar Displaytech Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Estar Displaytech Co filed Critical Shenzhen Estar Displaytech Co
Priority to CN201410712422.1A priority Critical patent/CN104618705B/zh
Publication of CN104618705A publication Critical patent/CN104618705A/zh
Priority to KR1020150167776A priority patent/KR101730737B1/ko
Priority to EP15196833.6A priority patent/EP3026905A1/en
Priority to JP2015231678A priority patent/JP2016110123A/ja
Priority to US14/953,342 priority patent/US10101807B2/en
Application granted granted Critical
Publication of CN104618705B publication Critical patent/CN104618705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0088Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Holo Graphy (AREA)

Abstract

本发明公开了一种基于眼球追踪的不同距离自适应全息显示方法及设备,所述方法包括:对用户进行人脸检测,获得人双眼位置,包括双眼与显示屏之间的距离;根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小,并在显示屏中显示;将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼;跟踪所述双眼位置的变化,重复上述各个步骤动态调整视点和显示内容。本发明能够适应不同人群的距离自适应观看,符合人类视觉观看原理,提高了用户体验。

Description

基于眼球追踪的不同距离自适应全息显示方法及设备
技术领域
本发明涉及个人全息显示技术领域,特别是涉及一种基于眼球追踪的不同距离自适应全息显示方法及设备。
背景技术
随着电子技术的发展和进步和用户要求的提高,目前判断电子产品优劣的条件已经远远不是停留在硬件指标和技术指标上,注重用户体验和感受才是厂商赢得市场的关键。
现在的很多电子产品比如手机、平板电脑、游戏机等都能根据用户的相应动作做出相应的操作,如当用户移动时自动改变显示屏的显示角度,甩动机身时切换界面、歌曲、视频,倾斜机身显示屏中图像随之移动,赛车游戏中根据用户对机身左右摇摆控制显示屏中赛车方向等。
现有技术实现上述功能的方法多事基于重力感应原理,即通过内部重力感应芯片判断用户的动作。重力感应的缺陷在于产品在重力范围内使用,脱离重力方位则会丧失这些功能。
发明内容
本发明主要解决的技术问题是提供一种基于眼球追踪的不同距离自适应全息显示方法及设备,能够实现远近自适应的用户观看全息效果。
为解决上述技术问题,本发明采用的一个技术方案是,提供一种基于眼球追踪的不同距离自适应全息显示方法,该方法包括:
对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼与显示屏之间的距离;
根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示;
将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼;
跟踪双眼位置的变化,重复上述各个步骤以动态获得相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
其中,根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小还包括调整全息三维显示中物体在全息场景的内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容,根据距离调整个人全息三维显示中物体在全息场景的z轴方向上的大小的步骤包括:
判断距离是变大还是变小;
若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围扩大,得到调整后的全息三维显示中物体在全息场景的内容;反之则放大全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围缩小,得到调整后的全息三维显示中物体在全息场景的内容。
其中,判断距离是变大还是变小的步骤进一步包括:判断距离是否小于第一阈值,若距离小于第一阈值时,距离变小,则不放大全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的内容;判断距离是否大于第二阈值,若距离大于第二阈值时,距离变大,则不缩小全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的内容。
其中,双眼移动时各个距离采用如下方法获得:
根据人脸检测的数据,获得双眼的两眼球对应坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示双眼从位置1到位置n,xy坐标平面平行于显示屏的表面,采用三维标准坐标系;
根据红外测距仪测得的双眼移动时红外测距仪与双眼之间的距离、红外测距仪在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z或根据红外测距仪与双眼之间的距离、红外测距仪光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z或直接将红外测距仪与双眼之间的距离作为双眼与显示屏之间的距离Z。
其中,还包括步骤:
根据全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音。
为解决上述技术问题,本发明采用的另一个技术方案是,提供一种基于眼球追踪的不同距离自适应全息显示设备,该设备包括:位置获取模块、显示模块、调整模块。
位置获取模块,位置获取模块用于对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼与显示屏之间的距离;
显示模块,显示模块用于根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示;
调整模块,调整模块用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼;
位置获取模块还用于跟踪双眼位置,显示模块以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块作用下左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
其中,显示模块包括显示单元、调整单元、第一判断单元,调整单元用于根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小和全息三维显示中物体在全息场景的内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容;
第一判断单元用于判断距离是变大还是变小;
若第一判断单元判断结果为距离变大,则控制调整单元缩小全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围扩大,得到调整后的全息三维显示中物体在全息场景的内容;反之则控制调整单元放大全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围缩小,得到调整后的全息三维显示中物体在全息场景的内容;
显示单元用于显示调整单元调整后的全息三维图像。
其中,显示模块进一步包括第二判断单元,第二判断单元用于判断距离是否小于第一阈值,若距离小于第一阈值时,距离变小,则控制调整单元不放大全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的内容;判断距离是否大于第二阈值,若距离大于第二阈值时,距离变大,则控制调整单元不缩小全息三维显示中物体在全息场景的z轴方向上的大小。
其中,位置获取模块包括测距单元、摄像单元、计算单元,计算模块具体用于:
根据摄像单元对用户进行人脸检测的数据,获得双眼的两眼球对应的坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示双眼从位置1到位置n,xy坐标平面平行于显示屏的表面,采用三维标准坐标系;
根据测距单元测得的双眼移动时测距单元与双眼之间的距离、测距单元在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z,或根据测距单元与双眼之间的距离、测距单元光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z,或直接将测距单元与双眼之间的距离作为双眼与显示屏之间的距离Z。
其中,设备还包括声音调节模块,声音调节模块具体用于根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调节需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音。
本发明的有益效果是:本发明通过获得人双眼与显示屏之间的距离,根据人双眼与显示屏之间的距离不同,看到人双眼看到物体成像的大小不同、视线包覆物体范围不一样的原理,比如当某用户在物体正前方,在离物体比较近的位置物体在眼球上的成像比较大且可能只看到物体正面的一部分,在离物体比较远的位置物体在眼球上的成像比较小且可以看全物体的正面,对应调节显示视点和显示屏上全息场景在z轴方向上的大小,无需使用重力感应和人工操作,能够自动适应不同人群的不同距离,逼近最真实的个人全息三维图像显示。
附图说明
图1是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图;
图2是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式的流程示意图;
图3是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式的人双眼追踪、测距示意图;
图4是本发明基于眼球追踪的不同距离自适应全息显示方法第二实施方式的流程示意图;
图5是本发明基于眼球追踪的不同距离自适应全息显示方法第二实施方式的人双眼追踪、测距示意图;
图6是本发明基于眼球追踪的不同距离自适应全息显示方法第三实施方式的流程示意图;
图7是本发明基于眼球追踪的不同距离自适应全息显示方法第四实施方式的流程示意图;
图8是本发明基于眼球追踪的不同距离自适应全息显示设备一实施方式的结构示意图;
图9是本发明基于眼球追踪的不同距离自适应全息显示设备另一实施方式的结构示意图;
图10是本发明基于眼球追踪的不同距离自适应全息显示方法一人眼位置坐标变化示意图。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
为保证本发明能正常实施,本发明设备为能够调节全息三维显示的视点的设备。一般同款设备可能会有不同年龄的不同人群、不同年龄的同种人群、相同年龄的相同人群使用,而不同年龄的不同人群、不同年龄的同种人群、相同年龄的相同人群双眼距离一般不同,观看位置不同,从而导致物体在人双眼成像大小不同,视线包覆物体的区域不同。比如,请参阅图1,图1是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图。在位置a时,双眼间距为L的用户看到一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点121到过右眼到物体右边的切点120之间面向用户一方的区域;在离显示屏与位置a同样远但角度不同的位置b时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点111到过右眼到物体右边的切点110之间面向用户一方的区域;在离显示屏比a更远的位置c时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点131到过右眼到物体右边的切点130面向用户一方的区域,此位置c的人双眼视线所能包覆所述物体的范围,比位置a的人双眼视线所能包覆所述物体的范围大。
请同时参阅图2和图3,图2是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式的流程示意图。图3是本发明基于眼球追踪的不同距离自适应全息显示方法第一实施方式的人双眼追踪、测距示意图。该方法包括以下步骤:
S101:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼与显示屏之间的距离。
以显示屏中点为原点,xy坐标平面平行于显示屏,水平向右为x轴正方向,垂直x轴向下为y轴正方向,指向人眼方向为z轴正方向建立三维标准坐标系。具体实施中还可以显示屏左下角、左上角等其他位置为原点,其他方向为正方向建立空间坐标系。比如图3a中在显示器230或者主机、桌面等距离显示屏较近的位置安装人脸追踪摄像头210和测距仪220。假设本实施方式中测距仪220采用红外测距仪,并且位于坐标系y轴上,本实施中将测距仪220和摄像头210相对固定设置在相邻位置,使得摄像头210跟随人观看位置的变化相应移动或不移动时,同时也可以带动测距仪220转动,方便测距仪220能快速找到人双眼位置。当然,测距仪220也可以不转动。具体实施中也可将测距仪220和摄像头210分开设置,本实施方式中使用的红外测距仪也可以使用其他类似功能的设备。可采用人脸识别技术首先对用户进行人脸检测,获得人眼位置,然后根据建立的坐标系转换为对应坐标,启动测距仪220测得人眼和测距仪220的距离并获得红外测距仪光轴相对于显示屏平面的夹角。如图3b所示,点Q为红外测距仪220,点A为人眼,根据摄像头210拍摄照片的数据和坐标系获得点A在坐标系中的xy平面坐标,点B为人眼A在yz平面上的投影,点C是人眼A在xy平面上的投影。根据红外测距仪测得人眼与红外测距仪的距离QA、红外测距仪光轴QA相对于显示屏平面(xy平面)的夹角∠AQC、因为点B、C分别为人眼A在yz、xy平面上的投影,所以红外测距仪点Q坐标、点C坐标,三角形AQC为直角三角形,利用直角三角形性质可知眼球A与显示屏之间的距离Z=AC=QA*sin∠AQC。对于人双眼在不同位置时,双眼移动时在位置1到位置n的双眼坐标分别为(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,通过红外测距仪测得所述双眼移动时不同距离Z1,Z2,...Zn,通过上述方式获得双眼与显示屏之间的距离。根据两眼球对应坐标值得到两眼球距离L1,L2,...Ln;根据所述两眼球对应坐标值及距离,计算得双眼移动时各个所述夹角θ1,θ2,...,θn,请参阅图10,一般观看时人双眼中点与屏幕上视点的连线垂直人双眼的连线,根据直角三角形性质,计算公式如下所示:
θ = 2 arctan L 2 Z
其中L是双眼之间的距离,Z是双眼与显示屏230之间的距离。
具体实施中可还有其他方式比如直接将红外测距仪与双眼之间的距离作为双眼与显示屏230之间的距离Z或根据建立的坐标系中测距仪、双眼的坐标根据直角三角形关系计算双眼与显示屏230之间的距离Z实现本步骤的目的,获得人眼与显示屏230之间的距离。
S102:根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
一般人与物体距离远时,物体在人双眼上的成像比较小,人与物体距离近时,物体在人双眼上的成像比较大,物体与人双眼距离越近,物体在人双眼上的成像越大。比如,在站在高楼往下看,看到地面的人非常小,可能和我们平时站在地面上看到的蚂蚁大小相近。请同时参阅图1,图1是本发明个人全息三维显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图。在离显示屏与位置a更远的位置c,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点131到过右眼到物体右边的切点130之间面向用户一方的区域,此位置c的人双眼视线所能包覆所述物体的范围比位置a的人双眼视线所能包覆所述物体的范围大。
根据步骤S101中获得的人双眼与显示屏之间的距离调整全息三维显示中物体在全息场景的z轴方向上的大小,并调节人双眼视线所能包覆物体的范围,比如,请参阅图10,当用户在离显示屏的距离为Z1的位置1移动到离显示屏的距离更远的位置2,在位置2时用户与离显示屏的距离为Z2,调整全息三维显示中物体在全息场景的z轴方向上变小,并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变大;当用户在离显示屏的距离为Z3的位置3移动到离显示屏的距离更近的位置2,在位置2时用户与离显示屏的距离为Z2,调整全息三维显示中物体在全息场景的z轴方向上变大,并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小。根据物体在全息场景的z轴方向上的大小和人双眼视线所能包覆物体的范围调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S103:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
根据步骤S102获得的双眼中左眼、右眼的不同个人全息三维图像的视点,控制显示器中动态光栅,使得光栅的明暗条纹位置发生适应性改变,即将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像经由动态光栅分别成像到左眼、右眼。
S104:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
根据步骤S101获得的双眼与显示屏中心连线与显示屏法线之间的夹角和双眼移动时双眼与显示屏之间的距离Z,跟踪双眼位置的变化,同时参阅图10,图10是本发明个人全息三维显示方法一人眼位置坐标变化示意图。当用户在位置1距离显示屏Z1时,根据步骤S101至S103获得左眼、右眼的不同个人全息三维图像和物体在全息场景的内容,调节物体在全息场景的z轴方向上的大小的个人全息三维图像。在位置2距离显示屏Z2时,双眼间距为L1的用户和在位置1的用户是同一用户,双眼间距为L2的用户和在位置1的用户是不同人群或不同年龄,重复步骤S101至S103以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。比如在距离显示屏Z2位置,双眼间距为L1、L2的用户,经前述步骤获得相应调节视点和调节物体在全息场景的z轴方向上的大小和物体在全息场景的内容,可分别适应双眼间距不同的不同年龄、不同人群观看。
本实施方式中摄像头追踪人双眼位置的变化时会带动测距仪一起移动,获得测距仪动态测得的位置变化、测距仪与显示屏屏幕的夹角计算双眼与显示屏的距离,同时根据人观看距离大时观看物体小;观看距离小时,观看物体大的视觉观看原理,通过数据的变化实时获得全息三维显示的视点和调节物体在全息场景的z轴方向上的大小,适应不同人群不同距离观看,提高了用户体验。
请参阅图4,图4是本发明基于眼球追踪的不同距离自适应全息显示方法第二实施方式的流程示意图。该方法包括以下步骤:
S301:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼与显示屏之间的距离。
以显示屏中点为原点,xy坐标平面平行于显示屏,水平向右为x轴正方向,垂直x周向下为y轴正方向,指向人眼方向为z轴正方向建立三维标准坐标系。具体实施中还可以显示屏左下角等其他位置为原点建立空间坐标系。请同时参阅图5,图5是本发明基于眼球追踪的不同距离自适应全息显示方法第二实施方式的人双眼追踪、测距示意图。比如图5a中在显示器430或者机身上分开安装人脸追踪摄像头410和测距仪420。人脸追踪摄像头410和测距仪420以y轴为对称轴对称设置,使得人脸追踪摄像头410追踪拍摄到人脸时,摄像头也可以根据对称快速定位人眼。具体实施中可不对称设置,根据人脸追踪摄像头410对人脸进行检测的数据与空间坐标系,获得双眼在坐标系中的位置(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示所述双眼从位置1到位置n,调整测距仪420坐标,测得人眼与测距仪420的距离。根据直角三角关系计算出人双眼与显示屏之间的距离具体实施中,一般用户在观看时,用户人脸中心会与显示屏中心连线与坐标z轴平行,人在不同位置移动时,还可以直接将红外测距仪与双眼之间的距离作为双眼与显示屏之间的距离Z。
S302:判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则不放大所述全息三维显示中物体在全息场景的z轴方向上的大小;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小。
为避免用户观看距离过近损害视力和观看效果,观看距离过远导致观看不清楚。设定最佳观看范围保证用户观看效果。根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小还包括调整所述全息三维显示中物体在全息场景的内容,其中,所述物体在全息场景的内容为人双眼视线所能包覆所述物体的范围内的所述物体外观内容,在调节物体在全息场景的z轴方向上的大小的步骤之前,进行判断,判断双眼与显示屏的距离是否小于第一阈值,若距离小于第一阈值时,距离变小,则不放大全息三维显示中物体在全息场景的z轴方向上的大小;判断距离是否大于第二阈值,若距离大于第二阈值时,距离变大,则不缩小全息三维显示中物体在全息场景的z轴方向上的大小。其中第一阈值是指最佳观看范围的最小距离,第二阈值是指最佳观看范围的最大距离。
S303:判断所述距离是变大还是变小;若所述距离变大,则缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的第二内容;反之则放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的内容。
当用户观看距离处于预设的最佳观看距离范围时,判断用户观看距离是变大还是变小,若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小。根据用户观看距离调整全息三维显示中物体在全息场景的z轴方向上的大小还包括调整所述全息三维显示中物体在全息场景的内容,其中,所述物体在全息场景的内容为人双眼视线所能包覆所述物体的范围内的所述物体外观内容。符合人观看物体近时,物体大,观看物体远时,物体小,同时当人与观看物体距离不同时双眼视线所能包覆所述物体的范围有差异的观看原理,比如,参阅图1,在位置a时,双眼间距为L的用户看到一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点121到过右眼到物体右边的切点120之间面向用户一方的区域;在离显示屏比a更远的位置c时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点131到过右眼到物体右边的切点130面向用户一方的区域,此位置c的人双眼视线所能包覆所述物体的范围,比位置a的人双眼视线所能包覆所述物体的范围大,在位置c物体在双眼上的成像比在位置a时物体在双眼上的成像小。
S304:根据所述物体在全息场景的z轴方向上的大小和物体在全息场景的内容调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S305:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
步骤S304和S305与前述第一实施方式中步骤S102和S103相似,这里不再赘述。根据步骤S301至步骤303获得的数据,将物体在全息场景的z轴方向上的大小和物体在全息场景的内容调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。其中,物体在全息场景的内容是指人双眼视线包覆所述物体的内容,可参阅图1及其说明,此处不再赘述。在双眼与显示屏距离比较近时,调节物体在全息场景的z轴方向上变大,并适应调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小,比如放大全息场景中位于前方的物体,前方放大的物体遮挡视线后面的内容,并缩小人双眼视线所能包覆全息三维显示中物体在全息场景的范围,在双眼与显示屏距离比较远时,调节物体在全息场景的z轴方向上变小,并适应调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变大,比如将位于全息场景中前方的物体缩小速度大于位于息场景中后方的物体的缩小速度,将原遮挡的内容重新显示,并放大人双眼视线所能包覆全息三维显示中物体在全息场景的范围。
S306:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
摄像头实时跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
本实施方式中根据获得的测距仪、双眼的坐标计算人眼与显示屏之间的距离,或者直接将测距单元与双眼作为双眼与显示屏之间的距离Z,通过设置最佳观看距离,当用户在最佳观看距离范围内时,若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小。同时根据人双眼离物***置不同,双眼视线所包覆物体的范围不同,调节物体在全息场景中的内容,获得正确的全息三维显示的视点,适应不同人群最佳观看。
请参阅图6,图6是本发明基于眼球追踪的不同距离自适应全息显示方法第三实施方式的流程示意图。本发明提供一种个人全息三维显示方法,包括以下步骤:
S501:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼与显示屏之间的距离。
S502:判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则不放大所述全息三维显示中物体在全息场景的z轴方向上的大小;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小。
S503:判断所述距离是变大还是变小;若所述距离变大,则缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的第二内容;反之则放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的内容。
S504:根据所述物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S505:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
S506:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
步骤S501至S506与前述第一实施方式中步骤S301至S306相似,具体实施中步骤S501还可以采用第一实施方式中步骤S101相似,这里不再赘述。
S507:根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。
为提高观看效果,根据物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音,放大用户位置靠显示屏近的一侧听到的声音,减小远离显示屏的一侧听到的声音。比如当用户位置靠右时,放大右声道音量,减小左声道音量;当用户位置靠左时,放大左声道音量,减小右声道音量;比如当用户位置居中,远离显示屏时,同时减小左右声道音量。
本实施方式中在用户最佳观看距离范围,根据双眼与显示屏之间的距离调整物体在全息场景的z轴方向上的大小和人双眼视线所能包覆全息三维显示中物体在全息场景的范围,并对应输出左耳、右耳的不同个人全息声音。贴近现实,提高了用户体验。
请参阅图7,图7是本发明基于眼球追踪的不同距离自适应全息显示方法第四实施方式的流程示意图。本发明提供一种个人全息三维显示方法,包括以下步骤:
S601:启动追踪摄像头,对用户进行人脸检测。
接通设备电源后启动追踪摄像头,对用户进行人脸检测,初步确定用户位置。
S602:启动红外测距仪,获得双眼到测距仪之间的距离。
同时或不同时启动红外测距仪,获得双眼与测距仪之间的距离。
S603:获得人双眼位置,所述人双眼的位置包括人双眼与显示屏之间的距离Z。
建立坐标系,坐标系建立与第一实施方式中类似,此处不再赘述,根据步骤S601获得的图片,进行人脸检测,找出人双眼特征,获得人双眼的位置,根据步骤S602获得的双眼到测距仪之间的距离,获得双眼与显示屏之间的距离Z。
S604:根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
根据步骤S604获得用户与显示屏的距离Z,全息三维显示中物体在全息场景的z轴方向上的大小,不同位置的具体调节可参阅图10的说明,此处不再赘述。
S605:根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
根据步骤S604获得用户与显示屏的距离Z,根据距离Z调整所述全息三维显示中物体在全息场景的z轴方向上的大小,比如,判断距离Z的变化,当用户观看距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小,根据物体在全息场景的z轴方向上的大小调整需投射到用户双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示。
S606:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
S607:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的所述全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
请参阅图8,图8是本发明基于眼球追踪的不同距离自适应全息显示设备一实施方式的结构示意图。本发明提供基于眼球追踪的不同距离自适应全息显示设备,包括:位置获取模块710、显示模块720、调整模块730,显示模块720分别与位置获取模块710、调整模块730相连。
位置获取模块710用于对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼与显示屏之间的距离。
显示模块720用于根据获取模块710获得的距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示,不同位置的具体调节可参阅图10的说明,此处不再赘述。
调整模块730用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼。
位置获取模块710还用于跟踪双眼位置,显示模块720以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块730作用下左眼、右眼始终能获得正确的所述全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
请参阅图9,图9是本发明基于眼球追踪的不同距离自适应全息显示设备另一实施方式的结构示意图。本发明提供一种基于眼球追踪的不同距离自适应全息显示设备,包括:位置获取模块810、显示模块820、调整模块830、声音调整模块840,位置获取模块810还包括计算单元811、摄像单元812、测距单元813,显示模块820包括第一判断单元821、第二判断单元822、显示单元823、调整单元824。计算单元811分别与摄像单元812、测距单元813、调整模块830、第一判断单元821相连,第一判断模块821还与第二判断单元822、声音调节模块840、显示单元823连接,显示模块820还与调整模块830相连。
摄像单元812用于对用户进行人脸检测,测距单元813用于测得人双眼与测距单元813的距离,将测得数据输送给计算单元811计算获得人双眼位置。
计算单元811,用于根据摄像单元812对用户进行人脸检测,获得所述双眼的两眼球对应的坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示所述双眼从位置1到位置n,xy坐标平面平行于显示屏的表面,采用三维标准坐标系;根据测距单元813测得的测距单元813与双眼之间的距离、测距单元813在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z或根据测距单元813与双眼之间的距离、测距单元813光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z或直接将测距单元813与所述双眼之间的距离作为双眼与显示屏之间的距离Z。
坐标系建立的具体方式和本发明个人全息三维显示方法第一实施方式相同,这里不再赘述;
显示模块820用于根据获取模块810获得的距离Z调整全息三维显示中物体在全息场景的z轴方向上的大小,根据物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示,不同位置的具体调节可参阅图10的说明,此处不再赘述。
调整模块830用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼。
第一判断单元821用于判断双眼与显示屏之间的距离Z是变大还是变小,若双眼与显示屏之间的距离Z变大,则控制调整单元824缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则控制调整单元824放大全息三维显示中物体在全息场景的z轴方向上的大小。
第二判断单元822用于判断双眼与显示屏之间的距离Z是否小于第一阈值,若双眼与显示屏之间的距离Z小于第一阈值时,距离变小,则控制调整单元824不放大全息三维显示中物体在全息场景的z轴方向上的大小;判断双眼与显示屏之间的距离Z是否大于第二阈值,若距离大于第二阈值时,距离变大,则不控制调整单元824缩小全息三维显示中物体在全息场景的z轴方向上的大小。.
调整单元824用于根据第一判断模块821判断结果调整所述全息三维显示中物体在全息场景的z轴方向上的大小,并调整全息三维显示中物体在全息场景的内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容。
位置获取模块810还用于跟踪双眼位置,显示模块820以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块830作用下左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
声音调节模块840用于根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调节需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。放大用户位置靠显示屏近的一侧听到的声音,缩小远离显示屏的一侧听到的声音。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于眼球追踪的不同距离自适应全息显示方法,其特征在于,包括:
对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼与显示屏之间的距离;
根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示;
将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼;
跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的所述全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小还包括调整所述全息三维显示中物体在全息场景的内容,其中,所述物体在全息场景的内容为人双眼视线所能包覆所述物体的范围内的所述物体外观内容,所述根据所述距离调整所述个人全息三维显示中物体在全息场景的z轴方向上的大小的步骤包括:
判断所述距离是变大还是变小;
若所述距离变大,则缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的内容;反之则放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的内容。
3.根据权利要求2所述的方法,其特征在于,所述判断所述距离是变大还是变小的步骤进一步包括:判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则不放大所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的内容;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的内容。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述双眼移动时各个所述距离采用如下方法获得:
根据所述人脸检测的数据,获得所述双眼的两眼球对应坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示所述双眼从位置1到位置n,采用三维标准坐标系;
根据红外测距仪测得的所述双眼移动时所述红外测距仪与所述双眼之间的距离、所述红外测距仪在所述坐标系中的坐标值、所述双眼的两眼球对应坐标值获得所述双眼与显示屏之间的距离Z或根据所述红外测距仪与所述双眼之间的距离、所述红外测距仪光轴相对于所述显示屏平面的夹角获得所述双眼与显示屏之间的距离Z或直接将所述红外测距仪与所述双眼之间的距离作为所述双眼与显示屏之间的距离Z。
5.根据权利要求1至3任一项所述的方法,其特征在于,还包括步骤:
根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。
6.一种基于眼球追踪的不同距离自适应全息显示设备,其特征在于,所述设备包括:
位置获取模块,所述位置获取模块用于对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼与显示屏之间的距离;
显示模块,所述显示模块用于根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示;
调整模块,所述调整模块用于将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼;
所述位置获取模块还用于跟踪所述双眼位置,所述显示模块以动态调整相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时在所述调整模块作用下所述左眼、右眼始终能获得正确的所述全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
7.根据权利要求6所述的设备,其特征在于,所述显示模块包括显示单元、调整单元、第一判断单元,所述调整单元用于根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小和所述全息三维显示中物体在全息场景的内容,其中,所述物体在全息场景的内容为人双眼视线所能包覆所述物体的范围内的所述物体外观内容;
所述第一判断单元用于判断所述距离是变大还是变小;
若所述第一判断单元判断结果为所述距离变大,则控制所述调整单元缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的内容;反之则控制所述调整单元放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的内容;
所述显示单元用于显示所述调整单元调整后的所述全息三维图像。
8.根据权利要求7所述的设备,其特征在于,所述显示模块进一步包括第二判断单元,所述第二判断单元用于判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则控制所述调整单元不放大所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的内容;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则控制所述调整单元不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的内容。
9.根据权利要求6至8任一项所述的设备,其特征在于,所述位置获取模块包括测距单元、摄像单元、计算单元,所述计算单元具体用于:
根据所述摄像单元对用户进行人脸检测的数据,获得所述双眼的两眼球对应的坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示所述双眼从位置1到位置n,xy坐标平面平行于所述显示屏的表面,采用三维标准坐标系;
根据所述测距单元测得的所述双眼移动时所述测距单元与所述双眼之间的距离、所述测距单元在所述坐标系中的坐标值、所述双眼的两眼球对应坐标值获得所述双眼与显示屏之间的距离Z或根据所述测距单元与所述双眼之间的距离、所述测距单元光轴相对于所述显示屏平面的夹角获得所述双眼与显示屏之间的距离Z或直接将所述测距单元与所述双眼之间的距离作为所述双眼与显示屏之间的距离Z。
10.根据权利要求6至8任一项所述的设备,其特征在于,所述设备还包括声音调节模块,所述声音调节模块具体用于根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小调节需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。
CN201410712422.1A 2014-11-28 2014-11-28 基于眼球追踪的不同距离自适应全息显示方法及设备 Active CN104618705B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410712422.1A CN104618705B (zh) 2014-11-28 2014-11-28 基于眼球追踪的不同距离自适应全息显示方法及设备
KR1020150167776A KR101730737B1 (ko) 2014-11-28 2015-11-27 안구추적을 기반으로 한 상이한 거리 자동적응 홀로그램 디스플레이 방법 및 장치
EP15196833.6A EP3026905A1 (en) 2014-11-28 2015-11-27 Distance adaptive displaying method and device based on eyeball tracking
JP2015231678A JP2016110123A (ja) 2014-11-28 2015-11-27 眼球追跡に基づく異なる距離に自己適応するホログラフィック表示方法及び装置
US14/953,342 US10101807B2 (en) 2014-11-28 2015-11-28 Distance adaptive holographic displaying method and device based on eyeball tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410712422.1A CN104618705B (zh) 2014-11-28 2014-11-28 基于眼球追踪的不同距离自适应全息显示方法及设备

Publications (2)

Publication Number Publication Date
CN104618705A true CN104618705A (zh) 2015-05-13
CN104618705B CN104618705B (zh) 2017-04-05

Family

ID=53152962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410712422.1A Active CN104618705B (zh) 2014-11-28 2014-11-28 基于眼球追踪的不同距离自适应全息显示方法及设备

Country Status (5)

Country Link
US (1) US10101807B2 (zh)
EP (1) EP3026905A1 (zh)
JP (1) JP2016110123A (zh)
KR (1) KR101730737B1 (zh)
CN (1) CN104618705B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592306A (zh) * 2015-12-18 2016-05-18 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法和装置
CN106162129A (zh) * 2016-08-31 2016-11-23 蒋欣飏 一种投影装置
CN106773588A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN107065184A (zh) * 2017-03-29 2017-08-18 核桃智能科技(常州)有限公司 一种具有可调整目镜的头戴显示***组件
CN107343161A (zh) * 2016-12-30 2017-11-10 苏州四海观览智能仪器有限公司 光学仪器
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN108693645A (zh) * 2017-04-11 2018-10-23 宏碁股份有限公司 虚拟实境显示装置
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
CN109144250A (zh) * 2018-07-24 2019-01-04 北京七鑫易维信息技术有限公司 一种位置调节的方法、装置、设备及存储介质
CN109819402A (zh) * 2019-01-08 2019-05-28 李超豪 用于监督改善学习习惯的方法及其***
CN110124305A (zh) * 2019-05-15 2019-08-16 网易(杭州)网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
CN110706268A (zh) * 2019-11-14 2020-01-17 维沃移动通信有限公司 一种距离调整方法及电子设备
CN110913074A (zh) * 2019-11-28 2020-03-24 北京小米移动软件有限公司 视距调整方法及装置、移动设备、存储介质
CN111684517A (zh) * 2018-02-08 2020-09-18 蒙德多凯创新有限公司 观看者调节的立体图像显示
CN111751987A (zh) * 2019-03-29 2020-10-09 托比股份公司 全息眼睛成像设备
CN112255903A (zh) * 2020-10-15 2021-01-22 启迪虚拟现实(南京)科技发展有限公司 全息三维空间裸眼3d舞台呈现装置
WO2021147944A1 (en) * 2020-01-22 2021-07-29 3D Media Ltd. 3d display device having a processor for correcting pseudo stereoscopic effect
WO2022042111A1 (zh) * 2020-08-26 2022-03-03 深圳创维-Rgb电子有限公司 视频图像显示方法、装置、多媒体设备以及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200950A1 (en) * 2016-05-19 2017-11-23 Reald Spark, Llc Wide angle imaging directional backlights
CN107728790B (zh) * 2016-07-08 2021-03-09 Oppo广东移动通信有限公司 一种屏幕显示方法、装置及移动终端、存储介质
US10574662B2 (en) * 2017-06-20 2020-02-25 Bank Of America Corporation System for authentication of a user based on multi-factor passively acquired data
US20190303177A1 (en) * 2018-03-29 2019-10-03 Microsoft Technology Licensing, Llc Adaptive User Interface Based On Detection Of User Positions
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US10928775B2 (en) 2018-07-17 2021-02-23 International Business Machines Corporation 3D holographic display and holographic object formation
CN109636895B (zh) * 2018-10-31 2023-11-17 北京航天晨信科技有限责任公司 一种全息显示方法和电子沙盘装置
CN109597555B (zh) * 2018-12-06 2022-09-06 佛山市原子文化传播有限公司 一种根据场景及对象调整显示方式的方法及***
US11330251B2 (en) * 2019-01-16 2022-05-10 International Business Machines Corporation Defining a holographic object allowance area and movement path
CN113741681B (zh) * 2020-05-29 2024-04-26 华为技术有限公司 一种图像校正方法与电子设备
CN111949124B (zh) * 2020-07-02 2023-09-01 广东工业大学 一种基于视觉跟踪的自适应显示器定位方法
TW202204818A (zh) 2020-07-29 2022-02-01 美商瑞爾D斯帕克有限責任公司 光瞳照明裝置
US11977286B2 (en) 2022-02-09 2024-05-07 Reald Spark, Llc Observer-tracked privacy display
KR102661074B1 (ko) * 2023-07-28 2024-04-26 (주)코드쓰리 실감형 콘텐츠 제공 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681145A (zh) * 2007-05-21 2010-03-24 视瑞尔技术公司 具有用于重建的追踪装置的全息重建***
US20120062556A1 (en) * 2010-09-13 2012-03-15 Sumihiko Yamamoto Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
CN103018915A (zh) * 2012-12-10 2013-04-03 Tcl集团股份有限公司 一种基于人眼追踪的3d集成成像显示方法及集成成像3d显示器
CN104102013A (zh) * 2013-04-11 2014-10-15 纬创资通股份有限公司 影像显示装置和影像显示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US20110058240A1 (en) * 2009-03-20 2011-03-10 Absolute Imaging LLC System and Method for Autostereoscopic Imaging Using Holographic Optical Element
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
WO2013107467A1 (en) * 2012-01-17 2013-07-25 Sony Ericsson Mobile Communications Ab Portable electronic equipment and method of controlling an autostereoscopic display
US8638344B2 (en) * 2012-03-09 2014-01-28 International Business Machines Corporation Automatically modifying presentation of mobile-device content
US9983408B2 (en) * 2013-03-26 2018-05-29 Lusospace, Projectos Engenharia Lda Display device
US9013564B2 (en) * 2013-05-07 2015-04-21 Elwha Llc Controllable lenticular lenslets
JP6099232B2 (ja) * 2013-08-22 2017-03-22 ビスポーク, インコーポレイテッド カスタム製品を創作するための方法及びシステム
KR20150055121A (ko) * 2013-11-06 2015-05-21 한국전자통신연구원 동공 추적을 이용한 홀로그램 이미지 표시 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681145A (zh) * 2007-05-21 2010-03-24 视瑞尔技术公司 具有用于重建的追踪装置的全息重建***
US20120062556A1 (en) * 2010-09-13 2012-03-15 Sumihiko Yamamoto Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
CN103018915A (zh) * 2012-12-10 2013-04-03 Tcl集团股份有限公司 一种基于人眼追踪的3d集成成像显示方法及集成成像3d显示器
CN104102013A (zh) * 2013-04-11 2014-10-15 纬创资通股份有限公司 影像显示装置和影像显示方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592306A (zh) * 2015-12-18 2016-05-18 深圳前海达闼云端智能科技有限公司 一种三维立体显示处理方法和装置
CN106162129A (zh) * 2016-08-31 2016-11-23 蒋欣飏 一种投影装置
CN106162129B (zh) * 2016-08-31 2019-05-10 蒋欣飏 一种投影装置
WO2018120292A1 (zh) * 2016-12-30 2018-07-05 姜海龙 光学仪器
CN107343161A (zh) * 2016-12-30 2017-11-10 苏州四海观览智能仪器有限公司 光学仪器
CN106773588B (zh) * 2017-01-03 2019-07-23 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN106773588A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN107065184A (zh) * 2017-03-29 2017-08-18 核桃智能科技(常州)有限公司 一种具有可调整目镜的头戴显示***组件
CN108693645A (zh) * 2017-04-11 2018-10-23 宏碁股份有限公司 虚拟实境显示装置
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN111684517B (zh) * 2018-02-08 2022-10-28 蒙德多凯创新有限公司 观看者调节的立体图像显示
CN111684517A (zh) * 2018-02-08 2020-09-18 蒙德多凯创新有限公司 观看者调节的立体图像显示
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
CN109144250A (zh) * 2018-07-24 2019-01-04 北京七鑫易维信息技术有限公司 一种位置调节的方法、装置、设备及存储介质
CN109819402A (zh) * 2019-01-08 2019-05-28 李超豪 用于监督改善学习习惯的方法及其***
CN111751987A (zh) * 2019-03-29 2020-10-09 托比股份公司 全息眼睛成像设备
CN111751987B (zh) * 2019-03-29 2023-04-14 托比股份公司 全息眼睛成像设备
CN110124305A (zh) * 2019-05-15 2019-08-16 网易(杭州)网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
CN110124305B (zh) * 2019-05-15 2023-05-12 网易(杭州)网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
CN110706268A (zh) * 2019-11-14 2020-01-17 维沃移动通信有限公司 一种距离调整方法及电子设备
CN110706268B (zh) * 2019-11-14 2022-12-27 维沃移动通信有限公司 一种距离调整方法及电子设备
CN110913074A (zh) * 2019-11-28 2020-03-24 北京小米移动软件有限公司 视距调整方法及装置、移动设备、存储介质
WO2021147944A1 (en) * 2020-01-22 2021-07-29 3D Media Ltd. 3d display device having a processor for correcting pseudo stereoscopic effect
WO2022042111A1 (zh) * 2020-08-26 2022-03-03 深圳创维-Rgb电子有限公司 视频图像显示方法、装置、多媒体设备以及存储介质
CN112255903A (zh) * 2020-10-15 2021-01-22 启迪虚拟现实(南京)科技发展有限公司 全息三维空间裸眼3d舞台呈现装置

Also Published As

Publication number Publication date
EP3026905A1 (en) 2016-06-01
US10101807B2 (en) 2018-10-16
JP2016110123A (ja) 2016-06-20
KR20160065036A (ko) 2016-06-08
KR101730737B1 (ko) 2017-04-26
US20160154458A1 (en) 2016-06-02
CN104618705B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN104618705A (zh) 基于眼球追踪的不同距离自适应全息显示方法及设备
CN104506836A (zh) 基于眼球追踪的个人全息三维显示方法及设备
CN104503092A (zh) 不同角度和距离自适应的三维显示方法及设备
CN104661012A (zh) 个人全息三维显示方法及设备
US10078367B2 (en) Stabilization plane determination based on gaze location
US9723289B2 (en) Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US9380295B2 (en) Non-linear navigation of a three dimensional stereoscopic display
EP3070513B1 (en) Head-mountable display system
US10867164B2 (en) Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking
US9430878B2 (en) Head mounted display and control method thereof
US10078366B2 (en) Head-mountable apparatus and system
US20120154390A1 (en) Information processing apparatus, information processing method, and program
EP3425906A1 (en) Electronic device, face recognition and tracking method and three-dimensional display method
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
WO2013166362A2 (en) Collaboration environment using see through displays
US20150009304A1 (en) Portable electronic equipment and method of controlling an autostereoscopic display
KR20210046822A (ko) 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
EP3402410B1 (en) Detection system
US20220095123A1 (en) Connection assessment system
GB2571286A (en) Virtual reality
US20170176934A1 (en) Image playing method and electronic device for virtual reality device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161202

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the three global digital Building Room 806 No. 9

Applicant after: Shenzhen magic eye Technology Co., Ltd.

Address before: 518000 Shenzhen, Nanshan District, China Hi Tech in the world, the world's 806 digital building, room three

Applicant before: SHENZHEN ESTAR DISPLAYTECH CO., LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201016

Address after: 518000 Fenghua Science and Technology Building, Northeast Side of Baishi Road and Science and Technology South Road Intersection, Yuehai Street High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 1311

Patentee after: SHENZHEN WEICHAO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the three global digital Building Room 806 No. 9

Patentee before: SHENZHEN MAGIC EYE TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right