CN103380625A - 头戴式显示器及其位置偏差调整方法 - Google Patents

头戴式显示器及其位置偏差调整方法 Download PDF

Info

Publication number
CN103380625A
CN103380625A CN201280006773XA CN201280006773A CN103380625A CN 103380625 A CN103380625 A CN 103380625A CN 201280006773X A CN201280006773X A CN 201280006773XA CN 201280006773 A CN201280006773 A CN 201280006773A CN 103380625 A CN103380625 A CN 103380625A
Authority
CN
China
Prior art keywords
image
eye
position deviation
display
hearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280006773XA
Other languages
English (en)
Inventor
加藤弓子
小泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103380625A publication Critical patent/CN103380625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种HMD(头戴式显示器)等,即使是被安装成偏离头部的状态时,也能够抑制产生立体视的异常、视听时的疲劳或者影像眩晕。该HMD具有:显示器(80),显示三维影像;位置取得部(100),测量视听者的内眼角或者外眼角相对于显示器(80)的位置;标准位置存储部(50),将在用于决定与该位置相关的标准位置的校准中测量出的内眼角或者外眼角的位置作为基准位置取得并存储;位置偏差检测部(60),检测新测量的正在视听内容的视听者的内眼角或者外眼角相对于显示器的位置与标准位置之差,并作为位置偏差;以及图像处理部(70),以使显示于显示器(80)的三维影像根据所检测出的位置偏差而旋转或者平行移动的方式,对三维影像进行图像处理。

Description

头戴式显示器及其位置偏差调整方法
技术领域
本发明涉及头戴式显示器,尤其涉及在头戴式显示器中显示三维影像的技术、以及调整其位置偏差的技术。
背景技术
头部佩戴型影像显示装置即头戴式显示器(Head Mounted Display:下面也记述为“HMD”),被用作人不能直接操作的危险区域的作业用或遥远地区作业用的远程操作***的显示器,此外也被用作嵌入式游戏机等的显示器。关于嵌入式显示器,曾提出了覆盖眼睛周围并固定于头部的护目镜式的显示器,另外随着设备的小型轻量化,还提出了便携式的影像内容欣赏用途的更加轻量的眼镜式的显示器。
另一方面,三维影像不仅在电影中得到普及,而且随着家庭用的三维电视机或计算机显示器的普及,也被广泛用作电视内容或游戏机的影像。三维影像是通过在提示给右眼的图像和提示给左眼的图像之间形成视差,使视听者产生好像存在进深的错觉的影像。HMD使显示器保持与视听者的眼睛极近,使容易对左右眼睛提示不同的图像。因此,适合于视听三维影像。
但是,HMD由于被固定于视听者的头部,因而在视听者将头部倾斜的情况下,画面也随着头部一起倾斜,导致画面的垂直轴与实际视听空间中的垂直轴的偏差。因此,利用前庭器官来感知重力加速度的人有时因为实际空间的垂直轴与画面的垂直轴的偏差而眩晕。与此相对,过去有这样的技术:如专利文献1所述,利用传感器检测头部的倾斜,并以校正该倾斜的方式使矩形的显示区域旋转进行显示,由此即使是头部倾斜时也能够使视听者识别为所显示的图像的朝向被固定于水平方向。
近年来HMD也被小型轻量化,非大型护目镜式、轻便眼镜式的方案增加。与完全看不到周围的实际环境的嵌入式的进行视听的护目镜类型不同,在采用透明透镜或较小的透镜直径的眼镜式HMD中,视听者不仅观察HMD显示器上的图像,而且也观察周围实际环境。这种类型适合于便携式的影像内容欣赏用途。假设在交通工具中移动着使用或步行着使用的用途。这样当在头部移动或者振动的状态下使用轻量的眼镜式HMD时,HMD与头部的位置关系有可能偏差。
针对根据HMD的安装状态而视听者的眼睛位置与画面位置之间产生偏差的问题,在专利文献2中记述了根据视听者的视野来校正水平方向和垂直方向的偏差的技术,在专利文献3中记述了根据虹膜或者瞳孔的图像求出眼球的位置来校正水平方向和垂直方向的偏差的技术。
现有技术文献
专利文献
专利文献1:日本特开2002-14300号公报
专利文献2:日本特开2010-232718号公报
专利文献3:日本特开平7-154829号公报
发明概要
发明要解决的问题
但是,在专利文献2和专利文献3的技术中,在HMD被安装成偏离头部的状态的情况下,存在引发立体视的异常、视听时的疲劳或者影像眩晕的问题。
发明内容
本发明正是鉴于上述问题而提出的,其目的在于,提供一种头戴式显示器等,即使是被安装成偏离头部的状态时,也能够抑制其视听者产生立体视的异常、视听时的疲劳或者影像眩晕。
用于解决问题的手段
为了达到上述目的,本发明的一个方式的头戴式显示器具有:显示器,显示三维影像;位置取得部,测量视听者的内眼角或者外眼角相对于所述显示器的位置;标准位置存储部,将用于决定与所述位置相关的标准位置的校准中由所述位置取得部测量出的所述内眼角或者所述外眼角的位置,作为所述标准位置取得并存储;位置偏差检测部,检测由所述位置取得部新测量出的正在视听内容的所述视听者的所述内眼角或者所述外眼角相对于所述显示器的位置、与在所述标准位置存储部中存储的所述视听者的所述标准位置之差,作为位置偏差;以及图像处理部,在由所述位置偏差检测部检测出位置偏差时,以使显示于所述显示器的三维影像根据所述检测出的位置偏差而旋转或者平行移动的方式,对所述三维影像进行图像处理。
另外,本发明不仅能够实现为具有这种结构的头戴式显示器,而且也能够实现为将头戴式显示器具有的处理部包含为步骤、并调整(或者补偿)显示于头戴式显示器的三维影像的位置偏差的方法,也能够实现为使计算机执行该调整方法的程序,还能够实现为记录了该程序的计算机可读的非暂时性的CD-ROM等记录介质。
发明效果
根据本发明的头戴式显示器(HMD),能够舒适地视听三维影像,而且不受HMD的佩戴位置偏差的影响。
因此,根据本发明提供的头戴式显示器,即使是被安装成偏离头部的状态时,也能够抑制其视听者产生立体视的异常、视听时的疲劳或者影像眩晕,因而在三维影像得到普及的今天,本发明的实用价值极高。
附图说明
图1是说明头戴式显示器的佩戴位置的偏差与三维影像的观察方式的示意图。
图2是示意地表示视听者的眼睛相对于在视听者的头部倾斜时产生的头的纵向偏差而移动的方向的图。
图3是利用视线检测装置记录了在正立视听向右旋转10度而显示的立体图像时的左右眼球的视点的图。
图4是表示图3中的视线检测装置的概要图和在视线检测中使用的眼睛的影像的示例的图。
图5是表示本发明的实施方式1的头戴式显示器的整体结构的一例的块图。
图6是表示内眼角和眼球和瞳孔的位置的图。
图7是表示该头戴式显示器具有的图像处理部的具体结构的一例的块图。
图8是表示在利用软件实现本实施方式1的头戴式显示器的处理部时使用的硬件结构的块图。
图9是表示本发明的实施方式1的头戴式显示器的动作的一例的流程图。
图10是详细表示图9中的校准步骤(S120)的处理流程的一例的流程图。
图11是表示内眼角形状的模型的信息的一例的图。
图12是表示左右的摄像机的摄像范围的图。
图13是表示在标准位置存储部中存储的数据的示例的图。
图14是详细表示图9中的位置偏差计算步骤(S150)的处理流程的一例的流程图。
图15是详细表示图9中的校正处理步骤(S170)的处理流程的一例的流程图。
图16是表示本发明的实施方式1的头戴式显示器的佩戴位置的偏差的读出(sensing)状态的示意图、和用于说明以坐标平面状来计算佩戴位置的偏差的方法的一例的图。
图17是表示在标准位置蓄积部中蓄积的数据的示例的图。
图18是详细表示本发明的实施方式1的微调(S220)的处理流程的一例的流程图。
图19是表示内眼角标准位置的周围区域的一例的图。
图20是详细表示图9中的校正处理步骤(S170)的处理流程的另一例的流程图。
图21是详细表示图9中的校正处理步骤(S170)的处理流程的又另一例的流程图。
图22是表示本发明的实施方式2的头戴式显示器的硬件结构的一例的图。
图23是表示该头戴式显示器的安装状态的各种示例的图。
图24是说明在本发明的实施方式2中计算头戴式显示器倾斜的角度的方法的图。
具体实施方式
(背景技术中的课题的具体内容)
关于在“背景技术”部分中记述的专利文献2和专利文献3的技术,本发明者发现存在以下问题。
在专利文献2和专利文献3的技术中,根据视野或眼球位置即视听者的眼睛的移动来进行图像的位置校正,因而在视听者将视线移动到画面的端部时,有时图像进行不必要的移动。并且,只能根据视野或眼球位置捕捉水平和垂直的眼球的移动,不能检测视听者的头部的水平垂直轴与画面的水平垂直轴偏差的状态。
图1是表示利用HMD视听三维影像时的左右眼睛与图像的关系的图。左栏(“正常时”)表示HMD和头部的位置正常的情况的示例,右栏(“佩戴位置偏差时”)表示HMD偏离头部的情况的示例(“显示器与眼睛的位置关系”、“观察方式”)。在图1所示的右栏的示例中,表示HMD的右侧相对于右眼的位置降低、而且左侧相对于左眼的位置上升的状态。如前面所述,三维影像在提示给右眼的图像和提示给左眼的图像之间形成水平方向的视差,需要使该视差与连接两眼的直线平行。在HMD的右眼用和左眼用的显示器被配置成与连接视听者的右眼和左眼的直线平行的情况下、即图1的左栏所示的“正常时”,三维影像的右眼用图像和左眼用图像的视差被准确配置成与连接两眼的直线平行。可是,在HMD与视听者头部的位置关系偏差的情况下、即图1的右栏所示的“佩戴位置偏差时”,HMD偏离头部,由此左侧的画面被提示到更上方,右侧的画面被提示到更下方。在左右的画面中本来上下位置相同并存在水平方向的视差的图像,由于HMD的倾斜,而成为不仅水平方向而且垂直方向也与视听者具有偏差的左右图像。虽然右眼用、左眼用的各画面的水平轴的倾斜能够根据前述的专利文献1的技术通过使图像旋转而消除,但是左右画面的上下位置的偏差不能利用专利文献1的技术而消除。人的眼球本来在观察近处时两眼靠拢(聚焦),在观察远处时两眼散开(散焦)。对于水平方向的视差,左右眼睛向彼此相反的方向移动是自然的动作。可是,当在实际世界中观察对象物时,左右眼睛不会沿垂直方向上向相反方向移动。三维影像中的垂直方向的偏差是使想要观察对象物的左右眼睛沿垂直方向进行相反方向的移动。因此,三维影像中的垂直方向的偏差成为立体视的异常、视听时的疲劳或者影像眩晕的原因。即存在如下问题,在HMD被安装成偏离头部的状态的情况下,即使是实施专利文献1~3中记述的任意一种校正,也会引发立体视的异常、视听时的疲劳或者影像眩晕。
(用于解决问题的方式)
因此,本申请发明者们提出了这样的头戴式显示器等,即使是被安装成偏离头部的状态时,也能够抑制其视听者产生立体视的异常、视听时的疲劳或者影像眩晕。
即,本发明的一个方式的头戴式显示器具有:显示器,显示三维影像;位置取得部,测量视听者的内眼角或者外眼角相对于所述显示器的位置;标准位置存储部,将用于决定与所述位置相关的标准位置的校准中由所述位置取得部测量出的所述内眼角或者所述外眼角的位置,作为所述标准位置取得并存储;位置偏差检测部,检测由所述位置取得部新测量出的正在视听内容的所述视听者的所述内眼角或者所述外眼角相对于所述显示器的位置、与在所述标准位置存储部中存储的所述视听者的所述标准位置之差,作为位置偏差;以及图像处理部,在由所述位置偏差检测部检测出位置偏差时,以使显示于所述显示器的三维影像根据所述检测出的位置偏差而旋转或者平行移动的方式,对所述三维影像进行图像处理。
由此,即使是视线移动时,也能够与视线无关地根据不移动的内眼角或者外眼角与显示器的相对位置来校正眼睛与显示器的相对位置的偏差,因而在头戴式显示器的佩戴位置偏差的情况下,也能够防止由于眼睛与显示器的相对位置的偏差而造成的立体视的异常或疲劳和影像眩晕。
其中优选,所述位置取得部具有测量所述视听者的瞳孔与所述显示器的相对位置的传感器,所述头戴式显示器还具有校准部,该校准部根据由所述传感器测量的在所述显示器不显示所述三维影像的状态下的所述相对位置,决定所述标准位置,并将所决定的标准位置存储在所述标准位置存储部中。因此,能够使与视听者观察无限远处时相同的瞳孔位置和图像的中心一致,能够根据视听者的眼轴的偏差设定图像的显示位置,能够减轻视听者视听影像时的疲劳。
另外,也可以是,所述图像处理部进行使构成所述三维影像的左眼用和右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。因此,能够对眼睛与显示器的相对位置的偏差进行补偿,消除两眼的垂直轴方向的差异,并显示在两眼的水平轴上具有影像形成时的两眼视差的图像。因此,即使是头戴式显示器的佩戴位置偏差时,视听者也能够舒适地继续视听三维影像。
另外,也可以是,所述图像处理部还进行用于将构成所述三维影像的左眼用和右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理。因此,在眼睛和显示器的相对位置偏差的情况下,通过将三维影像切换为二维影像进行显示,能够防止由于头戴式显示器的佩戴位置的偏差而造成的立体视的异常或疲劳、影像眩晕。
另外,也可以是,所述位置取得部对于所述视听者的左眼和右眼分别测量所述位置,所述标准位置存储部对于所述视听者的左眼和右眼分别存储所述标准位置,所述位置偏差检测部对于所述视听者的左眼和右眼分别检测所述位置偏差,所述图像处理部对于由所述位置偏差检测部检测出的所述视听者的左眼和右眼各自的所述位置偏差中、偏差量较小的眼睛用的图像,进行所述图像处理。因此,在头戴式显示器的佩戴位置偏差的情况下,能够减小在从三维图像切换为二维图像时的不协调感,使视听者连续观察使眼睛与显示器的相对位置处于更容易观察的相对位置的眼睛所对应的图像。
另外,也可以是,在由所述位置偏差检测部检测出的位置偏差的量超过预先设定的值的情况下,所述图像处理部进行用于将构成所述三维影像的左眼用和右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理,在由所述位置偏差检测部检测出的位置偏差的量未超过预先设定的值的情况下,所述图像处理部进行使所述左眼用和所述右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。因此,在头戴式显示器的佩戴位置的偏差较大时,从三维图像切换为二维图像,在佩戴位置的偏差较小时进行补偿偏差的图像处理,由此即使是产生头戴式显示器的安装偏差时,除了偏差过大时之外均能够欣赏三维影像,并且在安装的偏差过大时通过切换为二维影像,能够继续安全地视听影像。
另外,也可以是,所述图像处理部将由所述位置偏差检测部检测出的位置偏差分解为旋转和向水平方向及垂直方向的移动,在所述旋转的角度超过预先设定的值的情况下,进行将所述左眼用和所述右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理,在所述旋转的角度未超过预先设定的值的情况下,进行使所述左眼用和所述右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。因此,在头戴式显示器的佩戴位置的偏差较大、并产生两眼的垂直偏差的情况下,从三维图像切换为二维图像,而在产生佩戴位置的偏差的两眼的垂直偏差较小的情况下,进行补偿偏差的图像处理,由此,在头戴式显示器的安装偏差中除对视听者产生负荷的偏差情况之外,均能够欣赏三维影像,并且在视听三维影像而对视听者产生较大负荷的情况下,通过切换为二维影像,能够继续安全地视听影像。
另外,也可以是,所述位置偏差检测部检测该头戴式显示器以所述视听者的鼻子为支点进行旋转而产生的位置偏差,作为所述位置偏差,而且,设该头戴式显示器的右侧降低的旋转是以所述视听者的鼻子右侧的凸面的一点为中心的旋转,设该头戴式显示器的左侧降低的旋转是以所述视听者的鼻子左侧的凸面的一点为中心的旋转,由此检测所述位置偏差。因此,假设HMD的位置以预先得知位置关系的支点为中心而产生偏差,这样来检测位置偏差,因而能够按照更少的图像的特征量来检测HMD的位置偏差。
另外,也可以是,所述位置取得部具有拍摄所述内眼角的摄像机,作为所述位置偏差,所述位置偏差检测部使用从作为所述视听者的鼻子的凸面的一部分的支点到所述摄像机的位置的相对位置来计算该头戴式显示器的旋转量,由此检测所述位置偏差。因此,由于使用从作为视听者的鼻子的凸面的一部分的支点到摄像机的位置的相对位置来计算HMD的旋转量作为位置偏差,因而能够更容易检测出HMD的位置偏差(倾斜)。
另外,也可以是,所述位置偏差检测部使用与利用所述摄像机拍摄的图像的中心较近的所述内眼角或者所述外眼角的位置作为所述标准位置,来检测所述位置偏差。因此,由于使用与利用摄像机拍摄的图像的中心较近的内眼角或者外眼角的标准位置作为标准位置进行决定,因而能够高精度地检测出HMD的位置偏差。
下面,使用附图来说明本发明的头戴式显示器及其位置偏差调整方法的实施方式。另外,下面说明的实施方式均用于示出本发明的优选的一个具体示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例,其主旨不是限定本发明。本发明仅利用权利要求书进行限定。因此,关于下面的实施方式的构成要素中、没有在表示本发明的最上位概念的独立权利要求中记载的构成要素,不一定是实现本发明的课题所需要的构成要素,仅是作为构成更优选的方式的构成要素进行说明的。
(本发明者们得到的见解)
下面,在详细说明本发明的实施方式之前,关于本发明对发明者们通过实验得到的见解进行说明。
本申请发明者们通过实验确认到在视听者倾斜头部进行立体视时,不可能进行实际空间中的眼睛的移动,而是进行左右相反方向的上下移动。在头部或者图像倾斜、连接视听者的两眼的线段与立体图像的水平轴即视差的方向存在偏差的情况下,视听者的眼睛向修正由于倾斜而产生的纵向偏差的方向移动。即,由于倾斜而位于下方的眼睛向上方移动,由于倾斜而位于上方的眼睛向下方移动。
图2是示意地表示视听者的眼睛相对于在视听者的头部倾斜时产生的头的纵向偏差而移动的方向的图。图3是利用视线检测装置记录了在正立视听向右旋转10度而显示的立体图像时的左右眼球的视点的图。图4是表示该视线检测装置的概要图和在视线检测中使用的眼睛的影像的示例的图。
如图4所示,视线检测装置是朝向眼球照射近红外线,通过图像处理求出在角膜表面的反射光和瞳孔中心位置,并利用它们的相对位置的关系来检测视线的装置。在视线位置变化时,虽然反射光的位置不变,但是瞳孔中心位置变化。在本实验中利用这两者的相对位置关系的变化独立地检测左右的视线。在图3中示出了:在图像没有倾斜、连接视听者的两眼的线段与立体图像的水平轴即视差的方向一致时,表示水平方向的视线移动的曲线图(图3(a));表示垂直方向的视线移动的曲线图(图3(b));以及在从视听者观察图像向右旋转10度、连接视听者的两眼的线段与立体图像的水平轴偏差10度的条件下,表示水平方向的视线移动的曲线图(图3(c));表示垂直方向的视线移动的曲线图(图3(d))。图3中的纵轴表示被换算为显示器上的位置的视线的相对移动量,是指将图4所示的显示器的显示尺寸设为1时的移动量。即,水平方向的移动量利用与将显示器的横宽设为1时的比值表示,垂直方向的移动量利用与将显示器的高度设为1时的比值表示。另外,将观察没有任何输出的暗画面的状态(没有靶标)下的视线位置的平均值设为0。在图3(a)和图3(c)中,将向左移动表示为负的值,将向右移动表示为正的值。在图3(b)和图3(d)中,将向上移动表示为负的值,将向下移动表示为正的值。横轴表示时间,单位是秒。将每隔约17ms测定的左眼的视线用〇表示,将右眼的视线用×表示。
在本实验中,数据是以40岁女性为被实验者得到的数据。显示器配置于距视听者脸部90cm的位置。如图4所示,在黑色背景下提示出空白的十字图形作为靶标。将靶标提示于视听者正面,以图形的进深为处于距显示器表面为30cm、10cm的里侧、距显示器表面为10cm、30cm、50cm、70cm的近前侧的方式调节视差,形成立体图形。在提示没有靶标的画面5秒钟后,按照上述顺序提示各进深设定的画面各5秒钟。在图3(a)中,对于处于显示器里侧的靶标,右眼观察右侧(负侧)、左眼观察左侧(正侧),对于处于显示器近前侧的靶标,右眼观察左侧(正侧)、左眼观察右侧(负侧)。在图3(b)中,在提示靶标的期间,与进深无关,两眼的垂直方向的位置是固定的。在画面的水平轴与连接视听者的两眼的线段不平行的情况下,图3(c)所示的水平方向的视线的移动量比图3(a)所示没有倾斜时减少。图3(d)所示的垂直方向的视线是在显示器的里侧右眼稍微观察下侧(正侧)、左眼稍微观察上侧(负侧),在显示器的近前侧右眼观察上侧、左眼观察下侧。但是,在距显示器为70cm的近前侧,左眼的视线观察与右眼相同的位置。这与在距显示器为70cm的近前侧的条件下不能形成左右图像的融像(视听者内观报告)相吻合。通过该实验表明了在显示器位置偏差等画面的水平轴与连接视听者的两眼的线段不平行的情况下,将产生在观察实际空间或者平面图像时不会产生的上下相反方向的眼睛移动。由此,表明在HMD的佩戴位置偏差的状态下视听立体图像的视听者的负荷非常高。
下面,关于本发明的头戴式显示器及其位置偏差调整方法,参照附图进行详细说明。
(实施方式1)
首先,说明本发明的实施方式1的头戴式显示器及其位置偏差调整方法。
图5是本实施方式的头戴式显示器1的结构图。
该头戴式显示器1是即使是被安装成偏离头部时,也能够抑制其视听者产生立体视的异常、视听时的疲劳或者影像眩晕的HMD,该头戴式显示器1具有:输入部110,接受来自视听者的操作指示;位置取得部100,取得视听者的内眼角和瞳孔的位置;眼球位置校准部40,根据由位置取得部100检测出的内眼角和瞳孔的位置,取得瞳孔和内眼角的标准位置;标准位置存储部50,存储由眼球位置校准部40计算出的瞳孔和内眼角的标准位置;位置偏差检测部60,根据在标准位置存储部50中存储的瞳孔和内眼角的标准位置、与由内眼角检测部30从利用摄像机10新拍摄的图像中检测出的内眼角位置的偏差;图像存储/接收部120,存储图像或者通过通信路径接收图像信息;图像处理部70,使在HMD的右眼用和左眼用的显示器中显示的图像(从图像存储/接收部120取得的图像),对应由位置偏差检测部60检测出的位置偏差而旋转以及沿垂直方向和水平方向移动;一季显示器80,分别显示左右的图像。
在此,为了明确有关眼睛的用语的意思,在图6中示出了内眼角和眼球和瞳孔的位置。内眼角的位置是内眼角的上眼皮和下眼皮连接起来的接合部分的点,瞳孔是眼球中的黑眼球的中心。
输入部110是接受来自视听者的操作指示的开关或者旋钮等输入设备,从视听者受理使该头戴式显示器1的动作开始/结束的指示等。
位置取得部100是测量视听者的内眼角或者外眼角相对于显示器80的位置的处理部,包括:摄像机10,拍摄内眼角和眼球;瞳孔检测部20,从由摄像机10拍摄的图像中检测瞳孔;以及内眼角检测部30,从由摄像机10拍摄的图像中检测内眼角。
摄像机10是测量视听者的瞳孔与显示器80的相对位置的传感器的一例(数字摄像机等摄像装置),在此,摄像机10受理视听者利用开关或旋钮等输入部110进行操作的控制信号,将显示开始、显示结束、显示切换等控制信号输入的定时设为0时,每隔一定时间间隔例如10ms反复进行拍摄。摄像机10可以是利用可见光进行拍摄的装置,也可以是具有红外线发光部并进行基于红外线的拍摄的装置。
眼球位置校准部40是这样的处理部:根据在显示器80不显示三维影像的状态(即没有任何供视听者观察的东西的状态)下由位置取得部100取得的视听者的瞳孔与显示器的相对位置,决定视听者的内眼角或者外眼角的标准位置,将所决定的标准位置存储在标准位置存储部50中,在此是根据由位置取得部100检测出的内眼角和瞳孔的位置计算瞳孔和内眼角的标准位置。另外,所谓“标准位置”是指在视听者没有偏差地佩戴了头戴式显示器1时、视听者的内眼角和外眼角至少一方相对于头戴式显示器1(或者显示器80)的位置,在本实施方式中,是指在视听者佩戴了头戴式显示器1的状态下进行的校准中的视听者的内眼角和外眼角至少一方的位置。
标准位置存储部50是硬盘等,取得在由眼球位置校准部40进行的校准中由位置取得部100测量的视听者的内眼角或者外眼角的位置,并存储为标准位置,在此是保存由眼球位置校准部40计算出的标准位置。
位置偏差检测部60是这样的处理部:检测由位置取得部100新测量的正在视听内容的视听者的内眼角或者外眼角相对于显示器80的位置、与在位置存储部中存储的视听者的标准位置之差,并作为位置偏差。
图像存储/接收部120是预先保存提示给视听者的三维影像的硬盘等存储器、或者通过无线等通信路径从外部接收三维影像的通信接口。
图像处理部70是这样的处理部:在由位置偏差检测部60检测出位置偏差时,以使显示于显示器80的三维影像(即从图像存储/接收部120发送的三维影像)按照检测出的位置偏差而旋转或者平行移动的方式,对该三维影像进行图像处理,图像处理部70接受来自存储图像或者接收图像信息的图像存储/接收部120的输入,并进行所输入的图像的处理。
更具体地讲,图像处理部70进行使构成提示给视听者的三维影像的左眼用和右眼用的图像分别旋转的处理、以及使左眼用和右眼用的图像沿水平方向和垂直方向移动的处理,或者进行用于将该左眼用和右眼用的图像中任意一方作为左右两眼用的图像显示于显示器80的图像处理(二维化处理)。即,在由位置偏差检测部60检测出的位置偏差的量超过预先设定的值的情况下,该图像处理部70进行用于将构成提示给视听者的三维影像的左眼用和右眼用的图像中任意一方作为左右两眼用的图像显示于显示器80的图像处理,另一方面,在由位置偏差检测部60检测出的位置偏差的量未超过预先设定的值的情况下,图像处理部70进行使左眼用和右眼用的图像分别旋转的处理、以及使左眼用和右眼用的图像沿水平方向和垂直方向移动的处理。
另外,显示器80是显示三维影像的LCD等,受理视听者利用开关或旋钮等输入部110进行操作的控制信号,并进行显示开始、显示结束、显示切换等。
另外,在图5中,用虚线框包围的构成要素(眼球位置校准部40、输入部110、图像存储/接收部120)不是本发明的头戴式显示器1的必须要素。即,头戴式显示器1具有:显示器80,显示三维影像;位置取得部100,测量视听者的内眼角或者外眼角相对于显示器80的位置;标准位置存储部50,取得在用于决定与该位置相关的标准位置的校准中测量出的内眼角或者外眼角的位置,并存储为标准位置;位置偏差检测部60,检测新测量出的正在视听内容的视听者的内眼角或者外眼角相对于显示器80的位置与标准位置之差,并作为位置偏差;以及图像处理部70,以使显示于显示器80的图像三维影像对应于检测出的位置偏差而旋转或者平行移动的方式,对三维影像进行图像处理,由此即使视听者的视线移动了,也能够与视线无关地根据不移动的内眼角或者外眼角与显示器80的相对位置,校正眼睛与显示器80的相对位置的偏差,由此防止由于眼睛与显示器80的相对位置的偏差而造成的立体视的异常或疲劳和影像眩晕。
另外,摄像机10和显示器80都是按照右眼用和左眼用设置了两个。在区分左右进行说明时,将左眼用摄像机表述为摄像机10L、将右眼用摄像机表述为摄像机10R、将左眼用显示器表述为显示器80L、将右眼用显示器表述为显示器80R进行区分。
另外,瞳孔检测部20、内眼角检测部30、眼球位置校准部40、位置偏差检测部60、图像处理部70例如是利用一个以上的CPU、一个以上的存储器、和由该CPU执行的程序实现的。另外,标准位置存储部50是利用一个以上的存储器实现的。
图7是本实施方式的图像处理部70的具体结构图。
图像处理部70包括判定部71、旋转计算部72、图像存储部73、旋转处理部74、平行移动计算部75、平行移动处理部76、以及左右图像控制部77。
判定部71将位置偏差检测部60计算出的当前的内眼角的位置与内眼角标准位置的距离、和预先设定的基准值进行比较。
通过判定部71的判定,在判定为当前的内眼角的位置与内眼角标准位置的距离小于基准值的情况下,旋转计算部72计算表示由于HMD1的佩戴位置的偏差而造成的、显示器80与视听者的眼睛的位置偏差的坐标变换中基于旋转的部分。
通过判定部71的判定,在判定为当前的内眼角的位置与内眼角标准位置的距离小于基准值的情况下,平行移动计算部75计算表示由于头戴式显示器1的佩戴位置的偏差而造成的、显示器80与视听者的眼睛的位置偏差的坐标变换中基于平行移动的部分。
图像存储部73是暂时存储在显示器80中显示的三维影像的缓冲存储器。
旋转处理部74对在图像存储部73中存储的三维影像实施通过旋转计算部72得到的旋转。
平行移动处理部76对在图像存储部73中存储的三维影像实施通过平行移动计算部75得到的平行移动。
左右图像控制部77对在图像存储部73中存储的三维影像进行这样的图像处理:将构成该三维影像的左眼用和右眼用的图像中任意一方作为左右两眼用的图像显示于显示器80。例如,将左眼用图像替换为右眼用图像。
另外,图像存储部73是利用一个以上的存储器实现的,判定部71、旋转计算部72、旋转处理部74、平行移动计算部75、平行移动处理部76、左右图像控制部77是利用一个以上的CPU、一个以上的存储器、和由该CPU执行的程序实现的。
图8是表示在利用软件实现本实施方式的头戴式显示器1的处理部时使用的硬件结构的块图。在从软件上实现本实施方式的头戴式显示器1的处理部的情况下,如图8所示,能够利用计算机220实现本实施方式的头戴式显示器1,该计算机220由键盘和鼠标等输入部211、硬盘等存储部212、显示器装置等输出部213、CPU214、ROM215、RAM216、以及与外部设备之间进行信号的输入输出的输入输出I/F217构成。即,图5中的输入部110主要利用计算机220具有的存储部212或输入部211实现,图5中的显示器80主要利用计算机220具有的输出部213实现,图5中的图像存储/接收部120主要利用计算机220具有的输入输出I/F217实现,图5中的标准位置存储部50主要利用计算机220具有的存储部212实现,其它处理部(瞳孔检测部20、内眼角检测部30、眼球位置校准部40、位置偏差检测部60、图像处理部70)是通过按照在计算机220具有的ROM215或者存储部212中存储的程序,将RAM216用作暂时的存储区域,并由CPU214执行而实现的。
图9是表示如上所述构成的本实施方式的头戴式显示器1的处理步骤的流程图,即表示本发明的调整头戴式显示器1的位置偏差的方法的图。图10、图14、图15是详细表示头戴式显示器1的处理步骤(图9的流程图)的一部分步骤的图。下面按照图9、图10、图14、图15来说明处理步骤。
首先,视听者佩戴HMD1,并使用输入部110进行指示视听开始的输入(S110)。在刚刚进行视听开始输入后,眼球位置校准部40在显示器80没有显示的状态下检测瞳孔和内眼角,进行将瞳孔和内眼角的相对位置决定为标准位置的校准(S120)。关于校准的具体步骤将在后面进行说明。
当在S120进行校准后,视听者通过利用输入部110进行指示等,进行影像内容的视听(S130)。在视听影像内容时,首先摄像机10判定是否从输入部110输入了指示三维视听结束的控制信号(S140)。在输入了指示三维视听结束的控制信号的情况下(S140:是),HMD1结束动作(S190)。在没有输入指示三维视听结束的控制信号的情况下(S140:否),内眼角检测部30在摄像机10拍摄正在视听的视听者的眼睛的同时检测所述视听者的内眼角的位置。位置偏差检测部60计算在标准位置存储部50中存储的内眼角的标准位置与由内眼角检测部30检测出的内眼角的位置之偏差(S150)。
另外,位置偏差检测部60检测在S150计算出的位置偏差是否是超过了预先设定的允许范围的位置偏差(S160)。关于位置偏差的允许范围,例如设为将两眼的位置偏差进行合计得到的2mm。
在其结果是内眼角的标准位置与摄像机10拍摄的内眼角的位置之间存在偏差(位置偏差超过允许范围)的情况下(S160:是),图像处理部70进行按照内眼角位置的偏差使画面旋转并水平移动的处理(S170)。另一方面,在内眼角的标准位置与摄像机10拍摄的内眼角的位置之间不存在偏差的情况下(S160:否),图像处理部70不对所输入的图像进行处理,而是将图像输出给显示器80(S180)。另外,在视听如上所述的影像内容的期间(S130)反复执行步骤S140~S180。
如上所述,本实施方式的头戴式显示器1的位置偏差调整方法是调整在头戴式显示器1中显示的三维影像的位置偏差的调整方法,其主要步骤包括:显示步骤(S180等),在显示器80显示三维影像;位置取得步骤(S120、S150等),测量视听者的内眼角或者外眼角相对于显示器80的位置;标准位置存储步骤(S120),将在用于决定与该位置相关的标准位置的校准中通过位置取得步骤而测量出的内眼角或者外眼角的位置作为标准位置存储在标准位置存储部50中;位置偏差检测步骤(S150、S160),检测通过位置取得步骤而新测量的正在视听内容的视听者的内眼角或者外眼角相对于显示器80的位置、与标准位置之差,并作为位置偏差;以及图像处理步骤(S180),在通过位置偏差检测步骤而检测出位置偏差时(S160:是),以使显示于显示器80的三维影像根据所检测出的位置偏差而旋转或者平行移动的方式,对三维影像进行图像处理。
由此,根据本实施方式的头戴式显示器1的位置偏差调整方法,即使是视听者的视线移动时,也能够与视线无关地根据不移动的内眼角或者外眼角与显示器80的相对位置校正眼睛与显示器80的相对位置的偏差,因而能够防止由于眼睛与显示器80的相对位置的偏差而造成的立体视的异常或疲劳和影像眩晕。
在此,按照图10详细说明图9所示的S120的校准步骤。
首先,在校准的最初阶段,在显示器80没有任何显示的状态下(S121),利用摄像机10拍摄包括视听者的眼睛整体的范围(S122)。瞳孔检测部20和内眼角检测部30从在S122拍摄的图像中分别切取瞳孔所在的部分和内眼角所在的部分(S123)。例如,如图6所示,瞳孔检测部20切取将在S122拍摄的包括眼睛的图像纵向分割为三部分后的中央的三分之一部分作为瞳孔用,内眼角检测部30切取在S122拍摄的鼻子侧的三分之一部分作为内眼角识别用。
然后,内眼角检测部30识别内眼角的特征性的上眼皮和下眼皮所形成的形状(S124)。识别的方法例如是保存多个典型的内眼角形状的模型,将图像中的形状与模型进行核对的方法。关于内眼角形状的模型的信息,例如保存如图11所示的“模型ID”、将相似的模型进行汇总得到的“类型”、模型图形以及模型图形中的内眼角位置的信息(图中的“模型”)。内眼角检测部30根据吻合的模型中的内眼角位置决定图像中的内眼角位置。模型也可以不是图形,而是利用线段的斜率和角度这样的特征量进行记述。
眼球位置校准部40决定在图像中识别出的内眼角的坐标上的位置(S125)。例如,利用将连接左右显示器的线段作为x轴、将与其平行的方向作为y轴的坐标平面来表示位置。
把x轴的0点设为例如摄像机10L和摄像机10R的摄像范围的中间点。将y轴的0点设为例如摄像机10的上下方向的中心。在图12中,x轴的0点位于都偏离摄像机10L和摄像机10R的摄像范围的位置。坐标系被设定为反映出摄像机10L和摄像机10R的摄像范围的实际位置关系。在摄像机10L和摄像机10R的摄像范围重合的情况下,视为x轴的0点包含在两个摄像范围中。瞳孔检测部20与步骤S124的处理(内眼角识别)并行地或者顺序地、从在S123切取出的中央的三分之一部分的图像中用椭圆形确定颜色比周围深的部分,并识别瞳孔(S126)。关于瞳孔,在虹膜的颜色较深时识别虹膜的轮廓,在虹膜的颜色较浅时识别瞳孔的轮廓。并且,眼球位置校准部40将被识别为瞳孔的虹膜或者瞳孔的椭圆中心决定为瞳孔的位置(S127)。位置利用与内眼角相同的坐标平面表示。
另外,眼球位置校准部40决定标准的图像显示位置(S128)。关于图像显示位置,对于显示器80L是将在S127决定的左瞳孔位置的正面作为图像中心位置,对于显示器80R是将在S127决定的右瞳孔位置的正面作为图像中心位置。并且,标准位置存储部50存储眼球位置校准部40在S125决定的左右内眼角位置(S129)。在此,在标准位置存储部50中存储的数据例如是如图13所示利用二维坐标表示左右内眼角的标准位置的数据。
这样,通过在观察没有任何显示的暗的显示器80的状态下确定瞳孔的位置,能够确定观察无限远处时的瞳孔位置,并作为标准位置设为图像显示的中心。虽然在欣赏影像的过程中瞳孔的位置随着视线而移动,但是内眼角的位置在欣赏影像的过程中不移动。通过设定内眼角的标准位置,在欣赏影像的过程中能够相对地求出观察无限远处时的瞳孔位置。另外,通过在观察没有任何显示的暗的显示器80的状态下确定瞳孔的位置,针对斜视或斜位等左右眼球的朝向存在偏差或者产生偏差的视听者,能够针对根本不产生负荷的眼球的朝向在左右各眼球的正面提示图像,而不是针对具有注视点时的产生负荷的眼球的朝向,因而能够对视听者进行注视用的眼球提示负荷较小的图像。
另外,瞳孔位置的信息仅用于决定图像在标准位置中的提示位置。在视听影像时的瞳孔根据视听者在观察图像的何处而移动。例如,在观察图像的右端而非中心的情况下,瞳孔在眼睛中偏向眼睛的右端。因此,在视听影像时的瞳孔位置不一定适合作为图像的中心位置的指标。在此,在本实施方式中,仅在通过步骤S120的校准来确定标准位置时使用瞳孔位置,以后使用内眼角的位置调整与HMD的偏差对应的图像提示位置。
下面,按照图14的流程图详细说明图9所示的S150即计算内眼角的位置偏差的步骤。
首先,利用摄像机10拍摄包括视听者的眼睛整体的范围(S151)。内眼角检测部30从在S151拍摄的图像中切取内眼角所在的部分(S152)。关于图像的切取,例如假设与S120的校准中的S123的切取相同地切取图像的鼻子侧三分之一部分。并且,内眼角检测部30识别内眼角的特征性的上眼皮和下眼皮所形成的形状(S153)。在此,识别的方法例如与S124相同地进行与模型的核对。当在S124从多个模型中利用特定的模型确定出内眼角的情况下,内眼角检测部30存储在S124确定的模型,当在S153进行内眼角的识别时,仅使用所存储的在S124确定的模型或者该模型和与其相似的模型进行内眼角的识别,由此能够缩短处理时间。在使用相似的模型的情况下,例如按照图11所示的模型的类型,仅将与在S124确定的模型相同类型的模型用于识别中。
然后,位置偏差检测部60决定在图像中所识别出的内眼角的位置(S154)。关于该位置是在通过S125决定了校准时的内眼角位置的坐标轴上决定的。另外,位置偏差检测部60计算在S129被存储于标准位置存储部50中的内眼角标准位置与在S154决定的内眼角的位置的距离(S155),在S160进行位置偏差检测。
下面,按照图15的流程图详细说明图9所示的S170的校正处理的步骤。
首先,判定部71将在S155由位置偏差检测部计算出的当前的内眼角的位置与内眼角标准位置的距离、和预先设定的基准值进行比较(S171)。在此,例如将基准值设为30mm,在当前的内眼角的位置与内眼角标准位置的距离为基准值以上的情况下,即在图15的S171为否的情况下,左右图像控制部77将左眼用的图像替换为右眼用的图像(S172)。即,通过对两眼提示相同的图像,进行二维影像的显示而非三维影像。
当在S171当前的内眼角的位置与内眼角标准位置的距离小于基准值的情况下,即在图15的S171为是的情况下,平行移动计算部75和旋转计算部72求出由于HMD1的佩戴位置的偏差而形成的显示器80与视听者的眼睛的位置的偏差作为坐标变换,旋转处理部74和平行移动处理部76进行用于补偿该坐标变换的图像的显示位置的坐标变换。
图16是示意地表示显示器80与视听者的眼睛的位置的偏差的一例、和计算偏差作为坐标变换的过程的图。图16(a)用实线表示在视听影像时利用摄像机10拍摄的眼球,用虚线表示在通过S120进行的校准中利用摄像机10L拍摄的状态。左侧表示右眼用摄像机10R的图像,右侧表示左眼用摄像机10L的图像。
在视听影像时的瞳孔的位置根据视听者的注视点而移动。在注视点位于图像的端部的情况下,即使是显示器80与眼睛的位置没有偏差,瞳孔位置也大大偏离S120的校准时的标准瞳孔位置。另一方面,即使是注视点移动时,内眼角也是固定的,能够更准确地捕捉显示器80与眼睛的相对位置。因此,通过图像处理部70进行用于补偿内眼角标准位置与内眼角的当前位置的偏差的图像变换处理,以便校正显示器80与眼睛的相对位置的偏差。
在此,由于右眼内眼角与左眼内眼角的相对位置没有变化,因而用于实现从右眼内眼角标准位置向右眼内眼角当前位置的移动和从左眼内眼角标准位置向左眼内眼角当前位置的移动的坐标变换相当于仿射变换。已经公知二维的仿射变换能够通过旋转和平行移动来表现。因此,二维的仿射变换能够记述为如下面的式1所示。
[数式1]
x p y p = a 1 b 1 a 2 b 2 x s y s + d 1 d 2      (式1)
其中,(xp、yp)表示变换后的坐标,(xs、ys)表示变换前的坐标,下面的矩阵表示坐标的旋转,
[数式2]
a 1 b 1 a 2 b 2
下面的矩阵表示平行移动,
[数式3]
d 1 d 2 .
在图16(a)所示的例子中,将在S120的校准中得到的左右内眼角的坐标设为变换前的坐标,将在S154决定的当前的左右内眼角的位置设为变换后的坐标,求解上述的式子得到下面的变换矩阵:
[数式4]
a 1 b 1 a 2 b 2
和变换向量
[数式5]
d 1 d 2 .
变换矩阵和变换向量是表示在S120的校准时设定的图像的中心与瞳孔位置的相对位置在当前怎样偏差的向量。因此,通过使用所得到的变换矩阵和变换向量的相反矩阵来处理图像,能够将图像变换成使图像中心点位于当前的瞳孔位置的正面。
作为实际的计算方法的一例,在此按照图16(b)说明几何求出旋转和平行移动的方法。
通过将右眼或者左眼的内眼角标准位置作为中心,并以连接左右内眼角标准位置的线段和连接左右内眼角当前位置的线段所形成的角度θ进行旋转,将从作为旋转中心的一侧的内眼角的标准位置到当前位置的向量作为移动向量进行平行移动,能够实现从左右内眼角的标准位置向左右内眼角的当前位置的变换。在此,以将右眼内眼角标准位置作为旋转中心求出变换矩阵的情况为例进行说明。
首先,旋转计算部72求出连接左右内眼角标准位置的线段和连接左右内眼角当前位置的线段所形成的角度θ,计算-θ作为图像的旋转角度(S173)。将连接左右内眼角标准位置的线段和坐标的x轴形成的角度设为θs,将连接左右内眼角当前位置的线段和坐标的x轴形成的角度设为θp,旋转计算部72能够按照下面的式2所示求出θ和-θ。
[数式6]
θ s = tan - 1 yls - yrs xls - xrs θ p = tan - 1 ylp - yrp xlp - xrp
θ = θ p - θ s = tan - 1 ylp - yrp xlp - xrp - tan - 1 yls - yrs xls - xrs      (式2)
其中,设左眼内眼角标准位置为(xls,yls),设右眼内眼角标准位置为(xrs,yrs),设左眼内眼角当前位置为(xlp,ylp),设右眼内眼角当前位置为(xrp,yrp)。
然后,平行移动计算部75求出以图16(b)的右眼内眼角标准位置为始点、以右眼内眼角当前位置为终点的移动向量D,将向量-D设为图像的移动向量(S174)。该移动向量D用下面的式3表示。
[数式7]
D=(xrp-xrs,yrp-yrs)      (式3)
然后,旋转处理部74使在图像存储部73中存储的正在视听的影像中所包含的左右图像旋转在S173求出的-θ(S175)。按照下面的式4所示的变换矩阵进行各点的坐标的变换。
[数式8]
cos ( - θ ) - sin ( - θ ) sin ( - θ ) cos ( - θ )      (式4)
然后,平行移动处理部76使在S175进行旋转后的左右图像移动-D(S176)。对x坐标加上(-xrp+xrs)、对y坐标加上(-yrp+yrs),由此进行各点的坐标的移动。
如上所述,本实施方式的HMD1具有用于决定视听者的眼睛和显示器80的初始位置,并检测该位置的偏差的摄像机10和眼球位置校准部40和位置偏差检测部60和图像处理部70,将最初佩戴HMD并观察没有显示的暗的显示器80时的瞳孔位置和内眼角位置存储为标准位置,在视听影像的过程中逐次检测内眼角的位置相对于标准位置的偏差。在内眼角的位置偏离标准位置的情况下,进行用于补偿内眼角的偏差的图像提示位置和角度的变换来进行显示。在这样进行动作的HMD1中,通过在观察没有任何显示的暗的显示器80的状态下确定瞳孔的位置,能够确定观察无限远处时的瞳孔位置,并决定图像显示的中心。
另外,在本实施方式的HMD1中,通过以在欣赏影像时也不移动的内眼角的位置为基准来补偿由于HMD的佩戴位置偏差而形成的显示器80和眼睛的位置偏差,能够显示针对左右眼睛不存在上下方向的偏差的准确视差的图像。由此,能够降低视听三维影像时的立体视的异常、或由于视听三维影像而形成的不协调感、疲劳、不舒适感。另外,通过在观察没有任何显示的暗的显示器80的状态下独立地确定左右瞳孔的位置,能够降低斜视等左右眼球的朝向存在偏差的视听者的疲劳。
即,根据本实施方式的HMD1,即使是视听者的视线移动时,也能够根据不移动的内眼角或者外眼角与显示器80的相对位置,而且是与视线无关地校正眼睛与显示器80的相对位置的偏差,因而即使是HMD1的佩戴位置偏差时,也能够防止由于眼睛与显示器80的相对位置的偏差而造成的立体视的异常或疲劳和影像眩晕。
另外,在本实施方式中,在刚刚开始视听后,在S121显示暗画面,在S122拍摄眼睛整体,在S123粗略地切取图像,从而在S124进行内眼角识别,在S126进行瞳孔识别的动作,但也可以是,当在S190视听结束时,将瞳孔标准位置和内眼角标准位置以及内眼角识别的适用模型存储在图17所示的非易失性存储器即标准位置蓄积部130中,在下一次开始视听时不进行基于暗画面显示的校准,而仅进行此前的标准位置的微调。在这种情况下,当在步骤S129将内眼角标准位置存储于标准位置存储部50中时,也将在步骤S127决定的瞳孔位置的坐标存储于标准位置存储部50中。标准位置蓄积部130将例如视听结束时的左右内眼角标准位置、左右瞳孔标准位置、在检测内眼角时使用的适用模型的ID、和视听结束时的日期,作为数据进行蓄积。也可以是,在下一次开始视听时调用最近的数据,此外在下一次开始视听时在显示器80显示所蓄积的日期,视听者根据所显示的日期选择自己的数据。也可以是,假设在数据中输入蓄积用于识别视听者的个人ID,视听者本人利用个人ID选择数据。另外,在下一次开始视听时,如果是此前没有使用过该HMD的视听者,则从输入部110进行输入,以便进行校准。
关于标准位置的微调,例如按照图18所示进行被置于S110开始视听后的步骤S220的微调。步骤S220的微调是指如下的动作。
首先,利用摄像机10拍摄眼睛整体(S122)。然后,眼球位置校准部40调出在标准位置蓄积部130中存储的此前刚使用时的瞳孔标准位置和内眼角标准位置及内眼角识别的适用模型(S221)。内眼角检测部30仅切取在S221调出的此前刚刚视听时的内眼角标准位置的周围区域(S223)。如图19所示,周围区域例如设为在x轴上距在S221调出的内眼角标准位置的x轴上的位置为±5mm的范围。
另外,内眼角检测部30根据与在S221调出的此前刚使用时的内眼角识别的适用模型的核对,在通过S223切取的此前刚使用时的内眼角标准位置的周围区域内进行内眼角的识别(S224)。
然后,眼球位置校准部40决定在图像中识别出的内眼角的位置(S125)。然后,眼球位置校准部40决定瞳孔位置(S227)。在此,瞳孔位置不是识别瞳孔,而是按照下面的步骤决定的。首先,在S224根据在S221调出的此前刚使用时的内眼角标准位置进行识别,针对左右内眼角分别求出向在S125决定的内眼角位置的移动向量。然后,按照针对左右内眼角分别求出的移动向量,对在S221调出的此前刚使用时的左右瞳孔位置的坐标进行变换,将变换后的坐标决定为左右眼睛各自的瞳孔的位置。
以后与本实施方式相同地,眼球位置校准部40决定图像显示位置(S128),标准位置存储部50存储在S125由眼球位置校准部40决定的左右内眼角位置(S129)。另外,标准位置存储部50存储在S227由眼球位置校准部40决定的左右瞳孔的位置(S131)。由此,在HMD1的用户固定的情况下,如果在初次使用时进行了校准,则以后使用时的校准仅是微调,能够节省在开始视听时观察暗画面显示的功夫。另外,也能够缩短校准的时间,能够缩短视听者从进行开始视听输入后到视听内容影像的时间。并且,在非易失性存储器中存储多个用户的此前刚使用时的信息。用户在开始视听时输入开始信号和指定用户的信号。输入部例如是旋钮或开关、触摸屏等。当在S110开始视听时受理视听开始信号和确定用户的信号,并读出在S221所确定的用户的此前刚使用时的信息,由此也能够应对多个用户。
另外,在本实施方式中,在S172,在左右两侧的显示器显示左眼用图像,由此将三维影像切换为二维影像,但也可以在双方显示器中显示右眼用图像。另外,也可以是,在两侧的显示器中显示瞳孔的位置与显示器的中心位置的距离较短者的图像,由此将三维影像切换为二维影像。
例如,按照表示图9的S170的具体步骤的另一个流程图(图20)所示,当在S173计算旋转角度和在S174计算移动向量后,判定内眼角位置的偏差量是否超过基准值(S271)。在其结果是偏差量为基准值以上的情况下、即在S271为否的情况下,左右图像控制部77根据在S173和S174决定的旋转θ和平行移动D,对在标准位置存储部50中存储的左右瞳孔标准位置的坐标进行变换,求出当前的在观察无限远处时的瞳孔的位置。另外,左右图像控制部77求出:瞳孔标准位置的变换坐标即当前的在观察无限远处时的瞳孔的位置与当前的显示器中心的距离(S272)。基准值例如设为两眼的偏差量的合计值即6.5mm。在生成三维影像时通常使用的左右瞳孔间的距离为6.5cm,6.5mm是其10%。左右图像控制部77针对左右显示器将在S272求出的距离进行比较(S273)。在右侧的瞳孔与显示器的距离大于左侧的情况下、即在S273为是的情况下,左右图像控制部77将左眼用图像替换为右眼用图像(S274)。即,将左眼用图像用作右眼用图像,对左右两眼提示左眼用图像。当在S273左侧的瞳孔与显示器的距离大于右侧的情况下、即在S273为否的情况下,左右图像控制部77将右眼用图像替换为左眼用图像(S275)。即,对左右两眼提示右眼用图像。这样,在二维化处理中,图像处理部70针对由位置偏差检测部60检测出的对于视听者的左眼和右眼各自的位置偏差中偏差量较大的眼睛用的图像进行图像处理。
由此,在将三维影像切换为二维影像时,能够显示适合于更容易观察影像的状态的眼睛的二维影像。在进行该处理的情况下,当在S120进行校准时,标准位置存储部50不仅存储由S125决定的内眼角标准位置,而且也存储由S127决定的瞳孔标准位置。
另外,在本实施方式中,针对在S171进行校准时的眼睛与显示器80的相对位置,判定当前的眼睛与显示器80的相对位置的偏差量是否为基准值以上,并决定是进行三维图像显示用的校正还是进行从三维影像向二维影像的切换,但也可以是,不根据偏差量进行判定,而是由旋转计算部72求出将偏差分解为旋转和移动时的旋转角,在旋转角的角度为预先设定的基准值以上的情况下,进行从三维影像向二维影像的切换。
即,也可以是,图像处理部70将由位置偏差检测部60检测出的位置偏差分解为旋转和向水平方向及垂直方向的移动,在所分解的旋转的角度超过预先设定的值的情况下,进行用于将左眼用和右眼用的图像中任意一方作为左右两眼用的图像显示于显示器80的图像处理,而在所分解的旋转的角度未超过预先设定的值的情况下,进行使左眼用和右眼用的图像分别旋转的处理、以及使左眼用和右眼用的图像沿水平方向及垂直方向移动的处理。
例如,按照表示图9的S170的具体步骤的另一个流程图(图21)所示,不根据偏差量进行判定,而是首先由旋转计算部72求出图16(b)所示的旋转角θ(S173),判定部71将该旋转角θ和预先设定的值例如6度进行比较(S371)。在旋转角θ为6度以上的情况下、即在S371为否的情况下,左右图像控制部77将左眼用图像替换为右眼用图像,将三维图像切换为二维图像(S172)。关于将三维图像切换为二维图像的方法,也可以是将右眼用图像替换为左眼图像。另外,也可以进行前述的S272~S275的动作。另一方面,当在S371旋转角θ小于6度的情况下、即在S371为是的情况下,与本实施方式相同地,通过进行S174~S176的动作来计算移动向量,并进行图像的旋转和平行移动。由此,在HMD1的佩戴偏差中,纵向偏差图像成为立体视的障碍,而作为纵向偏差图像的原因的旋转的成分过大的情况下,能够切换为二维影像。即,通过仅对容易产生立体视的异常或疲劳或者影像眩晕的偏差来切换为二维影像,能够防止不必要地妨碍三维影像的视听的情况。
另外,在本实施方式中说明了在S151一定拍摄内眼角,但是在HMD1的佩戴位置极端偏差的情况下,存在内眼角偏离摄像机10的摄像范围的情况。在这种情况下,也可以将左右任意一方的图像提示给左右两侧的显示器80,并切换为二维影像。由此,即使是在HMD1的佩戴位置大大偏差而不能准确形成用于视听三维影像的视差的情况下,视听者也能够不勉强地继续影像的视听。
另外,在本实施方式中,在视听影像内容的过程中逐次执行S140~S180的动作,并随时对HMD1的佩戴位置的偏差进行图像处理,但也可以是,仅在一定的偏差持续达一定的时间以上的情况下进行图像处理。所谓一定的偏差是指偏差在有变动的范围内视为一定的情况。例如,如果偏差的变动处于在S160视为允许范围内的范围中,则视为一定的偏差。在本实施方式中,将S160的允许范围设为两眼的偏差之和在2mm以内。例如,在两眼的偏差之和的时间变动在2mm以内的情况下,视为一定的偏差。另外,所谓一定的时间例如指1秒钟。所谓视听者在HMD1的佩戴位置偏差的状态下继续视听,可以考虑视听者没有注意到佩戴位置偏差的情况。将注意到偏差到新佩戴设为约1秒钟,假设在一定的偏差保持了1秒钟以上的情况下进行S170的校正处理。由此,能够防止由于对视听者马上修正的佩戴偏差或HMD的暂时摆动实施图像处理而成为具有不协调感的显示。另外,不需要逐次的图像处理,能够削减处理量。并且,在偏差非一定的状态持续达一定时间以上的情况下,将左右任意一方的图像提示给左右两侧的显示器,并切换为二维影像。所谓偏差非一定的状态是指视听者的头部剧烈运动的情况。即,视听者在进行步行等运动、或者有可能被传递了交通工具等的振动。这种头部剧烈运动的状态是容易产生影像眩晕的状态,因而在偏差非一定的情况下切换为二维影像,由此能够防止视听者的影像眩晕。关于偏差非一定的状态持续的时间,例如设为5分钟。
另外,在本实施方式中,将内眼角的位置作为指标来检测显示器80与眼睛的相对位置的偏差,但只要是在视听影像时位置不变的眼睛的周围部位,则也可以是外眼角等内眼角以外的部位。
(实施方式2)
下面,说明本发明的实施方式2的头戴式显示器及其位置偏差调整方法。
在实施方式1中,说明了无论HMD1的形状如何,在HMD1偏离眼球前方的情况下,计算该偏差的向量的方法。但是,通常HMD1往往是被视听者的鼻子的凸部分支撑着。图22是表示本实施方式的HMD1的硬件结构的一例的图。在视听者的左眼前方设置左眼用显示器80L,在视听者的右眼前方设置右眼用显示器80R。在两个显示器之间设置用于拍摄视听者的眼睛的摄像机10。对于红外线摄像机,将红外线的发光部与摄像机10相邻设置。设置眼镜腿和鼻垫,以便佩戴并固定HMD1。HMD1的支点是两耳和鼻子,支撑中心位置的是鼻子,因此在HMD1倾斜的情况下,即在相对于表示正常时的HMD1的佩戴状态的图23(a),HMD1如图23(b)所示向右下方偏差的情况下,HMD1往往以Pa为支点而倾斜。相反,在如图23(c)所示向左下方偏差的情况下,往往以Pb为支点而偏差。在以这些支点Pa和Pb为中心而偏差的情况下,能够利用较少的图像特征量检测HMD1的偏差。
即,在本实施方式中,关于待检测的位置偏差,位置偏差检测部60检测由于头戴式显示器1以视听者的鼻子为支点进行旋转而形成的位置偏差,而且假设头戴式显示器1的右侧降低的旋转是以视听者的鼻子的右侧的凸面的一点为中心的旋转,头戴式显示器1的左侧降低的旋转是以视听者的鼻子的左侧的凸面的一点为中心的旋转,如此检测位置偏差。
更具体地讲,关于位置偏差,位置偏差检测部60使用从视听者的鼻子的凸面的一部分即支点到摄像机10位置的相对位置,计算头戴式显示器1的旋转量,由此检测位置偏差。此时,位置偏差检测部60使用与摄像机10拍摄的图像的中心较近的内眼角或者外眼角的位置作为标准位置来检测位置偏差。
下面,关于本实施方式的位置偏差的检测方法即计算HMD1倾斜的角度的方法,使用图24进行具体说明。图24中的点Xs是在实施方式1的步骤S120通过校准而决定的标准内眼角位置。在本实施方式中,不将原点设定在左右摄像机10之间,而是设定在右眼用摄像机的左上端(点Os)。在图24(a)所示的状态下,以鼻子的点Pa的点为支点来支撑HMD1,从拍摄视听者的眼球的摄像机,检测内眼角相对于原点Os的位置,并作为Xs(xrs,yrs)的坐标值。此时,以点Pa为支点,HMD1按照图24(b)所示以倾斜角θ进行倾斜。此时,摄像机的原点Os也偏差到相对于基准坐标系(不依赖于摄像机、眼球的位置的基准坐标系)倾斜了θ的位置。其结果是,相对于基准坐标系,原点Os以Pa为中心而旋转到原点O’s,并且点Xs的坐标也以Pa为中心而旋转到X’s。即,如果将旋转坐标变换矩阵设为R,则得到
[数式9]
Pa X ′ s → = R ( PaXs ) →     (式5)
[数式10]
Pa O ′ s → = R ( PaOs ) → (式6)
在此,能够用下式表述。
[数式11]
R = cos θ sin θ - sin θ cos θ (式7)
另外,在图24(a)中,在基准坐标系中,将点Os相对于点Pa的向量设为(X0,Y0)。即,支撑HMD1的鼻子的位置与摄像机10拍摄的原点的坐标的相对位置关系是通过设计时的测量等被预先赋予的。此时,在基准坐标系中,点Xs相对于点Pa的位置向量(坐标值)能够利用下式计算出。
[数式12]
PaXs → = PaOs → + OsXs →
= X 0 + xrs Y 0 + yrs (式8)
另一方面,计算HMD1仅倾斜θ时的状态下的点Xs的位置坐标。在图24(b)所示的状态下,在基准坐标系中,点Xs相对于点Pa的位置向量(坐标值)能够利用旋转后的点O’s的位置表述如下式。
[数式13]
PaXs → = Pa O ′ s → + O ′ s X ′ s → (式9)
另外,点O’s是使点Os的位置以点Pa为中心仅旋转θ后的坐标,在图24(b)所示的摄像机10的图像中,在视听者的内眼角的位置坐标X’s被测量为(xrp,yrp)时,能够计算出PaXs的向量如下:
[数式14]
PaXs → = R ( PaOs ) → + O ′ s X ′ s →
= cos θ sin θ - sin θ cos θ X 0 Y 0 + xrp yrp
= X 0 cos θ + Y 0 sin θ + xrp - X 0 sin θ + Y 0 cos θ + yrp (式10)
在此,在基准坐标系中,假设内眼角的位置是固定的,则下述的两个式子(式11、式12)成立。
[数式15]
X0+xrs=X0cosθ+Y0sinθ+xrp        (式11)
[数式16]
Y0+yrs=-X0sinθ+Y0cosθ+yrp        (式12)
在此,点Os相对于鼻子的支点坐标Pa的位置坐标(X0,Y0)当被假设为在设计时视听者的鼻子所在的位置时,则是被预先赋予的值。另外,根据拍摄眼球的摄像机10,在如图24(a)所示的状态下的内眼角的坐标值被赋予了(xrs,yrs)、HMD1以点Pa为支点而倾斜的图24(b)所示状态下的内眼角的坐标值被赋予了(xrp,yrp)时,能够计算出HMD1的倾斜角θ。
在上述的两个式子(式11、式12)中,能够根据各式计算倾斜角θ。但是,在根据内眼角的位置来测定以点Pa为中心的旋转方向的偏差的情况下,内眼角与支点的位置关系是y轴方向的偏差大于x轴方向的偏差。因此,在如图24(b)所示旋转了θ时,水平方向的偏差量增大。因此,测量式11中的xrs和xrp来计算θ的值,其精度将更好。
另外,在图24所示的例子中,根据头戴式显示器的一侧向下方降低来计算出偏差量,但在相反的情况下,能够设为以Pb为支点的旋转来进行计算。
另外,在图24所示的例子中,在HMD1向右侧倾斜时,使用右眼的内眼角的位置求出旋转角。但是,在不能取得清晰的内眼角的图像、或内眼角的位置偏离出摄像机10的视场角时,也能够使用左眼的内眼角的位置计算旋转量。但是,旋转中心需要使用以相同的点Pa为旋转中心的计算方法。
另外,在上述的计算中,不考虑基于摄像机10的透镜的畸变而进行计算。通常,利用摄像机拍摄的图像在所拍摄的图像越远离中心时(越接近周围部分时),越产生畸变。因此,在根据利用摄像机10拍摄的图像计算HMD1倾斜的量时,在使用内眼角或者外眼角的情况下,尽量将在摄像机10的中心拍摄到的对象作为基准,这样精度将更好。因此,使用内眼角或者外眼角这两者中接近拍摄中心的对象来检测倾斜量,能够高精度地进行计算。
另外,在实施方式1和2中,检测视听者的内眼角,并对应内眼角的位置的偏差来校正图像的显示位置,但也可以检测外眼角,并对应外眼角的位置的偏差来校正图像的显示位置。在图22所示的例子中,将摄像机10设于左右显示器之间,即在进行拍摄的各个内眼角侧设置摄像机,但在检测外眼角的情况下,也可以将左右摄像机10设置在HMD1的眼镜腿侧即进行拍摄的各个外眼角侧。此时,内眼角检测部30成为外眼角检测部,并具有外眼角识别用模型而非内眼角识别用模型。标准位置存储部50存储外眼角标准位置而非内眼角标准位置。由此,能够对应外眼角的位置的偏差来校正图像的显示位置。
以上,关于本发明的头戴式显示器1及其位置偏差调整方法,使用实施方式1和2进行了说明,但本发明不限于这些实施方式。在不脱离本发明宗旨的范围内对各实施方式实施本行业人员能够想到的各种变形而得到的方式、或将各实施方式及变形例中的构成要素进行任意组合而得到的方式,均包含在本发明中。
例如,也可以利用半导体集成电路即LSI来实现上述块图(图5、图7)中的处理***的功能单元。该LSI可以按照每个功能单元而形成为单片,也可以形成为包含一部分或者全部的单片。另外,在此所谓LSI也包括根据集成度的不同而被称为IC、***LSI、超级(super)LSI、特级(ultra)LSI的情况。
另外,集成电路化的方法不限于LSI,也可以利用专用电路或者通用处理器实现。也可以采用在制作LSI后能够编程的可现场编程门阵列(FPGA:Field Programmable Gate Array)、能够重构架LSI内部的电路单元的连接和设定的可重构处理器(reconfigurable processor)。
另外,上述实施方式中的头戴式显示器1如使用图8说明的那样,也可以利用计算机来实现,该计算机由微处理器、ROM、RAM、硬盘装置、显示器装置、键盘、鼠标等构成。在此,在RAM或者硬盘装置中存储有计算机程序。微处理器按照该计算机程序进行动作,由此头戴式显示器1实现其功能。在此,计算机程序为了实现预定的功能,可以组合多个表示对计算机的指令的命令代码而构成。
即,这种程序也可以是使计算机(或者处理器)调整在头戴式显示器中显示的三维影像的位置偏差的方法,使计算机执行以下步骤:显示步骤,在显示器中显示三维影像;位置取得步骤,测量视听者的内眼角或者外眼角相对于所述显示器的位置;标准位置存储步骤,将用于决定与所述位置相关的标准位置的校准中由所述位置取得步骤测量出的所述内眼角或者所述外眼角的位置,作为所述标准位置存储到标准位置存储部中;位置偏差检测步骤,检测通过所述位置取得步骤新测量出的正在视听内容的所述视听者的所述内眼角或者所述外眼角相对于所述显示器的位置、与在所述标准位置存储部中存储的所述视听者的所述标准位置之差,作为位置偏差;以及图像处理步骤,在通过所述位置偏差检测步骤检测出位置偏差时,以使显示于所述显示器的三维影像根据所述检测出的位置偏差而旋转或者平行移动的方式,对所述三维影像进行图像处理。
另外,构成上述实施方式中的头戴式显示器1的构成要素的一部分或者全部可以由能够插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机***。IC卡或者模块也可以包含超多功能LSI。微处理器按照计算机程序进行动作,由此IC卡或者模块实现其功能。该IC卡或者该模块可以具有反篡改性(耐タンパ性)。
另外,本发明也可以实现为上述实施方式中的流程图所示的方法。并且,也可以实现为利用计算机实现该方法的计算机程序,还可以实现为表示该计算机程序的数字信号。并且,本发明也可以实现为将该计算机程序或者数字信号记录在计算机可以读取的记录介质中,所述记录介质例如是软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc:蓝光盘)、半导体存储器等。
并且,本发明当然也可以构成为经由电气通信线路、无线或者有线通信线路、以因特网为代表的网络、数据广播等,传输所述计算机程序或者数字信号。
并且,本发明也可以构成为将所述计算机程序或者数字信号记录在记录介质中并传输,或者经由所述网络等传输所述计算机程序或者数字信号,从而能够利用独立的其他计算机***来实施本发明的头戴式显示器或者其位置偏差调整方法。
产业上的可利用性
本发明的头戴式显示器能够广泛用于显示三维影像的情况,在构建视听电影或录像等已收录的内容的***时比较有用。并且,也能够应用于远程作业或远程手术或者游戏或教育、培训用的基于虚拟现实的体验***等用途。
标号说明
1头戴式显示器(HMD);10摄像机;10L摄像机(左眼用摄像机);10R摄像机(右眼用摄像机);20瞳孔检测部;30内眼角检测部;40眼球位置校准部;50标准位置存储部;60位置偏差检测部;70图像处理部;71判定部;72旋转计算部;73图像存储部;74旋转处理部;75平行移动计算部;76平行移动处理部;77左右图像控制部;80显示器;80L显示器(左眼用显示器);80R显示器(右眼用显示器);100位置取得部;110输入部;120图像存储/接收部;130标准位置蓄积部;211输入部;212存储部;213输出部;214CPU;215ROM;216RAM;217输入输出I/F;220计算机。

Claims (12)

1.一种头戴式显示器,该头戴式显示器具有:
显示器,显示三维影像;
位置取得部,测量视听者的内眼角或者外眼角相对于所述显示器的位置;
标准位置存储部,将用于决定与所述位置相关的标准位置的校准中由所述位置取得部测量出的所述内眼角或者所述外眼角的位置,作为所述标准位置取得并存储;
位置偏差检测部,检测由所述位置取得部新测量出的正在视听内容的所述视听者的所述内眼角或者所述外眼角相对于所述显示器的位置、与在所述标准位置存储部中存储的所述视听者的所述标准位置之差,作为位置偏差;以及
图像处理部,在由所述位置偏差检测部检测出位置偏差时,以使显示于所述显示器的三维影像根据所述检测出的位置偏差而旋转或者平行移动的方式,对所述三维影像进行图像处理。
2.根据权利要求1所述的头戴式显示器,所述位置取得部具有测量所述视听者的瞳孔与所述显示器的相对位置的传感器,
所述头戴式显示器还具有校准部,该校准部根据由所述传感器测量的在所述显示器不显示所述三维影像的状态下的所述相对位置,决定所述标准位置,并将所决定的标准位置存储在所述标准位置存储部中。
3.根据权利要求1所述的头戴式显示器,所述图像处理部进行使构成所述三维影像的左眼用和右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。
4.根据权利要求1所述的头戴式显示器,所述图像处理部还进行用于将构成所述三维影像的左眼用和右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理。
5.根据权利要求4所述的头戴式显示器,所述位置取得部对于所述视听者的左眼和右眼分别测量所述位置,
所述标准位置存储部对于所述视听者的左眼和右眼分别存储所述标准位置,
所述位置偏差检测部对于所述视听者的左眼和右眼分别检测所述位置偏差,
所述图像处理部对于由所述位置偏差检测部检测出的所述视听者的左眼和右眼各自的所述位置偏差中、偏差量较小的眼睛用的图像,进行所述图像处理。
6.根据权利要求1所述的头戴式显示器,在由所述位置偏差检测部检测出的位置偏差的量超过预先设定的值的情况下,所述图像处理部进行用于将构成所述三维影像的左眼用和右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理,在由所述位置偏差检测部检测出的位置偏差的量未超过预先设定的值的情况下,所述图像处理部进行使所述左眼用和所述右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。
7.根据权利要求6所述的头戴式显示器,所述图像处理部将由所述位置偏差检测部检测出的位置偏差分解为旋转和向水平方向及垂直方向的移动,在所述旋转的角度超过预先设定的值的情况下,进行将所述左眼用和所述右眼用的图像中的任意一方作为左右两眼用的图像显示于所述显示器的图像处理,在所述旋转的角度未超过预先设定的值的情况下,进行使所述左眼用和所述右眼用的图像分别旋转的处理、以及使所述左眼用和所述右眼用的图像沿水平方向和垂直方向移动的处理。
8.根据权利要求1所述的头戴式显示器,所述位置偏差检测部检测该头戴式显示器以所述视听者的鼻子为支点进行旋转而产生的位置偏差,作为所述位置偏差,而且,设该头戴式显示器的右侧降低的旋转是以所述视听者的鼻子右侧的凸面的一点为中心的旋转,设该头戴式显示器的左侧降低的旋转是以所述视听者的鼻子左侧的凸面的一点为中心的旋转,由此检测所述位置偏差。
9.根据权利要求8所述的头戴式显示器,所述位置取得部具有拍摄所述内眼角的摄像机,
作为所述位置偏差,所述位置偏差检测部使用从作为所述视听者的鼻子的凸面的一部分的支点到所述摄像机的位置的相对位置来计算该头戴式显示器的旋转量,由此检测所述位置偏差。
10.根据权利要求9所述的头戴式显示器,所述位置偏差检测部使用与利用所述摄像机拍摄的图像的中心较近的所述内眼角或者所述外眼角的位置作为所述标准位置,来检测所述位置偏差。
11.一种头戴式显示器的位置偏差调整方法,用于调整在头戴式显示器中显示的三维影像的位置偏差,该位置偏差调整方法包括以下步骤:
显示步骤,在显示器中显示三维影像;
位置取得步骤,测量视听者的内眼角或者外眼角相对于所述显示器的位置;
标准位置存储步骤,将用于决定与所述位置相关的标准位置的校准中由所述位置取得步骤测量出的所述内眼角或者所述外眼角的位置,作为所述标准位置取得并存储到标准位置存储部中;
位置偏差检测步骤,检测通过所述位置取得步骤新测量出的正在视听内容的所述视听者的所述内眼角或者所述外眼角相对于所述显示器的位置、与在所述标准位置存储部中存储的所述视听者的所述标准位置之差,作为位置偏差;以及
图像处理步骤,在通过所述位置偏差检测步骤检测出位置偏差时,以使显示于所述显示器的三维影像根据所述检测出的位置偏差而旋转或者平行移动的方式,对所述三维影像进行图像处理。
12.一种程序,用于调整在头戴式显示器中显示的三维影像的位置偏差,该程序使计算机执行权利要求11所述的位置偏差调整方法中所包含的步骤。
CN201280006773XA 2011-06-16 2012-04-11 头戴式显示器及其位置偏差调整方法 Pending CN103380625A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011134632 2011-06-16
JP2011-134632 2011-06-16
PCT/JP2012/002499 WO2012172719A1 (ja) 2011-06-16 2012-04-11 ヘッドマウントディスプレイおよびその位置ずれ調整方法

Publications (1)

Publication Number Publication Date
CN103380625A true CN103380625A (zh) 2013-10-30

Family

ID=47356740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280006773XA Pending CN103380625A (zh) 2011-06-16 2012-04-11 头戴式显示器及其位置偏差调整方法

Country Status (4)

Country Link
US (1) US9191658B2 (zh)
JP (1) JP5414946B2 (zh)
CN (1) CN103380625A (zh)
WO (1) WO2012172719A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像***和方法
CN105204618A (zh) * 2015-07-22 2015-12-30 深圳多新哆技术有限责任公司 虚拟空间中虚拟物件的投影显示方法及装置
CN105192982A (zh) * 2015-09-07 2015-12-30 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和***
CN105204604A (zh) * 2014-05-30 2015-12-30 华为技术有限公司 一种眼球交互控制设备
CN105319718A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
CN105376546A (zh) * 2015-11-09 2016-03-02 中科创达软件股份有限公司 一种2d转3d方法、装置及移动终端
CN105549203A (zh) * 2014-10-27 2016-05-04 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN105683813A (zh) * 2013-11-11 2016-06-15 Lg电子株式会社 头戴式显示器及其控制方法
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股(北京)有限公司 虚拟现实图像校准方法及装置
CN106165415A (zh) * 2014-04-07 2016-11-23 诺基亚技术有限公司 立体观看
CN106415364A (zh) * 2014-04-29 2017-02-15 微软技术许可有限责任公司 立体渲染至眼睛位置
CN106574847A (zh) * 2014-09-24 2017-04-19 三星电子株式会社 用于获取传感器数据的方法及其电子设备
CN106664361A (zh) * 2014-06-20 2017-05-10 索尼公司 信息处理装置、信息处理***、信息处理方法和程序
CN106991706A (zh) * 2017-05-08 2017-07-28 北京德火新媒体技术有限公司 一种拍摄校准方法及***
CN107005668A (zh) * 2014-12-25 2017-08-01 索尼公司 信息处理装置
CN107157588A (zh) * 2017-05-08 2017-09-15 上海联影医疗科技有限公司 影像设备的数据处理方法以及影像设备
CN107462992A (zh) * 2017-08-14 2017-12-12 深圳创维新世界科技有限公司 一种头戴显示设备的调节方法、装置及头戴显示设备
CN107533244A (zh) * 2015-04-02 2018-01-02 埃西勒国际通用光学公司 头戴式设备位置监测组件
CN108107592A (zh) * 2014-01-06 2018-06-01 欧库勒斯虚拟现实有限责任公司 虚拟现实***的校准
WO2018120554A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 图像显示方法和头戴显示设备
WO2018165906A1 (zh) * 2017-03-15 2018-09-20 廖建强 一种头戴式显示装置及其显示方法
CN108693645A (zh) * 2017-04-11 2018-10-23 宏碁股份有限公司 虚拟实境显示装置
CN109495733A (zh) * 2017-09-12 2019-03-19 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示***以及影像显示方法、影像显示程序
TWI671552B (zh) * 2014-07-31 2019-09-11 南韓商三星電子股份有限公司 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體
CN110419075A (zh) * 2017-02-15 2019-11-05 夏普株式会社 显示控制装置、显示控制装置的控制方法以及控制程序
CN110892307A (zh) * 2017-08-21 2020-03-17 宝马股份公司 用于运行用于车辆的辅助***的方法和辅助***
CN111279410A (zh) * 2017-11-02 2020-06-12 佳能株式会社 显示设备和显示设备控制方法
CN111696213A (zh) * 2013-11-11 2020-09-22 索尼互动娱乐股份有限公司 图像生成装置、图像生成方法以及计算机可读介质
CN112444986A (zh) * 2019-08-29 2021-03-05 苹果公司 头戴式设备
CN112639573A (zh) * 2018-09-07 2021-04-09 宝马股份公司 用于运行机动车用的视野显示设备的方法
CN114341703A (zh) * 2019-09-25 2022-04-12 Jvc建伍株式会社 显示装置、显示***、显示调整方法

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8744666B2 (en) * 2011-07-06 2014-06-03 Peloton Technology, Inc. Systems and methods for semi-autonomous vehicular convoys
DE112013005975T5 (de) * 2012-12-14 2015-08-20 Visteon Global Technologies, Inc. System und Verfahren zum automatischen Ausrichten eines Winkels eines dreidimensionalen Displays innerhalb eines Fahrzeuges
JP6318462B2 (ja) * 2013-01-30 2018-05-09 株式会社ニコン 表示装置
US9709806B2 (en) 2013-02-22 2017-07-18 Sony Corporation Head-mounted display and image display apparatus
JP6238532B2 (ja) * 2013-03-11 2017-11-29 キヤノン株式会社 画像表示装置及び画像表示方法
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
JP2016530755A (ja) * 2013-06-28 2016-09-29 トムソン ライセンシングThomson Licensing 位置の検知及び適応的な数のビューを伴うマルチビュー3次元ディスプレイシステム及び方法
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
CN105432081B (zh) * 2013-08-06 2019-12-31 索尼电脑娱乐公司 三维图像生成设备、三维图像生成方法、程序和信息存储介质
CN103442195B (zh) * 2013-08-27 2015-01-07 肖遥 一种多媒体头戴接收装置
US11343487B2 (en) * 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
JP5956479B2 (ja) * 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN106233227B (zh) 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US10996473B2 (en) 2014-03-26 2021-05-04 Atheer, Inc. Method and apparatus for adjusting motion-based data space manipulation
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
JP2015215505A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置、および表示方法
US9835862B1 (en) 2014-05-15 2017-12-05 Google Llc Graphic interface for real-time vision enhancement
EP2958074A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
US9995933B2 (en) * 2014-06-24 2018-06-12 Microsoft Technology Licensing, Llc Display devices with transmittance compensation mask
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
US20160109952A1 (en) * 2014-10-17 2016-04-21 Top Victory Investments Ltd. Method of Controlling Operating Interface of Display Device by User's Motion
US9904053B2 (en) 2014-12-25 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US11263794B2 (en) * 2015-01-21 2022-03-01 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information displaying method thereof
WO2016117061A1 (ja) * 2015-01-22 2016-07-28 株式会社野村総合研究所 ウェアラブル端末およびそれを用いた情報処理システム
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016170854A1 (ja) * 2015-04-22 2016-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
JP6725967B2 (ja) * 2015-07-02 2020-07-22 アルパイン株式会社 画像補正装置および画像補正方法
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
AU2016296723B2 (en) * 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
KR20230150397A (ko) 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
JP6649010B2 (ja) * 2015-08-24 2020-02-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10757399B2 (en) 2015-09-10 2020-08-25 Google Llc Stereo rendering system
AU2016340222B2 (en) * 2015-10-16 2021-07-01 Magic Leap, Inc. Eye pose identification using eye features
CN108476311B (zh) 2015-11-04 2021-04-27 奇跃公司 可穿戴显示***和用于校准可穿戴显示器的方法
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN106372569B (zh) * 2016-08-18 2019-07-05 瑞声科技(新加坡)有限公司 具虹膜采集功能的虚拟现实设备
CN106325521B (zh) * 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
IL265520B2 (en) 2016-09-28 2023-09-01 Magic Leap Inc Capturing a facial model using a wearable device
US10573042B2 (en) 2016-10-05 2020-02-25 Magic Leap, Inc. Periocular test for mixed reality calibration
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
GB201714349D0 (en) 2017-09-06 2017-10-18 Xyz Reality Ltd A method and equipment for setting out a construction site
US20190138789A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Display system and method for displaying images
CN108111837B (zh) * 2017-11-27 2020-08-07 北京灵犀微光科技有限公司 双目近眼显示的图像融合方法和装置
JP2019101811A (ja) 2017-12-04 2019-06-24 富士通株式会社 処理プログラム、処理方法及び処理装置、並びに表示プログラム、表示方法及び表示制御装置
EP4339692A3 (en) 2018-01-17 2024-06-19 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
WO2019160698A2 (en) * 2018-02-16 2019-08-22 Valve Corporation Using detected pupil location to align optical components of a head-mounted display
US11202059B2 (en) * 2018-02-21 2021-12-14 Sony Interactive Entertainment Inc. Image processing apparatus and image processing method
DE102018105917A1 (de) 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
JP2018146966A (ja) * 2018-04-05 2018-09-20 株式会社ニコン 情報入出力装置、及び情報入出力方法
KR20190118040A (ko) * 2018-04-09 2019-10-17 삼성전자주식회사 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
US10491890B1 (en) * 2018-05-14 2019-11-26 Dell Products L.P. Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays
CN108732764B (zh) 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
WO2019244419A1 (ja) * 2018-06-19 2019-12-26 コニカミノルタ株式会社 画像表示装置とウェアラブルディスプレイ
US10921595B2 (en) * 2018-06-29 2021-02-16 International Business Machines Corporation Contextual adjustment to augmented reality glasses
EP3827585A4 (en) 2018-07-24 2022-04-27 Magic Leap, Inc. DISPLAY SYSTEMS AND METHODS FOR DETERMINING THE VERTICAL ALIGNMENT BETWEEN LEFT AND RIGHT DISPLAYS AND A USER'S EYES
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ, インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
DE102018216613A1 (de) * 2018-09-27 2020-04-02 Bayerische Motoren Werke Aktiengesellschaft Datenbrillen mit automatischer Ausblendung von angezeigten Inhalten für Fahrzeuge
EP3671692A1 (en) * 2018-12-19 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Time for passage of a platoon of vehicles
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
US10904516B2 (en) * 2019-01-14 2021-01-26 Valve Corporation Counterrotation of display panels and/or virtual cameras in a HMD
AU2019100368B4 (en) * 2019-01-25 2019-11-28 Norman BOYLE A driverless impact attenuating traffic management vehicle
US11823576B2 (en) * 2019-02-04 2023-11-21 Nec Corporation Vehicle management device, vehicle management method, and storage medium having program stored therein
CN113519154A (zh) * 2019-03-13 2021-10-19 惠普发展公司,有限责任合伙企业 检测眼睛跟踪校准误差
US11579688B2 (en) 2019-06-28 2023-02-14 Canon Kabushiki Kaisha Imaging display device and wearable device
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11846782B1 (en) 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors
EP4279982A4 (en) * 2021-01-14 2024-06-19 Sony Group Corporation IMAGE DISPLAY DEVICE AND IMAGE DISPLAY SYSTEM
GB2603496A (en) 2021-02-05 2022-08-10 Xyz Reality Ltd Aligning multiple coordinate systems for information model rendering
JP1700156S (zh) * 2021-03-08 2021-11-22
JP7468425B2 (ja) * 2021-03-25 2024-04-16 トヨタ自動車株式会社 ライドシェアシステム及びライドシェア方法
GB2605442B (en) 2021-04-01 2023-03-22 Xyz Reality Ltd Configuration method for the display of a building information model
US11869361B2 (en) * 2021-04-01 2024-01-09 Gm Cruise Holdings Llc Coordinated multi-vehicle routing
GB2613155A (en) 2021-11-24 2023-05-31 Xyz Reality Ltd Matching a building information model
US20230368403A1 (en) * 2022-05-16 2023-11-16 Microsoft Technology Licensing, Llc Systems and methods for facilitating display misalignment correction
GB2619966A (en) 2022-06-24 2023-12-27 Xyz Reality Ltd Augmented reality for a construction site with multiple devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
JPH07154829A (ja) * 1993-11-25 1995-06-16 Matsushita Electric Ind Co Ltd 眼鏡型映像表示装置
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
JP2002014300A (ja) * 2000-06-28 2002-01-18 Seiko Epson Corp 頭部装着型表示装置
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
JP2005010687A (ja) * 2003-06-20 2005-01-13 Pentax Corp 電子双眼鏡
WO2008141460A1 (en) * 2007-05-23 2008-11-27 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
JP2010124339A (ja) * 2008-11-20 2010-06-03 Scalar Corp ヘッドマウントディスプレイ
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
JP2010232718A (ja) * 2009-03-25 2010-10-14 Olympus Corp 頭部装着型画像表示装置
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2649932A4 (en) * 2010-12-08 2017-06-14 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US9766698B2 (en) * 2011-05-05 2017-09-19 Nokia Technologies Oy Methods and apparatuses for defining the active channel in a stereoscopic view by using eye tracking
CN103283244A (zh) * 2011-05-20 2013-09-04 松下电器产业株式会社 立体影像提供装置以及其方法
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
JP5858044B2 (ja) * 2011-08-11 2016-02-10 富士通株式会社 立体画像表示装置
KR20140067575A (ko) * 2012-11-27 2014-06-05 삼성디스플레이 주식회사 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914147B2 (en) 2013-11-11 2024-02-27 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method using frequency lower than display frame rate
CN111696213B (zh) * 2013-11-11 2023-10-20 索尼互动娱乐股份有限公司 图像生成装置、图像生成方法以及计算机可读介质
CN111696213A (zh) * 2013-11-11 2020-09-22 索尼互动娱乐股份有限公司 图像生成装置、图像生成方法以及计算机可读介质
CN105683813A (zh) * 2013-11-11 2016-06-15 Lg电子株式会社 头戴式显示器及其控制方法
CN108107592A (zh) * 2014-01-06 2018-06-01 欧库勒斯虚拟现实有限责任公司 虚拟现实***的校准
CN108107592B (zh) * 2014-01-06 2019-11-05 脸谱科技有限责任公司 虚拟现实***的校准
CN106165415B (zh) * 2014-04-07 2020-12-04 诺基亚技术有限公司 立体观看
US11575876B2 (en) 2014-04-07 2023-02-07 Nokia Technologies Oy Stereo viewing
US10645369B2 (en) 2014-04-07 2020-05-05 Nokia Technologies Oy Stereo viewing
US10455221B2 (en) 2014-04-07 2019-10-22 Nokia Technologies Oy Stereo viewing
CN106165415A (zh) * 2014-04-07 2016-11-23 诺基亚技术有限公司 立体观看
CN106415364A (zh) * 2014-04-29 2017-02-15 微软技术许可有限责任公司 立体渲染至眼睛位置
CN105204604A (zh) * 2014-05-30 2015-12-30 华为技术有限公司 一种眼球交互控制设备
CN105204604B (zh) * 2014-05-30 2019-03-01 华为技术有限公司 一种眼球交互控制设备
CN106664361A (zh) * 2014-06-20 2017-05-10 索尼公司 信息处理装置、信息处理***、信息处理方法和程序
CN106664361B (zh) * 2014-06-20 2019-12-13 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
US10983593B2 (en) 2014-07-31 2021-04-20 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
CN112213856A (zh) * 2014-07-31 2021-01-12 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
CN105319718A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
TWI671552B (zh) * 2014-07-31 2019-09-11 南韓商三星電子股份有限公司 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體
US10303250B2 (en) 2014-07-31 2019-05-28 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
CN106574847A (zh) * 2014-09-24 2017-04-19 三星电子株式会社 用于获取传感器数据的方法及其电子设备
US10408616B2 (en) 2014-09-24 2019-09-10 Samsung Electronics Co., Ltd. Method for acquiring sensor data and electronic device thereof
CN105549203A (zh) * 2014-10-27 2016-05-04 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN107005668B (zh) * 2014-12-25 2020-09-22 索尼公司 信息处理装置
CN107005668A (zh) * 2014-12-25 2017-08-01 索尼公司 信息处理装置
CN107533244B (zh) * 2015-04-02 2020-08-25 依视路国际公司 头戴式设备位置监测组件
CN107533244A (zh) * 2015-04-02 2018-01-02 埃西勒国际通用光学公司 头戴式设备位置监测组件
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像***和方法
CN105204618A (zh) * 2015-07-22 2015-12-30 深圳多新哆技术有限责任公司 虚拟空间中虚拟物件的投影显示方法及装置
CN105204618B (zh) * 2015-07-22 2018-03-13 深圳多新哆技术有限责任公司 虚拟空间中虚拟物件的投影显示方法及装置
CN105192982B (zh) * 2015-09-07 2018-03-23 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和***
CN105192982A (zh) * 2015-09-07 2015-12-30 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和***
CN105376546A (zh) * 2015-11-09 2016-03-02 中科创达软件股份有限公司 一种2d转3d方法、装置及移动终端
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股(北京)有限公司 虚拟现实图像校准方法及装置
CN109643466A (zh) * 2016-09-14 2019-04-16 史克威尔·艾尼克斯有限公司 影像显示***以及影像显示方法、影像显示程序
WO2018120554A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 图像显示方法和头戴显示设备
CN108604015A (zh) * 2016-12-26 2018-09-28 华为技术有限公司 图像显示方法和头戴显示设备
CN110419075A (zh) * 2017-02-15 2019-11-05 夏普株式会社 显示控制装置、显示控制装置的控制方法以及控制程序
WO2018165906A1 (zh) * 2017-03-15 2018-09-20 廖建强 一种头戴式显示装置及其显示方法
CN108693645A (zh) * 2017-04-11 2018-10-23 宏碁股份有限公司 虚拟实境显示装置
CN106991706B (zh) * 2017-05-08 2020-02-14 北京德火新媒体技术有限公司 一种拍摄校准方法及***
CN106991706A (zh) * 2017-05-08 2017-07-28 北京德火新媒体技术有限公司 一种拍摄校准方法及***
CN107157588A (zh) * 2017-05-08 2017-09-15 上海联影医疗科技有限公司 影像设备的数据处理方法以及影像设备
CN107157588B (zh) * 2017-05-08 2021-05-18 上海联影医疗科技股份有限公司 影像设备的数据处理方法以及影像设备
CN107462992A (zh) * 2017-08-14 2017-12-12 深圳创维新世界科技有限公司 一种头戴显示设备的调节方法、装置及头戴显示设备
CN110892307B (zh) * 2017-08-21 2022-10-04 宝马股份公司 用于运行用于车辆的辅助***的方法和辅助***
CN110892307A (zh) * 2017-08-21 2020-03-17 宝马股份公司 用于运行用于车辆的辅助***的方法和辅助***
CN109495733A (zh) * 2017-09-12 2019-03-19 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN109495733B (zh) * 2017-09-12 2020-11-06 宏达国际电子股份有限公司 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
US11474595B2 (en) 2017-11-02 2022-10-18 Canon Kabushiki Kaisha Display device and display device control method
CN111279410A (zh) * 2017-11-02 2020-06-12 佳能株式会社 显示设备和显示设备控制方法
CN112639573A (zh) * 2018-09-07 2021-04-09 宝马股份公司 用于运行机动车用的视野显示设备的方法
CN112444986A (zh) * 2019-08-29 2021-03-05 苹果公司 头戴式设备
CN114341703A (zh) * 2019-09-25 2022-04-12 Jvc建伍株式会社 显示装置、显示***、显示调整方法
CN114341703B (zh) * 2019-09-25 2024-02-02 Jvc建伍株式会社 显示装置、显示***、显示调整方法

Also Published As

Publication number Publication date
US9191658B2 (en) 2015-11-17
WO2012172719A1 (ja) 2012-12-20
JPWO2012172719A1 (ja) 2015-02-23
JP5414946B2 (ja) 2014-02-12
US20130235169A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
CN103380625A (zh) 头戴式显示器及其位置偏差调整方法
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
JP5637560B2 (ja) 近視および疲労の防止および治療のための方法およびデバイス
JP5078616B2 (ja) 一対の累進焦点眼鏡レンズを決定する方法
CN112805659A (zh) 通过用户分类为多深度平面显示***选择深度平面
US9259146B2 (en) Binocular visual performance measuring method, binocular visual performance measuring program, eyeglass lens design method and eyeglass lens manufacturing method
JP6026836B2 (ja) 画像表示装置、制御方法、プログラム及び記憶媒体
JP6332392B2 (ja) 眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ選択装置および眼鏡レンズ選択方法
US11448903B2 (en) Method for correcting centering parameters and/or an axial position and corresponding computer program and methods
CN105992965A (zh) 响应于焦点移位的立体显示
JPWO2014203440A1 (ja) 画像表示装置および画像表示方法
US11402661B2 (en) Method for determining an ophthalmic lens adapted to a locomotion parameter
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
CN115053270A (zh) 用于基于用户身份来操作头戴式显示***的***和方法
WO2018145460A1 (zh) 一种智能用户体验设备及智能头盔
JP2012085106A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011253042A (ja) 眼鏡レンズ選択方法及び眼鏡レンズ選択システム
CN111868605B (zh) 针对具体使用者校准能够佩戴在使用者的头部上的显示装置以用于增强显示的方法
JP5715797B2 (ja) 両眼視機能測定方法、両眼視機能測定プログラム、眼鏡レンズの設計方法、及び眼鏡レンズの製造方法
JPWO2012157177A1 (ja) 輻輳能力判定装置及びその方法
JPWO2019009034A1 (ja) 眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ、眼鏡レンズ発注装置、眼鏡レンズ受注装置および眼鏡レンズ受発注システム
KR20240040727A (ko) 광학 제품 시뮬레이션 방법
US20220240774A1 (en) Binocular visual function measurement method, binocular visual function measurement program, eyeglass lens designing method, eyeglass lens manufacturing method, and binocular visual function measurement system
JP4267556B2 (ja) 眼球制御装置、眼球制御方法および眼球制御プログラム
KR20190091337A (ko) 굴절 측정 방법 및 시스템, 안과 렌즈의 광학적 설계 방법, 및 그러한 안과 렌즈를 포함하는 유리의 쌍

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131030