CN112955933A - 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 - Google Patents

控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 Download PDF

Info

Publication number
CN112955933A
CN112955933A CN201980073713.1A CN201980073713A CN112955933A CN 112955933 A CN112955933 A CN 112955933A CN 201980073713 A CN201980073713 A CN 201980073713A CN 112955933 A CN112955933 A CN 112955933A
Authority
CN
China
Prior art keywords
eye
cornea
image
controller
object point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980073713.1A
Other languages
English (en)
Other versions
CN112955933B (zh
Inventor
林佑介
草深薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN112955933A publication Critical patent/CN112955933A/zh
Application granted granted Critical
Publication of CN112955933B publication Critical patent/CN112955933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

控制器构成为，基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像、以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。

Description

控制器、位置判定装置、位置判定***、显示***、程序以及记 录介质
相关申请的相互参照
本申请主张在2018年11月5日申请的日本国专利申请2018-208358号的优先权，并将该在先申请的公开内容整体援引于此以供参照。
技术领域
本公开涉及控制器、位置判定装置、位置判定***、显示***、程序以及记录介质。
背景技术
以往，已知基于立体照相机所具有的两个相机分别拍摄到的摄像图像，计算到物体、人物等被摄体为止的距离。例如，在专利文献1中记载了为了在这样的立体照相机中准确地计算距离，校正两个相机的位置以及姿势的相对偏移。
在先技术文献
专利文献
专利文献1：国际公开2016/208200号
发明内容
本公开的控制器构成为，基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。
本公开的位置判定装置具备通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。
本公开的位置判定***具备摄像装置和位置判定装置。所述位置判定装置包括通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。
本公开的显示***具备摄像装置、位置判定装置以及平视显示器。所述位置判定装置具备通信模块和控制器。所述通信模块构成为，接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像。所述控制器构成为，基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像，判定实际空间中的所述物点的位置。所述平视显示器构成为，基于由所述控制器判定出的所述物点的位置，显示利用者的眼在与所述物点的位置相关的位置进行视觉辨认的虚像。
本公开的程序是用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置的程序。
本公开的记录介质是记录有程序的计算机可读取的记录介质。所述程序是用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置的程序。
附图说明
图1是表示第1实施方式的位置判定***的概要结构的图。
图2是表示由图1所示的摄像装置生成的摄像图像的例子的图。
图3是表示从图1所示的摄像图像提取出的眼的像的例子的图，图3的(a)是表示右眼的像的例子的图，图3的(b)是表示左眼的像的例子的图。
图4是示意性地表示图3的(b)所示的左眼的角膜的像构成一部分的椭圆倾斜的例子的图。
图5是表示眼处于基准状态的情况的角膜与像面的关系的示意图。
图6是表示眼不处于基准状态的情况的角膜与像面的关系的示意图。
图7是表示左中心位置、左法线方向、右中心位置以及右法线方向与物点的位置的关系的图。
图8是用于说明使用极平面(epi-polar plane)计算出的右眼的角膜内的物点的像的图。
图9是表示左眼以及右眼各自的位置、与摄像面的位置、与物点的位置的关系的图。
图10是表示使用第1例来判定物点的位置的处理的流程图。
图11是表示使用第2例来判定物点的位置的处理的流程图。
图12是表示第2实施方式的显示***的概要结构的图。
具体实施方式
在为了测定距离而使用两个摄像装置的情况下，与仅使用一个摄像装置的情况相比，会产生昂贵的费用。为了消除该问题，期望使用一个摄像装置计算到实际空间中的被摄体为止的距离。
本公开提供能够使用一个摄像装置准确地判定实际空间中的被摄体的位置的控制器、位置判定装置、位置判定***、显示***、程序以及记录介质。
以下，参照附图，对本公开的实施方式进行说明。另外，以下的说明中使用的图是示意性的图，附图上的尺寸比率等不一定与实际相一致。
本公开的第1实施方式所涉及的位置判定***100，如图1所示，具备摄像装置1和位置判定装置2。
摄像装置1配置为在摄像范围中包括利用者的双眼。在以下的说明中，将摄像装置1的光轴方向表示为z轴方向。在利用者朝向摄像装置1的方向时，将沿着连结左眼(第1眼)和右眼(第2眼)的方向的眼间方向表示为x轴方向。将与光轴方向以及眼间方向正交的方向表示为y轴方向。
摄像装置1包括摄像光学***11、摄像元件12以及第1通信模块13。
摄像光学***11构成为包括一个以上的透镜。摄像光学***11配置为摄像光学***11的光轴与摄像元件12的摄像面121垂直。摄像光学***11构成为使从被摄体入射的光在摄像元件12的摄像面121上成像为被摄体像。
摄像元件12例如可以包括CCD(Charge Coupled Device，电荷耦合器件)摄像元件或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)摄像元件。摄像元件12构成为通过对由摄像光学***11在摄像面121上成像的像进行变换而生成摄像图像。
第1通信模块13能够与位置判定装置2进行通信。具体而言，第1通信模块13构成为，将由摄像元件12生成的摄像图像向位置判定装置2发送。在第1通信模块13与位置判定装置2的通信中使用的通信方式可以是近距离或者长距离的无线通信标准，也可以是有线通信标准。近距离的无线通信标准例如可以包括Wi-Fi(注册商标)、Bluetooth(注册商标)、红外线、NFC(NearField Communication，近场通信)等。长距离的无线通信标准例如可以包括LTE(Long Term Evolution)、第4代移动通信***或者第5代移动通信***等。
位置判定装置2包括第2通信模块(通信模块)21和控制器22。
第2通信模块21能够与摄像装置1的第1通信模块13进行通信。在与第2通信模块21的第1通信模块13的通信中使用的通信方式可以与在第1通信模块13中使用的通信方式相同。第2通信模块21构成为从第1通信模块13接收摄像图像。
控制器22与位置判定装置2的各结构要素连接，能够控制各结构要素。由控制器22控制的结构要素包括第2通信模块21。控制器22例如构成为处理器。控制器22可以包括1个以上的处理器。处理器可以包括读入特定的程序来执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包括面向特定用途的IC(ASIC：Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD：Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array)。控制器22可以是一个或者多个处理器协作的SoC(System-on-a-Chip)、以及SiP(SystemInaPackage)中的任意一个。
控制器22构成为控制摄像装置1，生成如图2所示那样的、对利用者的双眼进行摄像而得到的摄像图像。控制器22构成为取得由摄像装置1生成并由第2通信模块21接收到的摄像图像。控制器22构成为基于摄像图像进行各种处理。
如图1所示，在利用者的眼视觉辨认物点OP的情况下，物点OP投影于左眼的角膜，进而，投影于左眼的角膜的物点的像OPEL的像OPIL形成于摄像装置1的摄像面121。
在利用者的眼处于观察摄像装置1的方向的基准状态的情况下，摄像图像上的角膜的像CI为大致圆形。另一方面，在利用者的眼朝向与摄像装置1不同的方向的情况下，如图3所示，摄像图像上的角膜的像CI形成椭圆形的一部分。位于图3的(a)所示的右眼的角膜的像CIR内的物点的像OPIR的位置与位于图3的(b)所示的左眼的角膜的像CIL内的物点的像OPIL的位置不同。即，物点的像OPIR与物点的像OPIL相互具有视差。
如示意性地表示图3所示的左眼的角膜形成一部分的椭圆形的图4所示，椭圆形的长径rLmax有时在相对于图像眼间方向倾斜的方向上延伸。图像眼间方向是在摄像图像中，沿着连结眼处于基准状态时的左眼的像的中心与右眼的像的中心的方向的方向。
控制器22构成为，在摄像图像中判定左眼的角膜的像CIL的特征量。特征量是左眼的角膜的像CIL形成一部分的椭圆形的长径rLmax以及短径rLmin各自的长度、以及长径rLmax延伸的方向。控制器22构成为，基于特征量来计算实际空间中的左角膜中心位置(第1角膜中心位置)CL以及左眼的角膜的方向(第1角膜方向)。左角膜中心位置CL是图5所示那样的左眼的角膜与巩膜的边界的中心。左眼的角膜的方向是左眼的角膜的中心处的相切平面的法线方向。将眼处于基准状态的情况下的角膜的方向称为左眼基准方向a0。
控制器22同样构成为在摄像图像中判定右眼的角膜的像CIR的特征量。特征量是右眼的角膜的像CIR形成一部分的椭圆形的长径rRmax以及短径rRmin各自的长度、以及长径rRmax延伸的方向。控制器22构成为，基于特征量来计算实际空间中的右角膜中心位置(第2角膜中心位置)CL以及右眼的角膜的方向(第2角膜方向)。右角膜中心位置CR是右眼的角膜与巩膜的边界的中心。右眼的角膜的方向是右眼的角膜的中心处的相切平面的法线方向。
以下，将详细地说明控制器22判定左眼以及右眼的角膜的像CIL以及CIR的特征量的处理。将详细地说明控制器22计算实际空间中的左角膜中心位置CL以及右角膜中心位置CR以及左眼以及右眼各个角膜的方向的处理。
<角膜的像的特征量的判定>
控制器22提取摄像图像中的左眼的角膜的像CIL。例如，控制器22通过使用图案匹配等，提取摄像图像中的眼的像整体。控制器22可以提取眼的像中的、形成具有给定值以下的亮度值的椭圆形的一部分的区域作为左眼的角膜的像CIL。给定值是与人眼的像能取得的亮度值的上限值相关的值。给定值能够根据人眼的亮度值的上限值和周围环境的亮度等来设定。在以256灰度表示从亮度值的最高值到最低值的情况下，给定值例如可以是10。控制器22可以通过霍夫变换提取摄像图像中的左眼的角膜的像CIL。霍夫变换是将直角坐标上的点变换为椭圆的参数的变换。控制器22可以将摄像图像中的左眼的角膜的像CIL在椭圆中分成多个群集并进行每个该群集的提取。例如，可以将椭圆分为四个群集。在多个群集成为不同的椭圆的情况下，通过合并处理而成为一个椭圆。
控制器22判定如图4所示那样的左眼的角膜的像CIL形成一部分的椭圆形的长径rLmax以及短径rLmin。控制器22判定长径rLmax的方向以及眼间方向所成的角度
Figure BDA0003052068550000061
控制器22同样地判定右眼的角膜的像CIL形成一部分的椭圆形的长径rRmax以及短径rRmin。控制器22判定长径rRmax的方向以及眼间方向所成的角度
Figure BDA0003052068550000062
<角膜的中心位置的计算>
如图5所示，控制器22基于摄像装置1的焦点距离f、左眼的角膜的像CIL形成一部分的椭圆形的长径rLmax以及左眼的角膜的半径rL，计算从摄像装置1的瞳孔到左角膜中心位置CL的距离dL。焦点距离f是根据摄像装置1的规格而给定的已知的值。角膜的半径rL是基于人类的一般的角膜的半径的值，约为5.6mm。具体而言，控制器22使用式(1)计算距离dL。
[数1]
Figure BDA0003052068550000071
当计算出距离dL时，控制器22基于算出的距离dL和已知的摄像装置1的摄像面121的位置、焦点距离f，计算实际空间中的左角膜中心位置CL。
控制器22同样地计算右角膜中心位置CR。
<角膜的方向的计算>
控制器22基于左眼的像的长径rLmax以及短径rLmin，计算图6所示那样的角膜的方向a1。角膜的方向a1是角膜的中心处的相切平面的法线方向。
控制器22使用式(2)计算从左眼的角膜的方向a1的左眼基准方向a0起的绕着眼间方向(x轴方向)的轴的旋转角度即角度τL。如已经说明的那样，左眼基准方向a0是左眼朝向摄像装置1的状态下的左眼的角膜的方向。
[数2]
Figure BDA0003052068550000072
控制器22将以角度τL以及角度
Figure BDA0003052068550000073
为参数
Figure BDA0003052068550000074
所示的方向决定为左眼的角膜的方向a1。
控制器22同样基于右眼的像的长径rRmax以及短径rRmin，决定右眼的角膜的方向
Figure BDA0003052068550000075
<物点的位置的计算>
控制器22基于左角膜中心位置CL以及右角膜中心位置CR来计算实际空间中的物点OP的位置。
(第1例)
如图7所示，控制器22在实际空间中计算表示从左角膜中心位置CL朝向左眼的角膜的角度
Figure BDA0003052068550000081
的第1直线line1的式。控制器22同样地计算从右角膜中心位置CR朝向右眼的角膜的角度
Figure BDA0003052068550000082
的第2直线line2。控制器22计算第1直线line1以及第2直线line2的交点作为物点OP的位置。当控制器22计算物点OP的位置时，可以计算从左眼以及右眼的中点到物点OP的距离。
(第2例)
控制器22基于图3所示那样的、摄像图像中的左眼的角膜的像CIL内所包括的物点的像OPIL的位置和右眼的角膜的像CIR内所包括的物点的像OPIR的位置，计算实际空间中的物点OP的位置。
具体而言，控制器22提取摄像图像中的左眼的角膜的像CIL内的物点的像OPIL。在图3所示的例子中，左眼的角膜的像CIL内的物点的像OPIL是摄像装置1对投影了来自构成图1所示的长方体的物体的一个角的物点OP的光的左眼的角膜内的物点的像OPEL摄像而生成的摄像图像内的物点的像。控制器22通过基于图案匹配、边缘检测的特征点的提取等任意的方法，从左眼的角膜的像CIL整体中提取物点的像OPIL。控制器22同样地从右眼的角膜的像CIR整体提取物点的像OPIR。
控制器22基于摄像图像，计算实际空间中的摄像面121上的左眼的角膜的像CIL内的物点的像OPIL的位置(左成像位置)P1和右眼的角膜的像CIR内的物点的像OPIR的位置(右成像位置)P2。P1以及P2分别是表示上述的实际空间中的距原点的距离以及方向的矢量。
控制器22在计算出左成像位置P1时，计算投影到实际空间中的左眼的角膜内的物点的像OPEL的投影位置(左投影位置)SP L。具体而言，将摄像图像中的中心位置的坐标设为(Ox、Oy)，将左成像位置P1的坐标设为(u、v)，将左投影位置SP L的实际空间中的摄像装置的瞳孔设为原点的坐标(x、y、z)。控制器22将如上所述计算出的从摄像装置的瞳孔到左角膜中心位置CL的距离dL设为z。由于从左投影位置SP L到左角膜中心位置CL的距离相对于到摄像面121与左角膜中心位置CL的距离而言，非常小，因此距离z能够与从摄像面121到左角膜中心位置CL的距离近似。
控制器22分别通过式(3)以及式(4)来计算x以及y。
x＝(z/f)×(u-Ox) 式(3)
y＝(z/f)×(v-Oy) 式(4)
控制器22计算实际空间中的投影到右眼的角膜内的物点的像OPER的投影位置(右投影位置)SP R。具体而言，如图8所示，控制器22计算通过左眼的角膜内的左投影位置SP L和左角膜中心位置CL以及右角膜中心位置CR的平面即极平面。控制器22基于极平面，计算实际空间中的右投影位置SP R。更具体而言，控制器22计算右眼的角膜与极平面的交叉线CLine。控制器22通过搜索摄像图像的右眼的角膜的像CIR内的、与交叉线CLine对应的线CLine’上，来提取物点的像OPIR。控制器22基于摄像图像内的物点的像OPIR的位置来计算右投影位置SP R。
控制器22基于左投影位置SP L、右投影位置SP R、左成像位置P1、右成像位置P2，计算物点的位置。参照图9对该方法进行说明。
控制器22计算作为表示左投影位置SP L处的法线方向的单位矢量的法线矢量n1。具体而言，控制器22计算从左眼中心位置EL朝向左投影位置SP L的方向的单位矢量，以作为法线矢量n1。左眼中心位置EL能够基于已经算出的左角膜中心位置CL以及左眼的角膜的方向a1来计算。控制器22计算从左投影位置SP L朝向左成像位置P1的矢量r1。
如上所述，物点OP投影于左眼的角膜，进而，投影于左眼的角膜的物点的像OPEL的像OPIL形成于摄像装置1的摄像面121。因此，从物点OP朝向左投影位置SP L的单位矢量vs1与左投影位置SP L处的法线矢量n1所成的角，和从左投影位置SP L朝向摄像面121上的物点的像OPIL的方向与法线矢量n1所成的角相同。因此，控制器22能够基于法线矢量n1和从左投影位置SP L朝向左成像位置P1的矢量r1，计算从物点OP朝向左投影位置SP L的方向的单位矢量vs1。
控制器22同样基于右投影位置SP R、右成像位置P2、右角膜中心位置CR，计算从物点OP朝向右投影位置SP R的单位矢量vs2。
左成像位置P1由式(5)表示。在式(5)中，s1是表示从物点OP到左投影位置SP L的距离的标量。P1、vs1以及r1分别是矢量，因此式(5)所示的运算是矢量运算。
P1＝s1×vs1+r1 式(5)
右成像位置P2由式(6)表示。P2是表示距给定的原点的距离以及方向的矢量。在式(6)中，s2是表示从物点OP到左投影位置SP L的距离的标量。由于P2、vs2以及r2分别为矢量，因此式(6)所示的运算为矢量运算。
P2＝s2×vs2+r2 式(6)
投影到左眼的角膜内的物点OP的像OPEL通过正交射影而在摄像面121形成像。因此，在P1、P2、r1以及r2之间，式(7)以及(8)所示的关系成立。
(P1-P2)·r1＝0 式(7)
(P1-P2)·r2＝0 式(8)
控制器22通过将如上述那样计算出的vs1、vs2、r1以及r2代入式(5)至式(8)，能够计算出距离s1以及距离s2。
当计算出距离s1以及距离s2时，控制器22将从左投影位置SP L到单位矢量vs1的相反方向为距离s1、从右投影位置SP R到单位矢量vs2的相反方向为距离s2的位置计算为物点OP的位置。当计算出物点OP的位置时，控制器22可以计算从左眼以及右眼的中点到物点OP的距离。
参照图10对控制器22使用第1例执行的处理进行详细地说明。
<利用第1例的处理>
控制器22使摄像装置1生成摄像图像(步骤S11)。
控制器22取得由摄像装置1生成并由第2通信模块21接收到的摄像图像(步骤S12)。
控制器22从摄像图像提取左眼的角膜的像CIL形成一部分的椭圆形(步骤S13)。
控制器22判定在步骤S13中提取的椭圆形的长径rLmax、短径rLmin以及长径rLmax的方向与图像眼间方向所成的角度即角度
Figure BDA0003052068550000111
(步骤S14)。
控制器22基于摄像装置1的焦点距离f、左眼的角膜的像CIL形成一部分的椭圆形的长径rLmax以及左眼的角膜的半径rL，计算从摄像装置1的瞳孔到左角膜中心位置CL的距离dL(步骤S15)。
控制器22基于实际空间中的摄像装置1的位置、焦点距离f以及距离dL，计算实际空间中的左角膜中心位置CL(步骤S16)。
控制器22基于椭圆形的长径rLmax以及短径rLmin，计算左眼的角膜的方向a1相对于左眼基准方向a0的角度τL，将由角度
Figure BDA0003052068550000112
以及角度τL决定的方向决定为左眼的角膜的方向(步骤S17)。
控制器22从摄像图像提取右眼的角膜的像CIR形成一部分的椭圆形(步骤S18)。
控制器22判定在步骤S17中提取出的椭圆形的长径rRmax、短径rRmin以及长径rRmax的方向与图像眼间方向所成的角度即角度
Figure BDA0003052068550000113
(步骤S19)。
控制器22基于焦点距离f、左眼的角膜的像CIL形成一部分的椭圆形的长径rRmax以及左眼的角膜的半径rR，从摄像装置1的瞳孔到右角膜中心位置CR的距离dR(步骤S20)。
控制器22基于实际空间中的摄像装置1的位置、焦点距离f以及距离dR，计算右角膜中心位置CR(步骤S21)。
控制器22基于椭圆形的长径rRmax以及短径rRmin，计算右眼的角膜的方向b1相对于右基准方向b0的角度τR，将由角度
Figure BDA0003052068550000114
以及角度τR决定的方向决定为右眼的角膜的方向(步骤S22)。
控制器22计算表示从左角膜中心位置CL朝向左眼的角膜的角度(τL、
Figure BDA0003052068550000115
)的第1直线linel的式(步骤S23)。
控制器22根据右角膜中心位置CR计算朝向右眼的角膜的角度
Figure BDA0003052068550000121
Figure BDA0003052068550000122
的第2直线line2(步骤S24)。
控制器22计算第1直线linel以及第2直线line2的交点，以作为物点OP的位置(步骤S25)。
<利用第2例的处理>
参照图11对控制器22使用第2例执行的处理进行详细地说明。
控制器22执行的步骤S31至步骤S36与利用第1例的处理中的步骤S11至步骤S16相同。控制器22执行的步骤S37至步骤S40与利用第1例的处理中的步骤S18至步骤S21相同。
控制器22提取摄像图像中的左眼的角膜的像CIL内的物点的像OPIL，计算与物点的像OPIL对应的摄像面121上的左成像位置P1(步骤S41)。
控制器22基于左成像位置P1、焦点距离f以及左角膜中心位置CL计算左投影位置SP L(步骤S42)。
控制器22提取右眼的角膜的像CIR内的物点的像OPIR，计算与物点的像OPIL对应的摄像面121上的右成像位置P2(步骤S43)。在此，控制器22也可以计算作为通过左眼的角膜内的左投影位置SP L和左角膜中心位置CL以及右角膜中心位置CR的平面的极平面。在这样的结构中，控制器22能够从极平面与右眼的角膜的交叉线CLine对应的、右眼的角膜的像CIR内的线CLine’上提取物点的像OPIR。
控制器22基于右成像位置P2，使用摄像装置1的摄像面121以及焦点距离f以及右角膜中心位置CR计算右投影位置SP R(步骤S44)。
控制器22基于左投影位置SP L、左投影位置SP L处的左眼的角膜的相切平面的法线矢量n1、左成像位置P1，计算从左投影位置SP L至物点OP的距离s1(步骤S45)。
控制器22基于右投影位置SP R、右投影位置SP R处的右眼的角膜的相切平面的法线矢量n2、右成像位置P2，计算从右投影位置SP R至物点OP的距离s2(步骤S46)。
控制器22将从左投影位置SP L向与法线矢量n1相反的方向为距离s1、从右投影位置SP R向与法线矢量n2相反的方向为距离s2的位置计算为物点OP的位置(步骤S47)。
作为第1实施方式所涉及的控制器22，能够采用计算机等信息处理装置。这样的信息处理装置能够通过将记述了实现第1实施方式所涉及的控制器22的各功能的处理内容的程序记录于非暂时性的计算机可读取的记录介质，通过处理器读出并执行该程序来实现。非暂时性的计算机可读取的记录介质包括但不限于磁存储介质、光学存储介质、光磁存储介质、半导体存储介质。磁存储介质包括磁盘、硬盘、磁带。光学存储介质包括CD(CompactDisc)、DVD、蓝光盘(Blu-ray(注册商标)Disc)等光盘。半导体存储介质包括ROM(Read OnlyMemory，只读存储器)、EEPROM(Electrically Erasable Programmable Read-OnlyMemory，电可擦可编程只读存储器)、闪速存储器。
如以上说明的那样，在第1实施方式中，控制器22基于摄像图像中的左眼的角膜的像CIL以及右眼的角膜的像CIR，判定实际空间中的物点的位置。因此，控制器22能够在不使用由多个摄像装置分别生成的摄像图像的情况下判定物点的位置。因此，能够减少设置多个摄像装置所需的费用。能够减少为了准确地保持多个摄像装置的设置位置的关系而进行校正的工夫。
在第1实施方式中，控制器22基于左眼的角膜的像CIL内的物点的像的位置，判定投影于左眼的物点的左投影位置SP L。控制器22基于包括左角膜中心位置CL、右角膜中心位置CR、左投影位置SP L的极平面和右眼的角膜的交叉线CLine，从右眼的角膜的像CIR内检测物点的像。因此，控制器22能够不从摄像图像的右眼的角膜的像CIR整体进行检测，而从基于交叉线Cline的线CLine’上检测物点。因此，控制器22能够减少用于从右眼的角膜的像CIR内检测物点的像的负荷。
本公开的第2实施方式所涉及的显示***200如图12所示能够搭载于移动体20。
本公开中的“移动体”包括车辆、船舶、航空器。本公开中的“车辆”包括汽车以及工业车辆，铁道车辆以及生活车辆，然而并不限于此，也可以包括铁道车辆以及生活车辆、行驶滑行路的固定翼机。汽车包括乘用车、卡车、公共汽车、摩托车、以及无轨电车等，然而并不限于此，也可以包括在道路上行驶的其他车辆。工业车辆包括面向农业以及建设的工业车辆。工业车辆包括叉车、以及高尔夫球车，然而并不限于此。面向农业的工业车辆中包括拖拉机、耕种机、插秧机、割捆机、联合收割机以及割草机，然而并不限于此。面向建设的工业车辆中包括推土机、铲土机(scraper)、挖土机、起重机车、翻斗车以及压路机，然而并不限于此。车辆包括通过人力而行驶的车辆。另外，车辆的分类不限于上述。例如，汽车中可以包括能够在道路行驶的工业车辆，可以在多个分类中包括相同的车辆。本公开中的船舶中包括水上喷射器(marine jets)、轮船以及油轮等。本公开中的航空器中包括固定翼机和旋转翼机。
显示***200具备摄像装置1、位置判定装置2以及HUD3。摄像装置1与第1实施方式的摄像装置1相同。位置判定装置2在与HUD3进行通信这一方面与第1实施方式的位置判定装置2不同，但在其他方面相同。位置判定装置2将实际空间中的物点OP的位置发送到HUD3。物点OP的位置是指，利用者在各时间点目视的位置，例如道路标识、前方车辆、行人、道路上的障碍物等所包括的特征点的位置。物点OP位于左眼以及右眼的角膜方向附近。
HUD3将图像作为虚像投影到利用者的眼。HUD3能够调整到利用者视觉辨认的虚像的表观上的距离。HUD3能够显示虚像，以使得利用者的眼在与通过位置判定装置2判定出的物点OP的位置相关的位置视觉辨认虚像。与物点OP的位置相关的位置包括从利用者观察与到物点OP的距离近的距离的位置。HUD3能够包括一个以上的反射器31、光学构件32以及显示装置33。
反射器31使从显示装置33射出的图像光朝向光学构件32的给定区域反射。给定区域是在该给定区域反射的图像光朝向利用者的眼的区域。给定区域能够由利用者的眼相对于光学构件32的方向以及图像光向光学构件32的入射方向决定。
反射器31可以是一个以上的反射镜。在反射器31是反射镜的情况下，例如，反射镜可以是凹面镜。在图1中，反射器31作为一个反射镜而显示。但是，反射器31不限于此，也可以组合两个以上的反射镜而构成。
光学构件32使从显示装置33射出、并由一个以上的反射器31反射的图像光朝向利用者的左眼(第1眼)以及右眼(第2眼)反射。例如，移动体20的挡风玻璃也可以被兼用为光学构件32。因此，HUD3使沿着光路L、并从显示装置33射出的图像光行进到利用者的左眼以及右眼。利用者能够将通过沿着光路L到达的图像光使显示装置33显示的图像视觉辨认为虚像。
显示装置33构成为包括液晶面板等显示元件。显示装置33能够使用构成为对左右的眼赋予视差的显示装置。
显示装置33显示图像，以使得在利用者的眼与由位置判定装置2判定出的所述物点OP的位置相关的位置，视觉辨认由显示装置33显示的图像的虚像。与物点OP相关的位置是为了从利用者视觉辨认物点OP的状态视觉辨认虚像而以难以感觉到变更眼的焦点距离的负荷的程度接近物点OP的位置。与物点OP相关的位置例如可以是在利用者的视野内与物点OP重叠的位置。与物点OP相关的位置可以是从物点OP起给定范围内的位置。
HUD3为了调整包括到虚像的距离的虚像的显示位置，可以构成为能够根据由位置判定装置2判定出的物点OP的位置来调整反射器31以及显示装置33的显示元件的相对位置。显示装置33是构成为对左右眼赋予视差的显示装置的情况下，显示装置33可以构成为根据由位置判定装置2判定的物点OP的位置来调整视差量。
显示装置33所显示的图像能够显示与物点OP相关的信息或者不相关的信息。在显示装置33所显示的图像是表示与物点OP相关的信息的图像的情况下，例如，图像可以是用于向利用者警告存在物点OP的图像。例如，图像可以是用于表示从移动体20到物点OP的距离的图像。在图像是用于表示从移动体20到物点OP的距离的图像的结构中，例如，位置判定装置2能够基于利用者的眼的位置与移动体20的前端部的位置的关系，计算从移动体20到物点OP的距离。而且，显示装置33也可以接收由位置判定装置2计算出的从移动体20到物点OP的距离，并显示表示该距离的图像。
作为第2实施方式所涉及的控制器22，能够采用计算机等信息处理装置。这样的信息处理装置能够通过将记述了实现第2实施方式所涉及的控制器22的各功能的处理内容的程序记录于计算机可读取的记录介质，通过处理器读出并执行该程序来实现。
根据第2实施方式，与第1实施方式同样地，能够减少设置多个摄像装置所需的费用。能够减少为了准确地保持多个摄像装置的设置位置的关系而进行校正的工夫。
根据第2实施方式，显示***200显示虚像，以使得利用者在与物点OP相关的位置视觉辨认虚像。因此，显示***200从利用者视觉辨认物点OP的状态成为视觉辨认虚像的状态，因此能够使该利用者难以感觉到变更眼的焦点距离的负荷。因此，能够减轻利用者的眼的疲劳。
上述的实施方式作为代表性的例子进行了说明，但对于本领域技术人员来说，在本发明的主旨以及范围内能够进行多种变更以及置换是显而易见的。因此，本发明不应理解为通过上述的实施方式来限制，能够在不脱离权利要求书的情况下进行各种变形以及变更。例如，能够将实施方式以及实施例所记载的多个构成块组合为一个，或者分割一个构成块。
在上述实施方式的第2例中，控制器22提取左眼的角膜的像CIL内的物点的位置后，计算包括左眼的角膜内的物点的像OPEL的位置、左角膜中心位置CL和右角膜中心位置CR这3点的平面作为极平面。但是，极平面的计算方法并不限于此。例如，控制器22可以在提取右眼的角膜的像CIR内的物点的像OPIL的位置后，将包括右眼的角膜内的物点的像OPER的位置、左角膜中心位置CL、右角膜中心位置CR这3点的平面计算为极平面。
在上述实施方式的第2例中，控制器22也可以不计算极平面。在这样的结构中，控制器22可以从左眼以及右眼各个角膜的像整体分别提取物点的像OPIL以及OPIR。
在上述实施方式中，控制器22在进行了步骤S13至S17之后进行步骤S18至S22，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S18至步骤S22之后，进行步骤S13至S17。控制器22也可以并行地进行步骤S13至S17和步骤S18至S22。
在上述实施方式中，控制器22在进行了步骤S23之后进行步骤S24，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S24之后进行步骤S23。控制器22也可以并行地进行步骤S23和步骤S24。
在上述实施方式中，控制器22在进行了步骤S33至S36之后进行步骤S37至S40，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S37至S40之后进行步骤S33至S36。控制器22也可以并行地进行步骤S33至S36和步骤SS37至S40。
在上述实施方式中，控制器22在进行了步骤S41以及S42之后进行步骤S43以及S44，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S43以及S44之后进行步骤S41以及S42。控制器22也可以并行地进行步骤S41以及S42和步骤S43以及S44。
在上述实施方式中，控制器22在进行了步骤S45之后进行步骤S46，但控制器22执行的步骤不限于此。例如，控制器22可以在进行步骤S46之后进行步骤S45。控制器22也可以并行地进行步骤S45和步骤S46。
-符号说明-
1 摄像装置
2 位置判定装置
3 HUD
11 摄像光学***
12 摄像元件
13 第1通信模块
20 移动体
21 第2通信模块
22 控制器
31 反射器
32 光学构件
33 显示装置
100 位置判定***
121 摄像面
200 显示***
D 视差
OP 物点
OPIL 左眼的角膜的像内的物点的像
OPIR 右眼的角膜的像内的物点的像
OPEL 左眼的角膜内的物点的像
OPER 右眼的角膜内的物点的像
P1 左眼的角膜的像内的物点的像的位置
P2 右眼的角膜的像内的物点的像的位置
s1 从物点OP到投影位置SP L的长度
s2 从物点OP到投影位置SP R的长度
SP L 左投影位置
SP R 右投影位置
vs1 从物点OP朝向投影位置SP L的方向的单位矢量
vs2 从物点OP朝向投影位置SP R的方向的单位矢量。

Claims (12)

1.一种控制器，其特征在于，
所述控制器构成为：
基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像、以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。
2.根据权利要求1所述的控制器，其特征在于，
所述控制器构成为：
基于所述第1眼的角膜的像来判定实际空间中的所述第1眼的角膜以及巩膜的边界的中心即第1角膜中心位置，
基于所述第2眼的角膜的像来判定实际空间中的所述第2眼的角膜以及巩膜的边界的中心即第2角膜中心位置，
基于所述第1角膜中心位置以及所述第2角膜中心位置来判定所述物点的位置。
3.根据权利要求2所述的控制器，其特征在于，
所述控制器构成为：
对所述第1眼的角膜的中心的相切平面的法线方向即第1角膜方向进行判定，
对所述第2眼的角膜的中心的相切平面的法线方向即第2角膜方向进行判定，
将从所述第1角膜中心位置朝向所述第1角膜方向的第1直线与从所述第2角膜中心位置朝向所述第2角膜方向的第2直线的交点判定为所述物点的位置。
4.根据权利要求2所述的控制器，其特征在于，
所述控制器构成为：
基于所述实际空间中的所述摄像装置的摄像面的位置、所述摄像图像中的所述第1眼以及所述第2眼各自的角膜的像内的物点的像的位置以及所述摄像装置的焦点距离，判定所述物点的位置。
5.根据权利要求4所述的控制器，其特征在于，
所述控制器构成为：
基于所述第1眼以及所述第2眼各自的角膜的像内的所述物点的像的位置，判定投影到所述第1眼以及所述第2眼的角膜内的所述物点的投影位置，
基于所述摄像面的位置、所述焦点距离、所述投影位置，判定所述物点的位置。
6.根据权利要求5所述的控制器，其特征在于，
所述控制器构成为：
基于所述摄像图像中的所述第1眼的角膜的像内的所述物点的像的位置，判定投影于所述第1眼的所述物点的所述投影位置，
基于极平面与右眼的角膜的交叉线，从所述摄像图像中的所述第2眼的角膜的像内提取所述物点的像，该极平面包括所述第1角膜中心位置、所述第2角膜中心位置以及所述第1眼的所述投影位置。
7.根据权利要求2～6中任一项所述的控制器，其特征在于，
所述控制器构成为：
基于所述第1眼的角膜的像的一部分所形成的椭圆形的长径以及短径来判定第1角膜中心位置。
8.一种位置判定装置，其特征在于，具备：
通信模块，该通信模块构成为接收通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像；以及
控制器，该控制器构成为基于所述摄像图像中的所述第1眼的角膜的像、以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。
9.一种位置判定***，其特征在于，具备：
摄像装置；以及
位置判定装置，包括通信模块及控制器，该通信模块构成为接收通过所述摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像，该控制器构成为基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。
10.一种显示***，其特征在于，具备：
摄像装置；
位置判定装置，具有通信模块及控制器，该通信模块构成为接收通过所述摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像，该控制器构成为基于所述摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置；以及
平视显示器，该平视显示器构成为基于由所述控制器判定出的所述物点的位置，显示利用者的眼在与所述物点的位置相关的位置进行视觉辨认的虚像。
11.一种程序，其特征在于，
该程序用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。
12.一种计算机可读取的记录介质，记录有程序，其特征在于，
该程序用于使控制器基于通过摄像装置对视觉辨认物点的利用者的第1眼以及第2眼进行拍摄而生成的摄像图像中的所述第1眼的角膜的像以及所述第2眼的角膜的像来判定实际空间中的所述物点的位置。
CN201980073713.1A 2018-11-05 2019-10-28 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 Active CN112955933B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018208358A JP7173836B2 (ja) 2018-11-05 2018-11-05 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
JP2018-208358 2018-11-05
PCT/JP2019/042204 WO2020095747A1 (ja) 2018-11-05 2019-10-28 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体。

Publications (2)

Publication Number Publication Date
CN112955933A true CN112955933A (zh) 2021-06-11
CN112955933B CN112955933B (zh) 2024-05-24

Family

ID=70611302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073713.1A Active CN112955933B (zh) 2018-11-05 2019-10-28 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质

Country Status (5)

Country Link
US (1) US11551375B2 (zh)
EP (1) EP3879491A4 (zh)
JP (1) JP7173836B2 (zh)
CN (1) CN112955933B (zh)
WO (1) WO2020095747A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07100111A (ja) * 1993-10-08 1995-04-18 Konan:Kk 角膜細胞撮影装置における角膜周辺撮影位置表示方法
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
US20110249868A1 (en) * 2008-09-26 2011-10-13 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
US20130002846A1 (en) * 2010-03-22 2013-01-03 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer
JP2014188322A (ja) * 2013-03-28 2014-10-06 Panasonic Corp 視線検出装置、視線検出方法及びプログラム
US9268024B1 (en) * 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
JP2017044756A (ja) * 2015-08-24 2017-03-02 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
US20170169578A1 (en) * 2014-07-24 2017-06-15 Japan Science And Technology Agency Image registration device, image registration method, and image registration program
JP2017111746A (ja) * 2015-12-18 2017-06-22 国立大学法人静岡大学 視線検出装置及び視線検出方法
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
JP2018026120A (ja) * 2016-07-27 2018-02-15 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031666A1 (ja) 2014-08-29 2016-03-03 アルプス電気株式会社 視線検出装置
JP6430813B2 (ja) 2014-12-25 2018-11-28 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
EP3315905B1 (en) 2015-06-24 2020-04-22 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07100111A (ja) * 1993-10-08 1995-04-18 Konan:Kk 角膜細胞撮影装置における角膜周辺撮影位置表示方法
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法
US20110249868A1 (en) * 2008-09-26 2011-10-13 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
US20130002846A1 (en) * 2010-03-22 2013-01-03 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer
US9268024B1 (en) * 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
JP2014188322A (ja) * 2013-03-28 2014-10-06 Panasonic Corp 視線検出装置、視線検出方法及びプログラム
US20170169578A1 (en) * 2014-07-24 2017-06-15 Japan Science And Technology Agency Image registration device, image registration method, and image registration program
JP2017044756A (ja) * 2015-08-24 2017-03-02 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
JP2017111746A (ja) * 2015-12-18 2017-06-22 国立大学法人静岡大学 視線検出装置及び視線検出方法
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
JP2018026120A (ja) * 2016-07-27 2018-02-15 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム

Also Published As

Publication number Publication date
CN112955933B (zh) 2024-05-24
US11551375B2 (en) 2023-01-10
JP7173836B2 (ja) 2022-11-16
WO2020095747A1 (ja) 2020-05-14
US20220036582A1 (en) 2022-02-03
EP3879491A1 (en) 2021-09-15
JP2020077055A (ja) 2020-05-21
EP3879491A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
JP6699897B2 (ja) 撮像装置、自動制御システム及びシステム
US20220314886A1 (en) Display control device, display control method, moving body, and storage medium
WO2020095801A1 (ja) ３次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
JP2020150427A (ja) 撮像装置、撮像光学系及び移動体
CN112955933B (zh) 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质
WO2022131137A1 (ja) ３次元表示装置、画像表示システムおよび移動体
US11782270B2 (en) Head-up display, head-up display system, and mobile body
JP6665077B2 (ja) 画像投影装置、画像表示装置、および移動体
JP2018092107A (ja) 画像投影装置、画像表示装置、および移動体
KR20180064894A (ko) 차량용 hmd 장치 및 시스템
WO2018198833A1 (ja) 制御装置、方法、およびプログラム
WO2021201161A1 (ja) 検出装置および画像表示モジュール
JP7466687B2 (ja) 検出装置および画像表示システム
JP6688213B2 (ja) 画像投影装置、画像表示装置、および移動体
JP2021166031A (ja) 検出装置および画像表示モジュール
JP7337023B2 (ja) 画像表示システム
JP7332764B2 (ja) 画像表示モジュール
JP7250582B2 (ja) 画像表示モジュール、移動体、及び光学系
WO2020090714A1 (ja) 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2022024890A (ja) カメラシステムおよび運転支援システム
CN112889275A (zh) 通信平视显示器***、通信设备、移动体以及程序
JP2020145564A (ja) 画像処理装置および画像処理方法
JP2018054839A (ja) 表示装置及び表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant