CN111867445A - 信息检测装置、视频投影装置、信息检测方法以及视频投影方法 - Google Patents

信息检测装置、视频投影装置、信息检测方法以及视频投影方法 Download PDF

Info

Publication number
CN111867445A
CN111867445A CN201980020385.9A CN201980020385A CN111867445A CN 111867445 A CN111867445 A CN 111867445A CN 201980020385 A CN201980020385 A CN 201980020385A CN 111867445 A CN111867445 A CN 111867445A
Authority
CN
China
Prior art keywords
light
eyeball
scanning mirror
reflected light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020385.9A
Other languages
English (en)
Inventor
马见新友辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111867445A publication Critical patent/CN111867445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明的目的是提供一种用于检测关于视线方向、瞳孔位置等的信息的新技术。本技术提供了一种信息检测装置,包括:照射单元,所述照射单元用光照射眼球;扫描镜,所述扫描镜扫描来自所述眼球的反射光;以及检测单元,所述检测单元检测由所述扫描镜扫描的反射光。本技术还提供了一种图像投影装置,其包括上述组成元件。此外,本技术提供了一种信息检测方法,包括:用光照射眼球的照射步骤;使用扫描镜扫描来自眼球的反射光的扫描步骤;以及用于检测由扫描镜扫描的反射光的检测步骤。本技术还提供了一种包括所述步骤的图像投影方法。

Description

信息检测装置、视频投影装置、信息检测方法以及视频投影 方法
技术领域
本技术涉及信息检测装置、视频投影装置、信息检测方法以及视频投影方法。更具体来说,本技术涉及能够检测瞳孔位置的信息检测装置、视频投影装置、信息检测方法以及视频投影方法。
背景技术
近年来,显示叠加在诸如真实场景之类的外界场景上的视频的技术受到关注。该技术也被称为增强现实(AR)技术。使用这个技术的产品的一个示例是头戴式显示器。通过佩戴在用户的头上来使用头戴式显示器。在使用头戴式显示器的图像显示方法中,例如,除了来自外界的光之外,来自头戴式显示器的光照射用户的眼睛,由此视频被叠加在外界的图像上以供显示。
为了通过头戴式显示器向用户呈现视频,可以掌握用户的视线方向或瞳孔位置。关于用于掌握用户的视线方向或瞳孔位置的技术,例如,以下专利文献1描述了一种扫描显示器装置,其特征在于并入有视线检测设备,该视线检测设备在共享扫描显示器设备的光学***的同时检测用户的视线方向。另外,在以下专利文献2所述的瞳孔检测设备包括:检测单元,其检测入射在眼球表面上的光束之中的在该眼球表面上反射的光束的强度作为反射光束强度信号;和处理单元,其基于由从检测单元输出的强度信号表示的反射光束的强度变化,获取瞳孔位置。另外,以下专利文献3所述的用于相机的焦距控制设备的特征在于在相机中包括:视线检测手段,其用于基于摄影者的视线方向检测摄影者正在看取景器的哪个部分;用于确认由视线检测手段检测的摄影者在取景器视野(viewfinder field)中的视线方向并用于基于确认结果设定相机的焦距值的手段。
引文列表
专利文献
专利文献1:日本专利申请公报No.2003-029198
专利文献2:日本专利申请公报No.2006-058505
专利文献3:日本专利申请公报No.HEI 05-317260
发明内容
技术问题
头戴式显示器是通过佩戴在用户的头上而使用的,因此期望更加小型化。还期望进一步减小头戴式显示器的功耗。
本技术的一个目的是提供一种用于检测诸如视线方向或瞳孔位置之类的信息的新技术。特别地,本技术的一个目的是减小用于检测这种信息的装置的大小和/或减小其功耗。
针对问题的技术方案
本技术提供了一种信息检测装置,包括:照射单元,所述照射单元用光照射眼球;扫描镜,所述扫描镜扫描来自所述眼球的反射光;以及检测单元,所述检测单元检测由所述扫描镜扫描的反射光。
根据本技术的一个实施例,信息检测装置还可以包括控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置或视线方向进行估计处理。
根据本技术的一个实施例,所述控制器可以基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光,估计所述眼球的瞳孔位置或视线方向。
根据本技术的一个实施例,所述控制器可以基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光的强度来估计所述眼球的瞳孔位置或视线方向。
根据本技术的一个实施例,所述照射单元可以被构成为不经过所述扫描镜地用所述光照射所述眼球。
根据本技术的一个实施例,所述照射单元可以被构成为经由所述扫描镜用所述光照射所述眼球。
根据本技术的一个实施例,用于照射所述眼球的光可以是非可见光。
根据本技术的一个实施例,用于照射所述眼球的光可以是红外光。
根据本技术的一个实施例,用于照射所述眼球的光可以是束状光。
此外,本技术提供了一种视频投影装置,包括:照射单元,所述照射单元用光照射眼球;扫描镜,所述扫描镜扫描来自所述眼球的反射光;检测单元,所述检测单元检测由所述扫描镜扫描的反射光;控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置进行估计处理;以及视频显示光照射单元,所述视频显示光照射单元用视频显示光照射由所述控制器估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
根据本技术的一个实施例,所述视频显示光可以在瞳孔附近聚集,以及可以用所述视频显示光照射视网膜。
根据本技术的一个实施例,可以用所述视频显示光经由所述扫描镜照射眼球。
根据本技术的一个实施例,所述视频投影装置可以是眼镜显示器。
此外,本技术提供了一种信息检测方法,包括:用光照射眼球;通过扫描镜扫描来自所述眼球的反射光;以及检测由所述扫描镜扫描的反射光。
此外,本技术提供了一种视频投影方法,包括:用光照射眼球;通过扫描镜扫描来自所述眼球的反射光;检测由所述扫描镜扫描的反射光;基于在检测步骤中检测的反射光对所述眼球的瞳孔位置进行估计;以及用视频显示光照射在估计步骤中估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
发明的有益效果
在本技术中,经由扫描镜检测来自眼球的反射光。因此,能够减小检测单元的大小和功耗。
注意,本技术所发挥的效果不一定限于这里记载的效果,而是可以发挥在此记载的效果中的任意效果。
附图说明
图1是根据本技术的信息检测装置的示意图。
图2是表示扫描镜的扫描线的示例的图。
图3是根据本技术的信息检测装置的示意图。
图4是根据本技术的视频投影装置的示意图。
图5是根据本技术的视频投影装置的示意图。
图6是根据本技术的视频投影装置的示意图。
图7是示出根据本技术的信息检测方法的流程示例的图。
图8是示出根据本技术的视频投影方法的流程示例的图。
图9是示出根据本技术的头戴式显示器的示例的图。
图10是示出根据本技术的头戴式显示器的示例的图。
图11是示出根据本技术的信息检测装置的构成示例的图。
图12是示出光强度和扫描振荡角之间的关系的曲线图。
图13是示出根据本技术的信息检测装置的构成示例的图。
图14是示出光强度和扫描振荡角之间的关系的曲线图。
图15是示出根据本技术的信息检测装置的构成示例的图。
图16是示出光强度和扫描振荡角之间的关系的曲线图。
图17是示出根据本技术的视频投影装置的构成示例的图。
图18是示出根据本技术的视频投影装置的构成示例的图。
图19是示出根据本技术的视频投影装置的构成示例的图。
具体实施方式
以下,说明用于实施本技术的合适的实施例。注意,以下说明的实施例示出了本技术的代表性实施例,本技术的范围不限于这些实施例。注意,本技术的说明按以下顺序给出。
1.第一实施例(信息检测装置)
(1)第一实施例的说明
(2)第一实施例的第一示例(信息检测装置)
(3)第一实施例的第二示例(信息检测装置)
2.第二实施例(视频投影装置)
(1)第二实施例的说明
(2)第二实施例的第一示例(视频投影装置)
(3)第二实施例的第二示例(视频投影装置)
(4)第二实施例的第三示例(视频投影装置)
3.第三实施例(信息检测方法)
(1)第三实施例的说明
(2)第三实施例的示例(信息检测方法)
4.第四实施例(视频投影方法)
(1)第四实施例的说明
(2)第四实施例的示例(视频投影方法)
5.装置的构成示例
6.示例
(1)示例1(第一实施例的第一示例的模拟)
(2)示例2(第一实施例的第二示例的模拟)
(3)示例3(第一实施例的第二示例的模拟)
(4)示例4(第二实施例的第一示例的模拟)
(5)示例5(第二实施例的第二示例的模拟)
(6)示例6(第二实施例的第三示例的模拟)
1.第一实施例(信息检测装置)
(1)第一实施例的说明
根据本技术的信息检测装置包括:用光照射眼球的照射单元;扫描来自所述眼球的反射光的扫描镜;以及检测由所述扫描镜扫描的反射光的检测单元。即,来自眼球的反射光经由扫描镜到达检测单元。结果,可以基于检测到的反射光来检测关于眼球的信息,例如,关于视线方向、瞳孔位置等的信息。
另外,如上所述,由于来自眼球的反射光经由扫描镜到达检测单元,驱动扫描镜,由此例如可以由一个光检测元件检测来自眼球的各种位置的反射光。因此,能够减小检测单元的大小。另外,由于组成根据本技术的装置的检测单元的光检测元件的数量可以较小,因此该装置的功耗较小。
另外,如上所述,由于来自眼球的反射光经由扫描镜到达检测单元,因此能够消除诸如环境光或杂散光之类的噪声分量。
在专利文献1所述的视线检测设备中,例如,在眼睛前的凹面镜上设置了四个红外传感器,以检测在眼球上反射的红外线。所述多个红外传感器中的每一个检测在眼球上反射的红外线。然后,该设备基于多个检测值检测眼球的位置。然而,在这样的检测方法中,在一些情况下检测精度不足。另外,由于该设备包括多个红外传感器,因此其功耗大。
在根据本技术的信息检测装置中,在眼球上反射的光经由扫描镜到达检测单元。即,根据本技术的信息检测装置可以检测来自眼球的各种位置的反射光。因此,根据本技术的信息检测装置的检测精度高。此外,根据本技术的信息检测装置可以通过驱动扫描镜来通过使用例如一个光检测元件检测来自眼球的各种位置的反射光。因此,根据本技术的信息检测装置的功耗小。
上述专利文献2所述的瞳孔检测设备扫描红外线并用红外线照射眼睛。专利文献2公开了通过聚集透镜接收在眼睛上反射的红外光的瞳孔检测单元。然而,在通过聚集器透镜接收红外光时,该设备容易受到环境光或杂散光的影响。
在专利文献3所述的焦距控制设备中,在眼球上反射的红外光也通过光接收透镜聚集。因此,该设备也容易受到环境光或杂散光的影响。
在使用根据本技术的信息检测装置进行光检测时,来自眼球的反射光经由扫描镜到达检测单元。即,到达检测单元的光的角度被限制。因此,使用根据本技术的信息检测装置可以导致减少噪声分量(例如环境光或杂散光)的影响。
(2)第一实施例的第一示例(信息检测装置)
在下文中,将参照图1描述根据本技术的信息检测装置的示例。图1是根据本技术的信息检测装置的示意图。在该示意图中,用于通过使用信息检测装置进行信息检测的光的行进方向由箭头表示。
如图1所示,信息检测装置100包括照射单元101、光引导单元102、扫描镜103、检测单元104以及控制器105。
照射单元101对眼球150照射光161。要发出的光161用于检测关于眼球的信息。要发出的光161有利的是非可见光,更有利的是红外光。如果要发出的光是非可见光,尤其是红外线,那么减轻了在信息检测时眼睛的负担。另外,这种光减小对由用户识别的外界场景或视频的影响。
例如,如果信息检测装置100是眼镜状装置,例如,照射单元101可以附接到眼镜状装置的边框或透镜的任何位置,或者可以形成为边框或透镜的一部分。
照射单元101可以被设置成使得光161通过光引导单元102并到达眼球150。例如,照射单元101可以设置在该眼镜状装置的边框或透镜的与眼球侧表面相反的表面上。或者,照射单元101可以设置为使得光161在不通过光引导单元102的情况下到达眼球150。在这种情况下,例如,照射单元101可以设置在眼镜状装置的边框或透镜的眼球侧。照射单元101例如可以是平面光源。
有利的是,用作为平行光的光161照射眼球。这使得可以进行更精确的信息检测。例如,在照射单元101被构成为使得光161通过光引导单元102并到达眼球150的情况下,光引导单元102可以使光161准直。或者,例如,在将照射单元101设置为使得光161在不通过光引导单元102的情况下到达眼球150的情况下,照射单元101本身可以被构成为输出光161作为平行光。
用由照射单元101发出的仅通过光引导单元102的光161照射眼球150。即,在没有扫描镜103的情况下,用光161照射眼球150。因此,发出的光161不受扫描镜103的反射率的影响。
光引导单元102可以具有透射从照射单元101发出的光161的特性。另外,光引导单元102可以具有将来自眼球的反射光162朝着扫描镜103反射的特性。具有这种特性的光引导单元的示例可以包括全息光学元件。
在从照射单元101发出的光不是平行光的情况下,有利的是,光引导单元102可以具有使该光准直的光学特性。
例如,在信息检测装置100是眼镜状装置的情况下,例如,光引导单元102可以是眼镜状装置的透镜本身,或者可以被构成为透镜的一部分。
扫描镜103可以是例如微电子机械***(MEMS)镜。扫描镜103扫描来自眼球的由光引导单元102反射的反射光162。扫描镜103被驱动以改变扫描镜103的表面的取向,由此在眼球150的各种位置处反射的反射光162被扫描镜103反射,并前进到检测单元104。
扫描镜103可以被构成为使得由光引导单元102反射的反射光162到达检测单元104。为了使由光引导单元102反射的反射光162到达扫描镜103,可以在光引导单元102和扫描镜103之间的反射光的路径上适当地设置光学***。另外,为了使由扫描镜103反射的反射光162到达检测单元104,也可以在扫描镜103和检测单元104之间的反射光的路径上适当地设置光学***。
例如,在信息检测装置100是眼镜状装置的情况下,扫描镜103可以附接到眼镜状装置的镜腿(temple)111的任意位置,或者可以设置为被包括在镜腿中。
在本技术中,扫描可以包括通过扫描镜将在眼球的各种反射位置处反射的反射光引导到预定的光检测元件。例如,在本技术中,扫描包括通过驱动扫描镜将在从眼球的某个点到其另一点的每个反射位置处反射的反射光引导到光检测元件。被引导到光检测元件的反射光的反射位置可以一维地移动或者也可以二维地移动。有利的是,引导到光检测元件的反射光的反射位置可以二维地移动。
这使得可以更精确地掌握关于眼球的信息。
图2示出了扫描镜103的扫描线的示例。如图2所示,通过驱动扫描镜103,由扫描镜扫描的反射光的位置从位置“a”移动到位置“b”。接着,由扫描镜扫描的反射光的位置从位置“c”移动到位置“d”。类似地,由扫描镜扫描的反射光的位置从位置“e”移动到位置“f”,从位置“g”移动到位置“h”,从位置“i”移动到位置“j”,以及从位置“k”移动到位置“l”。以这种方式,由扫描镜103扫描的反射光的反射位置可以二维地移动。在从位置“e”到位置“f”的扫描线上和在从位置“g”到位置“h”的扫描线上,检测在眼球(或瞳孔)150上反射的反射光。响应于眼球150的位置的改变,可以改变检测在眼球150上反射的反射光的扫描线或扫描线上的位置。
检测单元104检测由扫描镜103反射的反射光162。检测单元104例如包括光电二极管。本领域技术人员可以根据要检测的光的种类适当地选择检测单元104的种类。例如,如果反射光162是红外光,则检测单元104包括红外传感器。
例如,检测单元104可以检测反射光162的强度。反射光162的强度取决于眼球150的反射反射光162的位置而不同。例如,在瞳孔部分处反射的反射光的强度与在虹膜部分处反射的反射光的强度不同。另外,在眼球表面(例如角膜)上反射的反射光的强度比在眼球的眼底(例如视网膜)上反射的散射光的强度强。因此,可以基于扫描镜103的表面的取向或扫描振荡角和由检测单元104检测到的光强度来估计瞳孔位置和/或视线方向。
此外,在另一个实施例中,检测单元104可以基于检测到的反射光162来生成图像。例如,检测单元104可以包括图像传感器,例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD),特别是红外图像传感器,以生成基于反射光162的图像。例如,控制器105对基于反射光162生成的图像进行图像处理,由此可以获得关于眼球的信息(例如,瞳孔位置或视线方向)。
检测单元104可以连接到控制器105。控制器105可以处理关于由检测单元104检测到的光的信息,例如强度。
例如,在信息检测装置100是眼镜状装置的情况下,检测单元104可以附接到眼镜状装置的镜腿的任意位置,或者可以设置为被包括在镜腿中。
控制器105可以基于由检测单元104检测到的反射光(例如,反射光的强度等),获得关于眼球的信息(例如,瞳孔位置、视线方向或眼球的转动角度)。例如,控制器105可以基于反射光来进行眼球的瞳孔位置或视线方向的估计处理。
另外,控制器105可以连接到扫描镜103,以能够控制扫描镜103。例如,控制器105可以在预定的扫描振荡角内驱动扫描镜103。控制器105能够获得与扫描镜103相关的信息,例如,关于扫描镜的表面的取向、扫描振荡角等的信息。
有利的是,控制器105可以基于关于扫描镜103的信息和关于由检测单元104检测到的反射光的信息来获得关于眼球的信息。例如,控制器105可以基于扫描镜103的扫描振荡角和由检测单元104检测到的反射光(特别地,反射光的强度),对例如瞳孔位置、视线方向或眼球的转动角度等进行估计处理。
控制器105可以包括诸如中央处理器(CPU)之类的处理器以及诸如随机存取存储器(RAM)和/或只读存储器(ROM)之类的存储器。存储器可以存储用于使装置执行根据本技术的信息检测方法或视频投影方法的程序等。处理器可以实现控制器105的功能。
控制器105可以控制照射单元101的光的照射。例如,控制器105可以打开或关闭照射单元101的光的照射,或者可以改变要发出的光的强度或类型。此外,控制器105可以控制扫描镜103的驱动。例如,控制器105可以改变扫描镜103的扫描振荡角。此外,控制器105可以控制由检测单元104进行的检测。例如,控制器105可以打开或关闭由检测单元104进行的检测操作。
例如,当信息检测装置100是眼镜状装置时,控制器105可以被设置为包括在眼镜状装置的镜腿中。或者,控制器105可以被设置在与眼镜状装置不同的装置中并且可以通过有线或无线连接到眼镜状装置。
例如,如果扫描镜103的表面朝向如图1的左侧所示的方向,那么通过眼球150上的位置171的反射光(例如包括表面反射光或角膜反射光)被扫描镜103反射,并且由检测单元104检测。如果扫描镜103的表面的取向改变成图1的右侧所示的方向,通过眼球150上的位置172的反射光(例如,在虹膜上反射的散射光)被扫描镜103反射,并且由检测单元104检测。通过位置171的反射光的强度和通过位置172的反射光的强度彼此不同。这样,到达检测单元104的反射光的在眼球150上的反射位置取决于扫描镜103的表面的取向而不同。因此,如果驱动扫描镜103,那么可以获得与在眼球150上的各种位置处反射的反射光有关的信息。
获得的与反射光有关的信息例如对应于扫描镜103的表面的取向或扫描振荡角。因此,能够基于所获得的与光有关的信息和扫描镜103的表面的取向或扫描振荡角,获得与眼球150有关的信息。
另外,与以下在“(3)第一实施例的第二示例(信息检测装置)”中所述的信息检测装置300的情况不同,来自信息检测装置100的照射单元101的光在没有扫描镜或半反射镜的情况下出射到眼球上。因此,来自信息检测装置100的照射单元101的光的利用效率可以比来自信息检测装置300的照射单元301的光的利用效率高。此外,信息检测装置100不容易受到由扫描镜或半反射镜引起的杂散光的影响。
(3)第一实施例的第二示例(信息检测装置)
在下文中,将参照图3描述根据本技术的信息检测装置的另一示例。图3是根据本技术的信息检测装置的示意图。在该示意图中,用于通过使用该信息检测装置进行信息检测的光的行进方向由箭头表示。
如图3所示,信息检测装置300包括照射单元301、光引导单元302、扫描镜303、检测单元304以及控制器305。信息检测装置300还包括半反射镜306。在这些组成要素中,扫描镜303、检测单元304以及控制器305与以上在“(2)第一实施例的第一示例(信息检测装置)”中所述的扫描镜103、检测单元104以及控制器105相同。信息检测装置100被构成为在没有扫描镜103的情况下用由照射单元101发出的光照射眼球,而信息检测装置300经由扫描镜303用由照射单元301发出的光照射眼球。因此,以下主要说明照射单元301和光引导单元302。
将照射单元301构成为经由扫描镜303用光361照射眼球。也就是说,光361被扫描并朝着眼球发出。
有利的是,光361可以作为束状光(特别地,激光束)从照射单元301发出。更有利的是,照射单元301发出束状红外光。照射单元301例如可以发出红外激光。这使得例如可以更清楚地检测来自瞳孔部分的反射光。因此,可以更准确地估计瞳孔位置。
由照射单元301发出的光361由半反射镜306反射而到达扫描镜303,由扫描镜303进一步反射而到达光引导单元302,以及由光引导单元302进一步反射而到达眼球。
例如,在信息检测装置300是眼镜状装置的情况下,照射单元301可以附接到眼镜状装置的镜腿的任意位置。或者,可以将照射单元301设置为被包括在镜腿中。另外,照射单元301可以连接到控制器305,以可由控制器305控制。
半反射镜306可以具有反射来自照射单元301的光并且透射来自眼球的反射光的特性。检测单元304检测由扫描镜303反射并透过半反射镜306的反射光362。
光引导单元302可以具有反射从照射单元301发出的光361并反射来自眼球的反射光362的特性。光引导单元302将来自眼球的反射光362朝着扫描镜303反射。具有上述特性的元件的示例可以包括全息光学元件。
光引导单元302例如可以是光栅或光栅透镜。在光引导单元302是光栅的情况下,光引导单元302可以仅选择性地反射具有预定波长的光。在光引导单元302是光栅透镜的情况下,光引导单元302可以选择性地仅反射具有预定波长的光并且将光朝着眼球聚集。
另外,信息检测装置300还可以在扫描镜303和光引导单元302之间包括其他光学元件,例如准直器透镜。
扫描镜303可以是例如MEMS镜。如上所述,扫描镜303扫描由照射单元301发出的光361,并且还扫描在眼球上反射的反射光362。也就是说,在本示例中的信息检测装置300中,通过扫描照明光的扫描镜303扫描来自眼球的反射光。
例如,如果扫描镜303的表面朝向如图3的左侧所示的方向,那么通过眼球上的位置371的反射光(例如,表面反射光或角膜反射光)被扫描镜303反射,并且由检测器304检测。如果扫描镜303的表面的取向改变为图1的右侧所示的方向,那么通过眼球上的位置372的反射光(例如,在虹膜上反射的散射光)被扫描镜303反射,并且由检测器304检测。通过位置371的反射光的强度和通过位置372的反射光的强度彼此不同。这样,到达检测单元304的反射光在眼球上的反射位置取决于扫描镜303的表面的取向而不同。因此,如果驱动扫描镜303,那么可以获得关于在眼球上的各种位置处反射的反射光的信息。
所获得的与光有关的信息例如对应于扫描镜303的表面的取向或扫描振荡角。因此,能够基于所获得的与光有关的信息和扫描镜303的表面的取向或扫描振荡角,获得与眼球有关的各种信息。
信息检测装置300包括在朝着眼球发出的光和反射光的路径上的共有光学***(例如,扫描镜)。因此,可以使信息检测装置300比以上在“(2)第一实施例的第一示例(信息检测装置)”中描述的信息检测装置100小。
另外,来自信息检测装置300的照射单元301的光经由半反射镜306和扫描镜303朝着眼球发出。因此,光利用效率可能比以上在“(2)第一实施例的第一示例(信息检测装置)”中所述的信息检测装置100的光利用效率低。然而,如果增大半反射镜306和扫描镜303中的每一个的光透射率或反射率,那么可以提高该光的利用效率。
2.第二实施例(视频投影装置)
(1)第二实施例的说明
根据本技术的视频投影装置除了以上在“1.第一实施例(信息检测装置)”中说明的组成要素之外,还包括视频显示光照射单元,该视频显示光照射单元用视频显示光照射由控制器估计的瞳孔位置,使得视频显示光通过该瞳孔位置。
根据本技术的视频投影装置发挥以上在“1.第一实施例(信息检测装置)”中所述的效果。而且,根据本技术的视频投影装置发挥能够将视频显示光朝着适当位置发出的效果。
(2)第二实施例的第一示例(视频投影装置)
以下,参照图4说明根据本技术的视频投影装置的示例。图4是根据本技术的视频投影装置的示意图。在该示意图中,用于由该视频投影装置进行信息检测的光的行进方向以及视频显示光的方向由虚线的箭头表示。
如图4所示,视频投影装置400包括照射单元401、光引导单元402、扫描镜403、检测单元404以及控制器405。视频投影装置400还包括视频显示光照射单元420。在这些组成要素中,照射单元401、扫描镜403、检测单元404以及控制器405与以上在部分1的“(2)第一实施例的第一示例(信息检测装置)”中所述的照射单元101、扫描镜103、检测单元104以及控制器105相同。因此,可以检测如在部分1的“(2)第一实施例的第一示例(信息检测装置)”中所述的信息(例如,瞳孔位置)。
视频投影装置400是其中在以上在部分1的“(2)第一实施例的第一示例(信息检测装置)”中说明的信息检测装置100中附加了视频显示光照射单元420的装置。以下,主要说明光引导单元402和视频显示光照射单元420。
光引导单元402可以具有透射从照射单元401发出的照明光并反射来自眼球的反射光的特性。在从照射单元401发出的光不是平行光的情况下,有利的是,光引导单元402可具有使该光准直的光学特性。
此外,光引导单元402可以具有反射由视频显示光照射单元420发出的视频显示光的特性。有利的是,光引导单元402反射该视频显示光,使得从视频显示光照射单元420发出的视频显示光在瞳孔附近聚集并朝着视网膜发出。即,光引导单元402可以衍射视频显示光,使得视频显示光通过瞳孔直地行进。这使得可以通过所谓的麦克斯韦视图(Maxwellianview)向用户呈现视频。因此,可以向用户呈现清晰的视频。
在本技术中,视频显示光可以在瞳孔附近(例如,在瞳孔上)聚集,或者可以在光轴方向上从瞳孔偏离几mm~几十mm(例如,1mm~20mm,特别地,2mm~15mm)。即使如在后一情况中那样焦点不在瞳孔上,也能够实现麦克斯韦视图。焦点在光轴方向上的移位使得即使视频移位,用户也可以不容易丢失视频。更具体来说,视频显示光可以在瞳孔上、在晶状体中或在角膜表面与瞳孔之间聚集。
例如,在视频投影装置400是眼镜状装置的情况下,光引导单元102例如可以是该眼镜状装置的透镜本身。或者,光引导单元102可以构成为透镜的一部分。
视频显示光照射单元420朝着光引导单元402发出视频显示光。要发出的视频显示光可以放射状地发出。视频显示光照射单元420可以由控制器405控制。例如,控制器405可以控制视频显示光照射单元420以发出视频显示光,以使视频显示光在由控制器405估计的瞳孔位置处聚集。这使得可以更可靠地向用户呈现视频。
视频显示光可以是例如可以用于通过麦克斯韦视图向用户呈现视频的光。视频显示光可以是例如由发光二极管(LED)或阴极射线管(CRT)发出的光。
例如,在视频投影装置400是眼镜状装置的情况下,视频显示光照射单元420例如可以附接到该眼镜状装置的镜腿部分。或者,视频显示光照射单元420可以被包含在镜腿部分中。通过视频显示光照射单元420向用户呈现视频,由此该视频叠加在用户通过该眼镜状装置的透镜看到的外界场景上。
(3)第二实施例的第二示例(视频投影装置)
将参照图5描述根据本技术的视频投影装置的另一示例。图5是根据本技术的视频投影装置的示意图。在该示意图中,用虚线的箭头表示用于根据本技术进行信息检测的光的行进方向以及视频显示光的行进方向。
如图5所示,视频投影装置500包括照射单元501、光引导单元502、扫描镜503、检测单元504以及控制器505。视频投影装置500还包括半反射镜506和视频显示光照射单元520。
在这些组成要素中,照射单元501、光引导单元502、扫描镜503、检测单元504、控制器505以及半反射镜506对应于以上在部分1的“(3)第一实施例的第二示例(信息检测装置)”中说明的照射单元301、光引导单元302、扫描镜303、检测单元304、控制器305以及半反射镜306。因此,可以检测如以上在部分1的“(3)第一实施例的第二示例(信息检测装置)”中所述的信息(例如,瞳孔位置)。
视频投影装置500也可以是其中在以上在部分1的“(3)第一实施例的第二示例(信息检测装置)”中说明的信息检测装置300中附加了视频显示光照射单元520的装置。下面,主要描述光引导单元502和视频显示光照射单元520。
光引导单元502可以具有反射从照射单元501发出的照明光并且反射来自眼球的反射光的特性。
另外,光引导单元502可以具有反射由视频显示光照射单元520发出的视频显示光的特性。有利的是,光引导单元502反射该视频显示光,使得从视频显示光照射单元520发出的视频显示光在瞳孔附近聚集并朝着视网膜发出。也就是说,光引导单元502可以衍射视频显示光,使得视频显示光通过瞳孔直地行进。这使得可以通过所谓的麦克斯韦视图向用户呈现视频。因此,可以向用户呈现清晰的视频。
视频显示光照射单元520朝着光引导单元402发出视频显示光。要发出的视频显示光可以放射状地发出。视频显示光照射单元520可以由控制器505控制。例如,控制器505可以控制例如视频显示光照射单元520以发出视频显示光,以使视频显示光在由控制器505估计的瞳孔位置处聚集。这使得可以更可靠地向用户呈现视频。视频显示光可以是例如可以用于通过麦克斯韦视图向用户呈现视频的光。视频显示光可以是例如由LED或CRT发出的光。
例如,在视频投影装置500是眼镜状装置的情况下,视频显示光照射单元520例如可以附接到该眼镜状装置的镜腿部分。或者,视频显示光照射单元520可以被包含在镜腿部分中。通过视频显示光照射单元520向用户呈现视频,由此该视频叠加在用户通过该眼镜状装置的透镜看到的外界场景上。
(4)第二实施例的第三示例(视频投影装置)
将参照图6描述根据本技术的视频投影装置的另一示例。图6是根据本技术的视频投影装置的示意图。在该示意图中,用虚线的箭头表示用于由视频投影装置进行信息检测的光的行进方向以及视频显示光的行进方向。
如图6所示,视频投影装置600包括照射单元601、光引导单元602、扫描镜603、检测单元604以及控制器605。视频投影装置600还包括半反射镜606。
将照射单元601构成为经由扫描镜603用照明光661照射眼球650。即,照明光661被扫描并朝着眼球发出。
有利的是,照明光661可以作为束状光从照射单元601发出。更有利的是,照射单元601发出束状的红外光,特别地,红外激光束。
由照射单元601发出的照明光661被半反射镜606反射而到达扫描镜603,由扫描镜603进一步反射而到达光引导单元602,然后由光引导单元602进一步反射而到达眼球650。
照射单元601被构成为除了照明光661以外还能够发出视频显示光663。例如,照明光661和视频显示光663可以在复用状态下由照射单元601输出。通过视频显示光663向用户呈现视频。
照射单元601可以例如输出其中视频显示光和照明光被复用的激光,特别是其中红、绿以及蓝色的激光和红外激光被复用的激光。
例如,在视频投影装置600是眼镜状装置的情况下,照射单元601可以附接到该眼镜状装置的镜腿的任意位置。或者,照射单元601可以被设置为包含在镜腿中。通过照射单元601向用户呈现视频,由此该视频叠加在用户通过该眼镜状装置的透镜看到的外界场景上。
光引导单元602可以具有反射从照射单元601发出的照明光661和视频显示光663并且反射来自眼球的反射光662的特性。有利的是,光引导单元602可以具有如下特性:反射照明光661以到达要在眼球上扫描的位置,以及反射视频显示光663以在瞳孔位置处被聚集以(特别地,通过瞳孔的中心)照射视网膜。本领域中已知的光学元件可以用作具有这些特性的光引导单元。该光学元件的示例包括全息光学元件。
例如,如图6的左侧所示,当照明光661和视频显示光663到达光引导单元602的位置673时,照明光661和视频显示光663两者被反射以通过瞳孔的中心671。例如,如图6的右侧所示,当照明光661和视频显示光663到达光引导单元602的位置674时,照明光661被反射以朝着偏离瞳孔中心的位置672发出,以及视频显示光663被反射以通过瞳孔的中心671。
扫描镜603可以是例如MEMS镜。如上所述,扫描镜603扫描由照射单元601发出的照明光661和视频显示光663(或它们的组合),并且还扫描在眼球650上反射的反射光662。即,在根据本示例的视频投影装置600中,通过扫描照明光的扫描镜,也扫描来自眼球的反射光以及视频显示光。
当用照明光照射眼球时,产生反射光。当扫描该反射光时,可以获得关于眼球的信息。
另外,在视网膜上扫描视频显示光,由此向用户呈现视频。视频显示光通过该扫描而例如聚集在瞳孔附近,以及朝着视网膜发出。即,视频显示光通过瞳孔直地行进。这使得可以通过所谓的麦克斯韦视图向用户呈现视频。因此,可以向用户呈现清晰的视频。
例如,如果扫描镜603的表面朝向如图6的左侧所示的方向,那么通过眼球650的中心671的反射光(例如,表面反射光或角膜反射光)被光引导单元602和扫描镜603反射,通过半反射镜606,以及由检测器604检测。如果扫描镜603的表面的取向改变为如图6的右侧所示的方向,那么通过眼球650的位置672的反射光(例如包括在虹膜上反射的散射光)被光引导单元602和扫描镜603反射,透过半反射镜606,以及由检测器604检测。这样,眼球650上的反射到达检测单元604的反射光的位置随扫描镜603的表面的取向而不同,并且反射光的强度随眼球上的反射反射光的位置而不同。因此,如果驱动扫描镜603,那么可以获得关于在眼球650上的各种位置处反射的反射光的信息。
检测单元604检测由扫描镜603反射并透过半反射镜606的反射光662。
控制器605可以处理与由检测器604检测到的反射光有关的信息(例如,反射光的强度)。例如,控制器605可以基于关于反射光的信息,获得关于眼球的信息(例如,眼球的转动角度、瞳孔位置以及视线方向)。有利的是,控制器605可以基于由检测单元604检测到的反射光来进行眼球的瞳孔位置的估计处理。
另外,控制器605可以构成为能够控制扫描镜603。例如,控制器605可以在预定扫描振荡角内驱动扫描镜603。控制器605能够获得与扫描镜603有关的信息,例如,与扫描镜的表面的取向、扫描振荡角等有关的信息。
有利的是,控制器605可以基于关于扫描镜603的信息和关于由检测单元604检测到的反射光的信息来获得关于眼球的信息。例如,控制器605可以基于扫描镜603的扫描振荡角和由检测单元604检测到的反射光(例如,反射光的强度)来估计瞳孔位置、视线方向或眼球的转动角度。
此外,控制器605可以基于所取得的关于眼球的信息,控制照射单元601以调整要发出的视频显示光。这样,可以在用户视野中的适当位置处显示视频。
控制器605可以包括诸如CPU之类的处理器和诸如RAM和/或ROM之类的存储器。存储器可以存储用于使装置执行根据本技术的信息检测方法或视频投影方法的程序等。处理器可以实现控制器605的功能。
控制器605可以控制照射单元601的照明光和/或视频显示光的照射。例如,控制器605可以打开或关闭照射单元601的照明光和/或视频显示光的照射。或者,控制器605可以改变要发出的照明光和/或视频显示光的强度或种类。此外,控制器605可以控制扫描镜603的驱动。例如,控制器605可以改变扫描镜603的扫描振荡角。此外,控制器605可以控制检测单元604的检测。例如,控制器605可以打开或关闭由检测单元604进行的检测操作。
半反射镜606可以具有反射照明光661和视频显示光663(或它们的组合)并且透射反射光662的特性。这允许仅反射光662选择性地到达检测单元604。
在视频投影装置600中,如上所述,将照射单元601构成为能够发出照明光和视频显示光,因此能够使该装置小型化。另外,由于共用照明光、视频显示光以及反射光的路径上的光学***(例如,扫描镜),所以能够使该装置进一步小型化。
3.第三实施例(信息检测方法)
(1)第三实施例的说明
本技术还提供了一种信息检测方法,该信息检测方法包括:用光照射眼球;通过扫描镜扫描来自眼球的反射光;以及检测通过扫描镜扫描的反射光。
根据本技术的信息检测方法可以检测如以上在部分1中所述的眼球的信息。
(2)第三实施例的示例(信息检测方法)
在下文中,将参照图1和图7描述根据本技术的信息检测方法的示例。图7是示出根据本技术的信息检测方法的流程示例的图。
在步骤S101中,信息检测装置100开始根据本技术的信息检测处理。
在步骤S102中,控制器105使照射单元101用照明光照射眼球。有利的是,所发出的光是非可见光,并且更有利的是,其为红外光。例如,可以仅在需要检测瞳孔位置时发出照明光。或者,可以以预定的时间间隔发出照明光。
在步骤S103中,控制器105驱动扫描镜103,以使扫描镜103扫描在步骤S102中通过将照明光照射在眼球上而产生的反射光。作为扫描的结果,在眼球的各种位置中的每一个处反射的反射光前进到检测单元104。
在步骤S104中,控制器105使检测单元104检测在步骤S103中扫描的反射光。作为检测的结果,可以获得关于反射光的信息,例如,反射光的强度。
在步骤S105中,控制器105基于在步骤S104中获得的关于反射光的信息和关于步骤S103中的扫描的信息,获得关于眼球的信息。
在步骤S106中,信息检测装置100结束根据本技术的信息检测处理。
例如,可以由根据本技术的信息检测装置或视频投影装置进行上述处理。关于上述各步骤中这些装置的各组成要素的更详细的操作,请参照上述“1.第一实施例(信息检测装置)”以及“2.第二实施例(视频投影装置)”。
4.第四实施例(视频投影方法)
(1)第四实施例的说明
本技术还提供了一种视频投影方法,该视频投影方法包括:用光照射眼球;用扫描镜扫描来自眼球的反射光;检测由扫描镜扫描的反射光;基于在检测步骤中检测到的反射光估计眼球的瞳孔位置;以及用视频显示光照射在估计步骤中估计的瞳孔位置,以使视频显示光通过瞳孔位置。
根据本技术的视频投影方法可以检测如以上在部分1中所述的眼球的信息。此外,根据本技术的视频投影方法可以基于检测出的眼球的信息,将视频显示光朝着准确的位置发出。
(2)第四实施例的示例(视频投影方法)
以下,参照图6和图8说明根据本技术的视频投影方法的示例。图8是示出根据本技术的视频投影方法的流程示例的图。
在步骤S201中,视频投影装置600开始根据本技术的视频投影处理。
在步骤S202中,控制器605使照射单元601用照明光照射眼球。有利的是,要发出的光是非可见光,更有利的是红外光。例如,可以仅在需要检测瞳孔位置时发出照明光。或者,可以以预定时间间隔发出照明光。
在步骤S203中,控制器605驱动扫描镜603,以使扫描镜603扫描通过在步骤S202中将照明光照射到眼球上而产生的反射光。作为扫描的结果,在眼球的各种位置中的每一个处反射的反射光前进到检测单元604。
在步骤S204中,控制器605使检测单元604检测在步骤S203中扫描的反射光。作为检测的结果,可以获得关于反射光的信息,例如,反射光的强度。
在步骤S205中,控制器605基于在步骤S204中获得的关于反射光的信息和关于在步骤S203中的扫描的信息,获得关于眼球的信息。
在步骤S206中,控制器605使照射单元601发出基于在步骤S205中获得的与眼球有关的信息(例如,瞳孔位置)而调整的视频显示光。由此,用视频显示光照射眼球,从而用户能够识别视频。
在步骤S207中,视频投影装置600结束根据本技术的视频投影处理。
以上的处理例如可以由根据本技术的视频投影装置进行。关于上述每个步骤中该装置的每个组成要素的更详细的操作,请参照上述“2.第二实施例(视频投影装置)”。
5.装置的构成示例
以下参照图9和图10说明根据本技术的视频投影装置的具体示例。
图9示出了作为根据本技术的视频投影装置的示例的头戴式显示器(以下称为HMD)900。HMD 900是眼镜状装置,即,眼镜显示器。
在HMD 900的鼻托951中设置了用于根据本技术进行信息检测的主要组成元件。也就是说,在HMD 900的鼻托951中,设置有照射单元901、半反射镜906、扫描镜903、检测单元904以及控制器905。注意,控制器905可以不设置在鼻托951中,而是设置在例如镜腿953中。
在HMD 900的镜腿953中,设置有用于基于根据本技术检测到的信息向用户呈现视频的主要组成要素。即,在HMD 900的镜腿953中设置有视频显示光照射单元920。视频显示光照射单元920包括输出单元921、扫描镜922、透镜923以及光学***924。视频显示光照射单元920可以连接到控制器905。
另外,将光引导单元902设置于HMD 900的透镜952。
从照射单元901发出的照明光被半反射镜906和扫描镜903反射,并且到达光引导单元902。照明光被光引导单元902进一步反射并到达眼球。来自眼球的反射光由光引导单元902反射,由扫描镜903扫描,并透过半反射镜906。通过检测单元904检测透过半反射镜906的反射光。基于关于检测到的反射光的信息和例如关于扫描镜903的信息,检测关于眼球的信息。基于与该眼球有关的信息,视频显示光照射单元920发出视频显示光,以使用户能够准确地识别视频。
图10示出了根据本技术的作为视频投影装置的HMD的另一示例。图100所示的HMD1000具有眼镜状的形状,即,也可以称为眼镜显示器。
在HMD 1000的镜腿1053中设置有用于进行根据本技术的信息检测的主要组成要素以及基于根据本技术检测出的信息向用户呈现视频的主要组成要素。此外,HMD 1000具有在到眼球的照明光、来自眼球的反射光以及视频显示光的路径上的公共光学***。换句话说,在HMD 1000的镜腿1053中设置有照射单元1001、扫描镜1003、检测单元1004以及控制器1005。此外,在HMD 1000的镜腿1053中设置有半反射镜1006、透镜1007以及光学***(例如,反射镜等)1008。另外,在HMD 1000的透镜1052中设置有光引导单元1002。
从照射单元1001发出的照明光经由半反射镜1006、光学***1008以及扫描镜1003到达光引导单元1002。照明光被光引导单元1002进一步反射并到达眼球。来自眼球的反射光由光引导单元1002反射,由扫描镜1003扫描,通过光学***1008,以及透过半反射镜1006。通过检测单元1004检测透过半反射镜1006的反射光。基于与检测到的反射光有关的信息和例如与扫描镜1003有关的信息,检测关于眼球的信息。基于与眼球有关的信息,照射单元1001发出视频显示光,以使用户能够准确地识别视频。
6.示例
(1)示例1(第一实施例的第一示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分1的“(2)第一实施例的第一示例(信息检测装置)”中描述的信息检测装置的信息检测进行了模拟。图11示出了模拟装置的构成。图11所示的装置1100包括作为照射单元的平行光源1101、作为光引导单元的全息元件1102、准直透镜1110、扫描镜1103以及检测单元1104。
在眼球相对于瞳孔部分朝向正面的情况下以及扫描镜1103的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1104检测到的来自眼球的反射光的光强度。图15示出了扫描振荡角与光强度之间的关系。
另外,假设眼球在0度朝向正面,在眼球转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的反射光的光强度。图12还示出了当眼球转动5度或10度时获取的光强度与扫描振荡角之间的关系。
如图12所示,在眼球的转动为0度、5度以及10度的情况之间,在获得了超过0的光强度时的扫描振荡角与光强度为0时的扫描振荡角之间的边界(以下称为边缘;图12中由a、b以及c表示)是不同的,边缘随眼球的转动角度而移动。因此,可以基于扫描振荡角与光强度之间的关系来估计眼球的转动角度、瞳孔位置或视线方向。
另外,比较眼球的转动为0度、5度以及10度的各情况,光强度的分布随眼球的转动角度而移动。因此,也可以基于光强度相对于扫描振荡角的分布来估计眼球的转动角度、瞳孔位置或视线方向。
上述模拟是在扫描镜的扫描振荡角被改变到一维方向时获取的结果。因此,通过将扫描镜的扫描振荡角改变到二维方向,可以更准确地估计关于眼球的信息(例如,眼球的转动角度、瞳孔位置以及视线方向)。
(2)示例2(第一实施例的第二示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分1的“(3)第一实施例的第二示例(信息检测装置)”中描述的信息检测装置的信息检测进行了模拟。图13示出了模拟装置的构成。图13所示的装置1300包括照射单元1301、作为光引导单元的全息元件(光栅)1302、准直透镜1310、扫描镜1303以及检测单元1304。此外,装置1300包括半反射镜1305。
在眼球相对于瞳孔部分朝向正面的情况下以及扫描镜1303的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1304检测到的来自眼球的反射光的光强度。图14示出了扫描振荡角与光强度之间的关系。
另外,假设眼球在0度朝向正面,在眼球转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的光强度。图14还示出了当眼球转动5度或10度时获取的光强度与扫描振荡角之间的关系。
如图14所示,在眼球的转动为0度、5度以及10度的情况之间,边缘(图14中的a、b以及c)是不同的,并且边缘随眼球的转动角度而移动。因此,可以基于扫描振荡角与光强度之间的关系来估计眼球的转动角度、瞳孔位置或视线方向。
比较眼球的转动为0度、5度以及10度的各情况,光强度的分布随眼球的转动角度而移动。因此,也可以基于光强度相对于扫描振荡角的分布来估计眼球的转动角度、瞳孔位置或视线方向。
另外,在眼球的转动为0度、5度以及10度的每个情况下,可以确认突出的峰值(图14中的d)。所述峰值是由于角膜上的表面反射光和视网膜上的散射光两者造成的。另外,峰值周边的区域(图14中的e)是由视网膜上的散射光引起的。因此,基于峰值和/或区域,可以更准确地估计关于眼球的信息(例如,瞳孔位置、视线方向或眼球的转动角度)。
在使用装置1300的情况下,与使用示例1的装置1100的情况不同,能够观察峰值和/或区域。这主要是由于使用束状光(特别是激光)作为要朝着眼球发出的照明光。因此,作为用于对眼球照射光的照射单元,通过使用用于对眼球照射束状光的照射单元,能够更准确地获得与眼球相关的信息。
(3)示例3(第一实施例的第二示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分1的“(3)第一实施例的第二示例(信息检测装置)”中描述的信息检测装置的信息检测进行了模拟。图15示出了模拟装置的构成。图15所示的装置1500包括照射单元1501、作为光引导单元的全息元件(光栅透镜)1502、准直器透镜1510、扫描镜1503以及检测单元1504。此外,装置1500包括半反射镜1505。
与示例2不同,全息元件1502是光栅透镜,即,具有聚光特性。由于该聚光特性,来自照射单元的照明光朝着瞳孔聚集。
在眼球相对于瞳孔部分朝向正面的情况下以及扫描镜1503的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1504检测到的来自眼球的反射光的光强度。图16示出了扫描振荡角与光强度之间的关系。
另外,假设眼球在0度朝向正面,在眼球转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的光强度。图16还示出了当眼球转动5度或10度时获取的光强度与扫描振荡角之间的关系。
如图16所示,在眼球的转动为0度、5度以及10度的情况之间,边缘(图16中的a、b以及c)是不同的,并且边缘随眼球的转动角度而移动。因此,可以基于扫描振荡角与光强度之间的关系来估计眼球的转动角度、瞳孔位置或视线方向。
此外,比较眼球的转动为0度、5度以及10度的各情况,光强度的分布随眼球的转动角度而移动。因此,也可以基于光强度的分布来估计眼球的转动角度、瞳孔位置或视线方向。
在眼球的转动为0度、5度以及10度的每个情况下,可以确认突出的峰值(图16中的d)。所述峰值是由于角膜上的表面反射光和视网膜上的散射光两者造成的。另外,峰值周边的区域(图16中的e)是由视网膜上的散射光引起的。因此,基于峰值和/或区域,可以更准确地估计关于眼球的信息(例如,瞳孔位置、视线方向或眼球的转动角度)。
在使用装置1500的情况下,与使用示例1的装置1100的情况不同,能够观察峰值和/或区域。这主要是由于使用束状光(特别是激光)作为要朝着眼球发出的照明光。因此,作为用于对眼球照射光的照射单元,通过使用用于对眼球照射束状光的照射单元,能够更准确地获得与眼球相关的信息。
尽管示例2和3中的眼球的转动角度相同,但是使用装置1500时观察到的三个峰值的间隔和三个边缘的间隔比在示例2中使用装置1300时的那些宽。即,即使在相同的转动角度下,在使用装置1500时分辨率也较高。该差异是由于如下事实导致的:因为装置1500使用光栅透镜,将照明光聚集到眼球,而因为装置1300使用光栅,未将照明光聚集到眼球。因此,通过用光栅透镜将照明光聚集到眼球,相信能够以更高精度获得关于眼球的信息。
此外,在使用装置1300时观察到的三个边缘比在使用装置1500时观察到的边缘更尖锐。因此,为了基于边缘获得与眼球有关的信息,认为使用在不使照明光聚集的情况下使照明光相对于眼球直行的照射单元较好。
在使用装置1300时观察到的区域“e”中的强度(视网膜上的散射光)比在使用装置1500时获取的强度高。这种差异可以归因为如下事实:因为在使用装置1500时,照明光没有朝着眼球直行,所以由检测单元检测的视网膜上的散射光的强度较低。因此,为了基于视网膜上的散射光的强度获得与眼球有关的信息,最好考虑使用在不将照明光聚集在瞳孔上的情况下用作为平行光的照明光照射眼球的照射单元。
(4)示例4(第二实施例的第一示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分2的“(2)第二实施例的第一示例(视频投影装置)”中描述的视频投影装置的信息检测进行了模拟。图17示出了模拟装置的构成。如图17所示,视频投影装置1700包括照射单元1701、光引导单元1702、扫描镜1703以及检测单元1704。视频投影装置1700还包括视频显示光照射单元1720。
视频投影装置1700是作为以上在“(2)第二实施例的第一示例(视频投影装置)”中说明的视频投影装置400的具体化的视频显示光照射单元的装置。即,视频显示光照射单元1720包括输出单元1721、扫描镜1722及透镜1723。输出单元1721输出视频显示光。输出的视频显示光的方向、强度等由光学***1724调节。输出的视频显示光由扫描镜1722扫描。扫描的视频显示光由透镜1723准直并到达光引导单元1702。这样,视频显示光照射单元1720使扫描的视频显示光准直并用视频显示光照射光引导单元1702。
光引导单元1702反射视频显示光,使得视频显示光在瞳孔附近聚集。也就是说,光引导单元1702是针对视频显示光的反射光栅透镜。由光引导单元1702反射的视频显示光直地通过瞳孔(特别地,瞳孔的中心),然后到达视网膜。结果,用户能够通过视频显示光识别视频。
在通过视频显示光照射单元1720用视频显示光照射眼球的情况、眼球相对于光引导单元朝向正面的情况、以及扫描镜1703的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1704检测的来自眼球的反射光的光强度。
另外,假设眼球在0度朝向正面,在眼球转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的反射光的光强度。模拟结果与上述示例1中获取的结果类似。因此,可以理解,在通过视频显示光照射单元发出视频显示光的情况下,也能够检测与眼球有关的信息。
(5)示例5(第二实施例的第二示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分2的“(3)第二实施例的第二示例(视频投影装置)”中描述的视频投影装置的信息检测进行了模拟。图18示出了模拟装置的构成。如图18所示,视频投影装置1800包括照射单元1801、光引导单元1802、扫描镜1803以及检测单元1804。视频投影装置1800还包括半反射镜1806和视频显示光照射单元1820。
视频投影装置1800是作为在“(3)第二实施例的第二示例(视频投影装置)”中说明的视频投影装置500的具体化的视频显示光照射单元的装置。即,视频显示光照射单元1820包括输出单元1821、扫描镜1822及透镜1823。输出单元1821输出视频显示光。输出的视频显示光的方向、强度等由光学***1824调节。输出的视频显示光由扫描镜1822扫描。扫描的视频显示光由透镜1823准直并到达光引导单元1802。这样,视频显示光照射单元1820使扫描的视频显示光准直并用视频显示光照射光引导单元1802。
光引导单元1802反射视频显示光,使得视频显示光在瞳孔附近聚集。也就是说,光引导单元1802是针对视频显示光的反射光栅透镜。由光引导单元1802反射的视频显示光直地通过瞳孔(特别地,瞳孔的中心),然后到达视网膜。结果,用户能够通过视频显示光识别视频。
另外,视频投影装置1800包括扫描镜1803和光引导单元1802之间的透镜1825。由扫描镜1803扫描的照明光由透镜1825准直,以到达光引导单元1802。然后,光引导单元1802反射准直的照明光,并且照明光到达眼球。也就是说,光引导单元1802是针对照明光的反射光栅。
在通过视频显示光照射单元1820用视频显示光照射眼球的情况、眼球相对于光引导单元朝向正面的情况、以及扫描镜1803的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1804检测的来自眼球的反射光的光强度。
另外,假设眼球在0度朝向正面,在眼球转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的反射光的光强度。
模拟结果与上述示例2中获取的结果类似。因此,可以理解,在通过视频显示光照射单元发出视频显示光的情况下,也能够检测与眼球有关的信息。
(6)示例6(第二实施例的第三示例的模拟)
使用OpticStudio(商标)(由Zemax LLC.制造)对以上在部分2的“(4)第二实施例的第三示例(视频投影装置)”中描述的视频投影装置的信息检测进行了模拟。图19示出了模拟装置的构成。如图19所示,视频投影装置1900包括照射单元1901、光引导单元1902、扫描镜1903以及检测单元1904。视频投影装置1900还包括半反射镜1906和透镜1907。
视频投影装置1900具有与以上在“(4)第二实施例的第三示例(视频投影装置)”中说明的视频投影装置600类似的构成。
注意,视频投影装置1900和视频投影装置600的彼此不同之处在于,照射单元和检测单元的配置被调换,以及在前者中,半反射镜1906透射照明光和视频显示光且反射反射光。另外,视频投影装置1900的不同之处还在于:在扫描镜1903和光引导单元1902之间设置有透镜1907。由扫描镜1903扫描的照明光由透镜1907准直,以到达光引导单元902。然后,光引导单元902反射该准直的照明光,该照明光到达眼球。也就是说,光引导单元1902是针对照明光的反射光栅。
在通过照射单元1901经由扫描镜1903用视频显示光照射眼球1950的情况、眼球1950相对于光引导单元朝向正面的情况、以及扫描镜1903的扫描振荡角为-10度~10度的情况下,通过模拟获取了由检测单元1904检测到的来自眼球1950的反射光的光强度。
另外,假设眼球1950在0度朝向正面,在眼球1950转动5度或10度的情况下,类似地也获取了在扫描振荡角为-10度~10度时检测出的反射光的光强度。
模拟结果与上述示例2中获取的结果类似。因此,可以理解,在通过视频显示光照射单元在与照明光相同的路径上用视频显示光照射眼球的情况下,也能够检测与眼球相关的信息。
另外,本技术也可以具有以下构成。
[1]一种信息检测装置,包括:
照射单元,所述照射单元用光照射眼球;
扫描镜,所述扫描镜扫描来自所述眼球的反射光;以及
检测单元,所述检测单元检测由所述扫描镜扫描的反射光。
[2]根据[1]所述的信息检测装置,还包括:
控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置或视线方向进行估计处理。
[3]根据[2]所述的信息检测装置,其中
所述控制器基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光,估计所述眼球的瞳孔位置或视线方向。
[4]根据[2]所述的信息检测装置,其中
所述控制器基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光的强度来估计所述眼球的瞳孔位置或视线方向。
[5]根据[1]至[4]中的任一项所述的信息检测装置,其中
所述照射单元被构成为不经过所述扫描镜地用所述光照射所述眼球。
[6]根据[1]至[5]中的任一项所述的信息检测装置,其中
所述照射单元被构成为经由所述扫描镜用所述光照射所述眼球。
[7]根据[1]至[6]中的任一项所述的信息检测装置,其中
用于照射所述眼球的光是非可见光。
[8]根据[1]至[7]中的任一项所述的信息检测装置,其中
用于照射所述眼球的光是红外光。
[9]根据[1]至[8]中的任一项所述的信息检测装置,其中
用于照射所述眼球的光是束状光。
[10]一种视频投影装置,包括:
照射单元,所述照射单元用光照射眼球;
扫描镜,所述扫描镜扫描来自所述眼球的反射光;
检测单元,所述检测单元检测由所述扫描镜扫描的反射光;
控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置进行估计处理;以及
视频显示光照射单元,所述视频显示光照射单元用视频显示光照射由所述控制器估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
[11]根据[10]所述的视频投影装置,其中
所述视频显示光在瞳孔附近聚集,以及用所述视频显示光照射视网膜。
[12]根据[10]或[11]所述的视频投影装置,其中
用所述视频显示光经由所述扫描镜照射眼球。
[13]根据[10]至[12]中的任一项所述的视频投影装置,其中
所述视频投影装置是眼镜显示器。
[14]一种信息检测方法,包括:
用光照射眼球;
通过扫描镜扫描来自所述眼球的反射光;以及
检测由所述扫描镜扫描的反射光。
[15]一种视频投影方法,包括:
用光照射眼球;
通过扫描镜扫描来自所述眼球的反射光;
检测由所述扫描镜扫描的反射光;
基于在检测步骤中检测的反射光对所述眼球的瞳孔位置进行估计;以及
用视频显示光照射在估计步骤中估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
参考标符列表
100,300 信息检测装置
101,301 照射单元
102,302 光引导单元
103,303 扫描镜
104,304 检测单元
105,305 控制器

Claims (15)

1.一种信息检测装置,包括:
照射单元,所述照射单元用光照射眼球;
扫描镜,所述扫描镜扫描来自所述眼球的反射光;以及
检测单元,所述检测单元检测由所述扫描镜扫描的反射光。
2.根据权利要求1所述的信息检测装置,还包括:
控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置或视线方向进行估计处理。
3.根据权利要求2所述的信息检测装置,其中
所述控制器基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光,估计所述眼球的瞳孔位置或视线方向。
4.根据权利要求2所述的信息检测装置,其中
所述控制器基于所述扫描镜的扫描振荡角和由所述检测单元检测出的反射光的强度来估计所述眼球的瞳孔位置或视线方向。
5.根据权利要求1所述的信息检测装置,其中
所述照射单元被构成为不经过所述扫描镜地用所述光照射所述眼球。
6.根据权利要求1所述的信息检测装置,其中
所述照射单元被构成为经由所述扫描镜用所述光照射所述眼球。
7.根据权利要求1所述的信息检测装置,其中
用于照射所述眼球的光是非可见光。
8.根据权利要求1所述的信息检测装置,其中
用于照射所述眼球的光是红外光。
9.根据权利要求1所述的信息检测装置,其中
用于照射所述眼球的光是束状光。
10.一种视频投影装置,包括:
照射单元,所述照射单元用光照射眼球;
扫描镜,所述扫描镜扫描来自所述眼球的反射光;
检测单元,所述检测单元检测由所述扫描镜扫描的反射光;
控制器,所述控制器基于由所述检测单元检测的反射光对所述眼球的瞳孔位置进行估计处理;以及
视频显示光照射单元,所述视频显示光照射单元用视频显示光照射由所述控制器估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
11.根据权利要求10所述的视频投影装置,其中
所述视频显示光在瞳孔附近聚集,以及用所述视频显示光照射视网膜。
12.根据权利要求10所述的视频投影装置,其中
用所述视频显示光经由所述扫描镜照射眼球。
13.根据权利要求10所述的视频投影装置,其中
所述视频投影装置是眼镜显示器。
14.一种信息检测方法,包括:
用光照射眼球;
通过扫描镜扫描来自所述眼球的反射光;以及
检测由所述扫描镜扫描的反射光。
15.一种视频投影方法,包括:
用光照射眼球;
通过扫描镜扫描来自所述眼球的反射光;
检测由所述扫描镜扫描的反射光;
基于在检测步骤中检测的反射光对所述眼球的瞳孔位置进行估计;以及
用视频显示光照射在估计步骤中估计的瞳孔位置,使得所述视频显示光通过所述瞳孔位置。
CN201980020385.9A 2018-03-26 2019-02-28 信息检测装置、视频投影装置、信息检测方法以及视频投影方法 Pending CN111867445A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-058483 2018-03-26
JP2018058483 2018-03-26
PCT/JP2019/007878 WO2019187958A1 (ja) 2018-03-26 2019-02-28 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法

Publications (1)

Publication Number Publication Date
CN111867445A true CN111867445A (zh) 2020-10-30

Family

ID=68061398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020385.9A Pending CN111867445A (zh) 2018-03-26 2019-02-28 信息检测装置、视频投影装置、信息检测方法以及视频投影方法

Country Status (5)

Country Link
US (1) US20210041693A1 (zh)
EP (1) EP3777652A4 (zh)
JP (1) JP7302592B2 (zh)
CN (1) CN111867445A (zh)
WO (1) WO2019187958A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129801A (zh) * 2021-04-14 2021-07-16 Oppo广东移动通信有限公司 控制方法及装置、移动终端和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2584276B (en) * 2019-05-22 2023-06-07 Sony Interactive Entertainment Inc Capture of a three-dimensional representation of a scene
US20230012288A1 (en) * 2019-12-10 2023-01-12 Sony Group Corporation Eye information detection device and image display apparatus
GB2608789B (en) 2021-06-14 2024-02-07 Trulife Optics Ltd Optical system for eye tracking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1994217A (zh) * 2000-09-26 2007-07-11 卡尔豪恩视觉公司 可调节透镜的屈光力修正
US20070296919A1 (en) * 2006-06-22 2007-12-27 Kabushiki Kaisha Topcon Ophthalmologic apparatus
JP2016087291A (ja) * 2014-11-10 2016-05-23 パナソニックIpマネジメント株式会社 瞳孔・視線計測装置および照明システム
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实***与方法
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪***
CN106999037A (zh) * 2014-09-12 2017-08-01 无忧易中心股份公司 眼睛检查装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761314B2 (ja) * 1991-10-07 1995-07-05 コナミ株式会社 網膜反射光量測定装置及び該装置を用いた視線検出装置
JP3171698B2 (ja) 1992-03-24 2001-05-28 オリンパス光学工業株式会社 カメラの焦点距離制御装置
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
JP4608996B2 (ja) 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP5216761B2 (ja) * 2007-09-26 2013-06-19 パナソニック株式会社 ビーム走査型表示装置
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2014186620A1 (en) * 2013-05-15 2014-11-20 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1994217A (zh) * 2000-09-26 2007-07-11 卡尔豪恩视觉公司 可调节透镜的屈光力修正
US20070296919A1 (en) * 2006-06-22 2007-12-27 Kabushiki Kaisha Topcon Ophthalmologic apparatus
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实***与方法
CN106999037A (zh) * 2014-09-12 2017-08-01 无忧易中心股份公司 眼睛检查装置
JP2016087291A (ja) * 2014-11-10 2016-05-23 パナソニックIpマネジメント株式会社 瞳孔・視線計測装置および照明システム
CN106168853A (zh) * 2016-06-23 2016-11-30 中国科学技术大学 一种自由空间头戴式视线跟踪***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129801A (zh) * 2021-04-14 2021-07-16 Oppo广东移动通信有限公司 控制方法及装置、移动终端和存储介质

Also Published As

Publication number Publication date
JP7302592B2 (ja) 2023-07-04
EP3777652A4 (en) 2021-05-19
EP3777652A1 (en) 2021-02-17
WO2019187958A1 (ja) 2019-10-03
US20210041693A1 (en) 2021-02-11
JPWO2019187958A1 (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
CN108882845B (zh) 基于经由光导光学元件的视网膜成像的眼动追踪器
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
US10395111B2 (en) Gaze-tracking system and method
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
EP3746837B1 (en) Gaze-tracking system using illuminators emitting different wavelengths
US20180157908A1 (en) Gaze-tracking system and method of tracking user's gaze
TW201712371A (zh) 資料眼鏡用的投影裝置,資料眼鏡,以及操作資料眼鏡用的投影裝置的方法
US10488917B2 (en) Gaze-tracking system and method of tracking user's gaze using reflective element
US9004684B2 (en) Fundus camera
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
JP5944156B2 (ja) 照明光学系と結像光学系とが統合された光学系、及びそれを含む3次元映像獲得装置
JP5342132B2 (ja) 網膜投影ディスプレイ装置
KR20220046494A (ko) 시선 방향을 결정하는 방법 및 시선 추적 센서
CN111751987B (zh) 全息眼睛成像设备
JP2021062162A (ja) 走査型眼底撮影装置
US20240219999A1 (en) Optical system for a virtual retina display and a gesture detection of a user of the virtual retina display
CN112219084B (zh) 眼球检测单元和图像显示装置
CN117546073A (zh) 用于眼动追踪的光学***
KR20240093875A (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
WO2022136731A1 (en) Optical ophthalmic apparatus and method of focusing image of retina

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination