CN107920729A - 可穿戴关注点缩放相机 - Google Patents

可穿戴关注点缩放相机 Download PDF

Info

Publication number
CN107920729A
CN107920729A CN201680049423.XA CN201680049423A CN107920729A CN 107920729 A CN107920729 A CN 107920729A CN 201680049423 A CN201680049423 A CN 201680049423A CN 107920729 A CN107920729 A CN 107920729A
Authority
CN
China
Prior art keywords
camera
image
user
eyes
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680049423.XA
Other languages
English (en)
Inventor
D·科恩
D·曼德宝姆
G·叶海弗
S·麦卓尔
S·卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107920729A publication Critical patent/CN107920729A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种可穿戴装置，其被配置为响应于确定用户的关注点而获取由用户观看的环境的一部分的缩放图像。

Description

可穿戴关注点缩放相机
背景
随着技术的界限已扩大到使得能够实现人们的越来越多的愿望和幻想，记录和记载人们感兴趣并且可能想要与他人分享的日常生活的各方面，或记录供未来的沉思和/或享受的驱动力已产生了丰富多样的便携式和可穿戴相机。相机通常可自动或以足够快的速度操作，以使用户能够对人物作为被动观察者或主动参与者沉浸在其中的短暂场景成像。
概述
本公开的实施例的一方面涉及提供一种可操作以确定环境中的用户的关注点(POR)并获取包括该POR的环境的一部分的缩放图像(zoom image)的可穿戴成像***。在一实施例中，一种***(在下文中也称为“缩放眼(ZoomEye)”***或“缩放眼”)包括注视跟踪***(在下文中也称为“注视***”)，以及相对窄的“缩放(zoom)”视野(FOV)相机(在下文中也称为缩放FOV(Z-FOV)相机)。注视***被配置为确定并跟踪用户的注视的方向，并由此确定用户在用户的环境中的POR。Z-FOV相机被安装在万向节(gimbal)***上，该万向节***使Z-FOV相机能够被定向在想要的方向中。包括在缩放眼中的控制器被配置为响应于由注视***提供的注视方向和由用户生成的合适的输入信号来控制Z-FOV相机指向并获取POR的缩放图像。在一实施例中，注视***包括相机(在下文中也称为注视***相机)，该相机获取用户的眼睛的图像以提供用于确定用户的注视方向的数据。可选地，缩放眼包括广角FOV相机(在下文中也称为“区域相机”)，该广角FOV相机获取在一FOV中的用户的环境的图像(“区域图像”)，该FOV大于Z-FOV相机的缩放FOV并且可包括Z-FOV相机的缩放FOV。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
下面将参考在此所附的在此段落之后列出的附图来描述本公开的实施例的非限制性示例。在多于一幅附图中所出现的相同特征通常在其出现的所有附图中都以相同的标签来标记。标记附图中的本公开的实施例的给定特征的图标的标签可被用于引用该给定的特征。附图中所示的特征的尺寸是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1示意性地示出了根据本公开的一实施例的安装在眼镜上的缩放眼；
图2A和2B示意性地解说了响应于由相机成像的眼睛的特征来确定眼睛的注视方向；
图3示意性地示出了根据本公开的实施例的可安装Z-FOV相机的旋转马达万向节；
图4示意性地示出了根据本公开的实施例的可安装Z-FOV相机的压电双晶片万向节；以及
图5示意性地示出了根据本公开的实施例的可安装Z-FOV相机的压电双晶片万向节。
详细描述
在下面的详细描述中，参考头戴式缩放眼来讨论根据本公开的一实施例的缩放眼***的各方面，用户正在操作该头戴式缩放眼来获取城市景观的区域的缩放图像。图1示意性地示出了根据一个实施例的穿戴头戴式缩放眼并使用缩放眼获取城市环境中的用户感兴趣区域的缩放图像的用户。图2A和2B解说了光学注视***的特征，该光学注视***标识由注视跟踪相机获取的眼睛的图像中的用户的眼睛的特征以确定该用户的注视方向。图3-5提供了根据本公开的实施例的可安装Z-FOV相机的万向节的示例。
在讨论中，除非另有说明，否则修改本公开的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成是指该条件或特性被限定在对该实施例所意图的应用而言可接受的该实施例的操作的容差以内。在本公开中的上位术语通过参考示例实例或示例实例列表来解说处，所提及的一个或多个实例都是该上位术语的非限制性示例实例，并且该上位术语不旨在限于所提及的一个或多个具体示例实例。除非另外指示，本说明书和权利要求书中的单词“或”被认为是包含性“或”而不是排他性或，并且指示其结合的各项目中的至少一项或不止一项的组合。
图1示意性地示出了根据本公开的一实施例的安装到用户23所穿戴的一副眼镜22上的缩放眼20。示出缩放眼20操作以确定用户正在观看的场景30中的用户的POR并获取该POR的缩放图像和该场景的包括该POR的邻域。由缩放眼20成像的POR及其邻域的缩放图像可以被称为该POR的图像。作为示例，在图1中示出了用户23正观看城市景观31(其中可见自由女神像32)。
缩放眼20包括注视***(可选地为光学注视***)41和Z-FOV相机45，该注视***具有对用户的眼睛进行成像的至少一个注视***相机，该Z-FOV相机具有相对窄角度FOV 46和相对大的焦距，以使该Z-FOV相机能够获取该相机成像的场景的相对“放大了”的缩放图像。Z-FOV相机被安装到由具有x、y和z坐标轴的笛卡尔坐标系47所表示的万向节上。数字46标记了示意性描绘了可定义Z-FOV相机45的窄角FOV的立体角的虚线，并且数字46可被用于参考Z-FOV相机的FOV。FOV及其特征立体角在下面讨论。万向节47可选地是双轴万向节，其允许Z-FOV相机45绕x轴和y轴旋转。Z-FOV相机45的光轴与万向节的z轴重合。Z-FOV相机45可安装在其上的万向节的示例在图3-5中示出并在下面参考这些附图来讨论。
作为示例，缩放眼20包括两个注视***相机43L和43R，其分别对用户23的左眼和右眼100L和100R进行成像。注视***相机43L和43R可由数字43统一引用，并且眼睛100L和100R 100R可由数字100统一引用。在一实施例中，缩放眼20包括具有相对广角FOV61的区域相机60。数字61标记了示意性描绘了可定义区域相机60的广角FOV的立体角的虚线，并且数字61可被用于参考区域相机的FOV。控制器70被配置为控制缩放眼20的组件的操作并处理由缩放眼20的组件提供的数据。
相机的FOV是由立体角限定的空间区域，该立体角从相机的光学中心延伸并且其中的点由相机的光学***成像在相机所包括的光电传感器上。相机FOV的视角是位于相机的FOV中并从相机的光学中心延伸的各线之间的最大可能角度。可以为与相机的光学中心相交的任何平面定义视角。通常针对包含该相机的光轴的平面来定义视角。用于对人类活动成像的实际视角通常是分别针对平行于和垂直于地面的平面来定义的水平和垂直视角。诸如Z-FOV相机45可具有的FOV 46的窄角FOV的特征在于相对窄的水平视角以及相对窄的垂直视角。诸如区域相机60可具有的FOV 61的广角FOV的特征在于相对广的水平视角以及相对广的垂直视角。
相机的FOV的视角由相机光电传感器的尺寸和相机光学***的焦距来确定。对于包括测量24毫米(mm)×36mm的光电传感器的相机(传统上称为35mm格式相机)而言，对具有50mm焦距的光电传感器上的场景成像的镜头被认为具有“标准”焦距并且该相机可以被认为获取具有“标准”放大率的图像。对于大于约35毫米的焦距，该相机被认为具有长焦或变焦(zoom)焦距，并且该相机可被认为获取场景的放大图像。对于具有在50mm和100mm之间的焦距的35mm格式相机，假设相机光电传感器的36mm宽度是光电传感器的水平方向，水平FOV视角在大约40°和大约20°之间。对于200mm的焦距，水平视角等于约10°。对于短于35毫米的焦距，35毫米格式相机可被视为广视角FOV相机。焦距在35mm和20mm之间的视角在大约52°到大约85°之间。如果具有相同形状但不同尺寸的光电传感器的相机的各自的焦距与光电传感器的尺寸成比例，则其具有相同的视角。
广角FOV使相机能够对场景的相对较大区域进行成像。窄角FOV使相机能够以相对较高的分辨率获取场景的相对较小区域的图像。例如由用户23观看的城市景观31的由矩形62示意性限定的相对较大区域位于区域相机60的FOV 61内，并且可以控制区域相机以在单个图像中成像该城市景观的相对较大区域。另一方面，城市景观31的由矩形48示意性地限定的相对较小区域位于Z-FOV的FOV 46内，并且Z-FOV在单个相对较高分辨率的图像中对该场景的相对较小区域进行成像。然而，尽管窄角FOV 46可以比广角FOV 61小得多，使得它可以基本上被完全包含在广角FOV内，但是在一实施例中，万向节47允许Z-FOV相机45的光轴被定向为使得区域相机60的广角FOV 61的基本上所有区域可以与窄角度FOV 46的一部分重叠。
在一实施例中，Z-FOV相机45的FOV是固定的。在一实施例中，Z-FOV相机45的FOV是可调整的。在一实施例中，Z-FOV相机(诸如Z-FOV相机45)如果被配置为对以下场景部分进行成像则其被认为是缩放相机：其中区域相机(诸如区域相机60)被配置成以比区域相机的图像分辨率更高的图像分辨率来成像。
控制器70可以包括本领域中已知的用于提供控制器的控制和数据处理功能的任何处理和/或控制电路，并且作为示例可以包括微处理器、应用专用电路(ASIC)、现场可编程阵列(FPGA)和/或片上***(SOC)中的任何一个或一个以上的任何组合。控制器70可以通过各种合适的无线或有线通信信道中的任一种与注视***相机43、Z-FOV相机45和区域相机60进行通信。并且尽管控制器70被示意性地示出为单个组件，控制器70可以是具有包括在缩放眼20的一个以上的组件中的组件的分布式控制器。
在一实施例中，在操作期间，注视***相机43反复获取眼睛100的图像并将图像传送给控制器70。控制器70处理图像以确定每只眼睛的注视矢量，其可选地从眼睛的瞳孔延伸并指向眼睛正在看的方向上。可选地，控制器70将POR确定为来自左眼和右眼100L和100R的注视矢量的交点。在图1中，控制器70被示意性地示出为具有由注视***相机43提供的左眼和右眼100L和100R的经处理图像，以分别确定左眼100L和右眼100R的注视矢量80L和80R。左眼100L正沿着由注视矢量80L指示的注视方向81L看，并且右眼100R正沿着由注视矢量80R指示的注视方向81R看。控制器70(可选地通过确定注视方向81L和81R的交点或最接近路径区域来)确定城市景观31中的用户23的POR 90。在图1中，控制器70已确定POR90位于自由雕像32的一部分处，并且响应于该确定，控制万向节47以定向Z-FOV相机45，使得该相机的光轴(与万向节47的z轴重合)与POR 90基本相交。当用户23的注视指向POR 90并且Z-FOV相机45指向POR时，用户23可以向缩放眼20提供合适的用户输入，使得控制器70触发Z-FOV相机来获取POR的缩放图像－即，作为示例，自由女神像的插图92中所示的缩放图像91。
根据本公开的一实施例的对缩放眼20的用户输入可以例如是通过与触敏板接触而提供的触觉输入，通过发出预先录制的单词或声音而生成的音频输入，和/或光学输入，例如通过适当地闪烁或眨被(可选地注视***相机43)成像的眼睛提供的光学输入。可选地，被配置为接收用户输入的输入接口被包括在缩放眼20中。在一实施例中，缩放眼20包括缩放眼20用于与移动通信设备(诸如智能电话、膝上型计算机或平板)通信的无线通信接口(未示出)。缩放眼20可以通过操作移动通信设备包括的用户输入接口来从移动通信设备接收用户提供的用户输入。
在一实施例中，缩放眼20被配置为如果用户在POR上保持他或她的注视达大于预定停留时间阈值的停留时间，则对用户POR进行成像。例如，当由注视***相机43获取的图像的处理指示用户23在POR 90处已经基本上不间断地保持注视持续大于停留时间阈值的时间段时，缩放眼20可以获取POR 90的缩放图像并由此获取自由女神像32的缩放图像。停留时间阈值可以是大于例如20s(秒)的时间段并且可以是用户可调整的。
作为示例，控制器70包括触摸板71，其被配置为接收用于缩放眼20的用户输入。用户23可以操作触摸板71以使得缩放眼20触发区域相机60以获取由用户23观看的场景的广角图像或者触发Z-FOV相机45以获取用户POR的缩放图像。并且在图1中，用户23被假定为具有适当操作的触摸板71以获取插图92中所示的自由女神像的缩放图像91。
而在对缩放眼20的用户输入的上述示例中，所生成的输入可以是有意输入，根据一实施例的缩放眼可以被配置为触发Z-FOV相机以响应于来自用户的无意输入而获取缩放图像。例如，在一实施例中，Z-FOV相机可以包括一个或多个传感器，所述传感器响应于无意的生理变化(诸如用户23的血压、心率、温度、皮肤传导性和/或皮肤颜色的变化)而生成对控制器70的输入信号。
可选地，缩放眼20包括存储器(未示出)，其中存储器存储它已经获取的图像，诸如自由女神像的图像91。在一实施例中，缩放眼20使用其包括的无线通信接口(未示出)来与存储器建立通信信道，经由该存储器，控制器可以将其获取的图像传送至该存储器以供存储。作为示例，存储器可以被包括在个人计算机中，或者诸如智能电话、膝上型计算机或平板的任何移动通信设备中。可选地，存储器是基于云的，并且控制器70被配置为操作其无线通信接口以建立与蓝牙、WiFi和/或移动电话网络的通信以建立与基于云的存储器的通信并将其所获取的图像传送至基于云的存储器。
为了确定眼睛100的注视矢量，控制器70使用各种模式识别算法中的任一种来处理对眼睛成像的注视跟踪相机43提供的图像以标识和定位各图像中的眼睛的图像，并且标识眼睛的可用于确定与眼睛相关联的注视矢量的方向的至少一个特征。所述至少一个被标识的眼睛特征可以例如包括瞳孔、虹膜和/或虹膜和巩膜之间的传统上被称为角膜缘的边界中的至少一个或一个以上的任何组合。
在一实施例中，每个注视***相机43包括照明注视***相机所成像的眼睛的光源(未示出)，其可选为红外(IR)光，以生成来自注视***相机成像的眼睛的角膜和内部结构的IR反射。该反射被称为“Purkinje(浦肯野)反射”，并且可以根据本公开的实施例被用来确定眼睛的注视矢量。来自角膜的浦肯野反射相对较强且传统上被称为闪光(glint)。由注视***相机43L成像的左眼100L的放大图像在图1的插图110中示意性地示出。通过可选的IR光的反射所生成的闪光101，插图中的眼睛的瞳孔102、虹膜103、巩膜104和角膜缘105被示意性地示出。图2A和图2B解说了闪光101和眼睛100L的特征之间的关系，该关系可以在一实施例中用于响应于眼睛的闪光101和瞳孔102的图像来确定眼睛100L的注视矢量。
图2A和2B示出眼睛100的示意性圆形横截面120，假设眼睛为具有表面121、旋转中心124、虹膜103和瞳孔102的球体，该瞳孔102具有位于在距旋转中心124的距离“dp”处的中心122。尽管眼睛不是完美的球体，而是在角膜位置具有凸起的稍微卵形，将眼睛建模为球体提供了对确定注视方向的各方面的定性和定量洞察。通常，眼睛具有等于约24mm的直径，并且dp等于约10mm。在图2A和2B中，注视***相机43L被示意性地示出为具有光轴135、透镜131以及光传感器132和成像眼睛100。
在图2A中，作为示例，假定眼睛100的旋转中心124沿着注视***相机43L的光轴135定位，并且假定眼睛被由方框箭头136表示的与光轴135同轴的光照亮。光被眼睛100的表面121反射，以在光轴135和眼睛表面的交点123处生成闪光101。闪光被在光传感器132上成像，其中闪光图像的中心位于光轴135和光传感器的交点137处。交点137处的圆138示意性地表示闪光101的图像。在该图中，假定眼睛100的注视沿着光轴135指向注视***相机43L。结果，瞳孔102与闪光101对齐，并且瞳孔的中心122位于光轴135上。瞳孔102在光传感器132上成像，其中瞳孔图像的中心位于交点137处并与闪光101的图像138的中心重合。瞳孔102的图像示意性地由位于表示闪光101的图像的圆138左边的实心圆140表示。
图2B示意性地示出了如图2A中成像的眼睛100，但眼睛和其注视方向“向上”旋转角度θ。结果，尽管由于眼睛100的表面的基本上球形的曲率，闪光101没有移动，所以瞳孔102不再沿着光轴135与闪光101对齐。瞳孔102的中心122位于距光轴135距离Δ＝dpsinθ处且瞳孔102的中心的图像140不再位于交点137处并且与闪光101的中心重合。
如果注视***相机43L的放大率由“M”表示，则闪光101和瞳孔102的图像138和140的中心分开距离ΔI＝MΔ＝Mdpsinθ。眼睛100的视线方向θ可以根据关系式sinθ＝(ΔI/Mdp)来确定。实际上，瞳孔和闪光的图像通常不是完美的圆形，并且通常ΔI被确定为瞳孔和闪烁的图像的形心之间的距离。
根据本公开的一实施例，万向节47可以是使得Z-FOV相机45能够在不同方向定向的各种万向节中的任何一种。
作为示例，图3示意性地示出了根据本公开的一实施例的可安装Z-FOV相机45的万向节200。万向节200可选地包括安装支架202，微型马达204被安装在安装支架202上。微型马达204可选地为旋转微型马达，其具有安装到安装支架202的定子205和耦合到第二旋转微型马达208所安装到的“L”支架207的转子206。Z-FOV相机45被安装在L支架上。微型马达204和208可操作以分别提供由卷曲箭头214和218指示的方向上的旋转，以将Z-FOV相机45指向想要的方向。
图4示意性地示出了如根据图中的实施例所示的可被安装Z-FOV相机45的压电式交叉双晶面万向节240。压电双晶片万向架240包括耦合到第二压电双晶片242的第一压电双晶片241，使得这些双晶片的平面基本上彼此垂直。每个压电双晶片241和242包括诸如PZT(锆钛酸铅)的压电材料的两个层245和247以及夹在这些压电层之间的公共电极246。压电双晶片241和242的每个压电层245和247被外电极(未示出)覆盖。包括在缩放眼20中的控制器(例如控制器70)被配置为使电极通电以使每个压电双晶片241和242选择性地在垂直于压电双晶片的平面的每个相反方向上弯曲通过想要的弯曲角度。压电双晶片241和242的弯曲方向分别由卷曲箭头251和252指示。控制器70控制双压电晶片241和242的弯曲方向和弯曲角度的幅度以将Z-FOV相机45指向想要的方向。
图5示意性地示出了可以将Z-FOV相机45安装到其上的压电摩擦耦合万向节260。万向节260可选地包括基板262，作为示例，该基板可以是印刷电路板(PCB)，该印刷电路板包括两个正交的，可选地等同的臂270和280，每个臂在其中形成有可选的“复合”槽290。每个臂270和280中的复合槽可以包括沿着臂的长度延伸的纵向槽291和横跨臂的宽度延伸的横向槽292，在复合槽290的任一侧上留下相对窄的颈部263，该颈部担当所述臂在该处可相对容易弯曲的铰链。包括矩形压电晶体301和摩擦块302(臂280中未示出)的振动压电马达300被安装在每个臂270和280的纵向槽290中，使得摩擦块被弹性地按压到形成在基板上的摩擦表面304。控制器，例如包括在缩放眼20中的控制器70控制每个臂270和280中的压电马达300的振动运动，并由此控制臂的摩擦块302的振动运动，以使臂的摩擦表面304选择性地在垂直于臂的平面的相反方向弯曲中的任一方向上位移并使臂在臂的“铰链”263处在相应的相反方向上弯曲。双箭头271和281指示压电马达300可被控制以分别时臂270和280的摩擦表面304位移的方向。弯曲箭头272和282分别指示臂270和280的弯曲方向，它们对应于双箭头271和281所指示的位移。控制器70控制压电马达300以控制臂270和280的弯曲方向和幅度以将Z-FOV相机45指向想要的方向。
要注意的是，在以上描述中，使用包括注视***相机的光学注视***来确定用户23的眼睛的注视矢量，所述注视***相机获取用户的眼睛的图像。然而，本公开的实施例的实践不限于光学注视***。用于缩放眼的注视***可以包括响应于眼睛生成的磁偶极子场或者响应于由控制眼睛移动的肌肉生成的电信号来确定注视方向的注视***。
还要注意，虽然在以上描述中，缩放眼包括头戴式Z-FOV相机，根据一实施例的缩放眼可以包括被安装在衣服物品上的Z-FOV相机，例如背心或衣领。并且尽管在上述描述中缩放眼被示出为具有单个Z-FOV相机，根据一实施例的缩放眼可具有多个Z-FOV相机。
因此，根据本公开的一实施例提供了用于获取用户的环境的图像的装置，该装置包括：具有光轴和窄角视野(FOV)的至少一个可穿戴相机，其被配置为获取场景的一部分的缩放图像；所述相机被安装于其上的万向节；可穿戴注视***，其可操作以确定所述用户的至少一只眼睛的注视矢量并且使用所述注视矢量来确定所述用户在所述环境中的关注点(POR)；以及控制器，其被配置为控制所述万向节以使所述相机的光轴指向所述POR并且操作所述相机以获取所述POR的缩放图像。可选地，所述可穿戴注视***包括至少一个头戴式注视***相机，所述至少一个头戴式注视***相机被配置为获取所述用户的所述至少一只眼睛的图像。
所述控制器可被配置为：接收由所述至少一个头戴式注视***相机获取的所述至少一只眼睛中的每一只眼睛的图像；标识所述图像中所述眼睛的至少一个特征；以及使用所述至少一个特征的图像来确定所述眼睛的所述注视矢量。可选地，所述至少一个特征包括瞳孔、虹膜、角膜缘、巩膜和/或浦肯野反射中的至少一个或一个以上的任何组合。附加地或替代地，所述至少一只眼睛包括所述用户的两只眼睛，并且所述控制器确定每只眼睛的注视矢量。可选地，所述控制器将所述POR确定为所述眼睛的所述注视矢量指向的方向的交点或最接近路径区域。
在本公开的一实施例中，所述至少一个头戴式注视***相机包括获取所述至少一只眼睛的图像的两个注视***相机。可选地，所述两个注视***相机中的每一个注视***相机被配置为获取所述眼睛中的一只不同眼睛的图像。
在本公开的一实施例中，所述控制器被配置为响应于所述用户生成的至少一个有意的用户输入来控制所述窄角FOV相机以获取所述缩放图像。可选地，所述至少一个有意的用户输入包括触觉输入、音频输入和/或光学输入中的至少一个或一个以上的任何组合。
在本公开的一实施例中，所述控制器被配置为响应于所述用户生成的至少一个无意输入来控制所述窄角FOV相机以获取所述缩放图像。可选地，所述至少一个无意输入包括血压、心率、皮肤传导性和/或肤色中的变化中的至少一个或一个以上的任何组合。
在本公开的一实施例中，所述控制器被配置为响应于确定所述用户在所述POR处的注视的停留时间大于阈值停留时间而控制所述窄角FOV相机以获取所述缩放图像。
在本公开的一实施例中，所述万向节包括第一压电双晶片和第二双晶片，所述窄角FOV相机被安装在所述第一压电双晶片上，所述第一双晶片被耦合到所述第二双晶片，以使这些双电晶片和它们各自的平面基本正交。
在本公开的一实施例中，所述万向节包括第一正交臂和第二正交臂，所述第一正交臂和所述第二正交臂包括第一压电振动器和第二压电振动器，第一压电振动器和第二压电振动器分别摩擦耦合至所述第一臂和所述第二臂且可操作以使所述第一臂绕第一轴弯曲以及使所述第二臂绕第二轴弯曲，所述第二轴与所述第一轴正交。
在本公开的一实施例中，所述至少一个窄角FOV相机的特征在于在约10°与约40°之间的视角。在本公开的一实施例中，所述装置包括至少一个可穿戴的广角FOV相机。可选地，所述至少一个可穿戴的广角FOV相机的特征在于在约50°与约85°之间的视角。附加地或替代地，所述万向节是可控制的以定向所述至少一个窄角FOV相机以使得所述广角FOV的基本上所有区域可以与所述窄角FOV的一部分重叠。
根据本公开的一实施例进一步提供了一种获取用户环境的图像的方法，包括：使用可穿戴的注视***来确定所述用户的注视矢量；响应于注视矢量来确定所述用户的POR；以及使用所述用户穿戴的窄角FOV相机来对所述POR进行成像。
在本申请的描述和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素或部分的完整列表。
在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的实施例包括不同的特征，对于本发明的所有实施例来说并不是所有的特征都是必需的。一些实施例只利用一些特征或特征的可能组合。所描述的本发明的实施例的变体以及包括在所描述的实施例中提到的特征的不同组合的本发明的实施例将被本领域的用户想到。本发明的范围仅由权利要求限定。

Claims (15)

1.一种用于获取用户的环境的图像的装置，所述装置包括：
具有光轴和窄角视野(FOV)的至少一个可穿戴相机，其被配置为获取场景的一部分的缩放图像；
所述相机被安装于其上的万向节；
可穿戴注视***，其可操作以确定所述用户的至少一只眼睛的注视矢量并且使用所述注视矢量来确定所述用户在所述环境中的关注点(POR)；以及
控制器，其被配置为控制所述万向节以使所述相机的光轴指向所述POR并且操作所述相机以获取所述POR的缩放图像。
2.根据权利要求1所述的装置，其特征在于，所述可穿戴注视***包括至少一个头戴式注视***相机，所述至少一个头戴式注视***相机被配置为获取所述用户的所述至少一只眼睛的图像。
3.根据权利要求2所述的装置，其特征在于，所述控制器被配置为：
接收由所述至少一个头戴式注视***相机获取的所述至少一只眼睛中的每一只眼睛的图像；
标识所述图像中所述眼睛的至少一个特征；以及
使用所述至少一个特征的图像来确定所述眼睛的所述注视矢量。
4.根据权利要求3所述的装置，其特征在于，所述至少一个特征包括瞳孔、虹膜、角膜缘、巩膜和/或浦肯野反射中的至少一个或一个以上的任何组合。
5.根据权利要求3或权利要求4所述的装置，其特征在于，所述至少一只眼睛包括所述用户的两只眼睛，并且所述控制器确定每只眼睛的注视矢量。
6.根据权利要求5所述的装置，其特征在于，所述控制器将所述POR确定为所述眼睛的所述注视矢量指向的方向的交点或最接近路径区域。
7.根据权利要求2-5中任一项所述的装置，其特征在于，所述至少一个头戴式注视***相机包括获取所述至少一只眼睛的图像的两个注视***相机。
8.根据权利要求7所述的装置，其特征在于，所述两个注视***相机中的每一个注视***相机被配置为获取所述眼睛中的一只不同眼睛的图像。
9.根据前述权利要求中任一项所述的装置，其特征在于，所述控制器被配置为响应于所述用户生成的至少一个有意的用户输入来控制所述窄角FOV相机以获取所述缩放图像。
10.根据权利要求9所述的装置，其特征在于，所述至少一个有意的用户输入包括触觉输入、音频输入和/或光学输入中的至少一个或一个以上的任何组合。
11.根据前述权利要求中任一项所述的装置，其特征在于，所述控制器被配置为响应于所述用户生成的至少一个无意输入来控制所述窄角FOV相机以获取所述缩放图像。
12.根据权利要求11所述的装置，其特征在于，所述至少一个无意输入包括血压、心率、皮肤传导性和/或肤色中的变化中的至少一个或一个以上的任何组合。
13.根据前述权利要求中任一项所述的装置，其特征在于，所述控制器被配置为响应于确定所述用户在所述POR处的注视的停留时间大于阈值停留时间而控制所述窄角FOV相机以获取所述缩放图像。
14.根据前述权利要求中任一项所述的装置，其特征在于，所述万向节包括第一压电双晶片和第二双晶片，所述窄角FOV相机被安装在所述第一压电双晶片上，所述第一双晶片被耦合到所述第二双晶片，以使这些双电晶片和它们各自的平面基本正交。
15.根据前述权利要求中任一项所述的装置，其特征在于，所述万向节包括第一正交臂和第二正交臂，所述第一正交臂和所述第二正交臂包括第一压电振动器和第二压电振动器，所述第一压电振动器和第二压电振动器分别摩擦耦合至所述第一臂和所述第二臂且可操作以使所述第一臂绕第一轴弯曲以及使所述第二臂绕第二轴弯曲，所述第二轴与所述第一轴正交。
CN201680049423.XA 2015-08-26 2016-07-25 可穿戴关注点缩放相机 Pending CN107920729A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/836,490 US20170064209A1 (en) 2015-08-26 2015-08-26 Wearable point of regard zoom camera
US14/836,490 2015-08-26
PCT/US2016/043801 WO2017034719A1 (en) 2015-08-26 2016-07-25 Wearable point of regard zoom camera

Publications (1)

Publication Number Publication Date
CN107920729A true CN107920729A (zh) 2018-04-17

Family

ID=56853785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049423.XA Pending CN107920729A (zh) 2015-08-26 2016-07-25 可穿戴关注点缩放相机

Country Status (4)

Country Link
US (1) US20170064209A1 (zh)
EP (1) EP3340854A1 (zh)
CN (1) CN107920729A (zh)
WO (1) WO2017034719A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238700A (zh) * 2021-06-03 2021-08-10 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10178341B2 (en) * 2016-03-01 2019-01-08 DISH Technologies L.L.C. Network-based event recording
US10917626B2 (en) * 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
US10430958B2 (en) 2017-07-11 2019-10-01 Microsoft Technology Licensing, Llc Active illumination 3D zonal imaging system
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
CN108038884B (zh) * 2017-11-01 2020-12-11 北京七鑫易维信息技术有限公司 校准方法、装置、存储介质和处理器
CN107977076B (zh) * 2017-11-17 2018-11-27 国网山东省电力公司泰安供电公司 一种可穿戴虚拟现实设备
US10795446B2 (en) * 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
CN113227940A (zh) 2018-11-09 2021-08-06 贝克曼库尔特有限公司 具有选择性数据提供的服务眼镜
EP3956858A1 (en) 2019-04-18 2022-02-23 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
JP6844055B1 (ja) * 2020-05-29 2021-03-17 丸善インテック株式会社 監視カメラ
US20230119935A1 (en) * 2021-10-18 2023-04-20 Meta Platforms Technologies, Llc Gaze-guided image capture

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097738A2 (en) * 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US20090052037A1 (en) * 2007-08-24 2009-02-26 Mats Goran Henry Wernersson Optical device stabilizer
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
US20130063550A1 (en) * 2006-02-15 2013-03-14 Kenneth Ira Ritchey Human environment life logging assistant virtual esemplastic network system and method
WO2013066334A1 (en) * 2011-11-03 2013-05-10 Intel Corporation Eye gaze based image capture
US20130222638A1 (en) * 2012-02-29 2013-08-29 Google Inc. Image Capture Based on Gaze Detection
US20140266988A1 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5376780B2 (ja) * 2007-08-08 2013-12-25 株式会社東芝 圧電モータおよびカメラ装置
US7751135B2 (en) * 2007-12-03 2010-07-06 Nokia Corporation Piezoelectric movement of a lens
US9723992B2 (en) * 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US9746918B2 (en) * 2012-01-26 2017-08-29 Umoove Services Ltd. Eye tracking
US9510753B2 (en) * 2014-02-27 2016-12-06 Lc Technologies, Inc. Asymmetric aperture for eyetracking
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150346814A1 (en) * 2014-05-30 2015-12-03 Vaibhav Thukral Gaze tracking for one or more users

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097738A2 (en) * 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US20130063550A1 (en) * 2006-02-15 2013-03-14 Kenneth Ira Ritchey Human environment life logging assistant virtual esemplastic network system and method
US20090052037A1 (en) * 2007-08-24 2009-02-26 Mats Goran Henry Wernersson Optical device stabilizer
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
WO2013066334A1 (en) * 2011-11-03 2013-05-10 Intel Corporation Eye gaze based image capture
US20130222638A1 (en) * 2012-02-29 2013-08-29 Google Inc. Image Capture Based on Gaze Detection
US20140266988A1 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238700A (zh) * 2021-06-03 2021-08-10 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法
CN113238700B (zh) * 2021-06-03 2024-04-05 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法

Also Published As

Publication number Publication date
WO2017034719A1 (en) 2017-03-02
US20170064209A1 (en) 2017-03-02
EP3340854A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN107920729A (zh) 可穿戴关注点缩放相机
US9728010B2 (en) Virtual representations of real-world objects
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
US9838597B2 (en) Imaging device, imaging method, and program
US20140152558A1 (en) Direct hologram manipulation using imu
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
TWI581173B (zh) 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法
CN106662919A (zh) 安全可佩戴计算机接口
JP2016502120A (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US11287882B2 (en) Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
CN111630478B (zh) 高速交错双眼跟踪***
US11026762B2 (en) Medical observation device, processing method, and medical observation system
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
JP5695809B1 (ja) 表示装置、表示方法およびプログラム
US20210278671A1 (en) Head wearable device with adjustable image sensing modules and its system
WO2018225804A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
JPWO2018139156A1 (ja) 医療用観察装置、および制御方法
JP6518028B1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP2005297168A (ja) 遠隔操作ロボット
JP2012194492A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラム
CN111975765B (zh) 电子装置、机器人***和虚拟区域设定方法
JP2020162633A (ja) 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム
EP2521007A1 (en) Method for object 3D position identification based on multiple image analysis applying to gaze tracking
JP6876639B2 (ja) 表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417

WD01 Invention patent application deemed withdrawn after publication