CN106154582A - 电子装置和方法 - Google Patents

电子装置和方法 Download PDF

Info

Publication number
CN106154582A
CN106154582A CN201510188902.7A CN201510188902A CN106154582A CN 106154582 A CN106154582 A CN 106154582A CN 201510188902 A CN201510188902 A CN 201510188902A CN 106154582 A CN106154582 A CN 106154582A
Authority
CN
China
Prior art keywords
electrode
eyes
electromotive force
change
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510188902.7A
Other languages
English (en)
Other versions
CN106154582B (zh
Inventor
鹿仁岛康裕
古牧广昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN106154582A publication Critical patent/CN106154582A/zh
Application granted granted Critical
Publication of CN106154582B publication Critical patent/CN106154582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00Constructions of non-optical parts
    • G02C5/12Nose pads; Nose-engaging surfaces of bridges or rims

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Eye Examination Apparatus (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

根据一个实施例,眼部佩戴电子装置(1)包括第一鼻托(12A)、第一电极(101)、第二鼻托(12B)、第二电极(102)和第三电极(103)。第一电极(101)在第一鼻托(12A)上。第二电极(102)在第二鼻托(12B)上。第一电极(101)和第二电极(102)在第一方向上延伸的第一直线中并被用于测量在第一方向上的第一眼睛电势。第三电极(103)在第二鼻托(12B)上并在远离第一直线的位置处。第一电极(101)和第三电极(103)在不同于第一方向的第二方向上延伸的第二直线中,并被用于测量在第二方向上的第二眼睛电势。本发明提供一种电子装置和方法。

Description

电子装置和方法
相关申请的交叉引用
本申请要求提交于2014年11月6日的美国临时申请No.62/076,304的权益,通过引用将其全部内容结合在这里。
技术领域
本发明的实施例涉及电子装置和方法。
背景技术
近来,已经发开了多种可佩戴的电子设备。与身体接触的大多数可佩戴装置包括用于获取与佩戴者的移动有关的电动机数据(生物数据)的功能性。举例来说,在类似于眼镜的眼部佩戴装置当中,存在被配置成获取与眼睛注视(眼球移动)的变化有关的电动机数据的那些眼部佩戴装置。
被配置成获取注视变化数据作为电动机数据的眼部佩戴装置通常被配置成利用被设置在鼻托和鼻梁中用于测量眼睛电势的电极,来检测注视变化。然而,与用于视力矫正的常规眼镜相比,因为眼部佩戴装置需要用户利用配置有电极的鼻梁与前额接触,所以用户在佩戴它的时候会非常紧张。
发明内容
本发明的目的是提供一种电子装置和方法,其可以在用户佩戴装置的时候降低用户的紧张。
根据一个实施例,眼部佩戴电子装置包括第一鼻托、第一电极、第二鼻托、第二电极和第三电极。第一电极在第一鼻托上。第二电极在第二鼻托上。第一电极和第二电极在第一方向上延伸的第一直线中,并被用于测量在第一方向上的第一眼睛电势。第三电极在第二鼻托上并在远离第一直线的位置处。第一电极和第三电极在不同于第一方向的第二方向上延伸的第二直线中,并被用于测量在第二方向上的第二眼睛电势。
附图说明
现在将参考附图描述实现实施例的各种特征的总的结构。提供附图和相关的描述是为了说明本发明的实施例,而不是为了限制本发明的范围。
图1是显示实施例的电子装置的外观的实例的示例图。
图2是显示实施例的电子装置的***配置的示例图。
图3是用于说明实施例的电子装置中的电极之间的位置关系的实例的示例图。
图4是用于说明注视变化(眼球移动)和眼睛电势的变化之间的关系的示例图。
图5是显示当注视移动至右方时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图6是显示当注视移动至左方时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图7是显示当注视向上移动时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图8是显示当注视向下移动时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图9是显示判定应用于电子装置的注视变化的方向的逻辑的实例的示例图。
图10是显示当注视移动至右方且接着移动至左方时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图11是显示当注视移动至左方且接着移动至右方时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图12是显示当注视向上移动且接着向下移动时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图13是显示当注视向下移动且接着向上移动时通过实施例的电子装置被检测的眼睛电势的波形的实例的示例图。
图14是用于说明适用于实施例的电子装置的用于检测注视变化的程序的变形例的示例图。
图15是显示要被发出的指令和应用于实施例的电子装置的注视变化模式之间的关联的实例的示例图。
图16是用于说明要被发出的指令和适用于实施例的电子装置的注视变化模式之间的关联的变形例的示例图。
图17是显示实施例的电子装置的程序的实例的示范性流程图。
具体实施方式
以下将参考附图说明各种实施例。
图1是显示本实施例的电子装置的外观的实例的示例图。如图1中所示,电子装置可以被实现为眼部佩戴装置1。眼部佩戴装置1包括鼻梁11、鼻托12A和12B、镜圈13A和13B、铰链14A和14B、镜脚15A和15B、和镜片16A和16B。存在一些情况,在这些情况下,鼻梁11、镜圈13A和13B、铰链14A和14B、和镜脚15A和15B(以及在一些情况下的鼻托12A和12B)被统称为镜框等等。
在包围镜片16A和16B的镜圈13A和13B中的每一个镜圈的一端处,鼻托12A和12B以从两侧将用户的鼻子夹在中间以紧固眼部佩戴装置1的方式被附接。进一步,镜圈13A和13B被连接至鼻梁11。镜圈13A和13B以及镜脚15A和15B通过铰链14A和14B被连接。利用铰链14A和14B,眼部佩戴装置1的侧部可以被折叠。
眼部佩戴装置1被配置成获取注视变化的数据作为电动机数据的一项。更具体地说,测量眼睛电势,并且基于眼睛电势的变化,检测注视变化。作为用于测量眼睛电势的电极,眼部佩戴装置1包括第一电极101、第二电极102和第三电极103。在眼部佩戴装置1中,第一电极101被设置在鼻托12A的表面上,并且第二电极102和第三电极103被设置在鼻托12B的表面上。稍后将描述电极之间的位置关系。
也就是说,在眼部佩戴装置1中,用于测量眼睛电势的电极仅被设置在鼻托的表面上,这就不可避免地接触用户的(鼻子的)皮肤,并且举例来说,无需用鼻梁接触前额,并且因此可以在用户佩戴它的时候降低用户的紧张。现在将在下面描述利用被设置在鼻托12A和12B中的第一电极102、第二电极102和第三电极103来检测眼部佩戴装置的用户的注视变化的原理。应当注意,以下描述给定一个电极被设置在鼻托12A中,并且两个电极被设置在鼻托12B中,但是不用说,也可以在鼻托12A中设置两个电极,并且在鼻托12B中设置一个电极。进一步,举例来说,用于使眼部佩戴装置1接通电源或者关闭电源的开关104被设置在镜脚15B等等的侧表面上。
图2是显示眼部佩戴装置1的***配置的实例的示例图。如图2中所示,除了图1中所示的第一电极101、第二电极102、第三电极103和开关104外,眼部佩戴装置1包括处理器20和通信装置30。进一步,眼部佩戴装置1可以在镜框中容纳可更换的电池。此外,眼部佩戴装置1可以包含用于将图像投射到镜片16A和镜片16B上的投影仪。利用投影仪,图像可以以如下这样的方式被显示,即,与经由镜片16A和镜片16B观察到的现实的图像重叠,也就是说,所谓的增强现实(AR)显示可以被执行。处理器20、通信装置30、电池和投影仪中的一些或者所有可以被设置在可以从镜框中移除的扩展单元中。
处理器20包括注视变化检测器21和指令发出模块22。注视变化检测器21是通过使用第一电极101、第二电极102和第三电极103来检测眼部佩戴装置1的用户的注视变化的模块。指令发出模块22是为了,例如,基于通过注视变化检测器21的检测结果经由通信装置30被连接的外部装置而发出多种指令的模块。因此,眼部佩戴装置1可以用作外部装置的用户界面。通过指令发出模块22被发出的指令可以被指向眼部佩戴装置1自身。也就是说,举例来说,眼部佩戴装置1可以是在单机环境下操作,同时通过上述投影仪执行屏幕显示的电子装置或者可以是作为外部装置的***装置操作的电子装置。
处理器20可以通过由处理器执行被储存在存储器中的程序被实现为软件或者可以通过电子电路(包括固件)被实现为硬件。处理器20包括基于开关104的操作来使眼部佩戴装置1接通电源和关闭电源的功能。
通信装置30是执行符合例如IEEE 802.11a/b/g标准的无线通信的模块。这里,以下描述是基于眼部佩戴装置1经由通信装置30与外部装置建立无线通信的假设,但是它也可以进行与外部装置的有线连接,例如,通过使用电线。在那种情况下,可以将眼部佩戴装置1配置为经由电线接收来自外部装置的电力,从而代替例如在镜框中容纳电池。进一步,可以将处理模块20的一些或者所有的功能从眼部佩戴装置1移至外部装置,而不考虑两者间建立的连接是否是无线的或者有线的。
接下来,将参考图3描述眼部佩戴装置1中的电极之间的位置关系的实例。
如图3中所示,在眼部佩戴装置1中,首先,以第一电极101和第二电极102是横向对称的方式(图3中的a1),第一电极101被设置在鼻托12A的表面上,并且第二电极102被设置在鼻托12B的表面上。应当注意,这个横向对称配置是指在在水平方向上延伸的相同的直线中布置它们,且并不一定是指,例如,在距离鼻托12A和12B之间的中点相同距离处布置它们。其次,第三电极103以第一电极101和第三电极103是横向不对称的方式(图3中的a2)被设置在鼻托12B的表面上。这里,横向不对称配置是指在竖直方向上(第二方向)将另一个电极从在水平方向上延伸的直线移位并穿过一个电极,并且不一定是指,例如,在距离鼻托12A和12B之间的中点不同的距离处布置它们。
进一步,以下描述被给定,第三电极103位于第二电极102下方,但也可以使第三电极103位于第二电极102上方,由此第一电极101和第三电极103变为横向不对称。
参考图4,将描述注视变化(眼球移动)和眼睛电势的变化之间的关系。
在眼球中,角膜侧承受正(+)电势并且视网膜侧承受负(-)电势(图4中的[A])。因此,当注视移动至左方或者至右方时(当眼球在水平方向上旋转时),在眼球邻近处的电势梯度改变(图4中的[B]和[C])。进一步,虽然图4中未示出,当注视向上或者向下移动时(当眼球在竖直方向上旋转时),在眼球邻近处的电势梯度也改变。注视变化检测器21基于这种改变来检测眼部佩戴装置1的用户的注视变化。
更具体地说,注视变化检测器21首先利用以横向对称的方式被布置的第一电极101和第二电极102来测量眼睛电势(第一电极101和第二电极102之间的电势差)。进一步,注视变化检测器21其次利用以横向不对称的方式被布置的第一电极101和第三电极103来测量眼睛电势(第一电极101和第三电极103之间的电势差)。接着,注视变化检测器21基于它们中的改变来检测眼部佩戴装置1的用户的注视变化。
图5、图6、图7和图8显示了当注视在多个方向上移动时由注视变化检测器21测量的眼睛电势的波形。
图5显示了当眼部佩戴装置1的用户将他们的注视移至右边(鼻托12A侧)时,由注视变化检测器21检测到的眼睛电势的波形的实例。[A]显示了利用横向对称的第一电极101和第二电极102测量的眼睛电势的波形,并且波形由当第一电极101被用作参考时按时间顺序记录的第一电极101和第二电极102之间的电势差中的变化(交流分量)形成。[B]显示了利用横向不对称的第一电极101和第三电极103测量的眼睛电势的波形,并且波形由当第一电极101被用作参考时按时间顺序记录的第一电极101和第三电极103之间的电势差中的变化形成。图6、图7和图8中的[A]和[B]的波形类似于以上的那些,并且稍后将描述的图10、图11、图12和图13中的[A]和[B]的波形也同样类似于以上的那些。
如上面所述,在眼球中,角膜侧承受正电极并且视网膜侧承受负电势。因此,当注视移动至右方时,第二电极102的电势相对于第一电极101变为负。因为第一电极101和第三电极103之间在水平位置中存在差异,所以当注视移动至右方时,第三电极103的电势相对于第一电极变为负。因此,如图5中所示,[A]和[B]两个都显示偏转向负侧的电势的波形。
图6显示了当眼部佩戴装置1的用户将他们的注视移动至左边(鼻托12B侧)时由注视变化检测器21检测的眼睛电势的波形的实例。
当注视移动至左方时,第二电极102的电势相对于第一电极101变为正。进一步,第三电极103也同样相对于第一电极101变为正。因此,如图6中所示,[A]和[B]两个都显示偏转向正侧的电势的波形。
图7显示了当眼部佩戴装置1的用户将他们的注视向上移动时由注视变化检测器21检测的眼睛电势的波形的实例。
因为在竖直位置中横向对称的第一电极101和第二电极102之间不存在差异,当注视向上移动时,几乎没有任何电势的变化(图7中的[A])。另一方面,因为在竖直位置中横向不对称的第一电极101和第三电极103之间存在差异(这里,第三电极103位于下方),所以当注视向上移动时,第三电极103的电势相对于第一电极101变为负。因此,偏转向负侧的电势的波形被产生(图7中的[B])。
图8显示了当眼部佩戴装置1的用户将他们的注视向下移动时由注视变化检测器21检测的眼睛电势的波形的实例。
当注视向下移动时,横向对称的第一电极101和第二电极102中所测量的电势几乎没有任何变化,并且在竖直位置中两者间没有差异(图8中的[A])。另一方面,在横向不对称并且在竖直位置中有差异的第一电极101和第三电极103中,当注视向下移动时,第三电极103的电势相对于第一电极101变为正。因此,偏转向正侧的电势的波形被产生(图8中的[B])。
用这种方法,当眼部佩戴装置1的用户的注视水平移动时,如图5和图6中所示,在横向对称的第一电极101和第二电极102中所测量的眼睛电势和在横向不对称的第一电极101和第三电极103中所测量的眼睛电势两者都发生变化。另一方面,当注视竖直移动时,如图7和图8中所示,只有在横向不对称的第一电极101和第三电极103中所测量的眼睛电势发生变化。进一步,至于波形,注视向上移动的情况的波形的形状与注视移动至右方的情况的波形相同,并且注视向下移动的情况的波形的形状与注视移动至左方的情况的波形的形状相同。因此,当注视变化要被检测时,举例来说,注视变化检测器21应用图9中所示的判定逻辑。
为了说明同时注意横向不对称的第一电极101和第三电极103中所测量的眼睛电势,当横向不对称的第一电极101和第三电极103中所测量的眼睛电势发生变化并且如果横向对称的第一电极101和第二电极102中所测量的眼睛电势没有发生变化时,注视变化检测器21将此当作在竖直方向上的注视变化,由此检测注视变化。另一方面,当横向对称的第一电极101和第二电极102中所测量的眼睛电势也出现变化时,注视变化检测器21将此当作在水平方向上的注视变化,由此检测注视变化。
如此,注视变化检测器21可以检测眼部佩戴装置1的用户的注视的竖直和水平的变化。应当注意,它也可以将注视变化检测器21配置为通过使用时分技术在双通道之间共享单通道的模拟前端,以便获取这些通道的电势差,从而简化***、降低安装区域、降低电力消耗等等。
图5、图6、图7和图8显示了眼部佩戴装置1的用户在多个方向上做出单个注视变化的情况的眼睛电势的波形。接下来,将参考图10、图11、图12和图13描述眼部佩戴装置1的用户持续地做出例如,向右边并且然后向左边等等的注视变化的情况的眼睛电势的波形。
图10显示了当眼部佩戴装置1的用户将他们的注视移动至右边然后至左边时由注视变化检测器21检测的眼睛电势的波形的实例。
如上面所述,当注视移动至右方时,第二电极102的电势相对于第一电极101变为负,并且因为第三电极103的电势也同样相对于第一电极101变为负,[A]和[B]两个都显示了偏转向负侧的电势的波形(也参见图5)。另一方面,当注视移动至左方时,第二电极102的电势相对于第一电极101变为正,并且因为第三电极103的电势也同样相对于第一电极101变为正,[A]和[B]两个都显示了偏转向正侧的电势的波形(也参见图6)。当注视移动至右方且接着移动至左方时,如图10中所示,电势的波形更加显著地偏转向正侧,并且因此注视变化检测器21可以检测紧接在向右边的注视变化之后所做出的向左边的注视变化。
图11显示了当眼部佩戴装置1的用户将他们的注视移动至左边然后至右边时由注视变化检测器21检测的眼睛电势的波形的实例。
当注视移动至左方且接着移动至右方时,与注视移动至右方且接着移动至左方的情况相比,如图11中所示,电势的波形更加显著地偏转向负侧。如此,注视变化检测器21可以检测紧接在向左边的注视变化之后所做出的向右边的注视变化。
图12显示了当眼部佩戴装置1的用户将他们的注视向上移动然后向下移动时由注视变化检测器21检测的眼睛电势的波形的实例。
如上面所述,当注视向上移动时,第三电极103的电势相对于第一电极101变为正,并且只有[B]显示偏转向正侧的电势的波形(也参见图7)。另一方面,当注视向下移动时,第三电极103的电势相对于第一电极101变为正,并且只有[B]显示偏转向正侧的电势的波形(也参见图8)。当注视向上移动且接着向下移动时,如图12中所示,电势的波形更加显著地偏转向正侧,因此注视变化检测器21可以检测紧接在注视的向上移动之后所做出的注视的向下移动。
图13显示了当眼部佩戴装置1的用户将他们的注视向下移动接着向上移动时由注视变化检测器21检测的眼睛电势的波形的实例。
当注视向下移动且接着向上移动时,与注视向上移动且接着向下移动的情况相比,如图13中所示,电势的波形更加显著地偏转向正侧。如此,注视变化检测器21可以检测紧接在注视的向下移动之后所做出的注视的向上移动。
如此,即使当眼部佩戴装置1的用户的注视被持续地移动,注视变化检测器21也可以检测多个移动方向。
应当注意,已经描述了注视变化检测器21测量第一电极101和第二电极102之间的电势差以及第一电极101和第三电极103之间的电势差的情况。作为替代,也可以将注视变化检测器21配置为测量第一电极101和第二电极102之间的电势差以及(横向不对称的)第二电极102和第三电极103之间的电势差。
进一步,举例来说,可以在配置有第一电极101的鼻托12A中设置第四电极,以便改善注视变化检测器21的检测准确度。更具体地说,举例来说,通过将第四电极与第三电极103一起布置在水平方向上延伸的相同的直线中,(横向对称的)第三电极103和第四电极的电势差以及(横向不对称的)第二电极和第四电极之间的电势差中的一个或者两个都可以被测量。当然可以进一步添加第五电极和第六电极。通过以形成排列的方式布置电极,变得可以通过在多个位置中采样和使用这些样本的平均来降低不规则噪声。
应当注意,横向不对称的第一电极101和第三电极103中所测量的眼睛电势包括水平的电势差和竖直的电势差。基于该点,也可以将注视变化检测器21配置为例如,通过使用如下程序来代替应用图9的判定逻辑来检测注视变化。
现在,以下描述是基于注视变化检测器21通过使用时分技术在双通道之间共享单通道的模拟前端,以便获取如上面所述的这些通道的电势差的假设。在图14中,“A”表示其中横向对称的第一电极101和第二电极102之间的电势差被测量的部分,并且“B”表示其中横向不对称的第一电极101和第三电极103之间的电势差被测量的部分。如图14中所示,注视变化检测器21交替地测量两个电势差。当第二电势差,即横向不对称的第一电极101和第三电极103之间的电势差被测量时,注视变化检测器21计算第二电势差的值和第一电势差的值之间的差异,即,横向对称的第一电极101和第二电极102之间的电势差。被计算出来的值是竖直电势差。通过获取水平电势差和竖直电势差,注视变化检测器21不仅可以检测注视的竖直和水平的变化,而且可以检测倾斜方向上的注视的变化,诸如在左上或者右下方向上。
如此,眼部佩戴装置1可以只利用被设置在鼻托的表面上的电极来测量眼睛电势,该鼻托不可避免地接触用户的(鼻子的)皮肤,并且不需要用户用前额接触,例如,鼻梁,由此实现在用户佩戴它的时候降低用户的紧张。
接下来,将描述操作基于注视变化检测器21的检测结果为了例如经由通信装置30被连接的外部装置发出多种指令的指令发出模块22的原理。
当多个指令要基于通过注视变化检测器21的检测结果,即,注视的变化被发出时,眼部佩戴装置1被配置成首先在指令发出开始时将注视方向设置为正前方(视野的中心),以便使得在多个方向上,注视变化检测器21的响应与注视的变化相等。当上述投影仪被设置在其中时,可以执行AR显示以便将注视引导向前方。如此,瞳孔的位置被调整为在眼球的可移动范围的中心中。通常,在日常生活中,相比向前看,人们更有可能向下看。如果这个状态被设为开始点,在竖直注视变化的情况下,当注视向上移动时注视变化检测器21的响应较高,而当注视向下移动时注视变化检测器21的响应较低。通过将眼部佩戴装置1配置成在指令发出开始时将注视方向设置为正前方(视野的中心),可以降低注视变化检测器21的响应中的这种不均匀。
进一步,眼部佩戴装置1被配置成其次将在日常生活中不大可能会做出的注视变化模式(眼球移动模式)与指令相关联,以便避免错误的指令发出。举例来说,在不同的方向上转动眼睛的次数、将眼睛保持在一个方向上的时期等等被定义。
图15显示了要被发出的指令和注视变化模式之间的关联的实例。在图15的实例中,八个指令可以通过执行一系列的动作被发出,该一系列的动作是(a)向前看、(b)向八个竖直的、水平的和倾斜的方向中的任意一个方向上看、(c)暂停0.5秒以上、(d)在相对于前方对称的方向上看、以及(d)暂停0.5秒以上。这里,暂停0.5秒以上,举例来说,在用户在(b)中向上看的情况下,通常是指保持该状态0.5秒以上。然而,还可以包括以下这种情况,即,从用户开始向上看的时候到用户在(d)中向相对于前方对称的方向上看的时候,即,到用户向下看的时候,所经过的时间是0.5秒以上的情况(可能存在小于0.5秒的暂停或者可能没有暂停)。
我们现在考虑采用在某一方向上移动注视,并且接着在相对于前方对称的方向上移动注视的这种注视变化模式的情况。这里,如果上述投影仪被设置,那么通过例如执行这种AR显示以显示与在开始时(自注视被引导向前方的状态开始)可能做出的注视的变化的各个方向相关联的含义,即使用户不记得与各个方向相关联的含义,用户也可以发出预期的指令。
当接收到注视变化检测器21的检测结果时,指令发出模块22检查是否存在等同于检测结果的注视变化模式。如果存在一个,则指令发出模块22发出与注视变化模式相关联的指令。
应当注意,上述八个指令是指令发出模块22仅仅可以在特定情况下发出的指令的最大数目,并且不是指眼部佩戴装置1中的指令发出模块22可以发出的指令的总数。
进一步,以下描述是基于眼部佩戴装置1是在这种受限的情况下的假设,该受限的情况是例如,特定的指令已经在之前的瞬间被发出并且选择多个选项中的一个选项的操作被设为在指令的发出之后被执行。在这种受限的情况下,基于以上所述的注视变化模式,指令发出模块22并不受限制地运行。举例来说,通过将视野划分成3×3的网格,当其中用户向前看当中的单元格并且接着看八个周围单元格中的一个的注视变化被检测到时,指令发出模块22可以发出选择对应于单元格的选项的指令。
如此,眼部佩戴装置1可以提供用户界面以通过注视变化发出指令,这减少了在多个方向上对注视的变化的响应中的不均匀,并且考虑到防止错误的指令发出被配置。
图17是显示实施例的眼部佩戴装置1的程序的实例的示范性流程图。
注视变化检测器21通过使用第一电极101、第二电极102和第三电极103来测量眼部佩戴装置1的用户的眼睛电势,并且给予电势的变化来检测用户的注视的变化(方框A1)。基于通过注视变化检测器21的检测结果,指令发出模块22判定被检测的注视的变化是否与要被发出的指令相关联的注视变化模式中的任意一个相一致。当存在于检测结果相一致的注视变化模式时(方框A2中的是),指令发出模块22发出与变化模式相关联的指令(方框A3)。
如上面所述,眼部佩戴装置1能够使用户对外部装置或者对眼部佩戴装置1自身执行免提操作。
实施例的操作程序可以通过软件(程序)实现,因此类似于实施例中所产生的效果可以通过经由存储这个软件的计算机可读存储介质,将这个软件装载到普通的计算机中被容易地实现。
在此所描述的***的多个模块可以被实施为软件应用、硬件和/或软件模块、或者一个以上计算机上的组件,诸如服务器。虽然多个模块被分开图解,但是它们可以共享一些或者所有的相同的底层逻辑或代码。
虽然已经描述了某些实施例,但是这些实施例仅仅是通过举例而给出的,并不是想要限定本发明的范围。实际上,在此描述的新的实施例可以包含在各种其他形态之中;此外,在没有违背本发明的精神的情况下,可以以在此描述的实施例形式,作出在各种省略、替换和变化。所附的权利要求书以及它们的等效物是打算覆盖将落入本发明的范围以及精神的这种形态或变形。

Claims (13)

1.一种眼部佩戴的电子装置,其特征在于,包括:
第一鼻托;
在所述第一鼻托上的第一电极;
第二鼻托;
在所述第二鼻托上的第二电极,所述第一电极和所述第二电极在第一方向上延伸的第一直线中,并且被用于测量在所述第一方向上的第一眼睛电势;以及
在所述第二鼻托上并且在远离所述第一直线的位置处的第三电极,所述第一电极和所述第三电极在不同于所述第一方向的第二方向上延伸的第二直线中,并且被用于测量在所述第二方向上的第二眼睛电势。
2.如权利要求1所述的装置,其特征在于,进一步包含处理器,所述处理器被配置成基于所述第一眼睛电势的变化来检测在所述第一方向上的第一注视变化,并基于所述第二眼睛电势的变化来检测在所述第二方向上的第二注视变化。
3.如权利要求1所述的装置,其特征在于,进一步包含一个以上的电极,所述一个以上的电极包含在所述第一方向上延伸、并穿过所述第三电极的所述第二直线中的第四电极。
4.如权利要求3所述的装置,其特征在于,所述处理器被配置成通过包含所述第一电极、所述第二电极、所述第三电极和所述第四电极的多个电极的阵列,来测量分别在多个位置中的所述第一眼睛电势和所述第二眼睛电势,并通过使用它们的各个平均值来降低随机噪音。
5.如权利要求1所述的装置,其特征在于,进一步包含处理器,所述处理器被配置成当与从前方到第三方向的注视变化相对应的眼睛电势的第一变化基于所述第一眼睛电势和/或所述第二眼睛电势被检测到时,发出第一指令,并当与从所述前方到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的第二变化基于在所述第一方向上的所述第一眼睛电势和/或在所述第二方向上的第二眼睛电势被检测到时,发出不同于所述第一指令的第二指令。
6.如权利要求1所述的装置,其特征在于,进一步包含处理器,所述处理器被配置成当与从前方到第三方向的注视变化相对应的眼睛电势的变化和与从所述第三方向到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的变化基于所述第一眼睛电势和/或所述第二眼睛电势被检测到时,发出第一指令。
7.如权利要求1所述的装置,其特征在于,进一步包含处理器,所述处理器被配置成当与从前方到第三方向的注视变化相对应的眼睛电势的变化和与从第三方向到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的变化基于所述第一眼睛电势和所述第二眼睛电势被检测到时,发出第一指令,在从所述前方到所述第三方向的注视变化之后,从所述第三方向到所述第四方向的注视变化在第一时间段中被完成。
8.一种使用眼部佩戴装置的方法,其特征在于,所述方法包含:
使用在第一方向上延伸的第一直线中的第一电极和第二电极来测量所述第一方向上的第一眼睛电势,所述第一电极在第一鼻托上,所述第二电极在第二鼻托上;以及
使用在第二方向上延伸的第二直线中的所述第一电极和第三电极来测量在不同于所述第一方向的所述第二方向上的第二眼睛电势,所述第三电极在所述第二鼻托上,且在远离所述第一直线的位置处。
9.如权利要求8所述的方法,其特征在于,进一步包含:
基于所述第一眼睛电势的变化,来检测在所述第一方向上的注视变化;以及
基于所述第二眼睛电势的变化,来检测在所述第二方向上的注视变化。
10.如权利要求8所述的方法,其特征在于,进一步包含使用一个以上的电极来测量眼睛电势,所述一个以上的电极包含在所述第一方向上延伸、并穿过所述第三电极的所述第二直线中的第四电极。
11.如权利要求8所述的方法,其特征在于,进一步包含:
当与从前方到第三方向的注视变化相对应的眼睛电势的第一变化基于所述第一眼睛电势和/或所述第二眼睛电势被检测到时,发出第一指令;以及
当与从所述前方到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的第二变化基于所述第一眼睛电势和/或所述第二眼睛电势中的至少一个被检测到时,发出不同于所述第一指令的第二指令。
12.如权利要求8所述的方法,其特征在于,进一步包含当与从前方到第三方向的注视变化相对应的眼睛电势的变化和与从所述第三方向到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的变化基于所述第一眼睛电势和/或所述第二眼睛电势被检测到时,发出第一指令。
13.如权利要求8所述的方法,其特征在于,进一步包含当与从前方到第三方向的注视变化相对应的眼睛电势的变化和与从所述第三方向到不同于所述第三方向的第四方向的注视变化相对应的眼睛电势的变化基于所述第一眼睛电势和所述第二眼睛电势被检测到时,发出第一指令,在从所述前方到所述第三方向的注视变化之后,从所述第三方向到所述第四方向的注视变化在第一时间段中被完成。
CN201510188902.7A 2014-11-06 2015-04-20 电子装置和方法 Active CN106154582B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462076304P 2014-11-06 2014-11-06
US62/076,304 2014-11-06

Publications (2)

Publication Number Publication Date
CN106154582A true CN106154582A (zh) 2016-11-23
CN106154582B CN106154582B (zh) 2019-05-28

Family

ID=55912196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510188902.7A Active CN106154582B (zh) 2014-11-06 2015-04-20 电子装置和方法

Country Status (2)

Country Link
US (1) US9946340B2 (zh)
CN (1) CN106154582B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115560A (zh) * 2018-02-07 2019-08-13 株式会社晶姿 眼具套件及信号处理单元
CN111248901A (zh) * 2018-12-03 2020-06-09 睛姿控股公司 鼻托和眼部佩戴用具

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6334484B2 (ja) 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
JP6407824B2 (ja) 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
US9568746B1 (en) * 2015-11-03 2017-02-14 International Business Machines Corporation Responsive nose pad signaling mechanism
JP6426589B2 (ja) 2015-11-27 2018-11-21 株式会社東芝 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US10037080B2 (en) * 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016757A (zh) * 2008-07-11 2011-04-13 松下电器产业株式会社 使用了脑电波的设备的控制方法和脑电波接口***
JP2013215356A (ja) * 2012-04-06 2013-10-24 Panasonic Corp 眼疲労計測装置およびその方法
CN103445775A (zh) * 2012-05-29 2013-12-18 株式会社杰爱恩 眼部用品
US20140152444A1 (en) * 2012-12-05 2014-06-05 Hyundai Motor Company Apparatus for measuring driver's visual fatigue

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4811683B2 (ja) 2008-05-15 2011-11-09 株式会社アイメトリクス・ジャパン 視野検出装置
JP5490664B2 (ja) * 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
WO2012011893A1 (en) 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
JP2012247975A (ja) 2011-05-27 2012-12-13 Ikutoku Gakuen 信号生成装置、電子機器制御装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016757A (zh) * 2008-07-11 2011-04-13 松下电器产业株式会社 使用了脑电波的设备的控制方法和脑电波接口***
JP2013215356A (ja) * 2012-04-06 2013-10-24 Panasonic Corp 眼疲労計測装置およびその方法
CN103445775A (zh) * 2012-05-29 2013-12-18 株式会社杰爱恩 眼部用品
US20140152444A1 (en) * 2012-12-05 2014-06-05 Hyundai Motor Company Apparatus for measuring driver's visual fatigue

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115560A (zh) * 2018-02-07 2019-08-13 株式会社晶姿 眼具套件及信号处理单元
CN110115560B (zh) * 2018-02-07 2022-01-28 睛姿控股公司 眼具套件及信号处理单元
CN111248901A (zh) * 2018-12-03 2020-06-09 睛姿控股公司 鼻托和眼部佩戴用具

Also Published As

Publication number Publication date
US9946340B2 (en) 2018-04-17
CN106154582B (zh) 2019-05-28
US20160132107A1 (en) 2016-05-12

Similar Documents

Publication Publication Date Title
CN106154582A (zh) 电子装置和方法
US11561615B2 (en) Multimodal eye tracking
US11416073B2 (en) Apparatus and method for dynamic graphics rendering based on saccade detection
CN103376892B (zh) 一种控制显示界面显示的方法、装置及终端设备
US20130194177A1 (en) Presentation control device and presentation control method
RU2644265C2 (ru) Устройство отображения изображения и устройство для ввода информации
JP5565258B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016149660A (ja) 情報処理装置、情報処理方法、およびプログラム
CN107077822B (zh) 控制设备和控制方法
CN105334913A (zh) 一种电子设备
CN105353512A (zh) 一种图像显示方法和图像显示装置
US20160252725A1 (en) Electronic device and control method thereof
WO2020067265A1 (ja) アイウェア、及び、プログラム
Müller et al. Reducing calibration drift in mobile eye trackers by exploiting mobile phone usage
EP3327541B1 (en) Method, apparatus and wearable device for realizing display
US11176751B2 (en) Geospatial image surfacing and selection
US10289196B2 (en) Techniques for ocular control
CN106921890A (zh) 一种用于促进设备中的视频渲染的方法和装置
JP2018010329A (ja) プログラム、情報処理装置、及びアイウエア
JP5765015B2 (ja) 視線検出装置、視線検出方法および視線検出プログラム
US11222394B2 (en) Devices and headsets
Jones et al. An eyetracker study of the haptic cuing of visual attention
JPWO2016158574A1 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
JP2017111550A (ja) 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
Shimizu et al. Eye-gaze estimation accuracy and key in human vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant