CN103558909B - 交互投射显示方法及交互投射显示*** - Google Patents

交互投射显示方法及交互投射显示*** Download PDF

Info

Publication number
CN103558909B
CN103558909B CN201310470128.XA CN201310470128A CN103558909B CN 103558909 B CN103558909 B CN 103558909B CN 201310470128 A CN201310470128 A CN 201310470128A CN 103558909 B CN103558909 B CN 103558909B
Authority
CN
China
Prior art keywords
information
cooperative device
user
current
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310470128.XA
Other languages
English (en)
Other versions
CN103558909A (zh
Inventor
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310470128.XA priority Critical patent/CN103558909B/zh
Publication of CN103558909A publication Critical patent/CN103558909A/zh
Priority to US15/028,019 priority patent/US9870050B2/en
Priority to PCT/CN2014/088242 priority patent/WO2015051751A1/en
Application granted granted Critical
Publication of CN103558909B publication Critical patent/CN103558909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种交互投射显示方法及交互投射显示***，所述方法包括：位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；显示信息获取步骤，获取与所述协同设备对应的当前显示信息；内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。本发明的方法及***通过在一协同设备附近投射所述协同设备用于与用户交互的虚拟显示内容，使得用户与协同设备的交互更加方便。

Description

交互投射显示方法及交互投射显示***
技术领域
本发明涉及设备交互技术领域，尤其涉及一种交互投射显示方法及交互投射显示***。
背景技术
可穿戴式设备逐渐被大众所接受，例如谷歌眼镜、智能手表、智能手套、智能饰品（如智能戒指、智能手环）等，这些电子化智能设备将为人们的日常生活带来更多便利。但是，由于可穿戴式设备通常具有贴合用户、小巧轻便、能耗较低等特点，这些特点决定了多数可穿戴式设备（例如上述的智能手表、智能手套、智能饰品等）不具有强大的显示、处理和交互能力。
为了解决这个问题，往往通过将这些可穿戴式设备中的数据导出至电脑、智能手机等具有较强显示、处理能力的设备上，完成这些可穿戴式设备与用户的交互。但是这样交互时比较不便，并且有可能用户无法实时与这些可穿戴设备进行交互。
此外，由于智能眼镜直接与用户眼睛相关，通常具备强大的显示能力，因此，还可以通过智能眼镜来增强其它可穿戴式设备的显示能力。但是这样一般用户的视线要在智能眼镜的显示界面以及其它可穿戴式设备之间切换，眼睛对焦点的频繁改变，会给用户带来眩晕等不良体验。
发明内容
本发明要解决的技术问题是：提供一种交互投射显示方法及***，通过在一协同设备附近投射所述协同设备用于与用户交互的虚拟显示内容，使得用户与协同设备的交互更加方便。
为实现上述目的，第一方面，本发明提供了一种交互投射显示方法，包括：
位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；
显示信息获取步骤，获取与所述协同设备对应的当前显示信息；
内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
结合第一方面，在第二种可能的实施方式中，所述位置信息获取步骤包括：
设备位置获取步骤，获取协同设备的当前位置信息；
待显示位置确认步骤，根据所述协同设备的当前位置信息确认当前待显示位置信息。
结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述设备位置获取步骤包括：
接收协同设备的当前位置信息。
结合第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述接收协同设备的当前位置信息包括：
从所述协同设备接收所述协同设备的当前位置信息。
结合第一方面的第三种可能的实施方式，在第五种可能的实施方式中，所述接收协同设备的位置信息包括：
从外部其它设备接收所述协同设备的当前位置信息。
结合第一方面的第二种可能的实施方式，在第六种可能的实施方式中，所述设备位置获取步骤包括：
检测协同设备的当前位置信息。
结合第一方面的第六种可能的实施方式，在第七种可能的实施方式中，所述检测协同设备的当前位置信息包括：
检测用户当前的注视点位置；
根据所述注视点位置确定所述协同设备的当前位置信息。
结合第一方面的第七种可能的实施方式，在第八种可能的实施方式中，所述检测用户当前的注视点位置包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
结合第一方面的第八种可能的实施方式，在第九种可能的实施方式中，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
结合第一方面的第八或第九种可能的实施方式，在第十种可能的实施方式中，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
结合第一方面的第八、第九或第十种可能的实施方式，在第十一种可能的实施方式中，所述方法还包括：向眼底投射光斑图案。
结合第一方面的第六种可能的实施方式，在第十二种可能的实施方式中，所述检测协同设备的当前位置信息包括：
检测用户的交互信息；
根据所述用户的交互信息确定所述协同设备的当前位置信息。
结合第一方面的第二种可能的实施方式，在第十三种可能的实施方式中，所述设备位置获取步骤包括：
获取本地存储的协同设备的位置相关信息。
结合第一方面的第二至第十三种可能的实施方式中的任一种，在第十四种可能的实施方式中，所述待显示位置确认步骤包括：
根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
结合第一方面，在第十五种可能的实施方式中，所述位置信息获取步骤包括：
通过与用户的交互获取所述当前待显示位置信息。
结合第一方面、第一方面的第二至第十五种可能的实施方式中的任一种，在第十六种可能的实施方式中，所述显示信息获取步骤包括：
从所述协同设备获取当前与所述协同设备对应的显示信息。
结合第一方面、第一方面的第二至第十五种可能的实施方式中的任一种，在第十七种可能的实施方式中，所述显示信息获取步骤包括：
从其他外部设备获取当前与所述协同设备对应的显示信息。
结合第一方面、第一方面的第二至第十七种可能的实施方式中的任一种，在第十八种可能的实施方式中，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
结合第一方面的第十八种可能的实施方式，在第十九种可能的实施方式中，所述虚拟显示内容包括与当前待显示位置对应的透视信息。
结合第一方面的第十八或第十九种可能的实现方式，在第二十种可能的实施方式中，所述内容生成步骤生成分别与用户的两只眼睛对应的虚拟显示内容。
结合第一方面、第一方面的第二至第二十种可能的实施方式中的任一种，在第二十一种可能的实施方式中，所述投射步骤包括：
向眼底投射所述虚拟显示内容；
根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
结合第一方面的第二十一种可能的实施方式，在第二十二种可能的实施方式中，所述根据所述当前待显示位置生成投射位置与眼底之间光路的投射成像参数的步骤包括：
调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
结合第一方面的第二十一或二十二种可能的实施方式，在第二十三种可能的实施方式中，所述投射步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
结合第一方面的第二十三种可能的实施方式，在第二十四种可能的实施方式中，所述投射步骤包括：
对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
结合第一方面的第二十一至二十四种可能的实施方式中的任一种，在第二十五种可能的实施方式中，所述投射步骤还包括：
控制投射至眼底的虚拟显示内容的大小。
结合第一方面、第一方面的第二至二十五种可能的实施方式中的任一种，在第二十六种可能的实施方式中，所述方法还包括：
触发步骤，获取触发信号并触发所述位置获取步骤和所述显示信息获取步骤。
结合第一方面、第一方面的第二至二十六种可能的实施方式中的任一种，在第二十七种可能的实施方式中，所述协同设备为可穿戴设备。
第二方面，本发明还提供了一种交互投射显示***，包括：
位置信息获取装置，用于获取与协同设备对应的当前待显示位置信息；
显示信息获取装置，用于获取与所述协同设备对应的当前显示信息；
内容生成装置，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射装置，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
结合第二方面，在第二种可能的实施方式中，所述位置信息获取装置包括：
设备位置获取模块，用于获取所述协同设备的当前位置信息；
待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位置信息。
结合第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述设备位置获取模块包括：
通信子模块，用于接收协同设备的当前位置信息。
结合第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述通信子模块用于：
从所述协同设备接收所述协同设备的当前位置信息。
结合第二方面的第三种可能的实施方式，在第五种可能的实施方式中，所述通信子模块用于：
从外部其它设备接收所述协同设备的当前位置信息。
结合第二方面的第二种可能的实施方式，在第六种可能的实施方式中，所述设备位置获取模块包括：
检测子模块，用于检测协同设备的当前位置信息。
结合第二方面的第六种可能的实施方式，在第七种可能的实施方式中，所检测子模块包括：
注视点检测单元，用于检测用户当前的注视点位置；
设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信息。
结合第二方面的第七种可能的实施方式，在第八种可能的实施方式中，所述注视点检测单元包括：
图像采集子单元，用于采集用户眼底的图像；
可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
结合第二方面的第八种可能的实施方式，在第九种可能的实施方式中，所述可调成像子单元包括：
可调透镜器件，自身成像参数可调和/或在所述图像采集子单元与眼睛之间光路上的位置可调。
结合第二方面的第八或第九种可能的实施方式，在第十种可能的实施方式中，所述可调成像子单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集子单元。
结合第二方面的第八、第九或第十种可能的实施方式，在第十一种可能的实施方式中，所述注视点检测单元还包括：
投射子单元，用于向眼底投射光斑图案。
结合第二方面的第六种可能的实施方式，在第十二种可能的实施方式中，所述检测子模块包括：
交互检测单元，用于检测用户的交互信息；
设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信息。
结合第二方面的第二种可能的实施方式，在第十三种可能的实施方式中，所述设备位置获取模块包括：
本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
结合第二方面的第二种可能的实施方式，在第十四种可能的实施方式中，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
结合第二方面、第二方面的第二至第十四种可能的实施方式中的任一种，在第十五种可能的实施方式中，所述位置信息获取装置包括：
交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
结合第二方面、第二方面的第二至第十五种可能的实施方式中的任一种，在第十六种可能的实施方式中，所述显示信息获取装置包括：
通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
结合第二方面、第二方面的第二至第十五种可能的实施方式中的任一种，在第十七种可能的实施方式中，所述显示信息获取装置包括：
通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
结合第二方面、第二方面的第二至第十七种可能的实施方式中的任一种，在第十八种可能的实施方式中，所述内容生成装置根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
结合第二方面的第十八种可能的实施方式，在第十九种可能的实施方式中，所述内容生成装置生成包括与当前待显示位置对应的透视信息的虚拟显示内容。
结合第二方面的第十八或十九种可能的实施方式，在第二十种可能的实施方式中，所述内容生成装置生成分别与用户的两只眼睛对应的虚拟显示内容。
结合第二方面、第二方面的第二至第二十种可能的实施方式中的任一种，在第二十一种可能的实施方式中，所述投射装置包括：
投射模块，用于向眼底投射所述虚拟显示内容；
成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
结合第二方面的第二十一种可能的实施方式，在第二十二种可能的实施方式中，所述成像调节模块包括：
可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位置可调。
结合第二方面的第二十一或二十二种可能的实施方式，在第二十三种可能的实施方式中，所述成像调节模块包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
结合第二方面的第二十一、二十二或二十三种可能的实施方式，在第二十四种可能的实施方式中，所述投射装置包括：
反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
结合第二方面的第二十一至二十四种可能的实施方式中的任一种，在第二十五种可能的实施方式中，所述投射装置包括：
投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。
结合第二方面、第二方面的第二至第二十五种可能的实施方式中的任一种，在第二十六种可能的实施方式中，所述***还包括：
触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。
结合第二方面的第八种可能的实施方式，在第二十七种可能的实施方式中，所述注视点检测单元和所述投射装置的功能由同一设备实现。
结合第二方面、第二方面的第二至第二十七种可能的实施方式中的任一种，在第二十八种可能的实施方式中，所述协同设备为可穿戴设备。
结合第二方面、第二方面的第二至第二十八种可能的实施方式中的任一种，在第二十九种可能的实施方式中，所述***为用于眼部附近的可穿戴设备。
本发明实施例的方法及***通过获取协同设备（特别是显示能力较弱或者没有显示能力的可穿戴设备）对应的位置信息和显示信息，并根据该位置信息和显示信息生成对应的虚拟显示图像后投射至用户眼底，使得用户看到呈现在所述协同设备附近的虚拟显示图像，甚至可以让用户感觉所述虚拟显示图像是由所述协同设备显示的，大大方便了用户与所述协同设备之间的交互，提高用户体验；
本发明实施例的方法及装置将具有不同功能的设备协同工作，即通过眼部附近设备强大的投射显示功能来弥补协同设备显示能力的不足的缺陷，使得各设备的功能都最优发挥，提高用户体验。
附图说明
图1为本发明实施例的一种交互投射显示方法的流程示意图；
图2为本发明实施例的一种交互投射显示方法使用的光斑图案示意图；
图3为本发明实施例的一种交互投射显示方法拍摄到的具有光斑图案的眼底图像示意图；
图4为本发明实施例的一种交互投射显示***的结构示意框图；
图5a为本发明实施例的一种注视点检测装置的结构示意框图；
图5b为本发明实施例的另一种注视点检测装置的结构示意框图；
图5c为本发明实施例的一种注视点检测装置眼睛成像的光路示意图；
图5d为本发明实施例的一种注视点检测装置根据***已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；
图6为本发明实施例的一种交互投射显示***应用在眼镜上的示意图；
图7为本发明实施例的另一种交互投射显示***应用在眼镜上的示意图；
图8为本发明实施例的又一种交互投射显示***应用在眼镜上的示意图；
图9为本发明实施例的一种交互投射显示***的应用场景示意图；
图10为本发明实施例的另一种交互投射显示***的结构示意图。
具体实施方式
本发明的方法及装置结合附图及实施例详细说明如下。
一些可穿戴设备由于自身功能和/或方便携带的需要，体积不能太大，使得其无法实现高质量的信息显示，仅通过对这些设备自身设计的改变无法从根本上解决该问题，因此需要从外部其它设备着手来解决这个问题。因此，如图1所示，本发明实施例提供了一种交互投射显示方法，包括：
S110：位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；
S120：显示信息获取步骤，获取与所述协同设备对应的当前显示信息；
S130：内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
S140：投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
在本发明实施例的方法以及后面对应的装置实施例中，所述待显示位置信息为与待显示位置相关的信息。所述待显示位置为用户看到的虚拟显示内容所呈现的位置。
在本发明实施例的方法中，根据待显示位置向用户的眼底投射与所述协同设备对应的虚拟显示内容，使得用户看到的虚拟显示内容是成像在所述待显示位置，在用户通过所述显示在待显示位置的虚拟显示内容与所述协同设备进行交互时不用在显示设备和所述协同设备之间较大幅度地来回切换，更加符合用户的使用习惯，提用户体验。
本发明实施例的一种可能的实施方式中，所述协同设备优选地为可穿戴设备。更优选为智能手表、智能戒指、智能手环、智能项链等显示能力较弱的可穿戴设备。当然，本领域的技术人员可以知道，本发明还可以应用在其它显示能力较弱的便携设备或固定设备上；或者应用在协同设备虽然有显示能力，但是需要增强显示能力的场合。
本发明实施例的一种可能的实施方式中，所述位置信息获取步骤S110可以通过多种方式来获取当前待显示位置的对应信息，例如为下面几种中的一种：
1）获取协同设备的当前位置信息；再根据所述协同设备的当前位置信息确认当前待显示位置信息。例如，可以根据预先设置的规则或者根据当前环境实时生成的规则将所述当前待显示位置设置在与所述协同设备相关的位置，例如所述当前待显示位置设置在所述协同设备的上侧。
2）通过与用户的交互获取所述当前待显示位置的对应信息。例如，通过检测装置获取用户手部的姿势和位置，得到用户手部设置的当前待显示位置（例如用户通过手部画出一个方框，该方框对应的区域为用户需要的当前待显示位置），或者可以通过用户手动输入待显示的位置信息（例如输入待显示位置的相对于用户眼睛的距离、角度，以及待显示位置的大小等数据）。
在上述的第1）种方法中，所述获取协同设备的当前位置信息的方法有多种，例如：
a）接收协同设备的当前位置信息。
在本发明实施例的一种可能的实施方式中，可以是从所述协同设备接收所述协同设备的当前位置信息。即，所述协同设备获取并发送自身的当前位置信息，然后本方法实施例接收该位置信息。其中，所述协同设备例如可以通过位置传感器，如定位模块（如全球定位***或者室内定位）来获取自身的位置。
在本发明实施例的另一种可能的实施方式中，还可以是从外部其它设备接收所述协同设备的当前位置信息。这里，所述外部其它设备可以是其它便携或可穿戴设备，例如处理性能比较强的手机；或者所述外部其它设备还可以是远端的服务器（例如云端服务器）等设备。所述协同设备将自身的当前位置信息传送至所述外部其它设备后，再由该外部其它设备将这些信息转发，使得本发明实施例的方法间接接收到所述协同设备的当前位置信息。此外，在本发明实施例的另一种可能的实施方式中，所述外部其它设备可以自己获取所述协同设备的当前位置信息，再将该信息转发出来被本发明实施例的方法接收，例如所述外部其它设备可以是外部的定位装置。
b）检测协同设备的当前位置信息。
在本发明实施例的一种可能的实施方式中，所述检测协同设备的当前位置信息包括：
检测用户当前的注视点位置；
根据所述注视点位置确定所述协同设备的当前位置信息。
例如，在本发明实施例一种可能的实施方式中，可以通过与用户交互的方式获得用户当前正在注视所述协同设备的信息，此时在检测到用户当前的注视点位置后，所述注视点位置即为所述协同设备的当前位置信息。
在本发明实施例的另一种可能的实施方式中，可以通过对注视点位置对应的对象进行判断，并在判断到所述对象为所述协同设备时确定所述协同设备的当前位置信息。
c）检测用户的交互信息；根据所述用户的交互信息确定所述协同设备的当前位置信息。
所述用户的交互可以是用户手动输入的所述协同设备的当前位置信息；或者还可以是通过识别用户的动作、姿势等检测到用户与协同设备当前位置相关的交互信息，再根据这些交互信息确定所述***设备的当前位置信息。
d）获取本地存储的协同设备的位置相关信息。
以所述协同设备为智能手表为例，例如可以根据用户的特性，例如身材特性、使用习惯特性（佩戴在哪侧手腕、在手腕上的位置、看手表时肩部和手肘抬起、弯曲的幅度等等）等等获得用户一般在查看智能手表、需要与智能手表进行交互时所述智能手表与用户眼睛的相对位置关系（智能手表到眼睛的距离、角度等），再将该获取的数据存储在本地，使用时，直接从所述本地获取所述位置相关信息即可。
当然，本领域技术人员可以知道，其它获取所述协同设备位置的方法也可以用于本发明实施例的方法中。
其中，b）项中所述检测用户当前的注视点位置的方式有多种，例如包括以下的一种或多种：
i）采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器（如红外测距）得到眼睛注视场景的深度，得到眼睛视线的注视点位置，该技术为已有技术，本实施方式中不再赘述。
ii）分别检测两眼的光轴方向，再根据所述两眼光轴方向得到用户两眼视线方向，通过所述两眼视线方向的交点得到眼睛视线的注视点位置，该技术也为已有技术，此处不再赘述。
iii）根据采集到眼睛的成像面呈现的最清晰图像时图像采集设备与眼睛之间光路的光学参数以及眼睛的光学参数（主要为眼睛的光轴方向），得到所述眼睛视线的注视点位置，本发明实施例会在下面给出该方法的详细过程，此处不再赘述。
当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测方法外，其它可以用于检测用户眼睛注视点的方法也可以用于本发明实施例的方法中。
其中，通过第iii）种方法检测用户当前的注视点位置包括：
S111：图像采集步骤，采集用户眼底的图像；
S112：可调成像步骤，进行图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
S113：图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
通过对眼睛眼底的图像进行分析处理，得到采集到最清晰图像时眼睛的光学参数，从而计算得到视线当前的对焦点位置，为进一步基于该精确的对焦点的位置对观察者的观察行为进行检测提供基础。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像，例如下面提到的光斑图案。
在步骤S112中，可通过对眼睛与采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节，可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调节可为连续实时的。
在本发明实施例方法的一种可能的实施方式中，该光学器件可为焦距可调透镜，用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的方法的另一种可能的实施方式中，该光学器件可为：透镜组，用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。或者，所述透镜组中的一片或多片透镜为上面所述的焦距可调透镜。
除了上述两种通过光学器件自身的特性来改变***的光路参数以外，还可以通过调节光学器件在光路上的位置来改变***的光路参数。
此外，在本发明实施例的方法中，步骤S113进一步包括：
S1131.对在步骤S111中采集到的图像进行分析，找到最清晰的图像；
S1132.根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
步骤S112中的调整使得能够采集到最清晰的图像，但是需要通过步骤S113来找到该最清晰的图像，根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
在本发明实施例的方法中，步骤S113中还可包括：
S1133.向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图3所示为在有光斑图案200投射时采集到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰：可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
相应地，本发明实施的方法还可包括步骤：
S1134.根据步骤S1131分析得到的结果，控制投射光斑亮度。该分析结果例如包括步骤S111采集到的图像的特性，包括图像特征的反差以及纹理特征等。
需要说明的是，控制投射光斑亮度的一种特殊的情况为开始或停止投射，例如观察者持续注视一点时可以周期性停止投射；观察者眼底足够明亮时可以停止投射，利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外，还可以根据环境光来控制投射光斑亮度。
优选地，在本发明实施例的方法中，步骤S113还包括：
S1135.进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。具言之，将采集到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中，可以通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
在步骤S1132中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向。这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向与眼睛视线注视的方向对应。具言之，可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（Scale Invariant Feature Transform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准获得）的位置来确定眼睛光轴方向确定观察者视线方向。
在本发明实施例的方法的另一种可能的实施方式中，还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
此外，在本发明实施例的方法中，还可包括对眼睛光轴方向的校准步骤，以便更精确的进行上述眼睛光轴方向的确定。
在本发明实施例的方法中，所述已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以结合计算得到的眼睛对焦点到眼睛的距离（具体过程将结合装置部分详述），得到眼睛注视点的位置。
优选地，在本发明实施例的一种可能的实施方式中，所述待显示位置确认步骤包括：
根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
这里所述预先设定的规则例如可以为，所述待显示位置位于所述协同设备当前位置的上方、下方、左侧、右侧、四周等等；或者还可以通过传感器（例如图像采集传感器）获取协同设备周围环境信息后，根据预先设定的规则和该环境信息确定所述待显示位置信息。
在本发明实施例中，所述当前显示信息与用户对所述协同设备的操作相对应，例如，用户在所述协同设备上通过按键输入一个数字，在所述当前显示信息中则包含输入数字相对应的信息，进而在显示时，显示该数字的输入。所述步骤S120显示信息获取步骤获取与所述协同设备对应的当前显示信息的方法有多种，例如为以下的一种或多种：
1）从所述协同设备获取当前与所述协同设备对应的显示信息。
在该种方法中，所述获取的显示信息由所述协同设备发送出。
2）从其他外部设备获取当前与所述协同设备对应的显示信息。
与上面所述的外部设备相似的，在本发明实施例的可能的实施方式中，所述外部设备可以为手机、平板电脑、笔记本电脑等便携设备，或者还可以为云端服务器等设备。
在一种可能的实施方式中，在所述协同设备与本发明实施例的协同工作时，所述外部设备可以通过通信模块（包括有线通信模块和无线通信模块，优选为无线通信模块）从所述协同设备获取所述对应的显示信息，再将该显示信息发出。
在本发明实施例的另一种可能的实施方式中，所述协同设备可能仅将与操作相关的信息发送给所述外部设备，再由外部设备处理后生成所述当前显示信息，然后再向本发明实施例方法对应的设备发送。该方式例如可以优选地应用在所述协同设备的处理能力较弱时，需要由外部设备来进行信息处理生成所述显示信息的场合。
3）获取与所述协同设备当前的状态和操作相对应的信息，对这些相对应的信息进行处理后从本地获取对应当前显示信息。
与上述通过外部设备处理生成当前显示信息类似的，在本实施方式中，直接在本地生成所述当前显示信息。该方法例如优选地应用在所述协同设备的处理能力较弱、并且本发明实施例方法对应的设备处理能力较强的场合。
为了让投射步骤投射的虚拟显示内容在用户看来具有更符合其视觉感官的效果，在本发明实施例的一种可能的实施方式中，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。其在生成所述虚拟显示内容时同时还考虑待显示位置信息。例如在本发明实施例一种可能的实施方式中，所述虚拟显示内容包括与当前待显示位置对应的透视信息。所述透视信息例如可以包括深度信息、透视角度信息等等。
为了让用户看到的虚拟显示内容具有立体显示效果、更加真实，在本发明实施例的一种可能的实施方式中，可以在内容生成步骤中生成分别与用户的两只眼睛对应的虚拟显示内容。即根据立体显示的原理，分别生成与左眼对应的虚拟显示内容和与右眼对应的虚拟显示内容，使得用户看到的虚拟显示内容具有适合的立体显示效果。例如可以给用户一种感觉：所看到的虚拟显示内容是由所述协调设备显示出来的，带来更好的用户体验。
在本发明实施例的一种可能的实施方式中，所述投射步骤S140包括：
S141：向眼底投射所述虚拟显示内容；
S142：根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
本发明实施例根据所述当前待显示位置信息生成所述投射成像参数，使得用户看到的虚拟显示内容成像在所述待显示位置上，方便用户与所述协同设备之间的交互。
在本发明实施例的一种可能的实施方式中，所述步骤S142包括：
调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
这里所述成像参数包括光学器件的焦距、光轴方向等等。通过该调节，可以使得虚拟显示内容被合适地投射在用户的眼底，例如通过所述调节光学器件的焦距使得虚拟显示内容清晰地在用户的眼底成像；或者在立体显示方面，除了上面所述的在生成虚拟显示内容时直接生成带视差的左、右眼图像外，还可以与用户的两只眼睛对应的虚拟显示内容是相同的但是通过具有一定偏差地将所述虚拟显示内容分别投射至两只眼睛也可以实现立体地投射，此时例如可以调节所述光学器件的光轴参数。
由于用户观看所述虚拟显示内容时眼睛的视线方向可能会变化，需要在用户眼睛的视线方向不同时都能将所述虚拟显示内容较好的投射到用户的眼底，因此，在本发明实施例的一种可能的实施方式中，所述投射步骤S140还包括：
S143：分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
在本发明实施例的一种可能的实施方式中，可能会需要通过曲面分光镜等曲面光学器件来实现所述步骤S143的功能，但是通过曲面光学器件后所述虚拟显示内容一般会发生变形，因此，在本发明实施例的一种可能的实施方式中，所述投射步骤S140还包括：
S144：对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。例如：对投射的虚拟显示内容进行预处理，使得投射出的虚拟显示内容具有与所述变形相反的反变形，该反变形效果再经过上述的曲面光学器件后，与曲面光学器件的变形效果相抵消，从而用户眼底接收到的虚拟显示内容是需要呈现的效果。
在本发明实施例的一种可能的实施方式中，为了使得用户看到的虚拟显示内容的大小更加适合，所述投射步骤还包括：
控制投射至眼底的虚拟显示内容的大小。
在本发明实施例的一种可能的实施方式中，可以通过步骤S142对投射成像参数的调节来实现该控制，或者，在另一种可能的实施方式中，可以在投射所述虚拟显示内容之前就对要投射出的虚拟显示内容的大小进行控制。该控制可以是自动进行的，也可以是根据与用户的交互按照用户的意图进行的，例如通过用户的手势识别、或者直接通过本发明实施例方法对应设备上的按键等调节。
优选地，在本发明实施例的一种可能的实施方式中，为了节约能耗以及避免出现用户不需要的交互显示，可以通过特定的触发动作来触发与所述协同设备之间的协同交互，而没有触发时，与所述协同设备之间不进行交互，因此，所述方法还包括：
触发步骤，获取触发信号以触发与协同设备之间交互的进行。例如可以为触发所述位置获取步骤和所述显示信息获取步骤。
本发明实施例的方法通过向用户眼底投射与协同设备对应的虚拟显示内容，使得用户在协同设备附近看到所述虚拟显示内容，方便用户与协同设备之间的交互，提高了用户体验。
如图4所示，本发明实施例还提供了一种交互投射显示***300，包括：
位置信息获取装置310，用于获取与协同设备对应的当前待显示位置信息；
显示信息获取装置320，用于获取与所述协同设备对应的当前显示信息；
内容生成装置330，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射装置340，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
在本发明实施例的***根据待显示位置向用户的眼底投射与所述协同设备对应的虚拟显示内容，使得用户看到的虚拟显示内容成像在所述待显示位置，在用户通过所述显示在待显示位置的虚拟显示内容与所述协同设备进行交互时视线不用在显示设备和所述协同设备之间大幅度地来回切换，更加符合用户的使用习惯，提用户体验。
本发明实施例的一种可能的实施方式中，所述协同设备优选地为可穿戴设备。更优选为智能手表、智能戒指、智能手环、智能项链等显示能力较弱的可穿戴设备。当然，本领域的技术人员可以知道，本发明还可以应用在其它显示能力较弱的便携设备或固定设备上；或者应用在协同设备虽然有显示能力，但是需要增强显示能力的场合。
在本发明实施例的一种可能的实施方式中，所述交互投射显示***可以为用于眼部附近的可穿戴设备。其可以单独实现，也可以实现在已有的设备上：例如可以为智能眼镜（包括：框架眼镜、隐形眼镜、护目镜等）等靠近眼部附近的装置。对于本来就有屈光不正等眼睛问题，需要佩戴如屈光矫正眼镜的用户来说，本发明的***可以直接在所述屈光矫正眼镜上实现，不会给用户带来额外的负担。当然，本发明实施例的其它可能的实施方式中，所述交互投射显示***还可以实现在：例如头盔目镜等与用户的眼睛配合使用的其它光学设备。
本发明实施例的所述位置信息获取装置310的形式可以由多种，例如包括下面多种中的至少一种：
1）所述位置信息获取装置310包括：
设备位置获取模块，用于获取所述协同设备的当前位置信息；
待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位置信息。
2）所述位置信息获取装置310包括：
交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
例如，通过检测传感器获取用户手部的姿势和位置，得到用户手部设置的当前待显示位置（例如用户通过手部画出一个方框，该方框对应的区域为用户需要的当前待显示位置），或者可以通过用户手动输入待显示的位置信息（例如输入待显示位置的相对于用户眼睛的距离、角度，以及待显示位置的大小等数据）。
在上述的第1）种方法中，所述设备位置获取模块的结构有多种，例如包括以下几种中的至少一种：
a）所述设备位置获取模块包括：
通信子模块，用于接收协同设备的当前位置信息。
在本发明实施例的一种可能的实施方式中，所述通信子模块可以是从所述协同设备接收所述协同设备的当前位置信息。即，所述协同设备获取并发送自身的当前位置信息，然后本方法实施例的通信子模块接收该位置信息。其中，所述协同设备例如可以通过位置传感器，如定位模块（如全球定位***或者室内定位）来获取自身的位置。
在本发明实施例的另一种可能的实施方式中，所述通信子模块还可以是从外部其它设备接收所述协同设备的当前位置信息。这里，所述外部其它设备可以是其它便携或可穿戴设备，例如处理性能比较强的手机；或者所述外部其它设备还可以是远端的服务器（例如云端服务器）等设备。所述协同设备将自身的当前位置信息传送至所述外部其它设备后，再由该外部其它设备将这些信息转发，再由本发明实施例的通信子模块接收到所述协同设备的当前位置信息。此外，在本发明实施例的另一种可能的实施方式中，所述外部其它设备可以自己获取所述协同设备的当前位置信息，再将该信息转发出来被本发明实施例的通信子模块接收，例如所述外部其它设备可以是外部的定位装置。
b）所述设备位置获取模块包括：
检测子模块，用于检测协同设备的当前位置信息。
优选地，在本发明实施例的一种可能的实施方式中，所检测子模块包括：
注视点检测单元，用于检测用户当前的注视点位置；
设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信息。
例如，在本发明实施例一种可能的实施方式中，本发明的***可以通过与用户交互的方式获得用户当前正在注视所述协同设备的信息，此时在检测到用户当前的注视点位置后，所述注视点位置即为所述协同设备的当前位置信息。
在本发明实施例的另一种可能的实施方式中，本发明的***可以通过对注视点位置对应的对象进行判断，并在判断到所述对象为所述协同设备时确定所述协同设备的当前位置信息。
在本发明实施例的另一种可能的实施方式中，所述检测子模块包括：
交互检测单元，用于检测用户的交互信息；
设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信息。
所述交互检测单元例如可以是输入信号检测器件，所述用户的交互可以是用户手动输入的所述协同设备的当前位置信息；所述设备位置确定单元例如可以是输入信号分析器件，用于根据所述输入获得所述协同设备的当前位置信息。
所述交互检测单元例如还可以为图像采集装置，例如摄像头，所述设备位置确定单元例如可以为图像处理装置，用于对所述图像采集装置采集到的图像进行分析确定所述协同设备当前位置信息。本发明实施例可以是通过识别用户的动作、姿势等检测到用户与协同设备当前位置相关的交互信息，再根据这些交互信息确定所述***设备的当前位置信息。
c）所述设备位置获取模块包括：
本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
以所述协同设备为智能手表为例，例如可以根据用户的特性，例如身材特性、使用习惯特性（佩戴在哪侧手腕、在手腕上的位置、看手表时肩部和手肘抬起、弯曲的幅度等等）等等获得用户一般在查看智能手表、需要与智能手表进行交互时所述智能手表与用户眼睛的相对位置关系（智能手表到眼睛的距离、角度等），再将该获取的数据存储在本地，使用时，直接从所述本地获取所述位置相关信息即可。
当然，本领域技术人员可以知道，其它可以获取所述协同设备位置的装置也可以用于本发明实施例的方法中。
其中，b）项中注视点检测单元对于观察者视线对焦点位置的检测方式可以为图1所示的方法实施例中所提到的i）至iii）中的任一种或多种。其中，在本发明实施例的***中采用检测精度较高的iii）方式，相应地，所述注视点检测单元可以为下面图5a-图5d、图6、图7所示的注视点检测装置中的任一种。
当然，本领域的技术人员可以知道，除了上述几种形式的注视点检测单元外，其它可以用于检测用户眼睛注视点的装置也可以用于本发明实施例的***中。
优选地，在本发明实施例的一种可能的实施方式中，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。这里所述预先设定的规则例如可以为，所述待显示位置位于所述协同设备当前位置的上方、下方、左侧、右侧、四周等等；或者还可以通过传感器（例如图像采集传感器）获取协同设备周围环境信息后，根据预先设定的规则和该环境信息确定所述待显示位置信息。
在本发明实施例中，所述当前显示信息与用户对所述协同设备的操作相对应，例如，用户在所述协同设备上通过按键输入一个数字，在所述当前显示信息中则包含输入数字相对应的信息，进而在显示时，显示该数字的输入。所述显示信息获取装置320的形式有多种，例如为以下的一种或多种：
1）所述显示信息获取装置320包括：
通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
2）所述显示信息获取装置320包括：
通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
3）所述显示信息获取装置320包括：
通信模块，用于获取与所述协同设备当前的状态和操作相对应的信息；
处理模块，用于对这些相对应的信息进行处理后从本地获取对应当前显示信息。
该三种显示信息获取装置320的具体实现方式参见方法实施例步骤S120中对应的描述，此处不再赘述。此外，上面三种实现方式中的通信模块与位置信息获取装置310中记载的通信子模块的功能可以由同一设备实现。
为了让投射步骤投射的虚拟显示内容在用户看来具有更符合其视觉感官的效果，在本发明实施例的一种可能的实施方式中，所述内容生成装置330根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。其在生成所述虚拟显示内容时同时还考虑待显示位置信息。例如在本发明实施例一种可能的实施方式中，所述内容生成装置330生成包括与当前待显示位置对应的透视信息的虚拟显示内容。所述透视信息例如可以包括深度信息、透视角度信息等等。
为了让用户看到的虚拟显示内容具有立体显示效果、更加真实，在本发明实施例的一种可能的实施方式中，所述内容生成装置330生成分别与用户的两只眼睛对应的虚拟显示内容。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在本发明实施例的一种可能的实施方式中，所述投射装置340包括：
投射模块，用于向眼底投射所述虚拟显示内容；
成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
在本发明实施例的一种可能的实施方式中，所述成像调节模块包括：
可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位置可调。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在本发明实施例的一种可能的实施方式中，所述成像调节模块包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在本发明实施例的一种可能的实施方式中，所述投射装置包括：
反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在本发明实施例的一种可能的实施方式中，所述投射装置包括：
投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在下面图6-图8所示的实施方式中对所述投射装置的结构也有一些记载。
在本发明实施例的一种可能的实施方式中，所述***还包括：
触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。其具体实现方法参见方法实施例中对应的描述，此处不再赘述。
在本发明实施例的一种可能的实施方式中，所述注视点检测单元包括：
图像采集子单元，用于采集用户眼底的图像；
可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
下面通过图5a-图5d、图6、图7对应的实施方式来进一步描述作为所述注视点检测单元的注视点检测装置。
如图5a所示，在本发明实施例的一种可能的实施方式中，所述注视点检测装置500包括：
图像采集设备510，用于采集眼睛眼底呈现的图像；
可调成像设备520，用于进行所述图像采集设备与眼睛之间光路的成像参数的调节以使得所述图像采集设备得到最清晰的图像；
图像处理设备530，用于对所述图像采集设备得到的图像进行分析，得到所述最清晰图像时所述图像采集设备与眼睛之间光路的成像参数以及眼睛的光学参数，并计算得到眼睛的注视点位置。
本注视点检测装置500通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点位置，为进一步实现眼睛自适应操作提供基础。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
如图5b所示，本发明实施例的一种可能的实施方式中，所述图像采集设备510为***头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜器件521，位于眼睛与所述图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜器件521，使得从眼睛到所述图像采集设备510之间的***等效焦距可调，通过可调透镜器件521的调节，使得所述图像采集设备510在可调透镜器件521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜器件521在检测过程中连续实时的调节。
优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜器件521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的另一种可能的实施方式中，所述可调透镜器件521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
除了上述两种通过调节可调透镜器件521自身的特性来改变***的光路参数以外，还可以通过调节所述可调透镜器件521在光路上的位置来改变***的光路参数。
优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得***可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小***的体积，同时尽可能不影响用户的其它视觉体验。
优选地，在本实施方式中，所述分光单元包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。
所述第一分光单元可以为分光镜、分光光波导（包括光纤）或其它适合的分光设备。
在本发明实施例的一种可能的实施方式中，所述***的图像处理设备530包括光路校准模块，用于对***的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：
图像分析模块531，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；
参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时***已知的成像参数计算眼睛的光学参数。
在本实施方式中，通过可调成像设备520使得所述图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及***已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
在本发明实施例的一种可能的实施方式中，优选地，所述***还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
这里投射的光斑可以没有特定图案仅用于照亮眼底。
在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图3所示为在有光斑图案200投射时拍摄到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
此时，为了减小其它光谱的干扰：
所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
所述图像采集设备的入射面设置有眼睛不可见光透射滤镜。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：
投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。
例如所述投射控制模块534可以根据图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析模块531将图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：
眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（Scale Invariant Feature Transform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向；
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准模块获得）的位置来确定眼睛光轴方向确定用户视线方向。
在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
在本实施方式中，所述***已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到眼睛的距离，具体为：
图5c所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5c可以得到公式(1)：
其中do和de分别为眼睛当前观察对象5010和视网膜上的实像5020到眼睛等效透镜5030的距离，fe为眼睛等效透镜5030的等效焦距，X为眼睛的视线方向（可以由所述眼睛的光轴方向得到）。
图5d所示为根据***已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5d中光斑5040通过可调透镜器件521会成一个虚像（图5d中未示出），假设该虚像距离透镜距离为x（图5d中未示出），结合公式(1)可以得到如下方程组：
其中dp为光斑5040到可调透镜器件521的光学等效距离，di为可调透镜器件521到眼睛等效透镜5030的光学等效距离，fp为可调透镜器件521的焦距值，di为所述眼睛等效透镜5030到可调透镜器件521的距离。
由(1)和(2)可以得出当前观察对象5010（眼睛注视点）到眼睛等效透镜5030的距离do如公式(3)所示：
根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点位置，为后续与眼睛相关的进一步交互提供了基础。
如图6所示为本发明实施例的一种可能的实施方式的眼睛注视点检测装置600应用在眼镜400上的实施例，其包括图5b所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧（不局限于此）集成了本实施方式的装置600，其包括：
***头610，其作用与图5b实施方式中记载的图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼镜400右外侧；
第一分光镜620，其作用与图5b实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛A注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛A的光以及反射眼睛到摄像头610的光；
焦距可调透镜630，其作用与图5b实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。
在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图5b所示的图像处理设备相同。
由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛A影响不大并且摄像头610又比较敏感的近红外光发光源。
在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到第二分光镜650的光。
可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛A的一侧设置红外反射膜实现上述特性。
由图6可以看出，由于在本实施方式中，所述眼睛注视点检测装置600位于眼镜400的镜片远离眼睛A的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛A的一部分，此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中，所述眼睛注视点检测装置600可能位于眼镜400的镜片靠近眼睛A的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点距离时，考虑镜片的影响因素。
本实施例中发光源640发出的光通过第二分光镜650的反射、焦距可调透镜630的投射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛A的瞳孔拍摄到眼底的图像。
在一种可能的实施方式中，本发明实施例的交互投射显示***的其它部分也实现在所述眼镜400上，并且，由于所述注视点检测单元和所述投射装置有可能同时包括：具有投射功能的设备（如上面所述的投射装置的投射模块，以及所述注视点检测装置的投射设备）；以及成像参数可调的成像设备（如上面所述的投射装置的成像调节模块，以及所述注视点检测装置的可调成像设备）等，因此在本发明实施例的一种可能的实施方式中，所述注视点检测装置和所述投射装置的功能由同一设备实现。
如图6所示，在本发明实施例的一种可能的实施方式中，所述发光源640除了可以用于所述注视点检测装置的照明外，还可以作为所述投射装置的投射设备的光源辅助投射所述虚拟显示内容。在一种可能的实施方式中，所述发光源640可以同时分别投射一个不可见的光用于所述注视点检测装置的照明；以及一个可见光，用于辅助投射所述虚拟显示内容；在另一种可能的实施方式中，所述发光源640还可以分时地切换投射所述不可见光与所述可见光；在又一种可能的实施方式中，所述注视点检测装置可以使用所述虚拟显示内容来完成照亮眼底的功能。
在本发明实施例的一种可能的实施方式中，所述第一分光镜620、第二分光镜650以及所述焦距可调透镜630除了可以作为所述的投射装置的成像调节模块外，还可以作为所述注视点检测装置的可调成像设备。这里，所述的焦距可调透镜630在一种可能的实施方式中，其焦距可以分区域的调节，不同的区域分别对应于所述注视点检测装置和所述投射装置，焦距也可能会不同。或者，所述焦距可调透镜630的焦距是整体调节的，但是所述注视点检测装置的***头610的感光单元（如CCD等）的前端还设置有其它光学器件，用于实现所述注视点检测装置的成像参数辅助调节。此外，在另一种可能的实施方式中，可以配置使得从所述发光源640的发光面（即虚拟显示内容投出位置）到眼睛的光程与所述眼睛到所述***头610的光程相同，则所述焦距可调透镜630调节至所述***头610接收到最清晰的眼底图像时，所述发光源640投射的虚拟显示内容正好在眼底清晰地成像。
由上述可以看出，本发明实施例交互投射显示***的眼睛注视点检测装置与投射装置的功能可以由一套设备实现，使得整个***结构简单、体积小、更加便于携带。
如图7所示为本发明实施例的另一种实施方式眼睛注视点检测装置700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括***头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光器件取代了图6实施方式中的第一分光镜。
这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛注视点检测装置适用范围更广，检测精度更高。
在本发明实施例的一种可能的实施方式中，本发明实施例的交互投射显示***的其它部分也实现在所述眼镜400上。在本实施方式中，所述注视点检测装置和所述投射装置也可以复用。与图6所示的实施例类似地，此时所述投射设备740可以同时或者分时切换地投射光斑图案以及所述虚拟显示内容；或者所述注视点检测装置将投射的虚拟显示内容作为所述光斑图案进行检测。与图6所示的实施例类似地，在本发明实施例的一种可能的实施方式中，所述第一分光镜720、第二分光镜750以及所述焦距可调透镜730除了可以作为所述的投射装置的成像调节模块外，还可以作为所述注视点检测装置的可调成像设备。
此时，所述第二分光镜750还用于分别对应眼睛光轴方向不同时瞳孔的位置，进行所述投射模块与眼底之间的光路传递。由于所述投射设备740投射的虚拟显示内容经过所述曲面的第二分光镜750之后会发生变形，因此在本实施方式中，所述投射装置包括：
反变形处理模块，用于对所述虚拟显示内容进行与所述曲面分光单元对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
如图8所示，在需要进行立体显示的情况下，所述交互投射显示***800需要分别与用户的两只眼睛对应的设置两套投射装置，包括：
与用户的左眼对应的第一投射装置；以及
与用户的右眼对应的第二投射装置。
其中，所述第二投射装置的结构与图6的实施例中记载的复合有注视点检测装置功能的结构类似，也为可以同时实现注视点检测装置功能以及投射装置功能的结构，包括与所述图6所示实施例功能相同的***头821、第二分光镜822、第二焦距可调透镜823，第一分光镜824（所述注视点检测装置的图像处理设备与所述投射装置的成像参数生成模块在图8中未示出），不同之处在于，在本实施方式中的投射设备为可以投射右眼对应的虚拟显示内容的第二投射设备825。其同时可以用于检测用户眼睛的注视点位置，并且把与右眼对应的虚拟显示内容清晰投射至右眼眼底。
所述第一投射装置的结构与所述第二投射装置820的结构类似（所述投射装置的成像参数生成模块在图8中未示出），但是其不具有***头，并且没有复合注视点检测装置的功能。如图8所示，所述第一投射装置包括：
第一投射设备811，用于将与左眼对应的虚拟显示内容向左眼眼底投射；
第一焦距可调透镜813，用于对所述第一投射设备811与眼底之间的成像参数进行调节，使得对应的虚拟显示内容可以清晰地呈现在左眼眼底并且使得用户可以看到呈现在所述待显示位置的所述虚拟显示内容；
第三分光镜812，用于在所述第一投射设备811与所述第一焦距可调透镜813之间进行光路传递；
第四分光镜814，用于在所述第一焦距可调透镜813与所述左眼眼底之间进行光路传递。
通过本发明实施例的方法，可以使得与所述协同设备对应的内容通过立体的方式呈现在所述待显示位置，给用户带来更好的视觉效果。
如图9所示，为本发明实施例一种交互投射显示***910与协同设备920通过在待显示位置呈现的虚拟显示内容930进行交互的示意图。
在图9所示的实施方式中，所述交互投射显示***910为一智能眼镜设备，所述协同设备920为智能手表设备，所述待显示位置为所述协同设备920的上方。
在所述协同设备920与本发明实施例的交互投射显示***910进行交互时，通过上面方法和***实施例记载的方法确定所述待显示位置，并且所述***910获取与所述协同设备920对应的显示信息后生成对应的虚拟显示内容投射到用户眼底，使得用户看到图9中所显示的虚拟显示内容930（图9为示意图，事实上该虚拟显示内容930只有使用本***910的用户能看到）。在本实施方式中，用户看到的虚拟显示内容930给用户的感觉是由所述协同设备920直接显示的，并且所述协同设备920可以作为输入设备与本实施例的智能眼镜进行交互，进而对所述虚拟显示内容930的显示进行改变，使得所述协同设备920与用户之间自然的交互。
图10为本发明实施例提供的又一种交互投射显示***1000的结构示意图，本发明具体实施例并不对交互投射显示***1000的具体实现做限定。如图10所示，该交互投射显示***1000可以包括：
处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030、以及通信总线1040。其中：
处理器1010、通信接口1020、以及存储器1030通过通信总线1040完成相互间的通信。
通信接口1020，用于与比如客户端等的网元通信。
处理器1010，用于执行程序1032，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1032可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1010可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1030，用于存放程序1032。存储器1030可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。程序1032具体可以包括：
位置信息获取模块，用于获取与协同设备对应的当前待显示位置信息；
显示信息获取模块，用于获取与所述协同设备对应的当前显示信息；
内容生成模块，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射模块，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
程序1032中各单元的具体实现可以参见图4至图8所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本发明实施例的***通过向用户眼底投射与协同设备对应的虚拟显示内容，使得用户在协同设备附近看到所述虚拟显示内容，方便用户与协同设备之间的交互，提高了用户体验。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (56)

1.一种交互投射显示方法，其特征在于，包括：
位置信息获取步骤，获取与协同设备对应的当前待显示位置信息；
显示信息获取步骤，获取与所述协同设备对应的当前显示信息；
内容生成步骤，根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射步骤，根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
2.如权利要求1所述的方法，其特征在于，所述位置信息获取步骤包括：
设备位置获取步骤，获取协同设备的当前位置信息；
待显示位置确认步骤，根据所述协同设备的当前位置信息确认当前待显示位置信息。
3.如权利要求2所述的方法，其特征在于，所述设备位置获取步骤包括：
接收协同设备的当前位置信息。
4.如权利要求3所述的方法，其特征在于，所述接收协同设备的当前位置信息包括：
从所述协同设备接收所述协同设备的当前位置信息。
5.如权利要求3所述的方法，其特征在于，所述接收协同设备的位置信息包括：
从外部其它设备接收所述协同设备的当前位置信息。
6.如权利要求2所述的方法，其特征在于，所述设备位置获取步骤包括：
检测协同设备的当前位置信息。
7.如权利要求6所述的方法，其特征在于，所述检测协同设备的当前位置信息包括：
检测用户当前的注视点位置；
根据所述注视点位置确定所述协同设备的当前位置信息。
8.如权利要求7所述的方法，其特征在于，所述检测用户当前的注视点位置包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
9.如权利要求8所述的方法，其特征在于，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
10.如权利要求8所述的方法，其特征在于，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
11.如权利要求8所述的方法，其特征在于，所述方法还包括：向眼底投射光斑图案。
12.如权利要求6所述的方法，其特征在于，所述检测协同设备的当前位置信息包括：
检测用户的交互信息；
根据所述用户的交互信息确定所述协同设备的当前位置信息。
13.如权利要求2所述的方法，其特征在于，所述设备位置获取步骤包括：
获取本地存储的协同设备的位置相关信息。
14.如权利要求2所述的方法，其特征在于，所述待显示位置确认步骤包括：
根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
15.如权利要求1所述的方法，其特征在于，所述位置信息获取步骤包括：
通过与用户的交互获取所述当前待显示位置信息。
16.如权利要求1所述的方法，其特征在于，所述显示信息获取步骤包括：
从所述协同设备获取当前与所述协同设备对应的显示信息。
17.如权利要求1所述的方法，其特征在于，所述显示信息获取步骤包括：
从其他外部设备获取当前与所述协同设备对应的显示信息。
18.如权利要求1所述的方法，其特征在于，所述内容生成步骤根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
19.如权利要求18所述的方法，其特征在于，所述虚拟显示内容包括与当前待显示位置对应的透视信息。
20.如权利要求18或19所述的方法，其特征在于，所述内容生成步骤生成分别与用户的两只眼睛对应的虚拟显示内容。
21.如权利要求1所述的方法，其特征在于，所述投射步骤包括：
向眼底投射所述虚拟显示内容；
根据所述当前待显示位置信息调节投射位置与眼底之间光路的投射成像参数。
22.如权利要求21所述的方法，其特征在于，所述根据所述当前待显示位置生成投射位置与眼底之间光路的投射成像参数的步骤包括：
调节所述投射位置与眼底之间光路的光学器件的成像参数和/或在光路中的位置。
23.如权利要求21所述的方法，其特征在于，所述投射步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
24.如权利要求23所述的方法，其特征在于，所述投射步骤包括：
对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
25.如权利要求21所述的方法，其特征在于，所述投射步骤还包括：
控制投射至眼底的虚拟显示内容的大小。
26.如权利要求1所述的方法，其特征在于，所述方法还包括：
触发步骤，获取触发信号并触发所述位置获取步骤和所述显示信息获取步骤。
27.如权利要求1所述的方法，其特征在于，所述协同设备为可穿戴设备。
28.一种交互投射显示***，其特征在于，包括：
位置信息获取装置，用于获取与协同设备对应的当前待显示位置信息；
显示信息获取装置，用于获取与所述协同设备对应的当前显示信息；
内容生成装置，用于根据所述显示信息生成与所述协同设备对应的当前虚拟显示内容；
投射装置，用于根据所述待显示位置信息将所述虚拟显示内容投射至用户眼底对应位置。
29.如权利要求28所述的***，其特征在于，所述位置信息获取装置包括：
设备位置获取模块，用于获取所述协同设备的当前位置信息；
待显示位置确认模块，用于根据所述协同设备的当前位置信息确认当前待显示位置信息。
30.如权利要求29所述的***，其特征在于，所述设备位置获取模块包括：
通信子模块，用于接收协同设备的当前位置信息。
31.如权利要求30所述的***，其特征在于，所述通信子模块用于：
从所述协同设备接收所述协同设备的当前位置信息。
32.如权利要求30所述的***，其特征在于，所述通信子模块用于：
从外部其它设备接收所述协同设备的当前位置信息。
33.如权利要求29所述的***，其特征在于，所述设备位置获取模块包括：
检测子模块，用于检测协同设备的当前位置信息。
34.如权利要求33所述的***，其特征在于，所检测子模块包括：
注视点检测单元，用于检测用户当前的注视点位置；
设备位置确定单元，用于根据所述注视点位置确定所述协同设备的当前位置信息。
35.如权利要求34所述的***，其特征在于，所述注视点检测单元包括：
图像采集子单元，用于采集用户眼底的图像；
可调成像子单元，用于进行图像采集子单元与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理子单元，用于对采集到的图像进行分析，得到与所述最清晰图像对应的所述图像采集子单元与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的位置。
36.如权利要求35所述的***，其特征在于，所述可调成像子单元包括：
可调透镜器件，自身成像参数可调和/或在所述图像采集子单元与眼睛之间光路上的位置可调。
37.如权利要求35所述的***，其特征在于，所述可调成像子单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集子单元。
38.如权利要求35所述的***，其特征在于，所述注视点检测单元还包括：
投射子单元，用于向眼底投射光斑图案。
39.如权利要求33所述的***，其特征在于，所述检测子模块包括：
交互检测单元，用于检测用户的交互信息；
设备位置确定单元，用于根据所述用户的交互信息确定所述协同设备的当前位置信息。
40.如权利要求29所述的***，其特征在于，所述设备位置获取模块包括：
本地获取子模块，用于获取本地存储的协同设备的位置相关信息。
41.如权利要求29所述的***，其特征在于，所述待显示位置确认模块，用于根据所述协同设备的当前位置信息以及预先设定的规则确认当前待显示位置信息。
42.如权利要求28所述的***，其特征在于，所述位置信息获取装置包括：
交互获取模块，用于通过与用户的交互获取所述当前待显示位置信息。
43.如权利要求28所述的***，其特征在于，所述显示信息获取装置包括：
通信模块，用于从所述协同设备获取当前与所述协同设备对应的显示信息。
44.如权利要求28所述的***，其特征在于，所述显示信息获取装置包括：
通信模块，用于从其他外部设备获取当前与所述协同设备对应的显示信息。
45.如权利要求28所述的***，其特征在于，所述内容生成装置根据所述待显示位置信息以及所述显示信息生成所述的虚拟显示内容。
46.如权利要求45所述的***，其特征在于，所述内容生成装置生成包括与当前待显示位置对应的透视信息的虚拟显示内容。
47.如权利要求45或46所述的***，其特征在于，所述内容生成装置生成分别与用户的两只眼睛对应的虚拟显示内容。
48.如权利要求28所述的***，其特征在于，所述投射装置包括：
投射模块，用于向眼底投射所述虚拟显示内容；
成像调节模块，根据所述当前待显示位置信息调节投射模块与眼底之间光路的投射成像参数。
49.如权利要求48所述的***，其特征在于，所述成像调节模块包括：
可调透镜器件，自身成像参数可调和/或在所述投射模块与眼底之间光路中的位置可调。
50.如权利要求48所述的***，其特征在于，所述成像调节模块包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将所述虚拟显示内容投射在眼底。
51.如权利要求50所述的***，其特征在于，所述投射装置包括：
反变形处理模块，用于对所述虚拟显示内容进行与眼睛光轴方向不同时瞳孔的位置对应的反变形处理，使得眼底接收到需要呈现的虚拟显示内容。
52.如权利要求48所述的***，其特征在于，所述投射装置包括：
投射控制模块，用于控制投射至眼底的虚拟显示内容的大小。
53.如权利要求28所述的***，其特征在于，所述***还包括：
触发装置，用于获取触发信号并触发所述位置获取装置和所述显示信息获取装置。
54.如权利要求35所述的***，其特征在于，所述注视点检测单元和所述投射装置的功能由同一设备实现。
55.如权利要求28所述的***，其特征在于，所述协同设备为可穿戴设备。
56.如权利要求28所述的***，其特征在于，所述***为用于眼部附近的可穿戴设备。
CN201310470128.XA 2013-10-10 2013-10-10 交互投射显示方法及交互投射显示*** Active CN103558909B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310470128.XA CN103558909B (zh) 2013-10-10 2013-10-10 交互投射显示方法及交互投射显示***
US15/028,019 US9870050B2 (en) 2013-10-10 2014-10-09 Interactive projection display
PCT/CN2014/088242 WO2015051751A1 (en) 2013-10-10 2014-10-09 Interactive projection display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310470128.XA CN103558909B (zh) 2013-10-10 2013-10-10 交互投射显示方法及交互投射显示***

Publications (2)

Publication Number Publication Date
CN103558909A CN103558909A (zh) 2014-02-05
CN103558909B true CN103558909B (zh) 2017-03-29

Family

ID=50013186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310470128.XA Active CN103558909B (zh) 2013-10-10 2013-10-10 交互投射显示方法及交互投射显示***

Country Status (3)

Country Link
US (1) US9870050B2 (zh)
CN (1) CN103558909B (zh)
WO (1) WO2015051751A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测***及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像***及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射***及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示***
CN104077149B (zh) * 2014-07-18 2018-02-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
CN104123003B (zh) * 2014-07-18 2017-08-01 北京智谷睿拓技术服务有限公司 内容分享方法和装置
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
JP2016036390A (ja) * 2014-08-05 2016-03-22 富士通株式会社 情報処理装置、焦点検出方法、および焦点検出プログラム
CN106020497A (zh) * 2016-07-11 2016-10-12 北京集创北方科技股份有限公司 显示设备、***及显示处理方法
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10642038B1 (en) * 2017-01-30 2020-05-05 Rockwell Collins, Inc. Waveguide based fused vision system for a helmet mounted or head worn application
CN108334810B (zh) 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
US10481403B2 (en) * 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera
CN108563334B (zh) * 2018-04-23 2021-09-03 京东方科技集团股份有限公司 一种虚拟现实头戴式显示设备、***及其定位定姿方法
CN108647001B (zh) * 2018-05-21 2022-01-25 云谷（固安）科技有限公司 一种保护视力的显示方法及装置
US11200869B1 (en) * 2019-08-30 2021-12-14 United Services Automobile Association (Usaa) Wearable display system for portable computing devices
WO2020113244A1 (en) * 2020-01-22 2020-06-04 Futurewei Technologies, Inc. Virtual image display optical architectures
EP4339873A4 (en) 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
CN114900676A (zh) * 2022-05-11 2022-08-12 浙江吉利控股集团有限公司 车窗双面显示方法、***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819334A (zh) * 2010-04-01 2010-09-01 夏翔 多功能电子眼镜
CN103150013A (zh) * 2012-12-20 2013-06-12 天津三星光电子有限公司 一种移动终端

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4264154A (en) 1979-06-05 1981-04-28 Polaroid Corporation Apparatus for automatically controlling transmission of light through a lens system
US4572616A (en) 1982-08-10 1986-02-25 Syracuse University Adaptive liquid crystal lens
JP2676870B2 (ja) 1989-01-17 1997-11-17 キヤノン株式会社 注視点検出手段を有した光学装置
JP2920940B2 (ja) 1989-06-20 1999-07-19 キヤノン株式会社 視線検出手段を有した機器
US5182585A (en) 1991-09-26 1993-01-26 The Arizona Carbon Foil Company, Inc. Eyeglasses with controllable refracting power
JPH08564A (ja) 1994-06-17 1996-01-09 Nikon Corp 眼科装置
US6072443A (en) 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
JPH09289973A (ja) 1996-04-26 1997-11-11 Canon Inc 眼底カメラ
JPH1070742A (ja) 1996-08-29 1998-03-10 Olympus Optical Co Ltd 二眼式映像表示装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
DE19704197A1 (de) 1997-02-05 1998-08-06 Zeiss Carl Jena Gmbh Anordnung zur subjektivem Refraktionsbestimmung und/oder zur Bestimmung anderer Sehfunktionen
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP3383228B2 (ja) 1998-11-09 2003-03-04 シャープ株式会社 ヘッドマウントディスプレイ装置
US6318857B1 (en) 1998-12-09 2001-11-20 Asahi Kogaku Kogyo Kabushiki Kaisha Variable power spectacles
US6619799B1 (en) 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
WO2002041769A1 (de) 2000-11-22 2002-05-30 Carl Zeiss Jena Gmbh Optische stimulation des menschlichen auges
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
CN100465995C (zh) 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及***
US7001020B2 (en) 2001-08-02 2006-02-21 Daphne Instruments, Inc. Complete autorefractor system in an ultra-compact package
CN1141602C (zh) 2001-08-14 2004-03-10 中国科学院长春光学精密机械与物理研究所 连续变焦菲涅耳微透镜阵列器件
JP4224260B2 (ja) 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
CN1653374A (zh) 2002-03-13 2005-08-10 E-视觉有限公司 具有集成组件的电－光透镜
US20080106633A1 (en) 2002-03-13 2008-05-08 Blum Ronald D Electro-optic lens with integrated components for varying refractive properties
CN100553601C (zh) 2002-07-22 2009-10-28 林超群 动态式透镜视力训练装置
IL151592A (en) 2002-09-04 2008-06-05 Josef Bekerman Variable optical power spectacles for eyesight rehabilitation and methods for lens optical power control
CN100502825C (zh) 2003-01-16 2009-06-24 堀江秀典 视力改善装置
US7298414B2 (en) 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
JP3844076B2 (ja) 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050003043A1 (en) 2003-07-03 2005-01-06 Vincent Sewalt Composition and method for reducing caking and proteinaceous products
JP4085034B2 (ja) 2003-07-17 2008-04-30 信越化学工業株式会社 化合物、高分子化合物、レジスト材料及びパターン形成方法
JP2005092175A (ja) 2003-08-08 2005-04-07 Olympus Corp 光学特性可変光学素子
JP2005058399A (ja) 2003-08-11 2005-03-10 Nikon Corp ディスプレイ装置
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
US7702225B2 (en) 2004-01-02 2010-04-20 Vision Instruments Pty Ltd Devices to facilitate alignment and focusing of a fundus camera
JP2005208092A (ja) 2004-01-20 2005-08-04 Seiko Epson Corp プロジェクタ及びそれにおけるズーム調整方法
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7535649B2 (en) 2004-03-09 2009-05-19 Tang Yin S Motionless lens systems and methods
EP1735644A4 (en) 2004-03-31 2010-01-27 Univ California FLUID ADAPTIVE GLASS
US20060016459A1 (en) 2004-05-12 2006-01-26 Mcfarlane Graham High rate etching using high pressure F2 plasma with argon dilution
US7461938B2 (en) 2004-06-30 2008-12-09 Ophthonix, Inc. Apparatus and method for determining sphere and cylinder components of subjective refraction using objective wavefront measurement
US7567241B2 (en) * 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
CA2586139C (en) 2004-11-08 2015-07-07 Optovue, Inc. Optical apparatus and method for comprehensive eye diagnosis
US7344244B2 (en) 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US7334892B2 (en) 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
US7486988B2 (en) 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
CN100595620C (zh) 2005-01-21 2010-03-24 庄臣及庄臣视力保护公司 具有可变焦距的自适应电激活透镜
US8885139B2 (en) 2005-01-21 2014-11-11 Johnson & Johnson Vision Care Adaptive electro-active lens with variable focal length
JP4744973B2 (ja) 2005-08-05 2011-08-10 株式会社トプコン 眼底カメラ
JP4719553B2 (ja) 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN2868183Y (zh) 2006-01-19 2007-02-14 杨宏军 智能视力保护器
US7766479B2 (en) 2006-03-31 2010-08-03 National University Corporation Shizuoka University View point detecting device
US7764433B2 (en) 2006-05-18 2010-07-27 The Regents Of The University Of California Method and system for correcting optical aberrations, including widefield imaging applications
JP4822331B2 (ja) 2006-06-22 2011-11-24 株式会社トプコン 眼科装置
CN100485448C (zh) 2006-06-29 2009-05-06 贾怀昌 自由曲面全反射式的目视光学棱镜
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
CN201005945Y (zh) 2007-01-15 2008-01-16 陈清祥 可调整滤光片的视线导正辅助器
EP2187841A4 (en) 2007-08-02 2016-09-21 Ocular Optics Inc MULTIFOCAL INTRAOCULAR LENS SYSTEM AND METHODS
CN101116609B (zh) 2007-08-30 2010-06-16 中国科学技术大学 扫描式自动变焦虹膜图像采集***及采集方法
CN101149254B (zh) 2007-11-12 2012-06-27 北京航空航天大学 高精度视觉检测***
WO2009101236A1 (en) 2008-02-13 2009-08-20 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
CA2718521A1 (en) 2008-03-18 2009-09-24 Pixeloptics, Inc. Advanced electro-active optic device
US20090279046A1 (en) 2008-05-12 2009-11-12 Dreher Andreas W Adjustable eye glasses with a magnetic attachment
JP4518193B2 (ja) 2008-06-10 2010-08-04 ソニー株式会社 光学装置および虚像表示装置
CN101430429A (zh) 2008-06-17 2009-05-13 沈嘉琦 一种近视矫正眼镜
JP5310266B2 (ja) 2009-05-29 2013-10-09 セイコーエプソン株式会社 プロジェクターおよびその制御方法
CN101662696B (zh) 2008-08-28 2011-01-26 联想(北京)有限公司 调节摄像***的方法和设备
US8896632B2 (en) 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
TWI367748B (en) 2008-09-30 2012-07-11 Univ Ishou Apparatus for sight healthcare
US8884735B2 (en) 2008-11-17 2014-11-11 Roger Li-Chung Vision protection method and system thereof
CN201360319Y (zh) 2008-12-17 2009-12-09 胡超 眼镜式多功能立体图像装置
CN201352278Y (zh) 2008-12-23 2009-11-25 黄玲 一种自动变焦眼镜
EP2389095B1 (en) 2009-01-26 2014-10-01 Tobii Technology AB Detection of gaze point assisted by optical reference signals
CN201464738U (zh) 2009-04-13 2010-05-12 段亚东 多功能保健眼镜
US8100532B2 (en) 2009-07-09 2012-01-24 Nike, Inc. Eye and body movement tracking for testing and/or training
JP2011043876A (ja) * 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5388765B2 (ja) 2009-09-01 2014-01-15 キヤノン株式会社 眼底カメラ
JP5371638B2 (ja) 2009-09-01 2013-12-18 キヤノン株式会社 眼科撮影装置及びその方法
CN101782685A (zh) 2009-09-04 2010-07-21 上海交通大学 实时多角度立体视觉***
JP2011071898A (ja) 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
EP2494402B1 (en) 2009-10-30 2018-04-18 Hewlett-Packard Development Company, L.P. Stereo display systems
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN201637953U (zh) 2010-03-19 2010-11-17 熊火胜 智能变焦镜片
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
CN101819331B (zh) 2010-04-27 2012-03-07 中国计量学院 一种遥控变焦眼镜装置
CN201754203U (zh) 2010-05-06 2011-03-02 徐晗 动态视角液晶眼镜
RU2016102317A (ru) 2010-05-29 2018-11-21 Вэньюй ЦЗЯН Системы, способы и аппарат для создания и использования очков с адаптивной линзой на основе определения расстояния наблюдения и отслеживания взгляда в условиях низкого энергопотребления
CN101917638B (zh) 2010-07-07 2012-10-31 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
US8324957B2 (en) 2010-07-16 2012-12-04 Linear Technology Corporation Capacitively coupled switched current source
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8628193B2 (en) 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements
CN102487393B (zh) 2010-12-01 2015-09-23 深圳市同洲软件有限公司 数字电视接收终端与移动终端交互方法、装置和***
MX2013006096A (es) 2010-12-01 2013-07-15 Adlens Beacon Inc Lupa binocular variable que utiliza technologia de lentes rellenos de fluido.
US9161681B2 (en) 2010-12-06 2015-10-20 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN102008288B (zh) 2010-12-17 2012-02-01 中国科学院光电技术研究所 一种线扫描共焦检眼镜的***和方法
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
JP2012199621A (ja) 2011-03-18 2012-10-18 Jvc Kenwood Corp 複眼撮像装置
US20130100511A1 (en) 2011-03-25 2013-04-25 Kakuya Yamamoto Display device
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
JP2012247449A (ja) 2011-05-25 2012-12-13 Canon Inc 投射型映像表示装置
US20120307208A1 (en) 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US20130241927A1 (en) * 2011-07-03 2013-09-19 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
CN202267785U (zh) 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
JP5879826B2 (ja) 2011-08-31 2016-03-08 株式会社ニデック 眼底撮影装置
US20130072828A1 (en) 2011-09-15 2013-03-21 Jason Sweis Shutter glasses
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
CA2856075A1 (en) 2011-11-18 2013-05-23 Optovue, Inc. Fundus camera
US9442517B2 (en) 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
CN102572483B (zh) 2011-12-02 2014-08-13 深圳超多维光电子有限公司 跟踪式裸眼立体显示控制方法、装置及显示设备、***
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
CN202383380U (zh) 2011-12-31 2012-08-15 张欣 多功能眼镜
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
CN103197757A (zh) 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实***及其实现方法
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9430055B2 (en) 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US9310611B2 (en) 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN103065605B (zh) 2012-12-10 2015-12-09 惠州Tcl移动通信有限公司 一种根据视力状况调节显示效果的方法和***
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
CN103190883B (zh) 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
CN102981270A (zh) 2012-12-25 2013-03-20 中国科学院长春光学精密机械与物理研究所 一种无遮拦自适应变焦距光学***及其标定方法
CN103054695A (zh) 2013-01-09 2013-04-24 中山市目明视光视力科技有限公司 调整眼内光学焦点位置的镜片组合方法
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9507147B2 (en) * 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US20140232746A1 (en) * 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9898866B2 (en) * 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US20140282224A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
JP6326482B2 (ja) * 2013-03-15 2018-05-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 表示システムおよび方法
CN103280175A (zh) * 2013-06-17 2013-09-04 苏州旭宇升电子有限公司 一种投影装置
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
US9965897B2 (en) * 2013-07-08 2018-05-08 OPS Solutions, LLC Eyewear operational guide system and method
CN103297735A (zh) * 2013-07-16 2013-09-11 苏州旭宇升电子有限公司 一种投影装置
US9619939B2 (en) * 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819334A (zh) * 2010-04-01 2010-09-01 夏翔 多功能电子眼镜
CN103150013A (zh) * 2012-12-20 2013-06-12 天津三星光电子有限公司 一种移动终端

Also Published As

Publication number Publication date
CN103558909A (zh) 2014-02-05
WO2015051751A1 (en) 2015-04-16
US20160259406A1 (en) 2016-09-08
US9870050B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
CN103558909B (zh) 交互投射显示方法及交互投射显示***
KR101260287B1 (ko) 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
CN104306102B (zh) 针对视觉障碍患者的头戴式视觉辅助***
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US10048750B2 (en) Content projection system and content projection method
JP6195894B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
US10271722B2 (en) Imaging to facilitate object observation
CN106445167B (zh) 单眼视界自适配调整方法及装置、头戴式可视设备
US9961335B2 (en) Pickup of objects in three-dimensional display
Kinateder et al. Using an augmented reality device as a distance-based vision aid—promise and limitations
US10002293B2 (en) Image collection with increased accuracy
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
CN107787473A (zh) 自动校准穿戴式眼睛跟踪***的独特反射镜片
CN107427208A (zh) 用于通过透镜***提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
CN103605199B (zh) 成像装置及方法
CA3085733A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US11754856B2 (en) Method for designing eyeglass lens, method for manufacturing eyeglass lens, eyeglass lens, eyeglass lens ordering device, eyeglass lens order receiving device, and eyeglass lens ordering and order receiving system
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
TW201433998A (zh) 雲端體感虛擬實境配戴眼鏡系統
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
CN110333756A (zh) 用于气质美学设计咨询的全息增强现实***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant