CN107771310B - 头戴式显示设备及其处理方法 - Google Patents

头戴式显示设备及其处理方法 Download PDF

Info

Publication number
CN107771310B
CN107771310B CN201680037022.2A CN201680037022A CN107771310B CN 107771310 B CN107771310 B CN 107771310B CN 201680037022 A CN201680037022 A CN 201680037022A CN 107771310 B CN107771310 B CN 107771310B
Authority
CN
China
Prior art keywords
display
image
content
electronic device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680037022.2A
Other languages
English (en)
Other versions
CN107771310A (zh
Inventor
陈心
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107771310A publication Critical patent/CN107771310A/zh
Application granted granted Critical
Publication of CN107771310B publication Critical patent/CN107771310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种扩展电子设备(200)显示区域的头戴式显示设备(100)及其处理方法。电子设备(200)的显示器上显示图像的第一内容，所述图像还包括未在所述电子设备(200)的显示器上显示的第二内容，头戴式显示设备(100)通过图像传感器获取在电子设备(200)的显示器上显示的第一内容，并对所述第二内容进行投影变换，在头戴式显示设备(100)的显示器中显示所述获取的第一内容和进行所述投影变换后的第二内容。因此，当待显示图像的图像分辨率大于电子设备(200)显示器的显示分辨率时，不必对图像进行缩小或裁减，使得整个图像清晰可见。

Description

头戴式显示设备及其处理方法
技术领域
本发明涉及通信领域，尤其涉及一种扩展电子设备显示区域的头戴式显示设备(HMD)及其处理方法。
背景技术
随着科技的进步，智能手机、平板电脑、智能手表等电子设备在人类生活中扮演着越来越重要的角色。由于电子设备的显示面积通常有限，当电子设备上待显示图像的图像分辨率大于电子设备显示器的显示分辨率时，必须缩小或裁剪待显示的图像。
显示分辨率(屏幕分辨率)是指显示器所能显示的像素有多少，例如2k显示器的常用显示分辨率为2560x1440。图像分辨率是图像的水平像素数x垂直像素数，例如800万像素图像传感器所拍摄的图像分辨率为3200x2400。当图像分辨率大于显示分辨率时，为了在显示器上显示全部图像，不得不对图像进行裁剪或压缩，因此在使用上存在不便，影响用户的体验。
发明内容
针对上述技术问题，本发明的目的在于提供一种扩展电子设备显示区域的头戴式显示设备及其处理方法，当电子设备上的待显示图像尺寸大于其显示器支持的最大图像尺寸时，在头戴式显示设备中显示超出电子设备显示器的图像内容，实现扩展电子设备显示区域的效果。
第一方面提供一种方法，用于具有显示器和图像传感器的头戴式显示设备，所述方法包括：与电子设备建立连接，所述电子设备具有显示器、已定义的三维坐标系、和在所述三维坐标系中具有已知三维坐标的特征点，所述电子设备的显示器上显示图像的第一内容，所述图像的图像分辨率大于所述电子设备的显示器的显示分辨率，所述图像还包括未在所述电子设备的显示器上显示的第二内容；接收所述电子设备发送的数据，所述数据包括所述第二内容中各像素点的灰度值，根据所述特征点的三维坐标和所述灰度值对所述第二内容进行投影变换；通过所述图像传感器获取在所述电子设备的显示器上显示的第一内容；在所述头戴式显示设备的显示器中显示所述获取的第一内容和进行所述投影变换后的第二内容。通过上述方法可以扩展电子设备的显示区域。
在一个可能的设计中，在所述头戴式显示设备的显示器中显示所述第一内容和所述第二内容之前，还包括：跟踪所述特征点，计算所述图像传感器相对于所述电子设备的显示器的姿态。确保电子设备和头戴式显示设备之间发生相对移动时，也可以实现第一内容和第二内容的对齐。
在一个可能的设计中，所述图像包括文档和用于对文档进行编辑的虚拟键盘。在电子设备上可以显示供用户双手操作的虚拟键盘，提高输入速度。
在一个可能的设计中，所述图像包括静态图像或动态图像。在电子设备上播放高分辨率影片时，可以通过HMD扩展显示区域。
第二方面提供一种头戴式显示设备，该头戴式显示设备包括用于执行第一方面或第一方面的任一种可能实现方式所提供的方法的单元。
第三方面提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被头戴式显示设备执行时使所述头戴式显示设备执行第一方面或第一方面的任一种可能实现方式所提供的方法。
第四方面提供一种头戴式显示设备，所述头戴式显示设备可以包括：一个或多个处理器、存储器、显示器、总线***、收发器以及一个或多个程序，所述处理器、所述存储器、所述显示器和所述收发器通过所述总线***相连；
其中，所述一个或多个程序被存储在所述存储器中，所述一个或多个程序包括指令，所述指令当被所述头戴式显示设备执行时使所述头戴式显示设备执行第一方面或第一方面的任一种可能实现方式所提供的方法。
第五方面，本发明的实施例提供了一种头戴式显示设备上的图形用户界面，所述头戴式显示设备包括存储器、多个应用、和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据上述第一方面或第一方面的任一种可能实现方式所提供的方法显示的用户界面。
可选的，以下可能的设计可结合到本发明的上述第一方面至第五方面：
在一个可能的设计中，电子设备具有n个用于进行坐标变换的特征点，n为不小于4的整数。
在一个可能的设计中，所述图像为网页，在显示面积有限的智能手表上，用户也可以获得类似在电脑上进行网页浏览的体验。
通过上述技术方案，可以实现扩展电子设备显示区域。
附图说明
图1为本发明实施例提供的HMD和电子设备进行无线通信的示意图；
图2(a)为本发明实施例提供的HMD的结构示意图；
图2(b)为本发明实施例提供的电子设备的结构示意图；
图3为本发明实施例提供的在HMD中扩展显示区域的方法的流程图；
图4为本发明实施例提供的HMD和电子设备的交互示意图；
图5为本发明实施例提供的在HMD中显示地图的示意图；
图6为本发明实施例提供的在HMD中显示文档和虚拟键盘的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
当本发明实施例提及“第一”、“第二”等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅起区分的作用。
头戴式显示设备(HMD，Head-Mounted Display)或其他近眼显示设备可以用于向用户呈现背景场景的增强现实(AR，Augmented Reality)视图，在增强现实视图中真实对象和虚拟对象被混合在一起，增强现实视图中的真实对象可以包括与HMD进行通信的各种电子设备及电子设备上显示的内容。
头戴式显示设备利用各种协议与电子设备执行有线或无线通信，并且可利用所述各种协议来发送和接收数据。作为无线通信技术中的一些示例可以包括Wi-Fi、蓝牙(Bluetooth)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、或D2D(Device-to-Device)等。
图1示出了头戴式显示设备100(HMD100)和电子设备200进行无线通信的示意图。
图1所示的头戴式显示设备100为头戴式镜架的形状，并且包括镜腿102和鼻梁104。根据本发明公开的头戴式显示设备可以采用任何合适的形式，包括但不限于诸如图1的头戴式显示设备100之类的近眼设备，例如，头戴式显示设备还可以是单眼设备或头戴式头盔结构等。
图1所示的电子设备200采用了手机和智能手表的形式，然而本发明中提到的术语“电子设备”是可包含其它功能诸如个人数字助理(PDA)和/或便携式多媒体播放器(PMP)功能的便携式通信设备，诸如电子纸、电子书、计算机、车载显示器、平板电脑、智能手机、智能手表等。便携式电子设备的示例性实施例包括但不限于搭载
Figure GWB0000002914010000061
Windows
Figure GWB0000002914010000062
或者其它操作***的便携式电子设备。还应当理解的是，在一些实施例中，电子设备不是便携式通信设备，而是台式计算机或投影仪等。
在本发明中，HMD100和电子设备200的通信单元可建立无线连接，作为无线连接的一种方式为配对连接。在这种情况下，配对表示连接以在HMD100和电子设备200之间发送和接收数据。在执行配对的情况下，HMD100和电子设备200执行通信接入并且可双向地发送和接收数据。配对可通过蓝牙、近场通信(NFC)等来执行。在本发明中，在HMD100和电子设备200建立连接的情况下说明HMD100和电子设备200。
HMD100通过下文所述的显示器向用户的眼睛提供图像，所述图像包括由HMD100的图像传感器采集的电子设备200上显示的图像和由HMD100的处理器处理的图像。
电子设备200具有预先定义的三维坐标系，电子设备还具有在该三维坐标系中已知三维坐标的特征点。当电子设备200接收到一幅要显示的图像或者用户放大电子设备200显示器上当前显示的图像时，判断该图像的图像分辨率是否大于该电子设备200显示器的显示分辨率。如果该图像的图像分辨率小于或等于显示器的显示分辨率，则在电子设备200的显示器上正常显示该图像；如果该图像的图像分辨率大于显示器的显示分辨率，则在电子设备200的显示器上显示该图像的一部分内容，然后确定该图像超出显示器范围的部分，将包括超出部分中各像素的灰度值的数据发送给HMD100，HMD100根据电子设备200上的特征点，计算电子设备200显示器到HMD100的变换矩阵，利用变换矩阵对超出电子设备200显示器范围的部分进行投影变换。
HMD100和电子设备200建立连接后，电子设备200首先向HMD100发送参数信息，该参数信息包括电子设备200显示器的点距、显示器水平像素数量、垂直像素数量、三维坐标系的定义(包括坐标轴方向和原点所在位置)、显示器中心在三维坐标系中的坐标、特征点在三维坐标系中的坐标等。
图像中的特征点一般是指位于灰度剧烈变化的区域中且较易于与周围像素点区分开，因此易于检测的点，如图像中矩形边框的角点(Corner)。这些点通常可以用其周围一块区域中的点计算出的特征描述子(Feature Descriptor)来描述，比较常用的特征描述子如SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded UpRobust Features，快速鲁棒特征)和HoG(Histogram of Oriented Gradients，方向梯度直方图)等，特征描述子通常为一个向量。通过检测不同图像中的特征点并计算各对特征点的描述子之间的相似性(如欧式距离等)，即可确定两个特征点是否匹配，以实现特征点在不同帧图像间的跟踪。
本发明中的电子设备200在出厂时便具有n个用于进行坐标变换的特征点，n个特征点在各种光照和形变情况下均可被提取，并可以在每一帧图像中被跟踪，n为不小于4的整数。
优选的，n个特征点为电子设备200边框上的角点。
HMD100通过图像传感器(将在下文中详细描述)对电子设备200进行拍摄，在拍摄的图像中，使用特征点跟踪技术跟踪电子设备200上预置的特征点，这些预置特征点的三维坐标已知，其在拍摄的图像中的二维坐标可以通过特征点跟踪技术获得。每一特征点的三维坐标和在拍摄的图像中的二维坐标可以构成一个3D-2D坐标对，HMD100利用至少四对这样的3D-2D坐标对可以计算出具有6个自由度的变换矩阵T，变换矩阵T是电子设备200三维坐标系到HMD100三维坐标系之间的变换矩阵。变换矩阵T可以写为如式(1)所示的4x4齐次变换矩阵：
Figure GWB0000002914010000081
式(1)中R为3x3正交旋转矩阵，t为3x1平移向量。已知至少四对3D-2D坐标对和HMD100的标定矩阵K，则可通过最小化3D-2D投影误差的方法估计出变换矩阵T中的R和t。其中HMD100的标定矩阵K是HMD100出厂时已知的参数。
已知电子设备200显示器的中心的坐标为(xc，yc，zc)，电子设备200显示器的像素点距为d(mm)，电子设备200显示器的水平/垂直像素数量为(w，h)。假设电子设备200显示器三维坐标系的原点位于显示器中心，显示器所在平面为z＝0平面，则电子设备200覆盖的像素点范围由P1＝(xc-w/2，yc-h/2)T、P2＝(xc-w/2，yc+h/2)T、P3＝(xc+w/2，yc-h/2)T、P4＝(xc+w/2，yc+h/2)T为角点所构成的矩形确定，此范围之外的像素点都被认为处在电子设备200的显示器之外。其中列向量(xc-w/2，yc-h/2)T为行向量(xc-w/2，yc-h/2)的转置，列向量(xc-w/2，yc+h/2)T为行向量(xc-w/2，yc+h/2)的转置，列向量(xc+w/2，yc-h/2)T为行向量(xc+w/2，yc-h/2)的转置，列向量(xc+w/2，yc+h/2)T为行向量(xc+w/2，yc+h/2)的转置。
位于电子设备200显示器外的任一像素点P在电子设备的三维坐标系中的坐标可以表示为P＝(x-xc，y-yc，0)T*d；
式(1)中的正交旋转矩阵R可以用三个3x1的列向量表示，如式(2)所示：
R＝[r1 r2 r3] 式(2)
则位于电子设备200显示器外的任一像素点P投影到HMD100的二维图像中的点p的齐次坐标
Figure GWB0000002914010000091
可以用式(3)表示
Figure GWB0000002914010000092
至此，位于电子设备200显示器外的图像上任意一点与其在HMD100显示的二维图像上的变换矩阵H可以用式(4)表示
H＝[d*K*[r1 r2]K*t] 式(4)
式(4)即可用来进行反向插值(Backward Warping)计算，以确定超出电子设备200显示器的、需要显示在HMD100的二维图像上的每一个点的灰度值。
在进行反向插值计算时，电子设备200显示器所能显示的图像范围在头戴式设备上的投影范围由P1’＝H*P1h，P2’＝H*P2h，P3’＝H*P3h，P4’＝H*P4h四个角点所构成的四边形确定，在此四边形之内的像素不需要进行反向插值计算，其灰度值由HMD100获得的电子设备200显示器的图像决定；在此四边形之外的像素点需要进行反向插值计算。其中，P1h、P2h、P3h、P4h分别表示P1-P4的齐次坐标，P1h＝(P1T，1)T，P2h＝(P2T，1)T，P3h＝(P3T，1)T，P4h＝(P4T，1)T。
下面参考图2(a)和图2(b)来讨论头戴式显示设备100和电子设备200的更多细节。
图2(a)和图2(b)示出具有各种组件的头戴式显示设备100和电子设备200，但是应当理解的是，头戴式显示设备100和电子设备200的实现并不一定需要图示的所有组件。可以通过更多或更少的组件来实现头戴式显示设备100和电子设备200。
如图2(a)中所示，头戴式显示设备100包括第一通信单元106、第一存储器108、输入单元110、第一处理器112以及第一输出单元116等。
在下文中，将会解释上面的组件中的每一个。
第一通信单元106通常包括一个或多个组件，该组件允许在头戴式显示设备100与电子设备200之间进行无线通信，以传输命令和数据，所述数据包括在电子设备200的显示器上未显示内容中各像素点的灰度值，该组件也可以允许在头戴式显示设备100与该头戴式显示设备所位于的无线通信***或网络之间进行无线通信，该组件还允许多个头戴式显示设备100之间进行通信。例如，第一通信单元106可以包括第一无线因特网模块和第一短程通信模块中的至少一个。
第一无线因特网模块为头戴式显示设备100接入无线因特网提供支持。在此，作为一种无线因特网技术，无线局域网(WLAN)、Wi-Fi、无线宽带(WiBro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA)等可以被使用。
第一短程通信模块是用于支持短程通信的模块。短程通信技术中的一些示例可以包括蓝牙(Bluetooth)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、D2D(Device-to-Device)等。
第一通信单元106还可以包括GPS(全球定位***)模块，GPS模块从地球轨道上的多个GPS卫星(未示出)接收无线电波，并可以使用从GPS卫星到头戴式显示设备100的到达时间来计算头戴式显示设备100所处的位置。
输入单元110被配置为接收音频或者视频信号。输入单元110可以包括第一麦克风、惯性测量单元(IMU)和第一照相机。
第一麦克风可接收与用户的声控命令相对应的声音和/或在头戴式显示设备100周围生成的环境声音，并且把接收到的声音信号处理成电语音数据。第一麦克风可使用各种噪声去除算法中的任何一种来去除在接收外部声音信号的同时生成的噪声。
惯性测量单元(IMU)用于感测头戴式显示设备100的位置、方向和加速度(俯仰、滚转和偏航)，通过计算确定头戴式显示设备100与电子设备200之间的相对位置关系。惯性测量单元(IMU)包括惯性传感器，诸如三轴磁力计、三轴陀螺仪以及三轴加速度计。
第一照相机在视频捕捉模式或者图像捕捉模式下处理通过图像传感器获取的视频或者静止图画的图像数据，进而获取电子设备200上显示的内容以及电子设备200上的特征点。第一照相机可选的包括深度相机和RGB相机(也称为彩色摄像机)。
其中深度相机用于捕捉深度图像信息序列，构建背景场景和/或物理空间的三维模型。深度图像信息可以使用任何合适的技术来获得，包括但不限于飞行时间、结构化光、以及立体图像。取决于用于深度传感的技术，深度相机可能需要附加的组件(例如，在深度相机检测红外结构化光图案的情况下，需要设置红外光发射器)，尽管这些附加的组件可能不一定与深度相机处于相同位置。
其中RGB相机(也称为彩色摄像机)用于在可见光频率处捕捉图像信息序列。
根据头戴式显示设备100的配置可以提供两个或者更多个深度相机和/或RGB相机。
第一输出单元116被配置为以视觉、听觉和/或触觉方式提供输出(例如，音频信号、视频信号、报警信号、振动信号等)。第一输出单元116可以包括第一显示器和第一音频输出模块。
如在图1中所示的，第一显示器包括由透镜形成的镜片，从而使经过下述投影变换的图像可以经由透镜(例如，经由透镜上的投影、纳入透镜中的波导***，和/或任何其他合适方式)被显示。可以采用透明透镜以允许用户透过透镜进行观看。当图像经由投影方式被显示时，第一显示器还可以包括未图示的微投影仪，微投影仪作为光波导镜片的输入光源，提供显示内容的光源。第一显示器输出与头戴式显示设备100执行的功能有关的图像信号，例如由第一照相机获取的电子设备200的图像及经过投影变换的图像。
第一音频输出模块输出从第一通信单元106接收的或者存储在第一存储器108中的音频数据。另外，第一音频输出模块输出与头戴式显示设备100执行的功能有关的声音信号，例如声控命令接收音或者通知音。第一音频输出模块可包括扬声器、接收器或蜂鸣器。
第一处理器112可以控制头戴式显示设备100的整体操作，并且执行与显示、前述坐标系变换、前述反向插值计算及灰度渲染、语音交互等相关联的控制和处理。第一处理器112还可以计算头戴式显示设备100相对于电子设备200(或电子设备200的显示器)的姿态。
第一处理器112可以根据第一照相机捕捉的图像，计算HMD100相对于电子设备200的姿态，并根据计算结果，确定在第一显示器中显示的内容。
第一存储器108可以存储由第一处理器112执行的处理和控制操作的软件程序，并且可以存储输入或输出的数据，例如接收到的电子设备200的参数信息等。而且，第一存储器108还可以存储与上述第一输出单元116的输出信号有关的数据。
如图2(b)中所示，电子设备200包括第二通信单元202、A/V输入单元204、用户输入单元206、第二存储器208、第二输出单元210以及第二处理器212等。
第二通信单元202通常包括一个或多个组件，该组件允许在电子设备200与头戴式显示设备100之间进行无线通信，该组件也可以允许电子设备200与该电子设备所位于的无线通信***或网络之间进行无线通信，该组件还允许多个电子设备200之间进行无线通信。例如，第二通信单元110可以包括广播接收模块、移动通信模块、第二无线因特网模块、第二短程通信模块或者位置定位模块中的至少一个。其中的第二无线因特网模块和第二短程通信模块分别具有与第一无线因特网模块和第一短程通信模块类似的结构。
广播接收模块通过广播信道从外部广播管理服务器接收广播信号和/或广播相关的信息。广播信道包括卫星信道和/或陆地信道。广播管理服务器是用于生成和传送广播信号和/或广播相关的信息的服务器，或者用于接收所生成的广播信号和/或广播相关的信息并且将所生成的广播信号和/或广播相关的信息传送到该电子设备的服务器。广播信号可以包括TV广播信号、无线电广播信号或者数据广播信号，并且可以进一步包括通过将数据广播信号组合到TV广播信号或者无线电广播信号中获得的广播信号。
移动通信模块在移动通信网络上传送和接收去往或来自至少基站、外部终端或者服务器的无线电信号。这样的无线电信号可以包括语音呼叫信号、视频呼叫信号或者与文本/多媒体消息传输和接收相对应的各种类型的数据信号。
位置定位模块是用于识别或者以其他方式获得电子设备200的位置的模块。位置定位模块可以使用全球导航卫星***(GNSS)来获得位置信息。在这里，GNSS指的是无线电导航卫星***，其环绕地球运动并且传送基准信号，使得可以确定或者粗略估计在地球的表面上无线电导航接收机的某些类型的位置。GNSS包括由美国管理的全球定位***(GPS)、由欧洲管理的Galileo、由俄罗斯管理的全球轨道导航卫星***(GLONASS)、由中国管理的COMPASS以及由日本管理的quasi-zenith卫星***(QZSS)。
A/V输入单元204被配置为接收音频或者视频信号。A/V输入单元204可以包括第二照相机和第二麦克风。第二照相机在视频捕捉模式或者图像捕捉模式下处理通过图像捕捉装置获取的视频或者静止图画的图像数据。已处理的图像可以被显示在下述第二显示器上。
通过第二照相机处理的图像可以被存储在下述第二存储器208中或者经由第二通信单元202传送给头戴式显示设备100。根据电子设备200的配置可以提供两个或者更多个第二照相机。
第二麦克风可以在电子设备200处于特定模式(如电话呼叫模式、记录模式、话音识别模式等)时接收声音(音频信号)。该音频信号被处理成数字数据，该数字数据可以被输出转换成在电话呼叫模式的情况下可经由移动通信模块发送至移动通信基站的格式。第二麦克风可以实现各种类型的噪声抵消(或抑制)算法以消除(或抑制)在接收并且传送音频信号的过程中生成的噪声或者干扰。
用户输入单元206可以根据用户输入的命令生成输入数据以控制电子设备200的各种操作。用户输入单元206允许用户输入各种类型的信息，以及可以包括键盘、圆顶状开关(dome switch)、触摸板(例如，触摸敏感构件，其检测由于被接触而在电阻、压力、电容等方面的变化)、滚轮(jog wheel)、拨动开关(jog switch)等。
第二输出单元210被配置为以视觉、听觉和/或触觉方式提供输出(例如，音频信号、视频信号、报警信号、振动信号等)。第二输出单元210可以包括第二显示器、第二音频输出模块、报警单元、触觉模块等。
第二显示器可以显示在电子设备200中处理的信息。例如，当电子设备200处于图像浏览模式时，第二显示器可以显示与图像浏览相关联的用户界面(UI)或者图形用户界面(GUI)。当电子设备200处于文档编辑模式时，第二显示器可以显示与文档编辑相关联的用户界面或者图形用户界面，与文档编辑相关联的用户界面可以包括文档内容以及对文档进行编辑的虚拟键盘。
当第二显示器和触摸板以分层的方式被重叠以形成触摸屏时，第二显示器可以充当输入装置和输出装置。第二显示器可以包括液晶显示器(LCD)、有机发光二极管(OLED)显示器、三维(3D)显示器、或者电子墨水显示器中的至少一个。
这些显示器中的一些可以被配置为透明的，使得通过其可以看到外部，其可以被称为透明显示器。此透明显示器的代表性示例可以包括透明有机发光二极管(TOLED)等。
根据电子设备200的配置情况，可以在数目上以两个或者更多个显示器实现第二显示器。例如，多个显示器可以被一体化地或者单独地布置在一个表面上，或者被布置在不同的表面上。
第二音频输出模块可以在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等模式中输出从第二通信单元202接收到的或者被存储在第二存储器208中的音频数据。此外，第二音频输出模块可以提供与在电子设备200中执行的特定功能有关的音频输出(例如，呼叫信号接收声音、消息接收声音等)。第二音频输出模块可以包括接收器、扬声器、蜂鸣器等。
报警单元输出用于通知电子设备200的事件发生的信号。在电子设备200生成的事件可以包括呼叫信号接收、消息接收、键信号输入、触摸输入等。报警单元不仅可以输出视频或者音频信号，而且也可以输出其他类型的信号，诸如以振动的方式通知事件发生的信号。
触觉模块生成用户可以感受的各种触觉效果。通过触觉模块生成的触觉效果的代表性示例是振动。触觉模块的强度和模式可以控制。例如，不同的振动可以组合输出或者顺序地输出。
第二处理器212控制电子设备200的一般操作。例如，第二处理器212执行与电话呼叫、数据通信、视频呼叫、多媒体数据再现等相关联的控制和处理。第二处理器212可以包括多媒体模块，该多媒体模块用于再现多媒体数据。多媒体模块可以被配置成第二处理器212的一部分或者单独的组件。第二处理器212还可以包括检测单元，该检测单元用于检测用户输入单元206或触摸屏是否存在输入信息。同样的，检测单元也可以被配置成第二处理器212的一部分或者单独的组件。
第二处理器212能够执行模式识别处理，以便将触摸屏上的书写或者绘图输入识别为文本或者图像。
而且，第二处理器212可以在电子设备200的状态满足一预置条件时，执行锁定状态，以限制用户输入针对应用的控制命令。而且，第二处理器212可以基于在电子设备200的锁定状态下的触摸屏上感测的触摸输入，来控制锁定状态显示的锁定画面。
第二存储器208可以存储由第二处理器212执行的处理和控制操作的软件程序，或者可以临时存储输入或输出的数据(例如，电话本、消息、静止图像、视频等)。
使用任何类型的适当的存储介质可以实现上述第一存储器108和第二存储器208，该存储介质包含闪存型、硬盘型、微型多媒体卡、存储卡(例如，SD或者DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等等。而且，头戴式显示设备100或电子设备200可以与因特网上的、执行第一存储器108或第二存储器208的存储功能的网络存储装置有关地操作。
HMD100或电子设备200的上述元件可通过数据总线、地址总线、控制总线、扩展总线和本地总线等总线中的任一或任意组合互相耦合。
本文描述的各种实施方式可以例如利用软件、硬件或其任何组合在计算机可读介质或其类似介质中实现。
对于硬件实现来说，通过使用被设计为执行在此描述的功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理器(CPU)、通用处理器、微处理器、电子单元中的至少一个，可以实现在此描述的实施例。在一些情况下，可以通过处理器本身实现此实施例。
对于软件实现，可以通过单独的软件模块来实现在此描述的诸如程序或者功能的实施例。每个软件模块可以执行在此描述的一个或者多个功能或者操作。
通过以任何适合的编程语言所编写的软件应用能够实现软件代码。软件代码可以被存储在第一存储器108和/或第二存储器208中并且通过第一处理器112和/或第二处理器212执行。
图3为本发明实施例提供的扩展电子设备显示区域的方法的流程图。
步骤S101，电子设备与头戴式显示设备建立连接，电子设备向HMD发送参数信息；
判断电子设备中显示的图像是否超出电子设备的显示器，即所述图像的图像分辨率是否大于所述电子设备的显示器的显示分辨率。电子设备中显示的图像可以是电子设备接收的图像，也可以是应用程序中的功能界面。如果所述图像未超出电子设备的显示器，则在电子设备中正常进行显示。如果所述图像超出电子设备的显示器，即所述图像的图像分辨率大于所述电子设备的显示器的显示分辨率，则转入以下步骤：
步骤S102，在电子设备的显示器上显示图像的第一内容，所述图像除了已显示的第一内容，还包括超出显示器范围的第二内容；
步骤S103，HMD计算电子设备三维坐标系到HMD三维坐标系之间的变换矩阵T；
步骤S104，电子设备向HMD发送数据，所述数据包括所述第二内容中各像素的灰度值，电子设备可以将包括第一内容和第二内容的整个图像数据发送给HMD，也可以仅将第二内容中各像素的灰度值发送给HMD；
步骤S105，通过变换矩阵T和标定矩阵K将超出电子设备显示器范围的第二内容在电子设备三维坐标系中的三维坐标，转换为在HMD的显示器中进行显示的二维坐标，并且根据接收的第二内容的灰度值数据，对在HMD的显示器中进行显示的二维坐标进行反向插值计算，确定在HMD的显示器中进行显示的所述第二内容的每一个点的灰度值；
步骤S106，HMD通过图像传感器获取在电子设备的显示器上显示的第一内容，在HMD的显示器中显示所述获取的第一内容和进行所述投影变换后的第二内容。
在下文中，将会参考图4，说明本发明实施例提供的显示增强现实图像方法的时序图。
首先，电子设备向HMD发送参数信息。
然后，当在电子设备中显示图像时，判断图像是否超出电子设备显示器的范围，如果图像没有超出范围，则在电子设备中正常显示；如果图像超出范围，则在电子设备中显示图像的第一内容，所述图像还包括超出电子设备显示器范围的第二内容。
接着，HMD计算电子设备三维坐标系到HMD三维坐标系之间的变换矩阵T。
接着，电子设备向HMD发送数据，所述数据包括所述第二内容中各像素的灰度值；
接着，HMD根据特征点的三维坐标和所述灰度值对第二内容进行投影变换和反向插值计算；
最后，HMD通过图像传感器获取在电子设备的显示器上显示的第一内容，在HMD显示器中显示获取的第一内容，并且在第一内容的基础上叠加显示经过投影变换后的第二内容。
可选的，在HMD显示器中显示所述第一内容和所述第二内容之前，HMD通过跟踪所述电子设备上的预置特征点，计算HMD相对于电子设备的姿态，根据计算结果，调整第一内容和第二内容的显示位置。
在图3和图4中分别描述了HMD计算变换矩阵以及电子设备向HMD发送数据的过程，其中在HMD计算变换矩阵之后，电子设备向HMD发送数据。可选的，计算变换矩阵和发送数据的操作可以更改先后顺序，即电子设备先向HMD发送数据，HMD在接收到数据之后才进行计算变换矩阵的操作。在另一种可能的情况中，电子设备向HMD发送数据的操作和HMD计算变换矩阵的操作可以同时进行。
下面的五个实施例是在不同应用场景下的具体实施例，其中，第一实施例以查看地图为例，第二实施例以使用键盘等输入设备编辑文档为例，第三实施例以浏览网页为例，第四实施例以浏览图片为例，第五实施例以电子设备和HMD发生相对运动为例，结合下面的第一至第五实施例，可使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂。
第一实施例
用户在电子设备中查看地图时，可能需要放大某一局部(如目的地)，来查看局部的细节。同时，用户还希望获得从起点到目的地的整体视野，否则用户只能听从导航软件将地图分段显示。特别是当起点离目的地较远时，用户在某一段路中既看不到起点，又看不到终点，容易走错路或迷失方向。
电子设备和HMD建立连接后，电子设备首先向HMD发送参数信息，参数信息包括电子设备200显示器的点距、显示器水平像素数量、垂直像素数量、电子设备三维坐标系的定义(包括坐标轴方向和原点所在位置)、电子设备显示器中心在三维坐标系中的坐标、电子设备上预置的特征点在三维坐标系中的坐标等。
在第一实施例中，假设显示器水平像素数量为2560，垂直像素数量为1440，在下文的描述中，电子设备显示器支持的最大图像尺寸为2560x1440。
如图5所示的，用户可在电子设备上进行一系列操作，在第一实施例中，用户在地图软件的输入框内分别输入起点503和终点504，电子设备通过查询数据库获得起点503和终点504之间的地图数据，在现有技术中，电子设备根据电子设备显示器支持的最大图像尺寸调整图像以使起点和终点能同时显示在显示器上。
如果起点和终点之间的距离过大，则显示器上显示的图像会缺失细节，用户此时需要对显示器上显示的图像进行缩放或拖动。
电子设备根据缩放或拖动刷新在显示器上显示的内容，在刷新当前显示之前，首先判断缩放或拖动后的图像是否超出显示器支持的最大图像尺寸。如果缩放或拖动后包含起始点的图像尺寸不大于2560x1440，则在显示器上正常显示缩放或拖动后的图像；如果缩放或拖动后包含起始点的图像尺寸大于2560x1440，则根据上述缩放或拖动在显示器上显示图像的第一内容501，所述第一内容501的图像分辨率等于显示器的显示分辨率2560x1440。
缩放或拖动后包含起始点的图像除了包括上述在显示器上显示的第一内容501，还包括未在显示器上显示的第二内容502(超出显示器范围之外的部分)。
电子设备将第二内容502中各像素的灰度值数据发送给HMD。
HMD根据预置特征点的三维坐标，通过前述投影变换计算超出电子设备显示器范围之外的部分502(第二内容)中各像素点在HMD显示器中的坐标，根据接收到的灰度值数据对所述各像素点进行反向插值计算，通过前述反向插值计算获得第二内容502中各像素点在HMD显示器中显示的二维图像中的灰度值。
HMD通过图像传感器获取电子设备的显示器上显示的第一内容501，在HMD显示器中显示获取的第一内容501的图像，并且在第一内容501图像的基础上叠加显示经过投影变换后的第二内容502。
第二实施例
在第二实施例中，在电子设备的显示器上可以显示文档，并且用户可以通过电子设备中的用户输入单元(例如，在触摸屏上显示的虚拟键盘)对文档进行编辑。当文档内容较长时，希望可以显示尽量多的文档内容，便于用户编辑文档的同时，随时查看当前编辑部分之前的更多内容。
如图6所示的，在第二实施例中，在电子设备的显示器上显示对文档进行编辑的虚拟键盘601，未在电子设备的显示器上显示的第二内容为文档602，图像包括虚拟键盘601和文档602，该图像的图像分辨率大于电子设备的显示器的显示分辨率。
在第二实施例中，可以使用电子设备的整个显示屏幕来显示放大的虚拟键盘，放大的虚拟键盘相比目前智能手机中显示的虚拟键盘具有更大的按键面积，因此用户可以使用双手操作虚拟键盘601。
电子设备将文档602发送给HMD，HMD对文档602进行投影变换。HMD获取在电子设备的显示器上显示的虚拟键盘601，在HMD的显示器中显示虚拟键盘601和进行投影变换后的文档602。
可选的，在电子设备的显示器上除了虚拟键盘601，还显示文档的一部分。
可选的，HMD通过图像传感器获取电子设备上显示的虚拟键盘601以及用户的手指603。电子设备根据用户手指603对虚拟键盘601的操作，将被用户编辑后的文档内容实时发送给HMD，HMD对文档内容进行投影变换，实时改变在HMD中显示的文档602的内容。
第三实施例
在第三实施例中，在电子设备的显示器上可以正常浏览网页，而不必频繁拖动屏幕中的网页。
与前述实施例类似地，电子设备判断网页图像的图像分辨率是否超出显示器的显示分辨率。如果网页的图像分辨率不大于显示分辨率，则在显示器上正常显示网页；如果网页的图像分辨率大于显示分辨率，则在显示器上显示网页的第一内容，所述第一内容的图像分辨率等于显示器的显示分辨率。超出显示器范围之外的第二内容包括网页的其他内容。
对网页的其他内容进行投影变换，通过前述反向插值计算获得网页其他内容中各像素点在HMD二维图像中的投影的灰度值。
HMD通过图像传感器获取电子设备上显示的第一内容的图像，在HMD显示器中显示获取的第一内容的图像，并且在第一内容图像的基础上叠加投影变换后的第二内容，使得在用户看来，在整个视野中呈现的网页图像既能看清具体内容，也能够显示较多的网页内容。
第四实施例
在第四实施例中，在电子设备的显示器上可以显示高分辨率图片。
假定，电子设备显示器的显示分辨率为2560x1440，图片的图像分辨率为3200x2400。
在本实施例假定的情况下，图片的图像分辨率大于显示分辨率，则在显示器上显示图片的第一内容，所述第一内容的图像分辨率等于显示器的显示分辨率2560x1440。高分辨率图片还包括超出显示器范围之外的第二内容。
对图片的第二内容进行投影变换，通过前述反向插值计算获得图片第二内容中各像素点在HMD二维图像中的投影的灰度值。
HMD通过图像传感器获取电子设备上显示的第一内容的图像，在HMD显示器中显示获取的第一内容的图像，并且在第一内容图像的基础上叠加投影变换后的第二内容的图像，使得在用户看来，在HMD的显示器中可以完整呈现图像分辨率为3200x2400的图片。
第五实施例
在前述的第一至第四实施例中，说明了在电子设备的显示器上显示的内容(地图、文档、网页、图片)超出显示分辨率时，在HMD中扩展电子设备显示区域的方法。
电子设备的显示器上除了显示静态图像之外，还可以显示动态图像，动态图像可认为由多幅静态图像组成，通过以一定刷新频率连续显示多幅静态图像，来实现动态显示效果。相应的，电子设备按照预定时间间隔向HMD连续发送数据，HMD对接收的数据进行计算，实时调整在HMD中显示的内容，使得在HMD中也可以显示动态图像。
当电子设备和HMD的相对位置发生变化时，HMD通过图像传感器跟踪电子设备上的预置特征点，计算HMD的图像传感器相对于电子设备显示器的姿态，并根据在电子设备上显示的第一内容的变化情况，对超出电子设备显示器范围的其余部分进行投影变换，使得在用户看来，在整个视野中呈现的图像随着电子设备的移动而移动。
可选的，电子设备和HMD的相对位置变化包括相对平移和相对转动。
结合本发明公开内容所描述的方法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于用户设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种显示方法，用于具有显示器和图像传感器的头戴式显示设备，所述方法包括：
与电子设备建立连接，所述电子设备具有显示器、已定义的三维坐标系、和在所述三维坐标系中具有已知三维坐标的特征点；
判断所述电子设备中待显示图像的图像分辨率是否大于所述电子设备的显示器的显示分辨率；
当所述图像分辨率大于所述显示分辨率时，所述电子设备的显示器上显示所述图像的第一内容，所述图像还包括未在所述电子设备的显示器上显示的第二内容；
接收所述电子设备发送的数据，所述数据包括所述第二内容中各像素点的灰度值，根据所述特征点的三维坐标和所述灰度值对所述第二内容进行投影变换；
通过所述图像传感器对所述电子设备进行拍摄，获取在所述电子设备的显示器上显示的第一内容；
在所述头戴式显示设备的显示器中显示所述获取的第一内容和进行所述投影变换后的第二内容。
2.如权利要求1所述的方法，其特征在于，在所述头戴式显示设备的显示器中显示所述第一内容和所述第二内容之前，还包括：跟踪所述特征点，计算所述图像传感器相对于所述电子设备的显示器的姿态。
3.如权利要求1或2所述的方法，其特征在于，所述图像包括文档和用于对文档进行编辑的虚拟键盘。
4.如权利要求1或2所述的方法，其特征在于，所述图像包括静态图像或动态图像。
5.一种具有显示器和图像传感器的头戴式显示设备，其特征在于，包括：
通信单元，用于与电子设备建立连接，所述电子设备具有显示器、已定义的三维坐标系、和在所述三维坐标系中具有已知三维坐标的特征点；
判断单元，用于判断所述电子设备中待显示图像的图像分辨率是否大于所述电子设备的显示器的显示分辨率；其中，当所述图像分辨率大于所述显示分辨率时，所述电子设备的显示器上显示所述图像的第一内容所述图像还包括未在所述电子设备的显示器上显示的第二内容；
所述通信单元还用于接收所述电子设备发送的数据，所述数据包括所述第二内容中各像素点的灰度值；
处理单元，用于根据所述特征点的三维坐标和所述灰度值对所述第二内容进行投影变换；
获取单元，用于通过所述图像传感器对所述电子设备进行拍摄，获取在所述电子设备的显示器上显示的第一内容；
显示单元，用于在所述头戴式显示设备的显示器中显示所述获取的第一内容和进行所述投影变换后的第二内容。
6.如权利要求5所述的头戴式显示设备，其特征在于，所述获取单元还用于跟踪所述特征点，所述处理单元根据所述获取单元的跟踪结果，计算所述图像传感器相对于所述电子设备的显示器的姿态。
7.如权利要求5或6所述的头戴式显示设备，其特征在于，所述图像包括文档和用于对文档进行编辑的虚拟键盘。
8.如权利要求5或6所述的头戴式显示设备，其特征在于，所述图像包括静态图像或动态图像。
9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被头戴式显示设备执行时使所述头戴式显示设备执行如权利要求1-4中任意一项所述的方法，其中，所述头戴式显示设备包括通信单元、处理单元、获取单元和显示单元。
10.一种头戴式显示设备，包括一个或多个处理器、存储器、显示器、总线***、收发器以及一个或多个程序，所述处理器、所述存储器、所述显示器和所述收发器通过所述总线***相连；
其中，所述一个或多个程序被存储在所述存储器中，所述一个或多个程序包括指令，所述指令当被所述头戴式显示设备执行时使所述头戴式显示设备执行如权利要求1-4中任意一项所述的方法。
CN201680037022.2A 2016-06-22 2016-06-22 头戴式显示设备及其处理方法 Active CN107771310B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/086766 WO2017219288A1 (zh) 2016-06-22 2016-06-22 头戴式显示设备及其处理方法

Publications (2)

Publication Number Publication Date
CN107771310A CN107771310A (zh) 2018-03-06
CN107771310B true CN107771310B (zh) 2020-12-04

Family

ID=60783170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037022.2A Active CN107771310B (zh) 2016-06-22 2016-06-22 头戴式显示设备及其处理方法

Country Status (4)

Country Link
US (1) US10672149B2 (zh)
EP (2) EP3460633A4 (zh)
CN (1) CN107771310B (zh)
WO (1) WO2017219288A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10989817B2 (en) * 2016-04-05 2021-04-27 Statsports Group Limited Enhanced UWB and GNSS position measurement system
US11610371B2 (en) * 2017-05-19 2023-03-21 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
US10475196B2 (en) 2018-03-22 2019-11-12 Microsoft Technology Licensing, Llc Hybrid depth detection and movement detection
US10962783B2 (en) 2018-06-19 2021-03-30 Apple Inc. Electronic devices having electrically adjustable optical layers
EP3621039A1 (en) * 2018-09-06 2020-03-11 Tata Consultancy Services Limited Real time overlay placement in videos for augmented reality applications
EP3669752A1 (en) * 2018-12-20 2020-06-24 Essilor International Method for determining a refraction feature of an eye of a subject, and associated portable electronic device
EP3669751A1 (en) * 2018-12-20 2020-06-24 Essilor International Method and device for determining a refraction feature of an eye of a subject
CN110749994A (zh) * 2019-10-25 2020-02-04 江苏荣策士科技发展有限公司 一种穿透式hmd眼镜
WO2023277897A1 (en) * 2021-06-30 2023-01-05 Hewlett-Packard Development Company, L.P. Replacing synthetic object within xr environment
CN118001116B (zh) * 2024-04-10 2024-07-02 杭州灵伴科技有限公司 用于视力训练的头戴式显示设备和视力训练方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581127A (zh) * 2014-12-24 2015-04-29 青岛歌尔声学科技有限公司 一种自动调节屏幕亮度的方法、***和头戴显示设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784211A (ja) * 1993-09-20 1995-03-31 Sony Corp 情報入力装置
JP2003091353A (ja) * 2001-09-18 2003-03-28 Canon Inc Ｈｍｄ用入力装置
CN100432744C (zh) 2005-09-26 2008-11-12 大学光学科技股份有限公司 具有手机功能的焦距可调整的头戴式显示器
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
US20120206322A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor input triggered user action capture device control of ar eyepiece facility
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
CN103635869B (zh) 2011-06-21 2017-02-15 英派尔科技开发有限公司 用于增强现实的基于手势的用户接口
US10108018B2 (en) 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
US8635552B1 (en) * 2013-03-20 2014-01-21 Lg Electronics Inc. Display device capturing digital content and method of controlling therefor
KR102144763B1 (ko) * 2013-05-22 2020-08-28 삼성전자주식회사 웨어러블 부가 장치를 통한 스케줄 표시 방법 및 장치
WO2015046669A1 (en) * 2013-09-26 2015-04-02 Lg Electronics Inc. Head mounted display device and method of controlling the same
KR20150084200A (ko) * 2014-01-13 2015-07-22 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
CN103941870B (zh) * 2014-04-21 2017-01-11 百度在线网络技术（北京）有限公司 头戴式显示设备
US20150356737A1 (en) * 2014-06-09 2015-12-10 Technical Illusions, Inc. System and method for multiple sensor fiducial tracking
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581127A (zh) * 2014-12-24 2015-04-29 青岛歌尔声学科技有限公司 一种自动调节屏幕亮度的方法、***和头戴显示设备

Also Published As

Publication number Publication date
US10672149B2 (en) 2020-06-02
WO2017219288A1 (zh) 2017-12-28
CN107771310A (zh) 2018-03-06
EP3460633A4 (en) 2019-04-17
EP3460633A1 (en) 2019-03-27
US20190206093A1 (en) 2019-07-04
EP4009144A1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
CN107771310B (zh) 头戴式显示设备及其处理方法
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US10043314B2 (en) Display control method and information processing apparatus
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
US11978219B2 (en) Method and device for determining motion information of image feature point, and task performing method and device
US11276183B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
KR20210046592A (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
EP3926441A1 (en) Output of virtual content
US20150170422A1 (en) Information Display System With See-Through HMD, Display Control Program and Display Control Method
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
US20160284130A1 (en) Display control method and information processing apparatus
CN113384880A (zh) 虚拟场景显示方法、装置、计算机设备及存储介质
EP3151541B1 (en) Image management system, image communication system, method for controlling display of captured image, and carrier means
CN111369684B (zh) 目标跟踪方法、装置、设备及存储介质
US11263456B2 (en) Virtual object repositioning versus motion of user and perceived or expected delay
US10460425B2 (en) Method, device, and recording medium for processing image
US11341729B2 (en) Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN113409235B (zh) 一种灭点估计的方法及装置
US20230215098A1 (en) Method and system for creating and storing map target
JP6816403B2 (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP2019175326A (ja) プログラム、記録媒体及び画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant