WO2020237421A1 - 控制虚拟现实显示设备的方法及其装置 - Google Patents

控制虚拟现实显示设备的方法及其装置 Download PDF

Info

Publication number
WO2020237421A1
WO2020237421A1 PCT/CN2019/088320 CN2019088320W WO2020237421A1 WO 2020237421 A1 WO2020237421 A1 WO 2020237421A1 CN 2019088320 W CN2019088320 W CN 2019088320W WO 2020237421 A1 WO2020237421 A1 WO 2020237421A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
movement
control information
display screen
image area
Prior art date
Application number
PCT/CN2019/088320
Other languages
English (en)
French (fr)
Inventor
苗京花
王雪丰
彭金豹
陈丽莉
张�浩
孙玉坤
赵斌
李茜
李文宇
李治富
索健文
王龙辉
鄢名扬
郝帅
范清文
Original Assignee
京东方科技集团股份有限公司
北京京东方光电科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司, 北京京东方光电科技有限公司 filed Critical 京东方科技集团股份有限公司
Priority to PCT/CN2019/088320 priority Critical patent/WO2020237421A1/zh
Priority to CN201980000736.XA priority patent/CN112313699A/zh
Priority to US16/766,583 priority patent/US11513346B2/en
Publication of WO2020237421A1 publication Critical patent/WO2020237421A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present disclosure relates to the field of virtual reality technology, and in particular to a method and apparatus for controlling a virtual reality display device, a control method for execution in a virtual reality display device, and a virtual reality display device.
  • a myopia correction system using a virtual reality display device the user can watch images at different distances by controlling the movement of the display screen in the virtual reality display device.
  • the ciliary muscle is in a state of spasm.
  • the ciliary muscle is in a relaxed state. In this way, the adjustment function of the ciliary muscle to the lens can be exercised to correct myopia.
  • the embodiments of the present disclosure provide a method and apparatus for controlling a virtual reality display device, a control method for execution in a virtual reality display device, and a virtual reality display device.
  • a method for controlling a virtual reality display device wherein the virtual reality display device includes a display screen, an optical system, and a movement controller.
  • an anti-distorted image is generated based on the original image according to the distortion parameters of the optical system.
  • the anti-distorted image includes an effective image area and an invalid image area, where the effective image area includes image information of the original image.
  • Write movement control information in the invalid image area, and the movement control information is used by the movement controller to control the movement of the display screen.
  • the anti-distortion image is provided to the virtual reality display device.
  • the movement control information may be indicated by pixel values.
  • writing the movement control information in the invalid image area includes: determining a pixel value corresponding to the movement control information; and writing the corresponding pixel value in the pixels of the invalid image area.
  • the movement control information may include any one of the following: screen movement information; stop movement information; and screen position restoration information.
  • an apparatus for controlling a virtual reality display device includes at least one processor; and a memory coupled with the at least one processor, configured to store computer instructions.
  • the computer instructions when executed by at least one processor, cause the apparatus to perform the method according to the first aspect of the present disclosure.
  • a control method for execution in a virtual reality display device wherein the virtual reality display device includes a display screen, an optical system, and a movement controller.
  • the anti-distorted image is received by the display screen.
  • the anti-distortion image is generated based on the original image according to the distortion parameters of the optical system, and includes an effective image area and an invalid image area.
  • the effective image area includes the image information of the original image
  • the invalid image area includes a device for controlling the movement of the display screen.
  • Mobile control information Then, the display screen obtains the movement control information from the invalid image area and displays the anti-distorted image. Then, based on the movement control information, the movement controller controls the movement of the display screen.
  • the display screen includes a display driver and a display panel.
  • the movement control information may be indicated by pixel values. Further, obtaining the movement control information from the invalid image area by the display screen includes: extracting pixel values from the pixels in the invalid image area by the display driver; and determining the corresponding movement control information by the display driver and based on the pixel values, wherein the anti-distorted image Displayed by the display panel.
  • a virtual reality display device includes a display screen, an optical system arranged on the viewing side of the display screen, and a mobile controller.
  • the display screen is configured to receive an anti-distorted image, where the anti-distorted image is generated based on the original image according to the distortion parameters of the optical system, and includes an effective image area and an invalid image area, the effective image area includes the image information of the original image, and is invalid
  • the image area includes movement control information for controlling the movement of the display screen; obtaining movement control information from the invalid image area; and displaying an anti-distorted image.
  • the movement controller is coupled to the display screen and is configured to control the movement of the display screen based on the movement control information.
  • the virtual reality display device may further include the device according to the second aspect of the present disclosure, which is coupled with the display screen.
  • the display screen includes: a display driver configured to receive an anti-distorted image and obtain movement control information from an invalid image area; and a display panel configured to display the anti-distorted image.
  • the movement control information can be synchronized with the anti-distorted image, thereby effectively using the transmission bandwidth.
  • Fig. 1 is a schematic flowchart of a method for controlling a virtual reality display device according to an embodiment of the present disclosure
  • Figure 2 shows a schematic diagram of generating an anti-distorted image from an original image
  • FIG. 3 is a schematic flowchart of a control method for execution in a virtual reality display device according to an embodiment of the present disclosure
  • Fig. 4 shows a schematic block diagram of an apparatus for controlling a virtual reality display device according to an embodiment of the present disclosure
  • Fig. 5 shows a schematic block diagram of a virtual reality display device according to an embodiment of the present disclosure
  • Figure 6 shows that the anti-distorted image is converted into the original image after passing through the optical system.
  • the image to be displayed is transmitted to the display screen, and the movement control information for controlling the movement of the display screen is transmitted to the underlying driver.
  • the bottom driver enables the mobile controller, so that the mobile controller controls the display screen to move according to the movement control information.
  • the debugging of transmitting the movement control information to the underlying drive is complicated, and since the movement control information and the image are not transmitted synchronously, the synchronization of the movement of the display screen and the display of the image cannot be guaranteed.
  • Fig. 1 is a schematic flowchart of a method for controlling a virtual reality display device according to an embodiment of the present disclosure. The embodiment will be described in detail below in conjunction with the drawings.
  • the virtual reality display device includes a display screen, an optical system, and a movement controller.
  • the virtual reality display device may be a virtual reality head-mounted display device, which may be used for myopia correction.
  • the optical system adopts an optical lens with a specific spherical curvature, such as a convex lens, to cover the user's visual range as much as possible.
  • a specific spherical curvature such as a convex lens
  • the optical lens distorts the image displayed on the display screen, in order for the user to view the normal original image, it is necessary to perform anti-distortion processing on the original image to provide an anti-distorted image to the display screen. In this way, when the anti-distorted image is displayed on the display screen, the user can view the normal original image through the optical lens.
  • the display screen in the virtual reality display device may be a liquid crystal display (LCD) or an organic light emitting diode display (OLED) or the like.
  • the display screen may include a display panel and a display driver for driving the display panel.
  • the movement controller in the virtual reality display device is a hardware driver in the virtual reality display device, which is used to control the movement of the display screen to change the relative position of the display screen and the optical system. It should be understood that the virtual reality display device may also include other hardware drivers for driving other hardware.
  • the virtual reality display device may also include structural parts (not shown) for fixing the display screen, the optical system, and the mobile controller.
  • an anti-distorted image is generated based on the original image according to the distortion parameter of the optical system.
  • the anti-distorted image has the same size as the original image, and includes an effective image area and an invalid image area.
  • the optical system can be measured through the reverse optical path, and the distortion parameters of the optical system can be determined. Then, the distortion parameter is used to perform anti-distortion processing on the original image, so that the image information of the original image, such as pixel information, is included in the effective image area. If the optical system causes pincushion distortion of the image, the anti-distortion process needs to produce barrel distortion of the image. If the optical system causes barrel distortion of the image, the anti-distortion process needs to produce pincushion distortion of the image.
  • FIG. 2 shows a schematic diagram of generating an anti-distorted image from an original image, in which the original image 20 is shown on the left and the generated anti-distorted image 22 is shown on the right.
  • the anti-distortion image 22 may include an effective image area a located in the middle and an invalid image area b located at four corners.
  • the valid image area a includes the image information of the original image 20, and in the invalid image area b, the pixel value of each pixel may be initialized to zero.
  • the movement control information is written in the invalid image area b.
  • the movement control information may include screen movement information, stop movement information, or screen position restoration information.
  • the screen movement information may indicate to move the display screen within a predetermined distance.
  • the stop moving message can indicate to stop the moving display.
  • the screen position restoration information can indicate to move the display to the initial position.
  • the movement control information is not limited to the above-mentioned information, and it may also include other information related to the movement of the display screen.
  • the movement control information can be indicated by pixel values.
  • an eight-bit binary pixel value can be used to indicate movement control information.
  • the pixel value 00001111 indicates the screen movement information of moving the display screen within the first distance
  • the pixel value 00000111 indicates the screen movement information of moving the display screen within the second distance
  • the pixel value 000111111 indicates the stop moving information
  • the pixel value 00111111 indicates the screen position Restore information.
  • the pixel value corresponding to the movement control information to be written may be determined, and the determined corresponding pixel value may be written into the pixels of the invalid image area b.
  • the mapping between the movement control information and the pixel value may be established and stored in advance. In the above example, if the movement control information to be written is screen movement information for moving the display screen within the first distance, the corresponding pixel value can be determined to be 00001111 according to the mapping. Then, the pixel value 00001111 is written into the pixel.
  • step 106 the anti-distortion image 22 including movement control information is provided to the virtual reality display device.
  • the movement control information can be written in the invalid image area of the anti-distorted image.
  • the movement control information can be transmitted together with the image to be displayed, which ensures the synchronization of the image display and the movement of the display screen, thereby effectively using the transmission bandwidth.
  • FIG. 3 is a schematic flowchart of a control method for execution in a virtual reality display device according to an embodiment of the present disclosure.
  • the virtual reality display device is the same as the virtual reality display device in the embodiment shown in FIG.
  • the display screen receives the anti-distorted image.
  • the anti-distorted image may be generated by the method of the embodiment shown in FIG. 1, such as the anti-distorted image 22 in FIG.
  • the anti-distorted image may include an effective image area and an invalid image area.
  • the effective image area includes the image information of the original image, and the invalid image area includes the movement control information of the display screen.
  • the display screen may include a display driver and a display panel. In this case, the anti-distorted image is received by the display driver.
  • the display screen obtains the movement control information from the invalid image area of the anti-distorted image, and provides the movement control information to the movement controller.
  • the movement control information is obtained through the display driver.
  • the movement control information can be screen movement information, stop movement information, or screen position restoration information, and can be indicated by pixel values.
  • the mapping between movement control information and pixel values can be stored in the memory of the display screen.
  • the display driver may extract pixel values from pixels in the invalid image area of the anti-distorted image. Then, according to the stored map, the movement control information corresponding to the extracted pixel value is determined. In the above example, if the extracted pixel value is 00001111, it can be determined that the movement control information is screen movement information for moving the display screen within the first distance.
  • step 306 driven by the display driver, the anti-distorted image is displayed through the display panel.
  • both the valid image area and the invalid image area will be displayed on the display panel.
  • the displayed anti-distorted image is transformed into a normal original image after being distorted by the optical system.
  • the anti-distorted image 22 is transformed into the original image 20 after being distorted by the optical system. Therefore, the user can view the original image before the anti-distortion processing without seeing the invalid image area of the anti-distortion image. .
  • the movement controller may control the movement of the display screen according to the movement control information. For example, if the movement control information is screen movement information, the movement controller starts to move the display screen. If the movement control information is stop movement information, the movement controller stops moving the display screen. If the movement control information is screen position restoration information, the movement controller moves the display screen to the initial position.
  • the display screen can obtain movement control information from the invalid image area of the anti-distorted image, and provide it to the movement controller for controlling the movement of the display screen. Since the movement control information and the image to be displayed are transmitted together, the synchronization of the screen movement and the image display can be ensured, thereby effectively using the transmission bandwidth.
  • FIG. 4 shows a schematic block diagram of an apparatus 40 for controlling a virtual reality display device according to an embodiment of the present disclosure.
  • the virtual reality display device is the same as the virtual reality display device in the embodiment shown in FIGS. 1 and 3.
  • the apparatus 40 may include one or more processors 402, a memory 404, and an input/output interface (I/O) 406 for receiving external information and outputting information to other coupled devices.
  • the memory 404 and one or more processors 402 are coupled to the I/O interface 406 via a bus, and store computer instructions.
  • the apparatus 40 can execute the method for controlling a virtual reality display device as shown in FIG. 1.
  • the device 40 can generate an anti-distorted image based on the original image according to the distortion parameter of the optical system.
  • the device 40 writes movement control information in the invalid image area, and provides an anti-distorted image to the virtual reality display device.
  • the processor 402 may be, for example, a central processing unit CPU, a microprocessor, a digital signal processor (DSP), a processor based on a multi-core processor architecture, and the like.
  • the memory 404 may be any type of memory implemented using data storage technology, including but not limited to random access memory, read-only memory, semiconductor-based memory, flash memory, disk memory, and the like.
  • FIG. 5 shows a schematic block diagram of a virtual reality display device 50 according to an embodiment of the present disclosure.
  • the virtual reality display device shown in FIG. 5 can be used as the virtual reality display device in the embodiments shown in FIGS. 1, 3, and 4.
  • the virtual reality device 50 includes a display screen 502, an optical system 504 provided on the viewing side of the display screen 502, and a movement controller 506 coupled to the display screen 502.
  • the display screen 502 may include a display panel 5024 and a display driver 5022 for driving the display panel 5024.
  • the display driver 5022 of the display screen 502 may be configured to receive an anti-distorted image.
  • the anti-distortion image is generated based on the original image according to the distortion parameters of the optical system, and includes an effective image area and an invalid image area.
  • the effective image area includes image information of the original image
  • the invalid image area includes movement control information of the display screen 502.
  • the display panel 5024 of the display screen 502 can also display the received anti-distorted image under the driving of the display driver 5022.
  • the anti-distorted image is converted into a normal original image through the distortion of the optical system 504.
  • the display driver 5022 of the display screen 502 can also obtain movement control information from the invalid image area of the anti-distorted image, and provide the movement control information to the movement controller 506.
  • the movement controller 506 can control the movement of the display screen 502 according to the movement control information.
  • the virtual reality display device 50 may further include the device 40 shown in FIG. 4.
  • the processor 402 of the device 40 may be coupled to the display screen 502 to provide the display screen 502 with an anti-distorted image including the movement control information of the display screen 502.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开的实施例提供了用于控制虚拟现实显示设备的方法，其中，虚拟现实显示设备包括显示屏、光学***和移动控制器。在该方法中，根据光学***的畸变参数，基于原始图像，生成反畸变图像。反畸变图像包括有效图像区域和无效图像区域，其中有效图像区域包括原始图像的图像信息。在无效图像区域中写入移动控制信息，该移动控制信息是由移动控制器用于控制显示屏的移动的。向虚拟现实显示设备提供反畸变图像。根据本公开的实施例，移动控制信息和图像能够被同步传输，从而有效利用传输带宽。

Description

控制虚拟现实显示设备的方法及其装置 技术领域
本公开涉及虚拟现实技术领域，具体地，涉及用于控制虚拟现实显示设备的方法及其装置、用于在虚拟现实显示设备中执行的控制方法以及虚拟现实显示设备。
背景技术
当前，虚拟现实显示设备在许多领域广泛使用。新兴的应用是在近视矫正领域中的应用。在采用虚拟现实显示设备的近视矫正***中，通过控制虚拟现实显示设备中显示屏的移动，使得用户观看在不同距离处的图像。当用户观看近距离处的图像时，睫状肌处于痉挛状态。当用户观看远距离处的图像时，睫状肌处于放松状态。这样，可以锻炼睫状肌对晶状体的调节功能，从而矫正近视。
发明内容
本公开的实施例提供了用于控制虚拟现实显示设备的方法及其装置、用于在虚拟现实显示设备中执行的控制方法以及虚拟现实显示设备。
根据本公开的第一方面，提供了一种用于控制虚拟现实显示设备的方法，其中虚拟现实显示设备包括显示屏、光学***和移动控制器。在该方法中，根据光学***的畸变参数，基于原始图像，生成反畸变图像。反畸变图像包括有效图像区域和无效图像区域，其中有效图像区域包括原始图像的图像信息。在无效图像区域中写入移动控制信息，该移动控制信息是由移动控制器用于控制显示屏的移动。然后，向虚拟现实显示设备提供反畸变图像。
在本公开的实施例中，移动控制信息可用像素值指示。
在本公开的实施例中，在无效图像区域中写入移动控制信息包括：确定与移动控制信息对应的像素值；以及将所对应的像素值写入无效图像区域的像素中。
在本公开的实施例中，移动控制信息可包括以下中的任意一个：屏幕移动信息；停止移动信息；以及屏幕位置复原信息。
根据本公开的第二方面，提供了一种用于控制虚拟现实显示设备的装置。该装置包括至少一个处理器；以及与至少一个处理器耦接的存储器，被配置为存储计算机指令。计算机指令在由至少一个处理器执行时使得装置执行根据本公开的第一方面的方法。
根据本公开的第三方面，提供了一种用于在虚拟现实显示设备中执行的控制方法，其中虚拟现实显示设备包括显示屏、光学***和移动控制器。在该方法中，由显示屏接收反畸变图像。其中，反畸变图像基于原始图像根据所述光学***的畸变参数生成，并包括有效图像区域和无效图像区域，有效图像区域包括原始图像的图像信息，无效图像区域包括用于控制显示屏的移动的移动控制信息。然后，由显示屏从无效图像区域中取得移动控制信息，并显示反畸变图像。然后，基于移动控制信息，由移动控制器控制显示屏的移动。
在本公开的实施例中，显示屏包括显示驱动器和显示面板。
在本公开的实施例中，移动控制信息可用像素值指示。进一步地，显示屏从无效图像区域中取得移动控制信息包括：由显示驱动器从无效图像区域的像素中提取像素值；由显示驱动器以及基于像素值，确定对应的移动控制信息，其中，反畸变图像由显示面板显示。
根据本公开的第四方面，提供了一种虚拟现实显示设备。该虚拟现实设备包括显示屏、设置在显示屏的观看侧的光学***以及移动控制器。显示屏被配置为：接收反畸变图像，其中，反畸变图像基于原始图像根据所述光学***的畸变参数生成，并包括有效图像区域和无效图像区域，有效图像区域包括原始图像的图像信息，无效图像区域包括用于控制显示屏的移动的移动控制信息；从无效图像区域中取得移动控制信息；以及显示反 畸变图像。移动控制器与显示屏耦接，并被配置为基于移动控制信息，控制显示屏的移动。
在本公开的实施例中，虚拟现实显示设备还可包括根据本公开的第二方面的装置，其与显示屏耦接。
在本公开的实施例中，显示屏包括：显示驱动器，被配置为接收反畸变图像，以及从无效图像区域中取得移动控制信息；以及显示面板，被配置为显示反畸变图像。
根据本公开的实施例，通过在反畸变图像的无效图像区域中写入移动控制信息，能够使得移动控制信息与反畸变图像同步传输，从而有效地利用传输带宽。
适应性的进一步的方面和范围从本文中提供的描述变得明显。应当理解，本申请的各个方面可以单独或者与一个或多个其它方面组合实施。还应当理解，本文中的描述和特定实施例旨在说明的目的，并不旨在限制本申请的范围。
附图说明
本文中描述的附图用于仅对所选择的实施例的说明的目的，并不是所有可能的实施方式，并且不旨在限制本申请的范围，其中：
图1是根据本公开的实施例的用于控制虚拟现实显示设备的方法的示意性流程图；
图2示出了从原始图像生成反畸变图像的示意图；
图3是根据本公开的实施例的用于在虚拟现实显示设备中执行的控制方法的示意性流程图；
图4示出了根据本公开的实施例的用于控制虚拟现实显示设备的装置的示意性框图；
图5示出了根据本公开的实施例的虚拟现实显示设备的示意性框图；
图6示出了反畸变图像通过光学***后转换成原始图像。
具体实施方式
为使本公开的实施例的目的、技术方案和优点更加清楚，下面将结合本公开的实施例的附图，对本公开的实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。下文中将参考附图并结合实施例来详细说明本公开的实施例。需要说明的是，在不冲突的情况下，本公开中的实施例中的特征可以相互组合。
通常，在采用虚拟现实显示设备的近视矫正***中，要显示的图像被传输到显示屏，而用于控制显示屏的移动的移动控制信息被传输到底层驱动器。底层驱动器使能移动控制器，以使移动控制器根据移动控制信息来控制显示屏进行移动。然而，将移动控制信息传输至底层驱动器的调试很复杂，并且由于移动控制信息与图像不是同步传输，因此，无法保障显示屏的移动与图像的显示的同步性。
图1是根据本公开的实施例的用于控制虚拟现实显示设备的方法的示意性流程图。下面结合附图，对本实施例进行详细描述。
在本公开的实施例中，虚拟现实显示设备包括显示屏、光学***和移动控制器。在一个实施例中，虚拟现实显示设备可以是虚拟现实头戴式显示设备，其可用于近视矫正。
在虚拟现实显示设备中，为了使用户获得真实的沉浸感，光学***采用具有特定球面弧度的光学透镜，例如凸透镜，以尽可能覆盖用户的视觉范围。然而，由于光学透镜使得显示屏上显示的图像发生畸变，因此，为了使用户观看到正常的原始图像，需要对原始图像进行反畸变处理，以向显示屏提供反畸变图像。这样，当在显示屏上显示反畸变图像时，用户通过光学透镜能够观看到正常的原始图像。
虚拟现实显示设备中的显示屏可以是液晶显示屏(LCD)或有机发光二极管显示屏(OLED)等。在本公开的实施例中，显示屏可包括显示面板和用于驱动显示面板的显示驱动器。
虚拟现实显示设备中的移动控制器是虚拟现实显示设备中的一种硬件驱动器，其用于控制显示屏进行移动，以改变显示屏和光学***的相对位置。应当理解，虚拟现实显示设备还可以包括其它的硬件驱动器以用于其它硬件的驱动。
此外，虚拟现实显示设备还可以包括结构件(未示出)，用于固定显示屏、光学***和移动控制器。
如图1所示，在步骤102中，根据光学***的畸变参数，基于原始图像，生成反畸变图像。在本公开的实施例中，反畸变图像具有与原始图像相同的尺寸，并包括有效图像区域和无效图像区域。在本公开的实施例中，可通过逆向光路对光学***进行测量，并确定光学***的畸变参数。然后，使用该畸变参数对原始图像进行反畸变处理，以使得在有效图像区域中包括原始图像的图像信息，例如像素信息。如果光学***造成图像的枕形畸变，则反畸变处理需要使图像产生桶形畸变。如果光学***造成图像的桶形畸变，则反畸变处理需要使图像产生枕形畸变。
图2示出了从原始图像生成反畸变图像的示意图，其中，左侧示出了原始图像20，右侧示出了所生成的反畸变图像22。如图2所示，反畸变图像22可包括位于中间的有效图像区域a和位于四个角的无效图像区域b。有效图像区域a包括原始图像20的图像信息，而在无效图像区域b中，各像素的像素值可被初始化为零。
然后，在步骤104中，在无效图像区域b中写入移动控制信息。在本公开的实施例中，移动控制信息可以包括屏幕移动信息、停止移动信息、或屏幕位置复原信息。屏幕移动信息可指示在预定距离内移动显示屏。停止移动信息可指示停止正在移动的显示屏。屏幕位置复原信息可指示将显示屏移动到初始位置。本领域的技术人员可以知道，移动控制信息不限于以上所述的信息，它还可包括其它与显示屏的移动有关的信息。
在本公开的实施例中，移动控制信息可用像素值来指示。在一个实施例中，可以使用八位二进制像素值来指示移动控制信息。例如，像素值00001111指示在第一距离内移动显示屏的屏幕移动信息，像素值00000111 指示在第二距离内移动显示屏的屏幕移动信息，像素值00011111指示停止移动信息，像素值00111111指示屏幕位置复原信息。
本领域的技术人员可以知道，也可以使用其它位数的二进制像素值来指示移动控制信息。
在本公开的实施例中，在写入移动控制信息时，可确定与将要写入的移动控制信息对应的像素值，并将所确定的对应像素值写入无效图像区域b的像素中。在本公开的实施例中，可以预先建立并存储移动控制信息与像素值之间的映射。在上述的例子中，如果将要写入的移动控制信息是在第一距离内移动显示屏的屏幕移动信息，则可根据映射确定对应的像素值是00001111。然后，将像素值00001111写入像素中。
继续参考图1，在步骤106中，向虚拟现实显示设备提供包括移动控制信息的反畸变图像22。
通过以上描述可以看出，采用根据本公开的实施例的方法，移动控制信息可被写入反畸变图像的无效图像区域中。这样，移动控制信息能够和将要显示的图像一起传输，保证了图像显示与显示屏移动的同步性，从而有效地利用传输带宽。
图3是根据本公开的实施例的用于在虚拟现实显示设备中执行的控制方法的示意性流程图。在图3所示的实施例中，虚拟现实显示设备与在图1所示的实施例中的虚拟现实显示设备相同。
如图3所示，在步骤302中，显示屏接收反畸变图像。反畸变图像可通过如图1所示的实施例的方法生成，例如图2中的反畸变图像22。如前所述，反畸变图像可包括有效图像区域和无效图像区域。有效图像区域包括原始图像的图像信息，无效图像区域包括显示屏的移动控制信息。如前所述，显示屏可包括显示驱动器和显示面板。在这种情况下，反畸变图像由显示驱动器接收。
然后，在步骤304中，显示屏从反畸变图像的无效图像区域中取得移动控制信息，并将移动控制信息提供给移动控制器。在本公开的实施例中，通过显示驱动器来取得移动控制信息。如前所述，移动控制信息可以 是屏幕移动信息、停止移动信息或屏幕位置复原信息，并且可用像素值指示。移动控制信息与像素值之间的映射可存储在显示屏的存储器中。
在本公开的实施例中，在接收到反畸变图像后，显示驱动器可从反畸变图像的无效图像区域的像素中提取像素值。然后，根据所存储的映射，确定与所提取的像素值对应的移动控制信息。在上述例子中，如果所提取的像素值是00001111，则可确定移动控制信息是在第一距离内移动显示屏的屏幕移动信息。
接着，在步骤306中，在显示驱动器的驱动下，通过显示面板来显示反畸变图像。此时，有效图像区域和无效图像区域都将显示在显示面板上。所显示的反畸变图像通过光学***的畸变后转换成正常的原始图像。如图6所示，反畸变图像22在通过光学***的畸变后，转换成原始图像20。因此，用户能够观看到在反畸变处理之前的原始图像，而不会看到反畸变图像的无效图像区域。。
与显示反畸变图像并行地，在步骤308中，在获得移动控制信息后，移动控制器可根据该移动控制信息来控制显示屏的移动。例如，如果移动控制信息是屏幕移动信息，则移动控制器开始移动显示屏。如果移动控制信息是停止移动信息，则移动控制器停止移动显示屏。如果移动控制信息是屏幕位置复原信息，则移动控制器将显示屏移动到初始位置。
通过以上描述可以看出，采用根据本公开的实施例的方法，显示屏能够从反畸变图像的无效图像区域中取得移动控制信息，并提供给移动控制器以用于控制显示屏的移动。由于移动控制信息和将要显示的图像一起传输，因此，能够保证屏幕移动与图像显示的同步性，从而有效地利用传输带宽。
图4示出了根据本公开的实施例的用于控制虚拟现实显示设备的装置40的示意性框图。在本实施例中，虚拟现实显示设备与图1和图3所示的实施例中的虚拟现实显示设备相同。
如图4所示，装置40可包括一个或多个处理器402、存储器404以及用于接收外部信息和向耦接的其它设备输出信息的输入/输出接口(I/O) 406。存储器404与一个或多个处理器402通过总线与I/O接口406耦接，并存储计算机指令。当计算机指令由处理器402执行时，装置40可执行如图1所示的控制虚拟现实显示设备的方法。也就是说，装置40可根据光学***的畸变参数，基于原始图像，生成反畸变图像。然后，装置40在无效图像区域中写入移动控制信息，并向虚拟现实显示设备提供反畸变图像。
在本公开的一些实施例中，处理器402可以是例如中央处理单元CPU、微处理器、数字信号处理器(DSP)、基于多核的处理器架构的处理器等。存储器404可以是使用数据存储技术实现的任何类型的存储器，包括但不限于随机存取存储器、只读存储器、基于半导体的存储器、闪存、磁盘存储器等。
图5示出了根据本公开的实施例的虚拟现实显示设备50的示意性框图。图5所示的虚拟现实显示设备可用作图1、图3和图4所示的实施例中的虚拟现实显示设备。如图5所示，虚拟现实设备50包括显示屏502、设置在显示屏502的观看侧的光学***504以及与显示屏502耦接的移动控制器506。
在本公开的实施例中，显示屏502可包括显示面板5024和用于驱动显示面板5024的显示驱动器5022。
在本公开的实施例中，显示屏502的显示驱动器5022可被配置为接收反畸变图像。该反畸变图像是基于原始图像根据光学***的畸变参数生成的，并包括有效图像区域和无效图像区域。有效图像区域包括原始图像的图像信息，无效图像区域包括显示屏502的移动控制信息。进一步地，显示屏502的显示面板5024在显示驱动器5022的驱动下还可显示所接收的反畸变图像。反畸变图像通过光学***504的畸变而转换成正常的原始图像。此外，显示屏502的显示驱动器5022还可从反畸变图像的无效图像区域中取得移动控制信息，并将移动控制信息提供给移动控制器506。移动控制器506可根据该移动控制信息，控制显示屏502的移动。
此外，在本公开的实施例中，虚拟现实显示设备50还可包括图4所示 的装置40。装置40的处理器402可与显示屏502耦接，以向显示屏502提供包括显示屏502的移动控制信息的反畸变图像。
以上对本公开的具体实施例进行了描述，但本公开的范围并不限于此。对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (13)

  1. 一种用于控制虚拟现实显示设备的方法，所述虚拟现实显示设备包括显示屏、光学***和移动控制器，所述方法包括：
    根据所述光学***的畸变参数，基于原始图像，生成反畸变图像，其中，所述反畸变图像包括有效图像区域和无效图像区域，所述有效图像区域包括所述原始图像的图像信息；
    在所述无效图像区域中写入移动控制信息，所述移动控制信息由所述移动控制器用于控制所述显示屏的移动；以及
    向所述虚拟现实显示设备提供所述反畸变图像。
  2. 根据权利要求1所述的方法，其中，所述移动控制信息用像素值指示。
  3. 根据权利要求2所述的方法，其中，在所述无效图像区域中写入移动控制信息包括：
    确定与所述移动控制信息对应的像素值；以及
    将所述像素值写入所述无效图像区域的像素中。
  4. 根据权利要求1至3任意一项所述的方法，其中，所述移动控制信息包括以下中的任意一个：屏幕移动信息；停止移动信息；以及屏幕位置复原信息。
  5. 一种用于控制虚拟现实显示设备的装置，包括：
    至少一个处理器；以及
    与所述至少一个处理器耦接的存储器，被配置为存储计算机指令，
    其中，所述计算机指令在由所述至少一个处理器执行时使得所述装置执行权利要求1至4中任意一项所述的方法。
  6. 一种用于在虚拟现实显示设备中执行的控制方法，所述虚拟现实显示设备包括显示屏、光学***和移动控制器，所述方法包括：
    由所述显示屏接收反畸变图像，其中，所述反畸变图像基于原始图像根据所述光学***的畸变参数生成，并包括有效图像区域和无效图像区域，所述有效图像区域包括所述原始图像的图像信息，所述无效图像区域包括 用于控制所述显示屏的移动的移动控制信息；
    由所述显示屏从所述无效图像区域中取得所述移动控制信息；
    由所述显示屏显示所述反畸变图像；以及
    基于所述移动控制信息，由所述移动控制器控制所述显示屏的移动。
  7. 根据权利要求6所述的方法，其中，所述移动控制信息用像素值指示。
  8. 根据权利要求6或7所述的方法，其中，所述显示屏包括显示驱动器和显示面板。
  9. 根据权利要求8所述的方法，其中，由所述显示屏从所述无效图像区域中取得所述移动控制信息包括：
    由所述显示驱动器从所述无效图像区域的像素中提取像素值；以及
    由所述显示驱动器基于所述像素值，确定所述移动控制信息；
    其中，所述反畸变图像由所述显示面板显示。
  10. 根据权利要求6至9任意一项所述的方法，其中，所述移动控制信息包括以下中的任意一个：屏幕移动信息；停止移动信息；以及屏幕位置复原信息。
  11. 一种虚拟现实显示设备，包括：显示屏、设置在所述显示屏的观看侧的光学***以及移动控制器，
    其中，所述显示屏被配置为：接收反畸变图像，其中，所述反畸变图像基于原始图像根据所述光学***的畸变参数生成，并包括有效图像区域和无效图像区域，所述有效图像区域包括所述原始图像的图像信息，所述无效图像区域包括用于控制所述显示屏的移动的移动控制信息；从所述无效图像区域中取得所述移动控制信息；以及显示所述反畸变图像；
    所述移动控制器与所述显示屏耦接，并被配置为基于所述移动控制信息，控制所述显示屏的移动。
  12. 根据权利要求11所述的虚拟现实显示设备，还包括：
    根据权利要求5所述的装置，其与所述显示屏耦接。
  13. 根据权利要求11或12所述的虚拟现实显示设备，其中，所述显 示屏包括：
    显示驱动器，被配置为接收反畸变图像，以及从所述无效图像区域中取得所述移动控制信息；以及
    显示面板，被配置为显示所述反畸变图像。
PCT/CN2019/088320 2019-05-24 2019-05-24 控制虚拟现实显示设备的方法及其装置 WO2020237421A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/088320 WO2020237421A1 (zh) 2019-05-24 2019-05-24 控制虚拟现实显示设备的方法及其装置
CN201980000736.XA CN112313699A (zh) 2019-05-24 2019-05-24 控制虚拟现实显示设备的方法及其装置
US16/766,583 US11513346B2 (en) 2019-05-24 2019-05-24 Method and apparatus for controlling virtual reality display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/088320 WO2020237421A1 (zh) 2019-05-24 2019-05-24 控制虚拟现实显示设备的方法及其装置

Publications (1)

Publication Number Publication Date
WO2020237421A1 true WO2020237421A1 (zh) 2020-12-03

Family

ID=73553369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088320 WO2020237421A1 (zh) 2019-05-24 2019-05-24 控制虚拟现实显示设备的方法及其装置

Country Status (3)

Country Link
US (1) US11513346B2 (zh)
CN (1) CN112313699A (zh)
WO (1) WO2020237421A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298793A (zh) * 2018-11-22 2019-02-01 京东方科技集团股份有限公司 一种屏幕位置调节方法及装置
US20190096077A1 (en) * 2017-09-25 2019-03-28 Texas Instruments Incorporated Method and apparatus for arbitrary output shape processing of an image
CN109636715A (zh) * 2019-02-01 2019-04-16 京东方科技集团股份有限公司 图像数据的传输方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2826221B1 (fr) * 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
CN105979243A (zh) * 2015-12-01 2016-09-28 乐视致新电子科技（天津）有限公司 一种显示立体图像的处理方法和装置
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种图像渲染处理的方法及装置
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
CN106296566B (zh) * 2016-08-12 2019-05-17 南京睿悦信息技术有限公司 一种虚拟现实移动端动态时间帧补偿渲染***及方法
CN107544151A (zh) * 2016-11-30 2018-01-05 深圳市虚拟现实技术有限公司 基于刻度对应的虚拟现实头盔景深区域设置方法及装置
CN106878698B (zh) * 2016-12-23 2019-05-24 中国科学院自动化研究所 基于光路采集的移动裸眼三维虚拟现实的方法和***
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
CN108287678B (zh) * 2018-03-06 2020-12-29 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN108510549B (zh) * 2018-03-27 2022-01-04 京东方科技集团股份有限公司 虚拟现实设备的畸变参数测量方法及其装置、测量***
CN109461213B (zh) * 2018-11-16 2023-11-28 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096077A1 (en) * 2017-09-25 2019-03-28 Texas Instruments Incorporated Method and apparatus for arbitrary output shape processing of an image
CN109298793A (zh) * 2018-11-22 2019-02-01 京东方科技集团股份有限公司 一种屏幕位置调节方法及装置
CN109636715A (zh) * 2019-02-01 2019-04-16 京东方科技集团股份有限公司 图像数据的传输方法、装置及存储介质

Also Published As

Publication number Publication date
US11513346B2 (en) 2022-11-29
CN112313699A (zh) 2021-02-02
US20210405356A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US10078367B2 (en) Stabilization plane determination based on gaze location
KR102234819B1 (ko) 후기 단계 재투사
WO2020259402A1 (zh) 图像处理方法、装置、终端设备、介质、可穿戴***
US20110216288A1 (en) Real-Time Projection Management
KR20160002602A (ko) 디스플레이 디바이스 및 이를 이용한 가속된 헤드 추적 방법
WO2020140758A1 (zh) 图像显示方法、图像处理方法和相关设备
US10890966B2 (en) Graphics processing systems
CN109427283B (zh) 图像产生方法和使用该方法的显示装置
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
WO2021226535A1 (en) Multi-layer reprojection techniques for augmented reality
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
US10395418B2 (en) Techniques for predictive prioritization of image portions in processing graphics
US11004427B2 (en) Method of and data processing system for providing an output surface
US10762691B2 (en) Techniques for compensating variable display device latency in image display
US20210368152A1 (en) Information processing apparatus, information processing method, and program
EP3596724B1 (en) Low latency tearing without user perception
US10394313B2 (en) Low latency cross adapter VR presentation
US10553164B1 (en) Display latency calibration for liquid crystal display
WO2020237421A1 (zh) 控制虚拟现实显示设备的方法及其装置
US9232201B2 (en) Dynamic projected image color correction based on projected surface coloration
US20220390773A1 (en) Pi cell drive waveform
US20190172178A1 (en) Lens contribution-based virtual reality display rendering
US10212414B2 (en) Dynamic realignment of stereoscopic digital consent
KR102629441B1 (ko) 영상 생성 방법과 이를 이용한 표시장치
US20230239458A1 (en) Stereoscopic-image playback device and method for generating stereoscopic images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930337

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930337

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19930337

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/07/2022)