WO2023115460A1 - 图像校正方法、装置、电子设备及头戴显示设备 - Google Patents

图像校正方法、装置、电子设备及头戴显示设备 Download PDF

Info

Publication number
WO2023115460A1
WO2023115460A1 PCT/CN2021/140876 CN2021140876W WO2023115460A1 WO 2023115460 A1 WO2023115460 A1 WO 2023115460A1 CN 2021140876 W CN2021140876 W CN 2021140876W WO 2023115460 A1 WO2023115460 A1 WO 2023115460A1
Authority
WO
WIPO (PCT)
Prior art keywords
acceleration
head
display device
mounted display
target
Prior art date
Application number
PCT/CN2021/140876
Other languages
English (en)
French (fr)
Inventor
邹和亮
邱绪东
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Publication of WO2023115460A1 publication Critical patent/WO2023115460A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • Embodiments of the present disclosure relate to the technical field of image processing of augmented reality devices, and more specifically, to an image correction method, device, electronic device, and head-mounted display device.
  • AR Augmented Reality
  • An object of the embodiments of the present disclosure is to provide a new technical solution for an image correction method, device, electronic device, and head-mounted display device.
  • an image correction method applied to a head-mounted display device comprising: acquiring a first acceleration and a second acceleration of the head-mounted display device, wherein the first acceleration represents the The acceleration of the detection part of the detection part of the head-mounted display device, the second acceleration represents the acceleration of the calibration part of the setting calibration part of the head-mounted display device, the detection part and the calibration part are in the head-mounted display
  • the device is set according to a preset interval; according to the first acceleration and the second acceleration, a target offset of the head-mounted display device is obtained, wherein the target offset represents the wearing of the head-mounted display device The relative offset between the eyes of the user and the display component; the image to be displayed on the head-mounted display device is corrected according to the target offset.
  • the obtaining the target offset of the head-mounted display device according to the first acceleration and the second acceleration includes: performing vector calculation on the first acceleration and the second acceleration, A target acceleration is obtained, and the target acceleration includes acceleration value and direction information; according to the target acceleration, the target offset is obtained.
  • the obtaining the target offset according to the target acceleration includes: performing an integral operation on the target acceleration to obtain a displacement value of the head-mounted display device; according to the displacement value and the The target offset is obtained from the direction information of the target acceleration, wherein the offset direction of the head-mounted display device is consistent with the direction information of the target acceleration.
  • the correcting the to-be-displayed image of the head-mounted display device according to the target offset includes: correcting the to-be-displayed image in the opposite direction to the target offset and with the same displacement value. compensation correction.
  • the acquiring the first acceleration and the second acceleration of the head-mounted display device includes: acquiring the accelerations of the detection units of the plurality of detection units of the head-mounted display device , obtaining the first acceleration according to the average value of accelerations of multiple detection parts; The second acceleration is obtained.
  • an image correction device the device includes: a data acquisition module, configured to acquire the first acceleration and the second acceleration of the head-mounted display device, wherein the first acceleration represents The acceleration of the detection part of the detection part of the head-mounted display device, the second acceleration represents the acceleration of the calibration part of the setting calibration part of the head-mounted display device, the detection part and the calibration part are connected in the head-mounted display device
  • the display device is set according to a preset interval;
  • the data processing module is configured to obtain a target offset of the head-mounted display device according to the first acceleration and the second acceleration, wherein the target offset represents the The relative offset between the eyes of the wearer of the head-mounted display device and the display component;
  • a correction module configured to correct the image to be displayed of the head-mounted display device according to the target offset.
  • an electronic device including a memory and a processor, the memory is used to store a computer program; the processor is used to execute the computer program, so as to realize any one of the methods described.
  • a head-mounted display device including: a wearing part, the wearing part includes a display part and a wearing body, the display part is used to display an image to be displayed, and the wearing body is used to fix The display component; an acceleration sensor, the acceleration sensor includes a first acceleration sensor and a second acceleration sensor, the first acceleration sensor is arranged on the detection part of the wearing part, and is used to obtain the first acceleration of the detection part , the second acceleration sensor is arranged on the setting and marking part of the wearing part, and is used to obtain the second acceleration of the setting and marking part; a processor, the processor is connected with the acceleration sensor and the display part Electrically connected, the processor is used to obtain the target offset of the head-mounted display device according to the first acceleration and the second acceleration, and correct the image to be displayed according to the target offset.
  • the display component is a lens
  • the wearing body includes a frame and a mirror leg
  • the frame is a detection part
  • the first acceleration sensor is arranged on the edge of the frame
  • the mirror leg includes a The bent part matched with the bent part is the setting calibration part
  • the second acceleration sensor is arranged on the bent part.
  • a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the computer program according to the first aspect of the present disclosure is implemented. described method.
  • a beneficial effect of the embodiment of the present disclosure is that this embodiment can obtain the relative acceleration between the head-mounted display device and the wearer according to the acceleration data of different parts of the head-mounted display device, so as to obtain the relative offset between the head-mounted display device and the wearer Correction of the image to be displayed according to the relative offset can keep the image to be displayed and the wearer relatively stable, which can solve the image shaking problem caused by the shake of the wearer when speaking, and improve user experience.
  • FIG. 1 is a flow chart of the steps of an image correction method provided in this embodiment
  • Fig. 2 is the vector diagram of the target acceleration provided by the present embodiment
  • FIG. 3 is a structural block diagram of an image correction device provided in this embodiment
  • Figure 4 is a block schematic diagram of an electronic device according to one embodiment
  • FIG. 5 is a schematic diagram of a hardware structure connection relationship of a head-mounted display device according to an embodiment
  • Fig. 6 is a perspective view of a head mounted display device according to one embodiment.
  • An application scenario of the embodiments of the present disclosure is a scenario where a user uses a head-mounted display device, especially a kind of AR glasses.
  • the inventors proposed an image correction method, which obtains the relative acceleration of the lens relative to the wearer by detecting the acceleration of the detection part of the AR glasses and setting the acceleration of the calibration part.
  • the relative acceleration obtains the relative displacement of the AR glasses, and the image is compensated according to the relative displacement.
  • the image correction method of this embodiment may include the following steps S110-S130:
  • the head-mounted display device includes a display component and a wearable component.
  • the display component is a lens for displaying pictures to be displayed
  • the wearable component is used to fix the head-mounted display device and the wearer, such as augmented reality glasses. Frames, or shells for augmented reality headsets.
  • the lens when the wearer speaks, the movement of the mouth or eyes will drive the lens to move up and down. At this time, the lens will have a relative displacement relative to the wearer's eyes. In order to detect the relative displacement of the lens relative to the wearer's eyes For the generated relative displacement, this embodiment needs to obtain the first acceleration and the second acceleration of the head-mounted display device.
  • the head-mounted display device is an entity, and any two points on it The distance is fixed, so the head-mounted display device can be provided with a detection part and a setting calibration part with a preset interval according to actual needs, and the preset interval is smaller than the distance between the farthest two points on the head-mounted display device.
  • the setting calibration part may be a calibration part that is relatively stationary relative to the wearer, or may be a calibration part that is relatively moving relative to the wearer.
  • the head-mounted display device may also be an AR device such as an augmented reality helmet.
  • the setting calibration part may be a part on the helmet that is in contact with the wearer.
  • the first acceleration may be the average value of the accelerations of multiple detection parts, that is, the accelerations of multiple detection parts related to the head-mounted display device are obtained, and the first acceleration is obtained according to the average value of the accelerations of multiple detection parts.
  • the multiple detection part accelerations may be multiple detection part acceleration values collected by one acceleration sensor, or may be corresponding detection part acceleration values collected by multiple acceleration sensors.
  • the second acceleration can be the average value of the acceleration of multiple calibration parts, that is, the acceleration of multiple calibration parts related to the set calibration part is obtained, and the second acceleration is obtained according to the average value of the acceleration of multiple calibration parts. acceleration.
  • the acceleration sensor may be a three-axis acceleration sensor.
  • first acceleration and the second acceleration are vectors, that is, the first acceleration and the second acceleration are vectors with magnitude and direction.
  • the target offset represents the relative offset between the eyes of the wearer of the head-mounted display device and the display component.
  • the detection part as the frame of the augmented reality glasses
  • the display part as the lens as an example
  • the calibration part as an example relative to the wearer. Since the lens is fixed in the frame, the relative distance between the lens and the frame The acceleration in the direction of up and down or left and right is the same.
  • the first acceleration represents the acceleration of the lens
  • the second acceleration represents the acceleration of the calibration part of the setting calibration part
  • the setting calibration part is relatively static relative to the wearer, and when the wearer speaks, if the lens is relative to the wearer Moving, that is to say, the lens is moving relative to the setting and calibration part, then the difference between the first acceleration and the second acceleration is the relative acceleration of the lens and the setting and calibration part.
  • acceleration is the rate of change of speed
  • Velocity is again the rate of change of displacement. That is, acceleration is the derivative of velocity
  • velocity is the derivative of displacement
  • acceleration is the second derivative of displacement. Therefore, the relative distance between the lens and the setting and marking part, that is, the target offset, can be obtained from the relative acceleration of the lens and the setting and marking part.
  • vector calculation is performed on the first acceleration and the second acceleration to obtain a target acceleration
  • the target acceleration includes acceleration value and direction information.
  • the above-mentioned target acceleration is the relative acceleration between the lens and the setting and calibration part.
  • FIG. 2 is a vector calculation diagram of the target acceleration.
  • a2 is the first acceleration
  • a1 is the second acceleration
  • a2 is the target acceleration
  • the target offset is obtained according to the target acceleration.
  • the target offset includes the direction of the offset and the specific displacement of the offset. Therefore, in this embodiment, the target acceleration is integrated to obtain the displacement value of the head-mounted display device; according to the displacement value and the target acceleration Orientation information gets the target offset. It should be noted that the offset direction of the head-mounted display device is consistent with the direction information of the target acceleration.
  • the integral of acceleration is velocity
  • the integral of velocity is displacement. Therefore, the displacement can be obtained by integrating the acceleration twice, that is, the displacement value of the head-mounted display device can be obtained by integrating the target acceleration.
  • the target offset may be an upward offset of 1 cm.
  • the setting calibration part and the wearer may also move relatively.
  • the latter is relatively moving, but since the glasses are fixed entities when they leave the factory, the distance between any two points on the glasses body is relatively fixed. That is, the detecting part and the setting and calibrating part are arranged on the head-mounted display device according to a preset interval.
  • the setting and marking part may be a position with a fixed distance of 3 centimeters, 4 centimeters, 5 centimeters, etc. between the temple of the head-mounted display device and the lens, and the specific fixed distance value is not limited.
  • the displacement of the detection part of the detection part can be obtained according to the first acceleration
  • the displacement of the calibration part of the setting calibration part can be obtained according to the second acceleration.
  • the calibration part is in different parts of the same object, then the difference between the displacement of the detection part and the displacement of the calibration part is the relative displacement between the lens and the setting calibration part, that is, the head-mounted display device is obtained according to the first acceleration and the second acceleration.
  • Target offset at this time, the target offset is the difference between the displacement of the detection part and the displacement of the calibration part.
  • the detection part and the setting and marking part are arranged at both ends of the frame, so that the inversion of the display part on the plane where the frame is located can be detected, and the relative position of the lenses of the left and right eyes can be calculated according to the detecting part and the setting and marking part.
  • displacement correction can be performed on the image to be displayed according to the displacement value of the target offset
  • direction correction can be performed on the image to be displayed according to the direction information of the target offset
  • the target offset is the actual movement direction and displacement of the head-mounted display device.
  • the picture to be displayed needs to be opposite to the actual movement direction of the enhanced display glasses. That is, the displayed image is compensated and corrected in a direction opposite to that of the target offset and with the same displacement value.
  • the corresponding image to be displayed is moved downward by S for compensation; similarly, when the AR glasses are shaken downward by a displacement value of S, the corresponding image to be displayed is moved upward by S for compensation.
  • the relative acceleration between the head-mounted display device and the wearer can be obtained according to the acceleration data of different parts of the head-mounted display device, so as to obtain the relative offset between the head-mounted display device and the wearer; Correcting the image to be displayed according to the relative offset can keep the image to be displayed relatively stable with the wearer, which can well solve the image shaking problem caused by the shake of the wearer when speaking, and improve user experience.
  • FIG. 3 is a functional block diagram of an apparatus according to one embodiment.
  • the image correction device 300 may include:
  • the data acquisition module 301 is configured to acquire a first acceleration and a second acceleration of the head-mounted display device, wherein the first acceleration represents the acceleration of the detection part of the detection part of the head-mounted display device, and the second acceleration represents the acceleration of the detection part of the head-mounted display device.
  • the acceleration of the calibration part of the calibration part of the head-mounted display device is set, and the detection part and the setting calibration part are arranged on the head-mounted display device according to a preset interval.
  • a data processing module 302 configured to obtain a target offset of the head-mounted display device according to the first acceleration and the second acceleration, wherein the target offset represents the wearing of the head-mounted display device The relative offset between the eyes of the user and the display part;
  • a correction module 303 configured to correct the image to be displayed of the head-mounted display device according to the target offset.
  • the data processing module 302 is configured to perform vector calculation on the first acceleration and the second acceleration to obtain a target acceleration, and the target acceleration includes acceleration value and direction information; according to the target acceleration , to get the target offset.
  • the correction module 303 is configured to perform compensation correction on the displayed image with the direction opposite to the target offset and the same displacement value.
  • the data acquisition module 301 is configured to acquire the accelerations of the detection parts of the plurality of detection parts of the head-mounted display device, and obtain the first an acceleration; and, acquiring a plurality of calibration unit accelerations of a plurality of the set calibration units, and obtaining the second acceleration according to an average value of the accelerations of the plurality of calibration units.
  • This embodiment can obtain the relative acceleration between the head-mounted display device and the wearer according to the acceleration data of different parts of the head-mounted display device, thereby obtaining the relative offset between the head-mounted display device and the wearer; Correction of the image can make the image to be displayed and the wearer relatively stable, which can solve the image shaking problem caused by the shaking of the wearer when speaking, and improve the user experience.
  • Fig. 4 is a schematic diagram of a hardware structure of an electronic device according to another embodiment.
  • the electronic device 400 includes a processor 410 and a memory 420, the memory 420 is used to store an executable computer program, and the processor 410 is used to execute any of the above method embodiments according to the control of the computer program. Methods.
  • Each module of the above electronic device 400 may be implemented by the processor 410 in this embodiment executing a computer program stored in the memory 410, or may be implemented by other circuit structures, which are not limited here.
  • This embodiment can obtain the relative acceleration between the head-mounted display device and the wearer according to the acceleration data of different parts of the head-mounted display device, thereby obtaining the relative offset between the head-mounted display device and the wearer; Correction of the image can make the image to be displayed and the wearer relatively stable, which can solve the image shaking problem caused by the shaking of the wearer when speaking, and improve the user experience.
  • the wearable part 501 includes a display part 503 and a wearable body.
  • the display part is used to display images to be displayed, and the wearable body is used to fix the display part 503.
  • the wearable body can be an augmented reality glasses frame or an augmented reality helmet or other structures that are easy to wear.
  • the acceleration sensor 504 includes a first acceleration sensor 5041 and a second acceleration sensor 5042.
  • the first acceleration sensor 5041 is arranged on the detection part of the wearable part for obtaining the first acceleration of the detection part.
  • the second acceleration sensor 5042 is arranged on the device of the wearable part.
  • the calibration unit is used to obtain the second acceleration for setting the calibration unit.
  • the processor 502 is arranged in the wearable part, and the processor 502 is electrically connected with the acceleration sensor 504 and the display part 503, and the processor is used to obtain the target offset of the head-mounted display device according to the first acceleration and the second acceleration, and according to the target offset The amount of shift is used to correct the image to be displayed.
  • the processor is configured to obtain a first acceleration and a second acceleration of the head-mounted display device, wherein the first acceleration represents the acceleration of the detection part of the detection part of the head-mounted display device, and the second acceleration represents the acceleration of the detection part of the head-mounted display device.
  • the acceleration of the calibration part of the calibration part of the head-mounted display device, the detection part and the setting calibration part are set on the head-mounted display device according to a preset interval; according to the first acceleration and the second acceleration , to obtain the target offset of the head-mounted display device, wherein the target offset represents the relative offset between the eyes of the wearer of the head-mounted display device and the display component; according to the target offset Correct the image to be displayed on the head-mounted display device.
  • the head-mounted display device is an example of augmented reality glasses.
  • the display part 503 is a lens
  • the wearable body includes a frame 505 and temples 506, the frame is a detection part
  • the first acceleration sensor 50041 is arranged on the edge of the frame.
  • the mirror leg 506 includes a bending portion 5061 matching the wearer's ear
  • the bending portion 5061 is a setting calibration portion
  • the second acceleration sensor 5042 is disposed on the bending portion 5061 .
  • This design can make the first acceleration closer to the acceleration of the lens, and the second acceleration closer to the acceleration of the wearer's eyes, so that the obtained target offset is more accurate.
  • the detecting part and the setting and marking part can also be other two positions with a preset interval on the wearing part.
  • This embodiment can obtain the relative acceleration between the head-mounted display device and the wearer according to the acceleration data of different parts of the head-mounted display device, thereby obtaining the relative offset between the head-mounted display device and the wearer; Correction of the image can make the image to be displayed and the wearer relatively stable, which can solve the image shaking problem caused by the shaking of the wearer when speaking, and improve the user experience.
  • This embodiment can obtain the relative acceleration between the head-mounted display device and the wearer according to the acceleration data of different parts of the head-mounted display device, thereby obtaining the relative offset between the head-mounted display device and the wearer; Correction of the image can make the image to be displayed and the wearer relatively stable, which can solve the image shaking problem caused by the shaking of the wearer when speaking, and improve the user experience.
  • This embodiment also provides a computer-readable storage medium, on which a computer program is stored, and when the computer program is executed by a processor, the image optimization method according to the augmented reality device is realized.
  • a computer readable storage medium may be a tangible device that can retain and store instructions for use by an instruction execution device.
  • a computer readable storage medium may be, for example, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Computer-readable storage media include: portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM), or flash memory), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), memory stick, floppy disk, mechanically encoded device, such as a printer with instructions stored thereon A hole card or a raised structure in a groove, and any suitable combination of the above.
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • flash memory static random access memory
  • SRAM static random access memory
  • CD-ROM compact disc read only memory
  • DVD digital versatile disc
  • memory stick floppy disk
  • mechanically encoded device such as a printer with instructions stored thereon
  • a hole card or a raised structure in a groove and any suitable combination of the above.
  • computer-readable storage media are not to be construed as transient signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (e.g., pulses of light through fiber optic cables), or transmitted electrical signals.
  • Computer-readable program instructions described herein may be downloaded from a computer-readable storage medium to a respective computing/processing device, or downloaded to an external computer or external storage device over a network, such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers.
  • a network adapter card or a network interface in each computing/processing device receives computer-readable program instructions from the network and forwards the computer-readable program instructions for storage in a computer-readable storage medium in each computing/processing device .
  • Computer program instructions for carrying out operations of the present invention may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or Source or object code written in any combination, including object-oriented programming languages—such as Smalltalk, C++, etc., and conventional procedural programming languages—such as the “C” language or similar programming languages.
  • Computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server implement.
  • the remote computer can be connected to the user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (such as via the Internet using an Internet service provider). connect).
  • LAN local area network
  • WAN wide area network
  • an electronic circuit such as a programmable logic circuit, field programmable gate array (FPGA), or programmable logic array (PLA)
  • FPGA field programmable gate array
  • PDA programmable logic array
  • These computer-readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine such that when executed by the processor of the computer or other programmable data processing apparatus , producing an apparatus for realizing the functions/actions specified in one or more blocks in the flowchart and/or block diagram.
  • These computer-readable program instructions can also be stored in a computer-readable storage medium, and these instructions cause computers, programmable data processing devices and/or other devices to work in a specific way, so that the computer-readable medium storing instructions includes An article of manufacture comprising instructions for implementing various aspects of the functions/acts specified in one or more blocks in flowcharts and/or block diagrams.
  • each block in a flowchart or block diagram may represent a module, a portion of a program segment, or an instruction that includes one or more Executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by a dedicated hardware-based system that performs the specified function or action , or may be implemented by a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that implementation by means of hardware, implementation by means of software, and implementation by a combination of software and hardware are all equivalent.
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • registers hard disk, removable disk, CD-ROM, or any other Any other known storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请一些实施例公开了一种图像校正方法、装置、电子设备及头戴显示设备，涉及增强现实设备的图像处理技术领域，所述方法包括：获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。

Description

图像校正方法、装置、电子设备及头戴显示设备
本申请要求于2021年12月20日提交中国专利局、申请号为202111560897.X、发明名称为“图像校正方法、装置、电子设备及头戴显示设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及增强现实设备的图像处理技术领域，更具体地，涉及图像校正方法、装置、电子设备及头戴显示设备。
背景技术
近年来，增强现实(Augmented Reality，下文简称为AR)技术逐渐兴起，AR应用越来越受到大众的欢迎，相应的AR眼镜的需求与日俱增。
人们在佩戴AR眼镜的过程中也会出现一些问题，例如，当AR眼镜的佩戴者在使用的过程中与人交谈时，面部肌肉自然会出现舒张，面部肌肉的舒张又会造成AR眼镜上下抖动，从而使得AR眼镜中的图像来回晃动，严重影响了佩戴者的使用体验。
基于上述缺点，为了提高消费者的使用体验，解决因佩戴者的交谈带来的图像抖动是亟需解决的问题。
发明内容
本公开实施例的一个目的是提供一种图像校正方法、装置、电子设备及头戴显示设备的新的技术方案。
根据本公开的第一方面，提供一种图像校正方法，应用于头戴显示设备，所述方法包括：获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量 表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
可选地，所述根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，包括：对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；根据所述目标加速度，得到所述目标偏移量。
可选地，所述根据所述目标加速度，得到所述目标偏移量，包括：对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
可选地，所述根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正，包括：对所述待显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
可选地，所述检测部为多个，所述获取头戴显示设备的第一加速度和第二加速度，包括：获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
根据本公开的第二方面，还提供了一种图像校正装置，所述装置包括：数据获取模块，用于获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述标定部在所述头戴显示设备按照预设间隔设置；数据处理模块，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；校正模块，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
根据本公开的第三方面，还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据第一方面中任意一项所述的方法。
根据本公开的第四方面，提供一种头戴显示设备，包括：穿戴部件，所述穿戴部件包括显示部件和穿戴本体，所述显示部件用于显示待显示图像，所述穿戴本体用于固定所述显示部件；加速度传感器，所述加速度传感器包括第一加速度传感器和第二加速度传感器，所述第一加速度传感器设置于所述穿戴部件的检测部，用于获取所述检测部的第一加速度，所述第二加速度传感器设置于所述穿戴部件的设定标定部，用于获取所述设定标定部的第二加速度；处理器，所述处理器与所述加速度传感器和所述显示部件电连接，所述处理器用于根据所述第一加速度和第二加速度得到所述头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。
可选地，所述显示部件为镜片，所述穿戴本体包括镜框和镜腿，所述镜框为检测部，所述第一加速度传感器设置于所述镜框边缘，所述镜腿包括与佩戴者耳部相匹配的弯折部，所述弯折部为设定标定部，第二加速度传感器设置于所述弯折部。
根据本公开的第五方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的方法。
本公开实施例的一个有益效果在于，本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一部分附图，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本实施例提供的一种图像校正方法的步骤流程图；
图2为本实施例提供的目标加速度的矢量图；
图3为本实施例提供的一种图像校正装置的结构框图；
图4是根据一个实施例的电子设备的方框原理图；
图5是根据一个实施例的头戴显示设备的硬件结构连接关系示意图；
图6是根据一个实施例的头戴显示设备的立体视图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例的一个应用场景为用户使用头戴显示设备，尤其是一种AR眼镜的场景。
在实现的过程中，在用户使用AR眼镜，且正在与他人交谈的情况下，会出现因为面部肌肉的运动导致增强现实眼镜的图像显示出现抖动的问题。
针对以上实施方式存在的技术问题，发明人提出了一种图像校正方法，通过检测AR眼镜的检测部的加速度、设定标定部的加速度，来得到镜片相对 于佩戴者的相对加速度，根据所述相对加速度得到AR眼镜的相对位移量，根据该相对位移量对图像进行补偿。
下面，参照附图描述根据本发明的各个实施例和例子。
如图1所示，本实施例的图像校正方法可以包括如下步骤S110～S130：
S110、获取头戴显示设备的第一加速度和第二加速度。
本实施例中，头戴显示设备包括显示部件和穿戴部件，例如，显示部件为镜片，用于展示待显示图片，穿戴部件用于实现头戴显示设备与佩戴者的固定，例如增强现实眼镜的镜架，或者增强现实头盔的壳体。
以显示部件为镜片为例，在佩戴者说话时，由于嘴部或眼部的动作会带动镜片上下移动，此时镜片会相对于佩戴者的眼睛产生相对位移，为了检测镜片相对于佩戴者眼睛产生的相对位移，本实施例需要获取头戴显示设备的第一加速度和第二加速度。
其中，第一加速度表征头戴显示设备的检测部的检测部加速度，其中，检测部可以设于镜框，也可以设于镜腿，第二加速表征头戴显示设备的设定标定部的标定部加速度，检测部和标定部在头戴显示设备按照预设间隔设置。例如，检测部设置在镜框上，设定标定部设置在镜腿上；检测部与标定部同时设置在镜腿上，可以理解的是头戴显示设备是实体，其上的任意两点之间的距离是固定的，因此可以根据实际需求在头戴显示设备设置具有预设间隔的检测部和设定标定部，预设间隔要小于头戴显示设备上最远两点之间的距离。
需要说明的是，设定标定部可以是相对于佩戴者相对静止的标定部，也可以是相对于佩戴者相对运动的标定部。
在一些例子中，头戴显示设备也可以是增强现实头盔等AR设备，例如，在对增强现实头盔进行图像校正的情况下，设定标定部可以是头盔上与佩戴者接触的部位。
本实施例中，为了提高校正的精度，第一加速度可以是多个检测部的加速度的均值，即获取关于头戴显示设备的多个检测部加速度，根据多个检测部加速度的均值，得到第一加速度。
在一个例子中，多个检测部加速度可以是一个加速度传感器采集到的多次检测部加速度值，也可以是多个加速度传感器采集到的对应的检测部加速 度值。
本实施例中，为了提高校正的精度，第二加速度可以是多个标定部加速度的均值，即获取关于设定标定部的多个标定部加速度，根据多个标定部加速度的均值，得到第二加速度。
本实施例中，加速度传感器可以是三轴加速度传感器。
可以理解的是第一加速度和第二加速度是矢量，也就是第一加速度和第二加速度是具有大小和方向的矢量。
S120、根据第一加速度和第二加速度，得到头戴显示设备的目标偏移量。
本实施例中，目标偏移量表征头戴显示设备的佩戴者的眼睛与显示部件的相对偏移量。
本实施例中，以检测部为增强现实眼镜的镜框，显示部件为镜片为例，设定标定部与佩戴者相对静止为例，由于镜片固定设置在镜框内，因此镜片与镜框的相对于眼部上下或左右的方向上的加速度是相同的。由步骤S110可知，第一加速度表征镜片加速度，第二加速度表征设定标定部的标定部加速度，设定标定部相对于佩戴者相对静止，而当佩戴者说话时，如果镜片相对于佩戴者是运动的，也就是说，镜片相对于设定标定部是运动的，那么，第一加速度与第二加速度的差值也就是镜片与设定标定部的相对加速度，由于加速度是速度的变化率，速度又是位移的变化率。即加速度是速度的导数，速度是位移的导数，因此加速度是位移的二阶导数。因此可以镜片与设定标定部的相对加速度得到镜片与设定标定部的相对距离，也就是目标偏移量。
本实施例中，对第一加速度和第二加速度进行矢量计算，得到目标加速度，目标加速度包括加速度值和方向信息。上述目标加速度即为镜片与设定标定部的相对加速度。
参考图2，图2为目标加速度的矢量计算图。图2中，a2为第一加速度，a1为第二加速度，a2为目标加速度，其中，a3＝a2-a1，即对第一加速度和第二加速度进行矢量计算，得到目标加速度。
本实施例中，得到目标加速度之后，根据目标加速度，得到目标偏移量。可以理解的是目标偏移量包括偏移的方向以及偏移的具***移，因此，本实施例中，对目标加速度进行积分运算，得到头戴显示设备的位移值；根据位移值和目标加速度的方向信息得到目标偏移量。需要说明的是，头戴显示设 备的偏移方向与所述目标加速度的方向信息一致。
在一个例子中，加速度的积分是速度，速度的积分是位移，因此对加速度进行二次积分可以得到位移，即对目标加速度进行积分运算，得到头戴显示设备的位移值。
例如，目标偏移量可以是向上偏移1厘米。
需要说明的是，在另一个例子中，设定标定部与佩戴者也可以是相对运动的，可以理解的是，在头戴显示设备抖动的过程中，眼镜与佩戴者接触的部位相对于佩戴者是相对运动的，但是由于眼镜在出厂时是固定的实体，其眼镜本体上任意两点的距离是相对固定的，若设定标定部是头戴显示设备与镜片具有设定距离的位置，即检测部与设定标定部在头戴显示设备按照预设间隔设置。
例如，设定标定部可以是头戴显示设备的镜腿与镜片之间具有固定距离3厘米的位置处、4厘米的位置处、5厘米的位置处等，具体固定距离值不做限定。
基于上述例子，由于检测部和设定标定部的距离固定，则可以根据第一加速度得到检测部的检测部位移，根据第二加速度得到设定标定部的标定部位移，由于检测部和设定标定部在同一物体的不同部位，则检测部位移和标定部位移的差值，则为镜片与设定标定部的相对位移，也就是根据第一加速度和第二加速度，得到头戴显示设备的目标偏移量，此时目标偏移量为检测部位移和标定部位移的差值。
在另一个实施例中，检测部和设定标定部设于镜框的两端，从而可以检测显示部件在镜框所在平面上的翻转，可以根据检测部和设定标定部计算出左右眼的镜片相对于眼镜在镜片所在平面出的翻转位移，即目标偏移量。
S130、根据目标偏移量对头戴显示设备的待显示图像进行校正。
本实施例中，可以根据目标偏移量的位移值对待显示图像进行位移校正，以及，根据目标偏移量的方向信息对待显示图像进行方向校正。
可以理解的是，S120得到的是目标偏移量是头戴显示设备的实际运动方向和位移量，为了使显示的虚拟画面始终处于佩戴者眼睛的正前方，也就是显示的图像与佩戴者眼睛保持相对稳定，那么待显示的画面需要与增强显示眼镜的实际运动方向相反。即对显示图像进行与所述目标偏移量的方向相反、 位移值相同的补偿校正。
例如：AR眼镜向上抖动位移值S，将相应的待显示图像向下移动S进行补偿；同理，当AR眼镜向下抖动位移值S时，将相应的待显示图像向上移动S进行补偿。
根据以上步骤S110～S130可知，本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
<设备实施例>
图3是根据一个实施例的装置的原理框图。如图3所示，该图像校正装置300可以包括：
数据获取模块301，用于获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置。
数据处理模块302，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与显示部件的相对偏移量；
校正模块303，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
在一个实施例中，该数据处理模块302，用于对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；根据所述目标加速度，得到所述目标偏移量。
在一个实施例中，该数据处理模块302，用于对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
在一个实施例中，该校正模块303，用于对所述显示图像进行与所述目标 偏移量的方向相反、位移值相同的补偿校正。
在一个实施例中，该数据获取模块301，用于获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
具体的各模块的功能，在上述方法实施例中均有描述，在此不再赘述。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
图4是根据另一个实施例的电子设备的硬件结构示意图。
如图4所示，该电子设备400包括处理器410和存储器420，该存储器420用于存储可执行的计算机程序，该处理器410用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。
以上电子设备400的各模块可以由本实施例中的处理器410执行存储器410存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例还提供一种头戴显示设备500，参考图5，包括：穿戴部件501、加速度传感器504和处理器502。
穿戴部件501包括显示部件503和穿戴本体，显示部件用于显示待显示图像，穿戴本体用于固定显示部件503，且穿戴本体可以是增强现实眼镜架或者增强现实头盔等便于佩戴的架构。
加速度传感器504包括第一加速度传感器5041和第二加速度传感器5042， 第一加速度传感器5041设置于穿戴部件的检测部，用于获取检测部的第一加速度，第二加速度传感器5042设置于穿戴部件的设定标定部，用于获取设定标定部的第二加速度。
处理器502设置在穿戴部件内，处理器502与加速度传感器504和显示部件503电连接，处理器用于根据第一加速度和第二加速度得到头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。具体地，处理器用于获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
具体地，处理器的功能在上述方法实施例中均有描述，在此不再赘述。
本实施例以头戴显示设备为增强现实眼镜为例，参考图6，显示部件503为镜片，穿戴本体包括镜框505和镜腿506，镜框为检测部，第一加速度传感器50041设置于镜框边缘，镜腿506包括与佩戴者耳部相匹配的弯折部5061，弯折部5061为设定标定部，第二加速度传感器5042设置于弯折部5061。此设计能够让第一加速度更加贴近镜片的加速度，让第二加速度更加贴近佩戴者的眼部加速度，从而得到的目标偏移量更加准确。
当然检测部和设定标定部也可以是穿戴部件的其他具有预设间隔的两个位置。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者 保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据增强现实设备的图像优化方法。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是―但不限于―电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
本说明书中各个实施例采用并列或者递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处可参见方法部分说明。
本领域普通技术人员还可以理解，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

  1. 一种图像校正方法，其特征在于，应用于头戴显示设备，所述头戴显示设备包括显示部件和穿戴部件，所述方法包括：
    获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；
    根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；
    根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，包括：
    对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；
    根据所述目标加速度，得到所述目标偏移量。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述目标加速度，得到所述目标偏移量，包括：
    对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；
    根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正，包括：
    对所述待显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
  5. 根据权利要求1所述的方法，其特征在于，所述检测部为多个，所述获取头戴显示设备的第一加速度和第二加速度，包括：
    获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
  6. 一种图像校正装置，其特征在于，所述装置包括显示部件和穿戴部件，以及
    数据获取模块，用于获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；
    数据处理模块，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；
    校正模块，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
  7. 一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-6中任意一项所述的方法。
  8. 一种头戴显示设备，其特征在于，包括：
    穿戴部件，所述穿戴部件包括显示部件和穿戴本体，所述显示部件用于显示待显示图像，所述穿戴本体用于固定所述显示部件；
    加速度传感器，所述加速度传感器包括第一加速度传感器和第二加速度传感器，所述第一加速度传感器设置于所述穿戴部件的检测部，用于获取所述检测部的第一加速度，所述第二加速度传感器设置于所述穿戴部件的设定 标定部，用于获取所述设定标定部的第二加速度；
    处理器，所述处理器与所述加速度传感器和所述显示部件电连接，所述处理器用于根据所述第一加速度和第二加速度得到所述头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。
  9. 根据权利要求8所述的头戴显示设备，其特征在于，所述显示部件为镜片，所述穿戴本体包括镜框和镜腿，所述镜框为检测部，所述第一加速度传感器设置于所述镜框边缘，所述镜腿包括与佩戴者耳部相匹配的弯折部，所述弯折部为设定标定部，第二加速度传感器设置于所述弯折部。
  10. 一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任意一项所述的方法。
PCT/CN2021/140876 2021-12-20 2021-12-23 图像校正方法、装置、电子设备及头戴显示设备 WO2023115460A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111560897.X 2021-12-20
CN202111560897.XA CN114356081A (zh) 2021-12-20 2021-12-20 图像校正方法、装置、电子设备及头戴显示设备

Publications (1)

Publication Number Publication Date
WO2023115460A1 true WO2023115460A1 (zh) 2023-06-29

Family

ID=81100402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/140876 WO2023115460A1 (zh) 2021-12-20 2021-12-23 图像校正方法、装置、电子设备及头戴显示设备

Country Status (2)

Country Link
CN (1) CN114356081A (zh)
WO (1) WO2023115460A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610044A (zh) * 2017-08-29 2018-01-19 歌尔科技有限公司 图像处理方法、计算机可读存储介质及虚拟现实头戴设备
US20180217664A1 (en) * 2015-11-30 2018-08-02 Alps Electric Co., Ltd. Calibration method, portable device, and computer-readable storage medium
CN111866493A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像校正方法、装置及设备
CN111968176A (zh) * 2020-07-17 2020-11-20 歌尔科技有限公司 头戴设备的位姿确定方法、装置、设备及存储介质
CN112213856A (zh) * 2014-07-31 2021-01-12 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
CN112689869A (zh) * 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112213856A (zh) * 2014-07-31 2021-01-12 三星电子株式会社 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
US20180217664A1 (en) * 2015-11-30 2018-08-02 Alps Electric Co., Ltd. Calibration method, portable device, and computer-readable storage medium
CN107610044A (zh) * 2017-08-29 2018-01-19 歌尔科技有限公司 图像处理方法、计算机可读存储介质及虚拟现实头戴设备
CN112689869A (zh) * 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
CN111866493A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像校正方法、装置及设备
CN111968176A (zh) * 2020-07-17 2020-11-20 歌尔科技有限公司 头戴设备的位姿确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114356081A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US10043318B2 (en) Display synchronized image warping
CN105704369B (zh) 一种信息处理方法及装置、电子设备
AU2016378555A1 (en) Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
WO2023116016A1 (zh) 增强现实设备的图像优化方法、装置、电子设备及***
US11234070B2 (en) Manufacturing a cartilage conduction audio device
WO2020197839A1 (en) Determination of acoustic parameters for a headset using a mapping server
US10812890B2 (en) Cartilage conduction audio system for eyewear devices
JP2021511699A (ja) センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
CN108463840A (zh) 信息处理设备、信息处理方法以及记录介质
US11644894B1 (en) Biologically-constrained drift correction of an inertial measurement unit
EP3445066A1 (en) Cartilage conduction audio system for eyewear devices
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN113641088B (zh) 用于深度传感的时间数字转换器
US20220335638A1 (en) Depth estimation using a neural network
WO2023115460A1 (zh) 图像校正方法、装置、电子设备及头戴显示设备
US11997454B1 (en) Power efficient acoustic tracking of sound sources
US20230305625A1 (en) Eye Tracking Data Filtering
JP6621167B1 (ja) 動き推定装置、電子機器、制御プログラム及び動き推定方法
US20220180473A1 (en) Frame Rate Extrapolation
US11838486B1 (en) Method and device for perspective correction using one or more keyframes
US20240095958A1 (en) Methods for Infield Camera Calibrations
GB2608705A (en) Eye tracking data filtering
CN117850038A (zh) 头戴设备、头戴设备的形变状态识别方法及装置
CN117714668A (zh) 用于现场相机校准的方法
EP4298803A1 (en) Audio source amplification with speaker protection features and internal voltage and current sensing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968603

Country of ref document: EP

Kind code of ref document: A1