CN109725728A - 一种ar设备的显示修正方法和装置 - Google Patents
一种ar设备的显示修正方法和装置 Download PDFInfo
- Publication number
- CN109725728A CN109725728A CN201811653173.8A CN201811653173A CN109725728A CN 109725728 A CN109725728 A CN 109725728A CN 201811653173 A CN201811653173 A CN 201811653173A CN 109725728 A CN109725728 A CN 109725728A
- Authority
- CN
- China
- Prior art keywords
- upr
- equipment
- user perspective
- matrix
- projection matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种AR设备的显示修正方法和装置,其中,方法包括:AR设备启动时根据当前的人眼位置,生成当前的用户视角矩阵;所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,生成当前的用户视角渲染UPR投影矩阵;所述AR设备根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。采用本发明,能够修正图像畸变的问题,且实现成本低。
Description
技术领域
本发明涉及移动通信技术,特别是涉及一种增强现实(AR)设备的显示修正方法和装置。
背景技术
现有的AR技术中,屏幕显示的图像和使用者眼睛观察到的实际图像,有着相当的畸变。如图1所示,通常AR设备使用时,显示的图像内容边界和人眼观察到的实际图像不一致。同时,AR设备显示的图像不能随着设备的晃动,视角的转变,以及使用者的眼睛的位置变化而变化,使得使用者观察到的AR图像无法同实际看到的景象完美过渡,让AR的体验不完美。
目前针对上述图像畸变的问题,已提出的解决方案通常需要添加额外的图像采用部件(如两个摄像机或相机),从而导致实现成本较高。
发明内容
有鉴于此,本发明的主要目的在于提供一种AR设备的显示修正方法和装置,能够修正图像畸变的问题,且实现成本低。
为了达到上述目的,本发明提出的技术方案为:
一种AR设备显示修正方法,包括:
AR设备启动时根据当前的人眼位置,生成当前的用户视角矩阵;
所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,生成当前的用户视角渲染UPR投影矩阵;
所述AR设备根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
较佳地,所述方法进一步包括:
所述AR设备对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;
判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
较佳地,所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地,按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
较佳地,按照PUPR=PeMr→sMr,计算当前的用户视角渲染UPR投影矩阵;其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量,所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种AR设备显示修正装置,设于AR设备中,包括:
视角矩阵生成单元,用于根据当前的人眼位置,生成当前的用户视角矩阵;
UPR投影矩阵生成单元,用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,计算当前的用户视角渲染UPR投影矩阵;
场景渲染单元,用于根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
较佳地,所述视角矩阵生成单元,进一步用于对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则触发UPR投影矩阵生成单元利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
较佳地,所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地,所述视角矩阵生成单元,用于按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
较佳地,所述视角矩阵生成单元,用于按照PUPR=PeMr→sMr,生成当前的用户视角渲染UPR投影矩阵;其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量,所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储指令,其特征在于,所述指令在由处理器执行时使得所述处理器执行如上述的AR设备显示修正方法的步骤。
本发明实施例还提供了一种电子设备,包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
综上所述,本发明实施例提出的AR设备显示修正方案中,AR设备根据人眼位置,生成用户视角矩阵;然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵,生成当前的UPR投影矩阵;最后,基于该UPR投影矩阵,进行用户视角渲染。如此,通过利用AR设备的图像采集装置和相关传感器,将AR设备拍摄到的图像结合人眼的位置、AR设备的位置、拍摄配置参数等,进行修正,可以达到与人眼实际观察的图像相统一,能够有效修正图像畸变的问题,且不需要额外增加图像采集设备,从而使得应用成本较低。
附图说明
图1为现有的AR设备显示图像畸变示意图;
图2为本发明实施例的方法流程示意图;
图3为本发明实施例实现的图像畸变修正示意图;
图4-6为本发明实施例的应用场景示例图;
图7-10为本发明实施例的应用领域示例效果图;
图11为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的主要设计思想是:通过设备的摄像头和相关传感器,结合人眼的位置、AR设备的位置、角度等参数,对AR设备拍摄到的图像进行修正,以达到与人眼实际观察的图像相统一,并且由于不需要额外添加图像采集设备,从而可以有效降低实现成本。
图2为本发明实施例的方法流程示意图,如图2所示,该实施例实现的AR设备显示修正方法主要包括:
步骤201、AR设备启动时根据当前的人眼位置,生成当前的用户视角矩阵。
较佳地,可以按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
步骤202、所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,生成当前的用户视角渲染UPR投影矩阵。
较佳地,可以按照PUPR=PeMr→sMr,计算当前的用户视角渲染UPR投影矩阵。
其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量。该相对位置即两者分别在预设坐标系上的x轴、y轴和z轴上的坐标差值,即(dx,dy,dz)。考虑到UPR投影矩阵的运算需要,可以按照构建Mr→s。
所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
在实际应用中,所述拍摄配置参数可由本领域技术人员根据实际需要选择合适的参数,例如,可以包括分辨率、帧率、焦距和/或光圈等参数,但不限于此。
在实际应用中,在构建所述Mr时,为便于计算,可以先对所述拍摄配置参数进行归一化处理,然后再利用归一化处理后的参数生成相应的拍摄参数向量。
步骤203、所述AR设备根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
进一步地,AR设备启动后可以采用下述方法实时地根据当前的人眼位置,对UPR投影矩阵进行更新,以实时修正屏幕显示的图像,时刻保持显示图像与实际观察图像无缝对过渡。
所述AR设备对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
这里,具体可以使用2D面部识别技术并结合3D模型,实现人眼位置的追踪,其方法已为本领域技术人员所掌握,在此不再赘述。
较佳地,所述UPR投影矩阵更新条件可以包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值,但不限于此。
在上述实施例提出的AR设备显示修正方法中,AR设备根据当前的人眼位置,生成用户视角矩阵;然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵,生成当前的UPR投影矩阵;最后,基于该UPR投影矩阵,进行用户视角渲染。如此,能够有效修正图像畸变的问题,使得为用户呈现的修正后的图像可以与人眼实际观察的图像相统一(如图3所示),且不需要额外增加图像采集设备,从而具有较低的实现成本。
具体利用上述方法实施例可以实现如图4-6所示的几种情景优化:
1,AR设备移动时,AR设备可以检测到AR设备与人眼的位移和视角变化,自动修正显示图像,如图4所示。
2,人眼位置发生移动时,AR设备可以检测到AR设备与人眼的位移和视角变化,自动修正显示图像,如图5所示。
3,AR设备发生转动的时候,AR设备可以检测到AR设备与人眼的位移和视角变化,自动修正显示图像,如图6所示。
本发明实施例提供的AR设备显示图像修正方案,具体应用的领域可以包括:无畸变导航、无畸变AR游戏、医疗美容中的妆容对比、身体造影以及设计效果的展示等等(如图7-图10所示),不限于此。
与上述方法实施例相对应,本发明实施例还提供了一种AR设备显示修正装置,设于AR设备中,如图11所示,该装置包括:
视角矩阵生成单元,用于根据当前的人眼位置,生成当前的用户视角矩阵;
UPR投影矩阵生成单元,用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,计算当前的用户视角渲染UPR投影矩阵;
场景渲染单元,用于根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
较佳地,所述视角矩阵生成单元,进一步用于对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则触发UPR投影矩阵生成单元利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
较佳地,所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地,所述视角矩阵生成单元,用于按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
较佳地,所述视角矩阵生成单元,用于按照PUPR=PeMr→sMr,生成当前的用户视角渲染UPR投影矩阵;其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量,所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储指令,其特征在于,所述指令在由处理器执行时使得所述处理器执行如上述的AR设备显示修正方法的步骤。
本发明实施例还提供了一种电子设备,包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
另外,本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本发明。此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还公开了一种存储介质,其中存储有数据处理程序,该数据处理程序用于执行本发明上述方法的任何一种实施例。
另外,本发明所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种AR设备显示修正方法,其特征在于,包括:
AR设备启动时根据当前的人眼位置,生成当前的用户视角矩阵;
所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,生成当前的用户视角渲染UPR投影矩阵;
所述AR设备根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
所述AR设备对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;
判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
3.根据权利要求2所述的方法,其特征在于,所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
4.根据权利要求1所述的方法,其特征在于,按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
5.根据权利要求4所述的方法,其特征在于,按照PUPR=PeMr→sMr,生成当前的用户视角渲染UPR投影矩阵;其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量,所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
6.一种AR设备显示修正装置,其特征在于,设于AR设备中,包括:
视角矩阵生成单元,用于根据当前的人眼位置,生成当前的用户视角矩阵;
UPR投影矩阵生成单元,用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵,计算当前的用户视角渲染UPR投影矩阵;
场景渲染单元,用于根据所述UPR投影矩阵,进行用户视角渲染,并显示相应的用户视角渲染场景。
7.根据权利要求6所述的装置,其特征在于,所述视角矩阵生成单元,进一步用于对人眼位置进行实时跟踪,根据当前的人眼位置,生成用户视角矩阵;判断当前是否达到预设的UPR投影矩阵更新条件,如果是,则触发UPR投影矩阵生成单元利用当前的用户视角矩阵,对当前的所述UPR投影矩阵进行更新。
8.根据权利要求7所述的装置,其特征在于,所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
9.根据权利要求6所述的装置,其特征在于,所述视角矩阵生成单元,用于按照生成当前的用户视角矩阵,其中,Pe为所述用户视角矩阵,所述人眼位置的坐标为[ex,ey,ez]。
10.根据权利要求9所述的装置,其特征在于,所述视角矩阵生成单元,用于按照PUPR=PeMr→sMr,生成当前的用户视角渲染UPR投影矩阵;其中,Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量,所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
11.一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储指令,其特征在于,所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的AR设备显示修正方法的步骤。
12.一种电子设备,其特征在于,包括如权利要求11所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811653173.8A CN109725728B (zh) | 2018-12-29 | 2018-12-29 | 一种ar设备的显示修正方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811653173.8A CN109725728B (zh) | 2018-12-29 | 2018-12-29 | 一种ar设备的显示修正方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109725728A true CN109725728A (zh) | 2019-05-07 |
CN109725728B CN109725728B (zh) | 2022-02-08 |
Family
ID=66299539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811653173.8A Active CN109725728B (zh) | 2018-12-29 | 2018-12-29 | 一种ar设备的显示修正方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109725728B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021237430A1 (en) * | 2020-05-26 | 2021-12-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of controlling image creating display device, and image creating display device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105704468A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
CN106412562A (zh) * | 2015-07-31 | 2017-02-15 | 深圳创锐思科技有限公司 | 三维场景中显示立体内容的方法及其*** |
CN106600672A (zh) * | 2016-11-29 | 2017-04-26 | 上海金陵电子网络股份有限公司 | 一种基于网络的分布式同步渲染***和方法 |
CN107564089A (zh) * | 2017-08-10 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 三维图像处理方法、装置、存储介质和计算机设备 |
CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验*** |
US20180335839A1 (en) * | 2017-05-22 | 2018-11-22 | Htc Corporation | Eye tracking method, electronic device, and non-transitory computer readable storage medium |
CN108921050A (zh) * | 2018-06-14 | 2018-11-30 | 华中科技大学 | 一种基于移动端的虚拟现实图像处理*** |
CN109063671A (zh) * | 2018-08-20 | 2018-12-21 | 三星电子(中国)研发中心 | 用于智能化妆的方法及装置 |
-
2018
- 2018-12-29 CN CN201811653173.8A patent/CN109725728B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412562A (zh) * | 2015-07-31 | 2017-02-15 | 深圳创锐思科技有限公司 | 三维场景中显示立体内容的方法及其*** |
CN105704468A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
CN106600672A (zh) * | 2016-11-29 | 2017-04-26 | 上海金陵电子网络股份有限公司 | 一种基于网络的分布式同步渲染***和方法 |
US20180335839A1 (en) * | 2017-05-22 | 2018-11-22 | Htc Corporation | Eye tracking method, electronic device, and non-transitory computer readable storage medium |
CN107564089A (zh) * | 2017-08-10 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 三维图像处理方法、装置、存储介质和计算机设备 |
CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验*** |
CN108921050A (zh) * | 2018-06-14 | 2018-11-30 | 华中科技大学 | 一种基于移动端的虚拟现实图像处理*** |
CN109063671A (zh) * | 2018-08-20 | 2018-12-21 | 三星电子(中国)研发中心 | 用于智能化妆的方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021237430A1 (en) * | 2020-05-26 | 2021-12-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of controlling image creating display device, and image creating display device |
Also Published As
Publication number | Publication date |
---|---|
CN109725728B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107079141B (zh) | 用于三维视频的图像拼接 | |
CN110249626B (zh) | 增强现实图像的实现方法、装置、终端设备和存储介质 | |
CN107666606B (zh) | 双目全景图像获取方法及装置 | |
CN107180406B (zh) | 图像处理方法和设备 | |
CN109743892B (zh) | 虚拟现实内容的显示方法和装置 | |
US20170186219A1 (en) | Method for 360-degree panoramic display, display module and mobile terminal | |
CN109644231A (zh) | 移动设备的改进的视频稳定性 | |
CN103414844A (zh) | 视频抖动修正方法及装置 | |
WO2017032336A1 (en) | System and method for capturing and displaying images | |
CN113875220B (zh) | 拍摄防抖方法、装置、终端及存储介质 | |
JP7253622B2 (ja) | パノラマ映像の手ぶれ補正方法及び携帯端末 | |
WO2020125130A1 (zh) | 一种全景视频防抖的方法及便携式终端 | |
WO2020069427A1 (en) | Panoramic light field capture, processing and display | |
CN108174178A (zh) | 一种图像显示方法、装置及虚拟现实设备 | |
CN109840946A (zh) | 虚拟对象显示方法及装置 | |
CN107065164B (zh) | 图像展示方法及装置 | |
JP2022514321A (ja) | パノラマ映像の手ぶれ補正方法及び携帯端末 | |
TW201447468A (zh) | 全景影像的拍攝方法 | |
CN111651052A (zh) | 虚拟沙盘的展示方法、装置、电子设备及存储介质 | |
CN107749955B (zh) | 全景相机姿态自适应测光调整方法、***及便携式终端 | |
CN109725728A (zh) | 一种ar设备的显示修正方法和装置 | |
US20210037225A1 (en) | Method of modifying an image on a computational device | |
CN110049226A (zh) | 一种全景图片素材的拍摄方法及*** | |
JP2008287588A (ja) | 画像処理装置および方法 | |
CN109218252A (zh) | 一种虚拟现实的显示方法、装置及其设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |