CN105611279B - 增强现实集成成像3d显示图像畸变的消除方法 - Google Patents
增强现实集成成像3d显示图像畸变的消除方法 Download PDFInfo
- Publication number
- CN105611279B CN105611279B CN201510977380.9A CN201510977380A CN105611279B CN 105611279 B CN105611279 B CN 105611279B CN 201510977380 A CN201510977380 A CN 201510977380A CN 105611279 B CN105611279 B CN 105611279B
- Authority
- CN
- China
- Prior art keywords
- micro
- amplification
- depth
- integration imaging
- microlens array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提出增强现实集成成像3D显示图像畸变的消除方法,本发明对微型集成成像显示单元进行节距缩放来消除垂轴畸变,对微型集成成像拍摄单元进行深度缩放来消除深度畸变,重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率,消除了图像畸变,同时通过分光棱镜的反射和透射作用,将放大的3D图像与真实3D物体进行叠加显示,实现高质量的增强现实集成成像3D显示。
Description
技术领域
本发明涉及集成成像技术和增强现实技术,特别涉及增强现实集成成像三维(3D)显示图像畸变的消除方法。
背景技术
增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,它将计算机生成的图形叠加到真实世界中,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。增强现实技术已广泛应用于医疗、军事、工业、电视转播、娱乐、旅游等领域。现有的增强现实技术通常显示二维(2D)图像或采用助视3D方式显示3D图像,显示的2D图像缺少了3D信息,而助视3D方式显示的3D图像被叠加到空间中的真实3D物体上时缺少了正确的深度线索,因此产生了调节与集合的差异,从而导致了视觉疲劳。集成成像3D显示采用微透镜阵列重建出原3D物体的真实光场信息,再现的全真3D图像能为观看者提供正确的深度线索,因此是一种真3D显示技术,而受到人们的重视。将集成成像3D显示与增强现实技术有机结合已成为一种趋势,微型集成成像3D显示装置紧凑、小巧,非常适合用于穿戴式的增强现实技术。然而微型集成成像重建的3D图像需进行放大才能与真实3D物体结合,这就需要对重建3D图像的畸变进行有效的消除。
发明内容
本发明提出增强现实集成成像3D显示图像畸变的消除方法。如附图1所示的增强现实集成成像3D显示重建的3D图像包含垂轴畸变和深度畸变,本发明对微型集成成像显示单元进行节距缩放来消除垂轴畸变,对微型集成成像拍摄单元进行深度缩放来消除深度畸变,重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率,消除了图像畸变,同时通过分光棱镜的反射和透射作用,将放大的3D图像与真实3D物体进行叠加显示,实现高质量的增强现实集成成像3D显示。
所述对微型集成成像显示单元进行节距缩放来消除垂轴畸变,如附图2所示。微型集成成像显示单元包含微透镜阵列和微图像阵列,微透镜阵列与微图像阵列的节距分别为p m 和p e ,将微图像阵列的节距p e 进行缩放,使其满足
(1)
其中F为凸透镜的焦距,u m 和u e 分别为微透镜阵列和微图像阵列与凸透镜的距离。微透镜阵列和微图像阵列经凸透镜的放大率分别为M m 和M e ,由下式表示:
(2)
(3)
微型集成成像显示单元经凸透镜放大后形成放大的集成成像显示单元,其中放大的微透镜阵列和放大的微图像阵列的节距分别为p m ′和p e ′,由下式表示:
(4)
(5)
因此在放大的集成成像显示单元中,放大的微透镜阵列和放大的微图像阵列具有相同的节距,放大的3D图像的垂轴放大率等于M m ,消除了重建3D图像的垂轴畸变。
所述对微型集成成像拍摄单元进行深度缩放来消除深度畸变,如附图3所示为微型集成成像拍摄单元的深度示意图,3D物点的深度z为
(6)
其中g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距,△x为同名点的视差值。对微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距g进行缩放,使其满足
(7)
其中g′为微型集成成像显示单元中微图像阵列和微透镜阵列的间距。附图4所示为微型集成成像显示单元的深度示意图,3D像点的深度z′为
(8)
因此,放大的3D图像的深度放大率M z 为
(9)
放大的3D图像的深度放大率等于垂轴放大率,从而消除了深度畸变。
放大的3D图像的光线经过分光棱镜反射进入人眼,而真实3D物体的光线经过分光棱镜透射进入人眼,在人眼视网膜上形成3D图像与真实3D物体叠加的影像,实现高质量的增强现实集成成像3D显示。
附图说明
附图1为增强现实集成成像3D显示的结构示意图
附图2为本发明提出的消除垂轴畸变的原理示意图
附图3为微型集成成像拍摄单元的深度示意图
附图4为微型集成成像显示单元的深度示意图
上述附图中的图示标号为:
1 微图像阵列,2 微透镜阵列,3 凸透镜,4 分光棱镜,5 微型3D图像,6放大的3D图像,7 真实3D物体,8 人眼,9 透射的光线,10反射的光线,11 放大的微图像阵列,12 放大的微透镜阵列,13 同名点,14 3D物点,15 3D像点。
应该理解上述附图只是示意性的,并没有按比例绘制。
具体实施方式
下面详细说明本发明的增强现实集成成像3D显示图像畸变的消除方法的一个典型实施例,对本发明进行进一步的具体描述。有必要在此指出的是,以下实施例只用于本发明做进一步的说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整,仍属于本发明的保护范围。
本发明提出增强现实集成成像3D显示图像畸变的消除方法。如附图1所示的增强现实集成成像3D显示重建的3D图像包含垂轴畸变和深度畸变,本发明方法对微型集成成像显示单元进行节距缩放来消除垂轴畸变,对微型集成成像拍摄单元进行深度缩放来消除深度畸变,重建的微型3D图像经过凸透镜放大后具有相同的垂轴和深度放大率,消除了图像畸变,同时通过分光棱镜的反射和透射作用,将放大的3D图像与真实3D物体进行叠加显示,实现高质量的增强现实集成成像3D显示。
所述对微型集成成像显示单元进行节距缩放来消除垂轴畸变,如附图2所示。微型集成成像显示单元包含微透镜阵列和微图像阵列,凸透镜的焦距为F=115mm,微透镜阵列和微图像阵列与凸透镜的距离分别为u m 和u e ,u m =90mm,u e =93.3mm,微透镜阵列与微图像阵列的节距分别为p m 和p e ,将微图像阵列的节距p e 进行缩放,使其满足,微透镜阵列与微图像阵列的节距取值分别为p m =1mm和p e =0.868mm,微透镜阵列和微图像阵列经凸透镜的放大率M m 和M e 分别由和表示,计算出微透镜阵列和微图像阵列经凸透镜的放大率分别为M m =4.6和M e =5.3。微型集成成像显示单元经凸透镜放大后形成放大的集成成像显示单元,其中放大的微透镜阵列和放大的微图像阵列的节距分别为p m ′和p e ′,由和表示,计算得出在放大的集成成像显示单元中,放大的微透镜阵列和放大的微图像阵列具有相同的节距,都为4.6mm,放大的3D图像的垂轴放大率等于4.6,消除了重建3D图像的垂轴畸变。
所述对微型集成成像拍摄单元进行深度缩放来消除深度畸变,如附图3所示为微型集成成像拍摄单元的深度示意图,3D物点的深度z为,其中△x为同名点的视差值,g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距,对微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距g进行缩放,使其满足,其中g′为微型集成成像显示单元中微图像阵列和微透镜阵列的间距。上述参数的取值为g′=3.3mm,△x=1.2mm,计算出g=0.717mm,3D物点的深度为z=16.5mm。附图4所示为微型集成成像显示单元的深度示意图,3D像点的深度z′为,计算出z′=75.9mm,放大的3D图像的深度放大率为=4.6。因此得出放大的3D图像的深度放大率和垂轴放大率相等,都为4.6,从而消除了深度畸变。
放大的3D图像的光线经过分光棱镜反射进入人眼,而真实3D物体的光线经过分光棱镜透射进入人眼,在人眼视网膜上形成3D图像与真实3D物体叠加的影像,实现高质量的增强现实集成成像3D显示。
Claims (1)
1.一种增强现实集成成像3D显示图像畸变的消除方法,其特征在于,对微型集成成像显示单元进行节距缩放来消除垂轴畸变,微型集成成像显示单元包含微透镜阵列和微图像阵列,微透镜阵列与微图像阵列的节距分别为p m 和p e ,将微图像阵列的节距p e 进行缩放,使其满足,其中F为凸透镜的焦距,u m 和u e 分别为微透镜阵列和微图像阵列与凸透镜的距离,微透镜阵列和微图像阵列经凸透镜的放大率分别为M m 和M e ,满足,,微型集成成像显示单元经凸透镜放大后形成放大的集成成像显示单元,其中放大的微透镜阵列和放大的微图像阵列的节距分别为p m ′和p e ′,满足,,因此在放大的集成成像显示单元中,放大的微透镜阵列和放大的微图像阵列具有相同的节距,放大的3D图像的垂轴放大率等于M m ,消除了重建3D图像的垂轴畸变;对微型集成成像拍摄单元进行深度缩放来消除深度畸变,3D物点的深度z为,其中g为微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距,△x为同名点的视差值,对微型集成成像拍摄单元中微透镜阵列和微图像阵列的间距g进行缩放,使其满足,其中g′为微型集成成像显示单元中微图像阵列和微透镜阵列的间距,3D像点的深度z′为,放大的3D图像的深度放大率M z 为,放大的3D图像的深度放大率等于垂轴放大率,从而消除了深度畸变;放大的3D图像的光线经过分光棱镜反射进入人眼,而真实3D物体的光线经过分光棱镜透射进入人眼,在人眼视网膜上形成3D图像与真实3D物体叠加的影像,实现高质量的增强现实集成成像3D显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510977380.9A CN105611279B (zh) | 2015-12-23 | 2015-12-23 | 增强现实集成成像3d显示图像畸变的消除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510977380.9A CN105611279B (zh) | 2015-12-23 | 2015-12-23 | 增强现实集成成像3d显示图像畸变的消除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105611279A CN105611279A (zh) | 2016-05-25 |
CN105611279B true CN105611279B (zh) | 2017-12-15 |
Family
ID=55990781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510977380.9A Active CN105611279B (zh) | 2015-12-23 | 2015-12-23 | 增强现实集成成像3d显示图像畸变的消除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105611279B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102455583B1 (ko) * | 2017-12-29 | 2022-10-17 | 엘지디스플레이 주식회사 | 입체 영상 표시 장치 |
CN109870820B (zh) * | 2019-03-26 | 2023-10-17 | 成都工业学院 | 针孔反射镜阵列集成成像增强现实装置及方法 |
CN110244469B (zh) * | 2019-06-19 | 2021-03-23 | 中国人民解放军陆军装甲兵学院 | 一种定向散射器位置和扩散角度的确定方法及*** |
CN110225329A (zh) * | 2019-07-16 | 2019-09-10 | 中国人民解放军陆军装甲兵学院 | 一种无赝像单元图像合成方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130314780A1 (en) * | 2012-05-25 | 2013-11-28 | 3M Innovative Properties Company | Lens designs for integral imaging 3d displays |
CN104391344B (zh) * | 2014-10-15 | 2015-12-02 | 东南大学 | 一种用于消除主瓣畸变像差的微透镜阵列设计方法 |
CN104883555B (zh) * | 2015-05-06 | 2017-01-11 | 四川大学 | 一种增强现实的集成成像3d显示装置 |
-
2015
- 2015-12-23 CN CN201510977380.9A patent/CN105611279B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105611279A (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7369507B2 (ja) | 可変焦点および/または物体認識を備えたウェアラブル3d拡張現実ディスプレイ | |
CN104883555B (zh) | 一种增强现实的集成成像3d显示装置 | |
CN105611279B (zh) | 增强现实集成成像3d显示图像畸变的消除方法 | |
Lambooij et al. | Visual discomfort in stereoscopic displays: a review | |
US8311318B2 (en) | System for generating images of multi-views | |
EP1143747A3 (en) | Processing of images for autostereoscopic display | |
US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
KR100901866B1 (ko) | 배경을 가지는 3차원 플로팅 디스플레이 방법 및 시스템 | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
CN104777620A (zh) | 虚拟现实3d场景用的景深识别光学装置及其成像方法 | |
Javidi et al. | Breakthroughs in photonics 2014: recent advances in 3-D integral imaging sensing and display | |
JP2022183177A (ja) | ヘッドマウントディスプレイ装置 | |
CN109870820A (zh) | 针孔反射镜阵列集成成像增强现实装置及方法 | |
JP2016225811A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR100764382B1 (ko) | 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법 | |
WO2007017834A3 (en) | Disparity value generator | |
Moreau | Visual immersion issues in Virtual Reality: a survey | |
US20230281916A1 (en) | Three dimensional scene inpainting using stereo extraction | |
CN204496115U (zh) | 虚拟现实3d场景用的景深识别光学装置 | |
Toyoura et al. | Mono-glass for providing distance information for people losing sight in one eye | |
CN209674113U (zh) | 针孔反射镜阵列集成成像增强现实装置 | |
CN207603821U (zh) | 一种基于集群和渲染的裸眼3d*** | |
WO2017222665A3 (en) | Presentation of scenes for binocular rivalry perception | |
CN109242518A (zh) | 一种ar增强现实立体防伪*** | |
Su et al. | Evaluation of depth perception based on binocular stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |