CN106991637B - 一种利用gpu并行计算实现多分辨率光场分解的方法 - Google Patents
一种利用gpu并行计算实现多分辨率光场分解的方法 Download PDFInfo
- Publication number
- CN106991637B CN106991637B CN201710113625.2A CN201710113625A CN106991637B CN 106991637 B CN106991637 B CN 106991637B CN 201710113625 A CN201710113625 A CN 201710113625A CN 106991637 B CN106991637 B CN 106991637B
- Authority
- CN
- China
- Prior art keywords
- light field
- index
- decomposition
- index map
- liquid crystal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 101150064138 MAP1 gene Proteins 0.000 claims abstract description 13
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101000894525 Homo sapiens Transforming growth factor-beta-induced protein ig-h3 Proteins 0.000 description 1
- 102100021398 Transforming growth factor-beta-induced protein ig-h3 Human genes 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 208000028485 lattice corneal dystrophy type I Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明公开一种利用GPU并行计算实现多分辨率光场分解的方法,包括:1)确定光场的采样频率;2)计算所有光线与多层液晶交点的像素的索引;3)将交点的索引排布成索引图1,矩阵单元的值就是索引值,4)将原始的三维场景的数据根据索引图1压缩;5)将采样点在索引图1的像素索引复制给采样点在LCD或者视图中采样单元中所有的像素形成索引图2;6)利用索引图1和索引图2,结合非负矩阵分解,将压缩的光场分解,得到压缩的分解图案;7)压缩的分解图案根据索引图2解压,成为可以最终显示在液晶屏上的分解图案。本发明通过需要处理的数据存储为图片的格式,使得计算大部分是利用GPU完成的,实现了快速计算。
Description
技术领域
本发明属于三维显示技术重构算法领域,具体涉及一种利用GPU并行计算实现多分辨率光场分解的方法。
背景技术
Gordon.et al提出了一种利用多层液晶重构光场的近眼显示技术。这项技术将大量的光场信息分解为可以用多层液晶屏显示的模式。实现了用较小信息量的显示器件实现较大信息量的光场显示。设备的信息利用率非常高。这项技术的设备简单,而且显示的光场信息量非常大,光场的分辨率高,具有单眼连续聚焦的效果。然而这项技术的光场分解计算量很大,耗时长。
显示***包括一个背光源,多层液晶屏和一个透镜。对于近眼显示,放置了一个透镜将场景成像在人眼聚焦的范围内。光学***的正方向是Z 轴的正方向。LCD和透镜的间距短于透镜的焦距,根据高斯定理,虚拟LCD 被成像在距离透镜很远的位置。
传统的多层液晶显示设备包括背光源和多层液晶。背光源的光线经过前后液晶屏的调制形成一个离散的光场L(k,l,i,j)。L(k,l,i,j)是由这些像素的索引来参数化的。矩阵Pf(k,l)和矩阵Pr(i,j)分别对应于前后液晶屏的显示图案。这个离散光场L(k,l,i,j)可以表示为矩阵Pf(k,l)和矩阵Pr(i,j)的张量积。用公式(2)表示:
这个离散光场再被透镜调制。这个调制的光场可以理解成由前后液晶屏的像调制产生的,用公式(3)表示为:
其中,Lm(k,l,i,j)表示经过透镜后的被调制的离散光场,Pmf(k,l)和Pmr(i,j) 分别对应于前虚拟LCD和后虚拟LCD的显示模式。
在一个两平面的坐标系中,原始光场可以表示为一个四维张量原始光场的重构可以被看作最小化Lm和的欧几里得距离,它可以用公式(4)表示:
这个分解的更新规则如公式(5)~(6)所示:
W是一个权重张量,用于对设置每个像素的权重值,表示的是哈达玛积;现有的光场分解算法,仅适用于分辨率是固定值的光场重构。
发明内容
为了实现多分辨率光场重构,本文发明提供了一种利用GPU并行计算实现多分辨率光场分解的方法,将光场分解,通过结合索引图,实现多分辨率光场重构。
本发明所采用的具体技术方案如下:
一种利用GPU并行计算实现多分辨率光场分解的方法,具体步骤如下:
1)根据人眼的视觉模型,决定光场的采样频率,采样频率的分布和人眼视觉角分辨率分布是一致的;
2)根据多层液晶的位置,和视点分布的位置,和光场的采样率,计算得出所有光线与多层液晶交点的像素的索引;
3)将交点的索引按列优先的方式从外到内的规则排布形成一个新的矩阵,矩阵单元的值就是索引值,这个矩阵为索引图1;
4)索引值的记录是利用索引图1的RGBA四通道记录的;
5)原始的三维场景的数据根据索引图1被压缩,得到一个压缩的光场;
6)根据每个采样点在索引图1的位置(像素的索引)和采样点在原来的LCD或者视图中采样单元的位置,将采样点在索引图1的像素索引复制给采样点在LCD或者视图中采样单元中所有的像素形成索引图2;
7)索引图2记录着采样点在索引图1中的位置,这个位置是利用索引图2的像素的RGBA的值来记录的;
8)利用索引图1和索引图2,结合非负矩阵分解,将压缩的光场分解,得到压缩的分解图案;
9)压缩的分解图案根据索引图2解压,成为可以最终显示在液晶屏上的分解图案。
优选的,原始三维场景的数据存储为四通道的图片格式。
本发明将需要处理的数据保存为图片的格式,实现了光场的快速分解。
附图说明
图1是本发明的原始光场采样示意图,解释索引图的生成和作用。
图2是本发明中由压缩的光场与LCD像素直接的对应关系示意图,其中,(a)图为S1(p,q),(b)图表示光线和多层液晶屏的几何对应关系, (c)图表示Pmf(k,l)的S2(k,l)或者Pmr(i,j)的S2(i,j),( d) 图表示P′mf(pf,qf) 或者P′mr(pr,qr);
图3是本发明中由得到的分解模式解压为可显示的图像的过程,其中,图(a)表示Pmf(k,l)的S2(k,l)或者Pmr(i,j)的S2(i,j),图(b)表示P′mf(pf,qf) 或者P′mr(pr,qr),图(c)表示Pmf(k,l)或者Pmr(i,j)。
具体实施方式
下面结合附图来详细说明本发明,但本发明并不仅限于此。
采用传统的重构算法重构一个大尺寸的光场,时间消耗量很大。为了减少计算时间,我们提出了一种基于人眼特性的重构算法。
与单一采样频率构建的光场图像不同,采用非均匀采样频率时图像的每一行像素的个数不相同,因此无法直接用一个矩阵表示。为了计算方便,将每个区域内的数据以按列优先的方式排列在一起,并以从外到内的顺序将不同区域的数据集合重新构建新的矩阵S(p,q),其中(p,q)是重新排列后图像(或称为压缩视图)的像素索引。首先,通过离散的角分辨率和LCD所在平面到人眼的距离得到LCD所在平面的离散空间分辨率。其次,根据离散空间分辨率的值和对应的视角范围将整个视场分成n个区域(如图1)。压缩视图是一个行列数相等的图片,它的行列数等于每个视图采样点总数开根号向上取整,压缩视图中多余的像素点的值设置为0.为了迅速的找到采样点的位置实现快速采样并且利用GPU加速并行运算,构建一个基准面的索引图S1(p,q)(索引图1)来存放S(p,q)相应元素的原始坐标(mr,mc)。整个压缩的光场为 可以被分解为压缩前液晶 P′mf(pf,qf)和压缩后液晶P′mr(pr,qr),(pf,qf)和(pr,qr)对应为压缩前后液晶像素的索引。把转化为的过程称之为光场的压缩。图1解释了光场的压缩,为的压缩示意图,左图为的一个视图示意图.右图为S(p,q)的示意图。按照同样的方法构建了前后液晶板的索引图1。
图2介绍了压缩光场的分解过程。对于每个视点,首先由光场的索引图S1(p,q)得到采样点S在原始光场的位置B(m0,n0)(图2-a),S与视点相连得到光线。光线与前后LCD的交点为A(i1,j1),C(i2,j2),(图2-b)。构建LCD1的索引图S2(k,l)(索引图2),其分辨率大小和液晶屏分辨率相同,只是每个像素存放的信息是P′mf(pf,qf)的像素序号(pf,qf)。采用索引图S2(k,l),得到A点的采样单元在P′mf(pf,qf)上的位置(m1,n1)。同理通过LCD2的索引图S2(i,j),得到LCD2上交点P在P′mr(pr,qr)上的位置 (m2,n2)。以此类推得到中所有光线和P′mf(pf,qf), P′mr(pr,qr)的对应关系。利用迭代公式(8,9),得到压缩光场的分解图案 P′mf(pf,qf),P′mr(pr,qr)。
为了显示重构的光场,需要将P′mf(pf,qf)和P′mr(pr,qr)转化为多分辨显示图像Pmf(k,l)和Pmr(i,j),转换的过程如图3表示的P′mf(pf,qf)或者 P′mr(pr,qr)的解压过程,图3(a)表示Pmf(k,l)的S2(k,l)或者Pmr(i,j)的 S2(i,j),图3(b)表示P′mf(pf,qf)或者P′mr(pr,qr),图3(c)表示Pmf(k,l)或者 Pmr(i,j)。通过S2(k,l)可以查询到每个像元存放在P′mf(pf,qf)中的数据,从而快速还原出液晶板上的图像Pmf(k,l)。同理通过S2(i,j),将P′mr(pr,qr)转化为Pmr(i,j)。把P′mf(pf,qf)转化Pmf(k,l)称为解压过程。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
为了能够利用索引图的像素值记录超大范围的地址,我们将索引图的格式设置为图像文件存储格式(png),利用索引图像素的RGBA值来存储像素的坐标。它们的关系式如公式(7)-(10)表述;
R=col-255*floor(col/255.00001); (7)
G=row-255*floor(row/255.00001); (8)
B=floor(col/255.00001); (9)
A=255-floor(row/255.00001); (10)
总结来说,基于人眼视觉特性的近眼光场显示的算法流程如下。首先,将原始光场按照人眼的视觉特性快速的压缩为只包含采样点信息的压缩的光场,并同样地得到两个LCD的压缩模式。其次,再根据公式(4)- (6)介绍的分解规则将压缩的光场分解得到前后LCD的压缩分解模式。最后,快速的将LCD的压缩分解模式解压得到多分辨率模式。
Claims (5)
1.一种利用GPU并行计算实现多分辨率光场分解的方法,其特征在于,具体步骤如下:
1)根据人眼的视觉模型,确定光场的采样频率;
2)根据多层液晶的位置、视点分布的位置和光场的采样率,计算得出所有光线与多层液晶交点的像素的索引;
3)将交点的索引按列优先的方式从外到内的规则排布形成一个新的矩阵,矩阵单元的值就是索引值,记矩阵为索引图1;
4)将原始的三维场景的数据根据索引图1压缩,得到一个压缩的光场;
5)根据每个采样点在索引图1的位置和采样点在原来的LCD或者视图中采样单元的位置,将采样点在索引图1的像素索引复制给采样点在LCD或者视图中采样单元中所有的像素形成索引图2;
构建LCD的索引图2,其分辨率大小和液晶屏分辨率相同,每个像素存放的信息是压缩前液晶的像素序号;
6)利用索引图1和索引图2,结合非负矩阵分解,将压缩的光场分解,得到压缩的分解图案;
7)压缩的分解图案根据索引图2解压,成为可以最终显示在液晶屏上的分解图案。
2.如权利要求1所述的利用GPU并行计算实现多分辨率光场分解的方法,其特征在于,采样频率的分布和人眼视觉角分辨率分布是一致的。
3.如权利要求1所述的利用GPU并行计算实现多分辨率光场分解的方法,其特征在于,索引值的记录是利用索引图1的RGBA四通道记录的。
4.如权利要求1所述的利用GPU并行计算实现多分辨率光场分解的方法,其特征在于,索引图2记录着采样点在索引图1中的位置,是利用索引图2的像素的RGBA的值来记录的。
5.如权利要求1所述的利用GPU并行计算实现多分辨率光场分解的方法,其特征在于,原始三维场景的数据存储为四通道的图片格式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710113625.2A CN106991637B (zh) | 2017-02-28 | 2017-02-28 | 一种利用gpu并行计算实现多分辨率光场分解的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710113625.2A CN106991637B (zh) | 2017-02-28 | 2017-02-28 | 一种利用gpu并行计算实现多分辨率光场分解的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106991637A CN106991637A (zh) | 2017-07-28 |
CN106991637B true CN106991637B (zh) | 2019-12-17 |
Family
ID=59413132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710113625.2A Active CN106991637B (zh) | 2017-02-28 | 2017-02-28 | 一种利用gpu并行计算实现多分辨率光场分解的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106991637B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108242063B (zh) * | 2018-02-06 | 2020-06-19 | 清华大学深圳研究生院 | 一种基于gpu加速的光场图像深度估计方法 |
CN109462924B (zh) * | 2018-10-11 | 2020-09-11 | 北方信息控制研究院集团有限公司 | 一种多层空间光调制自适应光场的照明方法 |
CN109829481B (zh) * | 2019-01-04 | 2020-10-30 | 北京邮电大学 | 一种图像分类方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104777615A (zh) * | 2015-04-17 | 2015-07-15 | 浙江大学 | 基于人眼跟踪的自适应高分辨近眼光场显示装置和方法 |
CN104777622A (zh) * | 2015-04-17 | 2015-07-15 | 浙江大学 | 基于视觉***特性的多层液晶近眼显示权重优化方法和装置 |
CN105209960A (zh) * | 2013-05-17 | 2015-12-30 | 辉达公司 | 为近眼光场显示器生成图像的***、方法和计算机程序产品 |
CN106257537A (zh) * | 2016-07-18 | 2016-12-28 | 浙江大学 | 一种基于光场信息的空间深度提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9462164B2 (en) * | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
-
2017
- 2017-02-28 CN CN201710113625.2A patent/CN106991637B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105209960A (zh) * | 2013-05-17 | 2015-12-30 | 辉达公司 | 为近眼光场显示器生成图像的***、方法和计算机程序产品 |
CN104777615A (zh) * | 2015-04-17 | 2015-07-15 | 浙江大学 | 基于人眼跟踪的自适应高分辨近眼光场显示装置和方法 |
CN104777622A (zh) * | 2015-04-17 | 2015-07-15 | 浙江大学 | 基于视觉***特性的多层液晶近眼显示权重优化方法和装置 |
CN106257537A (zh) * | 2016-07-18 | 2016-12-28 | 浙江大学 | 一种基于光场信息的空间深度提取方法 |
Non-Patent Citations (1)
Title |
---|
Multiview and light-field reconstruction algorithms for;Qing Zhong;《Applied optics》;20130621;第52卷(第19期);第4419-4425页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106991637A (zh) | 2017-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11395715B2 (en) | Methods and systems for generating and using 3D images in surgical settings | |
Wetzstein et al. | Tensor displays: compressive light field synthesis using multilayer displays with directional backlighting | |
CN105049831B (zh) | 使用级联面板的超分辨率显示器 | |
US8848006B2 (en) | Tensor displays | |
US8571304B2 (en) | Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map | |
Wetzstein et al. | Compressive light field displays | |
CN106991637B (zh) | 一种利用gpu并行计算实现多分辨率光场分解的方法 | |
CN108573521B (zh) | 基于cuda并行计算框架的实时交互式裸眼3d显示方法 | |
Chen et al. | Real-time lens based rendering algorithm for super-multiview integral photography without image resampling | |
CN111091491B (zh) | 一种等距圆柱投影的全景视频像素再分配方法及*** | |
Zhang et al. | Unified mathematical model for multilayer-multiframe compressive light field displays using LCDs | |
CN110322424A (zh) | 高分辨率图像处理方法及装置、vr图像显示方法及vr设备 | |
CN112969062B (zh) | 一种三维模型二维视图与裸眼三维影像双屏联动显示方法 | |
US20080239066A1 (en) | Methods and systems for displaying three-dimensional images | |
Du et al. | Large viewing angle floating three-dimensional light field display based on the spatial data reconstruction (SDR) algorithm | |
CN110047430B (zh) | 光场数据重构方法、光场数据重构器件及光场显示装置 | |
Guarnieri et al. | Image-splitting techniques for a dual-layer high dynamic range LCD display | |
Cao et al. | Load-balancing multi-LCD light field display | |
Yang et al. | Deep neural network-enabled resolution enhancement for the digital light field display based on holographic functional screen | |
Yang et al. | High quality integral imaging display based on off-axis pickup and high efficient pseudoscopic-to-orthoscopic conversion method | |
CN113900608A (zh) | 立体三维光场的显示方法、装置、电子设备及介质 | |
Sekkati et al. | A variational method for the recovery of dense 3D structure from motion | |
CN105447812A (zh) | 一种基于线状阵列的三维活动图像显示及信息隐藏方法 | |
Sharma et al. | Video Demo: Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video | |
CN113473210A (zh) | 显示方法、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Li Haifeng Inventor after: Liu Mali Inventor after: Liu Xu Inventor after: Lu Chihao Inventor before: Li Haifeng Inventor before: Liu Xu Inventor before: Liu Mali Inventor before: Lu Chihao |
|
GR01 | Patent grant | ||
GR01 | Patent grant |