CN102300113A - 基于稀疏摄像机阵列的集成成像微图像阵列生成方法 - Google Patents
基于稀疏摄像机阵列的集成成像微图像阵列生成方法 Download PDFInfo
- Publication number
- CN102300113A CN102300113A CN2011102584988A CN201110258498A CN102300113A CN 102300113 A CN102300113 A CN 102300113A CN 2011102584988 A CN2011102584988 A CN 2011102584988A CN 201110258498 A CN201110258498 A CN 201110258498A CN 102300113 A CN102300113 A CN 102300113A
- Authority
- CN
- China
- Prior art keywords
- video camera
- pattern matrix
- little pattern
- sparse
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000010354 integration Effects 0.000 claims description 19
- 210000003644 lens cell Anatomy 0.000 claims description 14
- 239000004744 fabric Substances 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出基于稀疏摄像机阵列的集成成像微图像阵列生成方法,该方法包括稀疏摄像机阵列获取视差图像和视差图像转换为微图像阵列两个步骤,稀疏摄像机阵列由个数远远小于所需图像元个数的摄像机组成二维阵列对三维场景进行拍摄,获取视差图像,像素映射将视差图像上的像素映射到微图像阵列上,获取的微图像阵列即可用于集成成像再现。
Description
技术领域
本发明涉及集成成像技术,更具体地说,本发明涉及集成成像微图像阵列生成技术。
背景技术
集成成像是一种真三维立体显示技术,能重建出三维场景的全真立体图像。如附图1所示,重建出的立体图像包含全真色彩以及连续的视差信息,观看者无需佩戴辅助设备就可获得观看真实景物的感觉,且没有立体观看视疲劳。然而集成成像的片源即微图像阵列包含丰富的立体信息,数据量极大,目前还没有较为简单的获取方法。
从集成成像技术提出开始,常采用纯光学的方法来获取微图像阵列。在微透镜阵列的焦平面上附上一层感光胶片,如附图2所示。在记录时,用漫射光照射三维场景,被三维场景反射的光线由微透镜阵列折射,然后到达微透镜阵列焦平面的感光胶片上,感光胶片就记录下了微图像阵列。该方法显然比较繁琐,并且由于透镜元的像差和感光胶片的混浊,获取的微图像阵列的质量通常非常差。
随着照相技术的发展,人们用超高分辨率的摄像机代替感光胶片来获取微图像阵列,如附图3所示。采用摄像机就可以实现视频的实时记录。但是这种方法仍然不能消除透镜元的像差问题,并且微图像阵列的数据量巨大,满足要求的超高分辨率摄像机成本太高,且无法实现较大三维场景的记录。
随着计算机技术的快速发展,衍生出了计算机获取微图像阵列的方法,用计算机建模软件建立三维场景,然后用软件建立摄像机阵列来模拟微透镜阵列的成像过程,如附图4所示。该方法在计算机中生成微图像阵列,避免了前两种光学记录法中透镜元像差和感光胶片混浊等导致图像质量下降的问题。但是一个摄像机代替一个透镜元来获取一个图像元,需要的图像元的分辨率一般是几十乘以几十,那就大大地浪费了一个摄像机的记录分辨率,并且需要数以万计的摄像机来代替透镜元,计算机需要处理数以万计的摄像机及其图像元,处理过程太过复杂。
发明内容
本发明提出基于稀疏摄像机阵列的集成成像微图像阵列生成方法,该方法包括稀疏摄像机阵列获取视差图像和视差图像转换为微图像阵列两个步骤。
所述稀疏摄像机阵列获取视差图像,如附图5所示,稀疏摄像机阵列由个数远远小于所需图像元个数的摄像机组成二维阵列对三维场景进行拍摄,获取视差图像。稀疏摄像机阵列包含M×N个摄像机,各摄像机光轴互相平行,各摄像机平行等间距排列,相邻摄像机的间距为d,摄像机焦距为f 1。稀疏摄像机阵列中的每个摄像机都拍摄整个三维场景,得到M×N幅视差图像,每幅视差图像的分辨率等于所需微图像阵列的图像元个数M′×N′。确定所需微图像阵列包含M′×N′个图像元,图像元的分辨率为r×r;微透镜阵列也包含M′×N′个透镜元,透镜元的焦距为f 2,图像元和透镜元的节距相等,都为p。在三维场景中选择一个参考平面,该参考平面与稀疏摄像机阵列的距离为L。根据所需的凹凸显示效果来确定参考平面与稀疏摄像机阵列的距离L,拍摄时,三维场景中与稀疏摄像机阵列的距离小于L的物体,在显示时将浮出显示设备外;三维场景中与稀疏摄像机阵列的距离大于L的物体,在显示时将凹进显示设备里。
优选地,为了满足稀疏摄像机阵列获取的视差图像包含集成成像微图像阵列所需的全部信息,相邻摄像机的间距d以及稀疏摄像机阵列包含的摄像机个数M×N需满足下式
所述视差图像转换为微图像阵列的原理如附图6所示,I(m, n) m′, n′ 表示第m列第n行视差图像上第m′列第n′行的像素,该像素映射到微图像阵列的第m′列第n′行图像元上第i′列第j′行的像素位置上,由I′(m′, n′) i′, j′ 表示。像素映射的数学关系为
其中,
式中m、n、m′、n′是循环变量,分别将m在1-M范围内,n在1-N范围内,m′在1- M′范围内, n′在1- N′范围内循环取值,就能将M×N幅视差图像的所有像素映射到微图像阵列上,获取的微图像阵列即可用于附图1所示的集成成像再现。
优选地,当计算出的i′或j′值大于图像元在一维方向上的分辨率r时,则舍弃该像素,以避免相邻图像元间的串扰。
附图说明
附图1为集成成像的再现装置示意图。
附图2为传统的采用感光胶片和微透镜阵列获取微图像阵列的原理示意图。
附图3为采用超高分辨率摄像机和微透镜阵列获取微图像阵列的原理示意图。
附图4为采用摄像机阵列获取微图像阵列的原理示意图。
附图5为本发明的稀疏摄像机阵列获取视差图像的原理示意图。
附图6为本发明的视差图像转换为微图像阵列的原理示意图。
上述附图中的图示标号为:
1微图像阵列,2微透镜阵列,3三维场景,4感光胶片,5超高分辨率摄像机,6摄像机阵列,7稀疏摄像机阵列,8 M×N幅视差图像,9第m列第n行的视差图像,10第m列第n行的视差图像上的第m′列第n′行的像素I(m, n) m′, n′ ,11微图像阵列上第m′列第n′行的图像元,12第m′列第n′行的图像元上的第i′列第j′行的像素I′(m′, n′) i′, j′ 。
应该理解上述附图只是示意性的,并没有按比例绘制。
具体实施方式
下面详细说明利用本发明基于稀疏摄像机阵列的集成成像微图像阵列生成方法的一个典型实施例,对本发明进行进一步的具体描述。有必要在此指出的是,以下实施例只用于本发明做进一步的说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整,仍属于本发明的保护范围。
确定所需微图像阵列包含120×90个图像元,图像元的分辨率为15×15;微透镜阵列也包含120×90个透镜元,透镜元的焦距为f 2=3mm,图像元和透镜元的节距相等,都为p=1.27mm。在三维场景中选择一个参考平面,该参考平面与稀疏摄像机阵列的距离为L。根据所需的凹凸显示效果来确定参考平面与稀疏摄像机阵列的距离L=270mm,拍摄时,三维场景中与稀疏摄像机阵列的距离小于270mm的物体,在显示时将浮出显示设备外;三维场景中与稀疏摄像机阵列的距离大于270mm的物体,在显示时将凹进显示设备里。根据式(1)、(2)和(3)计算出稀疏摄像机阵列需35×30个摄像机,各摄像机光轴互相平行,各摄像机平行等间距排列,相邻摄像机的间距为d=7.6mm,摄像机焦距为f 1=50mm。稀疏摄像机阵列中的每个摄像机都拍摄整个三维场景,得到35×30幅视差图像,每幅视差图像的分辨率等于所需微图像阵列的图像元个数120×90。
Claims (5)
1.基于稀疏摄像机阵列的集成成像微图像阵列生成方法,其特征在于,该方法包括稀疏摄像机阵列获取视差图像和视差图像转换为微图像阵列两个步骤。
2.根据权利要求1所述的基于稀疏摄像机阵列的集成成像微图像阵列生成方法,其特征在于,稀疏摄像机阵列由个数远远小于所需图像元个数的摄像机组成二维阵列对三维场景进行拍摄,获取视差图像,稀疏摄像机阵列包含M×N个摄像机,各摄像机光轴互相平行,各摄像机平行等间距排列,相邻摄像机的间距为d,摄像机焦距为f 1,稀疏摄像机阵列中的每个摄像机都拍摄整个三维场景,得到M×N幅视差图像,每幅视差图像的分辨率等于所需微图像阵列的图像元个数M′ ×N′,确定所需微图像阵列包含M′ ×N′ 个图像元,图像元的分辨率为r×r;微透镜阵列也包含M′ ×N′ 个透镜元,透镜元的焦距为f 2,图像元和透镜元的节距相等,都为p,在三维场景中选择一个参考平面,该参考平面与稀疏摄像机阵列的距离为L,根据所需的凹凸显示效果来确定参考平面与稀疏摄像机阵列的距离L,拍摄时,三维场景中与稀疏摄像机阵列的距离小于L的物体,在显示时将浮出显示设备外;三维场景中与稀疏摄像机阵列的距离大于L的物体,在显示时将凹进显示设备里。
4.根据权利要求1所述的基于稀疏摄像机阵列的集成成像微图像阵列生成方法,其特征在于,视差图像转换为微图像阵列的原理如下,I(m, n) m′, n′ 表示微图像阵列中第m列第n行视差图像上第m′ 列第n′ 行的像素,该像素映射到微图像阵列的第m′ 列第n′ 行图像元上第i′列第j′行的像素位置上,由I′(m′, n′) i′, j′ 表示,像素映射的数学关系为,其中,,式中m、n、m′、n′ 是循环变量,分别将m在1-M范围内,n在1-N范围内,m′ 在1- M′ 范围内,n′ 在1- N′ 范围内循环取值,就能将M×N幅视差图像的所有像素映射到微图像阵列上,获取的微图像阵列即可用于集成成像再现。
5.根据权利要求4所述的基于稀疏摄像机阵列的集成成像微图像阵列生成方法,其特征在于,当计算出的i′ 或j′ 值大于图像元在一维方向上的分辨率r时,则舍弃该像素,以避免相邻图像元间的串扰。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110258498 CN102300113B (zh) | 2011-09-03 | 2011-09-03 | 基于稀疏摄像机阵列的集成成像微图像阵列生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110258498 CN102300113B (zh) | 2011-09-03 | 2011-09-03 | 基于稀疏摄像机阵列的集成成像微图像阵列生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102300113A true CN102300113A (zh) | 2011-12-28 |
CN102300113B CN102300113B (zh) | 2013-06-12 |
Family
ID=45360228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110258498 Expired - Fee Related CN102300113B (zh) | 2011-09-03 | 2011-09-03 | 基于稀疏摄像机阵列的集成成像微图像阵列生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102300113B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366356A (zh) * | 2012-04-06 | 2013-10-23 | 北京三星通信技术研究有限公司 | 通用标定***和方法及其集成成像重构***和方法 |
CN103440660A (zh) * | 2013-09-03 | 2013-12-11 | 四川大学 | 一种基于gpu的集成成像微图像阵列快速生成方法 |
CN103475889A (zh) * | 2013-09-01 | 2013-12-25 | 西安电子科技大学 | 基于双相机实时获取微单元图像阵列方法 |
CN103796002A (zh) * | 2014-01-21 | 2014-05-14 | 四川大学 | 基于正交投影的一维集成成像3d拍摄方法 |
CN105430372A (zh) * | 2015-11-30 | 2016-03-23 | 武汉大学 | 一种基于平面图像的静态集成成像方法及*** |
CN106657966A (zh) * | 2016-12-29 | 2017-05-10 | 四川大学 | 一种基于cpu多线程的集成成像3d片源快速生成方法 |
CN107289869A (zh) * | 2017-06-08 | 2017-10-24 | 杭州联络互动信息科技股份有限公司 | 一种利用矩阵镜头进行3d测量的方法、装置及*** |
CN108881879A (zh) * | 2018-06-27 | 2018-11-23 | 张家港康得新光电材料有限公司 | 集成成像微图像阵列的生成方法、装置、设备及存储介质 |
CN108965853A (zh) * | 2018-08-15 | 2018-12-07 | 张家港康得新光电材料有限公司 | 一种集成成像三维显示方法、装置、设备及存储介质 |
CN110418125A (zh) * | 2019-08-05 | 2019-11-05 | 长春理工大学 | 一种集成成像***的元素图像阵列快速生成方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020114077A1 (en) * | 2001-01-23 | 2002-08-22 | Bahram Javidi | Integral three-dimensional imaging with digital reconstruction |
US20030043262A1 (en) * | 2001-08-30 | 2003-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for handling stereoscopic images utilizing parallax images |
US7489332B2 (en) * | 1997-07-08 | 2009-02-10 | Kremen Stanley H | System and method for producing a uniformly magnified three-dimensional image of a three-dimensional scene |
JP2009124719A (ja) * | 2002-04-25 | 2009-06-04 | Sharp Corp | 画像データ生成装置および画像データ再生装置 |
CN101750747A (zh) * | 2010-02-01 | 2010-06-23 | 刘武强 | 三维立体成像方法、***和成像设备 |
CN101783966A (zh) * | 2009-01-21 | 2010-07-21 | 中国科学院自动化研究所 | 一种真三维显示***及显示方法 |
CN102164298A (zh) * | 2011-05-18 | 2011-08-24 | 长春理工大学 | 全景成像***中基于立体匹配的元素图像获取方法 |
CN102209254A (zh) * | 2011-05-30 | 2011-10-05 | 四川大学 | 一种一维集成成像方法和装置 |
-
2011
- 2011-09-03 CN CN 201110258498 patent/CN102300113B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7489332B2 (en) * | 1997-07-08 | 2009-02-10 | Kremen Stanley H | System and method for producing a uniformly magnified three-dimensional image of a three-dimensional scene |
US20020114077A1 (en) * | 2001-01-23 | 2002-08-22 | Bahram Javidi | Integral three-dimensional imaging with digital reconstruction |
US20030043262A1 (en) * | 2001-08-30 | 2003-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for handling stereoscopic images utilizing parallax images |
JP2009124719A (ja) * | 2002-04-25 | 2009-06-04 | Sharp Corp | 画像データ生成装置および画像データ再生装置 |
CN101783966A (zh) * | 2009-01-21 | 2010-07-21 | 中国科学院自动化研究所 | 一种真三维显示***及显示方法 |
CN101750747A (zh) * | 2010-02-01 | 2010-06-23 | 刘武强 | 三维立体成像方法、***和成像设备 |
CN102164298A (zh) * | 2011-05-18 | 2011-08-24 | 长春理工大学 | 全景成像***中基于立体匹配的元素图像获取方法 |
CN102209254A (zh) * | 2011-05-30 | 2011-10-05 | 四川大学 | 一种一维集成成像方法和装置 |
Non-Patent Citations (4)
Title |
---|
DONG-HAK SHIN,ET AL: "Computational Reconstruction of Three-Dimensional Objects in Integral Imaging using Lenslet Array", 《BRIEF COMMUNICATION》 * |
SEUNG-HYUN HONG,ET AL: "three dimensional volumetric object reconstruction using computational integral imaging1", 《OPTICS EXPRESS》 * |
王芳宇,等: "集成成像技术的发展与应用", 《西南民族大学学报(自然科学版)》 * |
谷俊,等: "多摄像机拍摄立体图像的方法", 《中国光学学会2010年光学大会论文集》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366356A (zh) * | 2012-04-06 | 2013-10-23 | 北京三星通信技术研究有限公司 | 通用标定***和方法及其集成成像重构***和方法 |
CN103475889A (zh) * | 2013-09-01 | 2013-12-25 | 西安电子科技大学 | 基于双相机实时获取微单元图像阵列方法 |
CN103440660B (zh) * | 2013-09-03 | 2016-03-30 | 四川大学 | 一种基于gpu的集成成像微图像阵列快速生成方法 |
CN103440660A (zh) * | 2013-09-03 | 2013-12-11 | 四川大学 | 一种基于gpu的集成成像微图像阵列快速生成方法 |
CN103796002A (zh) * | 2014-01-21 | 2014-05-14 | 四川大学 | 基于正交投影的一维集成成像3d拍摄方法 |
CN103796002B (zh) * | 2014-01-21 | 2016-01-13 | 四川大学 | 基于正交投影的一维集成成像3d拍摄方法 |
CN105430372A (zh) * | 2015-11-30 | 2016-03-23 | 武汉大学 | 一种基于平面图像的静态集成成像方法及*** |
CN105430372B (zh) * | 2015-11-30 | 2017-10-03 | 武汉大学 | 一种基于平面图像的静态集成成像方法及*** |
CN106657966A (zh) * | 2016-12-29 | 2017-05-10 | 四川大学 | 一种基于cpu多线程的集成成像3d片源快速生成方法 |
CN107289869A (zh) * | 2017-06-08 | 2017-10-24 | 杭州联络互动信息科技股份有限公司 | 一种利用矩阵镜头进行3d测量的方法、装置及*** |
CN108881879A (zh) * | 2018-06-27 | 2018-11-23 | 张家港康得新光电材料有限公司 | 集成成像微图像阵列的生成方法、装置、设备及存储介质 |
CN108965853A (zh) * | 2018-08-15 | 2018-12-07 | 张家港康得新光电材料有限公司 | 一种集成成像三维显示方法、装置、设备及存储介质 |
WO2020034515A1 (zh) * | 2018-08-15 | 2020-02-20 | 张家港康得新光电材料有限公司 | 集成成像三维显示方法、装置、设备及存储介质 |
CN110418125A (zh) * | 2019-08-05 | 2019-11-05 | 长春理工大学 | 一种集成成像***的元素图像阵列快速生成方法 |
CN110418125B (zh) * | 2019-08-05 | 2021-06-15 | 长春理工大学 | 一种集成成像***的元素图像阵列快速生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102300113B (zh) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102300113B (zh) | 基于稀疏摄像机阵列的集成成像微图像阵列生成方法 | |
US10484664B2 (en) | Mapping of spherical image data into rectangular faces for transport and decoding across networks | |
Rerabek et al. | New light field image dataset | |
CN107194965B (zh) | 用于处理光场数据的方法和设备 | |
CN107407554B (zh) | 对多相机成像***进行仿真 | |
US9686530B2 (en) | Image processing apparatus and image processing method | |
EP3065394A1 (en) | Light field metadata | |
CN105122793B (zh) | 图像处理装置、摄像装置及图像处理程序 | |
CN101916455B (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
CN102209254A (zh) | 一种一维集成成像方法和装置 | |
FR3012001A1 (fr) | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques | |
EP3065395A1 (en) | Processing of light field data | |
CN103796002B (zh) | 基于正交投影的一维集成成像3d拍摄方法 | |
KR101548236B1 (ko) | 3차원 영상의 색상 보정방법 | |
CN104519341A (zh) | 一种任意倾斜角度的集成成像微图像阵列的生成方法 | |
Monteiro et al. | Standard plenoptic cameras mapping to camera arrays and calibration based on DLT | |
CN113256544B (zh) | 一种多视点图像合成方法、***、装置及存储介质 | |
CN110149508A (zh) | 一种基于一维集成成像***的阵列图生成及填补方法 | |
Yu et al. | Dynamic depth of field on live video streams: A stereo solution | |
CN106408598A (zh) | 一种基于阵列镜头的三维人像重构打印装置 | |
Hajisharif | Computational Photography: High Dynamic Range and Light Fields | |
CN116091366B (zh) | 一种多维度拍摄手术视频及消除摩尔纹的方法 | |
CN115514877B (zh) | 图像处理装置和降低噪声的方法 | |
Osawa et al. | Reconstruction of 3D dynamic expressions from single facial image | |
US20170048511A1 (en) | Method for Stereoscopic Reconstruction of Three Dimensional Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 |