CN111432196B - 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法 - Google Patents

一种基于光线跟踪的集成成像环扇形微图像阵列生成方法 Download PDF

Info

Publication number
CN111432196B
CN111432196B CN202010324656.4A CN202010324656A CN111432196B CN 111432196 B CN111432196 B CN 111432196B CN 202010324656 A CN202010324656 A CN 202010324656A CN 111432196 B CN111432196 B CN 111432196B
Authority
CN
China
Prior art keywords
ring
sector
pixels
micro
image array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010324656.4A
Other languages
English (en)
Other versions
CN111432196A (zh
Inventor
王琼华
夏云鹏
李爽
邢妍
邓欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Beihang University
Original Assignee
Sichuan University
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Beihang University filed Critical Sichuan University
Priority to CN202010324656.4A priority Critical patent/CN111432196B/zh
Publication of CN111432196A publication Critical patent/CN111432196A/zh
Application granted granted Critical
Publication of CN111432196B publication Critical patent/CN111432196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于光线跟踪的集成成像环扇形微图像阵列生成方法，所述方法利用光线跟踪渲染技术，首先筛选出每一个图像元中的环扇形区域，然后建立环扇形有效区域中每一个像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向虚拟3D场景发射光线，一次渲染即可生成环扇形微图像阵列。所述方法可高效地为桌面360°环视3D显示或单边环绕观看3D显示提供数据来源。

Description

一种基于光线跟踪的集成成像环扇形微图像阵列生成方法
技术领域
本发明涉及集成成像技术，更具体地说，涉及一种基于光线跟踪的集成成像环扇形微图像阵列生成方法。
背景技术
集成成像是一种裸眼真3D显示技术，其3D片源为微图像阵列，可通过摄像机阵列拍摄真实3D场景获得，也可通过计算机渲染虚拟3D场景获得。在集成成像3D显示过程中，微图像阵列发出的光线通过透镜阵列的调制，在空间中重建出3D图像。观看者无需佩戴任何助视设备就能观看到全彩色、全视差的3D图像，且没有立体观看视觉疲劳。因此它不但可以用于常规墙面3D显示中，还可应用到桌面360°环视3D显示或单边环绕观看3D显示中，如附图1所示。
桌面360°环视3D显示或单边环绕观看3D显示的最佳观看视区为环形或环扇形，观看视点也同样为环形或环扇形排布，与常规墙面3D显示并不一致。使用计算机生成对应环扇形视区的微图像阵列时，需要完成大量的拍摄、校正与像素映射工作，整个过程复杂，计算时间很长。目前尚未有高效的集成成像环扇形微图像阵列生成方法出现。
发明内容
为解决上述问题，本发明提出一种基于光线跟踪的集成成像环扇形微图像阵列生成方法，所述方法利用光线跟踪渲染技术，首先筛选出每一个图像元中的环扇形区域，然后建立环扇形有效区域中每一个像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向虚拟3D场景发射光线，一次渲染即可生成环扇形微图像阵列。
所述方法包括以下四个步骤。
第一步，搭建虚拟的集成成像桌面3D显示模型。
第二步，建立局部像素坐标系，筛选出每个图像元的环扇形有效区域。
第三步，建立环扇形有效区域内像素与观看视点的坐标映射关系。
第四步，发射并跟踪光线，渲染得到环扇形微图像阵列。
所述第一步，搭建虚拟的集成成像桌面3D显示模型。建立全局空间直角坐标系X-Y-Z，确定微图像阵列平面、透镜阵列平面、虚拟3D物体以及观看视点的相对位置关系，其中透镜阵列平面仅作为参考平面，在渲染过程中并不存在。所述微图像阵列平面中心与全局空间直角坐标系原点重合，所述微图像阵列平面到透镜阵列平面的距离为g，所述透镜阵列平面到观看视点平面的距离为l。所述微图像阵列中相邻像素的间距为p，微图像阵列的分辨率为M×N，其中M表示水平方向包含的像素个数，N表示垂直向包含的像素个数，(m,n)表示像素在微图像阵列的全局坐标，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}。
所述第二步，建立局部像素坐标系，筛选出每个图像元的环扇形有效区域。假设环扇形图像元对应的中心点相比常规方形图像元中心点的像素偏移量为s。每个环扇形图像元所在的方形区域的分辨率为A×B，以每个常规方形图像元中心为坐标原点，建立局部像素坐标系m0-n0。环扇形图像元所在的方形区域中像素的全局坐标(m,n)与局部坐标(m0,n0)的关系满足：
Figure BDA0002462750580000021
其中，mod(*,*)表示取余运算。方形区域中位于环扇形有效区域内的像素坐标(m0,n0)满足：
Figure BDA0002462750580000022
其中r1和r2分别为环扇形的内环与外环半径，θ为环扇形的顶角。
所述第三步，建立环扇形有效区域内像素与观看视点的坐标映射关系。将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向。环扇形有效区域内像素的局部坐标(m0,n0)与观看视点坐标(X,Y,Z)的关系满足：
Figure BDA0002462750580000023
所述第四步，发射并跟踪光线，渲染得到环扇形微图像阵列。根据公式(3)中确立的环扇形有效区域内像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向场景中发射光线。光线与3D物体表面发生碰撞，根据物体表面材质与环境光照计算像素的颜色，一次渲染即可得到一张完整的环扇形微图像阵列。
根据本发明提出的一种基于光线跟踪的集成成像环扇形微图像阵列生成方法，通过筛选每个图像元中环扇形有效区域，建立有效像素与观看视点的映射关系，利用光线跟踪的渲染方法，一次渲染即可生成对应于环扇形观看视区的微图像阵列，渲染过程无任何冗余数据。所述方法可高效地为桌面360°环视3D显示或单边环绕观看3D显示提供数据来源。
附图说明
本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：
图1a为桌面360°环视3D显示效果示意图。
图1b为桌面单边环绕观看3D显示效果示意图。
图2为根据本申请一实施例的一种基于光线跟踪的集成成像环扇形微图像阵列生成方法的流程图。
图3为根据本申请一实施例的虚拟集成成像桌面3D显示模型的搭建示意图。
图4为根据本申请一实施例的图像元对应的局部像素坐标系示意图。
图5为根据本申请一实施例生成的环扇形微图像阵列。
上述附图中的图示标号为：
1 3D图像，2 观看者，3 微图像阵列平面，4 透镜阵列平面，5 虚拟3D物体，6 观看视点平面，7 环扇形图像元，8 环扇形微图像阵列
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的可选的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本文所使用的方位术语“垂直”、“水平”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式也并非对于本申请的限制。
下面将结合本申请公开的实施例及附图对本申请所提出的一种基于光线跟踪的集成成像环扇形微图像阵列生成方法进行详细的描述。
图2示出了根据本申请一实施例的一种基于光线跟踪的集成成像环扇形微图像阵列生成方法的流程图，该方法包括以下步骤。
步骤S100，搭建虚拟的集成成像桌面3D显示模型。
步骤S200，建立局部像素坐标系，筛选出每个图像元的环扇形有效区域。
步骤S300，建立环扇形有效区域内像素与观看视点的坐标映射关系。
步骤S400，发射并跟踪光线，渲染得到环扇形微图像阵列。
在一个实施例中，所述第一步，搭建虚拟的集成成像桌面3D显示模型步骤中，建立全局空间直角坐标系X-Y-Z，确定微图像阵列平面、透镜阵列平面、虚拟3D物体以及观看视点的相对位置关系，其中透镜阵列平面4仅作为参考平面，在渲染过程中并不存在，如图3所示。所述微图像阵列平面3的中心与全局空间直角坐标系原点重合，所述微图像阵列平面3到透镜阵列平面4的距离g可以为13mm，所述透镜阵列平面4到观看视点平面6的距离l可以为600mm，所述虚拟3D物体5可以为一平面上的小球，位于透镜阵列平面4与观看视点平面6之间。所述微图像阵列中相邻像素的间距p可以为0.03mm，微图像阵列的分辨率M×N可以为750×750，(m,n)表示像素在微图像阵列的全局坐标，m∈{1,2,3,…,750}，n∈{1,2,3,…,750}。
在一个实施例中，所述第二步，建立局部像素坐标系，筛选出每个图像元的环扇形有效区域步骤中，图4示出了根据本申请一实施例的图像元对应的局部像素坐标系示意图。所述环扇形图像元7对应的中心点相比常规方形图像元中心点的像素偏移量s可以为30。每个环扇形图像元7所在的方形区域的分辨率A×B可以为50×50，以每个常规方形图像元中心为坐标原点，建立局部像素坐标系m0-n0，环扇形图像元7所在的方形区域中像素的全局坐标(m,n)与局部坐标(m0,n0)的关系满足：
Figure BDA0002462750580000041
其中，mod(*,*)表示取余运算。方形区域中位于环扇形有效区域内的像素坐标(m0,n0)满足：
Figure BDA0002462750580000042
其中r1和r2分别为环扇形的内环与外环半径，分别可以为20个像素和50个像素，θ为环扇形的顶角，可以为60°。
在一个实施例中，所述第三步，建立环扇形有效区域内像素与观看视点的坐标映射关系步骤中，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向。像素的局部坐标(m0,n0)与视点坐标(X,Y,Z)的关系满足：
Figure BDA0002462750580000043
在一个实施例中，所述第四步，发射并跟踪光线，渲染得到环扇形微图像阵列步骤中。根据公式(3)中确立的环扇形有效区域内像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向场景中发射光线。光线与3D物体表面发生碰撞，根据物体表面材质与环境光照计算像素的颜色，一次渲染即可得到一张完整的微图像阵列。图5示出了根据本申请一实施例生成的环扇形微图像阵列。

Claims (1)

1.一种基于光线跟踪的集成成像环扇形微图像阵列生成方法，其特征在于，所述方法利用光线跟踪渲染技术，首先筛选出每一个图像元中的环扇形区域，然后建立环扇形有效区域中每一个像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向虚拟3D场景发射光线，一次渲染即可生成环扇形微图像阵列，所述方法包括以下四个步骤：
所述第一步，搭建虚拟的集成成像桌面3D显示模型步骤中，首先建立全局空间直角坐标系X-Y-Z，确定微图像阵列平面、透镜阵列平面、虚拟3D物体以及观看视点的相对位置关系，其中透镜阵列平面仅作为参考平面，在渲染过程中并不存在，所述微图像阵列平面中心与全局空间直角坐标系原点重合，所述微图像阵列平面到透镜阵列平面的距离为g，所述透镜阵列平面到观看视点平面的距离为l，所述微图像阵列中相邻像素的间距为p，微图像阵列的分辨率为M×N，其中M表示水平方向包含的像素个数，N表示竖直方向包含的像素个数，(m,n)表示像素在微图像阵列的全局坐标，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}；
所述第二步，建立局部像素坐标系，筛选出每个图像元的环扇形有效区域步骤中，假设环扇形图像元对应的中心点相比常规方形图像元中心点的像素偏移量为s，每个环扇形图像元所在的方形区域的分辨率为A×B，以常规方形图像元中心点为坐标原点，建立局部像素坐标系m0-n0，环扇形图像元所在的方形区域中像素的全局坐标(m,n)与局部坐标(m0,n0)的关系满足：
Figure FDA0002955695580000011
其中，mod(*,*)表示取余运算，方形区域中位于环扇形有效区域内的像素坐标(m0,n0)满足：
Figure FDA0002955695580000012
且
Figure FDA0002955695580000013
其中r1和r2分别为环扇形的内环与外环半径，θ为环扇形的顶角；
所述第三步，建立环扇形有效区域内像素与观看视点的坐标映射关系步骤中，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，环扇形有效区域内像素的局部坐标(m0,n0)与视点坐标(X,Y,Z)的关系满足：
Figure FDA0002955695580000014
所述第四步，发射并跟踪光线，渲染得到环扇形微图像阵列步骤中，根据确立的像素与观看视点的坐标映射关系，将观看视点作为光线的起点，观看视点与对应像素的连线方向作为光线的出射方向，向场景中发射光线，光线与3D物体表面发生碰撞，根据物体表面材质与环境光照计算像素的颜色，一次渲染即可得到一张完整的微图像阵列。
CN202010324656.4A 2020-04-23 2020-04-23 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法 Active CN111432196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324656.4A CN111432196B (zh) 2020-04-23 2020-04-23 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324656.4A CN111432196B (zh) 2020-04-23 2020-04-23 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法

Publications (2)

Publication Number Publication Date
CN111432196A CN111432196A (zh) 2020-07-17
CN111432196B true CN111432196B (zh) 2021-05-28

Family

ID=71554419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324656.4A Active CN111432196B (zh) 2020-04-23 2020-04-23 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法

Country Status (1)

Country Link
CN (1) CN111432196B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103005498A (zh) * 2013-01-11 2013-04-03 张鹏 一种豆制肉品丸子及其制备方法
CN103048866A (zh) * 2012-12-13 2013-04-17 浙江大学 基于平面显示器的悬浮式360°光场三维显示装置和方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN104509088A (zh) * 2012-06-01 2015-04-08 奥斯坦多科技公司 空间-时间光场摄影机
CN107608085A (zh) * 2017-09-15 2018-01-19 四川大学 基于组合微图像阵列的360°集成成像桌面3d显示装置
CN108881881A (zh) * 2018-08-03 2018-11-23 北京航空航天大学 一种集成成像桌面3d显示的自适应微图像阵列生成方法
CN108919503A (zh) * 2018-08-03 2018-11-30 北京航空航天大学 一种基于视角导向层的集成成像360°桌面3d显示***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119279A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN104509088A (zh) * 2012-06-01 2015-04-08 奥斯坦多科技公司 空间-时间光场摄影机
CN103048866A (zh) * 2012-12-13 2013-04-17 浙江大学 基于平面显示器的悬浮式360°光场三维显示装置和方法
CN103005498A (zh) * 2013-01-11 2013-04-03 张鹏 一种豆制肉品丸子及其制备方法
CN107608085A (zh) * 2017-09-15 2018-01-19 四川大学 基于组合微图像阵列的360°集成成像桌面3d显示装置
CN108881881A (zh) * 2018-08-03 2018-11-23 北京航空航天大学 一种集成成像桌面3d显示的自适应微图像阵列生成方法
CN108919503A (zh) * 2018-08-03 2018-11-30 北京航空航天大学 一种基于视角导向层的集成成像360°桌面3d显示***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Direction and surface sampling in ray tracing for spacecraft radiative heat transfer;LionelJacques等;《AerospaceScienceandTechnology》;20151003;全文 *

Also Published As

Publication number Publication date
CN111432196A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
TWI397317B (zh) 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
US6793350B1 (en) Projecting warped images onto curved surfaces
CN111062873A (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
KR102072639B1 (ko) 화상 생성 장치 및 화상 표시 제어 장치
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
EP1453001A1 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, STORAGE MEDIUM, AND COMPUTER PROGRAM
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP2011066860A (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
CN114511447A (zh) 图像处理方法、装置、设备及计算机存储介质
CN112002003B (zh) 虚拟3d场景的球面全景立体画面生成与交互式显示方法
US10699372B2 (en) Image generation apparatus and image display control apparatus
CN111432196B (zh) 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法
JP2019149777A (ja) 画像処理装置および画像処理プログラム
CN111583117A (zh) 一种适用于太空复杂环境的快速全景拼接方法及装置
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
JP7150460B2 (ja) 画像処理装置および画像処理方法
JP2001005956A (ja) 広視野カメラ装置
JP3387900B2 (ja) 画像処理方法及び装置
CN114581297A (zh) 用于环景影像的影像处理方法及装置
CN110913199B (zh) 一种vr图像传输方法
CN108876712B (zh) 基于双投影变换的球形封闭座舱全景显示方法
CN113674356A (zh) 相机筛选方法及相关装置
JP6719240B2 (ja) 映像投映装置およびそれを用いたプラネタリウム装置
CN111263132B (zh) 一种集成成像环扇形微图像阵列生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant