CN110933393A - 一种用于全息体视图打印的视差图像序列合成方法及*** - Google Patents

一种用于全息体视图打印的视差图像序列合成方法及*** Download PDF

Info

Publication number
CN110933393A
CN110933393A CN201911248569.9A CN201911248569A CN110933393A CN 110933393 A CN110933393 A CN 110933393A CN 201911248569 A CN201911248569 A CN 201911248569A CN 110933393 A CN110933393 A CN 110933393A
Authority
CN
China
Prior art keywords
image sequence
parallax image
parallax
size
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911248569.9A
Other languages
English (en)
Other versions
CN110933393B (zh
Inventor
闫兴鹏
王晨卿
张腾
蒋晓瑜
严志强
王子强
蔺敏
汪熙
屈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Armored Forces of PLA
Original Assignee
Academy of Armored Forces of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Armored Forces of PLA filed Critical Academy of Armored Forces of PLA
Priority to CN201911248569.9A priority Critical patent/CN110933393B/zh
Publication of CN110933393A publication Critical patent/CN110933393A/zh
Application granted granted Critical
Publication of CN110933393B publication Critical patent/CN110933393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于全息体视图打印的视差图像序列合成方法及***,包括将差别的第一视差图像序列和第二视差图像序列处理得到第一全零矩阵和第二全零矩阵;基于第三视场角与第三图像尺寸的对应关系,将第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,同理生成第四视差图像序列;根据第三视差图像序列生成前景模板;将每个前景模板和第四视差图像序列的每张图像相乘生成第五视差图像序列;将第三视差图像序列的每张图像和第五视差图像序列的每张图像对应相加生成合成视差图像序列。本发明能够对各种光场信息实现正确有效的融合处理,得到包含复杂光场信息的视差图像序列,有效地应用于全息体视图的打印当中。

Description

一种用于全息体视图打印的视差图像序列合成方法及***
技术领域
本发明涉及合成全息体视图打印领域,特别是涉及一种用于全息体视图打印的视差图像序列合成方法及***。
背景技术
合成全息体视图打印技术不需要经过复杂的衍射计算,是目前唯一真正应用的全息打印技术,其基本原理是利用人眼分辨率有限的特点,通过离散的光场采样近似代替连续的物光波前信息,再结合双目视差原理和全息术得到场景的真三维显示效果。其中,离散的光场采样就对应于视差图像序列的采集。对于复杂的光场需要采用差异性的采样方法,例如,对小型的真实物体往往采用密集相机阵列的方式采样,对虚拟物体则采用虚拟相机采样。通过不同采样方法得到的视差图像的尺寸及视场角等参数不同,此时就需要研发一种有效的图像序列合成方法,对各种光场信息实现正确有效的融合处理,才能得到包含复杂光场信息的视差图像序列,有效地应用于全息体视图的打印当中。
发明内容
本发明的目的是提供一种用于全息体视图打印的视差图像序列合成方法及***,能够对各种光场信息实现正确有效的融合处理,得到包含复杂光场信息的视差图像序列,有效地应用于全息体视图的打印当中。
为实现上述目的,本发明提供了如下方案:
一种用于全息体视图打印的视差图像序列合成方法,包括:
获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同;
建立第三视场角与第三图像尺寸的对应关系;
将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵;
基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;
根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板;
将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列;
将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
可选的,所述获取第一视差图像序列和第二视差图像序列,具体包括:
在3Ds Max三维建模软件中设置第一虚拟场景,使用第一视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;所述第一视差图像序列Ai的第一图像尺寸大小都为HA×WA
在3Ds Max三维建模软件中设置第二虚拟场景,使用第二视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,所述第二视差图像序列Bj的第二图像尺寸大小都为HB×WB;其中,i,j表示图像张数,i,j=0,1,2,...,n。
可选的,所述建立第三视场角与第三图像尺寸的对应关系,具体包括:
使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景、第二虚拟场景渲染,得到第三图像尺寸为M×M,进而建立第三视场角γ与第三图像尺寸M×M的对应关系。
可选的,所述将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵,具体包括:
根据第一尺寸缩放因子,将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵;所述第一视差图像序列的图像尺寸为HA×WA,所述第三图像尺寸为M×M,所述第一尺寸缩放因子为(z1,z2),z1=M/HA,z2=M/WA
根据第二尺寸缩放因子,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;所述第二视差图像序列的图像尺寸为HB×WB,所述第二尺寸缩放因子为(z3,z4),z3=M/HB,z4=M/WB
可选的,所述基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列,具体包括:
基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列的图像边界扩展或缩小后得到初步第三视差图像序列;
基于所述第三视场角与第三图像尺寸的对应关系,将所述第二视差图像序列的图像边界扩展或缩小后得到初步第四视差图像序列;
将所述初步第三视差图像序列中每张图像的像素映射回所述第一视差图像序列,得到所述初步第三视差图像序列中每张图像的每个像素的像素位置;
将所述初步第四视差图像序列中每张图像的像素映射回所述第二视差图像序列,得到所述初步第四视差图像序列中每张图像的每个像素的像素位置;
根据所述初步第三视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第一全零矩阵,直到所有所述第一全零矩阵填充完毕,生成第三视差图像序列;
根据所述初步第四视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第二全零矩阵,直到所有所述第二全零矩阵填充完毕,生成第四视差图像序列。
一种用于全息体视图打印的视差图像序列合成***,包括:
视差图像序列获取模块,用于获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同;
对应关系建立模块,用于建立第三视场角与第三图像尺寸的对应关系;
全零矩阵生成模块,用于将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵;
第三和第四视差图像序列生成模块,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;
前景模板生成模块,用于根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板;
第五视差图像序列生成模块,用于将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列;
合成视差图像序列生成模块,用于将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
可选的,所述视差图像序列获取模块,具体包括:
第一视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第一虚拟场景,使用第一视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;所述第一视差图像序列Ai的第一图像尺寸大小都为HA×WA
第二视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第二虚拟场景,使用第二视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,所述第二视差图像序列Bj的第二图像尺寸大小都为HB×WB;其中,i,j表示图像张数,i,j=0,1,2,...,n。
可选的,所述对应关系建立模块,具体包括:
对应关系建立单元,用于使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景、第二虚拟场景渲染,得到第三图像尺寸为M×M,进而建立第三视场角γ与第三图像尺寸M×M的对应关系。
可选的,所述全零矩阵生成模块,具体包括:
第一全零矩阵生成单元,用于根据第一尺寸缩放因子,将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵;所述第一视差图像序列的图像尺寸为HA×WA,所述第三图像尺寸为M×M,所述第一尺寸缩放因子为(z1,z2),z1=M/HA,z2=M/WA
第二全零矩阵生成单元,用于根据第二尺寸缩放因子,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;所述第二视差图像序列的图像尺寸为HB×WB,所述第二尺寸缩放因子为(z3,z4),z3=M/HB,z4=M/WB
可选的,所述第三和第四视差图像序列生成模块,具体包括:
初步第三视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列的图像边界扩展或缩小后得到初步第三视差图像序列;
初步第四视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第二视差图像序列的图像边界扩展或缩小后得到初步第四视差图像序列;
像素位置第一确定单元,用于将所述初步第三视差图像序列中每张图像的像素映射回所述第一视差图像序列,得到所述初步第三视差图像序列中每张图像的每个像素的像素位置;
像素位置第二确定单元,用于将所述初步第四视差图像序列中每张图像的像素映射回所述第二视差图像序列,得到所述初步第四视差图像序列中每张图像的每个像素的像素位置;
第三视差图像序列生成单元,用于根据所述初步第三视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第一全零矩阵,直到所有所述第一全零矩阵填充完毕,生成第三视差图像序列;
第四视差图像序列生成单元,用于根据所述初步第四视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第二全零矩阵,直到所有所述第二全零矩阵填充完毕,生成第四视差图像序列。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
当用于全息体视图打印的两个视差图像序列A与B之间的图像尺寸和采样视场角不同时,本发明提供的一种用于全息体视图打印的视差图像序列合成方法及***能够将图像尺寸不相同和不同采样视场角拍摄得到的两组视差图像序列相融合,得到包含有两个场景A、B之间正确的遮挡和前后关系的合成视差图像序列,即得到包含复杂光场信息的视差图像序列,有效地应用于全息体视图的打印当中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明用于全息体视图打印的视差图像序列合成方法的流程图;
图2为本发明用于全息体视图打印的视差图像序列合成***的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种用于全息体视图打印的视差图像序列合成方法及***,能够对各种光场信息实现正确有效的融合处理,得到包含复杂光场信息的视差图像序列,有效地应用于全息体视图的打印当中。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
对不同尺寸和不同视场角的视差图像序列合成方法可以有效处理多源异构光场的采样问题。包含真实-虚拟混合场景的全息体视图,需要对各场景分别进行采样得到视差图像序列。为满足全息体视图打印需求,虚拟场景可以通过3Ds Max软件按打印要求准确地设置虚拟相机参数进行采样;而真实场景由于成本、存储和场地等因素的限制,往往无法采集得到满足需求的视差图像序列。此方法通过对真实场景采样图像(即第一视差图像序列)的尺寸及视场角处理,可以得到满足全息打印需求的尺寸和视场角,最后通过与虚拟场景图像序列(即第二视差图像序列)合成,即可用于全息体视图的打印。
如图1所示,本发明提供一种用于全息体视图打印的视差图像序列合成方法包括以下步骤。
步骤101:获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同。具体为:
在3Ds Max三维建模软件中设置虚拟场景1,使用视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;在3Ds Max三维建模软件中设置虚拟场景2,使用视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,其中,i,j表示图像张数,i,j=0,1,2,...,n。第一视差图像序列Ai的图像尺寸大小都为HA×WA,第二视差图像序列Bj的图像尺寸大小都为HB×WB
步骤102:建立第三视场角与第三图像尺寸的对应关系。具体为:
使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景1、第二虚拟场景2渲染,得到第三图像尺寸为M×M,从而判断第三视场角γ对应的第三图像尺寸为M×M。
步骤103:将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵。具体为:
使用matlab软件读入第一视差图像序列Ai和第二视差图像序列Bj,i,j=0,1,2,...,n。
对于第一视差图像序列Ai的每张图像,定义尺寸缩放因子z1=M/HA、z2=M/WA,而后生成一个(z1×HA)×(z2×WA)的第一全零矩阵;对于第二视差图像序列Bj的每张图像,定义尺寸缩放因子z3=M/HB、z4=M/WB,而后生成一个(z3×HB)×(z4×WB)的第二全零矩阵。
步骤104:基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸。具体为:
步骤1041:生成计数符号i和j,初始化时记i=0,j=0。
步骤1042:基于所述第三视场角与第三图像尺寸的对应关系,将第一视差图像序列Ai的图像边界扩展或缩小后得到初步第三视差图像序列,将第二视差图像序列Bj的图像边界扩展或缩小后得到初步第四视差图像序列。对初步第三视差图像序列和初步第四视差图像序列中的像素(u,v)分别映射回第一视差图像序列图像Ai和第二视差图像序列Bj中,得到初步第三视差图像序列和初步第四视差图像序列中每个像素的像素位置(x,y),因为(x,y)可能不是整数,所以向下取整得到(a,b),其中x=a+δ,y=b+θ,0≤δ,θ<1为小数部分。
步骤1043:进行双线性插值运算:
f(u,v)=f(x,y)=(1-δ)(1-θ)f(a,b)+(1-δ)θf(a,b+1)
+δ(1-θ)f(a+1,b)+δθf(a+1,b+1)
步骤1044:对初步第三视差图像序列和初步第四视差图像序列逐像素映射(u,v),直至全部填充第一全零矩阵(z1×HA)×(z2×WA)和第二全零矩阵(z3×HB)×(z4×WB),得到图像尺寸大小为M×M、视场角为γ的图像。
步骤1045:根据计数符号i的值判断是否完成对第一视差图像序列Ai的处理。若i≥n成立,则输出图像尺寸大小为M×M、视场角为γ的第三视差图像序列Si;若i<n,令i=i+1,执行步骤1042-步骤1044,直至i≥n,此时输出图像尺寸大小为M×M、视场角为γ的第三视差图像序列Si。同理,若j≥n成立,则输出图像尺寸大小为M×M、视场角为γ的第四视差图像序列Tj;若j<n,令j=j+1,执行步骤1042-步骤1044,直至j≥n,此时输出图像尺寸大小为M×M、视场角为γ的第四视差图像序列Tj
步骤105:根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板。具体为:
使用第三视差图像序列Si的每张图像Si(u,v)生成前景模板Mi(u,v),(u,v是像素坐标)。当图像Si(u,v)中包含场景信息时,前景模板Mi(u,v)对应位置的像素信息为透明的,其余位置不透明。其中:
Figure BDA0002308385330000101
Si(u,v)alpha表示图像Si(u,v)中代表像素透明度的alpha通道值。
步骤106:将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列。具体为:
用每个前景模板Mi(u,v)乘以第四视差图像序列Tj的每张图像Tj(u,v),得到第五视差图像序列,i=j,即
Ci(u,v)=Mi(u,v)×Tj(u,v)。
其中,第五视差图像序列的图像为Ci(u,v)。
步骤107:将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
将图像Si(u,v)和Ci(u,v)相加,最终可得合成视差图像序列Di,可用公式表示为:
Di(u,v)=Si(u,v)+Ci(u,v)。
其中,合成视差图像序列的图像为Di(u,v)。
采用基于序列图像的三维重建技术对各场景进行三维重建,而后采用同一相机对组合模型进行采样。基于图像的三维模型重建技术具有建模逼真、运算速度快、占用***资源少等特点,已经广泛应用于工业制造、文物数字化和医疗教育等领域。首先利用相机对不同的三维场景单独采样得到各自的视角图像序列,而后通过基于序列图像的三维重建算法对各三维场景进行三维建模,最后只需采用虚拟相机对组合模型进行渲染即可得到融合了多种场景的全视差视角图像序列,且包含了各场景之间正确的遮挡、位置、大小等关系。
为实现上述目的,本发明还提供了一种用于全息体视图打印的视差图像序列合成***,如图2所示,包括:
视差图像序列获取模块201,用于获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同。
对应关系建立模块202,用于建立第三视场角与第三图像尺寸的对应关系。
全零矩阵生成模块203,用于将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵。
第三和第四视差图像序列生成模块204,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸。
前景模板生成模块205,用于根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板。
第五视差图像序列生成模块206,用于将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列。
合成视差图像序列生成模块207,用于将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
所述视差图像序列获取模块201,具体包括:
第一视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第一虚拟场景,使用第一视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;所述第一视差图像序列Ai的第一图像尺寸大小都为HA×WA
第二视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第二虚拟场景,使用第二视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,所述第二视差图像序列Bj的第二图像尺寸大小都为HB×WB;其中,i,j表示图像张数,i,j=0,1,2,...,n。
所述对应关系建立模块202,具体包括:
对应关系建立单元,用于使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景、第二虚拟场景渲染,得到第三图像尺寸为M×M,进而建立第三视场角γ与第三图像尺寸M×M的对应关系。
所述全零矩阵生成模块203,具体包括:
第一全零矩阵生成单元,用于根据第一尺寸缩放因子,将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵;所述第一视差图像序列的图像尺寸为HA×WA,所述第三图像尺寸为M×M,所述第一尺寸缩放因子为(z1,z2),z1=M/HA,z2=M/WA
第二全零矩阵生成单元,用于根据第二尺寸缩放因子,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;所述第二视差图像序列的图像尺寸为HB×WB,所述第二尺寸缩放因子为(z3,z4),z3=M/HB,z4=M/WB
所述第三和第四视差图像序列生成模块204,具体包括:
初步第三视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列的图像边界扩展或缩小后得到初步第三视差图像序列。
初步第四视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第二视差图像序列的图像边界扩展或缩小后得到初步第四视差图像序列。
像素位置第一确定单元,用于将所述初步第三视差图像序列中每张图像的像素映射回所述第一视差图像序列,得到所述初步第三视差图像序列中每张图像的每个像素的像素位置。
像素位置第二确定单元,用于将所述初步第四视差图像序列中每张图像的像素映射回所述第二视差图像序列,得到所述初步第四视差图像序列中每张图像的每个像素的像素位置。
第三视差图像序列生成单元,用于根据所述初步第三视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第一全零矩阵,直到所有所述第一全零矩阵填充完毕,生成第三视差图像序列。
第四视差图像序列生成单元,用于根据所述初步第四视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第二全零矩阵,直到所有所述第二全零矩阵填充完毕,生成第四视差图像序列。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于全息体视图打印的视差图像序列合成方法,其特征在于,包括:
获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同;
建立第三视场角与第三图像尺寸的对应关系;
将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵;
基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;
根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板;
将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列;
将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
2.根据权利要求1所述的一种用于全息体视图打印的视差图像序列合成方法,其特征在于,所述获取第一视差图像序列和第二视差图像序列,具体包括:
在3Ds Max三维建模软件中设置第一虚拟场景,使用第一视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;所述第一视差图像序列Ai的第一图像尺寸大小都为HA×WA
在3Ds Max三维建模软件中设置第二虚拟场景,使用第二视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,所述第二视差图像序列Bj的第二图像尺寸大小都为HB×WB;其中,i,j表示图像张数,i,j=0,1,2,...,n。
3.根据权利要求1所述的一种用于全息体视图打印的视差图像序列合成方法,其特征在于,所述建立第三视场角与第三图像尺寸的对应关系,具体包括:
使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景、第二虚拟场景渲染,得到第三图像尺寸为M×M,进而建立第三视场角γ与第三图像尺寸M×M的对应关系。
4.根据权利要求1所述的一种用于全息体视图打印的视差图像序列合成方法,其特征在于,所述将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵,具体包括:
根据第一尺寸缩放因子,将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵;所述第一视差图像序列的图像尺寸为HA×WA,所述第三图像尺寸为M×M,所述第一尺寸缩放因子为(z1,z2),z1=M/HA,z2=M/WA
根据第二尺寸缩放因子,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;所述第二视差图像序列的图像尺寸为HB×WB,所述第二尺寸缩放因子为(z3,z4),z3=M/HB,z4=M/WB
5.根据权利要求1所述的一种用于全息体视图打印的视差图像序列合成方法,其特征在于,所述基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列,具体包括:
基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列的图像边界扩展或缩小后得到初步第三视差图像序列;
基于所述第三视场角与第三图像尺寸的对应关系,将所述第二视差图像序列的图像边界扩展或缩小后得到初步第四视差图像序列;
将所述初步第三视差图像序列中每张图像的像素映射回所述第一视差图像序列,得到所述初步第三视差图像序列中每张图像的每个像素的像素位置;
将所述初步第四视差图像序列中每张图像的像素映射回所述第二视差图像序列,得到所述初步第四视差图像序列中每张图像的每个像素的像素位置;
根据所述初步第三视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第一全零矩阵,直到所有所述第一全零矩阵填充完毕,生成第三视差图像序列;
根据所述初步第四视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第二全零矩阵,直到所有所述第二全零矩阵填充完毕,生成第四视差图像序列。
6.一种用于全息体视图打印的视差图像序列合成***,其特征在于,包括:
视差图像序列获取模块,用于获取第一视差图像序列和第二视差图像序列;其中,所述第一视差图像序列的第一视场角与所述第二视差图像序列的第二视场角不同,所述第一视差图像序列的第一虚拟场景与所述第二视差图像序列的第二虚拟场景不同,所述第一视差图像序列的第一图像尺寸与所述第二视差图像序列的第二图像尺寸不同,所述第一视差图像序列的图像张数与所述第二视差图像序列的图像张数相同;
对应关系建立模块,用于建立第三视场角与第三图像尺寸的对应关系;
全零矩阵生成模块,用于将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;其中,所述第一视差图像序列中的一张图像对应一个第一全零矩阵,所述第二视差图像序列中的一张图像对应一个第二全零矩阵;
第三和第四视差图像序列生成模块,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列中的每张图像像素映射到对应的第一全零矩阵中生成第三视差图像序列,将所述第二视差图像序列中的每张图像像素映射到对应的第二全零矩阵中生成第四视差图像序列;其中,所述第三视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;所述第四视差图像序列的视场角为第三视场角,图像尺寸为第三图像尺寸;
前景模板生成模块,用于根据所述第三视差图像序列,生成多个前景模板;其中,所述第三视差图像序列的一张图像对应一个前景模板;
第五视差图像序列生成模块,用于将每个所述前景模板和所述第四视差图像序列的每张图像相乘,生成第五视差图像序列;
合成视差图像序列生成模块,用于将所述第三视差图像序列的每张图像和所述第五视差图像序列的每张图像对应相加,生成合成视差图像序列。
7.根据权利要求6所述的一种用于全息体视图打印的视差图像序列合成***,其特征在于,所述视差图像序列获取模块,具体包括:
第一视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第一虚拟场景,使用第一视场角为α的自由摄像机camera1渲染得到第一视差图像序列Ai;所述第一视差图像序列Ai的第一图像尺寸大小都为HA×WA
第二视差图像序列获取单元,用于在3Ds Max三维建模软件中设置第二虚拟场景,使用第二视场角为β的自由摄像机camera2渲染得到第二视差图像序列Bj,所述第二视差图像序列Bj的第二图像尺寸大小都为HB×WB;其中,i,j表示图像张数,i,j=0,1,2,...,n。
8.根据权利要求6所述的一种用于全息体视图打印的视差图像序列合成***,其特征在于,所述对应关系建立模块,具体包括:
对应关系建立单元,用于使用3Ds Max三维建模软件设置第三视场角为γ的自由摄像机camera3,并分别对第一虚拟场景、第二虚拟场景渲染,得到第三图像尺寸为M×M,进而建立第三视场角γ与第三图像尺寸M×M的对应关系。
9.根据权利要求6所述的一种用于全息体视图打印的视差图像序列合成***,其特征在于,所述全零矩阵生成模块,具体包括:
第一全零矩阵生成单元,用于根据第一尺寸缩放因子,将所述第一视差图像序列中的每张图像进行尺寸缩放处理得到第一全零矩阵;所述第一视差图像序列的图像尺寸为HA×WA,所述第三图像尺寸为M×M,所述第一尺寸缩放因子为(z1,z2),z1=M/HA,z2=M/WA
第二全零矩阵生成单元,用于根据第二尺寸缩放因子,将所述第二视差图像序列中的每张图像进行尺寸缩放处理得到第二全零矩阵;所述第二视差图像序列的图像尺寸为HB×WB,所述第二尺寸缩放因子为(z3,z4),z3=M/HB,z4=M/WB
10.根据权利要求6所述的一种用于全息体视图打印的视差图像序列合成***,其特征在于,所述第三和第四视差图像序列生成模块,具体包括:
初步第三视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第一视差图像序列的图像边界扩展或缩小后得到初步第三视差图像序列;
初步第四视差图像序列确定单元,用于基于所述第三视场角与第三图像尺寸的对应关系,将所述第二视差图像序列的图像边界扩展或缩小后得到初步第四视差图像序列;
像素位置第一确定单元,用于将所述初步第三视差图像序列中每张图像的像素映射回所述第一视差图像序列,得到所述初步第三视差图像序列中每张图像的每个像素的像素位置;
像素位置第二确定单元,用于将所述初步第四视差图像序列中每张图像的像素映射回所述第二视差图像序列,得到所述初步第四视差图像序列中每张图像的每个像素的像素位置;
第三视差图像序列生成单元,用于根据所述初步第三视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第一全零矩阵,直到所有所述第一全零矩阵填充完毕,生成第三视差图像序列;
第四视差图像序列生成单元,用于根据所述初步第四视差图像序列中每张图像的每个像素以及每个像素对应的像素位置,采用双线性插值运算,填充所述第二全零矩阵,直到所有所述第二全零矩阵填充完毕,生成第四视差图像序列。
CN201911248569.9A 2019-12-09 2019-12-09 一种用于全息体视图打印的视差图像序列合成方法及*** Active CN110933393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911248569.9A CN110933393B (zh) 2019-12-09 2019-12-09 一种用于全息体视图打印的视差图像序列合成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911248569.9A CN110933393B (zh) 2019-12-09 2019-12-09 一种用于全息体视图打印的视差图像序列合成方法及***

Publications (2)

Publication Number Publication Date
CN110933393A true CN110933393A (zh) 2020-03-27
CN110933393B CN110933393B (zh) 2021-07-23

Family

ID=69858362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911248569.9A Active CN110933393B (zh) 2019-12-09 2019-12-09 一种用于全息体视图打印的视差图像序列合成方法及***

Country Status (1)

Country Link
CN (1) CN110933393B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014901A (zh) * 2021-02-25 2021-06-22 深圳臻像科技有限公司 一种用于全息体视图打印的视差图像序列合成方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867615A (zh) * 2016-03-24 2016-08-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN106997281A (zh) * 2017-04-10 2017-08-01 北京小米移动软件有限公司 共享虚拟对象的方法及智能设备
CN107085509A (zh) * 2017-04-19 2017-08-22 腾讯科技(深圳)有限公司 一种在虚拟场景中前景图片的处理方法及终端
CN107209564A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 将现实世界比例应用于虚拟内容
CN109478344A (zh) * 2016-04-22 2019-03-15 交互数字Ce专利控股公司 用于合成图像的方法和设备
CN110321089A (zh) * 2019-07-10 2019-10-11 中国人民解放军陆军装甲兵学院 一种全息体视图打印方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209564A (zh) * 2015-01-20 2017-09-26 微软技术许可有限责任公司 将现实世界比例应用于虚拟内容
CN105867615A (zh) * 2016-03-24 2016-08-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN109478344A (zh) * 2016-04-22 2019-03-15 交互数字Ce专利控股公司 用于合成图像的方法和设备
CN106997281A (zh) * 2017-04-10 2017-08-01 北京小米移动软件有限公司 共享虚拟对象的方法及智能设备
CN107085509A (zh) * 2017-04-19 2017-08-22 腾讯科技(深圳)有限公司 一种在虚拟场景中前景图片的处理方法及终端
CN110321089A (zh) * 2019-07-10 2019-10-11 中国人民解放军陆军装甲兵学院 一种全息体视图打印方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014901A (zh) * 2021-02-25 2021-06-22 深圳臻像科技有限公司 一种用于全息体视图打印的视差图像序列合成方法、***及存储介质
CN113014901B (zh) * 2021-02-25 2022-05-17 深圳臻像科技有限公司 一种用于全息体视图打印的视差图像序列合成方法、***及存储介质

Also Published As

Publication number Publication date
CN110933393B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN114549731A (zh) 视角图像的生成方法、装置、电子设备及存储介质
KR101199475B1 (ko) 3차원 모델 생성 방법 및 장치
CN102592275B (zh) 虚拟视点绘制方法
CN110570522B (zh) 一种多视图三维重建方法
JP2008015756A (ja) 局所領域分割による自由視点画像の生成方法、装置およびプログラム
CN116071278A (zh) 无人机航拍图像合成方法、***、计算机设备及存储介质
CN111127536A (zh) 基于神经网络的光场多平面表示重建方法及装置
CN108924528A (zh) 一种基于深度学习的双目风格化实时渲染方法
CN115731336B (zh) 图像渲染方法、图像渲染模型生成方法及相关装置
CN110321089B (zh) 一种全息体视图打印方法及***
CN110933393B (zh) 一种用于全息体视图打印的视差图像序列合成方法及***
CN115272608A (zh) 一种人手重建方法及设备
CN116109757A (zh) 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法
CN116503536B (zh) 一种基于场景分层的光场渲染方法
Guo et al. Content-aware warping for view synthesis
US8786681B1 (en) Stereoscopic conversion
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
US9118902B1 (en) Stereoscopic conversion
CN111010559B (zh) 裸眼三维光场内容的生成方法及装置
Yan et al. Stereoscopic image generation from light field with disparity scaling and super-resolution
Schnyder et al. Depth image based compositing for stereo 3D
JP2023517461A (ja) 複数の画像のアライメントのトレーニング
CN113132706A (zh) 基于逆向映射的可控位置虚拟视点生成方法及装置
Verma et al. 3D Rendering-Techniques and challenges
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant