CN117015966A - 一种光场预测模型的生成方法及相关装置 - Google Patents
一种光场预测模型的生成方法及相关装置 Download PDFInfo
- Publication number
- CN117015966A CN117015966A CN202180095331.6A CN202180095331A CN117015966A CN 117015966 A CN117015966 A CN 117015966A CN 202180095331 A CN202180095331 A CN 202180095331A CN 117015966 A CN117015966 A CN 117015966A
- Authority
- CN
- China
- Prior art keywords
- distance
- small cube
- cube
- small
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005070 sampling Methods 0.000 claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims description 132
- 238000004364 calculation method Methods 0.000 claims description 65
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 description 53
- 230000000694 effects Effects 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
一种光场预测模型的生成方法及相关装置,该方法包括:根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,立方体模型包括多个小立方体voxel;根据多张样本图像分别计算多个小立方体中每个小立方体的多个截断距离(S402);根据每个小立方体的多个截断距离从小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;根据采样的空间点的空间坐标训练光场预测模型,其中,光场预测模型用于预测场景的光场。该方法能够提高voxel的采样效率,从而提高光场预测模型的生成效率。
Description
本申请涉及计算机技术领域,尤其涉及一种光场预测模型的生成方法及相关装置。
虚拟现实显示技术的前景非常广阔,从卡片盒(cardbox)、虚拟现实头戴式显示器(Vive VR)、头戴显示器(Oculus Rift),到2019年推出的虚拟现实头盔(VR Glass),虚拟显示硬件设备正在变得简单、易用、普及。然而,与虚拟显示硬件设备飞速改进不同,高质量的虚拟现实数字内容非常有限。与传统显示的二维(2D)数字内容不同,为了增强身临其境的感受(比如显示内容跟随人的运动而变化),虚拟现实内容需要场景的三维光场,捕获场景的三维光场需要非常复杂的硬件设备,限制了三维光场获取的灵活性。因此,利用计算机视觉算法来获取三维光场成为了一种新的研究方向,但是如何基于计算机视觉算法高效、准确地获取三维光场是本领域技术人员面临的技术问题。
发明内容
本申请实施例公开了一种光场预测模型的生成方法及相关装置,能够提高光场预测模型的生成效率。
第一方面,本申请实施例公开了一种光场预测模型的生成方法,该方法包括:根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;然后,根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;之后根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;然后,根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
在上述方法中,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
结合第一方面,在第一方面的一种可选的方案中,所述根据采样的所述空间点的空间坐标训练光场预测模型之后,还包括:通过所述光场预测模型预测所述场景的光场。也即是说,模型训练设备在训练出光场预存模型后,还会通过该光场预测模型预测光场。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选 的方案中,所述根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,包括:对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。该实现方式中,对每个小立方体均要计算其融合截断距离,然后根据融合截断距离进行采样。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,所述根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,包括:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。在这种方式中,并非针对所有的小立方体均计算其融合截断距离,而是仅针对截断距离的绝对值小于预设阈值的小立方体计算其融合截断距离,因为截断距离较大时,相应小立方体距离物体表面越远,后续对其采样的必要性较小,因此,本申请不对这类小立方体的截断距离进行融合计算,相当于提前将这部分小立方体排除在采样范畴之外,在基本不降低后续采样效果的情况下,降低了计算量,提高了光场预测模型的生成效率。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。可以理解,融合截断距离越小的立方体距离物体表面越近,这类小立方体中的空间点相比于同camera ray上的其他小立方体中的空间点来说,能够更好地体现像素信息,因此,更多地基于这类小立方体中的空间点进行光场预测模型的训练,有利于该光场预测模型后续预测出更准确的图像。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,所述融合计算包括加权平均计算。可以理解,通过加权平均计算得到的融合截断距离能更准确的反映小立方体到物体表面的远近。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
在这种方式中,计算融合截断距离时用到了基于每张样本图像计算得到的权重值,由于该权重值与到时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,所述根据所述多张样本图像分别计算所述立方体模型中每个小立方体的截断距离之前,还包括:在拍摄所述多张样本图像中每张样本图像时,从所述每张样本图像的拍摄视角采集深度信息,其中,该深度信息用于表征所述相机到所述场景中物体表面的距离。
在这种方式中,从所述每张样本图像的拍摄视角采集深度信息,能够更准确地反映相机到被拍摄场景中的物体表面的距离,这有利于计算出更准确的截断距离。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,在计算第二小立方体的融合截断距离的过程中,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,也可以称为根据所述第一样本图像计算得到的所述第二小立方体的权重值w(p),该权重值w(p)满足如下关系:
w(p)=cos(θ)/distance(v)
其中,θ为所述第一夹角,distance(v)为所述第二小立方体到拍摄所述第一样本图像时所述相机的距离。
前面提到,根据所述第一样本图像计算得到的第二小立方体的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,这里的w(p)的表达式就是这一思想的一种可选表达,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,所述根据第一样本图像计算得到的所述第二小立方体的截断距离d(p)满足如下关系:
d(p)=sdf(p)/|u|
其中,sdf(p)为拍摄第一样本图像时相机到所述第一小立方体的距离,与所述相机到所述场景中物体表面的距离的差,u为预设阈值。
可以理解,这里的d(p)仅为截断距离的一种可选的计算公式,实际应用中还可以有其他的表达方式。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,若sdf(p)>|u|,则d(p)=1;若sdf(p)<0且|sdf(p)|>|u|,则d(p)=-1。
在这种方式中,将一范围内的小立方体的截断距离赋值为1,将另一范围内的小立方体的截断距离赋值为-1,这有利于后续对这两类小立方体做相同处理,从而提高计算效率。
第二方面,本申请实施例提供一种光场预测模型的生成装置,该装置包括:
建立单元,用于根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;
第一计算单元,用于根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;
采样单元,用于根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;
第二计算单元,用于根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
在上述装置中,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方 式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
结合第二方面,在第二方面的一种可选的方案中,所述装置还包括:
预测单元,用于通过所述光场预测模型预测所述场景的光场。也即是说,模型训练设备在训练出光场预存模型后,还会通过该光场预测模型预测光场。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述采样单元具体用于;对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。该实现方式中,对每个小立方体均要计算其融合截断距离,然后根据融合截断距离进行采样。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述采样单元具体用于:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。在这种方式中,并非针对所有的小立方体均计算其融合截断距离,而是仅针对截断距离的绝对值小于预设阈值的小立方体计算其融合截断距离,因为截断距离较大时,相应小立方体距离物体表面越远,后续对其采样的必要性较小,因此,本申请不对这类小立方体的截断距离进行融合计算,相当于提前将这部分小立方体排除在采样范畴之外,在基本不降低后续采样效果的情况下,降低了计算量,提高了光场预测模型的生成效率。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。可以理解,融合截断距离越小的立方体距离物体表面越近,这类小立方体中的空间点相比于同camera ray上的其他小立方体中的空间点来说,能够更好地体现像素信息,因此,更多地基于这类小立方体中的空间点进行光场预测模型的训练,有利于该光场预测模型后续预测出更准确的图像。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,所述融合计算包括加权平均计算。可以理解,通过加权平均计算得到的融合截断距离能更准确的反映小立方体到物体表面的远近。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
在这种方式中,计算融合截断距离时用到了基于每张样本图像计算得到的权重值,由 于该权重值与到时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,所述装置还包括:
采集单元,用于在拍摄所述多张样本图像中每张样本图像时,从所述每张样本图像的拍摄视角采集深度信息,其中,所述深度信息用于表征所述相机到所述场景中物体表面的距离。
在这种方式中,从所述每张样本图像的拍摄视角采集深度信息,能够更准确地反映相机到被拍摄场景中的物体表面的距离,这有利于计算出更准确的截断距离。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,在计算第二小立方体的融合截断距离的过程中,基于所述第一样本图像计算得到的截断距离在加权平均计算时所占的权重值,也可以称为根据所述第一样本图像计算得到的所述第二小立方体的权重值w(p),该权重值w(p)满足如下关系:
w(p)=cos(θ)/distance(v)
其中,θ为所述第一夹角,distance(v)为所述第二小立方体到拍摄所述第一样本图像时所述相机的距离。
前面提到,根据所述第一样本图像计算得到的第二小立方体的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,这里的w(p)的表达式就是这一思想的一种可选表达,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,所述根据第一样本图像计算得到的所述第二小立方体的截断距离d(p)满足如下关系:
d(p)=sdf(p)/|u|
其中,sdf(p)为拍摄第一样本图像时相机到所述第一小立方体的距离,与所述相机到所述场景中物体表面的距离的差,u为预设阈值。
可以理解,这里的d(p)仅为截断距离的一种可选的计算公式,实际应用中还可以有其他的表达方式。
结合第二方面或者第二方面的上述任一种可能的实现方式,在第二方面的又一种可选的方案中,若sdf(p)>|u|,则d(p)=1;若sdf(p)<0且|sdf(p)|>|u|,则d(p)=-1。
在这种方式中,将一范围内的小立方体的截断距离赋值为1,将另一范围内的小立方体的截断距离赋值为-1,这有利于后续对这两类小立方体做相同处理,从而提高计算效率。
第三方面,本申请实施例提供一种光场预测模型的生成设备,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序在所述处理器上运行时实现第一方面或者第一方面的任一种可选的方案所描述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中 存储有计算机程序,当所述计算机程序在处理器上运行时,实现第一方面或者第一方面的任一种可选的方案所描述的方法。
通过实施本申请实施例,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
图1是本申请实施例提供的一种获取NeRF的场景示意图;
图2A是本申请实施例提供的一种采样voxel的场景示意图;
图2B是本申请实施例提供的一种三维光场和RGB信息随深度信息变化的示意图;
图3是本申请实施例提供的一种模型训练的架构示意图;
图4是本申请实施例提供的一种确定场景三维光场的方法的流程示意图;
图5是本申请实施例提供的一种相机到voxel和物体表面的距离示意图;
图6是本申请实施例提供的一种截断距离的场景示意图;
图7是本申请实施例提供的一种截断距离的分布示意图;
图8是本申请实施例提供的一种光场预测模型的预测效果的对比示意图;
图9是本申请实施例提供的一种光场预测模型的生成装置的结构示意图;
图10是本申请实施例提供的又一种光场预测模型的生成装置的结构示意图。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参见图1,图1为一种获取学习射线场(Neural Radiance Fields,NeRF)的场景示意图,图1所示的方法中,采用稀疏的图片数据集来合成复杂场景的三维光场,具体包括:如(a)部分,对于由五维(5D)坐标系表示的场景,将视场线(camera ray)上的单个五维(5D)坐标
输入到全连接形式的深度学习网络,其中坐标
包含了空间位置(x,y,z)与视角方向
的信息。如(b)部分,深度学习网络重建(即输出)坐标
对应的RGB信息,可表示为RGBσ,包括密集点(Density)和色彩(color)。如(c)部分,在RGBσ上进行体绘制(volume rendering)后,将其与坐标
处的实际RGB信息进行比较,得出绘制损失(rendering loss),如(d)部分,并基于该rendering loss继续对深度学习网络进行训练。将camera ray上采集的空间点的5D坐标按照上述(a)、(b)、(c)、(d)的流程对深度学习网络训练完成后,该深度学习网络就可以预测新的5D坐标的RGB信息,因此,对于5D坐标系表示的场景来说,通过该深度学习网络可以预测从任意角度观看该场景的视图,该场景的全部视角的视图集合即为该场景的三维光场。
本申请发明人在对图1所示场景中用到的深度学习网络的运行原理进行分析后发现,对于某条视场线(camera ray,也称viewing ray)来说,如果它经过了物体表面(surface)上的点,则该camera ray对应的RGB信息(或者说像素)主要表征为该物体表面上的点的深度和颜色,在此前提下,上述深度学习网络在训练得到三维光场的过程中,首先需要从camera ray上均匀采样以得到采样点,如图2A所示,(e)部分和(f)部分都是均匀采样,其中(f)部分的采样粒度更小;然后,对各个采样点进行训练分析得出其中处于物体表面附近的采样点,基于物体表面附近的这部分采样点可以确定“物体表面”所处的大概范围,因此,基于该大概范围进一步训练分析得出物体表面的采样点;由于物体表面的采样点的深度和颜色基本能够反映camera ray对应的RGB信息(或者说像素),因此,基于物体表面的采样点可以训练出用于预测三维光场的深度学习网络(或者说光场预测模型)。如图2B所示,横向表示一条camera ray上图像深度信息的变化,纵向表示该条camera ray上三维光场随深度的变化量以及该条ray上RGB信息随深度的变化量,因此,用于预测三维光场的深度学习网络的权重和RGB信息在受深度影响方面,具有很高的重合性。而深度信息能够反映相机到物体表面的距离,因此,可以认为用于预测三维光场的深度学习网络的权重和RGB信息在受物体表面影响方面,具有很高的重合性。
在这个过程中,由于深度学习网络是从camera ray上均匀采样,因此,对于每条camera ray上的采样点来说,都需要经过逐个试错的方式来查找camera ray上位于物体表面附近的采样点,以及位于物体表面的采样点,这种逐个试错的方式导致深度学习网络的计算压力非常大,因此深度学习网络的收敛速度较慢,并且,这种逐个试错的方式也无法准确地定位到camera ray上位于物体表面的采样点,因此基于这样的采样点训练出的深度学习网络精度不高,从而导致该深度学习网络预测的三维光场的误差比较大。
本申请发明人认为,深度信息能够反映相机到物体表面的距离,因此将深度信息导入整个深度学习网络,能够降低深度学习网络的无效计算,提升深度学习网络的收敛速度和效率。具体是利用该深度信息在每条camera ray上的深度值附近进行重点采样和训练,从而保证深度学习网络在训练初期在camera ray上迅速收敛到物体表面,并集中算力表征物体的纹理细节信息,避免模糊(blur)和结构错误的现象。
请参见图3,图3是本申请实施例提供的一种模型训练的架构示意图,该架构包括模型训练设备301和一个或多个模型使用设备302,该模型训练设备301与该模型使用设备302之间通过有线或者无线的方式进行通信,因此该模型训练设备301可以将训练出的用于预测三维光场的深度学习网络(或者光场预测模型)发送给模型使用设备302;相应地,模型使用设备302通过接收到的深度学习网络来预测特定场景中的三维光场。当然,也可能模型训练设备自己基于训练得到的深度学习网络预测场景中的三维光场。
可选的,该模型使用设备302可以将基于该模型预测的结果反馈给上述模型训练设备301,使得模型训练设备301可以进一步基于该模型使用设备302的预测结果对模型做进一步的训练;重新训练好的模型可以发送给模型使用设备302对原来的模型进行更新。
该模型训练设备301可以为具有较强计算能力的设备,例如,一个服务器,或者由多个服务器组成的服务器集群。
该模型使用设备302为需要获取特定场景的三维光场的设备,例如,手持设备(例如,手机、平板电脑、掌上电脑等)、车载设备(例如,汽车、自行车、电动车、飞机、船舶等)、可穿戴设备(例如智能手表(如iWatch等)、智能手环、计步器等)、智能家居设备(例如,冰箱、电视、空调、电表等)、智能机器人、车间设备,等等。
下面分别以模型使用设备302为汽车和手机为例进行举例说明。
例如,随着经济的发展,全球汽车数量的不断增加,在提高汽车在道路上的通行效率方面,导航地图起着非常关键的作用;在一些道路复杂的路面,用户往往难以获取路面的全面信息,但是,采用本申请实施例的方法可预测特定场景的三维光场,因此可以向用户呈现复杂路面从各个方位观看的效果,有利于用户据此进行驾驶控制,提高汽车通行效率。
再如,现在网络购物非常普遍,消费者通过在网上查看物品的照片来了解物品的产品形态,然而目前很多物品的照片很有限,消费者只能看到从部分方位观看该物品时的效果,但是,采用本申请实施例的方法可预测物品的三维光场,因此用户可以全视角地观看该物品的产品形态,有利于帮助用户挑选到更适合自己的产品。
需要预测三维光场的例子还有很多,如VR看房、VR电影、游戏、街景制作等。
请参见图4,图4是本申请实施例提供的一种确定场景三维光场的方法的流程示意图,该方法可以基于图3所示的架构来实现,也可以基于其他架构来实现。当基于图3所示的架构实现时,步骤S400-S405可以由模型训练设备301实现,步骤S406可以由模型使用设备302实现。当基于其他架构来实现时,步骤S400-S406可以由一个设备来完成,也可以由多个设备来协作完成,该一个设备或者该多个设备的应用领域此处不做限定,能够提供相应的计算能力,和/或通信能力即可。步骤S400-S406具体如下:
步骤S400:向深度学习网络输入多张样本图像和该多张样本图像的拍摄方位的信息。
其中,多张样本图像是通过相机在不同的方位拍摄的同一个场景的图像,可选的,该方位(Pose)包括位置坐标(x,y,z)以及视角方向
例如,如果以世界坐标系为参照,该位置坐标(x,y,z)中的x、y、z分别代表经度、纬度、海拔高度,该视角方向
中的θ、
分别代表水平角度和垂直角度。当然,该方位还可以通过其他方式表达。
步骤S401:根据多张样本图像拍摄时的拍摄方位建立包围被拍摄场景的立方体模型。
可以理解,可以基于相机拍摄这多张照片时的多个不同方位构建一个能够包围该场景的立方体模型,可选的,该立方体模型的长、宽、高分别为由该多个不同方位计算出的该场景长C、宽W、高H的最大值。这里的场景不作限定,例如,可以是一个以人为主要物体的场景,再如,可以是以一棵树为主要物体的场景,再如,可以是以房屋内部结构为主要景物的场景,等等。这里提及的多个不同方位可以为东、西、南、北四个方位,也可以为其他参照物下的不同方位。
该立方体模型被划分为多个小立方体(grid voxel),简称voxel,可选的,该voxel可以通过对该立方体模型N等分划分得到,其大小可以根据实际需要进行设定,可以理解,当voxel越小时有利于提高后续深度学习网络的训练精度,但是voxel越小也会导致深度学习网络训练时的计算压力,通常会结合精度和设备算力综合考虑voxel的大小,例如,可以将voxel的规格(size)设置为2厘米(cm)。一般来说,对于任意一个voxel,认为它要 么位于上述场景中的物体的表面,要么不位于物体的表面(可以认为是位于场景中的空旷位置)。
可选的,若立方体模型中的voxel的位置表示为三维位置坐标g,即(x,y,z),后续立方体模型中的voxel送入深度学习网络进行训练时,可以由一个GPU线程处理一个(x,y)上的voxel,即一个GPU进程扫描处理一个(x,y)坐标下的晶格柱。可选的,一般会将voxel的中心点的坐标作为该voxel的坐标,当然也可以将该voxel中的其他点的坐标作为该voxel的坐标,比如,该voxel的左上角、该voxel的右上角等。
步骤S402:根据多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离。
上述多张样本图像是相机在不同的方位拍摄的,因此,需要针对每个方位拍摄的样本图像分别计算立方体模型中每个小立方体的截断距离,为了便于理解,下面以第一样本图像为例进行说明,该第一样本图像为该多张样本图像中的任意一张。其中,根据第一样本图像计算得到的每个小立方体的截断距离,是根据拍摄第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定的,下面进行举例说明。
假设第一样本图像是相机以第一方位拍摄的,相机在第一方位拍摄时也会采集场景的深度信息,该深度信息反映了从相机到该场景中物体表面的距离,因此相机在第一方位拍摄得到的图像中,每个像素点x对应了一个深度值,该像素点x对应的深度值value(x)反映了该像素点x所对应的camera ray上的位于物体表面的voxel到该相机的距离value(x)。
下面以第二小立方体(立方体模型中的任意一个voxel)为例进行说明,其位置是已知的,而相机以第一方位拍摄时,该相机的位置也是已知的,因此,对于第二小立方体来说,当相机以第一方位拍摄时,该第二小立方体到相机的距离是已知的,可以记为distance(v)。
因此,当相机以第一方位拍摄时,立方体模型中的第二小立方体到该场景中物体表面的距离可以标记为:sdf(p)=value(x)-distance(v),具体的场景及几何关系如图5所示。
本申请实施例要重点突出物体表面附近的voxel,假设与物体表面的距离不超过预设阈值u认为是位于物体表面附近,那么voxel是否位于附近以及近到什么程度可以通过截断距离d(p)表示,其中,第二小立方体voxel的截断距离d(p)的计算方式可以如下:
d(p)=sdf(p)/|u|
可选的,若sdf(p)>|u|,则d(p)=1;若sdf(p)<0且|sdf(p)|>|u|,则d(p)=-1。图6示意了截断距离d(p)与u之间的函数关系。图7示意了相机拍摄场景对应的立方体模型中的部分小立方体voxel的截断距离d(p)的分布。
在一种可选的方案中,还可以计算每个voxel的权重值,根据第一样本图像计算得到的第二小立方体的权重值,与第二小立方体到拍摄第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,这个权重值用于后续对第二小立方体的截断距离进行融合计算。采用这种方式确定每个voxel的权重值,其原因是:当相机以第一方位拍摄时,对于上述立方体模型中的任意一个voxel来说,它的像素信息(包括密集点(Density)、颜色(color)等)受多个方面影响,例如,它距离相机越近则像素信息越多,对应的第一夹角越小(相当于偏离相机拍摄的角度越小)则像素信息越 多。
可选的,该第二小立方体voxel的权重值w(p)的表达式可以如下:
w(p)=cos(θ)/distance(v)
其中,θ为所述第一夹角,distance(v)为所述第二小立方体到拍摄所述第一样本图像时所述相机的距离。
基于以上描述可知,基于上述第一样本图像,可以计算出该立方体模型中每个voxel的截断距离d(p)和权重值w(p),这一组截断距离d(p)和权重值w(p)是相对于第一方位的参数。基于其他样本图像,采用同样的计算原理,也可以计算出该立方体模型中每个voxel的截断距离d(p)和权重值w(p),这组截断距离d(p)和权重值w(p)是相对于另一方位的参数。
需要说明的是,在计算每个voxel的截断距离d(p)和权重值w(p)之前,可以先将voxel的坐标和相机的坐标统一到一个坐标系下,以方便计算。例如,可以根据voxel的大小,以及voxel的数目,将立方体模型中每个voxel的位置g转换为世界坐标系下的位置点p,然后根据相机位姿矩阵确定世界坐标系下的位置点p在相机坐标系下的映射点v,并根据相机内参矩阵和映射点v点确定深度图像中的对应像素点x;然后,获取像素点x的深度值,像素点x的深度值即为立方体模型中位置g处的voxel所在的视场线camera ray上,位于物体表面的voxel到相机的距离value(x),并且将映射点v到相机坐标系的原点的距离记为distance(v);获得的value(x)和distance(v)就可以用于截断距离d(p)和权重值w(p)的计算。
在一种可选的方案中,在拍摄所述多张样本图像中每张样本图像时,从所述每张样本图像的拍摄视角采集深度信息,其中,深度信息用于表征所述相机到所述场景中物体表面的距离,即上述value(x)。该深度信息可以具体通过传感器采集,例如,该传感器可以为雷达传感器、红外传感器等传感器,该传感器可以部署在该相机上面或该相机附近。
步骤S403:对根据所述多张样本图像分别计算得到的截断距离进行融合计算,得到所述立方体模型中的小立方体的融合截断距离。
在第一种可选方案中,具体是对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;后续进行采样时,就是根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。
在第二种可选方案中,具体是确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;然后对根据所述多张样本图像分别计算得到的第一小立方体的截断距离进行融合计算,得到所述立方体模型中的第一小立方体的融合截断距离,例如,如果基于多个样本图像计算出了一个voxel的多个截断距离,那么,如果该多个截断距离中最小的一个截断距离小于该预设阈值,则认为该一个voxel为第一小立方体,例如,预设阈值可以设置为1。后续进行采样时,就是根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。
下面以第二种可选方案为例,对融合计算的原理进行举例说明。
可选的,融合计算的原理可以为,第二小立方体的融合截断距离是将基于不同样本图像计算得到的截断距离进行加权平均计算得到的,所述第二小立方体为所述立方体模型中的任意一个小立方体。基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值等于前面的“基于所述第一样本图像计算得到的所述第二小立方 体的权重值w(p)”。举例来说,针对多张样本图像执行如下操作:将基于其中一个样本图像计算得到的截断距离d(p)作为初始的融合截断距离D(p),以及将基于该一个样本图像计算得到的权重值w(p)作为初始的融合权重值W(p);然后,针对其他样本图像依次执行如下操作,将基于当前样本图像计算得到的截断距离d(p)融入已有的融合截断距离D(p)以对该融合截断距离D(p)进行更新,以及基于当前样本图像计算得到的权重值w(p)融入已有的融合权重值W(p)以对该融合权重值W(p)进行更新,直至对基于每个样本图像计算出的截断距离d(p)和权重值w(p)都融合完毕。
可选的,融合计算的表达式可以如下:
D(p)=(W(p)*D(p)+w(p)d(p))/(W(p)+w(p))
W(p)=W(p)+w(p)
其中,D(p)为第二小立方体的融合截断距离,W(p)为第二小立方体的融合权重值,d(p)为基于当前样本图像计算出的第二小立方体的截断距离,w(p)为基于当前样本图像计算出的该第二小立方体的权重值。
可以理解,通过这种方式可以计算出该立方体模型中全部voxel最终的融合截断距离D(p)和融合权重值W(p)。可选的,可将立方体模型中全部voxel最终的融合截断距离D(p)和融合权重值W(p)输入到Marching Cube中,计算出三角面,以呈现立方体模型的截断距离场。
步骤S404:根据立方体模型中的小立方体的融合截断距离从小立方体中采样空间点。
具体地,根据立方体模型中的voxel的融合截断距离,从该立方体模型中的voxel中采样空间点,针对步骤S403中的第一种可选方案,可以基于每个voxel的融合截断距离从每个voxel中采样空间点,针对步骤S403中的第二种可选方案,可以基于第一小立方体(即第一voxel)的融合截断距离从第一小立方体中采样空间点。
采样的思路是,所述立方体模型中融合截断距离越小的小立方体采样的空间点越多;例如,对于任意一个相平面来说,该相平面发出的camera ray上,融合截断距离D(p)越接近0的voxel采样的密度越大,采样的次数越多,如果融合截断距离D(p)越接近1或-1则对这样的voxel则采样密度越小,采样次数越少。可选的,所述立方体模型中融合截断距离大于或等于预设阈值的立方体的采样数为零,例如,对于融合截断距离D(p)越等于1或等于-1的voxel,可以完全不进行采样。
可选的,camera ray上的voxel的采样次数与该voxel的融合截断距离D(p)满足如下关系:
n∝(1-|D(p)|)
其中,D(p)为该voxel的融合截断距离,n为该voxel的采样次数。
需要说明的是,每个voxel在立方体空间中并非一个点,而是包含了大量的空间点,因此,通过以上方式计算出每个voxel的采样次数之后,可以从该voxel包含的大量空间点中采样一部分空间点;举例来说,取全部voxel中的10个voxel为例,假若每个voxel包括1000个空间点,这10个voxel分别表示为voxel-1、voxel-2、voxel-3、voxel-4、voxel-5、voxel-6、voxel-7、voxel-8、voxel-9、voxel-10,这10个voxel融合截断距离D(p)依次为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1,那么,从voxel-1中采样的空间点的数 量为90、从voxel-2中采样的空间点的数量为80、从voxel-3中采样的空间点的数量为70、从voxel-4中采样的空间点的数量为60、从voxel-5中采样的空间点的数量为50、从voxel-6中采样的空间点的数量为40、从voxel-7中采样的空间点的数量为30、从voxel-8中采样的空间点的数量为20、从voxel-9中采样的空间点的数量为10、从voxel-10中采样的空间点的数量为0。采样得到的每个空间点都有一个空间坐标(x,y,z)。
本申请实施例中,有些camera ray上的voxel到相机的距离是无法被相关传感器检测到的,因此对于这类voxel是无法获得其截断距离的,因此也无法基于截断距离进行采样。对于这类voxel可以采用传统的均匀采样(或者平均采样)的方式来采样。
步骤S405:通过采样的空间点的空间坐标和多张样本图像训练所述深度学习网络。
该多张样本图像分别对应了多个方位,该深度学习网络会根据采样的空间点的空间坐标来重建(或者计算)该多个方位中每个方位的图像,直至重建的每个方位的图像与该方位原本的样本图像之间的损失(例如RGB信息差异)小于一个预设值,重建的每个方位的图像与该方位原本的样本图像之间的损失小于该预设值,则针对深度学习网络的训练结束。
下面针对重建过程进行举例说明。
可选的,样本图像1对应的是从方位1拍摄的,那么,将图像1中的像素点A的像素值,添加到像素点A对应的camera ray上被采样到的空间点的空间坐标上,针对该图像1中的其他像素点也做类似操作,对图像1的所有像素点都做完这个操作后,能够呈现出一个图像效果,这个图像就是重建的方位1的图像A,重建的理想效果就是,该深度学习网络重建的方位1的图像A与该样本图像1之间的损失(例如RGB信息差异)小于该预设值,其他方位拍摄的样本图像和重建图像也均满足这个关系。该训练结束后的深度学习网络也可以称为光场预测模型。
步骤S406:通过该深度学习网络(光场预测模型)预测从新的方位拍摄上述场景时的图像。
具体地,此处的新的方位可以为除上述多个方位以外的其他方位,该方位可以通过五维(5D)坐标表示,例如,方位1
其中,(x,y,z)表示位置,
表示视角方向。可以理解,采用这种方式,可以预测从任意方位拍摄上述场景时的图像,一般来说,当任意方位拍摄上述场景时的图像都获取了,则认为获取了该场景的三维光场。
可选的,该预测的图像可以为RGB图像。
表1为图1示意的现有技术中训练好的深度学习网络的预测效果,与本申请中训练好深度学习网络的预测效果的对比情况,可以通过仿真输出PSNR对比结果:
表1
网络类型 | 现有技术 | 本申请实施例 |
PSNR-Coarse | 33 | 37 |
PSNR-Fine | 36 | 37.2 |
PSNR-Test | 35.5 | 36.5 |
在表1中,峰值信噪比(Peak signal-to-noise ratio,PSNR)是用于衡量预测效果的指标,PSNR-Coarse表示对已有的样本图像对应的方位的图像进行粗粒度预测时的效果,PSNR-Fine表示对已有的样本图像对应的方位的拍摄图像进行细粒度预测时的效果, PSNR-Test表示对一个新的方位的拍摄图像进行预测时的效果。峰值信噪比PSNR的值越大,则表明训练好的深度学习网络的预测效果越好。
如图8所示,图8示意了以上现有技术中训练好的深度学习网络的预测效果,与本申请中训练好的深度学习网络的预测效果的对比情况,这个结果以图像的形式呈现,在图8中,(g)部分是拍摄的某个场景的图像,(h)部分是通过现有技术中的深度学习网络重建该图像后的效果,(i)部分是通过本申请实施例中的深度学习网络重建该图像后的效果。可以看出,本申请实施例对于物体表面的纹理表达更多更清晰,能够更好地反映景物层次。
在图4所示的方法中,训练深度学习网络(用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图9,图9是本申请实施例提供的一种光场预测模型的生成装置90的结构示意图,该装置可90以包括建立单元901、第一计算单元902、采样单元903和第二计算单元904,其中,各个单元的详细描述如下。
建立单元901,用于根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;
第一计算单元902,用于根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;
采样单元903,用于根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;
第二计算单元904,用于根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
在上述装置中,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
在一种可选的方案中,所述装置90还包括:
预测单元,用于通过所述光场预测模型预测所述场景的光场。也即是说,模型训练设备在训练出光场预存模型后,还会通过该光场预测模型预测光场。
在又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中 采样空间点方面,所述采样单元903具体用于;对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。该实现方式中,对每个小立方体均要计算其融合截断距离,然后根据融合截断距离进行采样。
在又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述采样单元903具体用于:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。在这种方式中,并非针对所有的小立方体均计算其融合截断距离,而是仅针对截断距离的绝对值小于预设阈值的小立方体计算其融合截断距离,因为截断距离较大时,相应小立方体距离物体表面越远,后续对其采样的必要性较小,因此,本申请不对这类小立方体的截断距离进行融合计算,相当于提前将这部分小立方体排除在采样范畴之外,在基本不降低后续采样效果的情况下,降低了计算量,提高了光场预测模型的生成效率。
在又一种可选的方案中,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。可以理解,融合截断距离越小的立方体距离物体表面越近,这类小立方体中的空间点相比于同camera ray上的其他小立方体中的空间点来说,能够更好地体现像素信息,因此,更多地基于这类小立方体中的空间点进行光场预测模型的训练,有利于该光场预测模型后续预测出更准确的图像。
在又一种可选的方案中,所述融合计算包括加权平均计算。可以理解,通过加权平均计算得到的融合截断距离能更准确的反映小立方体到物体表面的远近。
在又一种可选的方案中,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
在这种方式中,计算融合截断距离时用到了基于每张样本图像计算得到的权重值,由于该权重值与到时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
在又一种可选的方案中,所述装置90还包括:
采集单元,用于在拍摄所述多张样本图像中每张样本图像时,从所述每张样本图像的拍摄视角采集深度信息,其中,所述深度信息用于表征所述相机到所述场景中物体表面的距离。
在这种方式中,从所述每张样本图像的拍摄视角采集深度信息,能够更准确地反映相机到被拍摄场景中的物体表面的距离,这有利于计算出更准确的截断距离。
在又一种可选的方案中,在计算第二小立方体的融合截断距离的过程中,基于所述第一样本图像计算得到的截断距离在加权平均计算时所占的权重值,也可以称为根据所述第一样本图像计算得到的所述第二小立方体的权重值w(p),该权重值w(p)满足如下关系:
w(p)=cos(θ)/distance(v)
其中,θ为所述第一夹角,distance(v)为所述第二小立方体到拍摄所述第一样本图像时所述相机的距离。
前面提到,根据所述第一样本图像计算得到的第二小立方体的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,这里的w(p)的表达式就是这一思想的一种可选表达,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
在又一种可选的方案中,所述根据第一样本图像计算得到的所述第二小立方体的截断距离d(p)满足如下关系:
d(p)=sdf(p)/|u|
其中,sdf(p)为拍摄第一样本图像时相机到所述第一小立方体的距离,与所述相机到所述场景中物体表面的距离的差,u为预设阈值。
可以理解,这里的d(p)仅为截断距离的一种可选的计算公式,实际应用中还可以有其他的表达方式。
在又一种可选的方案中,若sdf(p)>|u|,则d(p)=1;若sdf(p)<0且|sdf(p)|>|u|,则d(p)=-1。
在这种方式中,将一范围内的小立方体的截断距离赋值为1,将另一范围内的小立方体的截断距离赋值为-1,这有利于后续对这两类小立方体做相同处理,从而提高计算效率。
需要说明的是,各个单元的实现还可以对应参照图4所示的方法实施例的相应描述。
请参见图10,图10是本申请实施例提供的一种光场预测模型的生成设备100,该设备100包括处理器1001、存储器1002和通信接口1003,所述处理器1001、存储器1002和通信接口1003通过总线相互连接。
存储器1002包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1002用于相关指令及数据。通信接口1003用于接收和发送数据。
处理器1001可以是一个或多个中央处理器(central processing unit,CPU),在处理器1001是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
由于该设备100训练光场预测模型时需要用到多张样本图像,因此该设备100需要获取该多张样本图像,获取的方式可以为通过该通信接口1003接收其他设备发送的样本图像,或者该设备100上配置有相机(或者称为图像传感器、拍摄装置),该相机能够拍摄得到该多张样本图像。可选的,当该设备100上配置有相机时,该设备100上还可以配置深度传感器,用于采集被拍摄场景中的景物的深度,该深度传感器的类型此处不做限定。
该设备100中的处理器1001用于读取所述存储器1002中存储的程序代码,执行以下操作:根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;然后,根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄第一样本图像时相机到所述每个小立方体的距离与所述相 机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;之后根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;然后,根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
在上述方法中,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
在一种可选的方案中,所述根据采样的所述空间点的空间坐标训练光场预测模型之后,所述处理器1001具体用于:通过所述光场预测模型预测所述场景的光场。也即是说,模型训练设备在训练出光场预存模型后,还会通过该光场预测模型预测光场。
在又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述处理器具体用于:对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。该实现方式中,对每个小立方体均要计算其融合截断距离,然后根据融合截断距离进行采样。
在又一种可选的方案中,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述处理器具体用于:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。在这种方式中,并非针对所有的小立方体均计算其融合截断距离,而是仅针对截断距离的绝对值小于预设阈值的小立方体计算其融合截断距离,因为截断距离较大时,相应小立方体距离物体表面越远,后续对其采样的必要性较小,因此,本申请不对这类小立方体的截断距离进行融合计算,相当于提前将这部分小立方体排除在采样范畴之外,在基本不降低后续采样效果的情况下,降低了计算量,提高了光场预测模型的生成效率。
在又一种可选的方案中,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。可以理解,融合截断距离越小的立方体距离物体表面越近,这类小立方体中的空间点相比于同camera ray上的其他小立方体中的空间点来说,能够更好地体现像素信息,因此,更多地基于这类小立方体中的空间点进行光场预测模型的训练,有利于该光场预测模型后续预测出更准确的图像。
在又一种可选的方案中,所述融合计算包括加权平均计算。可以理解,通过加权平均计算得到的融合截断距离能更准确的反映小立方体到物体表面的远近。
在又一种可选的方案中,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在 的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
在这种方式中,计算融合截断距离时用到了基于每张样本图像计算得到的权重值,由于该权重值与到时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
在又一种可选的方案中,在根据所述多张样本图像分别计算所述立方体模型中每个小立方体的截断距离之前,所述处理器还用于:在拍摄所述多张样本图像中每张样本图像时,从所述每张样本图像的拍摄视角采集深度信息,其中,该深度信息用于表征所述相机到所述场景中物体表面的距离。
在这种方式中,从所述每张样本图像的拍摄视角采集深度信息,能够更准确地反映相机到被拍摄场景中的物体表面的距离,这有利于计算出更准确的截断距离。
在又一种可选的方案中,在计算第二小立方体的融合截断距离的过程中,基于所述第一样本图像计算得到的截断距离在加权平均计算时所占的权重值,也可以称为根据所述第一样本图像计算得到的所述第二小立方体的权重值w(p),该权重值w(p)满足如下关系:
w(p)=cos(θ)/distance(v)
其中,θ为所述第一夹角,distance(v)为所述第二小立方体到拍摄所述第一样本图像时所述相机的距离。
前面提到,根据所述第一样本图像计算得到的第二小立方体的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,这里的w(p)的表达式就是这一思想的一种可选表达,因此当把该权重值结合进来计算融合截断距离时,能够更准确地反映不同方位对该融合截断距离的影响。
在又一种可选的方案中,所述根据第一样本图像计算得到的所述第二小立方体的截断距离d(p)满足如下关系:
d(p)=sdf(p)/|u|
其中,sdf(p)为拍摄第一样本图像时相机到所述第一小立方体的距离,与所述相机到所述场景中物体表面的距离的差,u为预设阈值。
可以理解,这里的d(p)仅为截断距离的一种可选的计算公式,实际应用中还可以有其他的表达方式。
结合第一方面或者第一方面的上述任一种可能的实现方式,在第一方面的又一种可选的方案中,若sdf(p)>|u|,则d(p)=1;若sdf(p)<0且|sdf(p)|>|u|,则d(p)=-1。
在这种方式中,将一范围内的小立方体的截断距离赋值为1,将另一范围内的小立方体的截断距离赋值为-1,这有利于后续对这两类小立方体做相同处理,从而提高计算效率。
需要说明的是,各个操作的实现还可以对应参照图4所示的方法实施例的相应描述。
本申请实施例还提供一种芯片***,所述芯片***包括至少一个处理器,存储器和接口电路,所述存储器、所述收发器和所述至少一个处理器通过线路互联,所述至少一个存储器中存储有指令;所述指令被所述处理器执行时,实现图4所示的方法流程。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指 令,当其在处理器上运行时,实现图4所示的方法流程。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,实现图4所示的方法流程。
综上所述,通过实施本申请实施例,训练深度学习网络(也称光场预测模型,用于预测三维光场)所用到的voxel采样点,是基于图像的深度信息获取的,具体是基于深度信息和voxel到相机的距离计算出一个截断距离,然后根据截断距离的大小进行差异化采样,一方面,这种采样方式能够快速将采样集中到重点区域,提高了采样效率;另一方面,这种采样方式采样的voxel基本都集中在物体表面附近,因此后续基于这种voxel训练出的深度学习网络在进行图像预测时,能够更好的表征物体的纹理细节信息,能够减少模糊(blur)和结构错误的现象。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (16)
- 一种光场预测模型的生成方法,其特征在于,包括:根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄所述第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
- 根据权利要求1所述的方法,其特征在于,所述根据采样的所述空间点的空间坐标训练光场预测模型之后,还包括:通过所述光场预测模型预测所述场景的光场。
- 根据权利要求1或2所述的方法,其特征在于,所述根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,包括:对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。
- 根据权利要求1或2所述的方法,其特征在于,所述根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,包括:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体的融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。
- 根据权利要求3或4所述的方法,其特征在于,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。
- 根据权利要求3-5任一项所述的方法,其特征在于,所述融合计算包括加权平均计算。
- 根据权利要求6所述的方法,其特征在于,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第 一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
- 一种光场预测模型的生成装置,其特征在于,包括:建立单元,用于根据多张样本图像各自的拍摄方位建立包围被拍摄场景的立方体模型,其中,所述立方体模型包括多个小立方体voxel;第一计算单元,用于根据所述多张样本图像分别计算所述多个小立方体中每个小立方体的多个截断距离,其中,根据第一样本图像计算得到的每个小立方体的一个截断距离包括:根据拍摄所述第一样本图像时相机到所述每个小立方体的距离与所述相机到所述场景中物体表面的距离确定所述截断距离,所述第一样本图像为所述多张样本图像中任意一张;采样单元,用于根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点,其中,采样的每个空间点对应有空间坐标;第二计算单元,用于根据采样的所述空间点的空间坐标训练光场预测模型,其中,所述光场预测模型用于预测所述场景的光场。
- 根据权利要求8所述的装置,其特征在于,所述装置还包括:预测单元,用于通过所述光场预测模型预测所述场景的光场。
- 根据权利要求8或9所述的装置,其特征在于,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述采样单元具体用于:对所述每个小立方体的所述多个截断距离进行融合计算,得到所述每个小立方体融合截断距离;根据所述每个小立方体的融合截断距离从所述每个小立方体中采样空间点。
- 根据权利要求8或9所述的装置,其特征在于,在根据所述每个小立方体的多个截断距离从所述小立方体中采样空间点方面,所述采样单元具体用于:确定所述每个小立方体中至少有一个截断距离的绝对值小于预设阈值的第一小立方体;对所述第一小立方体的所述多个截断距离进行融合计算,得到所述第一小立方体融合截断距离;根据所述第一小立方体的融合截断距离从所述第一小立方体中采样空间点。
- 根据权利要求10或11所述的装置,其特征在于,在从所述小立方体中采样空间点的过程中,融合截断距离越小的小立方体采样的空间点越多。
- 根据权利要求10-12任一项所述的装置,其特征在于,所述融合计算包括加权平均计算。
- 根据权利要求13所述的装置,其特征在于,基于所述第一样本图像计算得到的第二小立方体的截断距离在加权平均计算时所占的权重值,与所述第二小立方体到拍摄所述第一样本图像时所述相机的距离呈负相关,和/或,与第一夹角呈正相关,所述第一夹角为所述第二小立方体所在的视场线camera ray与距离所述第二小立方体最近的物体表面的法向量之间的夹角,所述第二小立方体为所述立方体模型中的任意一个小立方体。
- 一种光场预测模型的生成设备,其特征在于,包括处理器和存储器,其中,所述存储器用于存储计算机程序,所述计算机程序在所述处理器上运行时实现权利要求1-7任一项所述的方法。
- 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,实现权利要求1-7任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/080893 WO2022193104A1 (zh) | 2021-03-15 | 2021-03-15 | 一种光场预测模型的生成方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117015966A true CN117015966A (zh) | 2023-11-07 |
Family
ID=83321601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180095331.6A Pending CN117015966A (zh) | 2021-03-15 | 2021-03-15 | 一种光场预测模型的生成方法及相关装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117015966A (zh) |
WO (1) | WO2022193104A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101982741A (zh) * | 2010-09-08 | 2011-03-02 | 北京航空航天大学 | 一种水下光场采样及模拟方法 |
JP2016537901A (ja) * | 2013-11-22 | 2016-12-01 | ヴィディノティ エスアーVidinoti Sa | ライトフィールド処理方法 |
RU2018113713A (ru) * | 2015-09-17 | 2019-10-18 | Томсон Лайсенсинг | Представление данных светового поля |
EP3144879A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | A method and an apparatus for generating data representative of a light field |
-
2021
- 2021-03-15 WO PCT/CN2021/080893 patent/WO2022193104A1/zh active Application Filing
- 2021-03-15 CN CN202180095331.6A patent/CN117015966A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022193104A1 (zh) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114004941B (zh) | 一种基于神经辐射场的室内场景三维重建***及方法 | |
CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
CN111126148B (zh) | 一种基于视频卫星影像的dsm生成方法 | |
CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
CN110637461B (zh) | 计算机视觉***中的致密光学流处理 | |
CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
CN112489099B (zh) | 点云配准方法、装置、存储介质及电子设备 | |
CN107862733B (zh) | 基于视线更新算法的大规模场景实时三维重建方法和*** | |
CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
CN116740668B (zh) | 三维目标检测方法、装置、计算机设备和存储介质 | |
CN112907573A (zh) | 一种基于3d卷积的深度补全方法 | |
CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
CN112150518A (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN110651475B (zh) | 用于致密光学流的阶层式数据组织 | |
CN117132737B (zh) | 一种三维建筑模型构建方法、***及设备 | |
US20240135623A1 (en) | Differentiable real-time radiance field rendering for large scale view synthesis | |
CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
CN116843754A (zh) | 一种基于多特征融合的视觉定位方法及*** | |
CN116704125A (zh) | 一种基于三维点云的映射方法、装置、芯片及模组设备 | |
CN117015966A (zh) | 一种光场预测模型的生成方法及相关装置 | |
CN114332364A (zh) | 一种基于地基云图的三维云场景建模与可视化方法 | |
CN113554754A (zh) | 一种基于计算机视觉的室内定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |