CN115841546A - 一种场景结构关联的地铁站多视矢量仿真渲染方法及*** - Google Patents

Abstract

本发明公开了一种场景结构关联的地铁站多视矢量仿真渲染方法及***，本发明方法包括在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；分别提取多视角图像中的特征；对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。本发明实现简单、成本低，能够实现对当前场景下任意视角的渲染图像进行仿真。

Description

一种场景结构关联的地铁站多视矢量仿真渲染方法及***

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种场景结构关联的地铁站多视矢量仿真渲染方法及***。

背景技术

在基于计算机视觉的物体三维重建和特征描述中，物理特性估计和渲染即是通过对外部环境的估计，对三维物体建立适合计算机表示和处理的数学模型,其是在计算机环境下对物体进行处理、操作和分析物体性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。目前光学特性渲染主要采用以下两种方式：1)正向渲染：通过对物体材质建模进行渲染，即通过形状和材质参数，在一个新颖且给定的光照环境下，渲染物体的场景。该类方法通常是通过基于物理的建模来实现，例如辐射传输框架或单散射和扩散近似等假设。但是由于物体内部任何一点的光照取决于身体其他点的光照和透光率，而材质本身可能具有复杂的各向异性或不均匀的密度，这些特性共同导致采用正向渲染时会导致渲染计算成本高昂。2)逆向渲染：逆向渲染的目标即是形状或材料估计，根据已知光线下的场景图像预测对象的几何或光学参数。早期的逆渲染方法通常基于各种参数的先验假设来解决这个问题，例如形状或反射率。随着近年来深度学习技术的发展，数据驱动的方法在大多数情况下已经能够实现通用的逆向渲染。但是，无论是正向渲染还是逆向渲染，它们在对对象建模时具有很高的复杂性，且对模型本身的材质参数需求较高，对材质进行建模时缺乏准确性和鲁棒性，而实际工况下，无需对场景自身的几何和材质信息进行严格建模，实际需求为对其他未拍摄到的视角进行仿真渲染，因为需要一种可以端到端对不同视角进行模拟的方法。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种场景结构关联的地铁站多视矢量仿真渲染方法及***，本发明实现简单、成本低，能够实现对当前场景下任意视角的渲染图像进行仿真。

为了解决上述技术问题，本发明采用的技术方案为：

一种场景结构关联的地铁站多视矢量仿真渲染方法，包括：

S101，在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；

S102，分别提取多视角图像中的特征；

S103，对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；

S104，基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。

可选地，步骤S101包括在目标位置下按照指定的角度间隔对目标位置的周边360度进行等角度采样，共得到n个视角的图像I₁,I₂,...,I_n构成的多视角图像。

可选地，步骤S102中多视角图像中的特征为二元组数据(I₁,F₁),(I₂,F₂),...,(I_n,F_n)，其中I₁～I_n为n个视角的图像，F₁～F_n分别为从n个视角的图像I₂,I₂,...,I_n中提取得到的轮廓边缘像素点特征。

可选地，步骤S103包括：

S201，针对二元组数据(I₁,F₁),(I₂,F₂),...,(I_n,F_n)进行两两欧氏距离计算；

S202，针对n个视角的图像I₁,I₂,...,_n中的任意第i个视角的图像I_i，选取欧氏距离最近的k个图像I_i1,I_i2,...,I_ik；

S203，以任意第i个视角的图像I_i作为一个顶点，并将第i个视角的图像I_i与欧氏距离最近的k个图像I_i1,I_i2,...,I_ik之间共同组成一个超边，从而构成一个图模型H以表达n个视角的图像I₁,I₂,...,I_n的多对多结构关联信息。

可选地，步骤S104基于图模型提取目标位置下的隐式表示场是指将图模型输入预先训练好的机器学习模型以得到目标位置下的隐式表示场，所述机器学习模型被预先训练建立了图模型、隐式表示场之间的映射关系。

可选地，所述机器学习模型为多层感知机MLP。

可选地，步骤S104中基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像是指采用用于视图合成的神经辐射场技术，基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。

可选地，步骤S104之后，还包括将生成的目标位置下的多视角仿真渲染图像作为局部三维白模增加到全局三维白模中以更新全局三维白模；然后判断是否仍有尚未完成处理的位置，若是否仍有尚未完成处理的位置，则移动到新的位置并将新的位置作为新的目标位置，跳转步骤S101，否则，输出最终得到的全局三维白模，结束并退出。

此外，本发明还提供一种场景结构关联的地铁站多视矢量仿真渲染***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述场景结构关联的地铁站多视矢量仿真渲染方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述场景结构关联的地铁站多视矢量仿真渲染方法。

和现有技术相比，本发明主要具有下述优点：本发明方法包括在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；分别提取多视角图像中的特征；对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。本发明实现简单、成本低，能够实现对当前场景下任意视角的渲染图像进行仿真。

附图说明

图1为本发明实施例方法的基本流程示意图。

具体实施方式

如图1所示，本实施例场景结构关联的地铁站多视矢量仿真渲染方法包括：

S101，在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；

S102，分别提取多视角图像中的特征；

S103，对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；

S104，基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。

本实施例中，步骤S101包括在目标位置下按照指定的角度间隔(例如本实施例中具体为5°)对目标位置的周边360度进行等角度采样，共得到n个视角的图像I₁,I₂,...,I_n构成的多视角图像。毫无疑问，角度间隔和n两者存在关联，角度间隔越小，则n取值越大，会使得不同视角图像之间的重叠度就越大，生成多视角仿真渲染图像的精度越高，但是所需消耗的计算资源也就越大，因此可以根据实际需要选择两者的取值。

本实施例中，步骤S102中多视角图像中的特征为二元组数据(I₁,F₁),(I₂,F₂),...,(I_n,F_n)，其中I₁～I_n为n个视角的图像，F₁～F_n分别为从n个视角的图像I₁,I₂,...,I_n中提取得到的轮廓边缘像素点特征，提取得到的轮廓边缘像素点特征可采用边缘检测算法来实现，包括微分法、差分边缘检测法、Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、拉普拉斯边缘检测算子等，可根据实际需要选择所需的算法。

本实施例中，步骤S103包括：

S201，针对二元组数据(I₁,F₁),(I₂,F₂),...,(I_n,F_n)进行两两欧氏距离计算；

S202，针对n个视角的图像I₁,I₂,...,I_n中的任意第i个视角的图像I_i，选取欧氏距离最近的k个图像I_i1,I_i2,...,I_ik；

S203，以任意第i个视角的图像I_i作为一个顶点，并将第i个视角的图像I_i与欧氏距离最近的k个图像I_i1,I_i2,...,I_ik之间共同组成一个超边，从而构成一个图模型H以表达n个视角的图像I₁,I₂,...,I_n的多对多结构关联信息。图模型H可表示为H＝(,V)，其中E为超边，每个超边有若干个顶点组成，表示这些顶点之间具备一定的关联，V为该图模型上的顶点，在本模型中每个顶点表示为一个视角上图像。

本实施例中，步骤S104基于图模型提取目标位置下的隐式表示场是指将图模型输入预先训练好的机器学***均图像为输入，输出为另一个视角下的隐式表示场，即：

MLP(θ)＝I_θ，

上式中，I_θ表示目标位置下的隐式表示场。

作为一种可选的实施方式，本实施例中多层感知机MLP的训练损失损失函数为：

上式中，L_i(r_ij)表示第i行的全部像素颜色平均值，r_ij表示每个像素点(i,j)的颜色值，C()和

分别表示真实图像(来自n个视角的图像I₁,I₂,...,I_n的取平均图像)和隐式表示场。

本实施例中，步骤S104中基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像是指采用用于视图合成的神经辐射场技术，基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。需要说明的是，其中用于视图合成的神经辐射场技术为现有视图合成方法，具体可参见文献：Mildenhall B,Srinivasan P P,Tancik M,etal.Nerf:Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM,2021,65(1):99-106。

此外，作为一种可选的实施方式，本实施例中在步骤S104之后，还包括将生成的目标位置下的多视角仿真渲染图像作为局部三维白模增加到全局三维白模中以更新全局三维白模；然后判断是否仍有尚未完成处理的位置，若是否仍有尚未完成处理的位置，则移动到新的位置并将新的位置作为新的目标位置，跳转步骤S101，否则，输出最终得到的全局三维白模，结束并退出。

综上所述，本实施例场景结构关联的地铁站多视矢量仿真渲染方法包括在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；分别提取多视角图像中的特征；对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。本实施例方法实现简单、成本低，能够实现对当前场景下任意视角的渲染图像进行仿真。

此外，本实施例还提供一种场景结构关联的地铁站多视矢量仿真渲染***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行场景结构关联的地铁站多视矢量仿真渲染方法。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序该计算机程序用于被微处理器编程或配置以执行场景结构关联的地铁站多视矢量仿真渲染方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，包括：

S101，在目标位置下的多个方向分别采集一个视角的图像，得到多视角图像；

S102，分别提取多视角图像中的特征；

S103，对多视角图像特征进行配准获得两两空间关联信息，对两两特征关联信息构建图模型以表达多对多结构关联信息；

S104，基于图模型提取目标位置下的隐式表示场，并基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。

2.根据权利要求1所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S101包括在目标位置下按照指定的角度间隔对目标位置的周边360度进行等角度采样，共得到n个视角的图像I₁,I₂,...,I_n构成的多视角图像。

3.根据权利要求1所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S102中多视角图像中的特征为二元组数据(I₁，F₁),(I₂，F₂),...,(I_n，F_n)，其中I₁～I_n为n个视角的图像，F₁～F_n分别为从n个视角的图像I₁，I₂,...,I_n中提取得到的轮廓边缘像素点特征。

4.根据权利要求3所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S103包括：

S201，针对二元组数据(I₁，F₁),(I₂，F₂),...,(I_n，F_n)进行两两欧氏距离计算；

S202，针对n个视角的图像I₁，I₂,...,I_n中的任意第i个视角的图像I_i，选取欧氏距离最近的k个图像I_i1,I_i2,...,I_ik；

S203，以任意第i个视角的图像I_i作为一个顶点，并将第i个视角的图像I_i与欧氏距离最近的k个图像I_i1,I_i2,...,I_ik之间共同组成一个超边，从而构成一个图模型H以表达n个视角的图像I₁,I₂,...,I_n的多对多结构关联信息。

5.根据权利要求1所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S104基于图模型提取目标位置下的隐式表示场是指将图模型输入预先训练好的机器学习模型以得到目标位置下的隐式表示场，所述机器学习模型被预先训练建立了图模型、隐式表示场之间的映射关系。

6.根据权利要求5所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，所述机器学习模型为多层感知机MLP。

7.根据权利要求1所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S104中基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像是指采用用于视图合成的神经辐射场技术，基于目标位置下的隐式表示场生成目标位置下的多视角仿真渲染图像。

8.根据权利要求1所述的场景结构关联的地铁站多视矢量仿真渲染方法，其特征在于，步骤S104之后，还包括将生成的目标位置下的多视角仿真渲染图像作为局部三维白模增加到全局三维白模中以更新全局三维白模；然后判断是否仍有尚未完成处理的位置，若是否仍有尚未完成处理的位置，则移动到新的位置并将新的位置作为新的目标位置，跳转步骤S101，否则，输出最终得到的全局三维白模，结束并退出。

9.一种场景结构关联的地铁站多视矢量仿真渲染***，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述场景结构关联的地铁站多视矢量仿真渲染方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述场景结构关联的地铁站多视矢量仿真渲染方法。

Images