CN115941862A - 融合大视场视频与三维场景的方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种融合大视场视频与三维场景的方法、装置、设备及介质，包括接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；通过三维建模、渲染手段构建相应三维场景；将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。本公开通过投影纹理映射的方式将视频画面融合到三维场景中，赋予视频空间位置信息，解了决普通视频视场受限问题，同时使三维场景的空间直观性与视频的时间连续性得以结合，真正做到时空联合、四维联动。

Description

融合大视场视频与三维场景的方法、装置、设备及介质

技术领域

本公开涉及碳减排协调优化技术领域，具体涉及一种融合大视场视频与三维场景的方法、装置、设备及介质。

背景技术

现下对视频的可视化利用方式大致可以分为两类。一类是基于一个大屏显示多个不同拍摄点位的视频画面，由于缺少空间位置等信息，操作人员需要在多个视频画面中搜寻自己感兴趣的内容，这种方式效率十分低下且视场非常受限。

另一类方式是在三维场景中对不同点位的摄像头位置进行标记，如果操作人员希望调取某个地点的视频画面，则只需打开对应地点的标注。但是这种方法只是简单地将二维的视频画面作为弹窗叠加在以三维场景为背景的前端页面中，只是一个有着三维位置信息的“大屏幕”，并没有完全发挥出三维场景的直观性。

随着数字孪生、元宇宙等概念的提出，多维可视化愈发融入人们的生活。三维视频融合技术作为数字孪生技术的一个分支，受到人们的广泛关注。其中，崔提出了融合视频与三维场景的增强虚拟环境，通过从手机或者无人机拍摄的图像中快速重建静态的三维虚拟场景，实时融合多个监控视频，通过鸟瞰视角观察整个场景，获得更加直观和全局的体验。刘等提出了一种三维GIS场景与多路视频融合的对象快速确定方法，对三维场景视锥体内视频对象集渲染对象动态建立拓扑网络模型，基于拓扑网络模型建立视频与渲染对象的拓扑关系，完成融合对象的快速确定及融合渲染。但是现有视频可视化技术中存在三维场景与视频融合不深入、三维直观性利用不足的问题。

发明内容

本公开的目的在于提供一种融合大视场视频与三维场景的方法、装置、设备及介质，解决三维场景与视频融合不深入、三维直观性利用不足的问题。

根据本公开的一方面，提供了一种融合大视场视频与三维场景的方法，包括：接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；通过三维建模、渲染手段构建相应三维场景；将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。

根据本公开的一些实施例，接收多路视频数据，并对接收的视频数据进行处理，以将具有重叠区域的不同视角的视频融合成一个大视场视频，具体包括：

获取多路视频数据；对获取的多路视频进行解码，每路视频对应视频帧的集合为f；对所述视频帧进行投影变换，得到投影变换后的视频帧f'；利用SIFT算法对同一时间戳视频帧进行特征点检测与匹配，得到特征集合F；利用RANSAC算法对特征集合F进行误匹配去除，处理后的特征集合为F；寻找最佳拼缝，融合视频帧，输出融合后的视频帧；根据视频帧合成大视场视频V。

根据本公开的一些实施例，所述通过三维建模、渲染手段构建相应三维场景，具体包括：输入源数据，所述源数据包括点云、倾斜摄影、实体照片；进行点云可视化，通过空间位移交叠增强点云，并进行三维重建，赋予纹理，得到基础模型、地形地貌；构建素模，并赋予色彩、纹理、材质，得到精细化实体模型，建立模型库；利用Three.js、Cesium三维引擎工具，渲染三维场景，建立场景库。

根据本公开的一些实施例，述将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景，包括：输入大视场视频和三维场景；融合点位标定：标定多组视频图像与三维场景对应的点位；矫正矩阵计算：将获取的对应坐标点位序列化，通过RANSAC算法筛选计算相应的单应矩阵，单应性矩阵的最优解即视频融合矫正变换矩阵，记作H；投影矩阵计算：计算相机在三维空间中的模型视图矩阵M_mv和投影矩阵M_p；深度图生成：获取当前视域的深度d；视频融合：通过视图矩阵M_mv、投影矩阵M_p及深度d将三维坐标变换为屏幕坐标，再转换为世界坐标，进行屏幕后处理，最终视频流图像经过光栅化操作后转换为屏幕上指定位置所见的像素。

根据本公开的一些实施例，所述视频融合，还包括：将三维空间坐标变换到屏幕空间坐标：ft＝M_p·M_mv·v；其中，v为三维场景中模型表面顶点坐标，ft为对应片元纹理坐标；将屏幕空间坐标反算回三维空间对应的世界坐标w：w＝(M_mv·M_p)^-1·f(ft,d)，计算出对应视频流图像的纹理坐标vt：vt＝w·H，输出三维视频融合场景。

根据本公开的一些实施例，投影矩阵计算中，利用相机位置、实际摄像头方向向量计算相机在三维空间中的模型视图矩阵M_mv和投影矩阵M_p。

根据本公开的第二方面，提供一种基于碳减排目标的虚拟协调优化装置，包括：多路视频融合模块，用于接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；三维建模模块，用于通过三维建模、渲染手段构建相应三维场景；三维视频融合模块，用于将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。

根据本公开的第三方面，提供一种电子设备，包括处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，执行如上述所述的融合大视场视频与三维场景的方法。

根据本公开的第四方面，提供一种存储介质，其上存储有计算机程序指令，所述所述计算机程序指令被处理器执行时实现如上所述的融合大视场视频与三维场景的方法。

由上述技术方案可知，本公开提出了一种融合大视场视频与三维场景的方法、装置、设备及介质，通过投影纹理映射的方式将视频画面融合到三维场景中，赋予视频空间位置信息，一方面融合多个具有重叠区域的不同视角的视频，解决普通视频视场受限问题；另一方面，赋予视频空间位置信息，使三维场景的空间直观性与视频的时间连续性得以结合，真正做到时空联合、四维联动。

附图说明

图1出示了根据本公开的融合大视场视频与三维场景的方法流程图；

图2出示了根据本公开实施例的多路视频融合流程示意图；

图3出示了根据本公开实施例的三维模型构建及场景渲染流程示意图；

图4出示了根据本公开实施例的三维视频融合流程示意图；

图5出示了根据本公开实施例的计算机设备的示意图。

具体实施方式

面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

示例性方法

如图1所示，本公开提供了一种融合大视场视频与三维场景的方法，包括如下步骤：

S1：接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频。

S11：输入多路视频V₁,V₂,...,V_n；

S12：视频解码，每路视频对应视频帧的集合为f；

f＝{f₁,f₂,…,f_t},t∈[0,s_VT_V]

其中，t为时间戳，s_V为视频的帧率，T_V为视频时长；

S13：投影变换，如果直接对视频帧进行拼接会破坏视场的一致性，使得拼接得到的全景图看起来不够连贯，因此需要通过投影变换将所有视频帧都投影在柱面上，对于投影误差，本发明利用双线性插值解决，投影变换后的视频帧用f'表示，

f'＝BI(Pt(f))

其中，Pt表示投影变换，BI表示双线性插值；

S14：利用SIFT算法对同一时间戳视频帧进行特征点检测与匹配，得到特征集合F，

F＝SIFT(f_1t',f_2t',…,f_nt')

其中，t为时间戳。

S15：利用RANSAC算法对特征集合F进行误匹配去除，处理后的特征集合为

S16：寻找最佳拼缝。拼缝是指图像之间重叠区域中最为相似的那条线，一般在色彩差异较小或梯度变化较大的位置。常用的拼缝线寻找方法有以下几种。1)逐点法:最简单，拼接效果也相对较差；2)图割法:计算复杂度高，拼接效果非常好；3)动态规划法:相当于前二者的中和，计算复杂度和拼接效果都居中。本发明使用动态规划法寻找最佳拼缝，最佳拼缝用L表示，

其中DP代表动态规划算法。

S17：缝合线融合。根据找到的最佳拼缝，融合视频帧。融合后的视频帧用f”表示；

f”＝L(f_1t',f_2t',…,f_nt')

S18：输出融合后的视频帧；

S19：根据视频帧合成大视场视频V；

S2：通过三维建模、渲染手段构建相应三维场景；

S21：输入源数据：点云、倾斜摄影、实体照片；

S22：自动建模：利用Context Capture、PhotoScan等工具，进行点云可视化，通过空间位移交叠增强点云，而后进行三维重建，最终赋予纹理，得到基础模型、地形地貌；

S23：人工建模：利用3D Studio Max、Blender等工具，依照真实尺寸等比例构建素模，再为其赋予色彩、纹理、材质，得到精细化实体模型，建立模型库；

S24：模型融合：利用MeshMixer、3D Studio Max等工具，拼接融合精细化实体模型与基础模型、地形地貌；

S25：场景渲染：利用Three.js、Cesium等三维引擎工具，渲染三维场景，建立场景库；

S26：输出三维场景。

S3：将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景；

S31：输入大视场视频和三维场景；

S32：融合点位标定：标定多组视频图像与三维场景对应的点位，为了方便计算，假设所拍摄平面在世界坐标系中位于Z＝0上；

S33：矫正矩阵计算：将S32中所获取的对应坐标点位序列化，通过RANSAC算法筛选计算相应的单应矩阵，单应性矩阵的最优解即视频融合矫正变换矩阵，记作H；

S34：投影矩阵计算：利用相机位置、实际摄像头方向向量等相机位姿信息计算相机在三维空间中的模型视图矩阵M_mv和投影矩阵M_p；

S35：深度图生成：获取当前视域的深度d；

S36：视频融合：用以上矩阵和深度信息将三维坐标变换为屏幕坐标，再转换为世界坐标，进行屏幕后处理，最终视频流图像经过光栅化操作后转换为屏幕上指定位置所见的像素。

首先将三维空间坐标变换到屏幕空间坐标：

ft＝M_p·M_mv·v

其中，v为三维场景中模型表面顶点坐标，ft为对应片元纹理坐标。

再将屏幕空间坐标反算回三维空间对应的世界坐标w：

w＝(M_mv·M_p)^-1·f(ft,d)

最后计算出对应视频流图像的纹理坐标vt：

vt＝w·H

S37：输出三维视频融合场景。

示例性装置

根据本申请实施例的一种融合大视场视频与三维场景装置，包括：

多路视频融合模块，用于接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；三维建模模块，用于通过三维建模、渲染手段构建相应三维场景；三维视频融合模块，用于将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。

示例性电子设备

下面，参考图5来描述根据本申请实施例的电子设备。该电子设备可以是集成有第一成像设备的电子设备，或者是与所述第一成像设备独立的单机设备，该单机设备可以与所述第一成像设备进行通信，以从其接收的所采集到的输入信号。

图5出示了根据本申请实施例的电子设备的框图。

如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的运动物体跟踪方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如当前帧图像、先前帧图像、差分处理的结果图像等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备集成有所述第一成像设备时，该输入装置13可以是所述第一成像设备，例如摄像头，用于捕获运动物体的各帧图像。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从所述第一成像设备接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的偏转角度信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的光伏发电功率预测模型的训练方法，或者，实现本发明实施例提供的光伏发电功率预测方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本公开的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory，ROM)、闪存、可消除的只读存储器(ErasableRead Only Memory，EROM)、软盘、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、光盘、硬盘、光纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本公开中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本公开不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本公开的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。

Claims (9)

1.一种融合大视场视频与三维场景的方法，其特征在于，包括：

接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；

通过三维建模、渲染手段构建相应三维场景；

将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。

2.根据权利要求1所述的方法，其特征在于，接收多路视频数据，并对接收的视频数据进行处理，以将具有重叠区域的不同视角的视频融合成一个大视场视频，具体包括：

获取多路视频数据；

对获取的多路视频进行解码，每路视频对应视频帧的集合为f；

对所述视频帧进行投影变换，得到投影变换后的视频帧f'；

利用SIFT算法对同一时间戳视频帧进行特征点检测与匹配，得到特征集合F；

利用RANSAC算法对特征集合F进行误匹配去除，处理后的特征集合为

寻找最佳拼缝，融合视频帧，输出融合后的视频帧；

根据视频帧合成大视场视频V。

3.根据权利要求1所述的方法，其特征在于，所述通过三维建模、渲染手段构建相应三维场景，具体包括：

输入源数据，所述源数据包括点云、倾斜摄影、实体照片；

进行点云可视化，通过空间位移交叠增强点云，并进行三维重建，赋予纹理，得到基础模型、地形地貌；

构建素模，并赋予色彩、纹理、材质，得到精细化实体模型，建立模型库；

利用Three.js、Cesium三维引擎工具，渲染三维场景，建立场景库。

4.根据权利要求1所述的方法，其特征在于，所述将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景，包括：

输入大视场视频和三维场景；

融合点位标定：标定多组视频图像与三维场景对应的点位；

矫正矩阵计算：将获取的对应坐标点位序列化，通过RANSAC算法筛选计算相应的单应矩阵，单应性矩阵的最优解即视频融合矫正变换矩阵，记作H；

投影矩阵计算：计算相机在三维空间中的模型视图矩阵M_mv和投影矩阵M_p；

深度图生成：获取当前视域的深度d；

视频融合：通过视图矩阵M_mv、投影矩阵M_p及深度d将三维坐标变换为屏幕坐标，再转换为世界坐标，进行屏幕后处理，最终视频流图像经过光栅化操作后转换为屏幕上指定位置所见的像素。

5.根据权利要求4所述的方法，其特征在于，所述视频融合，还包括：

将三维空间坐标变换到屏幕空间坐标：

ft＝M_p·M_mv·v

其中，v为三维场景中模型表面顶点坐标，ft为对应片元纹理坐标；

将屏幕空间坐标反算回三维空间对应的世界坐标w：

w＝(M_mv·M_p)^-1·f(ft,d)

计算出对应视频流图像的纹理坐标vt：

vt＝w·H

输出三维视频融合场景。

6.根据权利要求4所述的方法，其特征在于，投影矩阵计算中，利用相机位置、实际摄像头方向向量计算相机在三维空间中的模型视图矩阵M_mv和投影矩阵M_p。

7.一种融合大视场视频与三维场景装置，其特征在于，包括：

多路视频融合模块，用于接收多路视频数据，并对接收的视频数据进行处理，将具有重叠区域的不同视角的视频融合成一个大视场视频；

三维建模模块，用于通过三维建模、渲染手段构建相应三维场景；

三维视频融合模块，用于将大视场视频及三维场景图像，通过投影纹理映射的方式覆盖到三维场景中，输出三维视频融合场景。

8.一种电子设备，其特征在于，包括处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行上述权利要求1-6任一项所述的方法。

9.一种存储介质，其特征在于：所述计算机存储介质上存储有计算机程序指令，所述所述计算机程序指令被处理器执行时实现如权利要求1-6中任意一项所述的方法。

Images