CN113223130B

CN113223130B - 一种路径漫游方法、终端设备以及计算机存储介质

Info

Publication number: CN113223130B
Application number: CN202110287704.1A
Authority: CN
Inventors: 梁红霞; 李乾坤; 卢维
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2021-03-17
Filing date: 2021-03-17
Publication date: 2023-07-28
Anticipated expiration: 2041-03-17
Also published as: CN113223130A

Abstract

本申请公开了一种路径漫游方法、终端设备以及计算机存储介质，该路径漫游方法包括：获取路径漫游的初始路径；按照初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数；利用相机视点参数获取对应目标视角的最佳视频流；利用相机位置参数和相机视点参数计算将最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。通过上述方法，本申请通过将视频流加载到三维场景，实现了动态仿真，提高用户的观测效率。

Description

一种路径漫游方法、终端设备以及计算机存储介质

技术领域

本申请涉及视频监控技术领域，特别是涉及一种路径漫游方法、终端设备以及计算机存储介质。

背景技术

在国家大力提倡“数字孪生”的背景下，建立三维场景，把各类监控数据在场景中进行叠加查看，解决电力、交通、园区在场景中查看的问题，成为当前热门研究。

当地理信息数据在三维场景中进行呈现后，需要建立一套漫游机制，实现对三维场景的无缝精准浏览。漫游是一种对三维场景的浏览操作方式，通常改变相机的位置和视点来实现对场景的漫游。三维场景中的漫游主要有两种：一种是交互漫游，由用户操作鼠标或键盘灯其他交互设备，按照自己的意图来控制漫游的位置和视点。另一种是用户按照事先定义好的轨迹进行漫游，其轨迹是三维空间中的一条曲线，曲线上的控制点坐标通过差值计算，即路径漫游，又称自动漫游。

然后，目前的技术只是简单地通过起始位置和终止位置进行路径规划，实现相机在场景中飞行，并没有融合实时的监控视频，真实感差，集成性弱。

发明内容

本申请提供一种路径漫游方法、终端设备以及计算机存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种路径漫游方法，所述路径漫游方法包括：

获取路径漫游的初始路径；

按照所述初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数；

利用所述相机视点参数获取对应目标视角的最佳视频流；

利用所述相机位置参数和所述相机视点参数计算将所述最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。

其中，所述按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数，包括：

按照所述预设规则在所述初始路径上设置多个漫游路径点；

在移动过程中，获取所述相机移动到每个所述漫游路径点时的相机位置参数和相机视点参数。

按照所述预设规则设置多个漫游时间点；

在移动过程中，当所述相机的漫游时间达到所述漫游时间点时，获取此时目标视角下的相机位置参数和相机视点参数。

其中，所述利用所述相机视点参数获取对应目标视角的最佳视频流，包括：

获取多个监控设备在对应目标视角采集的视频流；

获取所述多个监控设备的位置参数；

利用所述多个监控设备的位置参数与所述相机视点参数判断所述多个监控设备所在位置与相机视点之间有无遮挡；

若无遮挡，则将无遮挡的监控设备采集的视频流作为所述最佳视频流。

其中，所述将无遮挡的监控设备采集的视频流作为所述最佳视频流，包括：

获取所述无遮挡的监控设备采集的视频流中的目标；

利用所述目标的大小以及相机设备参数计算所述目标在视频中的成像像素数；

将所述成像像素数最多的视频流作为所述最佳视频流。

其中，所述相机设备参数包括相机焦距和相机工作距离；

所述将所述成像像素数最多的视频流作为所述最佳视频流，包括：

将所述相机焦距与所述相机工作距离比值最大的视频流作为所述最佳视频流。

其中，所述将所述最佳视频流加载到对应目标视角所在的三维场景，包括：

在所述目标视角处创建一展示平面；

将所述最佳视频流中的图片按照视频帧顺序更新在所述展示平面上的纹理贴图。

其中，所述利用所述相机位置参数和所述相机视点参数计算将所述最佳视频流加载到对应目标视角所在的三维场景中的巡视路径，包括：

利用所述相机位置参数和所述相机视点参数计算所述最佳视频流中的图片从相机位置过渡到相机视点的路径，以及运动速度；

将所述最佳视频流中的图片的过渡动画设置为缓入缓出的形式。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种终端设备，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述路径漫游方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述路径漫游方法的步骤。

区别于现有技术，本申请的有益效果在于：终端设备获取路径漫游的初始路径；按照初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数；利用相机视点参数获取对应目标视角的最佳视频流；利用相机位置参数和相机视点参数计算将最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。通过上述方法，本申请通过将视频流加载到三维场景，实现了动态仿真，提高用户的观测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的路径漫游方法一实施例的流程示意图；

图2是图1所示路径漫游方法中S103的具体流程示意图；

图3是本申请提供的无遮挡情况一实施例的示意图；

图4是本申请提供的像素数与目标大小的关系示意图；

图5是本申请提供的终端设备一实施例的结构示意图；

图6是本申请提供的终端设备另一实施例的结构示意图；

图7是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术没有融合实时的监控视频导致的问题，本申请提供了一种路径漫游方法。具体请参阅图1，图1是本申请提供的路径漫游方法一实施例的流程示意图。三维增强现实中经常要用到真实的二维监控视频结合虚拟对象(如三维模型)，以达到增强现实的效果。因此，本申请实施例的路径漫游方法通过在路径漫游时用实时视频流代替观测点，相比单纯在三维场景中漫游，更能向用户清晰直观地反映实际情况。

本申请的路径漫游方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为移动设备，还可以为由服务器和移动设备相互配合的***。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于移动设备中，还可以分别设置于服务器和移动设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

具体地，在本申请实施例中，终端设备可以为一种具有计算能力的监控设备，或者其他具有计算能力的图像采集终端，在此不再赘述。

如图1所示，本实施例的路径漫游方法具体包括以下步骤：

S101：获取路径漫游的初始路径。

其中，本申请实施例的终端设备可以通过目前路径漫游的路径规划方法获取路径漫游的初始路径。具体地，终端设备接收用户指令输入的起始视点和终止视点，其中，起始视点包括相机在起始点的位置和姿态，终止视点包括相机在终止点的位置和姿态。

用户输入的指令需要包括相机在起始点的焦点位置和在终止点的焦点位置，此外，用户可以自行设置路径漫游所需的时间，或者使用***推荐的路径漫游所需时间，例如预设相机飞行速度，根据起始点和终止点之间的直线距离得到飞行所需的时间。用户可以通过在三维场景中直接选点或者输入起始点的焦点的坐标值和终止点的焦点的坐标值来确定相机在起始点的焦点位置和在终止点的焦点位置。其中，焦点为相机视线与三维场景相交且离相机最近的点，而视点是对相机的位置和姿态的描述。

可以理解的是，为了获得相机的起始视点和终止视点，除了相机在起始点的焦点位置和在终止点的焦点位置，还需要相机在起始点和终止点的位置或姿态中至少一项，这样就可以通过视点的正算或者反算得到相机的起始视点和终止视点，从而计算得到相机的路径漫游的初始路径。

在本申请实施例中，三维场景可以是平面三维场景，也可以是球面三维场景，还可以是椭球面三维场景。

S102：按照初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数。

其中，终端设备按照路径漫游的初始路径通过移动相机，从而移动三维场景，依次添加并保存多个目标视角下的相机位置参数P_viewpoint(x1，y1，z1)和相机视点参数Q_viewpoint(x1，y1，z1)。

目标视角的确立一方面可以通过用户在路径漫游的初始路径上手动选择，另一方面可以按照预设的规则自动选择目标视角。具体地，终端设备也可以根据用户指令在初始路径上设置多个漫游路径点，例如用户指令可以规定漫游路径点之间的间隔距离，终端设备则可以从初始路径的起始点开始按照规定的间隔距离选择漫游路径点。确定漫游路径点后，终端设备在移动三维场景的过程中，自动获取相机移动到每个漫游路径点的位置时的相机位置参数和相机视点参数。

在其他实施例中，用户指令也可以规定多个漫游时间点，相机按照预设的漫游速度在初始路径上移动，在漫游时间到达规定的漫游时间点时，终端设备则可以自动获取此时目标视角下的相机位置参数和相机视点参数。

S103：利用相机视点参数获取对应目标视角的最佳视频流。

其中，终端设备根据相机视点参数计算观测相机视点的最佳视频流。最佳视频流的确立一方面可以通过用户在监控设备采集的监控视频上手动选择和截取，另一方面也可以按照预设的规则对所有监控设备采集的监控视频片段进行筛选，从而计算出最佳视频流。

具体地，终端设备可以通过如图2所示的方法流程计算出观测相机视点的最佳视频流，图2是图1所示路径漫游方法中S103的具体流程示意图。

如图2所示，上述路径漫游方法中S103具体可以包括以下子步骤：

S301：获取多个监控设备的位置参数。

其中，终端设备可以通过判断监控设备在观测目标过程中是否存在遮挡的情况。首先，终端设备需要获取在该相机视点下，对观测目标进行监控的所有监控设备的位置参数P_camera。

S302：利用多个监控设备的位置参数与相机视点参数判断多个监控设备所在位置与相机视点之间有无遮挡。

其中，本申请实施例对于无遮挡的判断是以三维场景中各个监控设备的位置P_camera为端点，以P_camera、Q_viewpoint两点的连线为方向发出一条射线。若监控设备对应的射线与三维场景中实际空间的交点是Q_viewpoint，则说明该监控设备与目标之间无遮挡，如图3所示，Q_viewpoint所在的平面为目标所在的平面，P_camera、Q_viewpoint两点能够直接以直线相连。若监控设备对应的射线与三维场景中实际空间的交点不是Q_viewpoint，则说明该监控设备与目标之间有遮挡。当判断某一监控设备与目标之间无遮挡时，进入步骤S303：

S303：获取无遮挡的监控设备采集的视频流。

其中，监控设备与目标之间无遮挡，说明该监控设备可以很好地对目标的全局特征和细节特征进行监控记录，因此，终端设备可以将与目标之间无遮挡的监控设备采集的视频流作为最佳视频流。若判断结果为无遮挡的监控设备只有一个，则终端设备可以直接将该监控设备采集的视频流作为最佳视频流；若判断结果为无遮挡的监控设备有多个，终端设备还可以通过比较目标在监控视频中的成像像素数数量来进一步确定最佳视频流。

S304：获取无遮挡的监控设备采集的视频流中的目标。

其中，终端设备分别获取判断结果为无遮挡的多个监控设备采集的视频流中的目标所在区域，并通过目标检测算法检测出目标在监控视频中的成像大小。

S305：利用目标的大小以及相机设备参数计算目标在视频中的成像像素数。

其中，终端设备可以进一步通过目标的成像大小以及相机设备参数计算目标在监控视频中的成像像素数。具体地，请参阅图4，图4是本申请提供的像素数与目标大小的关系示意图。如图4所示，相机设备参数包括相机焦距和相机工作距离，计算目标在监控视频中的成像像素数的计算公式具体如下：

成像像素数＝目标大小×(f/WD)

其中，f为相机焦距，表示成像平面与镜头平面之间的距离，WD为相机工作距离，表示目标平面与镜头平面之间的距离。

S306：将成像像素数最多的视频流作为最佳视频流。

其中，终端设备比较判断结果为无遮挡的多个监控设备采集的视频流中成像像素数，以将成像像素数最大的视频流作为最佳视频流。成像像素数最大说明目标在监控视频画面中占比最高，能够体现出来的目标特征也最完整，因此，成像像素数可以作为判断最佳视频流的一个较佳因素。

另外，在其他实施例中，在目标大小一定的情况下，f/WD的值越大，目标在监控设备的监控视频中的成像像素数也越多，观测目标也越清晰。因此，终端设备也可以直接将所有无遮挡的视频流中选取相机焦距和相机工作距离比值最大的视频流作为最佳视频流，省略计算成像像素数的过程。

需要说明的是，本申请实施例选取观测目标的最佳视频流共分为两步，首先选出无遮挡的视频流，然后在所有无遮挡的视频流中选取焦距和工作距离比值最大的作为最佳视频流。总结可知，最佳视频流的判断有两个依据：一是观测目标过程中无遮挡，二是目标在视频中的像素数最多。在其他实施例中，判断最佳视频流也可以选择其中一个判断依据或者调整两个判断依据的顺序，在此不再赘述。

S104：利用相机位置参数和相机视点参数计算将最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。

其中，确定最佳视频流后，终端设备在相机视点Q_viewpoint处创建一个矩形平面来展示观测该相机视点的最佳视频流。具体地，终端设备可以将最佳视频流作为纹理贴图使用，即从监控视频中提取一帧一帧的图片作为三维模型的纹理贴图，然后按照监控视频的帧顺序不停地更新纹理贴图，反映实时的监控画面。

首先，终端设备可以对最佳视频流的大小进行裁剪处理，将最佳视频流的长宽处理为2的n次方；然后，终端设备将变换处理后的二维视频流的纹理贴图映射到三维空间。假设视频纹理上某一点坐标为T(u，v)，其取值范围为0≤u≤1，0≤v≤1，映射到Z＝0的平面矩形上，矩形的边平行于坐标轴。映射后的坐标为T’(x’，y’，z’)，其取值范围为x1≤x’≤x2，y1≤y’≤y2，z’＝0，则映射关系可以表现为：

通过上述方式，终端设备将映射到Z＝0的平面矩形的纹理映射到在相机视点Q_viewpoint处创建的矩形平面上，取视线在相机视点Q_viewpoint处创建的矩形平面可见点(x，y，z)的反射光线与在z＝0的平面矩形表面的交点(x’，y’，z’)作为点(x，y，z)的映射点。

本申请实施例通过视频纹理映射技术，将前端摄像头采集到的监控视频映射到三维场景中，在三维场景中查看相机，调用相机，大大提高了交互性。

最后，终端设备还需要计算将最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。具体地，计算巡视路径，即将相机位置参数P_viewpoint(x1，y1，z1)和相机视点参数Q_viewpoint(x1，y1，z1)平滑过渡到每一个点。具体实现流程为采用三次方的差值函数(t^3)，可以设置前半段巡视路径从0开始加速，后半段再减速到0，动画可以表现为缓入缓出的形式。

计算最佳视频流的巡视路径的伪代码具体如下：

function(t,b,c,d){

if((t/＝d/2)<1)return c/2*t*t*t+b；

return c/2*((t-＝2)*t*t+2)+b；

}

其中，t代表当前时间(current time)，t的取值范围被归一化到[0,1]的区间内，b代表初始值(beginning value)，c代表变化量(change in value)，d代表持续时间(duration)。

在本申请实施例中，终端设备获取路径漫游的初始路径；按照初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数；利用相机视点参数获取对应目标视角的最佳视频流；利用相机位置参数和相机视点参数计算将最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。通过上述方法，本申请通过将视频监控集成到三维场景中，利用视频监控的实时性，弥补三维仿真场景动态实时性的不足，真正实现了动态仿真，提高观测效率；另外，实现相机利用最大化，该方法通过设置巡视点位和加载视频流形成路径漫游，最大化的利用相机，提供更为全面的时空信息；本申请实施例的路径漫游方法适用范围广，三维场景融合监控视频形成路径漫游适应现实，与电力、交通、园区等各行业紧密联系，从而实现广泛应用。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

为了实现上述实施例的路径漫游方法，本申请还提供了一种终端设备，具体请参阅图5，图5是本申请提供的终端设备一实施例的结构示意图。

如图5所示，本实施例的终端设备400包括路径获取模块41、参数标定模块42、视频获取模块43以及路径计算模块44。其中，

路径获取模块41，用于获取路径漫游的初始路径。

参数标定模块42，用于按照所述初始路径移动相机，按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数。

视频获取模块43，用于利用所述相机视点参数获取对应目标视角的最佳视频流。

路径计算模块44，用于利用所述相机位置参数和所述相机视点参数计算将所述最佳视频流加载到对应目标视角所在的三维场景中的巡视路径。

为了实现上述实施例的路径漫游方法，本申请还提供了另一种终端设备，具体请参阅图6，图6是本申请提供的终端设备另一实施例的结构示意图。

如图6所示，本实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的路径漫游方法。

在本实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。GPU的用途是将计算机***所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图7所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请路径漫游方法实施例中所述的方法。

本申请路径漫游方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种路径漫游方法，其特征在于，所述路径漫游方法包括：

获取路径漫游的初始路径；

利用所述相机视点参数获取对应目标视角的最佳视频流；

利用所述相机位置参数和所述相机视点参数计算将所述最佳视频流加载到对应目标视角所在的三维场景中的巡视路径；

所述利用所述相机视点参数获取对应目标视角的最佳视频流，包括：

获取多个监控设备在对应目标视角采集的视频流；

获取所述多个监控设备的位置参数；

若无遮挡，则判断无遮挡的监控设备是否只有一个；

若是，将无遮挡的监控设备采集的视频流作为所述最佳视频流；

若否，获取所有所述无遮挡的监控设备采集的视频流中的目标；利用所述目标的大小以及相机设备参数计算所述目标在视频中的成像像素数；将所述成像像素数最多的视频流作为所述最佳视频流；

所述利用所述多个监控设备的位置参数与所述相机视点参数判断所述多个监控设备所在位置与相机视点之间有无遮挡，包括：

利用所述监控设备的位置参数设置端点，利用所述相机视点参数设置相机视点；

按照所述端点与所述相机视点的连线方向，生成射线；

判断所述射线与实际空间的交点是否为所述相机视点；

若是，则确定所述监控设备所在位置与所述相机视点之间无遮挡。

2.根据权利要求1所述的路径漫游方法，其特征在于，

所述按照预设规则获取移动过程中多个目标视角下的相机位置参数和相机视点参数，包括：

按照所述预设规则在所述初始路径上设置多个漫游路径点；

3.根据权利要求2所述的路径漫游方法，其特征在于，

按照所述预设规则设置多个漫游时间点；

4.根据权利要求1所述的路径漫游方法，其特征在于，

所述相机设备参数包括相机焦距和相机工作距离；

5.根据权利要求1所述的路径漫游方法，其特征在于，

所述将所述最佳视频流加载到对应目标视角所在的三维场景，包括：

在所述目标视角处创建一展示平面；

6.根据权利要求5所述的路径漫游方法，其特征在于，

所述利用所述相机位置参数和所述相机视点参数计算将所述最佳视频流加载到对应目标视角所在的三维场景中的巡视路径，包括：

7.一种终端设备，其特征在于，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1～6中任一项所述路径漫游方法的步骤。

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1～6中任一项所述路径漫游方法的步骤。