CN115830104A - 一种移动路径生成方法及装置 - Google Patents
一种移动路径生成方法及装置 Download PDFInfo
- Publication number
- CN115830104A CN115830104A CN202211619456.7A CN202211619456A CN115830104A CN 115830104 A CN115830104 A CN 115830104A CN 202211619456 A CN202211619456 A CN 202211619456A CN 115830104 A CN115830104 A CN 115830104A
- Authority
- CN
- China
- Prior art keywords
- target
- observation
- video
- area
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种移动路径生成方法及装置,涉及数据处理技术领域,可以用于提升移动路径生成的准确率。具体方案包括:首先获取布设于目标区域的多个拍摄设备拍摄的视频数据;目标区域为待识别目标所在的区域;将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频;基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域;基于融合视频确定第一识别区域的目标观测方位;在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种移动路径生成方法及装置。
背景技术
目前,在对目标进行管理的过程中,可以通过拍摄设备拍摄目标的活动场景,以确定出目标的移动路径。但是在目标的活动场景较大的情况下,由于单一拍摄设备的视场有限,可以部署多个拍摄设备以分别拍摄活动场景,进而结合目标在各个拍摄设备的拍摄画面中获取到的移动路径,从而得到目标在活动场景中的完整移动路径。
但是,由于每个拍摄设备在拍摄活动场景时的拍摄角度是固定的,在目标在该场景中活动时,受到各个拍摄设备的布设位置和拍摄角度的影响,基于单个拍摄设备的融合视频的拍摄观测方位单一,导致在单个拍摄设备的融合视频中识别目标移动路径的准确率较低。
发明内容
本申请提供一种移动路径生成方法及装置,可以用于提升移动路径生成的准确率。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,本申请实施例提供了一种移动路径生成方法,该方法包括:首先获取布设于目标区域的多个拍摄设备拍摄的视频数据;目标区域为待识别目标所在的区域;将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频;基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,最大识别距离为在拍摄设备的布设状态下,拍摄设备能够识别出待识别目标的最大距离,拍摄设备的布设状态包括拍摄设备的布设角度和布设位置;基于融合视频确定第一识别区域的目标观测方位,目标观测方位为在融合视频中展示第一识别区域视频画面时的虚拟观测方位;在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。
本申请实施例提供的移动路径生成方法至少具有以下有益效果:该方法可以基于拍摄场景中拍摄设备的布设情况以及视频数据,得到基于三维空间模型下的融合视频。进而在该融合视频中,基于各个拍摄设备的最大识别距离,将目标区域的分割为多个子空间(也即上述识别区域)。其中,每一个子空间中包括一个拍摄设备,并且,各个子空间之间不重叠。进而,该方法可以分别确定各个子空间中的目标观测方位,并基于各个子空间的目标观测方位,分别确定出待识别目标在各个子空间中的移动路径。其中,基于目标观测方位查看该子空间的融合视频,可以更加清晰地识别该融合视频中待识别目标的位置变化,以生成更加准确的移动路径。进而,也可以分别基于各个目标区域获取待识别目标在上述各个子空间的移动路径,以更好的融合效果生成待识别目标在该目标区域中的完整的移动路径。
在一种可能的实现方式中,上述基于融合视频确定第一识别区域的目标观测方位,包括:多次调整第一识别区域的初始观测方位,以得到多个候选观测方位;初始观测方位为第一识别区域对应的第一拍摄设备在融合视频中的预设观测方位;分别获取第二拍摄设备的最大可识别区域与第一拍摄设备的在每个多个候选观测方位下的最大可识别区域的重叠区域;第二拍摄设备的最大可识别区域基于第二拍摄设备的最大识别距离确定;将重叠区域最大时对应的候选观测方位确定为目标观测方位。
在另一种可能的实现方式中,上述多次调整第一识别区域的初始观测方位,以得到多个候选观测方位,包括:根据第一拍摄设备的布设位置和布设角度,在三维空间模型中确定与第一拍摄设备对应的第一虚拟拍摄设备;多次对第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的第一虚拟拍摄设备的多个虚拟观测方位确定为多个候选虚拟观测方位。
在又一种可能的实现方式中,上述基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域,包括:根据各个拍摄设备的布设位置和最大识别距离,确定各个拍摄设备的最大可识别区域;将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将目标区域分割为多个识别区域,其中,相邻两个识别区域均包括交叉面。
在又一种可能的实现方式中,该方法还包括:截取三维融合视频中的目标视频,目标视频包括待识别目标在目标区域中的移动路径;输出目标视频。
在又一种可能的实现方式中,上述输出目标视频包括:获取目标视频的当前帧中待识别目标的位置信息;根据待识别目标在当前帧中的位置信息,与在当前帧的前一帧中待识别目标的位置信息,确定待识别目标的位移;在三维空间模型中,基于位移调整前一帧输出时的第一观测方位的位置,以得到第二观测方位;以第二观测方位输出目标视频的当前帧。
在又一种可能的实现方式中,在输出目标视频中第一识别区域视频画面时,第一观测方位的观测角度与第一识别区域对应的目标观测方位的观测角度相同;或者,第一观测方位的观测角度与第一识别区域对应的第三观测方位的观测角度相同,其中,第三观测方位为基于在目标视频中、第一识别区域视频画面中展示的待识别目标的图像确定的观测方位。
第二方面,本申请实施例提供了一种移动路径生成装置,该装置包括:获取模块,用于获取布设于目标区域的多个拍摄设备拍摄的视频数据;目标区域为待识别目标所在的区域;处理模块,将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频;处理模块,还用于基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,最大识别距离为在拍摄设备的布设状态下,拍摄设备能够识别出待识别目标的最大距离,拍摄设备的布设状态包括拍摄设备的布设角度和布设位置;处理模块,还用于基于融合视频确定第一识别区域的目标观测方位,目标观测方位为在融合视频中展示第一识别区域视频画面时的虚拟观测方位;处理模块,还用于在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。
在一种可能的实现方式中,上述处理模块,具体用于:多次调整第一识别区域的初始观测方位,以得到多个候选观测方位;初始观测方位为第一识别区域对应的第一拍摄设备在融合视频中的预设观测方位;分别获取第二拍摄设备的最大可识别区域与第一拍摄设备的在每个多个候选观测方位下的最大可识别区域的重叠区域;第二拍摄设备的最大可识别区域基于第二拍摄设备的最大识别距离确定;将重叠区域最大时对应的候选观测方位确定为目标观测方位。
在另一种可能的实现方式中,处理模块,还具体用于:根据第一拍摄设备的布设位置和布设角度,在三维空间模型中确定与第一拍摄设备对应的第一虚拟拍摄设备;多次对第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的第一虚拟拍摄设备的多个虚拟观测方位确定为多个候选虚拟观测方位。
在又一种可能的实现方式中,处理模块,还具体用于:根据各个拍摄设备的布设位置和最大识别距离,确定各个拍摄设备的最大可识别区域;将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将目标区域分割为多个识别区域,其中,相邻两个识别区域均包括交叉面。
在又一种可能的实现方式中,该装置还包括输出模块,处理模块还用于截取三维融合视频中的目标视频,目标视频包括待识别目标在目标区域中的移动路径;输出模块用于输出目标视频。
在又一种可能的实现方式中,获取模块,还用于获取目标视频的当前帧中待识别目标的位置信息。该处理模块,还用于根据待识别目标在当前帧中的位置信息,与在当前帧的前一帧中待识别目标的位置信息,确定待识别目标的位移;以及在三维空间模型中,基于位移调整前一帧输出时的第一输出观测方位的位置,以得到第二输出观测方位;输出模块,还用于以第二输出观测方位输出目标视频的当前帧。
第三方面,本申请提供一种电子设备,该电子设备包括存储器和处理器。上述存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行该计算机指令时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的移动路径生成方法。
第四方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的移动路径生成方法。
第五方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的移动路径生成方法。
本申请中第二方面到第五方面及其各种实现方式的具体描述,可以参考第一方面及其各种实现方式中的详细描述;并且,第二方面到第五方面及其各种实现方式的有益效果,可以参考第一方面及其各种实现方式中的有益效果分析,此处不再赘述。
附图说明
图1为本申请实施例提供的一种拍摄***的示意图;
图2为本申请实施例提供的一种拍摄场景的示意图;
图3为本申请实施例提供的一种移动路径生成装置的硬件结构示意图;
图4为本申请实施例提供的一种移动路径生成方法的流程图;
图5为本申请实施例提供的一种目标区域分割的示意图;
图6为本申请实施例提供的另一种目标区域分割的示意图;
图7为本申请实施例提供的另一种移动路径生成方法的流程图;
图8为本申请实施例提供的一种拍摄设备的布设情况示意图;
图9为本申请实施例提供的一种移动路径的示意图;
图10为本申请实施例提供的另一种移动路径生成方法的流程图;
图11为本申请实施例提供的一种输出观测方位的示意图;
图12为本申请实施例提供的一种移动路径生成装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”是指一个或多个,“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
为提升场景中的多个拍摄设备确定出的移动路径的融合效果,本申请实施例提供了一种移动路径生成方法,具体方法包括:首先获取布设于目标区域的多个拍摄设备拍摄的视频数据;目标区域为待识别目标所在的区域;将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频;基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,最大识别距离为在拍摄设备的布设状态下,拍摄设备能够识别出待识别目标的最大距离,拍摄设备的布设状态包括拍摄设备的布设角度和布设位置;基于融合视频确定第一识别区域的目标观测方位,目标观测方位为在融合视频中展示第一识别区域视频画面时的虚拟观测方位;在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。如此,该方法基于目标观测方位查看该子空间的融合视频,可以更加清晰地识别该融合视频中待识别目标的位置变化,以生成更加准确的移动路径。
如图1所示,为本申请实施例提供的一种拍摄***100,如图1所示,该拍摄***100中包括拍摄设备10和管理设备20。其中,拍摄设备10与管理设备20连接,以使得该管理设备20能够与拍摄设备10进行通信。
应理解,上述连接的方式可以为无线连接,例如蓝牙连接、Wi-Fi连接等;或者,上述连接的方式也可以为有线连接,例如光纤连接等,对此不作限定。
拍摄设备10用于实时采集拍摄场景中的视频数据。拍摄设备10可以为具有视频摄像/传播和静态图像捕捉等基本功能的设备,例如摄像机。
在一些实施例中,拍摄设备10识别出现在该拍摄设备10的视场内的待识别目标,并追踪该待识别目标的活动情况,生成该待识别目标的移动路径,进而将生成的该待识别目标的移动路径发送给管理设备20。或者,拍摄设备10可以将拍摄到的该待识别目标的视频数据发送给管理设备20,以供管理设备20根据获取到视频数据,确定待识别目标的移动路径。
其中,待识别目标可以为该拍摄***100中预设的需要追踪移动路径的目标对象,例如待识别目标可以为车辆、人员、动物或其他可能的目标对象。
可选的,拍摄设备10的数量可以包括一个或多个。例如,在图2所示的拍摄场景中,在建筑物的进出口处布设有拍摄设备101,通行道路旁布设有拍摄设备102和拍摄设备103。其中,每一个拍摄设备均与管理设备20连接。
管理设备20用于管理拍摄场景中布设的一个或多个拍摄设备10。管理设备20可以设置于拍摄场景中,例如该拍摄场景为办公区域,该管理设备20可以设置于办公区域内任意位置。或者,管理设备20也可以设置于该拍摄场景之外,例如该拍摄场景为办公区域,管理设备20也可以设置于办公区域之外的拍摄室或其他可能的区域。
在一些实施例中,管理设备20可以实时或周期性获取该拍摄场景中各个拍摄设备发送的待识别目标的移动路径,以该待识别目标在该拍摄场景中的完整运动移动路径。或者,管理设备20可以实时或者周期性地接收各拍摄设备拍摄的该拍摄场景的融合视频数据,并根据获取到的融合视频数据,确定该待识别目标在该拍摄场景中的完整移动路径。可选的,管理设备20还可以用于显示获取到的拍摄数据或者借助于必要的显示部件显示获取到的拍摄数据。管理设备20可以为各种具有数据处理能力的电子设备,例如服务器(或云服务器)、录像机、摄像机、计算机、智能佩戴设备、智能便携设备等设备。
例如,该电子设备可以为服务器,其可以是单独的一台服务器,或者是多台服务器组成的服务器集群,又或者是一个云计算服务中心,对此不作限定。
又例如,该电子设备可以是终端设备,其可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等终端设备。可选的,该电子设备可以向用户展示接收到的拍摄设备10拍摄到的视频数据,以及向用户展示通过本申请实施例提供的方法确定出的待识别目标的移动路径。
本申请实施例还提供一种移动路径生成装置,该移动路径生成装置即为上述移动路径生成方法的执行主体。该移动路径生成装置具有数据处理能力的设备。例如,该移动路径生成装置可以是上述拍摄***100中的管理设备20,或者该移动路径生成装置是该管理设备20中的一个功能模块,又或者该移动路径生成装置可以是与该管理设备20连接的任一计算设备等。本申请实施例对此不作限定。
下面结合图3对移动路径生成装置200的一种硬件结构进行介绍。
如图3所示,该移动路径生成装置200包括处理器210,通信线路220以及通信接口230。
可选的,该移动路径生成装置200还可以包括存储器240。其中,处理器210,存储器240以及通信接口230之间可以通过通信线路220连接。
其中,处理器210可以是中央处理器(central processing unit,CPU)、图形处理器(graphics processing unit,GPU)、图形处理器、通用处理器网络处理器(networkprocessor,NP)、数字信号处理器(digital signal processing,DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device,PLD)或它们的任意组合。处理器210还可以是其它任意具有处理功能的装置,例如电路、器件或软件模块,不做限制。
在一种示例中,处理器210可以包括一个或多个CPU,例如图3中的CPU0和CPU1。
作为一种可选的实现方式,移动路径生成装置200包括多个处理器,例如,除处理器210之外,还可以包括处理器270。通信线路220,用于在移动路径生成装置200所包括的各部件之间传送信息。
通信接口230,用于与其他设备或其它通信网络进行通信。该其它通信网络可以为以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。通信接口230可以是模块、电路、收发器或者任何能够实现通信的装置。
存储器240,用于存储指令。其中,指令可以是计算机程序。
其中,存储器240可以是只读存储器(read-only memory,ROM)或可存储静态信息和/或指令的其他类型的静态存储设备,也可以是存取存储器(random access memory,RAM)或者可存储信息和/或指令的其他类型的动态存储设备,还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备等,不予限制。
需要指出的是,存储器240可以独立于处理器210存在,也可以和处理器210集成在一起。存储器240可以用于存储指令或者程序代码或者一些数据等。存储器240可以位于移动路径生成装置200内,也可以位于移动路径生成装置200外,不做限制。
处理器210,用于执行存储器240中存储的指令,以实现本申请下述实施例提供的通信方法。例如,当移动路径生成装置200为终端或者终端中的芯片或者片上***时,处理器210可以执行存储器240中存储的指令,以实现本申请提供的移动路径生成方法。
作为一种可选的实现方式,移动路径生成装置200还包括输出器件250和输入器件260。其中,输出器件250可以是显示屏、扬声器等能够将移动路径生成装置200的数据输出给用户的器件。输入器件260是可以键盘、鼠标、麦克风或操作杆等能够向移动路径生成装置200输入数据的器件。
需要指出的是,图3中示出的结构并不构成对该装置的限定,除图3所示部件之外,该计算装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合说明书附图,对本申请提供的实施例进行具体介绍。
如图4所示,本申请实施例提供了一种移动路径生成方法,可选的,该方法由图3所示的移动路径生成装置200执行,该方法包括以下步骤:
S101、移动路径生成装置获取布设于目标区域中的多个拍摄设备拍摄的视频数据。
其中,上述目标区域为在一个拍摄场景中待识别目标所在的区域。
可选的,该目标区域可以为上述整个拍摄场景。或者,该目标区域也可以为上述拍摄场景的其中一部分区域。
其中,拍摄场景是指通过上述多个拍摄设备进行视频拍摄的整体空间。例如,拍摄场景可以为酒店、商场、超市、教室等室内场景。或者,该拍摄场景还可以为路口、操场、建筑物门口等室外场景。
此外,上述视频数据即为各个拍摄设备拍摄的该拍摄场景中的视频数据。
可选的,移动路径生成装置可以实时接收到多个拍摄设备发送的视频数据。或者,目移动路径生成装置还可以以预设频率获取到的多个拍摄设备发送的视频数据。又或者,移动路径生成装置还可以获取到预先存储的历史录像视频数据。
其中,上述预设频率可以为1分钟/次、3分钟/次或者30秒/次或其他可能的频率。
S102、移动路径生成装置将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频。
在本申请实施例中,目标区域的三维空间模型具体可以为:在目标场景的一个或多个拍摄设备对该目标区域进行画面拍摄的过程中,目标分析装置利用基于一个或多个拍摄设备获取到融合视频数据使用相关软件进行建模,以进一步得到该目标场景的三维融合视频。可选的,目标区域的三维空间模型的具体建模过程还可以采用截断的带符号距离函数(truncated signed distance function,TSDF)算法等。具体的,基于该算法,目标分析装置可以获取目标区域的点云数据,再将点云数据映射到一个预先定义的三维立体空间中,并用截断符号距离函数表示真实场景表面附近的区域,以建立目标区域的三维空间模型。
可选的,上述拍摄场景的三维空间模型的具体建模过程还可以是云端设备、高性能电脑或其他可能的设备来执行的,从而,该目标分析装置可以在该设备中获取到已经构建完成的该拍摄场景的三维空间模型。
在一些实施例中,目标分析装置可以将实时采集到的拍摄设备拍摄得到的视频数据投射在拍摄场景的三维空间模型中,从而得到该拍摄场景中实时的融合视频。
进而,目标分析装置在进行目标分析的过程中,可以提取出其中需要进行目标分析的一段时间内的融合视频数据。
可选的,对于同一时刻下各个拍摄设备拍摄得到的视频帧,目标分析装置可以利用计算机视觉相关算法,计算各个视频帧中的像素点在该拍摄场景三维空间模型中的空间物体表面的对应点的空间位置。进而,通过投射变换可以得出实现各个视频帧与三维空间模型的融合,形成基于该三维空间模型的融合画面。
其中,视频帧是指是视频中一幅独立的静止画面。视频是由一幅一幅独立的画面组成的看似连续的影像,其中,一幅独立的画面可以称为一个视频帧。
进一步地,基于上述对于一个时刻下各个拍摄设备拍摄得到的视频帧的融合过程,依次对获取到的各个拍摄设备拍摄得到的视频帧进行融合处理,即可得到上述一段时间内的融合视频数据。
在一些实施例中,目标分析装置在进行目标分析的过程中,可以从该目标分析装置的存储空间中或者各个拍摄设备处,获取需要进行目标分析的一段时间内,各个拍摄设备拍摄得到的视频数据。进而,目标分析装置可以将获取到的该段时间内各个拍摄设备的视频数据投射到拍摄场景的三维空间模型中,以生成该段时间内的融合视频。
此外,上述生成的融合视频,生成的融合视频支持从虚拟全局视点或虚拟观测方位观测视频图像。也即,目标分析装置可以从虚拟全局视点或虚拟观测方位向用户展现融合视频的视频图像。其中,该视点可以高于物理摄像机真实位置点,虚拟观测方位也可以不同于物理摄像机的真实位置布设角度和真实布设位置。
其中,上述虚拟观测方位可以理解为用户观看的观测方位。基于该虚拟观测方位,可以理解为在上述三维空间模型中布设有虚拟拍摄设备,从而,该虚拟拍摄设备拍摄到的画面即为展示给用户的画面,也即该虚拟观测方位下,用户观看到的画面。例如,图5提供一种目标区域的三维空间模型。如图5所示,在该三维空间模型中,可以从虚拟观测方位111、虚拟观测方位112以及虚拟观测方位113展示该三维空间模型的融合视频。
需要说明的是,本申请实施例中关于虚拟拍摄设备的描述仅为便于虚拟观测方位的理解,在实际实现中,该三维空间模型中可以并未真实布设有虚拟拍摄设备。
S103、移动路径生成装置基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域。
其中,上述一个识别区域对应一个拍摄设备。最大识别距离是指在拍摄设备的布设状态下,拍摄设备能够识别出待识别目标的最大距离。
拍摄设备的布设状态包括拍摄设备的布设角度和布设位置。
拍摄设备的布设位置是指该拍摄设备在该目标区域中的空间位置信息。可选的,可以采用该拍摄设备的机身、镜头或该拍摄设备其他组成部分中任意一点的位置作为其在该目标区域中的空间位置信息。
示例性的,以该目标区域中任一点为原点建立空间直角坐标系,如图2所示,该空间直角坐标系包括互相垂直的X轴、Y轴以及Z轴,空间位置信息可以表示为例如(X1,Y1,Z1)等类似的在该空间直角坐标系中的位置点。应理解,在同一目标区域中,采用同一空间坐标系中的位置点来表示该目标区域中的各个拍摄设备的位置信息。
拍摄设备的布设角度包括在布设时该拍摄设备的俯仰角、偏航角以及翻滚角。
可选的,移动路径生成装置可以根据第一拍摄设备拍摄到的视频画面,确定该第一拍摄设备的最大识别距离。
示例性的,移动路径生成装置可以以预设识别算法,对第一拍摄设备拍摄到的视频画面进行识别,以识别出该视频画面中的待识别目标。移动路径生成装置可以确定在对于第一拍摄设备的多个视频画面的识别过程中,移动路径生成装置可以识别出的待识别目标的图像区域。进而,移动路径生成装置可以根据该待识别目标的图像区域,确定出多个该待识别目标与第一拍摄设备之间的多个距离。并且,移动路径生成装置可以将该多个距离中的最大距离确定为第一拍摄装置的最大识别距离。需要说明的是,待识别目标可以为车辆、人员、动物或其他可能的目标对象。受到不同种类的目标对象的实际尺寸大小,以及对不同种类的目标对象的识别清晰度的影响,在识别不同种类的目标对象时,第一拍摄设备的最大识别距离可能也不相同。从而,上述第一拍摄设备的最大识别距离还与移动路径生成装置中的预设识别算法所识别的目标对象相关。
从而,移动路径生成装置可以基于上述确定最大识别距离的过程,分别计算出目标区域中多个拍摄设备中每个拍摄设备的最大识别距离。
在一些实施例中,移动路径生成装置可以根据各个拍摄设备的布设位置和最大识别距离,确定各个拍摄设备的最大可识别区域;将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将目标区域分割为多个识别区域,其中,相邻两个识别区域均包括交叉面。其中,目标区域的一个识别区域对应一个拍摄设备。
可选的,移动路径生成装置可以根据第一拍摄设备的布设位置和第一拍摄设备的最大识别距离,确定出第一拍摄设备对应的识别区域。
示例性的,如图5所示,上述目标区域的空间模型为立方体空间A。其中,基于第一拍摄设备的布设位置和布设角度,可以得到第一拍摄设备111的视场如区域a1所示。从而,移动路径生成装置以第一拍摄设备111所在的位置为起点,根据第一拍摄设备111的最大识别距离,在区域a1中确定出第一拍摄设备111的最远可识别边界b1。进而基于该最远可识别边界和第一拍摄设备111,在立方体空间A分割出第一拍摄设备111对应的识别区域c1。
应理解,上述空间A仅为目标区域的空间模型的一种示例,在实际实现中,该目标区域的空间模型还可以为其他可能的不规则形态的空间。
可选的,移动路径生成装置可以根据各个拍摄装置的位置,确定出各个拍摄装置对应的识别区域的确定顺序。进而,根据该确定顺序,依次确定各个拍摄装置对应的识别区域,以完成该目标区域的空间的分割。
示例性的,如图5所示,移动路径生成装置可以将第一拍摄设备111对应的识别区域的确定顺序设为第一个,进而,移动路径生成装置可以根据识别区域c1,将最远可识别区域与该识别区域c1有重叠的第二拍摄装置112的确定顺序设为第二个。如图6所示,第二拍摄装置112的最远可识别距离为b2,从而,其最远可识别区域a2与第一拍摄设备111的识别区域c1具有重叠区域。或者可以将最远可识别区域距离该区域c1最近的第二拍摄装置112作为第二个,如图5所示,第二拍摄装置112对应的识别区域c2与区域c1相邻。相应的,第三拍摄装置113作为第三个,第三拍摄装置113对应的识别区域c3与c2相邻。
S104、移动路径生成装置基于融合视频确定第一识别区域的目标观测方位。
其中,上述目标观测方位为在融合视频中展示第一识别区域视频画面时的虚拟观测方位。并且,目标观测方位包括在融合视频中展示第一识别区域视频画面时的观测位置和观测角度。
在一些实施例中,如图7所示,上述步骤S104可以具体实现为以下步骤:
S1041、移动路径生成装置多次调整第一识别区域的初始观测方位,以得到多个候选观测方位。
其中,上述初始观测方位为第一识别区域对应的第一拍摄设备在融合视频中的预设观测方位。
可选的,在三维空间模型中,移动路径生成装置可以根据第一拍摄设备的布设位置和布设角度,在三维空间模型中确定与第一拍摄设备对应的第一虚拟拍摄设备。进而多次对第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的第一虚拟拍摄设备的多个虚拟观测方位确定为多个候选虚拟观测方位。
示例性的,若第一拍摄装置在目标区域的三维空间模型中的对应的虚拟观测方位(也即上述原始观测方位)如图8中的(a)所示,则对于该三维空间模型中的融合视频而言,移动路径生成装置可以在三维空间模型中,将该虚拟观测方位进行调整,从而基于到如图8中的(b)所示的位置与角度,并以当前调整后的的位置信息与角度信息,展示融合视频图像。需要说明的是,移动路径生成装置可以在目标区域的三维空间模型中,将第一拍摄设备对应的原始观测方位进行旋转、平移等变换处理,或者对原始观测方位下上述融合视频显示的原始图像画面进行缩放等画面处理。
可选的,若在空间模型中,对第一虚拟观测方位在三维空间模型中对应的虚拟相机的初始位置进行平移处理,平移处理后的得到的该虚拟相机的观测方位即为候选虚拟观测方位,此时虚拟相机的位置坐标可以为(x0+tx,y0+ty,z0+tz),此外,平移处理后拍摄角度不变,也即平移处理得到的候选虚拟观测方位的拍摄角度与原始观测方位的拍摄角度相同。其中,原始观测方位在三维空间模型中对应的初始位置坐标为(x0,y0,z0),tx为X轴方向上的平移向量,ty为Y轴方向上的平移向量,tz为Z轴方向上的平移向量。
可选的,若对第一拍摄设备进行旋转处理,旋转处理后的得到的候选虚拟观测方位的坐标至少具有以下几种可能的情形:
情形一、在空间模型中,移动路径生成装置将原始观测方位在三维空间模型中对应的虚拟相机绕X轴旋转。
若旋转角度为α,则旋转处理后得到的候选虚拟观测方位对应的该虚拟相机的坐标可以根据以下公式(1)确定:
其中,(x′,y′,z′)为候选虚拟观测方位的坐标,(x0,y0,z0)为原始观测方位的坐标。
情形二、在空间模型中,移动路径生成装置将原始观测方位在三维空间模型中对应的虚拟相机绕Y轴旋转。
若旋转角度为β,则旋转处理后得到的候选虚拟观测方位对应的该虚拟相机的坐标可以根据以下公式(2)确定:
其中,(x′,y′,z′)为上述候选虚拟观测方位的坐标,(x0,y0,z0)为第一虚拟相机的坐标。
情形三、在空间模型中,移动路径生成装置将原始观测方位在三维空间模型中对应的虚拟相机绕Z轴旋转。
若旋转角度为γ,则旋转处理后的得到的候选虚拟观测方位对应的该虚拟相机的坐标可以根据以下公式(3)确定:
其中,(x′,y′,z′)为上述候选虚拟观测方位的坐标,(x0,y0,z0)为第一虚拟相机的坐标。
情形四、在空间模型中,移动路径生成装置将原始观测方位在三维空间模型中对应的虚拟相机同时绕X、Y、Z轴旋转。
若旋转角度为X轴α、Y轴β、Z轴γ,则旋转处理后得到的候选虚拟观测方位对应的该虚拟相机的坐标可以根据以下公式(4)确定:
其中,(x′,y′,z′)为上述候选虚拟观测方位的坐标,(x0,y0,z0)为第一虚拟相机的坐标。
可选的,若对原始图像画面进行缩放处理,则缩放处理后的图像对应的候选虚拟观测方位的坐标可以根据以下公式(5)确定:
示例性的,以沿着X,Y,Z轴分别缩放n、m、K倍为例,则候选虚拟观测方位为:
其中,(x′,y′,z′)为候选虚拟观测方位的坐标,(x0,y0,z0)为原始观测方位的坐标。
S1042、移动路径生成装置分别获取第二拍摄设备的最大可识别区域与第一拍摄设备的在每个多个候选观测方位下的最大可识别区域的重叠区域。
其中,上述第二拍摄设备的最大可识别区域基于第二拍摄设备的最大识别距离确定。
可选的,移动路径生成装置可以根据在三维空间模型中,第一拍摄设备的多个候选虚拟观测方位下展示的图像中的各个像素点,与其他拍摄设备对应的虚拟观测方位下的图像中的各个像素点对应的位置坐标相同的像素点的个数,来确定重叠区域的大小。
示例性的,对于第一拍摄设备对应的第一识别区域,移动路径生成装置可以首先根据原始视点也即第一拍摄设备的虚拟观测方位,获取该融合视频中的该识别区域的原始画面。
此外,移动路径生成装置可以确定出该原始画面中各个像素点在该三维空间模型中对应的位置坐标,与其他拍摄设备的虚拟观测方位下图像中的各个像素点在空间模型中对应的位置坐标相同的多个像素点,也即上述重叠区域。
S1043、移动路径生成装置将重叠区域最大时对应的候选观测方位确定为目标观测方位。
可选的,移动路径生成装置可以根据上述确定目标观测方位的过程,分别确定各个识别区域对应的目标观测方位。
S105、移动路径生成装置在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。
在一些实施例中,移动路径生成装置可以首先确定待识别目标在多个识别区域中的多条移动路径,进而将多条拼接处理,得到待识别目标在目标区域中的移动路径信息。
可选的,移动路径生成装置可以执行下述步骤一与步骤二,以确定待识别目标在目标区域中的移动路径信息。
步骤一、基于目标展示观测方位下的融合视频的展示画面,识别待识别目标在第一识别区域内的移动路径。
其中,融合视频为将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到的融合视频。该融合视频的确定过程可以参考上述步骤S1031中的相关描述,此处不再赘述。
可选的,在第一识别区域中,同一类型的待识别目标的数量可以包括多个,例如多个车辆、多个人体等。
在待识别目标的数量为多个的情况下,移动路径生成装置可以生成各个待识别目标的位移标识,以区分各个待识别目标。进而,再生成各个待识别目标在第一识别区域的移动路径。
可选的,移动路径生成装置可以基于第一识别区域对应的第一目标观测方位,识别在空间模型中的视频信息(也即融合视频信息),确定待识别目标在各个视频帧中的位置坐标,进而生成待识别目标在第一识别区域的移动路径。示例性的,待识别目标在第一识别区域的移动路径可以如图9所示,其中,该移动路径由多个移动路径点组成,一个移动路径点用于指示该待识别目标在一个视频帧中的位置信息。例如91为该移动路径中的一个移动路径点。
步骤二、移动路径生成装置拼接待识别目标在多个识别区域中的多条移动路径,得到待识别目标在目标区域中的完整移动路径。
可选的,若目标区域中的待识别目标数量为多个,则移动路径生成装置可以根据各个待识别目标的标识,将各个区域中的移动路径进行分类,确定标识相同的多条移动路径,进而,再将标识相同的多条移动路径进行合并处理,以生成该标识对应的待识别目标在该目标区域中的完整移动路径。
在一些实施例中,在将多条移动路径进行拼接处理的过程中,移动路径生成装置可以获取移动路径中各个移动路径点对应的视频画面的拍摄时间,进而,移动路径生成装置可以基于各个移动路径点对应的视频画面的拍摄时间,以进行多条移动路径的合并处理。
本申请实施例提供的移动路径生成方法至少具有以下有益效果:该方法可以基于拍摄场景中拍摄设备的布设情况以及视频数据,得到基于三维空间模型下的融合视频。进而在该融合视频中,基于各个拍摄设备的最大识别距离,将目标区域的分割为多个子空间(也即上述识别区域)。其中,每一个子空间中包括一个拍摄设备,并且,各个子空间之间不重叠。进而,该方法可以分别确定各个子空间中的目标展示观测方位,并基于各个子空间的目标展示观测方位,分别确定出待识别目标在各个子空间中的移动路径。其中,基于目标观测方位查看该子空间的融合视频,可以更加清晰地识别该融合视频中待识别目标的位置变化,以生成更加准确的移动路径。进而,也可以分别基于各个目标区域获取待识别目标在上述各个子空间的移动路径,以更好的融合效果生成待识别目标在该目标区域中的完整的移动路径。
在一些实施例中,在图4所示的移动路径生成方法的基础上,如图10所示,该方法还可以包括以下步骤S201与S202:
S201、移动路径生成装置截取所述融合视频中的目标视频。
其中,上述目标视频包括待识别目标在目标区域中的完整移动路径。
S202、移动路径生成装置输出目标视频。
可选的,移动路径生成装置可以通过图3所示的输出器件250(例如显示器)输出空间模型中的目标视频,以便于用户查看。或者,移动路径生成装置还可以通过与该移动路径生成装置通信连接的显示设备显示该目标视频。
在一些实施例中,移动路径生成装置在输出目标视频,根据待识别目标的移动路径,调整目标视频的输出观测方位。可选的,步骤S106可以具体实现为以下步骤:
步骤1、移动路径生成装置获取目标视频的当前帧中待识别目标的位置信息。
其中,上述位置信息可以为待识别目标在目标区域的空间模型中的位置坐标。
此外,当前帧即为在播放目标视频的过程中,当前时刻正在显示的视频帧。
步骤2、移动路径生成装置根据待识别目标在当前帧中的位置信息,与在当前帧的前一帧中待识别目标的位置信息,确定待识别目标的位移。
其中,上述前一帧即为在播放目标视频的过程中,当前视频帧的前一个视频帧。
步骤3、移动路径生成装置在三维空间模型中,基于上述位移调整前一帧输出时的第一输出观测方位的位置,以得到第二输出观测方位。
可选的,在输出目标视频中第一识别区域视频画面时,第一观测方位的观测角度与第一识别区域对应的目标观测方位的观测角度相同;或者,第一观测方位的观测角度与第一识别区域对应的第三观测方位的观测角度相同,其中,第三观测方位为基于在目标视频中、第一识别区域视频画面中展示的待识别目标的图像确定的观测方位。
示例性的,如图11所示,第一输出观测方位的坐标为(X1,Y1,Z1),第二输出观测方位的坐标可以为(X2,Y2,Z2),上述位移则为(X2-X1,Y2-Y1,Z2-Z1)。进而,在目标视频的播放过程中,随着待识别目标的位移变化,调整第一输出观测方位的位置,以得到第二输出观测方位,如此,可以使得目标视频更加清晰地展示该待识别目标。
步骤4、移动路径生成装置以第二输出观测方位输出目标视频的当前帧。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术目标应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术目标可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
如图12所示,为本申请实施例还提供的一种移动路径生成装置300的结构示意图。该装置300可以包括:获取模块301和处理模块302。可选的,移动路径生成装置300还包括输出模块303。
其中,获取模块301,用于获取布设于目标区域的多个拍摄设备拍摄的视频数据。目标区域为待识别目标所在的区域。
处理模块302,将多个拍摄设备拍摄的视频数据投射在目标区域的三维空间模型中,得到基于三维空间模型下的融合视频。
上述处理模块302,还用于基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,最大识别距离为在拍摄设备的布设状态下,拍摄设备能够识别出待识别目标的最大距离,拍摄设备的布设状态包括拍摄设备的布设角度和布设位置。
上述处理模块302,还用于基于融合视频确定第一识别区域的目标观测方位,目标观测方位为在融合视频中展示第一识别区域视频画面时的虚拟观测方位;以及用于在融合视频中,以各个识别区域对应的各个目标观测方位识别待识别目标,以生成待识别目标在目标区域中的移动路径。
在一种可能的实现方式中,上述处理模块302,具体用于:多次调整第一识别区域的初始观测方位,以得到多个候选观测方位;初始观测方位为第一识别区域对应的第一拍摄设备在融合视频中的预设观测方位;分别获取第二拍摄设备的最大可识别区域与第一拍摄设备的在每个多个候选观测方位下的最大可识别区域的重叠区域;第二拍摄设备的最大可识别区域基于第二拍摄设备的最大识别距离确定;将重叠区域最大时对应的候选观测方位确定为目标观测方位。
在另一种可能的实现方式中,处理模块302,还具体用于:根据第一拍摄设备的布设位置和布设角度,在三维空间模型中确定与第一拍摄设备对应的第一虚拟拍摄设备;多次对第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的第一虚拟拍摄设备的多个虚拟观测方位确定为多个候选虚拟观测方位。
在又一种可能的实现方式中,处理模块302,还具体用于:根据各个拍摄设备的布设位置和最大识别距离,确定各个拍摄设备的最大可识别区域;将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将目标区域分割为多个识别区域,其中,相邻两个识别区域均包括交叉面。
在又一种可能的实现方式中,该装置还包括输出模块303,处理模块302还用于截取三维融合视频中的目标视频,目标视频包括待识别目标在目标区域中的移动路径。输出模块303用于输出目标视频。
在又一种可能的实现方式中,获取模块301,还用于获取目标视频的当前帧中待识别目标的位置信息。该处理模块302,还用于根据待识别目标在当前帧中的位置信息,与在当前帧的前一帧中待识别目标的位置信息,确定待识别目标的位移;以及在三维空间模型中,基于位移调整前一帧输出时的第一输出观测方位的位置,以得到第二输出观测方位;输出模块303,还用于以第二输出观测方位输出目标视频的当前帧。
关于上述可选方式的具体描述可以参见前述的方法实施例,此处不再赘述。此外,上述提供的任一种移动路径生成装置300的解释以及有益效果的描述均可参考上述对应的方法实施例,不再赘述。
作为示例,结合图3,移动路径生成装置的处理模块302所实现的功能可以通过图3中的处理器210或处理器270执行图3中的存储器240中的程序代码实现。获取模块301所实现的功能可以通过图3中的通信线路220实现,当然不限于此。
本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,图12中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,还可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请实施例还提供了一种计算机可读存储介质,包括计算机执行指令,当其在计算机上运行时,使得计算机执行上述实施例提供的任意一种方法。例如,图4中S101~S105的一个或多个特征可以由该计算机可读存储介质中储存的一个或多个计算机执行指令来承担。
本申请实施例还提供了一种包含计算机执行指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的任意一种方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种移动路径生成方法,其特征在于,所述方法包括:
获取布设于目标区域的多个拍摄设备拍摄的视频数据;所述目标区域为待识别目标所在的区域;
将所述多个拍摄设备拍摄的视频数据投射在所述目标区域的三维空间模型中,得到基于所述三维空间模型下的融合视频;
基于所述多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将所述目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,所述最大识别距离为在所述拍摄设备的布设状态下,所述拍摄设备能够识别出所述待识别目标的最大距离,所述拍摄设备的布设状态包括所述拍摄设备的布设角度和布设位置;
基于所述融合视频确定第一识别区域的目标观测方位,所述目标观测方位为在所述融合视频中展示所述第一识别区域视频画面时的虚拟观测方位;
在所述融合视频中,以各个识别区域对应的各个目标观测方位识别所述待识别目标,以生成所述待识别目标在所述目标区域中的移动路径。
2.根据权利要求1所述的方法,其特征在于,所述基于所述融合视频确定所述第一识别区域的目标观测方位,包括:
多次调整所述第一识别区域的初始观测方位,以得到多个候选观测方位;所述初始观测方位为所述第一识别区域对应的第一拍摄设备在所述融合视频中的预设观测方位;
分别获取第二拍摄设备的最大可识别区域与所述第一拍摄设备的在每个所述多个候选观测方位下的最大可识别区域的重叠区域;所述第二拍摄设备的最大可识别区域基于所述第二拍摄设备的所述最大识别距离确定;
将所述重叠区域最大时对应的候选观测方位确定为所述目标观测方位。
3.根据权利要求2所述的方法,其特征在于,所述多次调整所述第一识别区域的初始观测方位,以得到多个候选观测方位,包括:
根据所述第一拍摄设备的布设位置和布设角度,在所述三维空间模型中确定与所述第一拍摄设备对应的第一虚拟拍摄设备;
多次对所述第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的所述第一虚拟拍摄设备的所述多个虚拟观测方位确定为所述多个候选虚拟观测方位。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将所述目标区域分割为多个识别区域,包括:
根据所述各个拍摄设备的布设位置和最大识别距离,确定所述各个拍摄设备的最大可识别区域;
将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将所述目标区域分割为多个识别区域,其中,所述相邻两个所述识别区域均包括所述交叉面。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
截取所述融合视频中的目标视频,所述目标视频包括所述待识别目标在所述目标区域中的移动路径;
输出所述目标视频。
6.根据权利要求5所述的方法,其特征在于,所述输出所述目标视频包括:
获取所述目标视频的当前帧中所述待识别目标的位置信息;
根据所述待识别目标在所述当前帧中的位置信息,与在所述当前帧的前一帧中所述待识别目标的位置信息,确定所述待识别目标的位移;
在所述三维空间模型中,基于所述位移调整所述前一帧输出时的第一观测方位的位置,以得到第二观测方位;
以第二观测方位输出所述目标视频的当前帧。
7.根据权利要求6所述的方法,其特征在于,在输出所述目标视频中所述第一识别区域视频画面时,所述第一观测方位的观测角度与所述第一识别区域对应的目标观测方位的观测角度相同;或者,
所述第一观测方位的观测角度与所述第一识别区域对应的第三观测方位的观测角度相同,其中,所述第三观测方位为基于在所述目标视频中、第一识别区域视频画面中展示的所述待识别目标的图像确定的观测方位。
8.一种移动路径生成装置,其特征在于,所述装置包括:
获取模块,用于获取布设于目标区域的多个拍摄设备拍摄的视频数据;所述目标区域为待识别目标所在的区域;
处理模块,将所述多个拍摄设备拍摄的视频数据投射在所述目标区域的三维空间模型中,得到基于所述三维空间模型下的融合视频;
所述处理模块,还用于基于所述多个拍摄设备中各个拍摄设备的布设位置和最大识别距离,将所述目标区域分割为多个识别区域;其中,一个识别区域对应一个拍摄设备,所述最大识别距离为在所述拍摄设备的布设状态下,所述拍摄设备能够识别出所述待识别目标的最大距离,所述拍摄设备的布设状态包括所述拍摄设备的布设角度和布设位置;
所述处理模块,还用于基于所述融合视频确定第一识别区域的目标观测方位,所述目标观测方位为在所述融合视频中展示所述第一识别区域视频画面时的虚拟观测方位;
所述处理模块,还用于在所述融合视频中,以各个识别区域对应的各个目标观测方位识别所述待识别目标,以生成所述待识别目标在所述目标区域中的移动路径;
所述处理模块,具体用于:
多次调整所述第一识别区域的初始观测方位,以得到多个候选观测方位;所述初始观测方位为所述第一识别区域对应的第一拍摄设备在所述融合视频中的预设观测方位;
分别获取第二拍摄设备的最大可识别区域与所述第一拍摄设备的在每个所述多个候选观测方位下的最大可识别区域的重叠区域;所述第二拍摄设备的最大可识别区域基于所述第二拍摄设备的所述最大识别距离确定;
将所述重叠区域最大时对应的候选观测方位确定为所述目标观测方位;
所述处理模块,还具体用于:
根据所述第一拍摄设备的布设位置和布设角度,在所述三维空间模型中确定与所述第一拍摄设备对应的第一虚拟拍摄设备;
多次对所述第一虚拟拍摄设备进行移动和/或拍摄画面缩放和/或旋转处理,并将得到的所述第一虚拟拍摄设备的所述多个虚拟观测方位确定为所述多个候选虚拟观测方位;
所述处理模块,还具体用于:
根据所述各个拍摄设备的布设位置和最大识别距离,确定所述各个拍摄设备的最大可识别区域;
将相邻两个最大可识别区域之间的交叉面作为两个相邻的识别区域的分割面,以将所述目标区域分割为多个识别区域,其中,所述相邻两个所述识别区域均包括所述交叉面;
所述处理模块,还用于
截取所述三维融合视频中的目标视频,所述目标视频包括所述待识别目标在所述目标区域中的移动路径;
所述装置还包括输出模块,所述输出模块用于输出所述目标视频;
所述获取模块,还用于获取所述目标视频的当前帧中所述待识别目标的位置信息;
所述处理模块,还用于根据所述待识别目标在所述当前帧中的位置信息,与在所述当前帧的前一帧中所述待识别目标的位置信息,确定所述待识别目标的位移;以及在所述三维空间模型中,基于所述位移调整所述前一帧输出时的第一输出观测方位的位置,以得到第二输出观测方位;
所述输出模块,还用于以第二输出观测方位输出所述目标视频的当前帧;
在输出所述目标视频中所述第一识别区域视频画面时,所述第一观测方位的观测角度与所述第一识别区域对应的目标观测方位的观测角度相同;或者,
所述第一观测方位的观测角度与所述第一识别区域对应的第三观测方位的观测角度相同,其中,所述第三观测方位为基于在所述目标视频中、第一识别区域视频画面中展示的所述待识别目标的图像确定的观测方位。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;
其中,当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-7中任意一项所述的移动路径生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-7中任一项所述的移动路径生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211619456.7A CN115830104A (zh) | 2022-12-14 | 2022-12-14 | 一种移动路径生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211619456.7A CN115830104A (zh) | 2022-12-14 | 2022-12-14 | 一种移动路径生成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115830104A true CN115830104A (zh) | 2023-03-21 |
Family
ID=85547559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211619456.7A Pending CN115830104A (zh) | 2022-12-14 | 2022-12-14 | 一种移动路径生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115830104A (zh) |
-
2022
- 2022-12-14 CN CN202211619456.7A patent/CN115830104A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
CN110148178B (zh) | 相机定位方法、装置、终端及存储介质 | |
CN112544097A (zh) | 用于执行三维无线电模型构建的方法、装置和计算机程序 | |
CN109584276A (zh) | 关键点检测方法、装置、设备及可读介质 | |
CN108668108B (zh) | 一种视频监控的方法、装置及电子设备 | |
JP6321570B2 (ja) | 屋内位置情報測位システム及び屋内位置情報測位方法 | |
US10545215B2 (en) | 4D camera tracking and optical stabilization | |
KR102197615B1 (ko) | 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버 | |
US20180253858A1 (en) | Detection of planar surfaces for use in scene modeling of a captured scene | |
CN113910224B (zh) | 机器人跟随的方法、装置及电子设备 | |
CN112270702A (zh) | 体积测量方法及装置、计算机可读介质和电子设备 | |
CN111932681A (zh) | 房屋信息显示方法、装置和电子设备 | |
CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
CN112422653A (zh) | 基于位置服务的场景信息推送方法、***、存储介质及设备 | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN116858215B (zh) | 一种ar导航地图生成方法及装置 | |
CN111325790B (zh) | 目标追踪方法、设备及*** | |
WO2023088127A1 (zh) | 室内导航方法、服务器、装置和终端 | |
CN115830104A (zh) | 一种移动路径生成方法及装置 | |
RU176382U1 (ru) | Блок сбора информации для устройства совмещенной реальности | |
US20180276879A1 (en) | Finite aperture omni-directional stereo light transport | |
EP4075789A1 (en) | Imaging device, imaging method, and program | |
CA3102860C (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
CN115953655A (zh) | 一种目标分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |