CN113553468B - 录像索引生成方法以及录像回放检索方法 - Google Patents

Abstract

本发明提供了一种录像索引生成方法和录像回放检索方法。基于本发明，可以从视频通道的帧数据中检测出目标对象的坐标融合轨迹，由于坐标融合轨迹是利用不局限于单视频通道的全局同步时间戳和空间位置坐标确定的，因而检测出的坐标融合轨迹可以反应出目标对象在其实际经过的所有拍摄区域的移动路径，从而，利用坐标融合轨迹的轨迹数据创建的录像索引可以实现基于轨迹的回放检索，以支持目标对象在其实际经过的所有拍摄区域的录像片段的连续回放，进而有助于提高基于多视频通道的录像回放效率。另外，本发明还可以将报警事件与轨迹数据关联，以使基于轨迹的回放检索能够支持以报警信息为检索条件。

Description

录像索引生成方法以及录像回放检索方法

技术领域

本发明涉及监控领域，特别涉及适用于多视频通道的一种录像索引生成方法、一种录像回放检索方法、一种智能分析设备以及一种智能录像设备。

背景技术

录像回放是监控领域的重要功能，通过回放包含指定目标的录像文件，可以针对与该目标相关的行为进行查看取证。

在实际组网时，为了更好地覆盖监控场景，往往会部署多台摄像机进行分区域、多角度的拍摄，不同摄像机在对应的视频通道输出的码流，可以被彼此独立地存储为不同的通道录像文件。

此时，对于录像回放关注的每个目标对象而言，由于其历史行为对回放人员是未知的，因此，无论该目标对象在不同时间段分别出现在了多个摄像机的拍摄区域，还是仅出现在了同一摄像机的拍摄区域，回放人员都需要以手动方式遍历调取多个单通道录像文件来筛查包含该目标对象的所有录像片段。而且，在调取每个单通道录像文件时，回放人员还需要以手动方式调节单通道录像文件的播放进度来定位录像片段的时间段。

如上可见，由于不能自动定位到出现同一目标对象的所有录像片段所属的单通道录像文件及在所属单通道文件的时间段，导致在多视频通道场景下的录像回放效率不高。

因此，如何提高基于多视频通道的录像回放效率，成为现有技术中有待解决的技术问题。

发明内容

有鉴于此，本发明的各实施例分别提供了一种录像索引生成方法、一种录像索引生成装置、一种录像回放检索方法、一种录像回放检索方法以及一种智能录像设备，有助于提高基于多视频通道的录像回放效率。

在一个实施例中，提供了一种录像索引生成方法，包括：获取至少一个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据；从获取的码流中解码得到每个视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、以及所属视频通道的前端摄像机为视频帧分配的全局同步时间戳，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标；利用解码得到的每个视频通道的帧数据中的全局同步时间戳和空间位置坐标，检测目标对象的坐标融合轨迹、并记录检测到的坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳；利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

在另一个实施例中，提供了一种录像回放检索方法，包括：

响应于回放指令，查询指定坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳；

利用查询到的轨迹数据，在录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

在另一个实施例中，提供了一种智能录像设备，包括网络通讯模组，用于接收至少一个视频通道的码流；磁盘介质，用于存储利用码流生成的单通道录像文件；处理器，用于执行如前所述的录像索引生成方法、以及如前所述的录像回放检索方法。

在另一个实施例中，提供了一种智能分析设备，包括通讯接口模组，用于接收至少一个视频通道的码流；处理器，用于执行如前所述的录像索引生成方法。

在另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行如前所述的录像索引生成方法、以及如前所述的录像回放检索方法中的至少之一。

基于上述实施例，可以从视频通道的帧数据中检测出目标对象的坐标融合轨迹，由于坐标融合轨迹是利用不局限于单视频通道的全局同步时间戳和空间位置坐标确定的，因而检测出的坐标融合轨迹可以反应出目标对象在其实际经过的所有拍摄区域的移动路径，从而，利用坐标融合轨迹的轨迹数据创建的录像索引可以实现基于轨迹的回放检索，即，通过通道标识和全局同步时间戳串联定位目标对象在其实际经过的所有拍摄区域的录像片段，支持目标对象在其实际经过的所有拍摄区域的录像片段的连续回放，进而有助于提高基于多视频通道的录像回放效率。

另外，作为进一步优化的可选方案，基于上述实施例还可以将报警事件与轨迹数据关联，以使基于轨迹的回放检索能够支持以报警信息为检索条件。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：

图1为一个实施例中的监控***的框架结构示意图；

图2为如图1所示监控***中的前端摄像机的原理性结构示意图；

图3为如图1所示监控***中的录像设备的示例性结构示意图

图4为适用于如图1所示监控***中的录像设备的一种智能分析设备的示例性结构示意图；

图5为用于如图1所示监控***中的录像设备实现录像回放的录像索引生成方法的示例性流程示意图；

图6为用于如图1所示监控***中的录像设备实现录像回放的录像回放检索方法的示例性流程示意图；

图7为基于如图6所示回放检索方法实现录像回放的流程示意图；

图8为如图5所示录像索引生成方法基于帧同步实现轨迹融合的原理示意图；

图9为如图5所示录像索引生成方法基于如图8所示轨迹融合原理的优化流程示意图；

图10为如图8所示轨迹融合原理使用的交叠判决机制的原理性示意图；

图11为基于如图10所示交叠判决机制的轨迹数据筛选的原理性示意图；

图12为如图10所示交叠判决机制的第一轨迹数据筛选实例的示意图；

图13为如图10所示交叠判决机制的第二轨迹数据筛选实例的示意图；

图14为如图10所示交叠判决机制支持画中画回放的轨迹数据筛选的扩展原理示意图；

图15为如图9所示优化流程引入如图10所示交叠判决机制和如图11所示轨迹数据筛选的实例流程示意图；

图16为如图8所示轨迹融合原理使用的混淆处理机制的示意图；

图17为如图8所示轨迹融合原理使用的补缺判决机制的示意图；

图18为如图9所示优化流程进一步引入如图17所示补缺判决机制的实例化流程示意图；

图19为如图5所示录像索引生成方法支持播放界面操作触发检索的扩展流程示意图；

图20为如图6所示回放检索方法基于播放界面操作触发的实例流程示意图；

图21为如图5所示录像索引生成方法引入事件关联机制的扩展流程示意图；

图22为如图6所示回放检索方法基于事件触发的实例流程示意图；

图23为用于如图1所示监控***中的录像设备实现录像回放的录像索引生成装置的模块化结构示意图；

图24为用于如图1所示监控***中的录像设备实现录像回放的录像回放检索装置的模块化结构示意图；

图25为如图23所示录像索引生成装置和如图24所示回放检索装置的模块集成化示意图；

图26为如图23所示录像索引生成装置引入事件关联机制的扩展结构示意图；

图27为如图26所示录像索引生成装置和如图24所示回放检索装置的模块集成化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

图1为一个实施例中的监控***的框架结构示意图。请参见图1，监控***中可以包括录像设备110、前端摄像机120-1～120-m(m为大于1的正整数)以及校时服务器130。虽然图1中示出了的前端摄像机120-1～120-m为至少两个，但这样的图示方式仅用于表达该实施例中的前端摄像机的数量不限于一个的图示意图，而并不表示排斥前端摄像机为一个的情况。

录像设备110可以是例如NVR(Network Video Recorder，网络视频录像机)等集成了网络通信、视频存储和视频播放功能的电子设备。

每台前端摄像机120-k(k为大于等于2且小于等于m的正整数)与录像设备110之间通过有线网络或无线网络建立有独立的视频通道CH-k，因此，对于录像设备110而言，前端摄像机120-1～120-m分别对应着视频通道CH-1～CH-m。即，每个前端摄像机120-k可以对应一个视频通道CH-k。

校时服务器130与各台前端摄像机120-1～120-m通信连接，用于为每台前端摄像机120-k提供相同的全局校时信号Sig_GT。并且，校时服务器130为至少两个前端摄像机120-1～120-m提供的全局校时信号Sig_GT也可以进一步提供给录像设备110。

另外，如图1所示的前端摄像机120-1～120-m可以是规格和型号不全相同的深度相机，即，每台前端摄像机120-k可以采集到深度信息。并且，每台前端摄像机120-k具有目标检测的功能，即，可以识别视频帧中的目标对象(例如人脸、人体、车辆等)、并可以在产生的视频帧的帧数据中添加目标对象的检测信息。

图2为如图1所示监控***中的前端摄像机的原理性结构示意图。请参见图2，图1中示出的每台前端摄像机120-k可以包括感测模组210、第一处理器220、第二处理器240、编码器260以及通讯模组280。

感测模组210，用于产生视频图像和深度信息。例如，感测模组210可以利用双目成像得到二维像素信息和深度信息，或者，利用诸如CCD(Charge Coupled Device，电耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等感光元件得到二维像素信息、并辅以诸如近红外激光等结构光采集深度信息，或者，利用诸如CCD或CMOS等感光元件得到视频帧200的二维像素信息、并辅以TOF(Time of flight，飞行时间)阵列采集深度信息。

第一处理器220用于利用感测模组210产生的二维像素信息和深度信息产生视频图像，并且将视频图像封装为包含帧数据的视频帧200，其中，视频帧200的帧数据中可以包括其所属视频通道CH-k的通道标识291、以及其在所属视频通道CH-k中的单通道序列号202。

第一处理器220还用于以全局校时信号Sig_GT为基准，为每一视频帧200分配表示其采样时刻的时间戳203，并且将分配的时间戳203添加在该视频帧200的帧数据中。其中，由于每个台前端摄像机120-k(第一处理器220)产生的时间戳203都是以相同的全局校时信号Sig_GT为基准，因此，这样的时间戳203所表示的计时时刻是在监控***中全局同步的，相应地，以全局校时信号Sig_GT为基准产生的时间戳203也可以称为全局同步时间戳。分配了全局同步时间戳203的视频帧200可以被第一处理器220送入检测缓存队列230中。

第二处理器240可以是处理能力高于第一处理器220的处理器件，其用于顺序检测缓存队列230中的每一视频帧200(视频图像)中是否包含指定的目标对象(例如人脸、人体、车辆等)。当在任意视频帧200中检测到目标对象时：

第二处理器240可以为检测到的目标对象分配用于在该视频通道中唯一标识目标对象的单通道目标标识204、并添加到视频帧200’的帧数据中；

第二处理器240也可以将测到的目标对象在视频图像中的图像位置坐标205作为可选的信息添加到视频帧200’的帧数据中；

第二处理器240还可以利用该视频帧200的视频图像中包含的深度信息，确定目标对象的空间位置坐标(或称为世界坐标)206、并添加到视频帧200’的帧数据中。

经过第二处理器240检测后的视频帧200’可以被第二处理器240送入编码缓存队列250中。

编码器260用于顺序对编码缓存队列250中的每一视频帧200’(视频图像)进行确保帧数据无损的编码处理，例如，将一部分视频帧200’的视频图像作为保留全信息的关键帧(也称为I帧)进行压缩编码、并且将另一部分视频帧200’的视频图像作为保留与前帧差别信息的预测帧(也称为P帧)进行压缩编码。

经编码器260编码后的视频帧200’即可被送入发送缓存队列270中，并由通讯模组280以码流的形态连续发送至录像设备110。

作为进一步可选的优化方案，每台前端摄像机120-k的第二处理器240还可以响应于报警事件向通讯模组280产生报警信息290，从而，可以在前端摄像机120-1～120-m与录像设备110之间形成报警通道ALER-1～ALER-m。即，每台前端摄像机120-k与录像设备110之间形成对应的一条报警通道ALER-k。例如，感测模组210中可以进一步包括抓怕相机，第二处理器240可以将抓拍事件作为报警事件而产生携带抓拍到的人脸图像的报警信息290。又例如，第二处理器240可以将视频图像中检测到人体的人体事件作为报警事件而产生携带体态信息的报警信息290。再例如，第二处理器240可以将视频图像中检测到人体越过指定界限的越界事件作为报警事件而产生携带界限标识的报警信息290。

并且，前端摄像机120-1～120-m的第二处理器240也可以以相同的全局校时信号Sig_GT为基准为报警事件分配全局同步时间戳，并将为报警事件分配的全局同步时间戳携带再报警信息290中。

基于前端摄像机120-1～120-m的上述工作原理，在下述的实施例中，将借助帧数据创建基于轨迹的录像索引、并利用录像索引提供基于轨迹的录像检索方式，以使录像设备110可以实现目标对象在其实际经过的所有拍摄区域的录像片段的连续回放。

若录像设备具有足够的处理能力，则录像索引的创建可以由录像设备来承担；若录像设备的处理能力有限，则录像索引的创建也可以由外接于录像设备的智能分析设备来承担。而对于利用录像索引实现基于轨迹的录像检索，则优选地由录像设备承担。

图3为如图1所示监控***中的录像设备的示例性结构示意图。请参见图3，为了支持后续实施例中针对录像索引创建和利用该录像索引的录像检索提供的方案，该录像设备110可以选用具有智能处理器的智能录像设备，并且可以包括网络通讯模组310、磁盘介质320、主处理器330以及智能处理器340。

网络通讯模组310用于通过网络与至少一个前端摄像机(图3中以至少两个前端摄像机120-1～120-m为例提供图示表达)建立通讯连接，以接收至少一个视频通道(图3中以至少两个视频通道CH-1～CH-m为例提供图示表达)中包含连续视频帧200’的码流；并且，作为进一步可选的优化方案，网络通讯模组310还可以接收至少一个报警通道(图3中以至少两个报警通道ALER-1～ALER-m为例提供图示表达)的报警信息290。

磁盘介质320可以包括一个或多个物理磁盘，用于存储利用码流生成的单通道录像文件。

主处理器330可以选用例如CPU(Central Processing Unit，中央处理单元)等处理器件，智能处理器340则可以为例如GPU(Graphics Processing Unit，图形处理单元)等处理能力高于主处理器330的处理器件。其中，主处理器330可以为智能录像设备中的其他元件(例如网络通讯模组和智能处理器340)产生对应的控制信号，可以借助智能录像设备的控制面板或通过与外部的信号交互而实现用户交互。

智能处理器340可以实现码流与录像文件之间的转换，为录像文件创建录像索引(其可以作为后续实施例中的录像索引生成方法的执行主体)，执行录像文件的检索(其可以作为后续实施例中的录像回放检索方法的执行主体)，以及响应于检索结果解码播放对应的录像文件中的任意录像片段。

另外，如图3所示的智能录像设备中还可以包括非瞬时计算机可读存储介质350，其可以存储指令，其中一些指令在由智能处理器340执行时，可以使得智能处理器340执行如后续实施例中提供的录像索引生成方法、以及如后续实施例中提供的录像回放检索方法。

图4为适用于如图1所示监控***中的录像设备的一种智能分析设备的示例性结构示意图。请参见图4，对于不具有智能分析能力的录像设备110’，可以通过外接的智能分析设备400来实现后续实施例中针对录像索引创建和利用该录像索引的录像检索提供的方案。如图4所示的录像设备110’可以包括：

网络通讯模组310’，用于通过网络与至少一个前端摄像机(图4中以至少两个前端摄像机120-1～120-m为例提供图示表达)建立通讯连接，以接收至少一个视频通道(图4中以至少两个视频通道CH-1～CH-m为例提供图示表达)包含连续视频帧200’的码流；并且，作为进一步可选的优化方案，网络通讯模组310’还可以接收至少一个报警通道(图4中以至少两个报警通道ALER-1～ALER-m为例提供图示表达)的报警信息290；

磁盘介质320’，其可以包括一个或多个物理磁盘，并用于存储利用码流生成的单通道录像文件；

设备处理器330’，其可以选用例如CPU等处理器件，用于为智能录像设备中的其他元件(例如网络通讯模组310’)产生对应的控制信号，借助智能录像设备的控制面板或通过与外部的信号交互而实现用户交互，实现码流与录像文件之间的转换，通过扩展接口360与智能分析设备400交互而向智能分析设备400分享码流、并获取智能分析设备400提供的录像索引，以及，执行录像文件的检索(其可以作为后续实施例中的录像回放检索方法的执行主体)。并且，作为进一步可选的优化方案，设备处理器330’还可以向智能分析设备400分享从任意报警通道ALER-k接收到的报警信息290。

如图4所示的智能分析设备400可以包括与图3中示出的智能处理器340相同或基本相同的智能处理器410、以及用于与录像设备对接的通讯接口模组420，其中，智能处理器410可以通过通讯接口模组420获取到录像设备110’分享的包含连续视频帧200’的码流以及报警信息290，智能处理器410可以至少利用录像设备110’分享的码流为录像文件创建录像索引(其可以作为后续实施例中的录像索引生成方法的执行主体)，并且，智能处理器410还可以将创建的录像索引通过通讯接口模组420提供给录像设备。

也就是，在图4中，智能分析设备400可以看作是对录像设备110’的功能扩展模块，其可以呈现为例如基于扩展槽的可插拔智能板卡或基于接口插接的外接设备等形态。后续实施例提供的录像索引生成方法和录像回放检索检索方法可以认为是对智能录像设备的功能优化、或者对不具备智能分析能力的录像设备的功能扩展。

另外，如图4所示的智能分析设备400中可以包括缓存介质430、以及非瞬时计算机可读存储介质440，缓存介质430可以临时存放录像设备110’分享的包含连续视频帧200’的码流以及报警信息290，非瞬时计算机可读存储介质440中存储的一部分指令在由智能处理器410执行时，可以使得智能处理器410执行如后续实施例中提供的录像索引生成方法。

类似地，如图4所示的录像设备110’中也可以非瞬时计算机可读存储介质350’，其中存储的一部分指令在由设备处理器330’执行时，可以使得设备处理器330’执行如后续实施例中提供的录像回放检索方法。

在下述的实施例中，将分别介绍一种录像索引生成方法、以及可以与该录像索引生成方法配合使用的录像回放检索方法。

图5为用于如图1所示监控***中的录像设备实现录像回放的录像索引生成方法的示例性流程示意图。请参见图5，该实施例中的录像索引生成方法可以包括：

S510：获取至少一个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据。

作为一种可选的情况，S510可以获取从至少一个视频通道实时接收到的码流(实时码流)；或者，作为另一种可选的情况，S510也可以响应于接收到的回放指令，从存储(录像设备的磁盘介质中)的单通道录像文件中获取至少一个视频通道的码流(历史码流)。

S530：从获取的码流中解码得到每个视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、以及所属视频通道的前端摄像机为视频帧分配的全局同步时间戳，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标。

S550：利用解码得到的每个视频通道的帧数据中的全局同步时间戳和空间位置坐标，检测目标对象的坐标融合轨迹、并记录检测到的坐标融合轨迹的轨迹数据(从检测到的坐标融合轨迹的帧数据中获取)，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳。

可以理解的是，由于目标对象的坐标融合轨迹是利用至少一个视频通道的帧数据共同检测的，因此，检测到的坐标融合轨迹有可能是一个视频通道内的单通道轨迹，也有可能是跨越至少一个视频通道的跨通道轨迹。

S570：利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

图6为用于如图1所示监控***中的录像设备实现录像回放的录像回放检索方法的示例性流程示意图。请参见图6，该实施例中的录像回放索引方法可以包括：

S610：响应于回放指令，查询指定坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳。

S630：利用查询到的轨迹数据，在录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

图7为基于如图6所示回放检索方法实现录像回放的流程示意图.。请参见图7，在如图6所示的录像回放检索方法利用如图5所示的录像索引生成方法生成的录像索引回放录像时，从时间排序位于首位的选定时段在指定单通道录像中的录像片段开始，录像回放的过程可以具体包括：

S710：加载当前选定时段对应的指定单通道录像文件、并解码播放该指定单通道录像文件中处于当前选定时段的录像片段。

S730：监测录像回放进度，以判断当前选定时段在指定单通道录像文件中的录像片段的回放是否完成，若是，则跳转至S750；否则返回本步骤继续检测。

S750：检测根据录像索引定位到的所有选定时段中是否还有未回放的录像片段，若是，则跳转至S770将当前单通道录像在当前选定时段的录像片段切换为时间排序位于下一个选定时段的另一个单通道录像中的对应录像片段，然后返回S710；否则，结束录像回放过程。

基于上述流程，如图5所示的录像索引生成方法可以从视频通道的帧数据中检测出目标对象的坐标融合轨迹，由于坐标融合轨迹是利用不局限于单视频通道的全局同步时间戳和空间位置坐标确定的，因而检测出的坐标融合轨迹可以反应出目标对象在其实际经过的所有拍摄区域的移动路径，从而，基于利用坐标融合轨迹的轨迹数据创建的录像索引，如图6所示的录像回放检索方法可以实现基于轨迹的回放检索，即，通过通道标识和全局同步时间戳串联定位目标对象在其实际经过的所有拍摄区域的录像片段，支持目标对象在其实际经过的所有拍摄区域的录像片段像如图7所示过程那样被连续回放，进而有助于提高基于多视频通道的录像回放效率。

后文中，将结合实例对上述的录像索引生成方法和录像回放检索方法分别进行进一步的细化说明。

对于视频通道为至少两个的情况，考虑到不同视频通道的码流之间可以存在传输延时，并且，从码流中解码得到帧数据的过程也有可能在各视频通道之间存在不同的时延，由此，解码得到的各视频通道的帧数据的时间排序可能与全局同步时间戳的排序存在一定的乱序偏差，由此，为了使各通道的帧数据能够具有同步于全局同步时间戳的时间排序，以便于能够按照时间分布更容易地检测坐标融合轨迹，可以先利用各视频通道的帧数据中的全局同步时间戳对各视频通道的帧数据进行时间同步排序，然后，通过融合各视频通道的帧数据中的空间位置坐标在时间同步排序中的关联关系，检测空间位置坐标具有连贯变化趋势的坐标融合轨迹。

上述的关联关系包括两方面，其中一方面是只同一视频通道的帧数据中针对同一目标对象的空间位置坐标在时间同步排序中的拟合关系，以确定同一目标对象的单通道轨迹；另一方面，同一目标对象在不同的视频通道会被分配不同的单通道对象标识，因此需要通过检测不同视频通道的帧数据中的空间位置坐标之间的衔接关系，来确定不同视频通道的帧数据中的空间位置坐标是否属于同一目标对象。

图8为如图5所示录像索引生成方法基于帧同步实现轨迹融合的原理示意图。请参见图8，在该实施例中，图8中以视频通道k(k此时取1～m-1的正整数)和k+1中的帧数据为例，其中：视频通道k的帧数据在解码后按照单通道帧号Seq_1～Seq_p排序，视频通道k+1的帧数在解码后按照单通道帧号Seq_1～Seq_q排序；当通过帧同步处理S80利用全局同步时间戳GT(t)的时间同步排序后，视频通道k的帧数据和视频通道k+1的帧数在解码后按照全局同步时间戳GT(t)的时间值对齐排序。

此时，可以先利用帧数据中进一步为空间位置坐标对应设置的单机目标标识，在每个视频通道的帧数据中识别同一目标对象的空间位置坐标的单通道轨迹，即，视频通道k中具有单通道目标标识Obj-a的目标对象的单通道轨迹810、以及视频通道k+1中具有单通道目标标识Obj-b的目标对象的单通道轨迹820。然后，可以检测在不同视频通道的帧数据中识别出的单通道轨迹之间的衔接关联。

若视频通道k中单通道帧号为Seq_i(i为大于等于1且小于等于p正整数)的帧数据与视频通道k+1中单通道帧号为Seq_j(j为大于等于1且小于等于q正整数)的帧数据在全局同步时间戳GT(t)的时间排序上接续，并且，视频通道k中具有单通道目标标识Obj-a的目标对象的空间位置坐标Co-world(a_1)至Co-world(a_i)与视频通道k+1中具有单通道目标标识Obj-b的目标对象的空间位置坐标Co-world(b_j)至Co-world(b_q)，在时间同步排序中存在表示连贯变化趋势的关联关系，则，可以认为视频通道k中具有单通道目标标识Obj-a的目标对象与视频通道k+1中具有单通道目标标识Obj-b的目标对象为同一目标对象，此时，可以将单通道轨迹810和820的组合确定为从Co-world(a_1)经过Co-world(a_i)和Co-world(b_j)至Co-world(b_q)具有连贯变化趋势的坐标融合轨迹800，即，将存在衔接关联的至少两条单通道轨迹的组合确定为同一目标对象的坐标融合轨迹。

若视频通道k中具有单通道目标标识Obj-a的目标对象的单通道轨迹810、以及视频通道k+1中具有单通道目标标识Obj-b的目标对象的单通道轨迹820之间不存在衔接关联，则，表示视频通道k中具有单通道目标标识Obj-a的目标对象与视频通道k+1中具有单通道目标标识Obj-b的目标对象可能不是同一目标对象，此时，可以将与其他单通道轨迹不存在衔接关联的每条单通道轨迹810和820逐一确定为同一目标对象的坐标融合轨迹。

图9为如图5所示录像索引生成方法基于如图8所示轨迹融合原理的优化流程示意图。请参见图9，基于如图8所示的轨迹融合原理，当视频通道为至少两个时，如图5所示的录像索引生成方法可以进一步扩展为包括如下步骤：

S910：获取至少两个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据。

S930：从获取的码流中解码得到各视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、以及所属视频通道的前端摄像机为视频帧分配的全局同步时间戳，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标。

S951：利用各视频通道的帧数据中的全局同步时间戳，对各视频通道的帧数据进行时间同步排序。

S953：利用帧数据中为空间位置坐标对应设置的单机目标标识，在每个视频通道的帧数据中识别同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹。

S955：当从至少两个视频通道的数据帧中识别出单通道轨迹时，检测在不同视频通道的帧数据中识别出的至少两条单通道轨迹之间的衔接关联。

S957：将存在衔接关联的至少两条单通道轨迹的组合确定为同一目标对象的坐标融合轨迹，并且，将与其他单通道轨迹不存在衔接关联的每条单通道轨迹逐一确定为同一目标对象的坐标融合轨迹。

S959：记录检测到的坐标融合轨迹的轨迹数据(从检测到的坐标融合轨迹的帧数据中获取)，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳。

轨迹数据可以认为是对坐标融合轨迹经过的每个空间位置坐标所属帧数据的摘录，并且，对帧数据的摘录范围可以以通道标识和全局同步时间戳为最小集合、并以帧数据中的全部数据为最大集合。由此，作为进一步优化的可选方案，每条坐标融合轨迹的轨迹数据中也可以进一步包括该坐标融合轨迹经过的每个空间位置坐标、以及帧数据中为该坐标融合轨迹经过的每个空间位置对应记录的图像位置坐标。

上述S951～S959可以认为是如图5所示流程中的S550的优化过程。并且，该过程可以利用缓存来实现，例如，可以按照全局同步时间戳GT(t)的时间值，将各视频通道在具有预定时长(例如5秒至10秒)的时间段内的帧数据以时间同步排序的顺序导入缓存中，并按照缓存的顺序检测同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹、以及不同视频通道的单通道轨迹之间的衔接关联。即，可以认为是以缓存的缓存容量限定的时间窗沿着时间流逝方向的移动，完成对各视频通道的帧数据的同步排序和检测识别。

S970：利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

在上述流程中，利用全局同步时间戳的时间同步排序，可以使各视频通道的帧数据形成类似于帧同步的排序整形，从而，可以更容易检测出空间位置坐标在时间同步排序中的关联关系，以确定坐标融合轨迹。

对于上述的衔接关联，一种可能的情况是，在不同视频通道的帧数据中存在相同时段的空间坐标位置重叠，这是因为，不同视频通道的前端摄像机的监控范围存在局部交叠，此时，可以通过检测这样的交叠来识别各视频通道的帧数据中的空间位置坐标在时间同步排序中的衔接关联。

图10为如图8所示轨迹融合原理使用的交叠判决机制的原理性示意图。请参见图10，视频通道k的单通道轨迹1010的尾端包含分别对应全局时间戳GT-0512000100和GT-0512000100的两个空间位置坐标Co-world(a_n-1)和Co-world(a_n)，并且，视频通道k+1的单通道轨迹1020的首端包含同样对应全局同步时间戳GT-0512000100和GT-0512000100的空间位置坐标Co-world(b_1)和Co-world(b_2)，并且，视频通道k的单通道轨迹1010尾端的两个空间位置坐标位置Co-world(a_n-1)和Co-world(a_n)分别与视频通道k+1的单通道轨迹1020首端的两个空间位置坐标Co-world(b_1)和Co-world(b_2)具有相同的坐标值。此时，单通道轨迹1010尾端的两个空间位置坐标位置Co-world(a_n-1)和Co-world(a_n)与单通道轨迹1020首端的两个空间位置坐标Co-world(b_1)和Co-world(b_2)，即可认为是不同单通道轨迹之间的首尾交叠。

从图10中可以看出，这样的首尾交叠可能是由于同一目标对象出现在不同视频通道的前端摄像机120-k和120-k+1的监控视野的局部交叠区域所致，因此，通过检测这样的首尾交叠，可以将两两首尾交叠的至少两条单通道轨迹确定为具有表示同一目标对象的衔接关联的单通道轨迹。

对于上述的首尾交叠，可以在交叠区域进行额外的数据处理。

图11为基于如图10所示交叠判决机制的轨迹数据筛选的原理性示意图。请参见图11，可以对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选，即，Co-world(a_n-1)所属的视频通道k的帧数据可以被选择为对应全局时间戳GT-0512000100的有效帧数据，而Co-world(b_2)所属的视频通道k+1的帧数据则可以被选择为对应全局时间戳GT-0512000101的有效帧数据，从而形成跨通道的坐标融合轨迹1000及其轨迹数据1100。如图11所示的择一筛选是依据轨迹分割线L_div来确定的，即，轨迹数据1100在时间排序上位于轨迹分割线L_div的一侧取自首尾交叠的其中一个视频通道k的帧数据、在时间排序上位于轨迹分割线L_div的一侧则取自首尾交叠的另外一个视频通道k+1的帧数据。

上述轨迹分割线L_div可以看作是两个视频通道k和k+1的前端摄像机120-k和120-k+1的监控视野在交叠区域的分割界限，轨迹分割线L_div的位置可以是预先按照中线或偏位线等预定分割比例设定的，或者，轨迹分割线L_div的位置也可以自适应调整。

图12为如图10所示交叠判决机制的第一轨迹数据筛选实例的示意图。请参见图12，轨迹分割线L_div(e)的位置可以是响应于成像环境等级而自适应变化的，即，当视频通道k对应的监控场景由于光照不足、或干扰遮挡物多、或前端摄像机120-k的成像清晰度等原因而具有比视频通道k+1更低的成像环境等级时，视频通道k可以具有比视频通道k+1更高的通道竞争优先级，此时，根据视频通道k和k+1的通道竞争优先级，可以调节轨迹分割线L_div(e)的位置，以确定不同视频通道k和k+1的单通道轨迹1010和1020在交叠区域的分割比例，从而，按照确定的分割比例即可在交叠区域对不同视频通道k和k+1的单通道轨迹1010和1020中的帧数据进行分段择一选定，即，Co-world(a_n-1)和Co-world(a_n)所属的视频通道k的帧数据可以被选择为对应全局时间戳GT-0512000100和GT-0512000101的有效帧数据，从而形成跨通道的坐标融合轨迹1000’及其轨迹数据1200。

图13为如图10所示交叠判决机制的第二轨迹数据筛选实例的示意图。请参见图13，轨迹分割线L_div(v)的位置可以是响应于目标对象的移动速度而自适应变化的，即，当目标对象在视频通道k+1的移动速度v2大于在视频通道k的移动速度v1时，视频通道k+1可以具有比视频通道k更高的通道竞争优先级，此时，根据视频通道k和k+1的通道竞争优先级，可以调节轨迹分割线L_div(v)的位置，以确定不同视频通道k和k+1的单通道轨迹1010和1020在交叠区域的分割比例，从而，按照确定的分割比例即可在交叠区域对不同视频通道k和k+1的单通道轨迹1010和1020中的帧数据进行分段择一选定，即，Co-world(b_1)和Co-world(b_2)所属的视频通道k+1的帧数据可以被选择为对应全局时间戳GT-0512000100和GT-0512000101的有效帧数据，从而形成跨通道的坐标融合轨迹1000”及其轨迹数据1300。

图14为如图10所示交叠判决机制支持画中画回放的轨迹数据筛选的扩展原理示意图。请参见图14，无论采用何种筛选方式，都可以将在交叠区域的帧数据被弃选的单通道轨迹所属视频通道的通道标识，在轨迹数据中记录为表示在画中画子窗口呈现的附属通道标识，即，Co-world(b_1)所属的视频通道k+1的通道标识CH-k+1可以被记录为轨迹数据1400中对应全局时间戳GT-0512000100的附属通道标识，而Co-world(a_n)所属视频通道k的通道标识CH-k可以被记录为轨迹数据1400中对应全局时间戳GT-0512000101的附属通道标识。

另外，在图12至图14中，还示出了轨迹迹数据中进一步包括空间位置坐标和图像位置坐标的情况。

图15为如图9所示优化流程引入如图10所示交叠判决机制和如图11所示轨迹数据筛选的实例流程示意图。请参见图15，当引入如图10所示交叠判决机制和如图11所示轨迹数据筛选时，对于视频通道为至少两个的情况，如图9所示的优化流程可以进一步被扩展为包括如下的步骤：

S1510：获取至少两个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据。

S1530：从获取的码流中解码得到各视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、以及所属视频通道的前端摄像机为视频帧分配的全局同步时间戳，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标。

S1551：利用各视频通道的帧数据中的全局同步时间戳，对各视频通道的帧数据进行时间同步排序。

S1553：利用帧数据中为空间位置坐标对应设置的单机目标标识，在每个视频通道的帧数据中识别同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹。

S1555：当从至少两个视频通道的数据帧中识别出单通道轨迹时，通过检测各单通道轨迹的首尾端部是否包含坐标值相同并且对应相同全局同步时间戳的空间位置坐标，识别各单通道轨迹之间的首尾交叠、并将两两首尾交叠的至少两条单通道轨迹确定为具有衔接关联的单通道轨迹。

S1557：将存在衔接关联的至少两条单通道轨迹的组合确定为同一目标对象的坐标融合轨迹，并且，将与其他单通道轨迹不存在衔接关联的每条单通道轨迹逐一确定为同一目标对象的坐标融合轨迹。

S1558：当至少两条单通道轨迹具有两两首尾交叠的衔接关联时，对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选，以利用每条单通道轨迹在非交叠区域的帧数据、以及在交叠区域通过择一筛选而被选定的帧数据生成坐标融合轨迹的轨迹数据。

例如，可以根据为至少两个视频通道预先设定的通道竞争优先级，确定不同视频通道的单通道轨迹在交叠区域的分割比例，其中，通道竞争优先级是根据视频通道对应的成像环境等级确定的；并且，按照确定的分割比例，在交叠区域对不同视频通道的单通道轨迹中的帧数据进行分段择一选定。

再例如，可以根据空间位置坐标响应于时间的坐标值变化幅度，估算不同视频通道的单通道轨迹对应的目标移动速度；并且，根据估算的目标移动速度，确定不同视频通道的单通道轨迹在交叠区域的分割比例；以及，按照确定的分割比例，在交叠区域对不同视频通道的单通道轨迹中的帧数据进行分段择一选定。

S1559：记录检测到的坐标融合轨迹经筛选后的轨迹数据(从检测到的坐标融合轨迹的帧数据中获取)，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳。

其中，当至少两条单通道轨迹具有两两首尾交叠的衔接关联时，可以进一步将在交叠区域的帧数据被弃选的单通道轨迹所属视频通道的通道标识，在轨迹数据中记录为表示在画中画子窗口呈现的附属通道标识。

上述S1551～S1559可以认为是如图5所示流程中的S550的优化过程。并且，该过程可以利用缓存来实现，例如，可以按照全局同步时间戳GT(t)的时间值，将各视频通道在具有预定时长(例如5秒至10秒)的时间段内的帧数据以时间同步排序的顺序导入缓存中，并按照缓存的顺序检测同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹、以及不同视频通道的单通道轨迹之间的衔接关联。即，可以认为是以缓存的缓存容量限定的时间窗沿着时间流逝方向的移动，完成对各视频通道的帧数据的同步排序和检测识别。

S1570：利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

另外，上述S1555可能会遇到一种情况：多个目标对象在不同视频通道的前端摄像机的监控视野的局部交叠区域汇聚(例如人员聚集事件)，此时若前端摄像机的目标检测存在一定的误差，则有可能会出现多于两条单通道轨迹在坐标值相同并且对应相同全局同步时间戳的空间位置坐标，从而形成交叠混淆。为此，可以提供一种混淆处理机制，以在遇到上述情况时实现正确的轨迹融合。

图16为如图8所示轨迹融合原理使用的混淆处理机制的示意图。请参见图16，视频通道k的帧数据中记录了单通道目标标识分别为Obj-a和Obj-c的两个目标对象的信息，并且视频通道k+1的帧数据中记录了单通道目标标识分别为Obj-b和Obj-d的两个目标对象的信息。

若由于视频通道k的前端摄像机120-k和/或视频通道k+1的前端摄像机120-k+1的检测误差，而导致目标对象Obj-a和Obj-c在视频通道k的单通道轨迹尾端、目标对象Obj-b和Obj-d在视频通道k+1的单通道轨迹首端的空间位置坐标的坐标值相等、并均对应相同的全局时间戳GT-0512000100，则，可以基于对单通道轨迹的轨迹趋势的匹配，对多于两条单通道轨迹之间的首尾交叠进行去混淆处理，以得到在坐标值相同并且对应相同全局同步时间戳的空间位置坐标两两首尾交叠的单通道轨迹，即：

目标对象Obj-a在视频通道k的单通道轨迹与目标对象Obj-b在视频通道k+1的单通道轨迹具有匹配的轨迹趋势，因而可以被确定为两两首尾交叠的单通道轨迹，并可以合成为表示同一目标对象的跨通道坐标融合轨迹1610；

目标对象Obj-c在视频通道k的单通道轨迹与目标对象Obj-d在视频通道k+1的单通道轨迹具有匹配的轨迹趋势，因而可以被确定为两两首尾交叠的单通道轨迹，并可以合成为表示同一目标对象的跨通道坐标融合轨迹1620。

由此，S1555在将两两首尾交叠的至少两条单通道轨迹确定为具有衔接关联的单通道轨迹之前，当检测到多于两条单通道轨迹在坐标值相同并且对应相同全局同步时间戳的空间位置坐标形成交叠混淆时，可以进一步基于轨迹趋势的匹配，对多于两条单通道轨迹之间的首尾交叠进行去混淆处理，以得到在坐标值相同并且对应相同全局同步时间戳的空间位置坐标两两首尾交叠的单通道轨迹。

对于单通道轨迹之间的衔接关联，另外一种可能的情况是，不同视频通道的单通道轨迹之间可能由于拍摄时的遮挡或其他干扰而形成持续时间较短的瞬时断点，此时，只要存在瞬时断点的单通道轨迹之间具有匹配的轨迹趋势，仍应当认为是存在衔接关联。

图17为如图8所示轨迹融合原理使用的补缺判决机制的示意图。请参见图17，若视频通道k的单通道轨迹1710与视频通道k+1的单通道轨迹1720之间由于目标对象被障碍物遮挡而未形成首尾交叠，则可以检测未识别出首尾交叠的单通道轨迹1710和1720之间的断点持续时长，当检测出的断点持续时长小于预设阈值(图17中的断点持续时长仅为两个全局同步时间戳GT-0512000099与GT-0512000101之间的一个时间戳单位时长)时，可以基于对轨迹趋势的延展预测进行单通道轨迹1710和1720之间在断点处的轨迹匹配，并且，当单通道轨迹1710和1720之间在断点处具有匹配的轨迹趋势时，可以将轨迹趋势在断点处匹配的单通道轨迹1710和1720确定为具有衔接关联的单通道轨迹。

在图17中，示出了单通道轨迹1710和1720之间的虚拟轨迹段1730，该虚拟轨迹段1730可以认为是单通道轨迹1710和1720在断点处相匹配的轨迹趋势。

在记录轨迹数据时，可以将单通道轨迹1710和1720之间的虚拟轨迹段1730的数据记录为视频通道k和k+1中任意一个的通道标识CH-k或CH-k+1、以及断点对应的全局同步时间戳GT-0512000100。

另外，图17中还示出了轨迹数据中进一步包括坐标融合轨迹经过的每个空间位置坐标、以及对应的图像位置坐标的情况。此时，对于单通道轨迹1710和1720之间的虚拟轨迹段1730，其在轨迹数据中的空间位置坐标和图像位置坐标可以为空(Null)，或者可以记录为根据单通道轨迹1710尾端的空间位置坐标Co-world(a_n)和图像位置坐标Co-img(a_n)、以及单通道估计1720首端的空间位置坐标Co-world(b_1)和图像位置坐标Co-img(b_1)估算(例如插值运算)得到的空间位置坐标Co-world(est)和图像位置坐标Co-img(est)。

图18为如图9所示优化流程进一步引入如图17所示补缺判决机制的实例化流程示意图。请参见图18，当引入如图10所示交叠判决机制和如图11所示轨迹数据筛选、以及如图17所示的补缺判决机制时，对于视频通道为至少两个的情况，如图9所示的优化流程可以进一步被扩展为包括如下的步骤：

分别与S1510、S1530、S1551、S1553、S1555基本相同的S1810、S1830、S1851、S1853、S1855。

S1856：检测未识别出首尾交叠的各单通道轨迹之间的断点持续时长，对于断点持续时长小于预设阈值的每两条单通道轨迹，基于对轨迹趋势的延展预测进行单通道轨迹之间在断点处的轨迹匹配、并将轨迹趋势在断点处两两匹配的至少两条单通道轨迹确定为具有衔接关联的单通道轨迹。

S1857：将通过首尾交叠和断点轨迹趋势匹配而判定为存在衔接关联的至少两条单通道轨迹的组合确定为同一目标对象的坐标融合轨迹，并且，将与其他单通道轨迹不存在衔接关联的每条单通道轨迹逐一确定为同一目标对象的坐标融合轨迹。

S1858：当至少两条单通道轨迹具有两两首尾交叠的衔接关联时，对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选，以利用每条单通道轨迹在非交叠区域的帧数据、以及在交叠区域通过择一筛选而被选定的帧数据生成坐标融合轨迹的轨迹数据；当至少两条单通道轨迹具有可通过断点补缺弥补的衔接关联时，产生对断点的补缺数据。

对于交叠区域的帧数据的择一筛选，可以参见如图12至14的原理，此处不再赘述。

对于断点的补缺数据，可以利用断点所覆盖时段的全局同步时间戳、以及存在断点的两条单通道轨迹所属视频通道之一的通道标识来产生，并且，作为进一步可选的优化方案，可以利用存在断点的两条单通道轨迹途经的所有空间位置坐标估算断点处的空间位置坐标、并利用存在断点的两条单通道轨迹途经的所有空间位置坐标在帧数据中对应的图像位置坐标估算断点处的图像位置坐标。

S1859：记录检测到的坐标融合轨迹经筛选后的轨迹数据(从检测到的坐标融合轨迹的帧数据中获取)，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳。

S1870：利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

以上是对录像索引生成方法中确定坐标融合轨迹和记录轨迹数据的展开说明。在下文的展开说明中，将结合录像检索方法的实例流程、着重介绍录像索引生成方法为适配不同检索触发方式的扩展方案。

图19为如图5所示录像索引生成方法支持播放界面操作触发检索的扩展流程示意图。请参见图19，对于每条坐标融合轨迹的轨迹数据进一步包括该坐标融合轨迹经过的每个空间位置坐标、以及该空间位置坐标所属帧数据中进一步为空间位置坐标对应设置的图像位置坐标的情况，如图5所示的录像索引生成方法可以扩展为包括分别与S510、S530、S550、S570基本相同的S1910、S1930、S1950、S1970，以及，在S1970之后执行的：

S1990：创建用于利用轨迹数据中的通道标识、全局同步时间戳以及图像位置坐标为查询条件而定位轨迹数据的轨迹索引。

图20为如图6所示回放检索方法基于播放界面操作触发的实例流程示意图。请参见图20，当基于播放界面的操作触发检索时，该实施例中的录像回放索引方法可以包括：

S2010：在任意单通道录像文件被播放的期间内，响应于在播放窗口内检测到的表示回放指令的人机交互操作(例如鼠标点击操作)，利用当前播放的单通道录像文件的通道标识、检测到人机交互操作的图像位置坐标、以及检测到人机交互操作时的视频帧对应的全局同步时间戳，查询匹配的轨迹数据。其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳。

S2030：利用查询到的轨迹数据，在录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

基于上述如图19和图20所示的流程，录像回放的检索过程可以通过回放人员在播放窗口内检测到的人机交互操作(例如鼠标点击操作)，即可实时触发基于轨迹的录像检索，从而可以提高录像回放检索的响应速度。

图21为如图5所示录像索引生成方法引入事件关联机制的扩展流程示意图。请参见图21，该实施例中的录像索引生成方法可以进一步将前端摄像机120-1～120-m产生的报警信息290中携带的报警事件，与利用轨迹数据创建的录像索引关联，并由此可以可以将如图5所示的录像索引生成方法扩展为包括分别与S510、S530、S550、S570基本相同的S2110、S2130、S2150、S1270，以及，在S2150之后执行的：

S2160：响应于任意一个视频通道对应的报警事件，利用该视频通道的通道标识、以及报警信息携带的全局同步时间戳查询匹配的轨迹数据。

S2180：当查询到与报警事件匹配的轨迹数据时，创建报警事件与轨迹数据的关联索引，其中，关联索引中包括用于定位轨迹数据的事件信息。

例如，报警事件可以包括人脸抓拍，此时，S2180可以利用抓拍事件产生的人脸抓拍图像，在人脸数据库中进行身份查询，并以查询得到的身份信息作为事件信息，创建报警事件与轨迹数据的关联索引。再例如，报警事件可以包括人体报警，此时，S2180可以以人体报警携带的体态信息和人体报警携带的全局同步时间戳作为事件信息，创建报警事件与轨迹数据的关联索引。又例如，报警事件可以包括越界报警，此时，S2180可以以越界报警携带的界限标识和全局同步时间戳作为事件信息，创建报警事件与轨迹数据的关联索引。

另外，在图21所示的流程中，S2170之后也可以进一步包括与如图19所示流程中的S1990基本相同的步骤S2190。

图22为如图6所示回放检索方法基于事件触发的实例流程示意图。请参见图22，当基于事件触发对录像文件的检索时，如图6所示的回放检索方法可以包括：

S2210：当接收到的回放指令中携带对应指定报警事件的事件信息时，利用接收到的事件信息查询匹配的轨迹数据。其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳。

例如，若事件信息中包括目标人脸图像，则S2210可以利用事件信息中包括的目标人脸图像，在人脸数据库中进行身份查询，并利用身份信息的查询结果、以及基于身份信息创建的报警事件与轨迹数据的关联索引，查询匹配的轨迹数据。再例如，若事件信息中包括母包体态信息和目标事件区间，则S2210可以利用事件信息中包括的目标体态信息和目标时间区间、以及基于体态信息和全局同步时间戳创建的报警事件与轨迹数据的关联索引，查询匹配的轨迹数据。又例如，若事件信息中包括越界事件对应的界限标识和目标时间区间，则S2210可以利用事件信息中包括的越界事件对应的界限标识和目标时间区间、以及基于界限标识和全局同步时间戳创建的报警事件与轨迹数据的关联索引，查询匹配的轨迹数据。

S2230：利用查询到的轨迹数据，在录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

基于上述如图21和图22所示的流程，可以将报警事件与轨迹数据关联，以使基于轨迹的回放检索能够支持以报警信息为检索条件。

前述实施例中的录像索引生成方法和录像回放检索方法，也可以呈现为模块化的装置。下文中将对这样的装置进行说明。

图23为用于如图1所示监控***中的录像设备实现录像回放的录像索引生成装置的模块化结构示意图；图24为用于如图1所示监控***中的录像设备实现录像回放的录像回放检索装置的模块化结构示意图；图25为如图23所示录像索引生成装置和如图24所示回放检索装置的模块集成化示意图。

请参见图23并同时结合图25，该实施例中的录像索引生成装置可以包括码流管理模块2310、数据解码模块2320、轨迹检测模块2330、数据管理模块2340以及回放管理模块2350。

码流管理模块2310用于获取至少一个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据。

作为一种可选的情况，码流管理模块2310可以获取从至少一个视频通道实时接收到的码流(实时码流)，并且实时接收到的码流可以分派给录像设备中运行的录像存储模块2410，以供录像存储模块利用码流在录像设备的磁盘介质2400中存储单通道录像文件；作为另一种可选的情况，码流管理模块2310也可以响应于接收到的回放指令，从存储的单通道录像文件(录像存储模块2410利用码流在录像设备的磁盘介质2400中存储的单通道录像文件)中获取至少一个视频通道的码流(历史码流)。

数据解码模块2320用于从码流管理模块2310获取的码流中解码得到每个视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、以及所属视频通道的前端摄像机为视频帧分配的全局同步时间戳，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标；

轨迹检测模块2330用于利用解码得到的每个视频通道的帧数据中的全局同步时间戳和空间位置坐标，检测目标对象的坐标融合轨迹。

例如，当视频通道为至少两个时，轨迹检测模块2330可以包括帧同步子模块2331和轨迹融合子模块2332，其中：

帧同步子模块2331可以用于利用帧数据中的全局同步时间戳，对各视频通道的帧数据进行时间同步排序；

轨迹融合子模块2332可以用于利用帧数据中进一步为空间位置坐标对应设置的单机目标标识，在每个视频通道的帧数据中识别同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹；

当从至少两个视频通道的数据帧中识别出单通道轨迹时，轨迹融合子模块2332还可以进一步用于检测在不同视频通道的帧数据中识别出的单通道轨迹之间的衔接关联；以及，将存在衔接关联的至少两条单通道轨迹的组合确定为同一目标对象的坐标融合轨迹，并且，将与其他单通道轨迹不存在衔接关联的每条单通道轨迹逐一确定为同一目标对象的坐标融合轨迹。并且，轨迹融合子模块2332可以按照如图10所示的原理执行交叠判决机制、按照如图16所示的原理执行混淆处理机制、以及按照如图17所示的原理执行补缺判决机制。

数据管理模块2340用于从轨迹融合子模块2332检测到的坐标融合轨迹的帧数据中，记录坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳。作为进一步优化的可选方案，每条坐标融合轨迹的轨迹数据中也可以进一步包括该坐标融合轨迹经过的每个空间位置坐标、以及帧数据中为该坐标融合轨迹经过的每个空间位置对应记录的图像位置坐标。并且，当轨迹融合子模块2332按照如图10所示的原理执行交叠判决机制时，数据管理模块2340可以参照如图11至图14所示的原理实现轨迹数据的筛选；当轨迹融合子模块2332按照如图17所示的原理执行补缺判决机制时，数据管理模块2340可以如图17所示原理中的方式进行数据补缺。

回放管理模块2350用于利用记录的轨迹数据创建录像索引，录像索引可以包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

请参见图24并结合图25，该实施例中的录像回放检索装置可以包括数据管理模块2340、回放管理模块2350、检索触发模块2350以及录像检索模块2360。

检索触发模块2350用于检测外部输入的回放指令。

录像检索模块2360用于响应于回放指令，产生定位轨迹数据的查询指令。

数据管理模块2340用于搜素查询指令对应的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳。

回放管理模块2350用于利用查询到的轨迹数据(经由录像检索模块2360从数据管理模块2340接收、并传递至回放管理模块2350)，在录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

当在录像索引中定位录像文件在磁盘介质中的存储位置后，回放管理模块2350可以调用对应的单通道录像文件(调用过程可以与如图7所示的流程大致相同)、并以码流(历史码流)方式发送至录像设备的视频解码模块2420(其也可以与数据解码模块2320集成为同一解码模块)。

基于上述结构，如图23所示的录像索引生成装置可以从视频通道的帧数据中检测出目标对象的坐标融合轨迹，由于坐标融合轨迹是利用不局限于单视频通道的全局同步时间戳和空间位置坐标确定的，因而检测出的坐标融合轨迹可以反应出目标对象在其实际经过的所有拍摄区域的移动路径，从而，基于利用坐标融合轨迹的轨迹数据创建的录像索引，如图24所示的录像回放检索装置可以实现基于轨迹的回放检索，即，通过通道标识和全局同步时间戳串联定位目标对象在其实际经过的所有拍摄区域的录像片段，支持目标对象在其实际经过的所有拍摄区域的录像片段被连续回放，进而有助于提高基于多视频通道的录像回放效率。

若数据管理模块2340记录的每条坐标融合轨迹的轨迹数据进一步包括该坐标融合轨迹经过的每个空间位置坐标、以及该空间位置坐标所属帧数据中进一步为空间位置坐标对应设置的图像位置坐标，则，数据管理模块2340可以进一步用于创建用于利用轨迹数据中的通道标识、全局同步时间戳以及图像位置坐标为查询条件而定位轨迹数据的轨迹索引。相应地，在任意单通道录像文件被播放的期间内，响应于检索触发模块2350在播放窗口内检测到的表示回放指令的人机交互操作，录像检索模块2360可以利用当前播放的单通道录像文件的通道标识、检测到人机交互操作的图像位置坐标、以及检测到人机交互操作时的视频帧对应的全局同步时间戳，产生查询指令，并从数据管理模块2340查询匹配的轨迹数据。

从而，可以通过回放人员在播放窗口内检测到的人机交互操作(例如鼠标点击操作)，实时触发基于轨迹的录像检索，以产生高响应速度的录像回放检索。

图26为如图23所示录像索引生成装置引入事件关联机制的扩展结构示意图；图27为如图26所示录像索引生成装置和如图24所示回放检索装置的模块集成化示意图。请在参见图26的同时参见图27，录像索引生成装置可以进一步包括报警关联模块2380，用于响应于任意一个视频通道对应的报警事件，利用该视频通道的通道标识、以及报警信息携带的全局同步时间戳查询匹配的轨迹数据(向数据管理模块2340查询)；当查询到与报警事件匹配的轨迹数据时，创建报警事件与轨迹数据的关联索引(存入数据管理模块2340)，其中，关联索引中包括用于定位轨迹数据的事件信息。

报警管理模块2380可以响应的报警事件的类型，参照前文提及的人脸抓拍、人体事件、越界事件等相关描述，此处不再赘述。相应地，当回放指令中包含上述几种类型的报警事件的事件信息时，录像检索模块也可以根据这些信息产生查询指令，以使数据管理模块2340可以利用接收到的事件信息查询匹配的轨迹数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种录像索引生成方法，其特征在于，包括：

获取至少两个视频通道的用于生成单通道录像文件的码流，其中，每个视频通道的码流中的视频帧包含视频图像和帧数据；

从获取的码流中解码得到每个视频通道的帧数据，其中，帧数据中包括视频帧所属视频通道的通道标识、所属视频通道的前端摄像机为视频帧分配的全局同步时间戳、以及为空间位置坐标对应设置的单机目标标识，并且，当视频帧中包含目标对象时，帧数据中还包括视频帧所属视频通道的前端摄像机利用采集到的深度信息确定的目标对象的空间位置坐标；

利用解码得到的每个视频通道的帧数据中的全局同步时间戳，对每个视频通道的帧数据进行时间同步排序；

利用单机目标标识，在每个视频通道的帧数据中识别同一目标对象的空间位置坐标沿时间同步排序的单通道轨迹；

当从至少两个视频通道的数据帧中识别出单通道轨迹时，将在不同视频通道的帧数据中识别出的首尾交叠的单通道轨迹确定为存在衔接关联，首尾交叠的单通道轨迹的首尾端部包含坐标值相同、且对应相同全局同步时间戳的空间位置坐标；

将存在衔接关联的单通道轨迹的组合确定为同一目标对象的坐标融合轨迹，并且，将与其他单通道轨迹不存在衔接关联的每条单通道轨迹逐一确定为同一目标对象的坐标融合轨迹；

记录坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据中的通道标识和全局同步时间戳；

利用记录的轨迹数据创建录像索引，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在对应的单通道录像文件中的时间区间的全局同步时间戳。

2.根据权利要求1所述的录像索引生成方法，其特征在于，将两两首尾交叠的至少两条单通道轨迹确定为具有衔接关联的单通道轨迹之前，检测在不同视频通道的帧数据中识别出的单通道轨迹之间的衔接关联进一步包括：

当检测到多于两条单通道轨迹在坐标值相同并且对应相同全局同步时间戳的空间位置坐标形成交叠混淆时，基于轨迹趋势的匹配，对多于两条单通道轨迹之间的首尾交叠进行去混淆处理，以得到在坐标值相同并且对应相同全局同步时间戳的空间位置坐标两两首尾交叠的单通道轨迹。

3.根据权利要求1所述的录像索引生成方法，其特征在于，当至少两条单通道轨迹具有两两首尾交叠的衔接关联时，记录检测到的坐标融合轨迹的轨迹数据包括：

对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选；

利用每条单通道轨迹在非交叠区域的帧数据、以及在交叠区域通过择一筛选而被选定的帧数据，生成坐标融合轨迹的轨迹数据。

4.根据权利要求3所述的录像索引生成方法，其特征在于，对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选包括：

根据为至少两个视频通道预先设定的通道竞争优先级，确定不同视频通道的单通道轨迹在交叠区域的分割比例，其中，通道竞争优先级是根据视频通道对应的成像环境等级确定的；

按照确定的分割比例，在交叠区域对不同视频通道的单通道轨迹中的帧数据进行分段择一选定。

5.根据权利要求3所述的录像索引生成方法，其特征在于，对不同视频通道的单通道轨迹在交叠区域的帧数据进行择一筛选包括：

根据空间位置坐标响应于时间的坐标值变化幅度，估算不同视频通道的单通道轨迹对应的目标移动速度；

根据估算的目标移动速度，确定不同视频通道的单通道轨迹在交叠区域的分割比例；

按照确定的分割比例，在交叠区域对不同视频通道的单通道轨迹中的帧数据进行分段择一选定。

6.根据权利要求3所述的录像索引生成方法，其特征在于，当至少两条单通道轨迹具有两两首尾交叠的衔接关联时，记录检测到的坐标融合轨迹的轨迹数据进一步包括：

将在交叠区域的帧数据被弃选的单通道轨迹所属视频通道的通道标识，在轨迹数据中记录为表示在画中画子窗口呈现的附属通道标识。

7.根据权利要求1所述的录像索引生成方法，其特征在于，识别每个单通道轨迹之间的首尾交叠之后，检测在不同视频通道的帧数据中识别出的单通道轨迹之间的衔接关联进一步包括：

检测未识别出首尾交叠的每个单通道轨迹之间的断点持续时长；

对于断点持续时长小于预设阈值的每两条单通道轨迹，基于对轨迹趋势的延展预测进行单通道轨迹之间在断点处的轨迹匹配；

将轨迹趋势在断点处两两匹配的至少两条单通道轨迹确定为具有衔接关联的单通道轨迹。

8.根据权利要求1所述的录像索引生成方法，其特征在于，每条坐标融合轨迹的轨迹数据进一步包括该坐标融合轨迹经过的每个空间位置坐标、以及该空间位置坐标所属帧数据中进一步为空间位置坐标对应设置的图像位置坐标，并且，记录检测到的坐标融合轨迹的轨迹数据之后，进一步包括：

创建用于利用轨迹数据中的通道标识、全局同步时间戳以及图像位置坐标为查询条件而定位轨迹数据的轨迹索引。

9.根据权利要求1所述的录像索引生成方法，其特征在于，记录检测到的坐标融合轨迹的轨迹数据之后，进一步包括：

响应于任意一个视频通道对应的报警事件，利用该视频通道的通道标识、以及报警信息携带的全局同步时间戳查询匹配的轨迹数据；

当查询到与报警事件匹配的轨迹数据时，创建报警事件与轨迹数据的关联索引，其中，关联索引中包括用于定位轨迹数据的事件信息。

10.一种录像回放检索方法，其特征在于，包括：

响应于回放指令，查询指定坐标融合轨迹的轨迹数据，其中，每条坐标融合轨迹的轨迹数据包括该坐标融合轨迹经过的每个空间位置坐标所属帧数据的通道标识和全局同步时间戳；

利用查询到的轨迹数据，在根据权利要求1至9中任一项所述的录像索引生成方法创建的录像索引中定位录像文件在磁盘介质中的存储位置，其中，录像索引包括用于定位坐标融合轨迹对应的目标录像片段所属单通道录像文件的通道标识、以及用于定位目标录像片段在单通道录像文件中的时间区间的全局同步时间戳。

11.根据权利要求10所述的录像回放检索方法，其特征在于，响应于回放指令，查询指定坐标融合轨迹的轨迹数据包括：

在任意单通道录像文件被播放的期间内，响应于在播放窗口内检测到的表示回放指令的人机交互操作，利用当前播放的单通道录像文件的通道标识、检测到人机交互操作的图像位置坐标、以及检测到人机交互操作时的视频帧对应的全局同步时间戳，查询匹配的轨迹数据。

12.根据权利要求10所述的录像回放检索方法，其特征在于，响应于回放指令，查询指定坐标融合轨迹的轨迹数据包括：

当接收到的回放指令中携带对应指定报警事件的事件信息时，利用接收到的事件信息查询匹配的轨迹数据。

13.一种智能录像设备，其特征在于，包括：

网络通讯模组，用于接收至少两个视频通道的码流；

磁盘介质，用于存储利用码流生成的单通道录像文件；

处理器，用于执行如权利要求1至9中任一项所述的录像索引生成方法、或如权利要求10至12中任一项所述的录像回放检索方法。

14.一种智能分析设备，其特征在于，包括：

通讯接口模组，用于接收至少两个视频通道的码流；

处理器，用于执行如权利要求1至9中任一项所述的录像索引生成方法。

15.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至9中任一项所述的录像索引生成方法、或如权利要求10至12中任一项所述的录像回放检索方法中的至少之一。

Images