CN114387311B - Lkj文件与机车视频自动对时方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种LKJ文件与机车视频自动对时方法、装置和计算机设备。所述方法包括：获取机车视频，并计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；对于每一相邻图像帧，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度；对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；根据目标图像帧，将机车视频与LKJ文件进行对时。采用本方法能够将机车视频与LKJ文件进行自动对时。

Description

LKJ文件与机车视频自动对时方法、装置和计算机设备

技术领域

本申请涉及图像分析技术领域，特别是涉及一种LKJ文件与机车视频自动对时方法、装置和计算机设备。

背景技术

在机车行车过程中，机车视频监控主机通过视频的方式录取机车的运行路况以及乘务员的行为动作等信息。同时，列车的LKJ(列车运行监控记录装置)能够记录列车的运行状况，并将记录的数据形成LKJ文件。在对机车视频监控主机的机车视频文件进行分析过程中，要求机车视频的时间和LKJ文件的时间同步，如此才能准确判断LKJ记录的数据与机车视频之间的关系。但实际情况中，机车视频监控主机由于通信故障、设备故障等，时常获取不到LKJ文件的时间，导致机车视频的时间与LKJ的时间完全不同步。

现有方法中，利用图像OCR技术，提取机车视频上的文字信息，文字信息一般有机车速度、公里标、车次等，然后根据公里标、车次与LKJ文件中的公里标、车次同步，实现机车视频的时间与LKJ文件的时间自动同步。

然而，经发明人研究发现，现有方法中，在机车视频没有文字信息的情况下无法实现机车视频的时间与LKJ文件的时间自动同步。

发明内容

基于此，有必要针对上述技术问题，提供一种LKJ文件与机车视频自动对时方法、装置和计算机设备。

第一方面，本申请提供了一种LKJ文件与机车视频自动对时方法。所述方法包括：

获取机车视频，并计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；

对于每一相邻图像帧，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度；

对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；

根据目标图像帧，将机车视频与LKJ文件进行对时。

在其中一个实施例中，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度的步骤，包括：

将多个光流强度分别与阈值做比较；

根据比较的结果，统计光流强度超过阈值的像素点的数量，并以该数量作为相邻图像帧之间的运动强度。

在其中一个实施例中，对各运动强度进行分类的步骤，包括：

对各运动强度取对数，并对取对数后的多个运动强度进行聚类；

根据聚类的结果，对各运动强度进行分类。

在其中一个实施例中，对各运动强度取对数的步骤之前，包括：

对于每一运动强度，若运动强度为0，则将运动强度更新为1。

在其中一个实施例中，计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度的步骤，包括：

去除机车视频中每一图像帧的噪声，得到去噪视频；

对于去噪视频中每一相邻图像帧，计算去噪视频中相邻图像帧在多个相同像素点位置上的光流强度。

在其中一个实施例中，根据目标图像帧，将机车视频与LKJ文件进行对时的步骤，包括：

获取LKJ文件，并对LKJ文件进行解析；

根据解析的结果，提取目标时间段；目标时间段包括启动时刻；

将目标图像帧对应的时刻与目标时间段中的启动时刻对齐，以对机车视频与LKJ文件进行对时。

第二方面，本申请还提供了一种LKJ文件与机车视频自动对时装置。所述装置包括：

光流计算模块，用于获取机车视频，并计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；

强度确定模块，用于对于每一相邻图像帧，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度；

得分确定模块，用于对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

目标帧确定模块，用于根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；

对时模块，用于根据目标图像帧，将机车视频与LKJ文件进行对时。

第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

上述LKJ文件与机车视频自动对时方法、装置和计算机设备，获取机车视频，其中，机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；可以计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；并根据每一相邻图像帧对应的多个光流强度，确定该相邻图像帧之间的运动强度；通过对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；其中，相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；可以根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；根据目标图像帧，将机车视频与LKJ文件进行对时。如此，可根据光流强度确定每一图像帧之间的运动强度，再根据运动强度确定最优分隔，以得到在机车启动时刻下的目标图像帧，从而可以得到机车视频中机车的启动时刻，从而可以根据该时刻将机车视频与LKJ文件进行自动对时。

附图说明

图1为一个实施例中LKJ文件与机车视频自动对时方法的流程示意图；

图2为一个实施例中根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度的步骤的流程示意图；

图3为一个实施例中对各运动强度进行分类的步骤的流程示意图；

图4为一个实施例中根据目标图像帧，将机车视频与LKJ文件进行对时的步骤的流程示意图；

图5为一个具体的实施例中LKJ文件与机车视频自动对时方法的另一流程示意图；

图6为一个实施例中LKJ文件与机车视频自动对时装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在当前机车视频应用方面，由机车视频装置录取乘务员行车过程场景，待乘务员退勤后，有专业分析人员对视频进行分析，以确认乘务员在行车过程中是否有违规行为，如玩手机、打瞌睡、未按照要求手比眼看等。但分析过程必须以LKJ文件的数据为基础且同步进行分析，才能得出正确的分析结果。当前处理流程如下：

1)机车入库，乘务员将LKJ文件，以及管理人员将机车视频文件分别进行转储于地面服务器；

2)视频分析人员调用对乘务员行为进行录取的机车视频和LKJ文件，并对乘务员进行行车分析，通过人工将LKJ文件和机车视频文件同步在一台电脑上播放方式分析，或者从机车视频上找到一些关键点、再去LKJ文件获取发生关键点的时间进行对比分析，得出分析结果。

从上述流程看出，机车视频分析要求机车视频时间和LKJ文件时间同步，这样才能准确判断LKJ文件的数据与视频之间的关系。但实际情况中，车载视频监控主机由于通信故障、设备故障等原因，时常获取不到LKJ文件时间，导致视频时间与LKJ时间完全不同步。即视频监控主机并未使用LKJ的时钟。该缺陷导致视频分析时，需要通过分析人员经验根据机车路况视频及LKJ文件才能将二者同步。

在当前在LKJ文件和机车视频文件同步分析的方法中，利用图像OCR技术，提取视频上的文字信息，视频文字信息一般有机车速度、公里标、车次等，然后根据公里标、车次与LKJ文件中的公里标、车次同步，实现视频与LKJ文件自动对齐。但是该方法对于视频监控主机与LKJ设备通信异常，视频无字幕叠加的情况下，就无法通过OCR技术进行字符抓去，从而无法实现自动对时。实际情况是大部分的不同步都是由于视频监控主机和LKJ设备通信异常造成。所以该技术并不能解决部分原因造成的LKJ文件和视频不同步问题。

为解决前述问题，本申请提供了一种LKJ文件与机车视频自动对时方法、装置和计算机设备。本申请可以通过机车运行路况的机车视频与LKJ文件进行自动对时，从而可以将视频监控主机中的所有机车视频均与LKJ文件自动对时。

在一个实施例中，如图1所示，提供了一种LKJ文件与机车视频自动对时方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤S102，获取机车视频，并计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度。

其中，机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧。

其中，机车视频可以为对机车的运行路况进行录像得到的路况视频的其中一段视频，机车视频的内容包括机车启动的过程。提取机车视频中的图像帧序列，可以得到连续的相邻图像帧。光流强度为视频图像中的同一像素点从前一帧图像移动到下一帧图像的移动量，光流强度一般由光流算法计算得到，光流算法包括HS光流法、Lucas-Kanada算法和Pyramidal LK算法；可以理解的是，在机车视频中，前景和背景相对运动时，视频图像中会产生光流。

具体地，获取机车视频，通过光流算法计算该机车视频的相邻图像帧中多个相同的像素点的光流强度。

在一个具体的实施例中，在机车速度发生变化时，机车视频装置的路况摄像头拍摄的物体将产生相对位移，因此可计算机车视频的图像像素点的光流。但由于机车速度变化相对较大，利用Lucas-Kanade算法会造成较大的误差，为减小误差，可以利用Jean-YvesBouguset提出的一种基于金字塔分层的光流算法(即Pyramidal LK算法)，来计算相邻图像帧中多个相同的像素点的光流强度

步骤S104，对于每一相邻图像帧，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度。

其中，每一相邻图像帧之间的运动强度会有所不同。例如，当机车在高速移动的过程中，相邻图像帧之间的运动强度较高；当机车视频中仅有施工人员走动而机车处于停止状态时，相邻图像帧之间的运动强度较低(包括运动强度为0)。

具体地，对于每一相邻图像帧，具有多个相同像素点计算得到的多个光流强度，可根据每一相邻图像帧的多个光流强度确定该相邻图像帧之间的运动强度。

步骤S106，对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分。

其中，相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；可以理解，除机车视频开始时刻的图像帧和结束时刻的图像帧以外，机车视频的每一图像帧均对应两个运动强度，这两个运动强度为相邻两个运动强度。相邻两个运动强度之间的分隔得分为相邻两个运动强度之间分隔的得分；这两个运动强度之间的分隔即为对应于这两个运动强度的机车视频的图像帧。

具体地，可以根据运动强度的相似度高低进行分类；作为一个示例，相似度高可以运动强度的数值相近。对分类后的各运动强度，根据各运动强度的类型以及分隔算法，计算相邻两个运动强度的分隔得分。

在一个具体的实施例中，运动强度的类型包括高强度和低强度。将各运动强度的类型确定为高强度或低强度，并将类型为高强度的运动强度置为1，类型为低强度的运动强度置为0，并根据以下表达式(1)计算相邻两个运动强度之间的分隔得分：

S＝A+B-C-D (1)

其中，S为分隔得分；A为在该分隔之前，类型为低强度的运动强度的个数，即该分隔之前0的个数；B为在该分隔之后，类型为高强度的运动强度的个数，即该分隔之后1的个数；C为在该分隔之前，类型为高强度的运动强度的个数，即该分隔之前1的个数；D为在该分隔之后，类型为低强度的运动强度的个数，即该分隔之后0的个数。

步骤S108，根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；

具体地，根据计算得到的各分隔得分，确定最优分隔；并根据最优分隔确定目标图像帧。

在一个具体的实施例中，将数值最大的分隔得分对应的分割确定为最优分隔，并将该最优分隔对应的机车视频的图像帧确定为目标图像帧。

步骤S110，根据目标图像帧，将机车视频与LKJ文件进行对时。

其中，目标图像帧为机车在启动时刻下的图像帧，LKJ文件包括时间轴，该时间轴上的时间包括该启动时刻。

具体地，可以提取LKJ文件的时间轴，并将LKJ文件中时间轴上机车的该启动时刻对齐目标图像帧，以得到同步的机车视频和LKJ文件。

进一步地，机车视频为对机车的运行路况进行录像得到的路况视频的其中一段视频；可以根据同步后的机车视频与LKJ文件，将完整的路况视频与LKJ文件进行同步；

进一步地，对乘务员的行为动作进行录像得到的行为视频与路况视频连接于同一机车视频监控主机，可以根据同步后的路况视频与LKJ文件，将行为视频与LKJ文件进行同步；从而可以根据LKJ文件中的数据对乘务员是否违规进行分析。

本实施例中，获取机车视频，其中，机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；可以计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；并根据每一相邻图像帧对应的多个光流强度，确定该相邻图像帧之间的运动强度；通过对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；其中，相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；可以根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；根据目标图像帧，将机车视频与LKJ文件进行对时。如此，可根据光流强度确定每一图像帧之间的运动强度，再根据运动强度确定最优分隔，以得到在机车启动时刻下的目标图像帧，从而可以得到机车视频中机车的启动时刻，从而可以根据该时刻将机车视频与LKJ文件进行自动对时。

在一个实施例中，如图2所示，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度的步骤，包括：

步骤S202，将多个光流强度分别与阈值做比较；

步骤S204，根据比较的结果，统计光流强度超过阈值的像素点的数量，并以该数量作为相邻图像帧之间的运动强度。

其中，阈值可以根据实际机车运行时视频的图像帧的光流强度来进行设置；机车在停止状态下，机车视频中可能存在移动的物体，在该物体移动的时刻下的图像帧，相邻图像帧之间的多个光流强度可能超过阈值；光流强度超过阈值为光流强度大于阈值，光流强度小于或等于阈值为光流强度不超过阈值。

具体地，每一相邻图像帧包括多个光流强度，将每一图像帧的多个光流强度分别与预设的阈值做比较，得到各光流强度和阈值的比较结果。根据每一相邻图像帧中各光流强度和阈值的比较结果，统计光流强度大于阈值的像素点的数量，并以该数量做为该相邻图像帧的运动强度。可以理解，相邻图像帧之间的运动强度可能为0。

本实施例中，将光流强度超过阈值的像素点的数量作为相邻图像帧之间的运动强度，可更直观地反映相邻图像帧之间的运动强度。同时，更加准确地反映运动强度，从而可以得到更准确地确定目标图像帧，从而提高对时的准确性。

在一个实施例中，如图3所示，对各运动强度进行分类的步骤，包括：

步骤S302，对各运动强度取对数，并对取对数后的多个运动强度进行聚类；

步骤S304，根据聚类的结果，对各运动强度进行分类。

其中，聚类为一种处理数据的算法，聚类算法包括K-Means聚类算法、均值偏移聚类算法、K-Means++聚类算法。

具体地，对各相邻图像帧之间的运动强度取对数，将取对数之后的多个运动强度进行聚类，得到聚类的结果。根据聚类的结果，可将各运动强度分类，可以进一步确定各运动强度的类型。

在一个具体的实施例中，对各运动强度取对数，利用K-Means聚类算法对取对数后的多个运动强度进行聚类，根据聚类的结果，将多个运动强度分为高强度和低强度两类。

本实施例中，对各运动强度进行取对数，可以更准确地进行聚类，并且进行聚类可更简单边界地进行分类，从而可提高定位目标图像帧的准确性，从而进一步提高对时的准确性。

在一个实施例中，对各运动强度取对数的步骤之前，包括：对于每一运动强度，若运动强度为0，则将运动强度更新为1。

具体地，相邻图像帧之间的运动强度可能为0，在运动强度为0的情况下，不能进行取对数，因此可能在取对数时产生错误，对聚类后分类的结果造成偏差。

若运动强度为0，则将运动强度更新为1，将更新为1后的运动强度进行取对数，可减少聚类后分类的误差。

在一个实施例中，计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度的步骤，包括：

去除机车视频中每一图像帧的噪声，得到去噪视频；

对于去噪视频中每一相邻图像帧，计算去噪视频中相邻图像帧在多个相同像素点位置上的光流强度。

具体地，机车视频的每一图像帧可能存在噪声，去除机车视频中每一图像帧，可以得到去除噪声后的机车视频。计算去除噪声后的机车视频中每一相邻图像帧之间多个相同像素点的光流强度。

在一个实施例中，如图4所示，根据目标图像帧，将机车视频与LKJ文件进行对时的步骤，包括：

步骤S402，获取LKJ文件，并对LKJ文件进行解析；

步骤S404，根据解析的结果，提取目标时间段；目标时间段包括启动时刻；

步骤S406，将目标图像帧对应的时刻与目标时间段中的启动时刻对齐，以对机车视频与LKJ文件进行对时。

其中，LKJ文件为与机车视频同一车次以及同一运行时间的LKJ记录的数据所形成的文件。目标时间段包括机车视频中机车的启动时刻，机车的启动时刻为目标图像帧对应的时刻；若机车的启动时刻有多个，则目标时间段包括机车视频中得到的目标图像帧所对应的时刻。

具体地，获取与机车视频同一车次以及同一运行时间的LKJ文件，对LKJ文件进行解析。根据解析LKJ文件的结果，提取包括目标图像帧所对应的时刻的目标时间段。将目标图像帧对应的时刻与目标时间段中的启动时刻对齐，从而可以将机车视频和LKJ文件进行对时。

在一个具体的实施例中，如图5所示，LKJ文件与机车视频自动对时方法包括以下步骤：

步骤S501，获取机车视频，去除机车视频中每一图像帧的噪声，得到去噪视频；机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；

步骤S502，对于去噪视频中每一相邻图像帧，利用Pyramidal LK算法，计算去噪视频中相邻图像帧在多个相同像素点位置上的光流强度；

步骤S503，对于每一相邻图像帧，将多个光流强度分别与阈值做比较；并根据比较的结果，统计光流强度超过阈值的像素点的数量，并以该数量作为相邻图像帧之间的运动强度；

步骤S504，对于每一运动强度，若运动强度为0，则将运动强度更新为1；

步骤S505，对各运动强度取对数，并对取对数后的多个运动强度进行聚类；并根据聚类的结果，对各运动强度进行分类，将额运动强度分到高强度和低强度中；

步骤S506，将各运动强度的类型确定为高强度或低强度，并将类型为高强度的运动强度置为1，类型为低强度的运动强度置为0，并根据表达式(1)计算相邻两个运动强度之间的分隔得分；相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

步骤S507，将数值最大的分隔得分对应的分割确定为最优分隔，并将该最优分隔对应的机车视频的图像帧确定为目标图像帧；

步骤S508，获取LKJ文件，并对LKJ文件进行解析；根据解析的结果，提取目标时间段；目标时间段包括启动时刻；

步骤S509，将目标图像帧对应的时刻与目标时间段中的启动时刻对齐，以对机车视频与LKJ文件进行对时。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的LKJ文件与机车视频自动对时方法的LKJ文件与机车视频自动对时装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个LKJ文件与机车视频自动对时装置实施例中的具体限定可以参见上文中对于LKJ文件与机车视频自动对时方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种LKJ文件与机车视频自动对时装置，包括：光流计算模块610、强度确定模块620、得分确定模块630、目标帧确定模块640和对时模块650，其中：

光流计算模块610用于获取机车视频，并计算机车视频中相邻图像帧在多个相同像素点位置上的光流强度；机车视频包括目标图像帧，目标图像帧为机车在启动时刻下的图像帧；

强度确定模块620用于对于每一相邻图像帧，根据相邻图像帧对应的多个光流强度，确定相邻图像帧之间的运动强度；

得分确定模块630用于对各运动强度进行分类，并根据各运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；相邻两个运动强度为除机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

目标帧确定模块640用于根据分隔得分确定最优分隔，并根据最优分割确定目标图像帧；

对时模块650用于根据目标图像帧，将机车视频与LKJ文件进行对时。

在一个实施例中，强度确定模块620包括阈值比较单元和统计单元。

阈值比较单元用于将多个光流强度分别与阈值做比较；

统计单元用于根据比较的结果，统计光流强度超过阈值的像素点的数量，并以该数量作为相邻图像帧之间的运动强度。

在一个实施例中，得分确定模块630包括对数单元、聚类单元和分类单元；

对数单元用于对各运动强度取对数；

聚类单元用于对取对数后的多个运动强度进行聚类；

分类单元用于根据聚类的结果，对各运动强度进行分类。

在一个实施例中，光流计算模块610包括去噪单元和光流单元；

去噪单元用于去除机车视频中每一图像帧的噪声，得到去噪视频；

光流单元用于对于去噪视频中每一相邻图像帧，计算去噪视频中相邻图像帧在多个相同像素点位置上的光流强度。

在一个实施例中，对时模块650包括文件获取单元、解析单元、时间提取单元和同步单元；

文件获取单元用于获取LKJ文件；

解析单元用于对LKJ文件进行解析；

时间提取单元用于根据解析的结果，提取目标时间段；目标时间段包括启动时刻；

同步单元用于将目标图像帧对应的时刻与目标时间段中的启动时刻对齐，以对机车视频与LKJ文件进行对时。

上述LKJ文件与机车视频自动对时装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储机车视频、LKJ文件等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种LKJ文件与机车视频自动对时方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种LKJ文件与机车视频自动对时方法，其特征在于，所述方法包括：

获取机车视频，并计算所述机车视频中相邻图像帧在多个相同像素点位置上的光流强度；所述机车视频包括目标图像帧，所述目标图像帧为机车在启动时刻下的图像帧；

对于每一所述相邻图像帧，根据所述相邻图像帧对应的多个所述光流强度，确定所述相邻图像帧之间的运动强度；

对各所述运动强度进行分类，并根据各所述运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；所述相邻两个运动强度为除所述机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

根据所述分隔得分确定最优分隔，并根据所述最优分隔确定所述目标图像帧；

根据所述目标图像帧，将所述机车视频与LKJ文件进行对时。

2.根据权利要求1所述的方法，其特征在于，根据所述相邻图像帧对应的多个所述光流强度，确定所述相邻图像帧之间的运动强度的步骤，包括：

将多个所述光流强度分别与阈值做比较；

根据所述比较的结果，统计光流强度超过阈值的像素点的数量，并以所述数量作为所述相邻图像帧之间的运动强度。

3.根据权利要求1所述的方法，其特征在于，对各运动强度进行分类的步骤，包括：

对各所述运动强度取对数，并对取对数后的多个运动强度进行聚类；

根据所述聚类的结果，对各所述运动强度进行分类。

4.根据权利要求3所述的方法，其特征在于，对各所述运动强度取对数的步骤之前，包括：

对于每一运动强度，若所述运动强度为0，则将所述运动强度更新为1。

5.根据权利要求1所述的方法，其特征在于，计算所述机车视频中相邻图像帧在多个相同像素点位置上的光流强度的步骤，包括：

去除所述机车视频中每一图像帧的噪声，得到去噪视频；

对于所述去噪视频中每一相邻图像帧，计算所述去噪视频中相邻图像帧在多个相同像素点位置上的光流强度。

6.根据权利要求1所述的方法，其特征在于，根据所述目标图像帧，将所述机车视频与LKJ文件进行对时的步骤，包括：

获取所述LKJ文件，并对所述LKJ文件进行解析；

根据所述解析的结果，提取目标时间段；所述目标时间段包括所述启动时刻；

将所述目标图像帧对应的时刻与所述目标时间段中的启动时刻对齐，以对所述机车视频与LKJ文件进行对时。

7.一种LKJ文件与机车视频自动对时装置，其特征在于，所述装置包括：

光流计算模块，用于获取机车视频，并计算所述机车视频中相邻图像帧在多个相同像素点位置上的光流强度；所述机车视频包括目标图像帧，所述目标图像帧为机车在启动时刻下的图像帧；

强度确定模块，用于对于每一所述相邻图像帧，根据所述相邻图像帧对应的多个所述光流强度，确定所述相邻图像帧之间的运动强度；

得分确定模块，用于对各所述运动强度进行分类，并根据各所述运动强度的类型和分隔算法，确定相邻两个运动强度之间的分隔得分；所述相邻两个运动强度为除所述机车视频开始时刻的图像帧和结束时刻的图像帧以外的每一图像帧所对应的两个运动强度；

目标帧确定模块，用于根据所述分隔得分确定最优分隔，并根据所述最优分隔确定所述目标图像帧；

对时模块，用于根据所述目标图像帧，将所述机车视频与LKJ文件进行对时。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。