CN116363600B - 一种动车组检修作业风险预测方法及*** - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种动车组检修作业风险预测方法及***，包括：采集检修作业实时监控画面；获取每一帧图像的关键点以及危险部位；根据关键点以及危险部位之间的欧式距离获取危险程度以及危险系数，构建危险程度的时间序列以及危险系数的时间序列，进一步得到多段行为序列；根据每段行为序列的危险系数差值的累加和以及危险系数变化速度获取平滑参数基础值，根据危险程度差值获取平滑参数调整值；根据平滑参数基础值以及平滑参数调整值获取平滑参数值；将每一帧的平滑参数值作为每一帧的危险程度的权重，对下一帧的危险程度的进行预测；根据预测结果进行风险识别预警。本发明的预测结果更加精准。

Description

一种动车组检修作业风险预测方法及***

技术领域

本发明涉及图像处理技术领域，具体涉及一种动车组检修作业风险预测方法及***。

背景技术

动车组检修作业过程中，作业人员在作业过程由于经验不丰富，自身不注意等原因会做出存在安全风险的行为，如将手伸入闸片等。而由于监管人员的监管并不能完全保证每一个作业人员的行为都能监管到，因此需要一种动车组检修作业风险预测方法，来保证对每一个作业人员的风险行为进行及时的识别并预警，而常规视频监控中，多是对每帧图像中进行显著性主体检测，并进行画面中不同区域的优先传输。

但由于检修作业场景的特殊性，会使得画面中的检修人员的显著性较低，同时无法对检修作业中发生的风险进行预测并识别，因此会将检修人员的危险程度作为特征值，与显著性检测算法进行结合，并最终输出得到人员的显著性。但对于危险程度的预测，现有的预测模型往往只考虑检修人员手部距离危险部位的实际距离来进行判断，因此经常会出现错检或漏检的情况。

发明内容

本发明提供一种动车组检修作业风险预测方法及***，以解决现有的问题。

本发明的一种动车组检修作业风险预测方法采用如下技术方案：

本发明一个实施例提供了一种动车组检修作业风险预测方法，该方法包括以下步骤：

采集动车组检修作业实时监控画面；利用关键点检测算法获取每一帧图像的关键点以及危险部位；根据关键点以及危险部位之间的欧式距离获取危险程度；根据关键点之间的距离构建姿态三角形，根据姿态三角形获取危险系数调整值；根据危险系数调整值以及关键点之间的距离获取危险系数；

根据每一帧的危险程度以及危险系数构建预设长度的危险程度的时间序列以及危险系数的时间序列；

根据危险系数的时间序列中相邻两个元素的差值获取多段行为序列；获取每段行为序列的危险系数差值的累加和以及危险系数变化速度，根据危险系数差值的累加和以及危险系数变化速度获取每一段行为序列的平滑参数基础值；将每段行为序列对应的第一帧与最后一帧的危险程度差值的绝对值作为每段行为序列的平滑参数调整值；根据平滑参数基础值以及平滑参数调整值获取每段行为序列的平滑参数值；根据每段行为序列的平滑参数值获取每一帧的平滑参数值；将每一帧的平滑参数值作为每一帧的危险程度的权重，对所有帧的危险程度进行加权求和得到下一帧的危险程度的预测值；

根据下一帧的危险程度的预测值进行风险识别预警。

优选的，所述根据关键点以及危险部位之间的欧式距离获取危险程度，包括的具体步骤如下：

分别计算左手腕关键点以及右手腕关键点与每个危险部位之间的欧式距离；将左手腕关键点到所有危险部位的欧式距离中，最小的欧式距离的倒数作为左臂的危险程度，将右手腕关键点到所有危险部位的欧式距离中，最小的欧式距离的倒数作为右臂的危险程度。

优选的，所述根据关键点之间的距离构建姿态三角形，包括的具体步骤如下：

将左手腕到左胳膊肘的欧式距离作为左小臂的长度；将左胳膊肘到左肩的欧式距离作为左大臂的长度；将左手腕至左肩的欧式距离作为左手腕至左肩的长度；根据左小臂的长度、左大臂的长度和左手腕至左肩的长度构建左臂的姿态三角形；

将右手腕到右胳膊肘的欧式距离作为右小臂的长度；将右胳膊肘到右肩的欧式距离作为右大臂的长度；将右手腕至右肩的欧式距离作为右手腕至右肩的长度；根据右小臂的长度、右大臂的长度和右手腕至右肩的长度构建右臂的姿态三角形。

优选的，所述根据姿态三角形获取危险系数调整值，包括的具体步骤如下：

计算左肩与右肩之间的欧氏距离作为肩部长度；获取肩部长度与左小臂长度的比值；获取肩部长度与左大臂长度的比值，将肩部长度与左小臂长度的比值和肩部长度与左大臂长度的比值相加，作为左臂的危险系数调整值。

优选的，所述根据危险系数调整值以及关键点之间的距离获取危险系数，包括的具体步骤如下：

第i帧图像中检修人员左臂的危险系数的计算公式为：

其中为第i帧图像中检修人员左臂的危险系数；为第i帧图像中检修人员 左小臂长度；为第i帧图像中检修人员左大臂长度；为第i帧图像中检修人员左手腕 至左肩的长度；为危险系数调整值。

优选的，所述根据危险系数的时间序列中相邻两个元素的差值获取多段行为序列，包括的具体步骤如下：

获取危险系数的时间序列中第二帧与第一帧的危险系数的差值，记录的正负，将作为第一段行为序列中第一个值；

设置差值阈值T，计算危险系数的时间序列中第三帧与第二帧的危险系数差值；当的正负与相同时，或当的正负与不相同 且时，将作为第一段行为序列中第二个值，其中为绝对值符 号；当的正负与不相同，且时，将作为第二段行 为序列中第一个值；

以此类推，根据危险系数的时间序列中包含的所有帧图像的危险系数，划分多段行为序列，每段行为序列包含一个或多个危险系数差值。

优选的，所述获取每段行为序列的危险系数差值的累加和以及危险系数变化速度，包括的具体步骤如下：

将每段行为序列中包含的所有危险系数差值进行累加得到每段行为序列的危险系数差值的累加和；将所述累加和除以每段行为序列中包含的危险系数差值的个数作为每段行为序列的危险系数变化速度。

优选的，所述根据危险系数差值的累加和以及危险系数变化速度获取每一段行为序列的平滑参数基础值，包括的具体步骤如下：

第m段行为序列的平滑参数基础值的计算公式为：

其中为第m段行为序列的平滑参数基础值；为第m段行为序列中所有左臂 危险系数差值的累加和；为第m段行为序列的左臂危险系数变化速度；为归一化 函数；为绝对值符号。

优选的，所述根据平滑参数基础值以及平滑参数调整值获取每段行为序列的平滑参数值，包括的具体步骤如下：

第m段行为序列的平滑参数值的计算公式为：

其中为第m段行为序列的平滑参数值；为第m段行为序列的平滑参数基础 值；为第m段行为序列的平滑参数调整值；为归一化函数，u表示行为序列的数 量。

本发明还提出一种动车组检修作业风险预测***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项一种动车组检修作业风险预测方法的步骤。

本发明的技术方案的有益效果是：SES时序预测模型常规预测思想是，时刻越近，实际值所得到的平滑参数越大，本发明根据动车组检修作业实时监控画面中每一帧画面中的人体关键点来判断每一帧中根据姿态得到的危险系数，并根据连续帧的危险系数变化来进行危险行为的连续预测，最终得到每一帧画面所对应的平滑参数值，与常规算法识别相比，本发明结合动车组检测作业的特殊场景，达到了更加精确真实的预测；常规的显著性检测算法在这一场景下，对于人体的识别效果并不明显，仅仅考虑像素点在欧式颜色空间中之间的距离来进行显著性检测，与识别检修人员是否出现风险这一目的显然不合理，因此通过SES预测算法对人体下一帧中的危险程度进行预测，并根据危险程度输出得到特征图像后，根据归一化算法对两张特征图像进行归一化融合后，使得人体的显著性明显提升，并在监控的画面的传输中达到人体区域优先传输的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种动车组检修作业风险预测方法的步骤流程图；

图2为本发明的拍摄角度示意图；

图3为本发明的姿态三角形。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种动车组检修作业风险预测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种动车组检修作业风险预测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种动车组检修作业风险预测方法的步骤流程图，该方法包括以下步骤：

S001．采集动车组检修作业实时监控画面。

在动车组检修位置上方安置高清相机，相机采集画面内主要内容为车顶检修作业，拍摄角度参见图2，为正面朝向检修作业内容中人体的正确站姿，使得能够拍摄到检修人员的全部姿态，尽可能不要出现遮挡情况。从检修人员开始进行检修作业时，监控***通过相机采集第一帧监控画面并开始进行处理。

S002．获取每一帧图像的关键点以及危险部位，根据关键点以及危险部位获取危险程度。

需要说明的是，检修人员在检修作业过程中，正常的人体姿态，胳膊多为折叠的发力状态，而不是伸手触摸，因此可通过检测人体左右胳膊的关键点信息，对胳膊的姿态进行模型构建，从而通过胳膊是否伸直或折叠以及变化情况，进行对应危险程度的识别。

在本发明实施例中，对监控画面中的每一帧图像中，通过人体关键点检测算法如 OpenPose算法，对图像中的人员进行关键点检测，其中检测关键点分别为左手腕、右手腕、 左胳膊肘、右胳膊肘、左肩、右肩。如第i帧图像检测得到关键点分别命名为，分别对应第帧中的关键点左手腕、右手腕、左胳膊肘、右胳膊肘、左肩、 右肩。需要说明的是，人体关键点检测算法为公知技术，算法采用的训练集为人体关键点训 练集，人体关键点训练集由相关人员提前进行人工标注，算法输入的是包含人体的图像，输 出图像中检测到的人体关键点，此处不做赘述。

同时需对监控画面中的每一帧图像中的危险部位进行标注，具体为：

采用受电弓危险部位训练集对关键点检测算法模型进行训练，其中受电弓危险部 位训练集包含受电弓多角度的照片，由相关人员提前进行人工标注，受电弓的危险部位包 括但不限于如接触网，过渡电阻等部位。将训练完成的模型作为危险部位检测模型，将监控 画面中的每一帧图像输入到危险部位检测模型中，输出监控画面中的每一帧图像中的危险 部位。将每一帧图像中的危险部位用b来表示，例如第i帧图像中第c个危险部位为。

至此，获取了每一帧图像中的左手腕、右手腕、左胳膊肘、右胳膊肘、左肩、右肩关键点以及危险部位。

需要说明的是，检修人员在进行检修作业时，需要重点关注的应为人员的手部位置，检修人员的手部应该远离部分不该触碰的部位，但是如果只是通过人员手部检测出来的关键点与危险部位在画面中的欧氏距离来进行判断，不仅出现误判的几率很高，同时如果已经触碰到了，此时再进行预警便已经慢了。例如检修人员的手部并未触碰危险部位，但可能在监控角度下，检修人员的手部与危险部位距离很近，因此需要对检修人员手部的移动轨迹进行行为的预测，从而根据行为获得准确的危险程度。

在本发明实施例中，计算每一帧图像中左手腕关键点、右手腕关键点与每个危险 部位之间的欧式距离。例如第i帧图像中左手腕关键点、右手腕关键点、与第c个危险 部位之间的欧式距离、分别为：

其中、、分别为第i帧图像中左手腕、右手腕、第c个危 险部位的坐标；此时获得手腕部位距离危险部位的直观位置信息，这一信息表示第i帧图像 中手腕的危险程度，即欧式距离越近，发生触摸的概率越高。

需要说明的是，由于危险部位并不止一个，但距离手部最近的一定是最容易出现触摸行为的，因此需获取距离手腕最近的危险部位到手腕的欧式距离，根据该欧式距离进一步得到对应图像的危险程度。

在本发明实施例中，以第i帧图像为例说明危险程度的获取方法，具体为：

根据第i帧图像左手腕关键点与每个危险部位的欧式距离获取 第i帧图像中左臂的危险程度：

其中为第i帧图像左手腕关键点与每个危险部位的欧式距离； min{}为最小值函数；对第i帧图像左手腕关键点与每个危险部位的欧式距离中的最小值取 倒数是因为，当欧式距离越小，左手腕关键点距离一个危险部位越近，做出危险行为的概率 越高，即左臂的危险程度越大。

同理，获取第i帧图像中右臂的危险程度。

至此，获取了每一帧图像的左臂的危险程度以及右臂的危险程度。

S003．根据关键点获取每一帧的危险系数。

需要说明的是，当人员做出触摸危险部位时的动作，此时的动作所表现出来的应为，肩部进行移动，胳膊肘进行移动，同时带动手腕做出伸直的动作。而正常的受电弓作业内容中，根据先验知识，胳膊多为折起发力状态，因此通过判断此时胳膊的姿态以及变化，来判断当发生手腕靠近危险部位时是否为触摸行为。

在本发明实施例中，第i帧图像的关键点分别为，分别对应左手 腕、右手腕、左胳膊肘、右胳膊肘、左肩和右肩。则左臂对应的关键点为，将左臂 对应的每个关键点的坐标分别记为。计算左手腕与左胳膊肘 的欧氏距离即左小臂的长度，并用来表示；计算左胳膊肘与左肩的欧氏距离即左大臂 长度，并用来表示；计算左手腕至左肩的长度即左手腕至左肩的欧式距离，并用来 表示。则根据左手腕，左胳膊肘，左肩关键点构建第i帧图像中检修人员的左臂 的姿态三角形如图3所示。计算肩部长度即左肩与右肩之间的欧氏距离，并用来表示。

根据构建的左臂的姿态三角形，计算肩部长度与左小臂长度的比例：

同理，获取肩部长度与左大臂长度的比例：

根据肩部长度与左小臂长度的比例、肩部长度与左大臂长度的比例获取危险系数 调整值：

其中表示第帧图像中根据肩部长度与左小臂长度的比例、肩部长度与左 大臂长度的比例获得的危险系数调整值；当肩部长度与左小臂长度、左大臂长度的比 例较大时，即较大时，此时拍摄角度越接近正面，即构建得到的胳膊的姿态三角形的置 信度越低，此时需要对得到的姿态三角形矫正的越多；而当越小时，拍摄角度越接近侧 面，此时构建得到的胳膊的姿态三角形越真实，因此需要矫正的程度越低。

结合左小臂长度、左大臂长度、左手腕至左肩的长度以及危险系数调整值获取第i 帧图像中检修人员左臂的危险系数：

其中为左小臂长度；为左大臂长度；为左手腕至左肩的长度；为危 险系数调整值；当危险系数越大，检修人员的动作越接近伸直触摸的行为，即对应的做 出伸手触摸危险部位的概率越高，此时越危险。需要说明的是，根据检修人员的左臂构建得 到的姿态三角形，当左小臂与左大臂的总长度大于手腕至肩部的长度时，大概率为检修人 员做出了伸直胳膊的姿态。而是通过肩部长度与左小臂长度、左大臂长度的比例所获得 的危险系数调整值，当越大，则表示此时采集图像的角度越偏向人的正面，此时左臂的 姿态三角形的构建越不真实，左臂发生姿态变化时，危险系数随姿态的变化程度越低，会导 致危险系数识别不准确，因此需要根据危险系数调整值来获得第i帧图像中检修人员实际 的危险系数。

同理，根据右臂关键点（分别对应右手腕、右胳膊肘、右肩）获取右臂的 姿态三角形以及右臂的危险系数。

同理，获取每一帧图像的左臂危险系数以及右臂危险系数。

至此，获取了每一帧图像的左臂危险***以及右臂危险系数。

S004．根据危险程度以及危险系数构建时序预测模型。

需要说明的是，为了对下一帧的危险程度进行预测（此时下一帧还未发生），需要构建时序预测模型。

本发明实施例中，以左臂为例，构建危险程度时序模型，具体为：

假设当前帧为第i帧，第i+1帧还未发生。根据第i帧之前的n帧图像（包括第i帧）的左臂的危险程度以及左臂的危险系数构建左臂危险程度的时间序列以及左臂危险系数的时间序列。需要说明的是，左臂危险程度的时间序列的横坐标为帧数，纵坐标为每一帧对应的左臂的危险程度归一化后的数值；左臂危险系数的时间序列的横坐标为帧数，纵坐标为每一帧对应的左臂的危险系数归一化后的数值。

需要进一步说明的是，某一帧图像中，可能出现检修人员的左臂被器械遮挡或因拍摄角度导致左臂被检修人员自身身体遮挡的情况，此时无法检测到左臂对应的关键点，则无法获取到左臂的危险程度以及左臂的危险系数，此时需要根据该帧图像之前距离该帧图像最近的且可正常检测到左臂对应的关键点的帧图像来获取该帧的危险程度以及危险系数。具体过程为：

假设第j帧图像中未检测出左臂对应的关键点，获取第j帧之前距离第j帧最近的 且正常检测到左臂对应的关键点的帧，记为基准帧，假设基准帧与第j帧的间隔为，将基准 帧的左臂的危险程度记为，将基准帧的左臂的危险系数记为。根据基准帧的左 臂的危险程度、左臂的危险系数、基准帧与第j帧的间隔获取第j帧的左臂的危险程度以 及左臂的危险系数：

其中为危险系数的增加速度；的具体取值需要根据具体实施场景内容进行调 整，即当前监控画面中的检修作业内容的正常完成时间的长短以及监控画面对面的帧率进 行对应调整。在本发明实施例中，，对应帧率为每秒钟刷新30帧，对应受电弓每个 部件的检修作业的正常完成时间为2分钟，在其他实施例中，实施人员可根据需要设置的 值；为基准帧与第j帧的间隔；为基准帧的左臂的危险程度；为基准帧的左臂的 危险系数；本发明实施例中危险程度与基准帧的危险程度保持不变，危险系数为线性增长。

如此，可获取每一帧的左臂的危险程度以及左臂的危险系数。

根据当前帧（第i帧）之前的n帧图像（包括第i帧）的左臂的危险程度以及左臂的危 险系数构建左臂危险程度的时间序列表示为、左臂危险系 数的时间序列表示为，其中{}为归一化函数。在本发 明实施例中，n=300，在其他实施例中，实施人员可根据需要设置n的值，但建议n取10s时间 长度对应的帧数。需要说明的是，若当前帧之前不足n帧图像时，即当i+1小于n时，以监控视 频第一帧的左臂的危险程度为开始，将第一帧到第i帧的左臂危险程度所组成的序列归一 化的结果作为左臂危险程度的时间序列，表示为。同理，当i+1小于n 时，以监控视频第一帧的左臂危险系数为开始，将第一帧到第i帧的左臂危险系数所组成的 序列归一化的结果作为左臂危险系数的时间序列，表示为。需要进 一步说明的是，本发明实施例以当前帧之前存在n帧图像为例，进行后续预测下一帧的危险 程度的说明，当前帧之前不存在n帧图像时，预测下一帧的危险程度的方法与当前帧之前存 在n帧图像时的方法相同，因此本发明实施例不再额外赘述。

至此，获取了时序预测模型。

S005．获取每一帧的平滑参数，预测下一帧的危险程度。

需要说明的是，可根据时序预测模型中当前帧之前的n帧图像（包含当前帧）的危 险程度以及危险系数，对下一帧的危险程度以及危险系数进行预测。现有的预测算法如SES 预测算法需要设置平滑参数来作为每一帧的权重，常规是设置固定值作为当前帧的权重， 并进行指数衰减作为当前帧之前的每一帧的权重，并将所有帧的结果进行加权求和作为下 一帧的预测值，该方法使得最近时刻的权重最大，最早时刻的权重最小。但这并不符合本发 明实施例根据连续行为进行下一帧的预测的目的。因此需要根据这帧图像中的危险系数 以及危险程度的连续变化进行对应权重即平滑参数的修正，最终预测下一帧的危险程度以 及危险系数。

需要进一步说明的是，当危险系数的变化较小时，此时多为检修人员正在进行正常作业内容，同时姿态并未发生较大程度的变化，而当危险系数发生增加时，根据危险系数的计算思想，可以知道此时胳膊的姿态由折叠向伸直进行变化，即可能出现伸直触摸的行为。

在本发明实施例中，对左臂危险系数的时间序列的危险系数进行连续段落划分，具体为：

此时从左臂危险系数的时间序列中第二帧即监控视频第帧开始，计算该 帧与上一帧即监控视频第1帧的左臂危险系数的差值。记录的正负，并将作为第一段行为序列 中第一个值。

设置差值阈值T，计算左臂危险系数的时间序列中第三帧即监控视频第帧 与上一帧即监控视频第帧的左臂危险系数的差值。当的正负与相同时，或当的正负与不相同且时，将作为第一段行为序列中第二个值，其中为绝对值符号；当的正负与不相同，且时，第一段行为序列结束，将作为第二段行为 序列中第一个值。在本发明实施例中，差值阈值T=0.03，在其他实施例中，实施人员可根据 需要设置T的值。

以此类推，根据左臂危险系数的时间序列中包含的n帧图像的左臂危险系数，划分多段行为序列，每段行为序列包含一个或多个左臂危险系数差值，将行为序列的段数记为u。

需要说明的是，在划分行为序列的过程中，当相邻帧之间的左臂危险系数差值小于差值阈值时，可认为为检修人员的正常作业时进行的肢体的摇晃，而当相邻帧之间的左臂危险系数差值超过差值阈值时，检修人员的胳膊变化程度超过正常作业时产生的肢体摇晃。当连续多个相邻帧之间的左臂危险系数差值的正负相同时，可认为这一段时间内检修人员的行为姿态的一段连续变换，即都为伸直或折叠。基于此，将左臂危险系数的时间序列中相邻帧之间的左臂危险系数差值划分为u段。

获取每段行为序列中所有左臂危险系数差值的累加和，并分别用表示。其中表示第m段行为序列中所有左臂危险系数差值的累 加和，当时，表示第m段行为序列中，左臂危险系数整体持续增加，反之则表示左臂 危险系数整体持续降低。

根据第m段行为序列中所有左臂危险系数差值的累加和获取第m段行为序列的左 臂危险系数变化速度：

其中为第m段行为序列中所有左臂危险系数差值的累加和；为第m段行为 序列中所有左臂危险系数差值的个数。

根据第m段行为序列的左臂危险系数变化速度以及第m段行为序列中所有左臂危 险系数差值的累加和获取第m段行为序列的平滑参数基础值：

其中为第m段行为序列中所有左臂危险系数差值的累加和；为第m段行为 序列的左臂危险系数变化速度；为归一化公式，为绝对值符号。可认为这帧画面 中，多个行为序列之间的平滑参数基础值是基于每一行为序列中的危险系数的累加值的多 少进行对应的分配，这一段行为序列中的危险系数改变值越大，则对应的在该段行为序列 的预测参考价值越高。因此当这一段行为序列的每帧画面之间的危险系数以及危险程度的 差值越大，则此时连续帧画面之间的姿态行为变换越大，对应的预测参考价值也越高。因此 其对应得到的平滑参数基础值就应该越大。

根据行为序列中危险程度的变化获取每段行为序列的平滑参数调整值，例如第m 段行为序列的平滑参数调整值为：

其中为第m段行为序列对应的最后一帧图像的左臂的危险程度；为第m段行为序列对应的第一帧图像的左臂的危险程度；为绝对值符号。无论手 部是靠近还是远离危险部位，都认为此时这一行为序列的预测参考价值随的增大而增 大。

根据第m段行为序列的平滑参数基础值以及平滑参数调整值获取第m段行为序列 的平滑参数值：

其中为第m段行为序列的平滑参数基础值；为第m段行为序列的平滑参数 调整值；为归一化公式；平滑参数基础值越大同时平滑参数调整值越大，则此时相邻 帧之间的对应的左臂危险系数和左臂的危险程度对应的平滑参数值就越大，因此与的逻辑都成正相关，因此将两者进行相乘。u表示行为序列的数量。为投影公式，即将得到的每一个行为序列，根据序列中每一帧画面中 的人体关键点构建得到的姿态三角形进行连续帧中的胳膊的姿态行为所得到的平滑参数 值进行投影，使得所有的行为序列的平滑参数值相加后为1。

需要说明的是，对每一帧中的人体关键点构建胳膊的姿态三角形，并得到连续帧画面中检修人员根据危险系数得到的姿态行为的改变，最终得到的每一段序列的平滑参数值的分配权重。比起常规的时序预测模型，仅仅根据手部距危险部位的距离以及最近一刻的平滑参数值最大这一思想，来获得更加准确的每一帧画面中检修人员的危险系数，大量减少出现识别错误的情况。

在本发明实施例中，根据每一段行为序列的平滑参数值，获得每段行为序列中每 一帧图像的平滑参数值，假设第j帧图像属于第m段行为序列，则第j帧图像的平滑参数值：

其中为第j帧图像所属的行为序列的平滑参数值；为第j帧图像与前一帧 图像的左臂危险系数的差值；为第j帧所属的行为序列中所有左臂危险系数差值的累 加和。

根据左臂危险程度的时间序列中每一帧图像的平滑参数值，预测下一帧（还未发生）的左臂的危险程度，具体为：

当前帧为第i帧，则下一帧为第i+1帧，则第i+1帧的左臂的危险程度的预测值为：

其中为左臂危险程度的时间序列中每一帧图像的平滑参 数值；为左臂危险程度的时间序列中每一帧图像的左臂的危险程 度。

同理，根据每一帧图像的右臂的危险程度以及右臂的危险系数，预测下一帧的右 臂的危险程度。

则人体区域对应的危险程度的预测值为：

其中为预测的下一帧的左臂的危险程度；为预测的下一帧的右臂的 危险程度。

至此，实现了下一帧的危险程度的预测。

需要说明的是，本发明实施例对于时序模型的构建，以危险系数为主要行为的判 断依据，结合行为的连续性逻辑，将连续的帧中的行为序列通过正负号是否相同进行行为 划分，并通过实际手部距离危险部位的实际距离，对每一个行为序列的参考价值进行调整， 得到每一段行为序列的平滑参数值，并最终得到每一帧画面的平滑参数，并结合时序预测 模型，得到下一帧画面的危险程度预测值。

S006．根据下一帧的危险程度获取显著图像，进行风险识别预警。

将下一帧的危险程度的预测值作为人体区域的特征值，背景区域的特征值为 0，输出对应的人体区域的危险程度特征图像。根据每一帧图像通过算法输出第 帧图像基于欧式颜色空间得到的显著图像，将危险程度特征图像以及显著图像进行归 一化至相同取值范围，再通过求和获得最终的显著图像即。

通过设定阈值S=1.5，当最终的显著图像的人体区域的像素值大于预设阈值S时， 检修工存在危险，可能即将触碰到危险部位，此时进行预警。

通过以上步骤，完成了动车组检修工作中的风险识别预警。

本发明实施例还提出一种动车组检修作业风险预测***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种动车组检修作业风险预测方法的步骤。

本发明实施例通过根据动车组检修作业实时监控画面中每一帧画面中的人体关键点来判断每一帧中根据姿态得到的危险系数，并根据连续帧的危险系数变化来进行危险行为的连续预测，最终得到每一帧画面所对应的平滑参数值，与常规算法识别相比，本发明实施例结合动车组检测作业的特殊场景，达到了更加精确真实的预测；常规的显著性检测算法在这一场景下，对于人体的识别效果并不明显，仅仅考虑像素点在欧式颜色空间中之间的距离来进行显著性检测，与识别检修人员是否出现风险这一目的显然不合理，因此通过SES预测算法对人体下一帧中的危险程度进行预测，并根据危险程度输出得到特征图像后，根据归一化算法对两张特征图像进行归一化融合后，使得人体的显著性明显提升，并在监控的画面的传输中达到人体区域优先传输的目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动车组检修作业风险预测方法，其特征在于，该方法包括以下步骤：

采集动车组检修作业实时监控画面；利用关键点检测算法获取每一帧图像的关键点以及危险部位；根据关键点以及危险部位之间的欧式距离获取危险程度；根据关键点之间的距离构建姿态三角形，根据姿态三角形获取危险系数调整值；根据危险系数调整值以及关键点之间的距离获取危险系数；

根据每一帧的危险程度以及危险系数构建预设长度的危险程度的时间序列以及危险系数的时间序列；

根据危险系数的时间序列中相邻两个元素的差值获取多段行为序列；获取每段行为序列的危险系数差值的累加和以及危险系数变化速度，根据危险系数差值的累加和以及危险系数变化速度获取每一段行为序列的平滑参数基础值；将每段行为序列对应的第一帧与最后一帧的危险程度差值的绝对值作为每段行为序列的平滑参数调整值；根据平滑参数基础值以及平滑参数调整值获取每段行为序列的平滑参数值；根据每段行为序列的平滑参数值获取每一帧的平滑参数值；将每一帧的平滑参数值作为每一帧的危险程度的权重，对所有帧的危险程度进行加权求和得到下一帧的危险程度的预测值；

根据下一帧的危险程度的预测值进行风险识别预警。

2.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据关键点以及危险部位之间的欧式距离获取危险程度，包括的具体步骤如下：

分别计算左手腕关键点以及右手腕关键点与每个危险部位之间的欧式距离；将左手腕关键点到所有危险部位的欧式距离中，最小的欧式距离的倒数作为左臂的危险程度，将右手腕关键点到所有危险部位的欧式距离中，最小的欧式距离的倒数作为右臂的危险程度。

3.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据关键点之间的距离构建姿态三角形，包括的具体步骤如下：

将左手腕到左胳膊肘的欧式距离作为左小臂的长度；将左胳膊肘到左肩的欧式距离作为左大臂的长度；将左手腕至左肩的欧式距离作为左手腕至左肩的长度；根据左小臂的长度、左大臂的长度和左手腕至左肩的长度构建左臂的姿态三角形；

将右手腕到右胳膊肘的欧式距离作为右小臂的长度；将右胳膊肘到右肩的欧式距离作为右大臂的长度；将右手腕至右肩的欧式距离作为右手腕至右肩的长度；根据右小臂的长度、右大臂的长度和右手腕至右肩的长度构建右臂的姿态三角形。

4.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据姿态三角形获取危险系数调整值，包括的具体步骤如下：

计算左肩与右肩之间的欧氏距离作为肩部长度；获取肩部长度与左小臂长度的比值；获取肩部长度与左大臂长度的比值，将肩部长度与左小臂长度的比值和肩部长度与左大臂长度的比值相加，作为左臂的危险系数调整值。

5.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据危险系数调整值以及关键点之间的距离获取危险系数，包括的具体步骤如下：

第i帧图像中检修人员左臂的危险系数的计算公式为：

其中为第i帧图像中检修人员左臂的危险系数；/>为第i帧图像中检修人员左小臂长度；/>为第i帧图像中检修人员左大臂长度；/>为第i帧图像中检修人员左手腕至左肩的长度；/>为危险系数调整值。

6.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据危险系数的时间序列中相邻两个元素的差值获取多段行为序列，包括的具体步骤如下：

获取危险系数的时间序列中第二帧与第一帧的危险系数的差值，记录的正负，将/>作为第一段行为序列中第一个值；

设置差值阈值T，计算危险系数的时间序列中第三帧与第二帧的危险系数差值；当/>的正负与/>相同时，或当/>的正负与/>不相同且/>时，将/>作为第一段行为序列中第二个值，其中/>为绝对值符号；当/>的正负与/>不相同，且/>时，将/>作为第二段行为序列中第一个值；

以此类推，根据危险系数的时间序列中包含的所有帧图像的危险系数，划分多段行为序列，每段行为序列包含一个或多个危险系数差值。

7.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述获取每段行为序列的危险系数差值的累加和以及危险系数变化速度，包括的具体步骤如下：

将每段行为序列中包含的所有危险系数差值进行累加得到每段行为序列的危险系数差值的累加和；将所述累加和除以每段行为序列中包含的危险系数差值的个数作为每段行为序列的危险系数变化速度。

8.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据危险系数差值的累加和以及危险系数变化速度获取每一段行为序列的平滑参数基础值，包括的具体步骤如下：

第m段行为序列的平滑参数基础值的计算公式为：

其中为第m段行为序列的平滑参数基础值；/>为第m段行为序列中所有左臂危险系数差值的累加和；/>为第m段行为序列的左臂危险系数变化速度；/>为归一化函数；/>为绝对值符号。

9.根据权利要求1所述的一种动车组检修作业风险预测方法，其特征在于，所述根据平滑参数基础值以及平滑参数调整值获取每段行为序列的平滑参数值，包括的具体步骤如下：

第m段行为序列的平滑参数值的计算公式为：

其中为第m段行为序列的平滑参数值；/>为第m段行为序列的平滑参数基础值；为第m段行为序列的平滑参数调整值；/>为归一化函数，u表示行为序列的数量。

10.一种动车组检修作业风险预测***，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项方法的步骤。