CN114648733A - 一种基于浅层神经网络的视觉路口行人高危行为预测方法 - Google Patents

Abstract

本发明涉及行为预测技术领域，且公开了一种基于浅层神经网络的视觉路口行人高危行为预测方法，包括以下步骤：S1，通过摄像头获取待检测行人的行为记录视频，行为记录视频为行人抵达路口范围10米内的视频影像，并将此视频传导至计算机，通过计算机的存储器内部，然后通过计算机的处理器对视频进行处理加工以及预测，本发明方案能够通过浅层神经网络建立行人高危行为检测算法，以行为识别作为第一要务，通过截取单个人物，背景去除，人物识别，关键点识别，最后通过关键点之间的动态关系来进行危险行为识别，提高检测的速度与质量。

Description

一种基于浅层神经网络的视觉路口行人高危行为预测方法

技术领域

本发明属于行为预测技术领域，具体为一种基于浅层神经网络的视觉路口行人高危行为预测方法。

背景技术

人体异常行为识别和检测的技术已经为社会生活提供多种用途，当车辆驶过路口时，与行人的主动或非主动交互在所难免，多数情况下行人作为交通参与者的弱势方，更易受到伤害，再加之，行人大多未接收到***的交通安全教育，且行为具有一定自发性，其行为的随机性和不可预见性更增加了驾驶员对于与行人交互时遇到突发情况的处理难度。

人车混行的交通路口场景中，交通安全主要依赖于驾驶员自身对行人的通行速度及轨迹等信息的合理预判，并基于此控制车辆的安全性，然而，行人的轨迹具有高度自由性的特点，诸如加速、折返、摔倒等异常状态往往具有难以预估，不易察觉的特点，为此，我们提出一种基于浅层神经网络的视觉路口行人高危行为预测方法。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供一种基于浅层神经网络的视觉路口行人高危行为预测方法，有效的解决了人车混行的交通路口场景中，交通安全主要依赖于驾驶员自身对行人的通行速度及轨迹等信息的合理预判，并基于此控制车辆的安全性，然而，行人的轨迹具有高度自由性的特点，诸如加速、折返、摔倒等异常状态往往具有难以预估，不易察觉的特点的问题。

为实现上述目的，本发明提供如下技术方案：一种基于浅层神经网络的视觉路口行人高危行为预测方法，包括以下步骤：

S1，通过摄像头获取待检测行人的行为记录视频，所述行为记录视频为行人抵达路口范围10米内的视频影像，并将此视频传导至计算机，通过计算机的存储器内部，然后通过计算机的处理器对视频进行处理加工以及预测；

S2，将S1中的记录视频传输至计算机后通过计算机的处理器进行处理，处理器连接有视频获取模块、关键帧获取模块、关键点检测模块以及高危行为分类模块，通过视频获取模块用于提取存储器内的行人的行为记录视频，通过关键帧获取模块对所述高危行为记录视频进行预处理，使行为记录视频中行人的背景去除、对行人进行任务识别预处理，获取所述记录视频中的关键帧图像；

S3，通过关键点检测模块对S2得到的键帧图像进行人体关键点检测，将关键点连接，并对检测到的人体关键点图像；

S4，将S3得到的人体关键点图像导入高危行为分类模块，通过高危行为分类模块预先训练好的浅层四分神经网络模型，通过关键点之间的动态关系来进行危险行为识别，得到行人的高危行为分类结果，通过所述高危行为预测模块对高危行为分类结果预测所述待检测行人的行为，生成行人的行为预测结果。

优选的，所述关键帧获取模块用于对所述高危行为记录视频进行预处理：通过计算所述行为记录视频中相邻两个视频帧的直方图数据和灰度图数据，基于所述直方图数据和所述灰度图数据，计算相邻两个视频帧的加权欧式距离，基于所述加权欧式距离确定所述行为记录视频的镜头转换边界，基于所述镜头转换边界确定所述行为记录视频中的关键帧图像。

优选的，所述关键点检测模块通过关键帧图像得到人体区域的方法为：将所述关键帧图像转化为红外图像，从所述红外图像中获取人体轮廓特征，对所述红外图像进行去噪处理，去除所述红外图像的椒盐噪点，得到去噪图像，然后基于所述去噪图像和所述人体轮廓特征，确定所述关键帧图像中的人体区域。

优选的，所述关键点检测模块人体关键点获得的方法：基于预设的多阶段网络对所述关键帧图像中的人体区域进行关节点识别，得到人体关键点，计算所述人体关键点之间的亲和力值，基于所述亲和力值对所述人体关键点进行连接，得到人体关键点图像。

优选的，通过所述亲和力值对所述人体关键点进行连接，得到人体关键点图像的方法：判断所述亲和力值是否大于或等于预设阈值，当所述亲和力值大于或等于预设阈值时，对所述人体关键点进行匹配连接，得到人体关键点图像。

优选的，所述高危行为分类模块内部存储有多种分类模板，通过将检测到的人体关键点图像与分类模板进行对比，快速对行人的人体分类模板进行对比，提高检测的速度。

优选的，所述高危行为分类模块内部存储有多种分类模板，通过将检测到的人体关键点图像与分类模板进行对比，快速对行人的人体分类模板进行对比，提高检测的速度。

与现有技术相比，本发明的有益效果是：

1、通过浅层神经网络建立行人高危行为检测算法，以行为识别作为第一要务，通过截取单个人物，背景去除，人物识别，关键点识别，最后通过关键点之间的动态关系来进行危险行为识别，提高检测的速度与质量；

2、通过浅层神经网络建立行人高危行为检测算法，以行为识别作为第一要务，通过截取单个人物，背景去除，人物识别，关键点识别，最后通过关键点之间的动态关系来进行危险行为识别，基于以上存在的问题，本发明提供一种路口行人高危行为的预测方法、装置、电子设备及存储介质，以使司机对路口行人危险行为进行预测，并发出预警，避免交通事故的发生，提高行驶安全性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明浅层神经网络框图；

图2为本发明预测方法流程图；

图3为本发明关键帧获取***图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3：一种基于浅层神经网络的视觉路口行人高危行为预测方法，包括以下步骤：

S1，通过摄像头获取待检测行人的行为记录视频，行为记录视频为行人抵达路口范围10米内的视频影像，并将此视频传导至计算机，通过计算机的存储器内部，然后通过计算机的处理器对视频进行处理加工以及预测；

S2，将S1中的记录视频传输至计算机后通过计算机的处理器进行处理，处理器连接有视频获取模块、关键帧获取模块、关键点检测模块以及高危行为分类模块，通过视频获取模块用于提取存储器内的行人的行为记录视频，通过关键帧获取模块对高危行为记录视频进行预处理，使行为记录视频中行人的背景去除、对行人进行任务识别预处理，获取记录视频中的关键帧图像；

S3，通过关键点检测模块对S2得到的键帧图像进行人体关键点检测，将关键点连接，并对检测到的人体关键点图像；

S4，将S3得到的人体关键点图像导入高危行为分类模块，通过高危行为分类模块预先训练好的浅层四分神经网络模型，通过关键点之间的动态关系来进行危险行为识别，得到行人的高危行为分类结果，通过高危行为预测模块对高危行为分类结果预测待检测行人的行为，生成行人的行为预测结果。

请参阅图1：关键帧获取模块用于对高危行为记录视频进行预处理：通过计算行为记录视频中相邻两个视频帧的直方图数据和灰度图数据，基于直方图数据和灰度图数据，计算相邻两个视频帧的加权欧式距离，基于加权欧式距离确定行为记录视频的镜头转换边界，基于镜头转换边界确定行为记录视频中的关键帧图像，关键点检测模块通过关键帧图像得到人体区域的方法为：将关键帧图像转化为红外图像，从红外图像中获取人体轮廓特征，对红外图像进行去噪处理，去除红外图像的椒盐噪点，得到去噪图像，然后基于去噪图像和人体轮廓特征，确定关键帧图像中的人体区域，关键点检测模块人体关键点获得的方法：基于预设的多阶段网络对关键帧图像中的人体区域进行关节点识别，得到人体关键点，计算人体关键点之间的亲和力值，基于亲和力值对人体关键点进行连接，得到人体关键点图像，通过亲和力值对人体关键点进行连接，得到人体关键点图像的方法：判断亲和力值是否大于或等于预设阈值，当亲和力值大于或等于预设阈值时，对人体关键点进行匹配连接，得到人体关键点图像，高危行为分类模块内部存储有多种分类模板，通过将检测到的人体关键点图像与分类模板进行对比，快速对行人的人体分类模板进行对比，提高检测的速度，高危行为预测模块内部存储多种危险行为检测点模板，通过将检测到的人体关键点图像与危险行为检测点模板进行对比，快速对行人的人体关键点图像进行对比，提高检测的速度。

首先将获取的原始图像从RGB颜色空间转换到LCH颜色空间，具体可以是将原始图像从RGB颜色空间先转换到Lab颜色空间、再由Lab颜色空间转换到LCH颜色空间；由于RGB颜色空间、Lab颜色空间及LCH颜色空间均为公知的颜色空间，其相互间的转换公式为公知技术，故在此不再赘述。

接下来，可以提取出原始图像每一个像素在LCH颜色空间的亮度信息，对亮度信息做映射处理以提高图像整体的对比度；具体的映射处理方法可以是：a)对亮度信息做全局非线性映射，以使得图像低灰区间的对比度有显著提升，暗调的细节被平滑的扩展；b)将图像的亮度信息分成基础层(低频部分)和细节层(高频部分)，然后对基础层进行全局映射处理例如采用保留图像亮度感知差异的映射算法或非线性全局映射算法，当然，如果不强调对比度的提升，这一步骤也可以不进行。

此外，提取出原始图像每一个像素在LCH颜色空间的色度信息进行色度补偿，例如提取出色度信息中的颜色饱和度进行颜色饱和度补偿，对原始图像的颜色饱和度补偿主要由环境光强度来决定，环境光强度可由光传感器或者光探头之类的设备实时获取；环境光较强时，通过色度补偿后显示的原始图像将被增强，变得更鲜艳，色调(H)保持不变，色度补偿的原理和核心思想如下：

1)色度补偿的原理：

颜色饱和度指的是色彩的纯度，纯度越高，表现越鲜明，纯度较低，表现则较黯淡。

2)色度补偿的核心思想：

首先，对原始图像进行降质处理，用来模拟人眼在环境光下对显示屏幕上显示图像质量的感知，对图像进行降质处理是指仿真出原始图像加入环境光底色的图像，降质处理一般可对RGB三通道加入环境光底色，环境光底色一般由环境光强度和显示设备屏幕的材料反射率来决定，这样就可以得到与环境光强度相关的降质图像。

然后把降质图像从RGB颜色空间转换到LCH颜色空间(L表示明度值，C表示颜色饱和度值及H表示色调角度值)，并提取出降质图像每一个像素在LCH颜色空间的色度信息中的颜色饱和度，降质图像的这个颜色饱和度代表了在环境光下因显示屏幕对环境光反射而导致的下降后颜色饱和度，此处用Cflare表示，同样的方法可以得到原始图像的颜色饱和度，用C表示，这样就可以得到原始图像和降质图像的每一个像素的颜色饱和度的差值Cdiff，并可根据该差值Cdiff计算得到对原始图像进行色度补偿(颜色饱和度补偿)后的补偿后图像的每一个像素的颜色饱和度；具体计算公式如下：

Cdiff＝C-Cflare(1)

C*＝C+α Cdiff(2)

上述公式(2)中的α为补偿系数且小于或等于1，其表示颜色饱和度补偿的程度，在不超过显示设备色域边界的情况下，α越大，颜色饱和度补偿的程度就越大，补偿后图像的颜色就越鲜艳；C*表示补偿后图像的颜色饱和度。

在进行颜色饱和度补偿得到补偿后图像之后，再将补偿后图像的亮色度信息从LCH颜色空间转换成RGB空间的亮色度信息，从而可以得到一张颜色饱和度补偿后的彩色图像，值得一提的是，在LCH颜色空间，亮度信息通过上述的全局或局部映射处理从L变换到L*，但在不强调对比度提升的应用场景，原始图像的亮度信息也可以保存不变，另外，原始图像的色度信息中的色调H保持不变。

再者，当本发明第一实施例应用于显示设备的图像显示过程中，则可以由光传感器或光探头之类的设备实时测量显示设备的环境光强度并结合显示设备显示屏幕的材料反射率得到环境光底色，再将输入的原始图像加入此环境光底色以得到降质图像，之后进行前述的图像处理方法(颜色饱和度补偿)得到补偿后图像，最后将补偿后图像显示在显示设备的显示屏幕上。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通，对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于，包括以下步骤：

S1，通过摄像头获取待检测行人的行为记录视频，所述行为记录视频为行人抵达路口范围10米内的视频影像，并将此视频传导至计算机，通过计算机的存储器内部，然后通过计算机的处理器对视频进行处理加工以及预测；

S2，将S1中的记录视频传输至计算机后通过计算机的处理器进行处理，处理器连接有视频获取模块、关键帧获取模块、关键点检测模块以及高危行为分类模块，通过视频获取模块用于提取存储器内的行人的行为记录视频，通过关键帧获取模块对所述高危行为记录视频进行预处理，使行为记录视频中行人的背景去除、对行人进行任务识别预处理，获取所述记录视频中的关键帧图像；

S3，通过关键点检测模块对S2得到的键帧图像进行人体关键点检测，将关键点连接，并对检测到的人体关键点图像；

S4，将S3得到的人体关键点图像导入高危行为分类模块，通过高危行为分类模块预先训练好的浅层四分神经网络模型，通过关键点之间的动态关系来进行危险行为识别，得到行人的高危行为分类结果，通过所述高危行为预测模块对高危行为分类结果预测所述待检测行人的行为，生成行人的行为预测结果。

2.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：所述关键帧获取模块用于对所述高危行为记录视频进行预处理：通过计算所述行为记录视频中相邻两个视频帧的直方图数据和灰度图数据，基于所述直方图数据和所述灰度图数据，计算相邻两个视频帧的加权欧式距离，基于所述加权欧式距离确定所述行为记录视频的镜头转换边界，基于所述镜头转换边界确定所述行为记录视频中的关键帧图像。

3.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：所述关键点检测模块通过关键帧图像得到人体区域的方法为：将所述关键帧图像转化为红外图像，从所述红外图像中获取人体轮廓特征，对所述红外图像进行去噪处理，去除所述红外图像的椒盐噪点，得到去噪图像，然后基于所述去噪图像和所述人体轮廓特征，确定所述关键帧图像中的人体区域。

4.根据权利要求3所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：所述关键点检测模块人体关键点获得的方法：基于预设的多阶段网络对所述关键帧图像中的人体区域进行关节点识别，得到人体关键点，计算所述人体关键点之间的亲和力值，基于所述亲和力值对所述人体关键点进行连接，得到人体关键点图像。

5.根据权利要求4所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：通过所述亲和力值对所述人体关键点进行连接，得到人体关键点图像的方法：判断所述亲和力值是否大于或等于预设阈值，当所述亲和力值大于或等于预设阈值时，对所述人体关键点进行匹配连接，得到人体关键点图像。

6.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：所述高危行为分类模块内部存储有多种分类模板，通过将检测到的人体关键点图像与分类模板进行对比，快速对行人的人体分类模板进行对比，提高检测的速度。

7.根据权利要求6所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，其特征在于：所述高危行为预测模块内部存储多种危险行为检测点模板，通过将检测到的人体关键点图像与危险行为检测点模板进行对比，快速对行人的人体关键点图像进行对比，提高检测的速度。

Images