CN117173639B - 基于多源设备的行为分析及安全预警方法及*** - Google Patents

Abstract

本发明公开了一种基于多源设备的行为分析及安全预警方法及***。根据多源设备获取的监控图像、声波图像和红外图像对接近需检测物体的复杂场景进行检测。根据人体轮廓和物体轮廓判断重合的部分，能够在人体被遮挡的情况下得到重合的部分区域。根据不同的检测情况增添不同类型图像的占比，能够对肢体更加准确的提取。同时由于重合的肢体部分被遮挡，所以由人体肢体的连接情况，在接触肢体的类别找到重合肢体的类别。并且根据肢体的运动情况进行判断，才能避免误入人员的情况。进而得到准确的进行危险操作的人员，从而进行提醒。

Description

基于多源设备的行为分析及安全预警方法及***

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于多源设备的行为分析及安全预警方法及***。

背景技术

目前，在工厂、山区、工地等区域，存在一些危险的设备，这些设备如果操作不当会进行人身伤害和对物体进行损害，所以禁止无关人员进行操作。如果依靠人力进行监测，难免出现监察不得当的情况，且浪费人力物力。但是通过摄像设备进行监控，在人员误入或工作人员在靠近的场所做其他事务时等复杂情况，会出现监测不准确。

发明内容

本发明的目的在于提供了一种基于多源设备的行为分析及安全预警方法及***，用以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种基于多源设备的行为分析及安全预警方法，包括：

获取监控图像、声波图像和红外图像；所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像；

基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓；

根据所述监控图像，提取需检测设备的特征，得到设备轮廓；

根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框；所述重合框为包含人体与设备的重合部分的长方形；

若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体；多个时间点对应获得多个重合肢体和多个接触肢体；所述重合肢体为可操作肢体或固定肢体；所述可操作肢体为能够对设备进行操作的肢体；所述固定肢体为无法对设备进行操作的肢体；

若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态；

若人体为运动状态，进行违规操作提醒。

可选的，所述基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓，包括：

将所述监控图像通过监控卷积网络进行卷积，提取图像特征，得到监控特征图；

将所述声波图像通过声波卷积网络进行卷积，提取声波成像特征，得到声波特征图；

将所述红外图像通过红外卷积网络进行卷积，提取红外成像特征，得到红外特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与声波特征图中的声波反射的距离信息，得到监控声波特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与红外特征图中的光反射的距离信息，得到监控红外特征图；

融合所述监控声波特征和监控红外特征图，两次获取监控特征图的边缘形状特征，得到人体融合特征图；

根据人体融合特征图，进行检测，得到人体轮廓。

可选的，所述根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框，包括：

根据人体轮廓与设备轮廓，计算坐标距离，得到轮廓坐标对；所述轮廓坐标对为人体轮廓的坐标与设备轮廓的坐标的距离小于其他距离的坐标对；

连接轮廓坐标对中的两个坐标，得到连接线和轮廓距离；所述轮廓距离为连接线的距离；

将所述轮廓距离除以2，得到延长距离；

根据延长距离，将连接线两端进行延长，得到延长线；

获得重合判断长度；所述重合判断长度为判断重合的长度；

分别以所述延长线的两个端点为中心点，构建重合判断长度的两条垂直线；

根据两条垂直线，判断人体与设备是否重合，得到重合框。

可选的，所述根据两条垂直线，判断人体与设备是否重合，得到重合框，包括：

根据两条垂直线，构建闭合的重合框；所述两条垂直线包括第一垂直线和第二垂直线；

分别获取所述重合框中的人体轮廓和设备轮廓与两条垂直线的交点，得到第一垂直交点对和第二垂直交点对；所述第一垂直交点对为第一垂直线上的两个交点；所述第二垂直交点对为第二垂直线上的两个交点；

根据第一垂直交点对分别做垂线，得到第一区域；根据第二垂直交点对分别做垂线，得到第二区域；

将第一区域和第二区域相交的区域作为重合区域；

将重合区域的面积作为重合值；

若重合值小于重合阈值，将人体与设备设为不重合；

若重合值大于或等于重合阈值，将人体与设备设为重合。

可选的，所述若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体，包括：

提取声波图像中的人体轮廓内部的区域，得到人体轮廓图像；

将所述人体轮廓图像卷积后融合声波特征图，提取人体内部的结构特征，得到人体轮廓声波特征图；

根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别；所述分割肢体类别为检测出的人体组成部分的类别；一个分割人体区域对应一个分割肢体类别；

根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体。

可选的，所述根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体，包括：

获得标注分割肢体类别集合和连接关系；所述标注分割肢体类别集合包括所有组成人体的肢体的类别；所述连接关系表示人体的肢体之间的连接情况；

根据多个人体分割区域，将重合框连接的人体分割区域设为接触肢体；

将标注分割肢体类别集合除多个分割肢体类别之外的元素作为未检测分割肢体类别，得到一个或多个未检测分割肢体类别；

根据多个未检测分割肢体类别，将接触肢体连接的未检测分割肢体类别与重合框构建关系，得到重合肢体；所述重合肢体与接触肢体之间的连接关系为1对1。

可选的，所述根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别，包括：

融合所述监控特征图和人体轮廓声波特征图，得到人体轮廓监控声波特征图；

将所述红外特征图和人体轮廓声波特征图进行融合后上卷积，得到人体轮廓红外声波特征图；

将所述人体轮廓监控声波特征图和人体轮廓红外声波特征图，两次融合人体轮廓声波特征图，增加人体组成结构的特征，得到人体轮廓融合特征图；

根据所述人体轮廓融合特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别。

可选的，所述若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态，包括：

将多个时间点的接触肢体输入时间卷积网络，得到接触肢体相似值；

若所述接触肢体相似值大于接触肢体阈值，将接触肢体设为静止状态；若所述接触肢体相似值小于或等于接触肢体阈值，将接触肢体设为运动状态；

基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态；

若重合肢体为运动状态或接触肢体为运动状态，将人体设为运动状态；

若重合肢体为静止状态和接触肢体为静止状态，将人体设为静止状态。

可选的，基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态，包括：

判断多个时间点的重合肢体中的未检测分割肢体类别是否相同；

若多个时间点的重合肢体中的未检测分割肢体类别相同，将多个时间点的重合框中的轮廓两两判断相似性，得到多个重合肢体相似值；

若全部重合肢体相似值小于重合阈值，将重合肢体设为静止状态；若存在一个重合肢体相似值大于或等于重合阈值，将重合肢体设为运动状态。

第二方面，本发明实施例提供了一种基于多源设备的行为分析及安全预警***，包括：

获取模块：获取监控图像、声波图像和红外图像；所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像；

人体轮廓与特征提取模块：基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓；

设备轮廓提取模块：根据所述监控图像，提取需检测设备的特征，得到设备轮廓；

重合框模块：根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框；所述重合框为包含人体与设备的重合部分的长方形；

重合肢体与接触肢体提取模块：若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体；多个时间点对应获得多个重合肢体和多个接触肢体；所述重合肢体为可操作肢体或固定肢体；所述可操作肢体为能够对设备进行操作的肢体；所述固定肢体为无法对设备进行操作的肢体；

运动状态判断模块：若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态；

提醒模块：若人体为运动状态，进行违规操作提醒。

相较于现有技术，本发明实施例达到了以下有益效果：

本发明实施例还提供了一种基于多源设备的行为分析及安全预警方法和***，所述方法包括：获取监控图像、声波图像和红外图像。所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像。基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓。 根据所述监控图像，提取需检测设备的特征，得到设备轮廓。根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框。所述重合框为包含人体与设备的重合部分的长方形。若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体。多个时间点对应获得多个重合肢体和多个接触肢体。所述重合肢体为可操作肢体或固定肢体。所述可操作肢体为能够对设备进行操作的肢体。所述固定肢体为无法对设备进行操作的肢体。若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态。若人体为运动状态，进行违规操作提醒。

根据多源设备获取的监控图像、声波图像和红外图像对接近需检测设备的复杂场景进行检测。根据人体轮廓和设备轮廓判断重合的部分，能够在人体被遮挡的情况下得到重合的部分区域，同时获取提取人体的轮廓信息的特征，在之后的判断中能够融合人体的轮廓信息。根据不同的检测情况增添不同类型图像的占比，如分割肢体时，增加声波图像中的特征，能够对肢体更加准确的提取。同时由于重合的肢体部分被遮挡，所以由人体肢体的连接情况，找到与重合的肢体连接的接触肢体，在接触肢体的类别找到重合肢体的类别。并且由于人体关节的特性，有些肢体并不能对设备进行操作，所以需要进行判断。如果是可操作的肢体，还对它的运动情况进行判断，才能避免误入人员的情况。进而得到准确的进行危险操作的人员，从而进行提醒。

附图说明

图1是本发明实施例提供的一种基于多源设备的行为分析及安全预警方法流程图。

具体实施方式

下面结合附图，对本发明作详细的说明。

实施例1

如图1所示，本发明实施例提供了一种基于多源设备的行为分析及安全预警方法，所述方法包括：

S101：获取监控图像、声波图像和红外图像。所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像。

其中，所述监控图像、声波图像和红外图像为同一时间点拍摄的尺寸相同图像。

S102：基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓。

其中，所述人体轮廓为监控特征图、声波特征图、红外特征图经过融合分割的轮廓。所述人体轮廓以多个坐标点进行表示，所述坐标点为以监控图像、声波图像或红外图像的左下角为原点构建的二维坐标系。

S103：根据所述监控图像，提取需检测设备的特征，得到设备轮廓。

其中，所述设备轮廓为设备中可以进行操作的结构的轮廓。如开关的按压部分的轮廓。

S104：根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框。所述重合框为包含人体与设备的重合部分的长方形。

S105：若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体。多个时间点对应获得多个重合肢体和多个接触肢体。所述重合肢体为可操作肢体或固定肢体。所述可操作肢体为能够对设备进行操作的肢体。所述固定肢体为无法对设备进行操作的肢体。

其中，所述可操作肢体为能够单独运动的操作设备的肢体。

其中，由于重合肢体处被遮挡无法准确检测出肢体类型，所以需要对重合肢体连接的接触肢体进行判断。并且，如重合肢体为左手，能够对设备进行操作的肢体。而重合肢体为左臂，较困难对设备进行操作。

S106：若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态。

其中，动态要判断与设备接触的人体结构是否运动。因为图像为二维图像，有可能人体仅仅被遮挡但是未接触设备，所以需要多个时间点的变化情况，来判断人体是否对设备进行动态操作而不仅仅是遮挡。

S107：若人体为运动状态，进行违规操作提醒。

可选的，所述基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓，包括：

将所述监控图像通过监控卷积网络进行卷积，提取图像特征，得到监控特征图。

将所述声波图像通过声波卷积网络进行卷积，提取声波成像特征，得到声波特征图。

将所述红外图像通过红外卷积网络进行卷积，提取红外成像特征，得到红外特征图。

其中，所述监控卷积网络、声波卷积网络和红外卷积网络为结构不同的卷积神经网络（Convolutional Neural Networks, CNN）。

其中，所述监控特征图、声波特征图和红外特征图的尺寸相同。

融合同一位置的所述监控特征图中的摄像机成像信息与声波特征图中的声波反射的距离信息，得到监控声波特征图。

融合同一位置的所述监控特征图中的摄像机成像信息与红外特征图中的光反射的距离信息，得到监控红外特征图。

其中，融合后分别进行上卷积，得到的所述监控声波特征图和监控红外特征图的尺寸相同。

融合所述监控声波特征和监控红外特征图，两次获取监控特征图的边缘形状特征，得到人体融合特征图。

根据人体融合特征图，进行检测，得到人体轮廓。

其中，通过标注人体轮廓的训练集训练好的卷积神经网络（ConvolutionalNeural Networks, CNN）。

通过上述方法，提取多源设备构成的图像的特征，将监控图像的特征分别与红外图像的特征融合和与声波图像的特征进行融合，两次使用监控图像的特征，提高像素图像的特征的占比，增强检测的准确性。

可选的，所述根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框，包括：

根据人体轮廓与设备轮廓，计算坐标距离，得到轮廓坐标对。所述轮廓坐标对为人体轮廓的坐标与设备轮廓的坐标之间的距离小于其他距离的坐标对。

连接轮廓坐标对中的两个坐标，得到连接线和轮廓距离。所述轮廓距离为连接线的距离。所述轮廓距离为连接线的距离。

将所述轮廓距离除以2，得到延长距离。

根据延长距离，将连接线两端进行延长，得到延长线。

获得重合判断长度。所述重合判断长度为判断重合的长度。

其中，本实施例中重合判断长度为需检测设备到多源设备距离（单位为分米）的倒数乘以1280的值。

分别以所述延长线的两个端点为中心点，构建重合判断长度的两条垂直线。

根据两条垂直线，判断人体与设备是否重合，得到重合框。

通过上述方法，因为人体动作能够变化，所以直接判断是否重合较为困难，而通过人体和设备轮廓之间的距离，判断是否重合能够更加方便和准确。

可选的，所述根据两条垂直线，判断人体与设备是否重合，得到重合框，包括：

根据两条垂直线，构建闭合的重合框。

分别获取所述重合框中的人体轮廓和设备轮廓与两条垂直线的交点，得到第一垂直交点对和第二垂直交点对。所述第一垂直交点对为第一垂直线上的两个交点。所述第二垂直交点对为第二垂直线上的两个交点。

根据第一垂直交点对分别做垂线，得到第一区域。根据第二垂直交点对分别做垂线，得到第二区域。

将第一区域和第二区域相交的区域作为重合区域。

将重合区域的面积作为重合值。

其中，重合值得获取方为：

若重合值小于重合阈值，将人体与设备设为不重合。

若重合值大于或等于重合阈值，将人体与设备设为重合。

可选的，所述若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体，包括：

提取声波图像中的人体轮廓内部的区域，得到人体轮廓图像。

其中，将声波图像中的人体轮廓外部的区域设为白色。

将所述人体轮廓图像卷积后融合声波特征图，提取人体内部的结构特征，得到人体轮廓声波特征图。

其中，所述重合肢体包括手、脚等位置。因为这些位置被遮挡，所以不好判断，需要借助其他部位判断除了，其中包括声波判断人体骨骼位置。

根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到分割人体区域和分割肢体类别。所述分割肢体类别为检测出的人体组成部分的类别。一个分割人体区域对应一个分割肢体类别。

其中，通过标注得分割人体区域和分割肢体类别作为训练集训练过得卷积神经网络（Convolutional Neural Networks, CNN）进行卷积。

其中，本实施例中，所述分割肢体类别能够为头、颈、躯干、左臂、左手、右臂、右手、左腿、左脚、右腿和右脚。

根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体。

通过上述方法，根据声波的反射距离，将人体分割为不同的部位，能够更加准确的对遮挡的重合部分进行判别。

可选的，所述根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体，包括：

获得标注分割肢体类别集合和连接关系。所述标注分割肢体类别集合包括所有组成人体的肢体的类别。所述连接关系表示人体的肢体之间的连接情况。

其中，根据人体轮廓声波特征图、监控特征图和红外特征图，得到的分割肢体类别不一定为包含所有标注分割肢体类别集合中的类别。可以检测到包括头、颈、躯干、左臂、右臂、右手、右腿和右脚，因为遮挡原因未检测到左手、左腿和左脚之类的情况。

将标注分割肢体类别集合除多个分割肢体类别之外的元素作为未检测分割肢体类别，得到一个或多个未检测分割肢体类别。

根据多个未检测分割肢体类别，将接触肢体连接的未检测分割肢体类别与重合框构建关系，得到重合肢体。所述重合肢体与接触肢体之间的连接关系为1对1。

其中，如左手被遮挡，可能左手在对设备进行操作，但只能检测到左臂，由于人体结构，左臂的一端连接的躯干已经被检测出来，另一端只能够连接为检测出的左手，则重合肢体为左手。

可选的，所述根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别，包括：

融合所述监控特征图和人体轮廓声波特征图，得到人体轮廓监控声波特征图。

将所述红外特征图和人体轮廓声波特征图进行融合后上卷积，得到人体轮廓红外声波特征图。

将所述人体轮廓监控声波特征图和人体轮廓红外声波特征图，两次融合人体轮廓声波特征图，增加人体组成结构的特征，得到人体轮廓融合特征图。

根据所述人体轮廓融合特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别。

可选的，所述若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态，包括：

将多个时间点的接触肢体输入时间卷积网络，得到接触肢体相似值。

其中，接触肢体按照时间点从远到近输入时间卷积网络。

其中，输入时间卷积网络的接触肢体具体为除接触肢体所在的人体分割区域之外全为白色的图像。

若所述接触肢体相似值大于接触肢体阈值，将接触肢体设为静止状态。若所述接触肢体相似值小于或等于接触肢体阈值，将接触肢体设为运动状态。

其中，本实施例中接触肢体阈值为0.95。

基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态。

若重合肢体为运动状态或接触肢体为运动状态，将人体设为运动状态。

若重合肢体为静止状态和接触肢体为静止状态，将人体设为静止状态。

可选的，基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态，包括：

判断多个时间点的重合肢体中的未检测分割肢体类别是否相同。

若多个时间点的重合肢体中的未检测分割肢体类别相同，将多个时间点的重合框中的轮廓两两判断相似性，得到多个重合肢体相似值。

若全部重合肢体相似值小于重合阈值，将重合肢体设为静止状态。若存在一个重合肢体相似值大于或等于重合阈值，将重合肢体设为运动状态。

其中，本实施例中所述重合阈值为0.9。

实施例2

基于上述的基于多源设备的行为分析及安全预警方法，本发明实施例还提供了一种基于多源设备的行为分析及安全预警***，所述***包括获取模块、人体轮廓与特征提取模块、设备轮廓提取模块、重合框模块、重合肢体与接触肢体提取模块、运动状态判断模块和提醒模块。

获取模块用于获取监控图像、声波图像和红外图像。所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像。

人体轮廓与特征提取模块用于基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓。

设备轮廓提取模块用于根据所述监控图像，提取需检测设备的特征，得到设备轮廓。

重合框模块用于根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框。所述重合框为包含人体与设备的重合部分的长方形。

重合肢体与接触肢体提取模块用于若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体。多个时间点对应获得多个重合肢体和多个接触肢体。所述重合肢体为可操作肢体或固定肢体。所述可操作肢体为能够对设备进行操作的肢体。所述固定肢体为无法对设备进行操作的肢体。

运动状态判断模块用于若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态。

提醒模块用于若人体为运动状态，进行违规操作提醒。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其他设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其他实施例中所包括的某些特征而不是其他特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

Claims (9)

1.一种基于多源设备的行为分析及安全预警方法，其特征在于，包括：

获取监控图像、声波图像和红外图像；所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像；

基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓；

根据所述监控图像，提取需检测设备的特征，得到设备轮廓；

根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框；所述重合框为包含人体与设备的重合部分的长方形；

若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体；多个时间点对应获得多个重合肢体和多个接触肢体；所述重合肢体为可操作肢体或固定肢体；所述可操作肢体为能够对设备进行操作的肢体；所述固定肢体为无法对设备进行操作的肢体；

若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态；

若人体为运动状态，进行违规操作提醒；

所述基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓，包括：

将所述监控图像通过监控卷积网络进行卷积，提取图像特征，得到监控特征图；

将所述声波图像通过声波卷积网络进行卷积，提取声波成像特征，得到声波特征图；

将所述红外图像通过红外卷积网络进行卷积，提取红外成像特征，得到红外特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与声波特征图中的声波反射的距离信息，得到监控声波特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与红外特征图中的光反射的距离信息，得到监控红外特征图；

融合所述监控声波特征和监控红外特征图，两次获取监控特征图的边缘形状特征，得到人体融合特征图；

根据人体融合特征图，进行检测，得到人体轮廓。

2.根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框，包括：

根据人体轮廓与设备轮廓，计算坐标距离，得到轮廓坐标对；所述轮廓坐标对为人体轮廓的坐标与设备轮廓的坐标的距离小于其他距离的坐标对；

连接轮廓坐标对中的两个坐标，得到连接线和轮廓距离；所述轮廓距离为连接线的距离；

将所述轮廓距离除以2，得到延长距离；

根据延长距离，将连接线两端进行延长，得到延长线；

获得重合判断长度；所述重合判断长度为判断重合的长度；

分别以所述延长线的两个端点为中心点，构建重合判断长度的两条垂直线；

根据两条垂直线，判断人体与设备是否重合，得到重合框。

3.根据权利要求2所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据两条垂直线，判断人体与设备是否重合，得到重合框，包括：

根据两条垂直线，构建闭合的重合框；所述两条垂直线包括第一垂直线和第二垂直线；

分别获取所述重合框中的人体轮廓和设备轮廓与两条垂直线的交点，得到第一垂直交点对和第二垂直交点对；所述第一垂直交点对为第一垂直线上的两个交点；所述第二垂直交点对为第二垂直线上的两个交点；

根据第一垂直交点对分别做垂线，得到第一区域；根据第二垂直交点对分别做垂线，得到第二区域；

将第一区域和第二区域相交的区域作为重合区域；

将重合区域的面积作为重合值；

若重合值小于重合阈值，将人体与设备设为不重合；

若重合值大于或等于重合阈值，将人体与设备设为重合。

4.根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体，包括：

提取声波图像中的人体轮廓内部的区域，得到人体轮廓图像；

将所述人体轮廓图像卷积后融合声波特征图，提取人体内部的结构特征，得到人体轮廓声波特征图；

根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别；所述分割肢体类别为检测出的人体组成部分的类别；一个分割人体区域对应一个分割肢体类别；

根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体。

5.根据权利要求4所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据所述多个分割人体区域和多个分割肢体类别，得到重合肢体和接触肢体，包括：

获得标注分割肢体类别集合和连接关系；所述标注分割肢体类别集合包括所有组成人体的肢体的类别；所述连接关系表示人体的肢体之间的连接情况；

根据多个人体分割区域，将重合框连接的人体分割区域设为接触肢体；

将标注分割肢体类别集合除多个分割肢体类别之外的元素作为未检测分割肢体类别，得到一个或多个未检测分割肢体类别；

根据多个未检测分割肢体类别，将接触肢体连接的未检测分割肢体类别与重合框构建关系，得到重合肢体；所述重合肢体与接触肢体之间的连接关系为1对1。

6.根据权利要求4所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据人体轮廓声波特征图、监控特征图和红外特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别，包括：

融合所述监控特征图和人体轮廓声波特征图，得到人体轮廓监控声波特征图；

将所述红外特征图和人体轮廓声波特征图进行融合后上卷积，得到人体轮廓红外声波特征图；

将所述人体轮廓监控声波特征图和人体轮廓红外声波特征图，两次融合人体轮廓声波特征图，增加人体组成结构的特征，得到人体轮廓融合特征图；

根据所述人体轮廓融合特征图，判断人体轮廓内部的骨骼结构，得到多个分割人体区域和多个分割肢体类别。

7.根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态，包括：

将多个时间点的接触肢体输入时间卷积网络，得到接触肢体相似值；

若所述接触肢体相似值大于接触肢体阈值，将接触肢体设为静止状态；若所述接触肢体相似值小于或等于接触肢体阈值，将接触肢体设为运动状态；

基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态；

若重合肢体为运动状态或接触肢体为运动状态，将人体设为运动状态；

若重合肢体为静止状态和接触肢体为静止状态，将人体设为静止状态。

8.根据权利要求7所述的基于多源设备的行为分析及安全预警方法，其特征在于，基于多个时间点的重合肢体，判断重合肢体为静止状态或运动状态，包括：

判断多个时间点的重合肢体中的未检测分割肢体类别是否相同；

若多个时间点的重合肢体中的未检测分割肢体类别相同，将多个时间点的重合框中的轮廓两两判断相似性，得到多个重合肢体相似值；

若全部重合肢体相似值小于重合阈值，将重合肢体设为静止状态；若存在一个重合肢体相似值大于或等于重合阈值，将重合肢体设为运动状态。

9.一种基于多源设备的行为分析及安全预警***，其特征在于，包括：

获取模块：获取监控图像、声波图像和红外图像；所述监控图像、声波图像和红外图像为需检测设备所在方向获取的多源设备拍摄的三种图像；

人体轮廓与特征提取模块：基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓；

设备轮廓提取模块：根据所述监控图像，提取需检测设备的特征，得到设备轮廓；

重合框模块：根据所述人体轮廓和设备轮廓，判断人体与设备是否重合，得到重合框；所述重合框为包含人体与设备的重合部分的长方形；

重合肢体与接触肢体提取模块：若人体与设备重合，根据声波图像、声波特征图、监控特征图、红外特征图、人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体；多个时间点对应获得多个重合肢体和多个接触肢体；所述重合肢体为可操作肢体或固定肢体；所述可操作肢体为能够对设备进行操作的肢体；所述固定肢体为无法对设备进行操作的肢体；

运动状态判断模块：若所述重合肢体为可操作肢体，根据多个时间点的重合肢体、多个时间点的接触肢体，判断人体为静止状态或运动状态；

提醒模块：若人体为运动状态，进行违规操作提醒；

所述基于所述监控图像、声波图像和红外图像，得到声波特征图、监控特征图、红外特征图、人体融合特征图和人体轮廓，包括：

将所述监控图像通过监控卷积网络进行卷积，提取图像特征，得到监控特征图；

将所述声波图像通过声波卷积网络进行卷积，提取声波成像特征，得到声波特征图；

将所述红外图像通过红外卷积网络进行卷积，提取红外成像特征，得到红外特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与声波特征图中的声波反射的距离信息，得到监控声波特征图；

融合同一位置的所述监控特征图中的摄像机成像信息与红外特征图中的光反射的距离信息，得到监控红外特征图；

融合所述监控声波特征和监控红外特征图，两次获取监控特征图的边缘形状特征，得到人体融合特征图；

根据人体融合特征图，进行检测，得到人体轮廓。