CN112329719B - 行为识别方法、装置以及计算机可读存储介质 - Google Patents

Abstract

本发明涉及图像识别技术领域，具体提供了一种行为识别方法、装置以及计算机可读存储介质，旨在解决如何对与香烟/手机等小目标产生行为关联的人体行为进行准确识别的技术问题。为此目的，根据本发明实施例的方法，可以提取待识别人体图像中与待识别行为相关的人体部位的局部图像，然后同时根据完整的待识别人体图像以及提取到的局部图像进行待识别行为的行为识别，即根据待识别人体图像的全局图像特征与局部图像特征进行行为识别，降低了由于与待识别行为产生关联的香烟/手机等目标体积过小导致被误检的概率，从而提高了待识别行为的识别准确率。

Description

行为识别方法、装置以及计算机可读存储介质

技术领域

本发明涉及图像识别技术领域，具体涉及一种行为识别方法、装置以及计算机可读存储介质。

背景技术

在油田、加油站和驾驶车辆等安全等级要求较高的应用场景中，需要有效地识别出是否存在危及设施/人身安全的人体行为如吸烟和拨打手机等行为，并且在识别出存在上述人体行为后能够及时地进行信息告警。目前常规的吸烟与拨打手机行为的监控方法主要包括利用烟雾报警器/信***进行监控的方法以及基于图像识别进行监控的方法。

具体而言，利用烟雾报警器/信***进行监控的方法主要包括利用烟雾报警器监测烟雾的浓度，根据浓度选择地进行信息告警以监控吸烟行为，以及利用信***对手机进行通讯干扰以监控拨打手机的行为。然而，为了提高吸烟与拨打手机行为的监控准确性，需要布局大量的烟雾报警器和信***等设备，因此会显著增加监控成本。基于图像识别进行监控的方法主要包括利用机器学习技术领域中常规的分类算法或检测算法对图像进行吸烟与拨打手机的行为识别，但是由于香烟和手机的目标比较小，很容易导致分类算法/检测算法的误检率上升，最终导致吸烟与拨打手机行为的识别准确性降低。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何对与香烟/手机等小目标产生行为关联的人体行为进行准确识别的技术问题的行为识别方法、装置以及计算机可读存储介质。

第一方面，提供一种行为识别方法，所述方法包括：

获取图像检测区域的待识别人体图像；

获取所述待识别人体图像中与待识别行为相关的人体部位的局部图像；

基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别；

根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为；

其中，所述预设的行为识别模型是根据人体图像样本、所述人体图像样本中与所述待识别行为相关的人体部位的局部图像样本以及所述人体图像样本与所述局部图像样本的行为类别标签训练得到的。

在上述行为识别方法的一个技术方案中，所述预设的行为识别模型包括全局行为识别模型和局部行为识别模型；

“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的步骤具体包括：

基于所述全局行为识别模型对所述待识别人体图像进行行为识别，得到全局行为识别结果；

基于所述局部行为识别模型对所述局部图像进行行为识别，得到局部行为识别结果；

根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果；

其中，所述全局行为识别模型是根据所述人体图像样本以及相应的行为类别标签训练得到的，所述局部行为识别模型是根据所述局部图像样本以及相应的行为类别标签训练得到的。

在上述行为识别方法的一个技术方案中，“根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果”的步骤还包括：

根据所述全局行为识别结果与所述局部行为识别结果，分别获取所述待识别行为对应的全局预测概率和局部预测概率；

判断所述全局预测概率是否大于等于预设的全局概率阈值并且所述局部预测概率是否大于等于预设的局部概率阈值；

若是，则判定所述待识别人体图像中存在所述待识别行为；

若否，则判定所述待识别人体图像中不存在所述待识别行为。

在上述行为识别方法的一个技术方案中，在“判断所述全局预测概率是否大于等于预设的全局概率阈值并且所述局部预测概率是否大于等于预设的局部概率阈值”的步骤之前，所述方法还包括：

根据所述待识别人体图像与所述局部图像的图像特征，分别获取所述待识别人体图像与所述局部图像的概率权重；

根据所述待识别人体图像与所述局部图像的概率权重，分别对所述全局预测概率与所述局部预测概率进行加权计算，得到最终的全局预测概率与最终的局部预测概率；

其中，所述图像特征是图像质量等级或图像尺寸等级，所述概率权重是大于等于零的实数。

在上述行为识别方法的一个技术方案中，所述方法还包括：

获取每类局部图像样本各自对应的类别比例；

根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本；

对随机选取到的每个局部图像样本分别进行图像数据增强处理；

对经所述图像数据增强处理后的局部图像样本进行图像拼接；

根据图像拼接的结果获取类别是存在待识别行为的局部拼接图像并且根据所述局部拼接图像对类别是存在待识别行为的局部图像样本进行样本扩充，以便利用经所述样本扩充后的局部图像样本对所述预设的行为识别模型进行训练；

并且/或者，在“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的步骤之前，所述方法还包括：

对所述局部图像进行图像拼接，以便利用经所述图像拼接后的局部拼接图像执行“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的步骤。

在上述行为识别方法的一个技术方案中，“根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为”的步骤具体包括：

获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果；

若至少一部分所述行为识别的结果是存在所述待识别行为，则判定所述图像检测区域内存在所述待识别行为；

否则，判定所述图像检测区域内不存在所述待识别行为。

第二方面，提供一种行为识别装置，所述装置包括：

第一图像获取模块，其被配置成获取图像检测区域的待识别人体图像；

第二图像获取模块，其被配置成获取所述待识别人体图像中与待识别行为相关的人体部位的局部图像；

行为识别模块，其被配置成基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别；

行为分析模块，其被配置成根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为；

其中，所述预设的行为识别模型是根据人体图像样本、所述人体图像样本中与所述待识别行为相关的人体部位的局部图像样本以及所述人体图像样本与所述局部图像样本的行为类别标签训练得到的。

在上述行为识别装置的一个技术方案中，所述预设的行为识别模型包括全局行为识别模型和局部行为识别模型；

所述行为识别模块包括第一行为识别子模块、第二行为识别子模块和第三行为识别子模块；

所述第一行为识别子模块被配置成基于所述全局行为识别模型对所述待识别人体图像进行行为识别，得到全局行为识别结果；

所述第二行为识别子模块被配置成基于所述局部行为识别模型对所述局部图像进行行为识别，得到局部行为识别结果；

所述第三行为识别子模块被配置成根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果；

其中，所述全局行为识别模型是根据所述人体图像样本以及相应的行为类别标签训练得到的，所述局部行为识别模型是根据所述局部图像样本以及相应的行为类别标签训练得到的。

在上述行为识别装置的一个技术方案中，所述第三行为识别子模块被进一步配置成执行以下操作：

根据所述全局行为识别结果与所述局部行为识别结果，分别获取所述待识别行为对应的全局预测概率和局部预测概率；

判断所述全局预测概率是否大于等于预设的全局概率阈值并且所述局部预测概率是否大于等于预设的局部概率阈值；

若是，则判定所述待识别人体图像中存在所述待识别行为；

若否，则判定所述待识别人体图像中不存在所述待识别行为。

在上述行为识别装置的一个技术方案中，所述第三行为识别子模块被进一步配置成执行以下操作：

根据所述待识别人体图像与所述局部图像的图像特征，分别获取所述待识别人体图像与所述局部图像的概率权重；

根据所述待识别人体图像与所述局部图像的概率权重，分别对所述全局预测概率与所述局部预测概率进行加权计算，得到最终的全局预测概率与最终的局部预测概率；

其中，所述图像特征是图像质量等级或图像尺寸等级，所述概率权重是大于等于零的实数。

在上述行为识别装置的一个技术方案中，所述装置还包括样本扩充模块，所述样本扩充模块被配置成执行以下操作：

获取每类局部图像样本各自对应的类别比例；

根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本；

对随机选取到的每个局部图像样本分别进行图像数据增强处理；

对经所述图像数据增强处理后的局部图像样本进行图像拼接；

根据图像拼接的结果获取类别是存在待识别行为的局部拼接图像并且根据所述局部拼接图像对类别是存在待识别行为的局部图像样本进行样本扩充，以便利用经所述样本扩充后的局部图像样本对所述预设的行为识别模型进行训练；

并且/或者，所述行为识别模块还包括图像处理子模块，所述图像处理子模块被配置成执行以下操作：

对所述局部图像进行图像拼接，以便所述行为识别模块能够利用经所述图像拼接后的局部拼接图像执行“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的操作。

在上述行为识别装置的一个技术方案中，所述行为分析模块被进一步配置成执行以下操作：

获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果；

若至少一部分所述行为识别的结果是存在所述待识别行为，则判定所述图像检测区域内存在所述待识别行为；

否则，判定所述图像检测区域内不存在所述待识别行为。

第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述行为识别方法的技术方案中任一项技术方案所述的行为识别方法。

第四方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述行为识别方法的技术方案中任一项技术方案所述的行为识别方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明的技术方案中，可以提取待识别人体图像中与待识别行为相关的人体部位的局部图像(例如：若待识别行为是吸烟行为，则人体部位可以包括手和脸等)，然后同时根据完整的待识别人体图像以及提取到的局部图像进行行为识别，即根据待识别人体图像的全局图像特征与局部图像特征进行行为识别，降低了由于与待识别行为产生关联的香烟/手机等目标体积过小导致被误检的概率，从而提高了待识别行为的识别准确率。

进一步，由于与待识别行为产生关联的香烟/手机等目标体积过小，在采集人体图像样本时，可能会导致存在吸烟/拨打手机行为的人体图像样本的数量，远远小于不存在吸烟/拨打手机行为的人体图像样本的数量(样本的数据类别失衡)。如果采用这种数据类别失衡的人体图像样本对行为识别模型进行模型训练，显然会降低行为识别模型对吸烟/拨打手机行为的识别准确性。对此，本发明实施例可以对存在待识别行为的局部图像样本进行图像数据增强处理与图像拼接来扩充这类局部图像的数量，以提高行为识别模型的模型训练效果。

进一步，由于待识别图像的图像质量和尺寸等因素，会影响行为识别模型的识别结果，特别是对于图像质量较差或尺寸较小的待识别人体图像，根据这种待识别人体图像获取到的局部图像的图像质量和尺寸会更小，因此会极大地影响局部行为识别模型对这类局部图像的识别准确性。为了克服由于局部图像的图像质量和尺寸等因素导致局部行为识别模型的识别准确性降低，最终导致整个行为识别模型发生误识别的缺陷，本发明实施例可以根据待识别人体图像的图像质量等级或图像尺寸等级设定相应的概率权重，利用这个概率权重对获取到的全局预测概率和局部预测概率进行修正，以降低由于局部行为识别模型的识别准确性降低导致误识别的风险。例如：对于图像质量较差或尺寸较小的待识别人体图像，将局部预测概率的概率权重设置为0，以屏蔽掉局部行为识别模型的识别结果，利用全局行为识别模型的识别结果分析是否存在待识别行人。

附图说明

下面参照附图来描述本发明的具体实施方式，附图中：

图1是根据本发明的一个实施例的行为识别方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的行为识别装置的主要结构框图。

附图标记列表：

11：第一图像获取模块；12：第二图像获取模块；13：行为识别模块；14：行为分析模块。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

目前基于图像识别进行吸烟/拨打手机等人体行为检测的方法主要是利用机器学习技术领域中常规的分类算法或检测算法对图像进行吸烟与拨打手机的行为识别，但是由于香烟和手机的目标比较小，很容易导致分类算法/检测算法的误检率上升，最终导致吸烟与拨打手机行为的识别准确性降低。而在本发明实施例中，可以提取待识别人体图像中与待识别行为相关的人体部位的局部图像(例如：若待识别行为是吸烟行为，则人体部位可以包括手和脸等)，然后同时根据完整的待识别人体图像以及提取到的局部图像进行行为识别，即根据待识别人体图像的全局图像特征与局部图像特征进行行为识别，降低了由于与待识别行为产生关联的香烟/手机等目标体积过小导致被误检的概率，从而提高了待识别行为的识别准确率。

在本发明的一个应用场景的例子中，加油站内安装有图像采集装置(如摄像装置)以及能够与图像采集装置通信的后台服务器，后台服务器上设置有根据本发明的一个实施例的行为识别装置，该行为识别装置能够获取图像采集装置采集到的图像并进行吸烟行为识别，根据吸烟行为识别的结果判断加油站内是否有人吸烟。如果识别出有人吸烟则输出告警信息，以提醒监控人员及时采取有效措施，防止由于吸烟导致加油装置***等事故的发生。

参阅附图1，图1是根据本发明的一个实施例的行为识别方法的主要步骤流程示意图。如图1所示，本发明实施例中的行为识别方法主要包括以下步骤：

步骤S101：获取图像检测区域的待识别人体图像。

图像检测区域指的是，图像采集装置能够进行图像采集的区域范围。待识别人体图像指的是图像采集装置采集到的包含有人体画面的图像信息。需要说明的是，在本实施例中可以采用图像识别技术领域中常规的人体检测算法对图像采集装置采集到的图像进行人体检测。人体检测算法包括但不限于：基于方向梯度直方图(Histogram of OrientedGradient,HOG)特征与Adaboost算法的人体检测算法、基于Faster-RCNN模型算法的人体检测算法、基于YOLO(You Only Look Once)算法的人体检测算法。为了描述简洁，在此不再对上述算法的具体工作原理与运算过程进行赘述。

步骤S102：获取待识别人体图像中与待识别行为相关的人体部位的局部图像。

与待识别行为相关的人体部位指的是完成待识别行为所需要的人体部位。例如：如果待识别行为是吸烟，那么与吸烟相关的人体部位可以包括手和脸。需要说明的是，在本实施例中可以采用图像识别技术领域中常规的目标检测算法对待识别人体图像中与待识别行为相关的人体部位进行检测。目标检测算法包括但不限于：基于人体关键点的检测算法。为了描述简洁，在此不再对上述算法的具体工作原理与运算过程进行赘述。

步骤S103：基于预设的行为识别模型对待识别人体图像与局部图像进行行为识别。

预设的行为识别模型指的是根据人体图像样本、人体图像样本中与待识别行为相关的人体部位的局部图像样本以及人体图像样本与局部图像样本的行为类别标签训练得到的模型。

需要说明的是，局部图像样本的获取方法与前述步骤S102中局部图像的获取方法类似，为了描述简洁，在此不再赘述。此外，在本发明实施例中可以采用机器学习技术领域中常规的分类算法构建上述预设的行为识别模型。分类算法包括但不限于：基于XGBoost(eXtreme Gradient Boosting)算法的分类算法、基于支持向量机(Support VectorMachines，SVM)的分类算法、基于神经网络的分类算法等。为了描述简洁，在此不再对上述算法的具体工作原理与运算过程进行赘述。

在本实施例中，在根据待识别人体图像与局部图像进行行为识别之后，可以根据行为识别的结果获取待识别行为对应的预测概率，并且判断这个预测概率是否大于等于预设的概率阈值，如果大于等于预设的概率阈值，则判定待识别人体图像中存在待识别行为。预设的概率阈值指的是在对预设的行为识别模型进行模型训练之后利用验证集对该模型进行模型验证得到的概率值，这个概率值能够表示行为识别模型识别出存在待识别行为的可信程度。需要说明的是，在本实施方式中可以利用机器学习技术领域中常规的模型验证方法对行为识别模型进行模型验证，为了描述简洁，在此不再赘述。

由于与待识别行为产生关联的香烟/手机等目标体积过小，在采集人体图像样本时，可能会导致存在吸烟/拨打手机行为的人体图像样本的数量，远远小于不存在吸烟/拨打手机行为的人体图像样本的数量(样本的数据类别失衡)。如果采用这种数据类别失衡的人体图像样本对行为识别模型进行模型训练，显然会降低行为识别模型对吸烟/拨打手机行为的识别准确性。对此，本发明实施例可以对存在待识别行为的局部图像样本进行图像数据增强处理与图像拼接来扩充这类局部图像的数量，以提高行为识别模型的模型训练效果。一个实施方式中，可以按照以下步骤11-步骤15对存在待识别行为的样本进行样本扩充，以便利用经样本扩充后的局部图像样本对预设的行为识别模型进行训练。

步骤11：获取每类局部图像样本各自对应的类别比例。该类别比例可以是根据每类局部图像样本的总量以及预设的存在待识别行为的局部图像样本的待扩充量进行设定的。

步骤12：根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本。

步骤13：对步骤12获取到的每个局部图像样本分别进行图像数据增强处理，以初步增加“存在待识别行为的局部图像样本”的数量。需要说明的是，在本实施方式中可以采用图像处理技术领域中常规的图像数据增强处理方法对局部图像样本进行图像数据增强处理。图像数据增强处理方法包括但不限于：裁剪、翻转、旋转、缩放、移位、叠加噪声、色彩抖动等。为了描述简洁，在此不再对上述方法的具体工作原理与运算过程进行赘述。

步骤14：获取步骤13得到经过图像数据增强处理后的“存在待识别行为的局部图像样本”和“不存在待识别行为的局部图像样本”(为了描述简洁，分别简称为第一样本和第二样本)，分别将每个第一样本与每个第二样本进行图像拼接，得到图像拼接后的第一样本。

步骤15：根据步骤14获取到的第一样本(类别是存在待识别行为的局部拼接图像)对类别是存在待识别行为的局部图像样本进行样本扩充，以进一步增加“存在待识别行为的局部图像样本”的数量。

进一步，在利用训练好的行为识别模型对待识别人体图像与局部图像进行行为识别之前，也可以先对局部图像进行图像拼接，然后再根据待识别人体图像与图像拼接后的局部拼接图像进行行为识别。具体而言，一个实施方式中，在执行步骤S103之前可以先执行以下步骤：对局部图像进行拼接得到局部拼接图像，以便利用局部拼接图像执行步骤S103。本实施方式中的图像拼接处理分别与前述步骤11-步骤15中描述的方法类似，为了描述简洁，在此不再赘述。

进一步，在本发明实施例的一个实施方式中，可以在预设的行为识别模型中设置两个单独的行为识别模型，利用这两个单独的行为识别模型分别对完整的待识别人体图像以及局部图像进行行为识别，然后再根据这两个模型的识别结果综合分析待识别人体图像中是否存在待识别行为。具体而言，在本实施方式中，可以按照以下步骤21-步骤23进行行为识别。

步骤21：基于预设的行为识别模型中的全局行为识别模型对待识别人体图像进行行为识别，得到全局行为识别结果。

全局行为识别模型指的是根据完整的人体图像样本以及相应的行为类别标签训练得到的模型。需要说明的是，本实施方式中的全局行为识别模型与前述预设的行为识别模型的训练方法与构建方法类似，为了描述简洁，在此不再赘述。

步骤22：基于预设的行为识别模型中的局部行为识别模型对局部图像进行行为识别，得到局部行为识别结果。

局部行为识别模型指的是根据局部图像样本以及相应的行为类别标签训练得到的模型，局部图像样本指的是完整的人体图像样本中与待识别行为相关的人体部位的局部图像。需要说明的是，本实施方式中的全局行为识别模型与前述预设的行为识别模型的训练方法与构建方法类似，为了描述简洁，在此不再赘述。

步骤23：根据全局行为识别结果与局部行为识别结果，获取行为识别的结果。

在获取到全局行为识别结果与局部行为识别结果之后，可以按照以下步骤231-步骤232对全局行为识别结果与局部行为识别结果进行综合分析，以判断待识别人体图像中是否存在待识别行为，进而根据判断结果获取行为识别的结果。

步骤231：根据全局行为识别结果与局部行为识别结果，分别获取待识别行为对应的全局预测概率和局部预测概率。

由前述可知，本实施方式中全局行为识别模型和局部行为识别模型都可以是采用机器学习技术领域中常规的分类算法构建的行为识别模型，因而这两个识别模型输出的识别结果中均可以包括每个行为类别标签各自对应的预测概率，根据这个预测概率就可以得到待识别行为对应的预测概率，即行为类别标签是存在待识别行为的标签对应的预测概率，也即前述根据全局行为识别结果获取到的全局预测概率以及根据局部行为识别结果获取到的局部预测概率。

步骤232：判断全局预测概率是否大于等于预设的全局概率阈值并且局部预测概率是否大于等于预设的局部概率阈值。若是，则判定待识别人体图像中存在待识别行为；若否，则判定待识别人体图像中不存在待识别行为。

预设的全局概率阈值指的是在对全局行为识别模型进行模型训练之后利用验证集对该模型进行模型验证得到的概率值，这个概率能够表示全局行为识别模型识别出存在待识别行为的可信程度。需要说明的是，在本实施方式中可以利用机器学习技术领域中常规的模型验证方法对全局行为识别模型进行模型验证，为了描述简洁，在此不再赘述。

预设的局部概率阈值指的是在对局部行为识别模型进行模型训练之后利用验证集对该模型进行模型验证得到的概率值，这个概率能够表示局部行为识别模型识别出存在待识别行为的可信程度。需要说明的是，在本实施方式中可以利用机器学习技术领域中常规的模型验证方法对局部行为识别模型进行模型验证，为了描述简洁，在此不再赘述。

由于待识别图像的图像质量和尺寸等因素，会影响行为识别模型的识别结果，特别是对于图像质量较差或尺寸较小的待识别人体图像，根据这种待识别人体图像获取到的局部图像的图像质量和尺寸会更小，因此会极大地影响局部行为识别模型对这类局部图像的识别准确性。为了克服由于局部图像的图像质量和尺寸等因素导致局部行为识别模型的识别准确性降低，最终导致整个行为识别模型发生误识别的缺陷，本发明实施例可以根据待识别人体图像的图像质量等级或图像尺寸等级设定相应的概率权重，利用这个概率权重对步骤231获取到的全局预测概率和局部预测概率进行修正，以降低由于局部行为识别模型的识别准确性降低导致误识别的风险。例如：对于图像质量较差或尺寸较小的待识别人体图像，将局部预测概率的概率权重设置为0，以屏蔽掉局部行为识别模型的识别结果，利用全局行为识别模型的识别结果分析是否存在待识别行人。具体而言，一个实施方式中，在执行步骤232之后先执行下述步骤2310-步骤2311，再执行步骤232。

步骤2310：根据待识别人体图像与局部图像的图像特征，分别获取待识别人体图像与局部图像的概率权重。

图像特征可以包括图像质量等级或图像尺寸等级，概率权重指的是大于等于零的实数。

在本实施方式中可以根据预先设置好的图像质量等级与概率权重的一一对应关系，来获取概率权重；同时，也可以根据预先设置好的图像尺寸等级与概率权重的一一对应关系，来获取概率权重。一个例子：最低图像质量等级对应的概率权重是0，最高图像质量等级对应的概率权重是1。最低尺寸等级对应的概率权重是0，最高尺寸等级对应的概率权重是1。

需要说明的是，虽然本发明实施例仅提供了根据图像质量等级或图像尺寸等级获取概率权重这一具体实施方式，但是，本领域技术人员能够理解的是，本发明的保护范围显然不局限于这一具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以根据图像的其他特征设置相应的概率权重，然后根据待识别人体图像的这类图像特征获取相应的概率权重，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

步骤2311：根据待识别人体图像与局部图像的概率权重，分别对全局预测概率与局部预测概率进行加权计算，得到最终的全局预测概率与最终的局部预测概率，以便利用最终的全局预测概率与最终的局部预测概率执行步骤232。

一个例子：如果全局预测概率是0.8，待识别人体图像的概率权重是0.9，那么对全局预测概率与概率权重进行加权计算可以得到，最终的全局预测概率是0.72。

步骤S104：根据行为识别的结果分析图像检测区域内是否存在待识别行为。进一步，如果分析出图像检测区域内存在待识别行为，则进行告警。如果分析出图像检测区域内不存在待识别行为，则不进行告警。

在本实施例中可以直接根据当前待识别人体图像的待识别行为的识别结果(步骤S103得到的识别结果)分析图像检测区域内是否存在待识别行为。如果当前待识别人体图像中存在待识别行为，则判定图像检测区域内存在待识别行为；如果当前待识别人体图像中不存在待识别行为，则判定图像检测区域内不存在待识别行为。

然而，在实际应用中人体往往处于活动状态(例如：行走、转弯等)，在某些时刻人体行为没有被图像采集装置采集到，如果根据这种图像进行行为识别，很可能导致误识别(待识别人体图像的识别结果是不存在待识别行为，而实际是存在待识别行为)。为了克服这种缺陷，可以对连续多帧图像分别进行行为识别，如果至少一部分图像识别出存在待识别行为，那么就可以判定图像检测区域内存在待识别行为。具体而言，一个实施方式中，可以按照以下步骤31-32分析图像检测区域内是否存在待识别行为：

步骤31：获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果。

在本实施方式中可以针对每帧待识别人体图像分别执行步骤S101-步骤S103，得到每帧待识别人体图像各自对应的行为识别的结果。

步骤32：根据步骤31的结果进行判断；若至少一部分行为识别的结果是待识别人体图像中存在待识别行为，则判定图像检测区域内存在待识别行为；若所有行为识别的结果都是不存在待识别行为，则判定图像检测区域内不存在待识别行为。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

进一步，本发明还提供了一种行为识别装置。

参阅附图2，图2是根据本发明的一个实施例的行为识别装置的主要结构框图。如图2所示，本发明实施例中的行为识别装置主要包括第一图像获取模块11、第二图像获取模块12、行为识别模块13和行为分析模块14。在一些实施例中，第一图像获取模块11、第二图像获取模块12、行为识别模块13和行为分析模块14中的一个或多个可以合并在一起成为一个模块。在一些实施例中，第一图像获取模块11可以被配置成获取图像检测区域的待识别人体图像；第二图像获取模块12可以被配置成获取待识别人体图像中与待识别行为相关的人体部位的局部图像；行为识别模块13可以被配置成基于预设的行为识别模型对待识别人体图像与局部图像进行行为识别；行为分析模块14可以被配置成根据行为识别的结果分析图像检测区域内是否存在待识别行为；其中，预设的行为识别模型是根据人体图像样本、人体图像样本中与待识别行为相关的人体部位的局部图像样本以及人体图像样本与局部图像样本的行为类别标签训练得到的。一个实施方式中，具体实现功能的描述可以参见步骤S101-步骤S104所述。

在一个实施方式中，行为识别模块13可以包括第一行为识别子模块、第二行为识别子模块和第三行为识别子模块。在本实施方式中，第一行为识别子模块可以被配置成基于预设的行为识别模型中的全局行为识别模型对待识别人体图像进行行为识别，得到全局行为识别结果；第二行为识别子模块可以被配置成基于预设的行为识别模型中的局部行为识别模型对局部图像进行行为识别，得到局部行为识别结果；第三行为识别子模块可以被配置成根据全局行为识别结果与局部行为识别结果，获取行为识别的结果；其中，全局行为识别模型是根据人体图像样本以及相应的行为类别标签训练得到的，局部行为识别模型是根据局部图像样本以及相应的行为类别标签训练得到的。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。

在一个实施方式中，第三行为识别子模块可以被配置成执行以下操作：根据全局行为识别结果与局部行为识别结果，分别获取待识别行为对应的全局预测概率和局部预测概率；判断全局预测概率是否大于等于预设的全局概率阈值并且局部预测概率是否大于等于预设的局部概率阈值；若是，则判定待识别人体图像中存在待识别行为；若否，则判定待识别人体图像中不存在待识别行为。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。

在一个实施方式中，第三行为识别子模块可以被进一步配置成执行以下操作：根据待识别人体图像与局部图像的图像特征，分别获取待识别人体图像与局部图像的概率权重；根据待识别人体图像与局部图像的概率权重，分别对全局预测概率与局部预测概率进行加权计算得到最终的全局预测概率与最终的局部预测概率，以便第三行为识别子模块能够利用最终的全局预测概率与最终的局部预测概率执行“判断全局预测概率是否大于等于预设的全局概率阈值并且局部预测概率是否大于等于预设的局部概率阈值”的操作；其中，图像特征包括图像质量等级和/或图像尺寸，概率权重是大于等于零的实数。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。

在一个实施方式中，图2所示的行为识别装置还可以包括样本扩充模块，在本实施方式中样本扩充模块可以被配置成执行以下操作：获取每类局部图像样本各自对应的类别比例；根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本；对随机选取到的每个局部图像样本分别进行图像数据增强处理；对经图像数据增强处理后的局部图像样本进行图像拼接；根据图像拼接的结果获取类别是存在待识别行为的局部拼接图像并且根据局部拼接图像对类别是存在待识别行为的局部图像样本进行样本扩充。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。

在一个实施方式中，行为识别模块13还可以包括图像处理子模块，在本实施方式中图像处理子模块可以被配置成执行以下操作：对局部图像进行图像拼接，以便行为识别模块13能够利用经所述图像拼接后的局部拼接图像执行“基于预设的行为识别模型对待识别人体图像与局部图像进行行为识别”的操作。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。

在一个实施方式中，行为分析模块14可以被进一步配置成执行以下操作：获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果；若至少一部分行为识别的结果是待识别人体图像中存在待识别行为，则判定图像检测区域内存在待识别行为；否则，判定图像检测区域内不存在待识别行为。一个实施方式中，具体实现功能的描述可以参见步骤S104所述。

上述行为识别装置以用于执行图2所示的行为识别方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，行为识别装置的具体工作过程及有关说明，可以参考行为识别方法的实施例所描述的内容，此处不再赘述。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的行为识别方法的程序，该程序可以由处理器加载并运行以实现上述行为识别方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的行为识别方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的行为识别方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的***的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对***中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种行为识别方法，其特征在于，所述方法包括：

获取图像检测区域的待识别人体图像；

获取所述待识别人体图像中与待识别行为相关的人体部位的局部图像；

基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别，具体包括：基于所述预设的行为识别模型中的全局行为识别模型对所述待识别人体图像进行行为识别，得到全局行为识别结果；基于所述预设的行为识别模型中的局部行为识别模型对所述局部图像进行行为识别，得到局部行为识别结果；根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果；其中，所述全局行为识别结果与所述局部行为识别结果分别包括待识别行为的预测概率；

根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为；

其中，所述预设的行为识别模型是根据人体图像样本、所述人体图像样本中与所述待识别行为相关的人体部位的局部图像样本以及所述人体图像样本与所述局部图像样本的行为类别标签训练得到的，所述全局行为识别模型是根据所述人体图像样本以及相应的行为类别标签训练得到的，所述局部行为识别模型是根据所述局部图像样本以及相应的行为类别标签训练得到的；

“根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果”的步骤还包括：

根据所述全局行为识别结果与所述局部行为识别结果，分别获取所述待识别行为对应的全局预测概率和局部预测概率；

根据所述待识别人体图像与所述局部图像的图像特征，分别获取所述待识别人体图像与所述局部图像的概率权重；

根据所述待识别人体图像与所述局部图像的概率权重，分别对所述全局预测概率与所述局部预测概率进行加权计算，得到最终的全局预测概率与最终的局部预测概率；

判断所述最终的全局预测概率是否大于等于预设的全局概率阈值并且所述最终的局部预测概率是否大于等于预设的局部概率阈值；

若是，则判定所述待识别人体图像中存在所述待识别行为；

若否，则判定所述待识别人体图像中不存在所述待识别行为；

其中，所述图像特征是图像质量等级或图像尺寸等级，所述概率权重是大于等于零的实数。

2.根据权利要求1所述的行为识别方法，其特征在于，所述方法还包括：

获取每类局部图像样本各自对应的类别比例；

根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本；

对随机选取到的每个局部图像样本分别进行图像数据增强处理；

对经所述图像数据增强处理后的局部图像样本进行图像拼接；

根据图像拼接的结果获取类别是存在待识别行为的局部拼接图像并且根据所述局部拼接图像对类别是存在待识别行为的局部图像样本进行样本扩充，以便利用经所述样本扩充后的局部图像样本对所述预设的行为识别模型进行训练；

并且/或者，

在“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的步骤之前，所述方法还包括：

对所述局部图像进行图像拼接，以便利用经所述图像拼接后的局部拼接图像执行“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的步骤。

3.根据权利要求1或2所述的行为识别方法，其特征在于，“根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为”的步骤具体包括：

获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果；

若至少一部分所述行为识别的结果是存在所述待识别行为，则判定所述图像检测区域内存在所述待识别行为；

否则，判定所述图像检测区域内不存在所述待识别行为。

4.一种行为识别装置，其特征在于，所述装置包括：

第一图像获取模块，其被配置成获取图像检测区域的待识别人体图像；

第二图像获取模块，其被配置成获取所述待识别人体图像中与待识别行为相关的人体部位的局部图像；

行为识别模块，其被配置成基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别；

行为分析模块，其被配置成根据行为识别的结果分析所述图像检测区域内是否存在所述待识别行为；

其中，所述预设的行为识别模型是根据人体图像样本、所述人体图像样本中与所述待识别行为相关的人体部位的局部图像样本以及所述人体图像样本与所述局部图像样本的行为类别标签训练得到的；

所述预设的行为识别模型包括全局行为识别模型和局部行为识别模型；所述行为识别模块包括第一行为识别子模块、第二行为识别子模块和第三行为识别子模块；所述第一行为识别子模块被配置成基于所述全局行为识别模型对所述待识别人体图像进行行为识别，得到全局行为识别结果；所述第二行为识别子模块被配置成基于所述局部行为识别模型对所述局部图像进行行为识别，得到局部行为识别结果；所述第三行为识别子模块被配置成根据所述全局行为识别结果与所述局部行为识别结果，获取所述行为识别的结果；其中，所述全局行为识别模型是根据所述人体图像样本以及相应的行为类别标签训练得到的，所述局部行为识别模型是根据所述局部图像样本以及相应的行为类别标签训练得到的；其中，所述全局行为识别结果与所述局部行为识别结果分别包括待识别行为的预测概率；

所述第三行为识别子模块被进一步配置成执行以下操作：

根据所述全局行为识别结果与所述局部行为识别结果，分别获取所述待识别行为对应的全局预测概率和局部预测概率；

判断所述全局预测概率是否大于等于预设的全局概率阈值并且所述局部预测概率是否大于等于预设的局部概率阈值；

若是，则判定所述待识别人体图像中存在所述待识别行为；

若否，则判定所述待识别人体图像中不存在所述待识别行为；

所述第三行为识别子模块被进一步配置成执行以下操作：

根据所述待识别人体图像与所述局部图像的图像特征，分别获取所述待识别人体图像与所述局部图像的概率权重；

根据所述待识别人体图像与所述局部图像的概率权重，分别对所述全局预测概率与所述局部预测概率进行加权计算，得到最终的全局预测概率与最终的局部预测概率；

其中，所述图像特征是图像质量等级或图像尺寸等级，所述概率权重是大于等于零的实数。

5.根据权利要求4所述的行为识别装置，其特征在于，所述装置还包括样本扩充模块，所述样本扩充模块被配置成执行以下操作：

获取每类局部图像样本各自对应的类别比例；

根据每个类别比例以及每类局部图像样本的总量，分别从每类局部图像样本中随机选取相应数量的局部图像样本；

对随机选取到的每个局部图像样本分别进行图像数据增强处理；

对经所述图像数据增强处理后的局部图像样本进行图像拼接；

根据图像拼接的结果获取类别是存在待识别行为的局部拼接图像并且根据所述局部拼接图像对类别是存在待识别行为的局部图像样本进行样本扩充，以便利用经所述样本扩充后的局部图像样本对所述预设的行为识别模型进行训练；

并且/或者，

所述行为识别模块还包括图像处理子模块，所述图像处理子模块被配置成执行以下操作：

对所述局部图像进行图像拼接，以便所述行为识别模块能够利用经所述图像拼接后的局部拼接图像执行“基于预设的行为识别模型对所述待识别人体图像与所述局部图像进行行为识别”的操作。

6.根据权利要求4或5所述的行为识别装置，其特征在于，所述行为分析模块被进一步配置成执行以下操作：

获取连续多帧待识别人体图像中每帧待识别人体图像各自对应的行为识别的结果；

若至少一部分所述行为识别的结果是存在所述待识别行为，则判定所述图像检测区域内存在所述待识别行为；

否则，判定所述图像检测区域内不存在所述待识别行为。

7.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至3中任一项所述的行为识别方法。

8.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至3中任一项所述的行为识别方法。

Images