CN110084123A - 人体行为检测方法及***、计算机可读存储介质 - Google Patents

Abstract

一种人体行为检测方法及***、计算机可读存储介质，所述人体行为检测方法，包括：获取待检测图像；对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；存储所述行为检测结果。采用上述方案，能够提高智能终端对图像及视频数据利用的有效性。

Description

人体行为检测方法及***、计算机可读存储介质

技术领域

本发明实施例涉及行为检测技术领域，尤其涉及一种人体行为检测方法及***、计算机可读存储介质。

背景技术

目前，市场上出现了各种集成了摄像头的智能终端，比如手机、柜员机、自动售货机等。除具有最基本的拍照及摄像功能之外，一些智能终端还可以进行人脸检测、行人检测等。

然而，智能终端对所采集到的图像或视频数据的利用有效性较低。

发明内容

本发明实施例解决的技术问题是智能终端对图像及视频数据利用的有效性较低。

为解决上述技术问题，本发明实施例提供一种人体行为检测方法，包括：获取待检测图像；对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；存储所述行为检测结果。

可选的，所述第一行为检测单元，适于对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

可选的，所述第一行为检测单元，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

可选的，所述第一行为检测单元，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

可选的，所述智能终端，还包括：第一图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

可选的，所述第一存储单元，还适于存储预处理后的图像。

可选的，所述第一存储单元，还适于存储所述待检测图像。

可选的，所述人体行为检测***还包括：第一接收单元，适于接收预关联终端发送的请求信息，所述请求信息用于请求获取所述行为检测结果。

可选的，所述人体行为检测***还包括：第一输出单元，适于在所述接收单元接收到所述请求信息后，输出所述行为检测结果至所述预关联终端。

本发明实施例还提供另一种人体行为检测***，包括：智能终端及服务器，其中，所述智能终端，包括：第二获取单元，适于获取待检测图像并发送至所述服务器；所述服务器，包括：第二行为检测单元及第二存储单元，所述第二行为检测单元，适于对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；第二存储单元，适于存储所得到的行为检测结果。

可选的，所述第二行为检测单元，适于对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

可选的，所述第二行为检测单元，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

可选的，所述第二行为检测单元，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

可选的，所述智能终端还包括：第二图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

可选的，所述智能终端还包括：第二图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

可选的，所述第三存储单元，还适于存储所述待检测图像。

可选的，所述智能终端还包括：发送单元，适于将所述第三存储单元存储的所述预处理后的图像或者所述待检测图像发送至所述服务器。

可选的，所述服务器还包括：第三图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

可选的，所述第二存储单元，还适于存储所述第三图像预处理单元预处理后的图像。

本发明实施例还提供一种人体行为检测方法，包括：获取待检测图像；对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；存储所述行为检测结果。

可选的，所述对所述待检测图像进行人体行为检测，包括：对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：所述对所述待检测图像进行人体行为检测，包括：对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

可选的，所述对所述待检测图像进行人体行为检测，包括：对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

可选的，所述对以下至少两种类型的行为检测对应的行为检测结果进行融合，包括：采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

可选的，在获取待检测图像之后，还包括：对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

可选的，在对所述待检测图像进行图像预处理之后，还包括：存储预处理后的图像。

可选的，在获取待检测图像之后，还包括：存储所述待检测图像。

可选的，在得到所述行为检测结果之后，还包括：接收预关联终端发送的请求信息，所述请求信息用于请求获取所述行为检测结果；在所述接收单元接收到所述请求信息后，输出所述行为检测结果至所述预关联终端。

本发明实施例还提供一种人体行为检测***，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述任一种人体行为检测方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行本发明上述任一种人体行为检测方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

对获取到的待检测图像进行行为检测之后，存储行为检测结果，以供多个预关联终端使用，从而可以提高智能终端对图像及视频数据利用的有效性。

进一步，对待检测图像进行至少两种类型的行为检测，得到行为检测结果，可以提高所得到的行为检测结果的准确性。

进一步，在对待处理图像进行人体行为检测之前，对待检测图像进行图像预处理，可以提高所得到的行为检测结果的准确性，有利于图像处理。

附图说明

图1是本发明实施例中的一种人体行为检测方法的流程图；

图2是本发明实施例中的一种人体行为检测***的结构示意图；

图3是本发明实施例中的另一种人体行为检测***的结构示意图。

具体实施方式

如上所述，智能终端对所采集到的图像或视频数据的利用有效性较低。

本发明实施例中，对获取到的待检测图像进行行为检测之后，存储行为检测结果，以供多个预关联终端使用，从而可以提高智能终端对图像及视频数据利用的有效性。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中的一种人体行为检测方法的流程图，可以包括以下步骤。

步骤11，获取待检测图像。

在具体实施中，手机、柜员机、自动售货机等智能终端上通常集成有摄像头等图像采集装置。智能终端可以通过其上集成的摄像头等图像采集装置采集图像，也可以通过与其关联的其他图像采集装置采集图像。在本发明实施例中，可以将所采集到的图像作为待检测图像。待检测图像可以为静态图像，也可以为视频流，还可以为动态图像等。

在本发明实施例中，在获取到待检测图像之后，可以存储待检测图像。在存储待检测图像时，可以将待检测图像存储在智能终端，也可以将待检测图像存储在与智能终端关联的服务器。

步骤12，对所述待检测图像进行人体行为检测，得到行为检测结果。

在具体实施中，在获取到待检测图像之后，可以对待检测图像进行人体行为检测。在本发明一实施例中，通过智能终端对所述待检测图像进行人体行为检测。在本发明另一实施例中，智能终端将所获取到的待检测图像发送至服务器，服务器对接收到的待检测图像进行人体行为检测，得到行为检测结果。

行为检测结果可以包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置以及行为类型。例如，在进行开车打电话的人体行为检测中，对待检测图像的行为检测结果为：打电话概率为0.7，在视频流的00:13:53，行为类型为违规。

在实际应用中，可以根据实际应用场景设定预设行为以及预设行为类型，当所处的应用场景不同时，所设定的预设行为以及行为类型不同。

在具体实施中，可以对待检测图像进行以下至少两种类型的行为检测，并得到两种类型的行为检测对应的行为检测结果：采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测以及基于所述待检测图像进行行为检测。

在本发明实施例中，采用特征抽取进行行为检测，具体如下：对待检测图像进行特征提取，得到待检测图像的图像特征。所得到的图像特征可以包括边缘特征或者角点特征中的至少一种。基于所获取到的待检测图像对应的图像特征，进行行为检测，从而得到采用特征抽取方式对应的行为检测结果。

在具体实施中，可以采用HOG、SIFI、Haar等中的任一种方式进行特征抽取。

在本发明实施例中，采用目标检测方式进行行为检测，具体如下：对待检测图像进行目标检测，定位并识别目标对象。所述目标对象可以为待检测图像中出现的人体或者其他物体。基于所识别的目标对象进行行为检测，得到目标对象对应的行为检测结果。

在本发明实施例中，采用姿态检测方式进行行为检测，具体如下：对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝。可以理解的是，所述关键点也可以为目标对象的其他部位。

在本发明实施例中，采用人体部位检测方式进行行为检测，具体如下：对待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。通过人体部位检测可以对人体的各部位进行定位及识别，通过人体部位的定位及识别结果可以确定当前人体的动作，从而可以确定对应的行为检测结果。

在具体实施中，为了提高所得到的行为检测结果的准确性，可以将所得到的至少两种类型的行为检测对应的行为检测结果进行融合，得到最终的所述行为检测结果。

在具体实施中，可以采用多种方式对至少两种类型的行为检测对应的行为检测结果进行融合。

在本发明一实施例中，采用投票方式对至少两种类型的行为检测对应的行为检测结果进行融合。例如，采用如下5个通道：特征提取通道、目标检测通道、姿态检测通道、人体部位检测通道以及待处理图像通道，每个通道对应有行为检测结果，所对应的行为概率不同，将行为概率最高的通道对应的行为检测结果作为行为检测结果。

在本发明另一实施例中，采用求平均值方式对所述至少两种类型的行为检测对应的行为检测结果进行融合，得到行为检测结果。

在本发明又一实施例中，采用加权方式对所述至少两种类型的行为检测对应的行为检测结果进行融合。例如，可以为不同类型的行为检测结果设定权重，根据设定的权重与得到的行为概率进行计算，确定最终的行为类型及行为概率，从而得到行为检测结果。

在本发明再一实施例中，根据预设的选择条件，选择相应类型的行为检测结果，并对所选择的行为检测结果进行融合。在具体实施中，不同类型的待检测图像，采用不同的行为检测方式所得到的行为检测结果的准确度可能不同，根据实际需求有选择地选择相应类型的行为信息进行行为检测，可以提高所得到的行为检测结果的准确度。在对所选择的行为信息进行融合时，可以采用投票方式对选择的行为检测结果进行融合，也可以采用求平均值方式对所选择的行为检测结果进行融合，还可以采用加权方式对所选择的行为检测结果进行融合，在实际应用中，可以根据具体的应用场景及需求选择融合方式。

可以理解的是，还可以采用其他融合方式对各种类型的行为检测结果进行融合，此处不再赘述。

在具体实施中，可以在智能终端上进行上述人体行为检测，也可以在服务器上进行上述人体行为检测。

步骤13，存储所述行为检测结果。

在具体实施中，得到所述行为检测结果之后，可以对所述行为检测检测进行存储，以供后续流程中预关联终端使用。可以将行为检测结果存储在智能终端，也可以将行为检测结果存储在服务器。

由上述方案可知，对获取到的待检测图像进行行为检测之后，存储行为检测结果，以供多个预关联终端使用，从而可以提高智能终端对图像及视频数据利用的有效性。

采用本发明实施例提供的行为检测方法，基于待检测图像，对待检测图像中出现的人体行为进行定位、识别。相比较现有中仅对图像进行的人脸检测及目标检测，本发明实施例通过对待检测图像进行人体行为检测可以从待检测图像中挖掘出更深层次的信息，加深对待检测图像的理解，进一步提高智能设备或者服务器的智能程度。得到的行为检测结果可以供下游应用使用，为下游应用提供更丰富的信息，如下游应用可以基于所得到的行为检测结果进行行为预测、行为监控、群体行为分析或者安防等，从而可以进一步提升下游应用的性能及效果。

在具体实施中，为了进一步提高行为检测结果的准确性，在步骤11获取到待检测图像之后，还可以对待检测图像进行图像预处理，得到预处理后的图像，并基于预处理后的图像进行人体行为检测。

在本发明实施例中，可以对待检测图像进行以下至少一种图像预处理：图像压缩、图像加密、图像增强、图像复原及图像变换。

在具体实施中，对待检测图像进行图像压缩，可以调整待检测图像给所占用的存储空间或者所占用的处理内存。

在具体实施中，对待检测图像进行图像加密，可以提高数据安全。

在具体实施中，对待检测图像进行图像增强，可以提高图像质量。在本发明实施例中，可以采用以下至少一种图像处理方式对待检测图像进行图像增强：对待检测图像进行去噪处理；对待检测图像进行锐化处理；对待检测图像进行对比度调整处理，以增强或者减弱待检测图像的对比度。可以理解的是，还可以采用其他图像处理方式对待检测图像进行增强处理，此处不做赘述。

在具体实施中，对待检测图像进行图像变换，可以包括图像标准化或图像扩展。

对待检测图像进行图像标准化，可以调整图像数据分布，方便后续待检测图像的应用。在本发明实施例中，可以采用以下至少一种图像处理方式对待检测图像进行图像标准化：对待检测图像进行白化处理；对待检测图像进行归一化处理，以得到满足预设尺寸的待检测图像；对待检测图像进行标准化处理，以使得待检测图形中的关键点可以处于预设位置。可以理解的是，还可以根据实际需求，采用其他图像处理方式对待检测图像进行图像标准化，此处不做赘述。

对待检测图像进行图像扩展，可以生成用于辅助检测的图像。在本发明实施例中，可以采用以下至少一种方式进行图像扩展：平移、旋转、扭曲、模糊处理以及金字塔化处理等。可以理解的是，还可以根据实际需求，采用其他图像处理方式对待检测图像进行图像扩展，此处不做赘述。

可以理解的是，根据实际应用需求，还可以对图像进行其他处理，此处不再赘述。

对待检测图像进行图像预处理，得到预处理后的图像之后，还可以将预处理后的图像进行存储。

在具体实施中，还可以接收预关联终端发送的请求信息，所述请求信息用于请求获取行为检测结果。当接收到所述请求信息后，可以输出请求结果至预关联终端。

在本发明实施例中，预关联终端可以将请求信息发送至智能终端，智能终端接收到所述请求信息后可以在自身存储的数据中获取行为检测结果，并将获取的行为检测结果输出至预关联终端。智能终端也可以从服务器中获取到行为检测结果，并将获取到的行为检测结果输出值至预关联终端。

在本发明实施例中，预关联终端也可以将请求信息发送至服务器，服务器接收到请求信息后，可以在服务器所存储的数据中获取行为检测结果，并将所获取的行为检测结果输出至预关联终端。

为便于本领域技术人员更好的理解和实现本发明实施例。本发明实施例还提供一种人体行为检测***。

参照图2，给出了本发明实施例中一种人体行为检测***的结构示意图。所述人体行为检测***可以包括智能终端20。所述智能终端20可以包括：第一获取单元21、第一行为检测单元22及第一存储单元23，其中：

第一获取单元21，适于获取待检测图像；

第一行为检测单元22，适于对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置以及行为类型；

第一存储单元23，适于存储所得到的行为检测结果。

在具体实施中，所述第一行为检测单元22，适于对所述待检测图像进行以下至少两种类型的人体行为检测：对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

在具体实施中，所述第一行为检测单元22，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

在具体实施中，所述第一行为检测单元22，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

在具体实施中，所述智能终端20还可以包括：第一图像预处理单元24，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

在具体实施中，所述第一存储单元23，还适于存储预处理后的图像。

在具体实施中，所述第一存储单元23，还适于存储所述待检测图像。

在具体实施中，所述智能终端20还可以包括：第一接收单元(图2未示出)，适于接收预关联终端发送的请求信息，所述请求信息用于请求获取所述行为检测结果。

在具体实施中，所述智能终端20还可以包括：第一输出单元(图2未示出)，适于在所述接收单元接收到所述请求信息后，输出所述行为检测结果至所述预关联终端。

在具体实施中，所述人体行为检测***还可以包括服务器10。所述智能终端20可以将行为检测结果发送至所述服务器10。所述服务器10可以存储所述行为检测结果。

在本发明实施例中，存储在服务器10或智能终端20上的行为检测结果可以供下游应用使用。

本方发明实施例提供的行为检测***，将第一行为检测单元22部署在智能终端20上，适用于智能终端30存储和计算能力较强、且算法和模型相对较为简单的情况，精度高且延时性较小。

在具体实施中，所述行为检测***的工作原理及工作流程可以参考本发明上述实施例中的描述，此处不再赘述。

参照图3，给出了本发明实施例中另一种行为检测***的结构示意图。行为检测***可以包括智能终端30及服务器40。智能终端30包括：第二获取单元31，适于获取待检测图像并发送至所述服务器40。服务器40包括：第二行为检测单元41及第二存储单元42，其中，所述第二行为检测单元41，适于对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；第二存储单元42，适于存储所得到的行为检测结果。

在具体实施中，所述第二行为检测单元41，适于对所述待检测图像进行以下至少两种类型的人体行为检测：对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

在具体实施中，所述第二行为检测单元41，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

在具体实施中，所述第二行为检测单元41，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

在具体实施中，所述智能终端30还可以包括第二图像预处理单元32，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

在具体实施中，所述智能终端30还可以包括：第三存储单元33，适于存储所述第二图像预处理单元32预处理后的图像。

在具体实施中，所述第三存储单元33还适于存储所述待检测图像。

在具体实施中，所述智能终端30还可以包括：发送单元(图3未示出)，适于将所述第三存储单元33存储的所述预处理后的图像或者所述待检测图像发送至所述服务器40。

在具体实施中，所述服务器40还可以包括：第三图像预处理单元43，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

所述第二存储单元42，还适于存储所述第三图像预处理单元43预处理后的图像。

采用本发明上述实施例提供的人体行为检测***，智能终端30将获取到的待检测图像，或者第二图像预处理单元32进行图像预处理之后得到的预处理后的图像，发送至服务器40进行人体行为检测，得到行为检测结果。采用上述部署方式，采用服务器40对人体行为进行检测，可以减小对智能终端30的计算能力及存储能力的要求，适用于对实时性要求不高的应用场景。

在具体实施中，所述人体行为检测***的工作流程及工作原理可以参考本发明上述实施例中提供的行为检测方法中的描述，此处不再赘述。

本发明实施例还提供一种人体行为检测***，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述任一实施例提供的人体行为检测方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行本发明上述任一实施例提供的人体行为检测方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指示相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (29)

1.一种人体行为检测***，其特征在于，包括：智能终端，其中，所述智能终端，包括：

第一获取单元，适于获取待检测图像；

第一行为检测单元，适于对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置以及行为类型；

第一存储单元，适于存储所得到的行为检测结果。

2.根据权利要求1所述的人体行为检测***，其特征在于，所述第一行为检测单元，适于对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：

对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；

对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；

对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；

对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

3.根据权利要求2所述的人体行为检测***，其特征在于，所述第一行为检测单元，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

4.根据权利要求3所述的人体行为检测***，其特征在于，所述第一行为检测单元，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

5.根据权利要求1至4任一项所述的人体行为检测***，其特征在于，所述智能终端，还包括：第一图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

6.根据权利要求5所述的人体行为检测***，其特征在于，所述第一存储单元，还适于存储预处理后的图像。

7.根据权利要求6所述的人体行为检测***，其特征在于，所述第一存储单元，还适于存储所述待检测图像。

8.根据权利要求1至4任一项所述的人体行为检测***，其特征在于，还包括：第一接收单元，适于接收预关联终端发送的请求信息，所述请求信息用于请求获取所述行为检测结果。

9.根据权利要求8所述的人体行为检测***，其特征在于，还包括：第一输出单元，适于在所述接收单元接收到所述请求信息后，输出所述行为检测结果至所述预关联终端。

10.一种人体行为检测***，其特征在于，包括：智能终端及服务器，其中，所述智能终端，包括：第二获取单元，适于获取待检测图像并发送至所述服务器；

所述服务器，包括：第二行为检测单元及第二存储单元，所述第二行为检测单元，适于对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；

第二存储单元，适于存储所得到的行为检测结果。

11.根据权利要求10所述的人体行为检测***，其特征在于，所述第二行为检测单元，适于对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：

对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；

对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；

对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中，所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；

对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

12.根据权利要求11所述的人体行为检测***，其特征在于，所述第二行为检测单元，适于对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

13.根据权利要求12所述的人体行为检测***，其特征在于，所述第二行为检测单元，适于采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

14.根据权利要求10至13任一项所述的人体行为检测***，其特征在于，所述智能终端还包括：第二图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

15.根据权利要求14所述的人体行为检测***，其特征在于，所述智能终端还包括：第三存储单元，适于存储所述第二图像预处理单元预处理后的图像。

16.根据权利要求15所述的人体行为检测***，其特征在于，所述第三存储单元，还适于存储所述待检测图像。

17.根据权利要求16所述的人体行为检测***，其特征在于，所述智能终端还包括：发送单元，适于将所述第三存储单元存储的所述预处理后的图像或者所述待检测图像发送至所述服务器。

18.根据权利要求10至13任一项所述的人体行为检测***，其特征在于，所述服务器还包括：第三图像预处理单元，适于对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：图像压缩、图像加密、图像增强、图像复原、图像变换。

19.根据权利要求18所述的人体行为检测***，其特征在于，所述第二存储单元，还适于存储所述第三图像预处理单元预处理后的图像。

20.一种人体行为检测方法，其特征在于，包括：

获取待检测图像；

对所述待检测图像进行人体行为检测，得到行为检测结果，所述行为检测结果包括以下至少一种：预设行为出现的概率、出现预设行为在所述待检测图像中的时间位置、出现预设行为在所述待检测图像中所处的空间位置、行为类型；

存储所述行为检测结果。

21.根据权利要求20所述的人体行为检测方法，其特征在于，所述对所述待检测图像进行人体行为检测，包括：对所述待检测图像进行以下至少两种类型的人体行为检测，得到所述至少两种类型的人体行为检测对应的行为检测结果：

对所述待检测图像进行特征抽取，获取所述待检测图像的图像特征，所述图像特征包括以下至少一种：边缘特征或角点特征；基于所述待检测图像的图像特征进行行为检测，得到特征抽取对应的行为检测结果；

对所述待检测图像进行目标检测，定位并识别目标对象；基于所识别的目标对象进行行为检测，得到目标检测对应的行为检测结果；

对所述待检测图像进行姿态检测，得到目标对象的关键点信息；基于所述目标对象的关键点信息进行行为检测，得到姿态识别对应的行为检测结果，其中所述关键点包括以下至少一种：手腕、手掌、手肘、眼睛、脚踝；

对所述待检测图像进行人体部位定位及识别；根据所述人体部位定位及识别结果进行行为检测，得到人体部位检测对应的行为检测结果。

22.根据权利要求21所述的人体行为检测方法，其特征在于，所述对所述待检测图像进行人体行为检测，包括：

对以下至少两种类型的行为检测对应的行为检测结果进行融合，得到所述行为检测结果：特征抽取对应的行为检测结果、目标检测对应的行为检测结果、姿态识别对应的行为检测结果、人体部位检测对应的行为检测结果。

23.根据权利要求22所述的人体行为检测方法，其特征在于，所述对以下至少两种类型的行为检测对应的行为检测结果进行融合，包括：

采用以下至少一种融合方式对所述至少两种类型的行为检测对应的行为检测结果进行融合：投票方式、求均值方式、加权方式及选择性融合方式。

24.根据权利要求20所述的人体行为检测方法，其特征在于，在获取待检测图像之后，还包括：

对所述待检测图像进行图像预处理，得到预处理后的图像，其中，所述图像预处理包括以下至少一种：

图像压缩、图像加密、图像增强、图像复原、图像变换。

25.根据权利要求24所述的人体行为检测方法，其特征在于，在对所述待检测图像进行图像预处理之后，还包括：存储预处理后的图像。

26.根据权利要求20所述的人体行为检测方法，其特征在于，在获取待检测图像之后，还包括：存储所述待检测图像。

27.根据权利要求20所述的人体行为检测方法，其特征在于，在得到所述行为检测结果之后，还包括：接收预关联终端发送的请求信息，所述请求信息用于请求获取所述行为检测结果；在所述接收单元接收到所述请求信息后，输出所述行为检测结果至所述预关联终端。

28.一种人体行为检测***，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求20至27任一项所述的人体行为检测方法的步骤。

29.一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求20至27任一项所述的人体行为检测方法的步骤。