CN112733722B - 姿态识别方法、装置、***及计算机可读存储介质 - Google Patents

姿态识别方法、装置、***及计算机可读存储介质 Download PDF

Info

Publication number
CN112733722B
CN112733722B CN202110034783.5A CN202110034783A CN112733722B CN 112733722 B CN112733722 B CN 112733722B CN 202110034783 A CN202110034783 A CN 202110034783A CN 112733722 B CN112733722 B CN 112733722B
Authority
CN
China
Prior art keywords
image
preset
gesture
gesture recognition
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110034783.5A
Other languages
English (en)
Other versions
CN112733722A (zh
Inventor
李勇
邵新庆
刘强
徐�明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202110034783.5A priority Critical patent/CN112733722B/zh
Publication of CN112733722A publication Critical patent/CN112733722A/zh
Application granted granted Critical
Publication of CN112733722B publication Critical patent/CN112733722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种姿态识别方法、装置、***及计算机可读存储介质，方法包括：获取行人的待处理图像，并通过预设的图像质量评价模型对待处理图像进行质量评价，得到待处理图像的第一评价分数；当第一评价分数小于预设分数阈值时，则对待处理图像进行图像增强处理，得到待识别图像；通过图像质量评价模型对待识别图像进行质量评价，得到待识别图像的第二评价分数；当第二评价分数大于或等于预设分数阈值时，则通过预设的姿态识别模型对待识别图像进行识别，得到行人的姿态识别结果。本发明对小于预设分数阈值的图像进行图像增强处理，以得到符合预设图像质量的待识别图像，再对待识别图像进行姿态识别，提高姿态识别的准确率。

Description

姿态识别方法、装置、***及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及姿态识别方法、装置、***及计算机可读存储介质。
背景技术
随着我国老龄化问题日益严重，对老人姿态属性尤其是跌倒状态的智能化识别显得尤为重要。
行人姿态属性的监测识别方法主要是基于视频图像的人体关键点检测方法，该方法采用openpose(人体姿态识别)的关节图关联法来检测人体的关键点，从而判断行人的姿态，但若提供的图像模糊不清，该方法则无法准确判断行人处于何种姿态。
发明内容
本发明的主要目的在于提出一种姿态识别方法、装置、***及计算机可读存储介质，旨在解决图像模糊不清时，无法准确识别行人姿态的技术问题。
为解决上述问题，本发明提供一种姿态识别方法，所述方法包括如下步骤：
获取行人的待处理图像，并通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
当所述第二评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
优选地，所述通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果的步骤包括：
对所述待识别图像进行裁剪处理，以裁剪出只包含所述行人的目标图像；
通过预设的姿态识别模型对所述目标图像进行识别，得到所述行人的姿态识别结果。
优选地，所述通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数的步骤之后，还包括：
当所述第一评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待处理图像进行姿态识别，得到所述行人的姿态识别结果。
优选地，所述得到所述待识别图像的第二评价分数的步骤之后，还包括：
当所述第二评价分数小于所述预设分数阈值时，则通过对所述待识别图像进行图像增强处理，直到经过图像增强处理后的目标质量图像的质量评价分数大于或等于所述预设分数阈值。
优选地，所述得到所述行人的姿态识别结果的步骤之后，还包括：
根据所述姿态识别结果确定所述行人当前的姿态，并执行所述姿态对应的预设流程。
优选地，所述执行所述姿态对应的预设流程的步骤包括：
判断所述姿态是否为跌倒姿态；
当所述姿态为跌倒姿态时，则发出告警信息，以通知用户发生异常事件。
优选地，所述获取行人的待处理图像的步骤之前，还包括：
获取待训练的样本图像，对所述样本图像进行预处理，得到目标样本图像，并根据第一预设网络对所述目标样本图像进行训练，得到预设的图像质量评价模型；
获取不同姿态的待训练图像，分别对各种姿态的待训练图像进行标注，得到标注后的姿态训练图像，并根据第二预设网络对所述姿态训练图像进行训练，得到预设的姿态识别模型。
此外，为实现上述目的，本发明还提供一种姿态识别装置，所述姿态识别装置包括：
第一评价模块，用于获取行人的待处理图像，并通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
图像增强模块，用于当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
第二评价模块，用于通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
姿态识别模块，用于当所述第二评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
优选地，所述姿态识别模块还用于：
对所述待识别图像进行裁剪处理，以裁剪出只包含所述行人的目标图像；
通过预设的姿态识别模型对所述目标图像进行识别，得到所述行人的姿态识别结果。
优选地，所述第一评价模块还包括图像识别单元，所述图像识别单元用于：
当所述第一评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待处理图像进行姿态识别，得到所述行人的姿态识别结果。
优选地，所述第二评价模块还包括图像增强单元，所述图像增强单元用于：
当所述第二评价分数小于所述预设分数阈值时，则通过对所述待识别图像进行图像增强处理，直到经过图像增强处理后的目标质量图像的质量评价分数大于或等于所述预设分数阈值。
优选地，所述姿态识别模块还包括执行流程单元，所述执行流程单元用于：
根据所述姿态识别结果确定所述行人当前的姿态，并执行所述姿态对应的预设流程。
优选地，所述姿态识别模块还包括预设告警单元，所述预设告警单元用于：
判断所述姿态是否为跌倒姿态；
当所述姿态为跌倒姿态时，则发出告警信息，以通知用户发生异常事件。
优选地，所述姿态识别装置还包括模型训练模块，所述模型训练模块用于：
获取待训练的样本图像，对所述样本图像进行预处理，得到目标样本图像，并根据第一预设网络对所述目标样本图像进行训练，得到预设的图像质量评价模型；
获取不同姿态的待训练图像，分别对各种姿态的待训练图像进行标注，得到标注后的姿态训练图像，并根据第二预设网络对所述姿态训练图像进行训练，得到预设的姿态识别模型。
此外，为实现上述目的，本发明还提供一种姿态识别***，所述姿态识别***包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态识别程序，所述姿态识别程序被所述处理器执行时实现如上所述的姿态识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有姿态识别程序，所述姿态识别程序被处理器执行时实现如上所述的姿态识别方法的步骤。
本发明提出的姿态识别方法，获取行人的待处理图像，并通过预设的图像质量评价模型对待处理图像进行质量评价，得到待处理图像的第一评价分数；当第一评价分数小于预设分数阈值时，则对待处理图像进行图像增强处理，得到待识别图像；通过图像质量评价模型对待识别图像进行质量评价，得到待识别图像的第二评价分数；当第二评价分数大于或等于预设分数阈值时，则通过预设的姿态识别模型对待识别图像进行识别，得到行人的姿态识别结果。本发明对小于预设分数阈值的图像进行图像增强处理，以得到符合预设图像质量的待识别图像，再对待识别图像进行姿态识别，提高姿态识别的准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的***结构示意图；
图2为本发明姿态识别方法第一实施例的流程示意图；
图3为本发明姿态识别***的结构示意图；
图4为本发明姿态识别方法中姿态识别模型的训练流程图；
图5为本发明姿态识别方法较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的***结构示意图。
本发明实施例***包括用户行为采集模块、行为追踪算法模块、优先推荐展示模块等。
如图1所示，该***可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的***结构并不构成对***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及姿态识别程序。
其中，操作***是管理和控制姿态识别***与软件资源的程序，支持网络通信模块、用户接口模块、姿态识别程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1004；用户接口模块用于管理和控制用户接口1003。
在图1所示的姿态识别***中，所述姿态识别***通过处理器1001调用存储器1005中存储的姿态识别程序，并执行下述姿态识别方法各个实施例中的操作。
基于上述硬件结构，提出本发明姿态识别方法实施例。
参照图2，图2为本发明姿态识别方法第一实施例的流程示意图，所述方法包括：
步骤S10，实时获取行人的待处理图像，并通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
本实施例姿态识别方法运用于各大监控平台的姿态识别***中。近年来，我国人口老龄化问题日趋严重，老人数量逐年增多，且老人跌倒发生率高，这已经成为当今时代的一个严重的医疗问题和社会问题。因此，为了保证公众的人身安全，对行人姿态属性尤其是跌倒状态的智能化监测就显得尤为重要。参照图3，图3为本发明姿态识别***的结构示意图，本实施例的姿态识别***包括图像采集模块、处理器、图像处理模块和告警服务推送模块，图像处理模块包括图像质量评价模型和姿态识别模型，其中，图像采集模块，用于采集行人姿态属性图像，可以是手机、相机、摄像头等可获取行人姿态照片或视频的设备；图像处理模块负责接收图像采集模块采集到的图像，先让图像通过图像质量评价模型进行质量评价，再将达到预设分数阈值的图像通过姿态识别模型，最后输出行人的姿态信息识别结果，将不符合预设分数阈值的图像进行图像增强处理，再通过姿态识别模型进行姿态识别；告警推送模块用于接收图像处理模块输出的行人姿态信息识别结果，并根据识别结果向具有相应权限的管理员发送告警信息；处理器，为姿态识别***的控制部分，用于协调图像采集模块、图像处理模块、告警服务推送模块等模块工作。
现有的行人姿态属性的监测识别方法主要分为两种：第一种是基于穿戴式传感装置的跌倒检测技术，该技术以行人的平均位置为主要判断依据，当行人的位置明显低于平均位置时，则判定行人处于跌倒姿态，但采用这种方法对行人进行姿态检测与识别时，要求行人必须随身携带该装置，因此，行人的配合程度对检测结果的准确性存在一定的影响；第二种是基于视频图像的人体关键点检测方法，该方法采用openpose(人体姿态识别)的关节图关联法来检测人体的关键点，从而判断行人是否处于跌倒状态，但若提供的图像模糊不清，该方法则无法准确判断行人处于何种姿态，当行人摔倒时，也就无法及时采取相应的救助措施。
在本实施例中，实时获取行人的待处理图像，其中，待处理图像可为包含行人的照片，也可以是从包含行人视频中截取的帧图像等，由于待处理图像是实时获取的，因此，通过待处理图像能够及时了解到行人当前所处的环境信息，可以有效减轻碰瓷或者帮扶所造成的纠纷，在发生纠纷时，也不需要查看大量视频或寻找目击者来了解情况。再将待处理图像输入已经训练好的图像质量评价模型，就能得到待处理图像的质量评价分数，即第一评价分数。通过对图像进行特性分析研究，然后评估出图像优劣(图像失真程度)，以筛选出符合预设图像质量要求的图像。
进一步地，所述获取行人的待处理图像的步骤之前，还包括：
步骤a1，获取待训练的样本图像，对所述样本图像进行预处理，得到目标样本图像，并根据第一预设网络对所述目标样本图像进行训练，得到预设的图像质量评价模型；
步骤a2，获取不同姿态的待训练图像，分别对各种姿态的待训练图像进行标注，得到标注后的姿态训练图像，并根据第二预设网络对所述姿态训练图像进行训练，得到预设的姿态识别模型。
在本实施例中，利用模型进行数据处理之前，需要训练对应的模型，本实施例的模型包括图像质量评价模型和姿态识别模型。对图像质量评价模型进行训练时，获取待训练的样本图像，可获取行人在不同光照强度、不同角度、不同姿态等状态下的多张图像，例如，可通过预设的光传感器来确定检测环境的光照强度，从而获取到不同光照强度的图像；可从安装在不同预设位置的监控设备，如摄像头中获取不同角度的图像；不同的姿态包括站、坐、躺、趴等姿态，其中，坐、躺、趴这三种姿态可认定为是跌倒状态，从而将获取到的图像作为样本图像。再对样本图像进行预处理，例如，获取各张样本图像的尺寸和预设尺寸范围，将不符合该预设尺寸范围的样本图像进行尺寸调整，使得经过尺寸调整后的样本图像对应的尺寸都在预设尺寸范围内，得到目标样本图像，并利用第一预设网络对目标样本图像进行训练，得到图像质量评价模型，其中，第一预设网络优选为ShuffleNet V2网络(一种轻量级网络)，该网络可在降低网络复杂度的同时，提高模型的识别精度。对姿态识别模型进行训练时，需要获取不同姿态的行人图像作为待训练图像，并对这些待训练图像进行人工标注，得到标注后的姿态训练图像，再通过第二预设网络对姿态训练图像进行训练，从而得到预设的姿态识别模型，其中，第二预设网络优选为OSNet(Omni-scale Network，全尺度网络)，OSNet可以检测到在视觉上相似的图像之间的细微差别，从而保证姿态识别的准确性。
采用ShuffleNet V2网络得到图像质量评价模型的训练过程如下：
获取待训练的样本图像后，对样本图像进行预处理，例如，对输入的样本图像的尺寸进行放大或缩小，以使输入的样本图像符合预设的尺寸要求。在每个单元的开始，通过channel split(通道分割)将ShuffleNet V2网络的输入通道数分为c和c’，得到两个分支，其中，c为输入特征通道数，一个分支作为保持不变，直接传递数据，另一个分支由3个输入、输出通道数相同的卷积组成，两个分支分别通过ShuffleNet V2网络中的一个BN ReLU层来实现。在实际实现时，c’＝c/2，两个通道数相等，均为c/2，此时的训练速度最快，再对两个分支进行concat(拼接)操作，使得通道数量保持不变，随后引入Channel Shuffle操作来保证两个分支的通道信息流通。
待网络加载完以后，对模型进行损失函数Smooth_L1_loss计算，训练模型的主要目的就是为了降低loss值，减少模型预测值与真实值之间的误差。具体的，损失函数计算公式为其中，x为真实值与预测值的差值。通过损失函数计算对应的损失值，当损失值在预设损失值范围内时，完成图像质量评价模型的训练过程。SmoothL1函数能从两方面限制模型训练的梯度值，当预测值与真实值之间的差别过大时，SmoothL1函数可使梯度值不至于过大；当预测值与真实值之间的差别很小时，可使梯度值足够小，提高模型训练精度。
采用OSNet网络得到姿态识别模型的训练过程如下：
参照图4，图4为本发明姿态识别方法中姿态识别模型的训练流程图，首先制作行人姿态属性数据集，即不同姿态的待训练图像，可从网上获取公开的行人图像，或者从图3中的图像采集模块收集到的图像中获取，并对这些待训练图像进行人工标注，例如，站姿标注为1000，坐姿标注为0100，趴姿标注为0010，躺姿标注为0001，得到姿态训练图像，然后构建OSNet网络对姿态训练图像进行训练，具体的，将输入的每一张待训练图像分别生成8*16和7*14两个尺寸的图像，其中，图像尺寸的长度与宽度是以像素为单位的，再将这两种尺寸的图像分别经过两个相同的OSNet网络，利用经过OSNet网络的两个输出，来计算姿态训练图像这个训练样本的二元交叉熵losses，其中，losses的计算公式为：i∈[1,outputsize]，/>为当前图像样本预测为正的概率，yi为图像样本的标签，且图像样本为正样本时，yi为1；图像样本为负样本时，yi为0，output size为姿态训练图像的样本数，再分别对这两种尺寸的图像进行反转处理，以扩充训练样本。例如，分别将各姿态训练图像进行翻转，得到对应的翻转图像，并基于预设算法分别计算这两种尺寸的翻转图像的均方损失flip_loss_l和flip_loss_s，再将两种尺寸的图像上采样到相同的预设尺寸后，如上采样至20*24尺寸，并计算上采样后的均方损失scale_loss，其中，上采样即放大图像，可提高图像的分辨率，从而根据上述计算出来的损失值，计算姿态识别模型的总损失loss，具体的，loss＝losses+flip_loss_l+flip_loss_s+scale_loss。在完成一次数据训练后，进行一次梯度清除，以减小模型训练的内存消耗，同时保证每一次的数据训练过程互不影响，在梯度清除后再开始下一次训练，直到模型收敛，模型收敛的条件可为loss小于预先设定的损失值，从而得到预设的姿态识别模型。
步骤S20，当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
在本实施例中，若待处理图像经过图像质量评价模型之后，得到的质量评价分数即第一评价分数低于预设分数阈值时，即说明待处理图像不符合预设的图像质量要求，如待处理图像过于模糊等，则需要对待处理图像进行图像增强处理，以得到符合预设图像质量要求的待识别图像。
进一步地，所述通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数的步骤之后，还包括：
步骤b，当所述第一评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待处理图像进行姿态识别，得到所述行人的姿态识别结果。
在本实施例中，若待处理图像进行质量评价后的第一评价分数大于或等于预设分数阈值，则说明该待处理图像符合预设图像质量要求，可将该待处理图像输入预设的姿态识别模型进行姿态识别，得到对应行人的姿态识别结果。
步骤S30，通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
在本实施例中，还需要对经过图像增强处理后的待识别图像进行质量评价，得到待识别图像的第二评价分数，以根据第二评价分数和预设分数阈值，确定待识别图像是否符合预设图像质量要求。
进一步地，所述得到所述待识别图像的第二评价分数的步骤之后，还包括：
步骤c，当所述第二评价分数小于所述预设分数阈值时，则通过对所述待识别图像进行图像增强处理，直到经过图像增强处理后的目标质量图像的质量评价分数大于或等于所述预设分数阈值。
在本实施例中，若经过一次图像增强处理后的待识别图像，进行质量评价后的第二评价分数仍然小于预设分数阈值，即待识别图像仍然不符合预设图像质量要求，则继续对待识别图像进行图像增强处理，直到经过图像处理后的图像符合预设图像质量要求，即质量评价分数大于或等于预设分数阈值，以确保输入姿态识别模型中的图像是符合预设图像质量要求的，可以极大程度地避免当前图像质量不高，对姿态识别结果造成的影响。
步骤S40，当所述第二评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
在本实施例中，待识别图像的质量评价分数，即第二评价分数大于或等于预设分数阈值时，说明该待识别图像的图像质量符合预设图像质量要求，则通过预设的姿态识别模型对待识别图像进行姿态识别，以识别出该待识别图像中行人的姿态，得到对应的姿态识别结果。
进一步地，所述通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果的步骤包括：
步骤d1，对所述待识别图像进行裁剪处理，以裁剪出只包含所述行人的目标图像；
步骤d2，通过预设的姿态识别模型对所述目标图像进行识别，得到所述行人的姿态识别结果。
在本实施例中，对符合预设图像质量要求的待识别图像进行裁剪处理，以截取只包含待识别行人部分的图像，即目标图像，可以减轻姿态识别过程中的运算压力，并将目标图像传送至姿态识别模型进行姿态识别，得到对应行人的姿态识别结果。
本实施例的姿态识别方法，获取行人的待处理图像，并通过预设的图像质量评价模型对待处理图像进行质量评价，得到待处理图像的第一评价分数；当第一评价分数小于预设分数阈值时，则对待处理图像进行图像增强处理，得到待识别图像；通过图像质量评价模型对待识别图像进行质量评价，得到待识别图像的第二评价分数；当第二评价分数大于或等于预设分数阈值时，则通过预设的姿态识别模型对待识别图像进行识别，得到行人的姿态识别结果。本发明对小于预设分数阈值的图像进行图像增强处理，以得到符合预设图像质量的待识别图像，再对待识别图像进行姿态识别，提高姿态识别的准确率。
进一步地，基于本发明姿态识别方法第一实施例，提出本发明姿态识别方法第二实施例。
姿态识别方法的第二实施例与姿态识别方法的第一实施例的区别在于，所述得到所述行人的姿态识别结果的步骤之后，还包括：
步骤e，根据所述姿态识别结果确定所述行人当前的姿态，并执行所述姿态对应的预设流程。
在本实施例中，对行人进行姿态识别可保障行人的人身安全，维护社会公共秩序。当姿态识别模型输出对应的姿态识别结果后，可根据预设的标注结果与姿态识别结果进行对比匹配，确定行人当前的姿态，再执行该姿态对应的预设流程。例如，预设的标注结果为：站姿1000，坐姿0100，趴姿0010，躺姿0001等，当输出的姿态识别结果为1000时，可确定行人当前处于站立姿态，属于安全的姿态信息，那么，可不作任何处理，继续对下一张图像进行姿态识别；当输出的姿态识别结果为其他结果即识别出不是站立姿态时，例如姿态识别结果为0010即识别出行人的姿态为趴姿，可执行预设告警流程，以告知相关人员发生异常事件。
进一步地，所述执行所述姿态对应的预设流程的步骤包括：
步骤f，判断所述姿态是否为跌倒姿态；
步骤g，当所述姿态为跌倒姿态时，则发出告警信息，以通知用户发生异常事件。
在本实施例中，跌倒状态包括坐、躺、趴等姿态，当实时获取的行人图像经过姿态识别模型进行姿态识别，得到对应的识别结果，即得到该行人当前的姿态时，需要对行人的当前姿态进行判断，以确定行人的当前姿态是否为跌倒姿态。当行人的姿态为跌倒姿态时，则发出告警推送，以告知对应的用户发生异常事件，存在行人跌倒的可能，交由用户进一步确认是否发生跌倒事件，若发生跌倒事件，可向医护人员推送告警信息，以及时救治跌倒的行人。
本实施例的姿态识别方法，通过姿态识别结果确定行人当前的姿态，当行人处于跌倒姿态时，则通过预设告警服务，以告知用户发生异常事件，能够及时为跌倒的行人提供相应的救助措施。
本发明还提供一种姿态识别装置。参照图5，本发明姿态识别装置包括：
第一评价模块10，用于获取行人的待处理图像，并通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
图像增强模块20，用于当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
第二评价模块30，用于通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
姿态识别模块40，用于当所述第二评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
优选地，所述姿态识别模块还用于：
对所述待识别图像进行裁剪处理，以裁剪出只包含所述行人的目标图像；
通过预设的姿态识别模型对所述目标图像进行识别，得到所述行人的姿态识别结果。
优选地，所述第一评价模块还包括图像识别单元，所述图像识别单元用于：
当所述第一评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待处理图像进行姿态识别，得到所述行人的姿态识别结果。
优选地，所述第二评价模块还包括图像增强单元，所述图像增强单元用于：
当所述第二评价分数小于所述预设分数阈值时，则通过对所述待识别图像进行图像增强处理，直到经过图像增强处理后的目标质量图像的质量评价分数大于或等于所述预设分数阈值。
优选地，所述姿态识别模块还包括执行流程单元，所述执行流程单元用于：
根据所述姿态识别结果确定所述行人当前的姿态，并执行所述姿态对应的预设流程。
优选地，所述姿态识别模块还包括预设告警单元，所述预设告警单元用于：
判断所述姿态是否为跌倒姿态；
当所述姿态为跌倒姿态时，则发出告警信息，以通知用户发生异常事件。
优选地，所述姿态识别装置还包括模型训练模块，所述模型训练模块用于：
获取待训练的样本图像，对所述样本图像进行预处理，得到目标样本图像，并根据第一预设网络对所述目标样本图像进行训练，得到预设的图像质量评价模型；
获取不同姿态的待训练图像，分别对各种姿态的待训练图像进行标注，得到标注后的姿态训练图像，并根据第二预设网络对所述姿态训练图像进行训练，得到预设的姿态识别模型。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有姿态识别程序，所述姿态识别程序被处理器执行时实现如上所述的姿态识别方法的步骤。
其中，在所述处理器上运行的姿态识别程序被执行时所实现的方法可参照本发明姿态识别方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端***(可以是手机，计算机，服务器，空调器，或者网络***等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种姿态识别方法，其特征在于，所述方法包括如下步骤：
获取不同光照强度、不同角度以及不同姿态的待训练的样本图像，对所述样本图像进行预处理，得到目标样本图像，通道分割ShuffleNet V2网络的输入通道数，得到第一分支与第二分支，保持所述第一分支不变，对所述第二分支进行卷积操作后与所述第一分支进行拼接，并进行通道混洗，当网络加载完成时，根据损失函数，确定对应的损失值，若所述损失值在预设损失值范围，得到预设的图像质量评价模型；
获取不同姿态的待训练图像，分别对各种姿态的待训练图像进行标注，得到标注后的姿态训练图像，基于所述姿态训练图像、第一预设尺寸与第二预设尺寸，生成第一姿态训练图像与第二姿态训练图像，将所述第一姿态训练图像与所述第二姿态训练图像分别输入相同的OSNet网络，得到训练样本的二元交叉熵，并对所述第一姿态训练图像与所述第二姿态训练图像进行反转处理，得到反转图像，对所述反转图像进行上采样处理，并在每次数据训练后，进行梯度清除处理，直到收敛，得到预设的姿态识别模型；
获取行人的待处理图像，并通过所述预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
当所述第二评价分数大于或等于所述预设分数阈值时，则通过所述预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
2.如权利要求1所述的姿态识别方法，其特征在于，所述通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果的步骤包括：
对所述待识别图像进行裁剪处理，以裁剪出只包含所述行人的目标图像；
通过预设的姿态识别模型对所述目标图像进行识别，得到所述行人的姿态识别结果。
3.如权利要求1所述的姿态识别方法，其特征在于，所述通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数的步骤之后，还包括：
当所述第一评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待处理图像进行姿态识别，得到所述行人的姿态识别结果。
4.如权利要求1所述的姿态识别方法，其特征在于，所述得到所述待识别图像的第二评价分数的步骤之后，还包括：
当所述第二评价分数小于所述预设分数阈值时，则通过对所述待识别图像进行图像增强处理，直到经过图像增强处理后的目标质量图像的质量评价分数大于或等于所述预设分数阈值。
5.如权利要求1所述的姿态识别方法，其特征在于，所述得到所述行人的姿态识别结果的步骤之后，还包括：
根据所述姿态识别结果确定所述行人当前的姿态，并执行所述姿态对应的预设流程。
6.如权利要求5所述的姿态识别方法，其特征在于，所述执行所述姿态对应的预设流程的步骤包括：
判断所述姿态是否为跌倒姿态；
当所述姿态为跌倒姿态时，则发出告警信息，以通知用户发生异常事件。
7.一种姿态识别装置，其特征在于，所述姿态识别装置包括：
第一评价模块，用于获取行人的待处理图像，并通过预设的图像质量评价模型对所述待处理图像进行质量评价，得到所述待处理图像的第一评价分数；
图像增强模块，用于当所述第一评价分数小于预设分数阈值时，则对所述待处理图像进行图像增强处理，得到待识别图像；
第二评价模块，用于通过所述图像质量评价模型对所述待识别图像进行质量评价，得到所述待识别图像的第二评价分数；
姿态识别模块，用于当所述第二评价分数大于或等于所述预设分数阈值时，则通过预设的姿态识别模型对所述待识别图像进行识别，得到所述行人的姿态识别结果。
8.一种姿态识别***，其特征在于，所述姿态识别***包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态识别程序，所述姿态识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的姿态识别方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有姿态识别程序，所述姿态识别程序被处理器执行时实现如权利要求1至6中任一项所述的姿态识别方法的步骤。
CN202110034783.5A 2021-01-11 2021-01-11 姿态识别方法、装置、***及计算机可读存储介质 Active CN112733722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034783.5A CN112733722B (zh) 2021-01-11 2021-01-11 姿态识别方法、装置、***及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034783.5A CN112733722B (zh) 2021-01-11 2021-01-11 姿态识别方法、装置、***及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112733722A CN112733722A (zh) 2021-04-30
CN112733722B true CN112733722B (zh) 2024-06-21

Family

ID=75591382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034783.5A Active CN112733722B (zh) 2021-01-11 2021-01-11 姿态识别方法、装置、***及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112733722B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255226A (zh) * 2021-12-22 2022-03-29 北京安德医智科技有限公司 多普勒全流程定量分析方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506708A (zh) * 2017-08-14 2017-12-22 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN111563480A (zh) * 2020-06-01 2020-08-21 北京嘀嘀无限科技发展有限公司 冲突行为检测方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN109376663A (zh) * 2018-10-29 2019-02-22 广东工业大学 一种人体姿态识别方法及相关装置
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN111144366A (zh) * 2019-12-31 2020-05-12 中国电子科技集团公司信息科学研究院 一种基于联合人脸质量评估的陌生人脸聚类方法
CN111553310B (zh) * 2020-05-08 2023-04-07 中国电子科技集团公司第三十八研究所 基于毫米波雷达的安检图像获取方法、***及安检设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506708A (zh) * 2017-08-14 2017-12-22 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN111563480A (zh) * 2020-06-01 2020-08-21 北京嘀嘀无限科技发展有限公司 冲突行为检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112733722A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US9734567B2 (en) Label-free non-reference image quality assessment via deep neural network
CN111178183B (zh) 人脸检测方法及相关装置
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN108269254B (zh) 图像质量评估方法和装置
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110070029B (zh) 一种步态识别方法及装置
CN109740590B (zh) 基于目标跟踪辅助的roi精确提取方法及***
US20220147778A1 (en) Information processing device, personal identification device, information processing method, and storage medium
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN109934077B (zh) 一种图像识别方法和电子设备
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN110119725B (zh) 用于检测信号灯的方法及装置
CN112733722B (zh) 姿态识别方法、装置、***及计算机可读存储介质
CN110795998B (zh) 人流量的检测方法、装置、电子设备及可读存储介质
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN114332925A (zh) 电梯内宠物检测方法、***、装置及计算机可读存储介质
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111582278B (zh) 人像分割方法、装置及电子设备
CN117496389A (zh) 一种适用于Android设备的手卫生实时检测方法
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
CN111091056A (zh) 图像中的墨镜识别方法及装置、电子设备、存储介质
KR102348123B1 (ko) 카메라 렌즈 오염 경고 장치 및 방법
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN110738137A (zh) 一种人流量统计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant