CN112115746B - 人体动作识别装置及方法、电子设备 - Google Patents
人体动作识别装置及方法、电子设备 Download PDFInfo
- Publication number
- CN112115746B CN112115746B CN201910541727.3A CN201910541727A CN112115746B CN 112115746 B CN112115746 B CN 112115746B CN 201910541727 A CN201910541727 A CN 201910541727A CN 112115746 B CN112115746 B CN 112115746B
- Authority
- CN
- China
- Prior art keywords
- human body
- detected
- detecting
- motion
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000033001 locomotion Effects 0.000 claims abstract description 68
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种人体动作识别装置及方法、电子设备。首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
Description
技术领域
本发明涉及信息技术领域。
背景技术
近年来，在深度学习的帮助下，计算机视觉领域的研究取得了很大的进步。深度学习是指在分层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合。深度学习的核心是特征学习，旨在通过分层神经网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。
安全监控是深度学习的重要应用之一，而人体动作和行为识别是安全监控的重要组成部分。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
但是，由于人体的动作比较复杂，应用的场景也多变，现有的动作识别方法处理速度较慢，且识别精度不高，另外，无法灵活的应对各种不同的场景和需求。
本发明实施例提供一种人体动作识别装置及方法、电子设备，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
根据本发明实施例的第一方面，提供一种人体动作识别装置，所述装置包括：目标检测单元，其用于检测输入图像中的人体的边界框；第一检测单元，其用于在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；第二检测单元，其用于在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果；以及选择单元，其用于选择所述第一检测单元和所述第二检测单元中的至少一个来检测人体的动作，以得到所述第一识别结果和所述第二识别结果中的至少一个。
根据本发明实施例的第二方面，提供一种电子设备，所述电子设备包括根据本发明实施例的第一方面所述的装置。
根据本发明实施例的第三方面，提供一种人体动作识别方法，所述方法包括：检测输入图像中的人体的边界框；选择并进行以下的至少一种检测：在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；以及在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果。
本发明的有益效果在于：首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例1的人体动作识别装置的一示意图；
图2是本发明实施例1的第一检测单元102的一示意图；
图3是本发明实施例1的人体的关键点的检测结果的一示意图；
图4是本发明实施例1的基于关键点得到人体的特征的一示意图；
图5是本发明实施例1的利用人体动作识别装置100进行人体动作识别的一示意图；
图6是本发明实施例2的电子设备的一示意图；
图7是本发明实施例2的电子设备的***构成的一示意框图；
图8是本发明实施例3的人体动作识别方法的一示意图。
具体实施方式
参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本发明实施例提供一种人体动作识别装置。图1是本发明实施例1的人体动作识别装置的一示意图。
如图1所示，人体动作识别装置100包括：
目标检测单元101，其用于检测输入图像中的人体的边界框；
第一检测单元102，其用于在检测出的人体的边界框中，基于人体的关键点计算人体的特征并根据人体的特征来检测人体的动作，得到第一识别结果；
第二检测单元103，其用于在检测出的人体的边界框中，基于卷积神经网络来检测人体的动作，得到第二识别结果；以及
选择单元104，其用于选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到第一识别结果和第二识别结果中的至少一个。
由上述实施例可知，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
在本实施例中，该输入图像可以是实时获得或预先获得的图像。例如，该输入图像是监控设备拍摄得到的视频图像，每一个输入图像对应于该视频图像的一帧。
在本实施例中，目标检测单元101用于检测输入图像中的人体的边界框。目标检测单元101可以基于各种目标检测方法进行检测，例如，Faster R-CNN，FPN，Yolo网络等。
在本实施例中，可以根据不同的需求使用不同的网络进行检测，例如，对处理速度要求较高时可以使用Yolo网络，对识别精度要求较高时可以使用Faster R-CNN网络。
通过目标检测单元101，当输入图像中存在至少一个人体时，检测出至少一个人体的边界框。在检测出人体的边界框之后，选择单元104选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到第一识别结果和第二识别结果中的至少一个。
在本实施例中，选择单元104可以根据实际的需要或应用场景来选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到第一识别结果和第二识别结果中的至少一个。当目标检测单元101在输入图像中检测到多个人体的多个边界框时，根据选择单元104的选择结果，第一检测单元102和/或第二检测单元103对多个边界框逐一进行检测。
例如，对于仅需要检测简单动作的情况，例如，走，站，坐等简单的躯干动作，在该情况下，选择单元104选择第二检测单元103来检测人体的动作，即输出第二识别结果。
在本实施例中，第二检测单元103在检测出的人体的边界框中，基于卷积神经网络(CNN)来检测人体的动作，得到第二识别结果。
在本实施例中，可以使用流行的CNN网络来实现躯干动作的检测，例如，使用AlexNet网络来进行检测。
在本实施例中，在对该CNN网络进行训练时，可以先建立训练数据集，该训练数据集包括动作标注为“走”、“站”、“坐”、“跑”、“蹲”以及“躺”的人体的图像，这些图像可以从开放数据集得到。
又例如，对于需要同时检测简单动作和较为复杂的动作的情况，例如，除了走，站，坐等简单的躯干动作，还包括抬头以及举手等较为复杂的局部动作，在该情况下，选择单元104选择第一检测单元102来检测人体的动作，即输出第一识别结果。或者，也可以选择第一检测单元102和第二检测单元103同时进行检测，即输出第一识别结果和第二识别结果。
在本实施例中，第一检测单元102在检测出的人体的边界框中，基于人体的关键点计算人体的特征并根据人体的特征来检测人体的动作，得到第一识别结果。
图2是本发明实施例1的第一检测单元102的一示意图。如图2所示，第一检测单元102包括：
第一检测模块201，其用于在检测出的人体的边界框中检测人体的关键点；
计算模块202，其用于根据检测出的人体的关键点计算人体的特征；以及
第二检测模块203，其用于根据计算出的人体的特征，基于分类器和/或预设的规则检测人体的动作，得到第一识别结果。
在本实施例中，第一检测模块201可以基于各种方法来检测人体的关键点(key-points)，例如，第一检测模块201基于级联金字塔网络(CPN，Cascaded Pyramid Network)来检测人体的关键点。或者，也可以基于Open-pose或Alpha-pose等方法来检测。
在本实施例中，人体的关键点可以包括分别表示人体的多个部位所在位置的多个点，例如，分别表示人体的两个耳朵，两个眼睛，鼻子，两个肩膀，两个肘部，两个手腕，两个髋部，两个膝盖以及两个脚踝的点。
图3是本发明实施例1的人体的关键点的检测结果的一示意图。如图3所示，在一个人体的边界框中，通过CPN检测到表示人体的各个部位的关键点并能够输出这些关键点的位置信息。
在本实施例中，计算模块202根据第一检测模块201检测出的人体的关键点计算人体的特征，例如，人体的特征可以包括：分别表示人体的多个部位所在位置的多个点的二维坐标；以及多个点的连线之间的至少一个角度。
在本实施例中，需要计算的人体的特征可以根据实际需要而确定。
图4是本发明实施例1的基于关键点得到人体的特征的一示意图。如图4所示，用于计算特征的关键点包括以下人体部位所在的点：鼻子、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝以及右脚踝。计算的人体的特征包括这些点的二维坐标，例如，这些点的X坐标和Y坐标，另外，人体的特征还可以包括左腿和躯干之间的第1角度、右腿和躯干之间的第2角度、左小腿和左大腿之间的第3角度以及右小腿和右大腿之间的第4角度。
在计算模块202计算出人体的特征之后，第二检测模块203根据计算出的人体的特征，基于分类器和/或预设的规则检测人体的动作，得到第一识别结果。
在本实施例中，第二检测模块203可以根据计算出的人体的特征，基于分类器检测人体的躯干动作，并基于预设的规则检测人体的头部动作和上肢动作。
在本实施例中，第二检测模块203可以基于各种分类器检测人体的躯干动作，例如，第二检测模块203可以基于多层感知机(MLP，Multi-Layer Perceptron)分类器进行检测。根据计算出的特征并基于MLP分类器进行检测，能够获得较好的检测性能。
在本实施例中，第二检测模块203还可以基于预设的规则检测人体的头部动作和上肢动作，例如，抬头看，低头看，举手等动作。可以根据实际需要来针对不同的动作设定预设的规则，例如，当两个耳朵的高度高于两个眼睛的高度时，则判断为“向下看”；当手腕的高度高于肘部的高度时，则判断为“举手”。
图5是本发明实施例1的利用人体动作识别装置100进行人体动作识别的一示意图。如图5所示，包含多个人体的输入图像输入至目标检测单元101中，目标检测单元101检测到输入图像中的各个人体的边界框并分别输出至第一检测单元102和第二检测单元103中，第一检测单元102和第二检测单元103根据选择单元104的选择结果实施检测，输出第一识别结果和第二识别结果中的至少一个。
由上述实施例可知，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
实施例2
本发明实施例还提供了一种电子设备，图6是本发明实施例2的电子设备的一示意图。如图6所示，电子设备600包括人体动作识别装置601，人体动作识别装置601的结构和功能与实施例1中的记载相同，此处不再赘述。
图7是本发明实施例2的电子设备的***构成的一示意框图。如图7所示，电子设备700可以包括中央处理器701和存储器702；该存储器702耦合到该中央处理器701。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
如图7所示，电子设备700还可以包括：输入单元703、显示器704、电源705。
在一个实施方式中，实施例1所述的人体动作识别装置的功能可以被集成到中央处理器701中。其中，中央处理器701可以被配置为：检测输入图像中的人体的边界框；选择并进行以下的至少一种检测：在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；以及在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果。
例如，在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果，包括：在检测出的人体的边界框中检测所述人体的关键点；根据检测出的所述人体的关键点计算所述人体的特征；以及根据计算出的所述人体的特征，基于分类器和/或预设的规则检测所述人体的动作，得到第一识别结果。
在另一个实施方式中，实施例1所述的人体动作识别装置可以与该中央处理器701分开配置，例如可以将该人体动作识别装置配置为与中央处理器701连接的芯片，通过中央处理器701的控制来实现该人体动作识别装置的功能。
在本实施例中电子设备700也并不是必须要包括图7中所示的所有部件。
如图7所示，中央处理器701有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，中央处理器701接收输入并控制电子设备700的各个部件的操作。
该存储器702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该中央处理器701可执行该存储器702存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备700的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。
由上述实施例可知，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
实施例3
本发明实施例还提供一种人体动作识别方法，该方法对应于实施例1的人体动作识别装置。图8是本发明实施例3的人体动作识别方法的一示意图。如图8所示，该方法包括：
步骤801：检测输入图像中的人体的边界框；以及
步骤802：选择并进行以下的至少一种检测：在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；以及在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果。
在本实施例中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。
由上述实施例可知，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。
本发明实施例还提供一种计算机可读程序，其中当在人体动作识别装置或电子设备中执行所述程序时，所述程序使得计算机在所述人体动作识别装置或电子设备中执行实施例3所述的人体动作识别方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在人体动作识别装置或电子设备中执行实施例3所述的人体动作识别方法。
结合本发明实施例描述的人体动作识别装置或电子设备中执行人体动作识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图8所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可***移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
Claims (10)
1.一种人体动作识别装置，所述装置包括：
目标检测单元，其用于检测输入图像中的人体的边界框；
第一检测单元，其用于在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；
第二检测单元，其用于在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果；以及
选择单元，其用于选择所述第一检测单元和所述第二检测单元中的至少一个来检测人体的动作，以得到所述第一识别结果和所述第二识别结果中的至少一个。
2.根据权利要求1所述的装置，其中，所述第一检测单元包括：
第一检测模块，其用于在检测出的人体的边界框中检测所述人体的关键点；
计算模块，其用于根据检测出的所述人体的关键点计算所述人体的特征；以及
第二检测模块，其用于根据计算出的所述人体的特征，基于分类器和/或预设的规则检测所述人体的动作，得到第一识别结果。
3.根据权利要求2所述的装置，其中，
所述人体的关键点包括分别表示所述人体的多个部位所在位置的多个点。
4.根据权利要求2所述的装置，其中，
所述人体的特征包括：
分别表示所述人体的多个部位所在位置的多个点的二维坐标；以及
所述多个点的连线之间的至少一个角度。
5.根据权利要求2所述的装置，其中，
所述第一检测模块基于级联金字塔网络(CPN)检测所述人体的关键点。
6.根据权利要求2所述的装置，其中，
所述分类器是多层感知机(MLP)分类器。
7.根据权利要求2所述的装置，其中，
所述第二检测模块根据计算出的所述人体的特征，基于分类器检测所述人体的躯干动作，并基于预设的规则检测所述人体的头部动作和上肢动作。
8.一种电子设备，所述电子设备包括根据权利要求1-7中的任一项所述的装置。
9.一种人体动作识别方法，所述方法包括：
检测输入图像中的人体的边界框；
选择并进行以下的至少一种检测：在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；以及在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果。
10.根据权利要求9所述的方法，其中，在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果，包括：
在检测出的人体的边界框中检测所述人体的关键点；
根据检测出的所述人体的关键点计算所述人体的特征；以及
根据计算出的所述人体的特征，基于分类器和/或预设的规则检测所述人体的动作，得到第一识别结果。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910541727.3A CN112115746B (zh) | 2019-06-21 | 2019-06-21 | 人体动作识别装置及方法、电子设备 |
| JP2020086788A JP7419964B2 (ja) | 2019-06-21 | 2020-05-18 | 人体動作認識装置及び方法、電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910541727.3A CN112115746B (zh) | 2019-06-21 | 2019-06-21 | 人体动作识别装置及方法、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112115746A CN112115746A (zh) | 2020-12-22 |
| CN112115746B true CN112115746B (zh) | 2024-06-18 |
Family
ID=73796387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910541727.3A Active CN112115746B (zh) | 2019-06-21 | 2019-06-21 | 人体动作识别装置及方法、电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7419964B2 (zh) |
| CN (1) | CN112115746B (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590099B (zh) * | 2015-12-22 | 2019-02-01 | 中国石油大学(华东) | 一种基于改进卷积神经网络的多人行为识别方法 |
| US20170316578A1 (en) | 2016-04-29 | 2017-11-02 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence |
| CN106778796B (zh) * | 2016-10-20 | 2020-04-21 | 江苏大学 | 基于混合式协同训练的人体动作识别方法及*** |
| CN106909887A (zh) * | 2017-01-19 | 2017-06-30 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于cnn和svm的动作识别方法 |
| CN107832708A (zh) * | 2017-11-09 | 2018-03-23 | 云丁网络技术(北京)有限公司 | 一种人体动作识别方法及装置 |
| CN108229305B (zh) | 2017-11-21 | 2021-06-04 | 北京市商汤科技开发有限公司 | 用于确定目标对象的外接框的方法、装置和电子设备 |
| CN108197575A (zh) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | 一种基于目标检测和骨点检测的异常行为识别方法及装置 |
| CN109101901B (zh) * | 2018-07-23 | 2020-10-27 | 北京旷视科技有限公司 | 人体动作识别及其神经网络生成方法、装置和电子设备 |
| CN108960192B (zh) * | 2018-07-23 | 2022-03-25 | 北京旷视科技有限公司 | 动作识别方法及其神经网络生成方法、装置和电子设备 |
| CN109241829B (zh) | 2018-07-25 | 2020-12-04 | 中国科学院自动化研究所 | 基于时空注意卷积神经网络的行为识别方法及装置 |
| CN109145867B (zh) | 2018-09-07 | 2021-08-10 | 北京旷视科技有限公司 | 人体姿态估计方法、装置、***、电子设备、存储介质 |
| CN109214346B (zh) | 2018-09-18 | 2022-03-29 | 中山大学 | 基于层次信息传递的图片人体动作识别方法 |
-
2019
- 2019-06-21 CN CN201910541727.3A patent/CN112115746B/zh active Active
-
2020
- 2020-05-18 JP JP2020086788A patent/JP7419964B2/ja active Active
Non-Patent Citations (2)
| Title |
|---|
| 基于自动编码器和神经网络的人体运动识别;司阳;肖秦琨;李兴;;国外电子测量技术(01);全文 * |
| 复杂场景下的运动目标识别算法;宫法明;李然;马玉辉;;计算机***应用(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021002332A (ja) | 2021-01-07 |
| CN112115746A (zh) | 2020-12-22 |
| JP7419964B2 (ja) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mori et al. | Estimating human body configurations using shape context matching | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| JP2021064367A (ja) | 動作認識方法、動作認識装置及び電子機器 | |
| CN110390303B (zh) | 摔倒报警方法、电子设备及计算机可读存储介质 | |
| CN113033369B (zh) | 动作捕捉方法、装置、电子设备及计算机可读存储介质 | |
| CN110874865A (zh) | 三维骨架生成方法和计算机设备 | |
| US20220207921A1 (en) | Motion recognition method, storage medium, and information processing device | |
| CN113255522B (zh) | 基于时间一致性的个性化运动姿态估计与分析方法及*** | |
| CN114549765A (zh) | 三维重建方法及装置、计算机可存储介质 | |
| KR20210006722A (ko) | 안전 장비의 착용 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN111222379A (zh) | 一种手部检测方法及装置 | |
| Yang et al. | Human exercise posture analysis based on pose estimation | |
| CN111368787A (zh) | 视频处理方法及装置、设备和计算机可读存储介质 | |
| CN112784658A (zh) | 基于原子姿势的动作识别方法及其***与电脑可读取记录媒体 | |
| CN114463663A (zh) | 一种人员身高的计算方法、装置、电子设备及存储介质 | |
| CN112115746B (zh) | 人体动作识别装置及方法、电子设备 | |
| US11521411B2 (en) | System and method for providing multi-camera 3D body part labeling and performance metrics | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
| CN113569775B (zh) | 一种基于单目rgb输入的移动端实时3d人体动作捕捉方法及***、电子设备、存储介质 | |
| US20220076442A1 (en) | Data processing apparatus, image analysis method, and recording medium | |
| Chin et al. | Conceptual design and implementation for visual tracking ankle rehabilitation system | |
| CN113544736A (zh) | 下肢肌肉力量估计***、下肢肌肉力量估计方法及程序 | |
| CN111294518A (zh) | 人像构图肢体截断检测方法、装置、终端及存储介质 | |
| CN115966016B (zh) | 一种跳跃状态识别方法、***、电子设备及存储介质 | |
| CN114373531B (zh) | 一种行为动作监测矫正方法、***、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |