CN109086729B - 通信行为检测方法、装置、设备及存储介质 - Google Patents
通信行为检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109086729B CN109086729B CN201810921697.4A CN201810921697A CN109086729B CN 109086729 B CN109086729 B CN 109086729B CN 201810921697 A CN201810921697 A CN 201810921697A CN 109086729 B CN109086729 B CN 109086729B
- Authority
- CN
- China
- Prior art keywords
- key point
- key
- information
- key points
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephone Function (AREA)
Abstract
本发明涉及一种通信行为检测方法、装置、设备及存储介质。其中，通信行为检测方法包括：获取受监控人员的行为图片信息；将图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点和眼睛关键点中的至少一个；其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；根据关键点信息，判断行为图片信息是否包含通信行为。
Description
技术领域
本发明涉及行为检测技术领域，具体涉及一种通信行为检测方法、装置、设备及存储介质。
背景技术
随着通信技术的发展，移动通信设备也成为人们生活不可分割的一部分。人们经常使用移动通信设备进行通信。但是，使用移动通信设备进行通信的行为在很多场合都是禁止的。例如：在加油站或飞机等场合禁止使用动通信设备进行通信。
在禁止使用移动通信设备进行通信的场合，为了阻止人们使用移动通信设备进行通信，一般通过监控设备获取人的图片，并对图片中人的手势进行识别判断，判断是否存在使用移动通信设备进行通信的行为，若对该行为进行阻止。这种方式虽然避免了对周围区域人们的影响，但是当人距离监控设备较远时，监控设备获取的图片清晰度降低，对图片进行识别判断时，正确率低下。
发明内容
有鉴于此，本发明的目的在于克服现有技术中当人距离监控设备较远时，监控设备获取的图片清晰度降低，对图片进行识别判断时，正确率低下的不足的问题，提供一种通信行为检测方法、装置、设备及存储介质。
根据本申请实施例的第一方面，提供一种通信行为检测方法，包括：
获取受监控人员的行为图片信息；
将所述图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点和眼睛关键点中的至少一个；
其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；
根据所述关键点信息，判断所述行为图片信息是否包含通信行为。
可选的，所述输姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。
可选的，所述生成关键点信息，包括：
生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息；
所述根据所述关键点信息，判断所述行为图片信息是否包含通信行为，包括：
计算所述手掌关键点与所述脸部关键点之间的距离；
判断所述手掌关键点与所述脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定所述行为图片信息是否包含通信行为。
可选的，生成手掌关键点位置信息的方法，包括：
生成手肘关键点位置信息和手腕关键点位置信息；
根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息。
可选的，所述根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息包括：
根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手肘关键点和手腕关键点所在的直线；
当直线上目标点对应的第一距离为第二距离的第一预设数目倍时，确定所述目标点的位置信息为手掌关键点的位置信息；
其中，所述目标点为所述直线上的所述手肘关键点和所述手腕关键点形成的线段之外的任一点；所述第一距离为所述目标点与所述手肘关键点之间的距离，所述第二距离为所述目标点与所述手腕关键点之间的距离。
可选的，第一预设数目的取值范围为3～5。
可选的，所述根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息包括：
根据所述手肘关键点位置信息和手腕关键点位置信息，确定以所述手肘关键点和手腕关键点为端点的线段；
确定所述线段的第二预设数目分之一处的靠近所述手腕关键点的辅助点；
确定所述辅助点关于所述手腕关键点的对称点；
所述对称点的位置信息为所述手掌的位置信息。
可选的，第二预设数目的取值范围为3～5。
可选的，所述生成关键点信息，包括：
生成连续时间内，不同帧数对应的，手肘关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手腕关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手掌关键点是否使用电话的信息和帧数信息；
所述根据所述关键点信息，判断所述行为图片信息是否包含通信行为，包括：
根据所述手肘关键点位置信息和所述手腕关键点位置信息，判断所述行为是否为抬手行为；
若是，则根据所述手肘关键点帧数信息和所述手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
若是，则根据所述手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
若是，则确定所述行为图片信息是否包含通信行为。
根据本申请实施例的第二方面，提供一种通信行为检测装置，包括：
获取模块，获取受监控人员的行为图片信息；
生成模块，将所述图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点和眼睛关键点中的至少一个；
其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；
判断模块，根据所述关键点信息，判断所述行为图片信息是否包含通信行为。
可选的，所述姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。
可选的，所述生成模块，具体用于：将所述图片信息输入姿态估计模块，生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息；
所述判断模块具体用于：
计算所述手掌关键点与所述脸部关键点之间的距离；
判断所述手掌关键点与所述脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定所述行为图片信息是否包含通信行为。
可选的，所述生成模块，具体用于：
生成连续时间内，不同帧数对应的，手肘关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手腕关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手掌关键点是否使用电话的信息和帧数信息；
所述判断模块具体用于：
所述根据所述关键点信息，判断所述行为图片信息是否包含通信行为，包括：
根据所述手肘关键点位置信息和所述手腕关键点位置信息，判断所述行为是否为抬手行为；
若是，则根据所述手肘关键点帧数信息和所述手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
若是，则根据所述手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
若是，则确定所述行为图片信息是否包含通信行为。
根据本申请实施例的第三方面，提供一种通信行为检测设备，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行本申请第一方面所述的通信行为检测方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
根据本申请实施例的第四方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现本申请第一方面所述的通信行为检测方法中各个步骤。
本发明采用以上技术方案，可以获取行为图片信息；之后将图片信息输入姿态估计模块，生成关键点位置信息；并根据关键点信息，判断所述行为图片信息是否包含通信行为。各个关键点包括：手腕、手肘和眼睛所在点位中的至少一个；由于手腕、手肘和眼睛等关键点所占据的位置的大小，相较于用于判断手势的手上的各个细节占据位置更大。所在通过手腕、手肘和眼睛等关键点点位来确定行为是否为通信行为，相较于通过手势来确定对于画面的清晰度要求更低，所以当人距离监控设备较远时，监控设备获取的图片清晰度降低，相较于使用背景技术中的方案，通过本方案对所述行为图片信息是否包含通信行为进行识别判断，可以提高判断的正确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的通信行为检测方法的流程示意图。
图2是本申请另一个实施例提供的通信行为检测方法的流程示意图。
图3是本申请另一个实施例提供的通信行为检测方法的流程示意图。
图4是本申请另一个实施例提供的通信行为检测装置的结构示意图。
图5是本申请另一个实施例提供的通信行为检测设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所生成的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明实施例一提供的通信行为检测方法的流程示意图。
如图1所示，本实施例的方法包括：
S101，获取受监控人员的行为的图片信息；
其中，行为图片信息由监控设备拍摄得到。
具体的，监控设备可以是各个种类的摄像头，监控一些禁止使用移动通信设备进行通信的行为的场合的人员，实时的拍摄下上述场合内的人员的行为的图片信息。其中，受监控人员为禁止使用移动通信设备进行通信的行为的场合的人员。
S102，将图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点和眼睛关键点中的至少一个；
其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；
具体的，输入姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。OpenPose基于骨架模型的姿态识别技术是一种把人体姿态作为一个整体来处理的技术。这种技术可以用来实时的追踪和检测多人的特征点，可以同时定位人体上的18个关键特征点。
S103，根据关键点信息，判断行为图片信息是否包含通信行为。
本发明采用以上技术方案，可以通过监控设备获取行为图片信息；之后将图片信息输入姿态估计模块，生成关键点位置信息；并根据关键点信息，判断行为是否为通信行为。各个关键点包括：手腕、手肘和眼睛所在点位中的至少一个。由于手腕、手肘和眼睛等关键点所占据的位置的大小，相较于用于判断手势的手上的各个细节占据位置更大。所在通过手腕、手肘和眼睛等关键点点位来确定行为是否为通信行为，相较于通过手势来确定对于画面的清晰度要求更低，所以当人距离监控设备较远时，监控设备获取的图片清晰度降低，相较于使用背景技术中的方案，通过本方案对图片中行为进行识别判断，可以提高判断的正确率。
实际的应用中，通过上述技术方案进行通信行为检测的方法主要有以下两种。
其中，参照图2，一种方法的步骤如下所示：
S201，生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息；
具体的，S201为S102的进一步的解释。将图片信息输入姿态估计模块，生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息。
进一步的，生成手掌关键点位置信息的方法为：生成手肘关键点位置信息和手腕关键点位置信息；根据手肘关键点位置信息和手腕关键点位置信息，确定手掌关键点位置信息。
其中，生成手肘关键点位置信息和手腕关键点位置信息为：将图片信息输入姿态估计模块，生成手肘关键点位置信息和手腕关键点位置信息。
根据手肘关键点位置信息和手腕关键点位置信息，确定手掌关键点位置信息为：根据手肘关键点位置信息和手腕关键点位置信息，确定手肘关键点和手腕关键点所在的直线；当直线上目标点对应的第一距离为第二距离的第一预设数目倍时，确目标点的位置信息为手掌关键点的位置信息；其中，目标点为直线上的手肘关键点和手腕关键点形成的线段之外的任一点；第一距离为目标点与手肘关键点之间的距离，第二距离为目标点与手腕关键点之间的距离。其中第一预设数目的取值范围为4～6。具体的，第一预设数目可以为5。
根据手肘关键点位置信息和手腕关键点位置信息，确定手腕关键点位置信息还可以为：
根据手肘关键点位置信息和手腕关键点位置信息，确定以手肘关键点和手腕关键点为端点的线段；
确定线段的第二预设数目分之一处的靠近手腕关键点的辅助点；
确定辅助点关于手腕关键点的对称点；
对称点的位置信息为手掌的位置信息。
其中，第二预设数目的取值范围为3～5。具体的，第二预设数目可以为4。
S202，计算手掌关键点与脸部关键点之间的距离；
具体的，可以建立三维模型，根据手掌关键点的信息和脸部关键点的信息，确定手掌关键点与脸部关键点之间的距离。
S203，判断手掌关键点与脸部关键点之间的距离是否小于预设距离；
其中，预设距离的取值范围为0～60像素距离。
S204，若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
S205，若判断结果为否，则确定受监控人员的行为为打电话行为。
若被监控人员在使用通信设备的其他功能，例如：玩游戏，阅读电子文档等，需要将通信设备放置在眼前，即放置在左眼关键点和右眼关键点的连线的中垂线上；同时，由于一般情况下，通信设备是由手掌进行拿起，所以可以将手掌关键点的位置近似认为是通信设备的位置。当持有通信设备的手掌距离脸部距离较近且并非放在眼前时，则认为是利用通信设备进行通信。
参照图3，另一种方法的步骤如下所示：
S301，生成连续时间内，不同帧数对应的，手肘关键点位置信息和帧数信息；
S302，生成连续时间内，不同帧数对应的，手腕关键点位置信息和帧数信息；
S303，生成连续时间内，不同帧数对应的，手掌关键点是否使用电话的信息和帧数信息；
具体的，S301、S302和S303为S102的进一步的解释。将图片信息输入姿态估计模块，生成连续时间内，不同帧数下的，手肘关键点位置信息和帧数信息；生成连续时间内，不同帧数下的，手腕关键点位置信息和帧数信息；生成连续时间内，不同帧数下的，手掌关键点是否使用电话的信息和帧数信息；生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息。
S304，根据手肘关键点位置信息和手腕关键点位置信息，判断行为是否为抬手行为；
具体的，可以将手肘关键点位置信息和手腕腕关键点位置信息输入采用了OpenPose基于骨架模型的姿态识别技术的姿态估计模块，如此便可以判断行为是否为抬手行为。
S305，若是，则根据手肘关键点帧数信息和手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
具体的，第一预设时间的范围3-5秒，进一步的，第一预设时间可以为5秒。
S306，若是，则根据手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
具体的，第二预设时间的范围3-5秒，进一步的，第二预设时间可以为3秒。
S307，若是，则确定受监控人员的行为为打电话行为。
上述判断方式的依据为：当受监控的人员拿着手机抬起手超过一定时间，那么极有可能是在利用通信设备打进行通信。如此通过S304判断是否进行了抬手动作；通过S305判断抬手动作的持续时间、通过S306判断是否持有手机，如此便可以一步步的确定受监控人员是否满足本段提及的依据中的各个条件，并判断受监控人员是否在进行通信。
图4是本申请另一个实施例提供的通信行为检测装置的结构示意图。参照图4，本申请提供的通信行为检测装置包括：
获取模块401，获取受监控人员的行为图片信息；
其中，行为图片信息由监控设备拍摄得到。
生成模块402，将图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点和眼睛关键点中的至少一个；
判断模块403，根据关键点信息，判断行为图片信息是否包含通信行为。
本发明采用以上技术方案，可以通过监控设备获取行为图片信息；之后将图片信息输入姿态估计模块，生成关键点位置信息；并根据关键点信息，判断行为是否为通信行为。各个关键点可以包括：手腕、手肘和眼睛所在的18个关键节点。由于手腕、手肘和眼睛等关键点所占据的位置的大小，相较于用于判断手势的手上的各个细节占据位置更大。所在通过手腕、手肘和眼睛等关键点点位来确定行为是否为通信行为，相较于通过手势来确定对于画面的清晰度要求更低，所以当人距离监控设备较远时，监控设备获取的图片清晰度降低，相较于使用背景技术中的方案，通过本方案对行为进行识别判断，可以提高判断的正确率。
可选的，输入姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。
可选的，还包括：生成关键点信息，包括：
生成模块402，具体用于：
将图片信息输入姿态估计模块，生成手掌关键点位置信息、脸部关键点位置信息、手掌关键点位置信息、左眼关键点位置信息和右眼关键点位置信息；
判断模块403具体用于：
计算手掌关键点与脸部关键点之间的距离；
判断手掌关键点与脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定行为图片信息是否包含通信行为。
可选的，生成模块402，具体用于：
生成连续时间内，不同帧数下的，手肘关键点位置信息和帧数信息；
生成连续时间内，不同帧数下的，手腕关键点位置信息和帧数信息；
生成连续时间内，不同帧数下的，手掌关键点是否使用电话的信息和帧数信息；
判断模块403具体用于：
根据关键点信息，判断行为图片信息是否包含通信行为，包括：
根据手肘关键点位置信息和手腕关键点位置信息，判断行为是否为抬手行为；
若是，则根据手肘关键点帧数信息和手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
若是，则根据手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
若是，则确定行为图片信息是否包含通信行为。
图5是本申请另一个实施例提供的通信行为检测设备的结构示意图。参照图5，本申请提供的通信行为检测设备包括：处理器502，以及与处理器502相连接的存储器501；
存储器501用于存储计算机程序，计算机程序至少用于执行本申请提供的通信行为检测方法；
处理器502用于调用并执行存储器501中的计算机程序。
本发明采用以上技术方案，可以通过监控设备获取行为图片信息；之后将图片信息输入姿态估计模块，生成关键点位置信息；并根据关键点信息，判断行为是否为通信行为。各个关键点可以包括：手腕、手肘和眼睛所在点位中的至少一个。由于手腕、手肘和眼睛等关键点所占据的位置的大小，相较于用于判断手势的手上的各个细节占据位置更大。所在通过手腕、手肘和眼睛等关键点点位来确定行为是否为通信行为，相较于通过手势来确定对于画面的清晰度要求更低，所以当人距离监控设备较远时，监控设备获取的图片清晰度降低，相较于使用背景技术中的方案，通过本方案对行为进行识别判断，可以提高判断的正确率。
本申请还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现本申请提供的通信行为检测方法中各个步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种通信行为检测方法，其特征在于，包括：
获取受监控人员的行为图片信息；
将所述图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点、脸部关键点、和眼睛关键点中的至少一个；
其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；
根据所述关键点信息，判断所述行为图片信息是否包含通信行为；
其中包括：计算所述手掌关键点与所述脸部关键点之间的距离；
判断所述手掌关键点与所述脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定所述行为图片信息包含通信行为。
2.根据权利要求1所述的方法，其特征在于，所述输入姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。
3.根据权利要求1所述的方法，其特征在于，生成手掌关键点位置信息的方法，包括：
生成手肘关键点位置信息和手腕关键点位置信息；
根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息包括：
根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手肘关键点和手腕关键点所在的直线；
当直线上目标点对应的第一距离为第二距离的第一预设数目倍时，确定所述目标点的位置信息为手掌关键点的位置信息；
其中，所述目标点为直线上的所述手肘关键点和所述手腕关键点形成的线段之外的任一点；所述第一距离为所述目标点与所述手肘关键点之间的距离，所述第二距离为所述目标点与所述手腕关键点之间的距离。
5.根据权利要求4所述的方法，其特征在于，第一预设数目的取值范围为4～6。
6.根据权利要求3所述的方法，其特征在于，所述根据所述手肘关键点位置信息和手腕关键点位置信息，确定所述手掌关键点位置信息包括：
根据所述手肘关键点位置信息和手腕关键点位置信息，确定以所述手肘关键点和手腕关键点为端点的线段；
确定所述线段的第二预设数目分之一处的靠近所述手腕关键点的辅助点；
确定所述辅助点关于所述手腕关键点的对称点；
所述对称点的位置信息为所述手掌的位置信息。
7.根据权利要求6所述的方法，其特征在于，第二预设数目的取值范围为3～5。
8.根据权利要求1所述的方法，其特征在于，所述生成关键点信息，包括：
生成连续时间内，不同帧数对应的，手肘关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手腕关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手掌关键点是否使用电话的信息和帧数信息；
所述根据所述关键点信息，判断所述行为图片信息是否包含通信行为，包括：
根据所述手肘关键点位置信息和所述手腕关键点位置信息，判断所述行为是否为抬手行为；
若是，则根据所述手肘关键点帧数信息和所述手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
若是，则根据所述手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
若是，则确定所述行为图片信息是否包含通信行为。
9.一种通信行为检测装置，其特征在于，包括：
获取模块，获取受监控人员的行为图片信息；
生成模块，将所述图片信息输入姿态估计模块，生成关键点信息；其中，关键点包括手腕关键点、手掌关键点、手肘关键点、脸部关键点和眼睛关键点中的至少一个；
其中，手腕关键点为对应手腕部位的关键点；手掌关键点为对应手掌部位的关键点；手肘关键点为对应手肘部位的关键点；眼睛关键点为对应眼睛部位的关键点；
判断模块，根据所述关键点信息，判断所述行为图片信息是否包含通信行为；
其中包括：计算所述手掌关键点与所述脸部关键点之间的距离；
判断所述手掌关键点与所述脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定所述行为图片信息包含通信行为。
10.根据权利要求9所述的装置，其特征在于，所述输入姿态估计模块，采用了OpenPose基于骨架模型的姿态识别技术。
11.根据权利要求9所述的装置，其特征在于，所述生成模块，具体用于：将所述图片信息输入姿态估计模块，生成手掌关键点位置信息、脸部关键点位置信息、左眼关键点位置信息和右眼关键点位置信息；
所述判断模块具体用于：
计算所述手掌关键点与所述脸部关键点之间的距离；
判断所述手掌关键点与所述脸部关键点之间的距离是否小于预设距离；
若是，则判断在水平方向上，手掌关键点是否位于左眼关键点所在的沿受监控人员脸部正前方延伸的直线和右眼关键点所在的沿受监控人员脸部正前方延伸的直线之间；
若否，则确定所述行为图片信息包含通信行为。
12.根据权利要求9所述的装置，其特征在于，
所述生成模块，具体用于：
生成连续时间内，不同帧数对应的，手肘关键点位置信息和帧数信息；生成连续时间内，不同帧数对应的，手腕关键点位置信息和帧数信息；
生成连续时间内，不同帧数对应的，手掌关键点是否使用电话的信息和帧数信息；所述判断模块具体用于：
所述根据所述关键点信息，判断所述行为图片信息是否包含通信行为，包括：
根据所述手肘关键点位置信息和所述手腕关键点位置信息，判断所述行为是否为抬手行为；
若是，则根据所述手肘关键点帧数信息和所述手腕关键点帧数信息，判断抬手行为持续时间是否超过第一预设时间；
若是，则根据所述手掌关键点是否使用电话的信息和帧数信息，判断在抬手行为持续时间内，使用电话的持续时间超过第二预设时间；
若是，则确定所述行为图片信息是否包含通信行为。
13.一种通信行为检测设备，其特征在于，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-8任一项所述的通信行为检测方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
14.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的通信行为检测方法中各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921697.4A CN109086729B (zh) | 2018-08-13 | 2018-08-13 | 通信行为检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921697.4A CN109086729B (zh) | 2018-08-13 | 2018-08-13 | 通信行为检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086729A CN109086729A (zh) | 2018-12-25 |
| CN109086729B true CN109086729B (zh) | 2022-03-01 |
Family
ID=64834660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810921697.4A Active CN109086729B (zh) | 2018-08-13 | 2018-08-13 | 通信行为检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086729B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084123A (zh) * | 2019-03-28 | 2019-08-02 | 上海拍拍贷金融信息服务有限公司 | 人体行为检测方法及***、计算机可读存储介质 |
| CN110070001A (zh) * | 2019-03-28 | 2019-07-30 | 上海拍拍贷金融信息服务有限公司 | 行为检测方法及装置、计算机可读存储介质 |
| CN110110631B (zh) * | 2019-04-25 | 2021-06-29 | 深兰科技（上海）有限公司 | 一种识别打电话的方法及设备 |
| CN110490125B (zh) * | 2019-08-15 | 2023-04-18 | 成都睿晓科技有限公司 | 一种基于手势自动检测的加油区服务质量检测*** |
| CN111461020B (zh) * | 2020-04-01 | 2024-01-19 | 浙江大华技术股份有限公司 | 不安全使用手机行为的识别方法、设备及相关存储介质 |
| CN112906646A (zh) * | 2021-03-23 | 2021-06-04 | 中国联合网络通信集团有限公司 | 人体姿态的检测方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10395018B2 (en) * | 2010-11-29 | 2019-08-27 | Biocatch Ltd. | System, method, and device of detecting identity of a user and authenticating a user |
| CN105469073A (zh) * | 2015-12-16 | 2016-04-06 | 安徽创世科技有限公司 | 一种基于Kinect的驾驶员接打***控方法 |
| CN105912991B (zh) * | 2016-04-05 | 2019-06-25 | 湖南大学 | 基于3d点云与关键骨骼节点的行为识别 |
| CN106066996B (zh) * | 2016-05-27 | 2019-07-30 | 上海理工大学 | 人体动作的局部特征表示方法及其在行为识别的应用 |
| CN107301384A (zh) * | 2017-06-09 | 2017-10-27 | 湖北天业云商网络科技有限公司 | 一种驾驶员接打电话行为检测方法及*** |
| CN108256431B (zh) * | 2017-12-20 | 2020-09-25 | 中车工业研究院有限公司 | 一种手部位置标识方法及装置 |
| CN108289180B (zh) * | 2018-01-30 | 2020-08-21 | 广州市百果园信息技术有限公司 | 根据肢体动作处理视频的方法、介质和终端装置 |
-
2018
- 2018-08-13 CN CN201810921697.4A patent/CN109086729B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086729A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086729B (zh) | 通信行为检测方法、装置、设备及存储介质 | |
| CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
| JP7154678B2 (ja) | 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム | |
| CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN108182396B (zh) | 一种自动识别拍照行为的方法及装置 | |
| EP3076320A1 (en) | Individual identification device, and identification threshold setting method | |
| CN109684980B (zh) | 自动阅卷方法及装置 | |
| CN109191802B (zh) | 用于视力保护提示的方法、装置、***和存储介质 | |
| US20130307766A1 (en) | User interface system and method of operation thereof | |
| CN108875533B (zh) | 人脸识别的方法、装置、***及计算机存储介质 | |
| CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| KR20180013277A (ko) | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| CN112181141B (zh) | Ar定位的方法、装置、电子设备及存储介质 | |
| US20140232748A1 (en) | Device, method and computer readable recording medium for operating the same | |
| CN109509257A (zh) | 室内楼层级别构件图形形成方法、终端及存储介质 | |
| KR102337209B1 (ko) | 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체 | |
| CN108628442A (zh) | 一种信息提示方法、装置以及电子设备 | |
| US10962738B2 (en) | Information processing apparatus and information processing method to calibrate line-of-sight of a user | |
| JP2021009687A (ja) | 腕動作認識方法、装置及画像処理装置 | |
| CN108920085B (zh) | 用于可穿戴设备的信息处理方法和装置 | |
| CN107195163B (zh) | 一种报警方法、装置和可穿戴设备 | |
| CN108898000A (zh) | 一种解锁屏幕的方法及终端 | |
| CN108537149A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN106547339B (zh) | 计算机设备的控制方法和装置 | |
| CN111753813A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 803 and 804, 8 / F, building 7, No. 599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu 610000, Sichuan Province Applicant after: Chengdu yunstare Technology Co.,Ltd. Address before: 610000 Chengdu, Sichuan, China (Sichuan) free trade pilot area, Chengdu high tech Zone, 10 Tianhua two road 219, 6 level 601. Applicant before: Chengdu Huina Intelligent Technology Co.,Ltd. Address after: 610000 Chengdu, Sichuan, China (Sichuan) free trade pilot area, Chengdu high tech Zone, 10 Tianhua two road 219, 6 level 601. Applicant after: Chengdu Huina Intelligent Technology Co.,Ltd. Address before: 610000 Chengdu, Sichuan, China (Sichuan) free trade pilot area, Chengdu high tech Zone, 10 Tianhua two road 219, 6 level 601. Applicant before: CHENGDU DINGDING TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Communication behavior detection method, device, equipment and storage medium Effective date of registration: 20220616 Granted publication date: 20220301 Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd. Pledgor: Chengdu yunstare Technology Co.,Ltd. Registration number: Y2022980007938 |