CN113705284A - 攀爬识别方法、装置及摄像机 - Google Patents

攀爬识别方法、装置及摄像机 Download PDF

Info

Publication number
CN113705284A
CN113705284A CN202010439693.XA CN202010439693A CN113705284A CN 113705284 A CN113705284 A CN 113705284A CN 202010439693 A CN202010439693 A CN 202010439693A CN 113705284 A CN113705284 A CN 113705284A
Authority
CN
China
Prior art keywords
image
climbing
preset
detected
child
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010439693.XA
Other languages
English (en)
Inventor
娄艳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN202010439693.XA priority Critical patent/CN113705284A/zh
Publication of CN113705284A publication Critical patent/CN113705284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种攀爬识别方法、装置及摄像机，该方法包括：获取待检测图像上的对象的位置信息和骨骼点信息；在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。本申请实施例提供的方案，能够实现针对儿童的攀爬行为的识别。

Description

攀爬识别方法、装置及摄像机
技术领域
本申请实施例涉及安防监控技术领域，尤其涉及一种攀爬识别方法、装置及摄像机。
背景技术
目前，各种安防产品走进了千家万户，对人类的日常生活提供了多方面的便利。
人的异常行为识别是安防视频监控中的一个重要部分，通过对人进行拍摄，来对人的行为进行分析处理，进而识别出人的异常行为。目前的异常行为识别通过是通过拍摄人的图像来识别图像中人的姿态，并根据姿态分析来进行人的异常行为的识别。目前的方案中，异常行为的识别通常是针对摔倒、打架、拖拽等动作的，而对于儿童而言，还有一类重要的异常行为，即攀高行为。目前的异常行为识别方案中，没有针对攀高行为进行识别的方案。
发明内容
本申请实施例提供一种攀爬识别方法、装置及摄像机，以解决针对儿童的攀爬行为的识别。
第一方面，本申请实施例提供一种攀爬识别方法，包括：
获取待检测图像上的对象的位置信息和骨骼点信息；
在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；
在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
在一种可能的实现方式中，所述儿童的骨骼点信息包括所述待检测图像上所述儿童的M个骨骼点的位置；所述根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为，包括：
获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，所述M为大于1的正整数；
若位于所述预设攀高线上方的骨骼点数目大于或等于N，则确定所述儿童存在攀爬行为，所述N为大于或等于1且小于或等于M的正整数；
否则，确定所述儿童不存在攀爬行为。
在一种可能的实现方式中，所述获取待检测图像上的对象的位置信息和骨骼点信息，包括：
将所述待检测图像输入至第一预设模型，得到覆盖所述对象的覆盖框和所述对象的骨骼点在所述待检测图像上的位置，所述覆盖框用于指示所述对象的位置信息；
其中，所述第一预设模型为对多组第一训练样本训练得到的，每组第一训练样本包括一张样本图像和所述样本图像上的样本对象的骨骼点在所述样本图像上的位置。
在一种可能的实现方式中，所述在获取所述对象的位置信息后，获取所述对象的类型，包括：
根据所述对象的覆盖框，得到所述对象的位置图像，其中，所述对象的位置图像为所述待检测图像上的所述覆盖框覆盖的图像；
根据所述对象的位置图像，获取所述对象的类型。
在一种可能的实现方式中，所述根据所述对象的位置图像，获取所述对象的类型，包括：
将所述位置图像输入至第二预设模型，得到所述对象的类型；
其中，所述第二预设模型为对多组第二训练样本训练得到的，每组第二训练样本包括一张样本位置图像和所述样本位置图像上的样本对象的类型，所述样本对象的类型为儿童或非儿童。
在一种可能的实现方式中，获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，包括：
针对任意骨骼点i，根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，其中，所述骨骼点i与所述预设攀高线的关系包括所述骨骼点i位于所述预设攀高线上方，或，所述骨骼点i位于所述预设攀高线下方；
根据所述儿童的M个骨骼点中的每个骨骼点与所述预设攀高线的关系，得到位于所述预设攀高线上方的骨骼点数目。
在一种可能的实现方式中，所述根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，包括：
获取所述预设攀高线上横坐标为所述第一横坐标的点对应的第二纵坐标；
若所述第一纵坐标大于或等于所述第二纵坐标，则确定所述骨骼点i位于所述预设攀高线上方；
否则，确定所述骨骼点i位于所述预设攀高线下方。
在一种可能的实现方式中，在确定所述儿童存在攀爬行为后，所述方法还包括：
向客户端发送报警信息。
第二方面，本申请实施例提供一种攀爬识别装置，包括：
获取模块，用于获取待检测图像上的对象的位置信息和骨骼点信息；
处理模块，用于在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；
识别模块，用于在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
在一种可能的实现方式中，所述儿童的骨骼点信息包括所述待检测图像上所述儿童的M个骨骼点的位置；所述识别模块具体用于：
获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，所述M为大于1的正整数；
若位于所述预设攀高线上方的骨骼点数目大于或等于N，则确定所述儿童存在攀爬行为，所述N为大于或等于1且小于或等于M的正整数；
否则，确定所述儿童不存在攀爬行为。
在一种可能的实现方式中，所述获取模块具体用于：
将所述待检测图像输入至第一预设模型，得到覆盖所述对象的覆盖框和所述对象的骨骼点在所述待检测图像上的位置，所述覆盖框用于指示所述对象的位置信息；
其中，所述第一预设模型为对多组第一训练样本训练得到的，每组第一训练样本包括一张样本图像和所述样本图像上的样本对象的骨骼点在所述样本图像上的位置。
在一种可能的实现方式中，所述处理模块具体用于：
根据所述对象的覆盖框，得到所述对象的位置图像，其中，所述对象的位置图像为所述待检测图像上的所述覆盖框覆盖的图像；
根据所述对象的位置图像，获取所述对象的类型。
在一种可能的实现方式中，所述处理模块具体用于：
将所述位置图像输入至第二预设模型，得到所述对象的类型；
其中，所述第二预设模型为对多组第二训练样本训练得到的，每组第二训练样本包括一张样本位置图像和所述样本位置图像上的样本对象的类型，所述样本对象的类型为儿童或非儿童。
在一种可能的实现方式中，所述识别模块具体用于：
针对任意骨骼点i，根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，其中，所述骨骼点i与所述预设攀高线的关系包括所述骨骼点i位于所述预设攀高线上方，或，所述骨骼点i位于所述预设攀高线下方；
根据所述儿童的M个骨骼点中的每个骨骼点与所述预设攀高线的关系，得到位于所述预设攀高线上方的骨骼点数目。
在一种可能的实现方式中，所述识别模块具体用于：
获取所述预设攀高线上横坐标为所述第一横坐标的点对应的第二纵坐标；
若所述第一纵坐标大于或等于所述第二纵坐标，则确定所述骨骼点i位于所述预设攀高线上方；
否则，确定所述骨骼点i位于所述预设攀高线下方。
在一种可能的实现方式中，所述识别模块还用于：
向客户端发送报警信息。
第三方面，本申请实施例提供一种摄像机，包括摄像头和处理器，其中：
所述摄像头用于获取待检测图像，并向所述处理器发送所述待检测图像；
所述处理器用于获取所述待检测图像，并根据第一方面任一项所述的攀爬识别方法对所述待检测图像进行处理。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的攀爬识别方法。
本申请实施例提供的攀爬识别方法、装置及摄像机，首先获取待检测图像上的对象的位置信息和骨骼点信息，在获取了对象的位置信息后，获取对象的类型，其中对象的类型包括儿童和非儿童。通过对对象的类型进行判断，得到了待检测图像上的对象是否为儿童。在确定待检测图像上的对象为儿童时，根据儿童的骨骼点信息来判断儿童是否存在攀爬行为。本申请实施例提供的方案，首先针对待检测图像上的对象的类型进行判断，即进行儿童识别。在识别到待检测图像上的对象为儿童后，进一步根据儿童的骨骼点信息来确定儿童在待检测图像上的位置，从而得出儿童是否在进行攀爬行为的结论，从而能够实现针对儿童的攀爬行为的识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的攀爬识别方法的流程示意图；
图3为本申请实施例提供的对象的位置和骨骼点信息示意图；
图4为本申请实施例提供的覆盖框示意图；
图5为本申请实施例提供的预设攀高线设定示意图；
图6为本申请实施例提供的攀爬检测示意图一；
图7为本申请实施例提供的攀爬检测示意图二；
图8为本申请实施例提供的灵敏度调整示意图；
图9为本申请实施例提供的一种攀爬报警示意图；
图10为本申请实施例提供的攀爬识别装置的结构示意图；
图11为本申请实施例提供的一种摄像机的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请适用的一种应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图，如图1所示，包括摄像机11，摄像机11中包括摄像头111和处理器112，摄像头111可以拍摄图像或视频，然后将拍摄得到的图像或视频发送给处理器112，处理器112对摄像头111拍摄得到的图像或视频进行分析处理。
随着各式各样的安防产品逐渐渗透到人类的生活中，不同的安防产品能够为人类带来不同的便利。本申请实施例中，摄像机11作为一种安防产品，可用于检测是否有儿童在进行攀爬行为。
例如针对有儿童的家庭，可以在适当的位置安放摄像机11，通过调整摄像头111的位置来监控一定的范围。例如，为了防止儿童攀爬到阳台造成危险，可以通过调整摄像头111朝向阳台，当有儿童爬向阳台时，摄像头111能够拍摄到相应的图像，并由处理器112对图像进行分析处理。在判断获知有儿童在攀高时，可以通过一定的方式报警或通知其他的家庭成员，使得其他人员能够及时获知儿童的攀爬行为并加以阻止，避免危险的发生。
在图1的示例中，摄像头111的拍摄范围为范围12，当调整摄像头111的朝向后，范围12会相应的变化。
下面将结合附图对本申请的方案进行详细说明。
图2为本申请实施例提供的攀爬识别方法的流程示意图，如图2所示，该方法可以包括：
S21，获取待检测图像上的对象的位置信息和骨骼点信息。
待检测图像为对监控区域进行拍摄得到的图像。本申请实施例中的执行主体可以为摄像机，摄像机获取待检测图像，并对待检测图像进行处理，得到待检测图像上的对象的位置信息和骨骼点信息。
待检测图像上的对象为人，可能为儿童或成年人。对象的位置信息为待检测图像上的人所在的位置的部分图像，对象的骨骼点信息为待检测图像上的人的各个骨骼点的相关信息，例如各个骨骼点在待检测图像上的位置。
S22，在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童。
在得到了待检测图像上的对象的位置信息后，可以根据对象的位置信息在待检测图像上确定对象所在位置的图像，然后根据对象所在位置的图像，对该对象的类型进行判别。即，根据待检测图像上的人所在位置的部分图像，得到待检测图像上的人是儿童还是非儿童。本申请实施例中，只针对儿童进行攀爬行为的检测，若待检测图像上的人不是儿童，则不进行后续攀爬行为的检测。
S23，在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
在确定待检测图像上的对象为儿童后，根据待检测图像上的儿童的骨骼点信息判断儿童是否存在攀爬行为。可选的，可以预先设置一个高度作为攀爬行为的分界线，当儿童的骨骼点超过这个高度后，认为儿童存在攀爬行为。进一步的，攀爬行为的分界线可以是一个规则曲线，也可以是不规则曲线。
通过待检测图像上儿童的各个骨骼点的位置，能够确定儿童的各个身体部位所在的位置，进而实现攀爬行为的检测。
本申请实施例提供的攀爬识别方法，首先获取待检测图像上的对象的位置信息和骨骼点信息，在获取了对象的位置信息后，获取对象的类型，其中对象的类型包括儿童和非儿童。通过对对象的类型进行判断，得到了待检测图像上的对象是否为儿童。在确定待检测图像上的对象为儿童时，根据儿童的骨骼点信息来判断儿童是否存在攀爬行为。本申请实施例提供的方案，首先针对待检测图像上的对象的类型进行判断，即进行儿童识别。在识别到待检测图像上的对象为儿童后，进一步根据儿童的骨骼点信息来确定儿童在待检测图像上的位置，从而得出儿童是否在进行攀爬行为的结论，从而能够实现针对儿童的攀爬行为的识别。
下面将结合具体的实施例对本申请的方案进行详细说明。
在摄像头拍摄得到一张待检测图像后，将待检测图像发送给处理器。处理器首先获取待检测图像上的对象的位置信息和骨骼点信息。本申请实施例中，对象指的是人，待检测图像上的人可以是儿童，也可以是非儿童，例如可以是成年人。对象的位置信息指的是对象在待检测图像上的位置，骨骼点信息指的是待检测图像上的人的骨骼点的相关信息，例如可以是人的各个骨骼点的位置等。
本申请实施例中，以人体的M个骨骼点作为人的骨骼点信息，M为正整数。M的具体取值可以根据实际需要确定，通常，人的边缘部位的骨骼点需要进行获取，例如人的手部、腿部、头部等位置的骨骼点。这些骨骼点能够较好的反映人的行为和姿态。图3为本申请实施例提供的对象的位置和骨骼点信息示意图，如图3所示，图像30中示意了4个人，每个人均示意了相应的骨骼点信息。例如在图3中，以14个骨骼点为例，左手、右手、左腿和右腿分别对应3个骨骼点，头部和颈部各对应一个骨骼点，每个人均被标注了14个骨骼点。进一步的，图3中除了示例14个骨骼点外，还示例了骨骼点之间的连接，且骨骼点之间的连接与人体的骨骼架构对应。通过各个骨骼点的位置以及骨骼点之间的连接，能够反映人的姿态和行为。
具体的，可以通过第一预设模型来获取待检测图像上对象的位置信息和骨骼点信息。第一预设模型为对多组第一训练样本进行训练得到的，每组第一训练样本包括一张样本图像和该样本图像上的样本对象的骨骼点在样本图像上的位置。一张样本图像上可以包括一个样本对象，也可以包括多个样本对象。在每张样本图像上，标注出每个样本对象的骨骼点。可选的，可预先确定针对每个对象需要标注的骨骼点的数目，例如为M个。然后在样本图像上，对每个样本对象进行标注，得到标注后的每个样本对象的M个骨骼点。在后续通过第一预设模型对待检测图像进行处理后，也可以得到待检测图像上的每个对象的M个骨骼点。例如，在图3中，针对每个人，均标注出了对应的14个骨骼点，图3中的图像30可以作为一组第一训练样本用于训练第一预设模型。
在训练得到第一预设模型后，可将待检测图像输入至第一预设模型，得到覆盖对象的覆盖框和对象的M个骨骼点在待检测图像上的位置。本申请实施例中，通过多组第一训练样本的训练，第一预设模型具备识别待检测图像上的对象的骨骼点的能力。将待检测图像输入至第一预设模型后，可以输出待检测图像上的对象的M个骨骼点的相关数据，包括M个骨骼点中每个骨骼点在待检测图像上的位置，以及每个骨骼点具体是哪一个骨骼点，例如是手肘骨骼点、头部骨骼点还是臀部骨骼点，等等。
进一步的，第一预设模型还输出覆盖对象的覆盖框，该覆盖框用于指示待对象在待检测图像上的位置信息。图4为本申请实施例提供的覆盖框示意图，如图4所示，包括覆盖框41、覆盖框42、覆盖框43和覆盖框44，其中4个覆盖框依次分别覆盖从左至右的4个对象。
在上述实施例中，描述了可以通过第一预设模型来输出各个对象的M个骨骼点，然后，根据每个对象的M个骨骼点，能够反映该对象在待检测图像上的位置，进而即可得到对应的覆盖框。
可选的，第一预设模型可以通过不同的骨骼点检测网络来实现，例如可以通过openpose来实现对象的骨骼点的检测，然后得到相应的覆盖框。
在通过第一预设模型得到了盖对象的覆盖框和对象的M个骨骼点在待检测图像上的位置后，可以进行对象类型的识别。
具体的，首先根据对象的覆盖框，得到对象的位置图像，其中，对象的位置图像为待检测图像上的覆盖框覆盖的图像；然后，根据对象的位置图像，获取对象的类型。
本申请实施例中，在得到了对象的覆盖框后，可以从待检测图像中抠取覆盖框覆盖部分的图像，得到该对象的位置图像。例如在图4中，得到了左边第一个对象的覆盖框41后，将待检测图像上覆盖框41覆盖的部分进行抠取，得到左边第一个对象的位置图像，然后根据左边第一个对象的位置图像来获取左边第一个对象的类型。其他对象的类型的获取方式与左边第一个对象的类型的获取方式类似。
本申请实施例中，通过对象的位置图像来获取对象的类型的方式是，将对象的位置图像输入至第二预设模型，得到该对象的类型；
其中，第二预设模型为对多组第二训练样本训练得到的，每组第二训练样本包括一张样本位置图像和样本位置图像上的样本对象的类型，样本对象的类型为儿童或非儿童。
在采用第二预设模型对对象的类型进行判别之前，首先要对第二预设模型进行训练，训练的样本为多组第二训练样本。在每组第二训练样本中，包括一张样本位置图像，该样本位置图像上包括一个样本对象。可以获取多个儿童的样本位置图像，也可以获取多个非儿童的样本位置图像，然后为每个样本位置图像打上标签，标注该样本位置图像上的样本对象是儿童还是非儿童。
在进行了标注后，通过每组第二训练样本来训练第二预设模型，使得第二预设模型具备对象类型的分类能力。可选的，第二预设模型可以通过不同的分类网络来实现，例如mobilenetv1，mobilenetv1网络的样本位置图像输入大小为112*224(宽*高)。除了mobilenetv1网络外，其他的分类网络在进行训练之后也可以作为第二预设模型，来进行对象类型的判别。
在第二预先模型训练完成后，将对象的位置图像输入至第二预设模型，即可得到该对象的类型。
由于本申请实施例中提供的是针对儿童的攀爬行为的检测与识别，因此在获取到待检测图像上的对象的类型是儿童后，才会进行攀爬行为的检测。若对象的类型是非儿童，则不会进行后续攀爬行为的检测。
在确定待检测图像上的对象是儿童后，需要根据儿童的骨骼点信息和预设攀高线来综合进行攀爬行为的检测，其中，儿童的骨骼点信息包括所述待检测图像上所述儿童的M个骨骼点的位置，预设攀高线为预先设定。
预设攀高线可以由用户来进行设定。图5为本申请实施例提供的预设攀高线设定示意图，如图5所示，用户通过客户端51来设定待检测图像50上的预设攀高线。
在图5中，用户通过调整摄像机的朝向来监控需要监控的区域，如图5中监控的区域为一个阳台。摄像机和一个客户端51通过无线网络连接，在客户端51上可以观察到摄像机监控的画面，如图5中的客户端51上，显示了监控画面52。
若此时用户家里有儿童，为了防止儿童攀爬到阳台栏杆上，用户可以通过客户端设置预设攀高线。在图5中，示例了一种预设攀高线的方式，用户通过触控，在客户端51上滑动，形成预设攀高线，如图5中的虚线所示。客户端可以获取用户的触控指令，获取预设攀高线在监控画面52上的相应位置，从而得到待检测画面50上的预设攀高线的位置。
可选的，用户可以通过在客户端51上进行操作，来调整预设攀高线的位置。例如，当用户家里的儿童年龄较小或身高较低时，可以将预设攀高线设置在较低的位置；当用户家里的儿童年龄较大或身高较高时，可以将预设攀高线设置在较高的位置。
可选的，预设攀高线可以为如图5中示意的直线，也可以为折线、曲线等等，具体的设置可以通过监控范围的实际环境来确定。
可选的，预设攀高线可以通过用户在客户端51上触控来实现，也可以通过用户在客户端输入预设攀高线对应的函数方程式来实现，等等。
在获取了预设攀高线以及儿童的骨骼点信息后，根据儿童的骨骼点信息来判断儿童是否存在攀爬行为。具体的，首先，获取待检测图像上儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，M为大于1的正整数；若位于预设攀高线上方的骨骼点数目大于或等于N，则确定儿童存在攀爬行为，否则，确定所述儿童不存在攀爬行为，其中N为大于或等于1且小于或等于M的正整数。当N等于M时，表示儿童的M个骨骼点全部位于预设攀高线的上方，即儿童完全爬到预设攀高线以上。
图6为本申请实施例提供的攀爬检测示意图一，如图6所示，以横向为x轴、纵向为Y轴建立XY坐标系。根据儿童的M个骨骼点的位置信息，能够得到儿童的每个骨骼点在XY坐标系上的坐标。
图6中示意了预设攀高线60。以一个儿童的M个骨骼点作为一个集合，分别判断其中的每个骨骼点位于预设攀高线60的哪一侧。其中，骨骼点和预设攀高线之间的关系有两种，一种是骨骼点位于预设攀高线的下侧，另一种是骨骼点位于预设攀高线的上侧(包括骨骼点位于预设攀高线上的情形)。
当预设攀高线比较规则时，例如攀高线是一条直线时，可以得到攀高线的函数表达式，然后根据函数表达式来判断每个骨骼点与预设攀高线之间的关系。
例如，假设预设攀高线的函数表达式为ax+by+c＝0，针对任意一个骨骼点(m，n)，将其代入至上述表达式中，根据得到的结果大于0还是小于0，来得到骨骼点与预设攀高线的关系。
例如，在图6中，预设攀高线60是一条与x轴平行的直线，其表达式为y＝a，a为常数。则针对任意一个骨骼点(m，n)，若n大于或等于a，则该骨骼点(m，n)位于预设攀高线60上侧，若n小于a，则该骨骼点(m，n)位于预设攀高线60下侧，等等。
上述实施例介绍了针对预设攀高线为规则曲线时的判断方法。在一些实施例中，预设攀高线可能为不规则的曲线，也无法得到其对应的函数表达式，此时判断一个骨骼点与该预设攀高线的关系的方法是：
针对任意骨骼点i，根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，其中，所述骨骼点i与所述预设攀高线的关系包括所述骨骼点i位于所述预设攀高线上方，或，所述骨骼点i位于所述预设攀高线下方。
具体的，获取预设攀高线上横坐标为所述第一横坐标的点对应的第二纵坐标；若第一纵坐标大于或等于第二纵坐标，则确定骨骼点i位于所述预设攀高线上方；否则，确定骨骼点i位于预设攀高线下方。
图7为本申请实施例提供的攀爬检测示意图二，如图7所示，以横向为x轴、纵向为Y轴建立XY坐标系。根据儿童的M个骨骼点的位置信息，能够得到儿童的每个骨骼点在XY坐标系上的坐标。
在图7中，预设攀高线70为一条不规则的曲线，但是根据预设攀高线70，能够获知预设攀高线70上的每一点的坐标。
在需要获取某一骨骼点与预设攀高线的关系时，以图7中的骨骼点A为例，设骨骼点A的坐标为(x1，y1)，此时x1即为第一横坐标，y1即为第一纵坐标。
然后，根据第一横坐标x1，确定预设攀高线上横坐标为第一横坐标x1的点B，并得到点B的第二纵坐标y2。
当y2大于y1时，骨骼点A位于预设攀高线70下侧，当y2小于或等于y1时，骨骼点A位于预设攀高线70上侧。
通过图7示例的方法，能够获取儿童的每个骨骼点与预设攀高线之间的关系。然后，根据儿童的M个骨骼点中的每个骨骼点与预设攀高线的关系，得到位于预设攀高线上方的骨骼点数目。如图7所示，位于预设攀高线70上方的骨骼点数目为5个。
在得到了位于预设攀高线上方的骨骼点数目后，需要判断位于预设攀高线上方的骨骼点数目是否大于或等于N。若是，则确定儿童存在攀爬行为，否则确定儿童不存在攀爬行为。
本申请实施例中，N为大于或等于1且小于或等于M的正整数，例如当M为14时，N可以为1、2、3等等。N的取值可以由用户通过客户端来设定，N的取值越小，攀爬检测越灵敏，反之，N的取值越大，则攀爬检测越不灵敏。
图8为本申请实施例提供的灵敏度调整示意图，如图8所示，在客户端81上，设置了灵敏度调整条，用户可以通过滑动该灵敏度调整条，来调整攀爬检测的灵敏度。滑动该灵敏度条，即相当于调整N的取值。灵敏度条越往上，则N的取值越小，灵敏度条越往下，则N的取值越大。
需要说明的是，图8的示例仅仅是调整N的取值的一种方式，还可以设置其他的实现方式，例如可以直接在客户端上输入N的取值等。
在进行了攀爬行为的检测后，若确定儿童存在攀爬行为，则可以向客户端发送报警信息。图9为本申请实施例提供的一种攀爬报警示意图，如图9所示，摄像机91中包括摄像头和处理器，摄像头在采集待检测图像并向处理器发送待检测图像后，处理器对待检测图像进行处理。在处理器检测到待检测图像中有儿童执行攀爬行为后，可以向客户端92发送报警信息。例如在图9中，摄像机91向客户端92发送报警信息：请注意，监控区域有儿童在攀爬，请及时予以处理！
该客户端92可以是预先与摄像机91进行绑定操作的客户端，通过客户端92可以控制摄像机91，调整相应的参数，同时能够获取摄像机91发送的信息等等。
图9示例的是一种报警或提醒的方式，可选的，还可以包括其他的报警或提醒的方式。例如，可以在摄像机上设置一个扬声器，通过扬声器来语音报警。例如，可以在摄像机上设置一个灯光报警器，在检测到儿童存在攀爬行为时，通过灯光报警器闪烁报警，等等。报警的方式可以是单一的报警器报警，也可以是多个报警器联合进行报警，等等。
本申请实施例提供的攀爬识别方法，首先获取待检测图像上的对象的位置信息和骨骼点信息，然后根据待检测图像上的对象的位置信息确定对象的类型，其中对象的类型包括儿童和非儿童。通过对对象的类型进行判断，得到了待检测图像上的对象是否为儿童。在确定待检测图像上的对象为儿童时，根据儿童的骨骼点信息来判断儿童是否存在攀爬行为。本申请实施例提供的方案，首先针对待检测图像上的对象的类型进行判断，即进行儿童识别。在识别到待检测图像上的对象为儿童后，进一步根据儿童的骨骼点信息来确定儿童在待检测图像上的位置，从而得出儿童是否在进行攀爬行为的结论，从而能够实现针对儿童的攀爬行为的识别。
图10为本申请实施例提供的攀爬识别装置的结构示意图，如图10所示，包括获取模块101、处理模块102和识别模块103，其中：
获取模块101用于获取待检测图像上的对象的位置信息和骨骼点信息；
处理模块102用于在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；
识别模块103用于在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
在一种可能的实现方式中，所述儿童的骨骼点信息包括所述待检测图像上所述儿童的M个骨骼点的位置；所述识别模块103具体用于：
获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，所述M为大于1的正整数；
若位于所述预设攀高线上方的骨骼点数目大于或等于N，则确定所述儿童存在攀爬行为，所述N为大于或等于1且小于或等于M的正整数；
否则，确定所述儿童不存在攀爬行为。
在一种可能的实现方式中，所述获取模块101具体用于：
将所述待检测图像输入至第一预设模型，得到覆盖所述对象的覆盖框和所述对象的骨骼点在所述待检测图像上的位置，所述覆盖框用于指示所述对象的位置信息；
其中，所述第一预设模型为对多组第一训练样本训练得到的，每组第一训练样本包括一张样本图像和所述样本图像上的样本对象的骨骼点在所述样本图像上的位置。
在一种可能的实现方式中，所述处理模块102具体用于：
根据所述对象的覆盖框，得到所述对象的位置图像，其中，所述对象的位置图像为所述待检测图像上的所述覆盖框覆盖的图像；
根据所述对象的位置图像，获取所述对象的类型。
在一种可能的实现方式中，所述处理模块102具体用于：
将所述位置图像输入至第二预设模型，得到所述对象的类型；
其中，所述第二预设模型为对多组第二训练样本训练得到的，每组第二训练样本包括一张样本位置图像和所述样本位置图像上的样本对象的类型，所述样本对象的类型为儿童或非儿童。
在一种可能的实现方式中，所述识别模块103具体用于：
针对任意骨骼点i，根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，其中，所述骨骼点i与所述预设攀高线的关系包括所述骨骼点i位于所述预设攀高线上方，或，所述骨骼点i位于所述预设攀高线下方；
根据所述儿童的M个骨骼点中的每个骨骼点与所述预设攀高线的关系，得到位于所述预设攀高线上方的骨骼点数目。
在一种可能的实现方式中，所述识别模块103具体用于：
获取所述预设攀高线上横坐标为所述第一横坐标的点对应的第二纵坐标；
若所述第一纵坐标大于或等于所述第二纵坐标，则确定所述骨骼点i位于所述预设攀高线上方；
否则，确定所述骨骼点i位于所述预设攀高线下方。
在一种可能的实现方式中，所述识别模块103还用于：
向客户端发送报警信息。
本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本申请实施例提供的一种摄像机的结构示意图，如图11所示，包括摄像头1101和处理器1102，其中：
所述摄像头1101用于获取待检测图像，并向所述处理器发送所述待检测图像；
所述处理器1102用于获取所述待检测图像，并根据上述实施例中任一项所述的攀爬识别方法对所述待检测图像进行处理。
可选地，该摄像机确定还包括通信部件。例如，通信部件可以包括接收器和/或发送器。
在具体实现过程中，处理器1102执行如上的攀爬识别方法。
处理器1102的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述图11所示的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的攀爬识别方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种攀爬识别方法，其特征在于，包括：
获取待检测图像上的对象的位置信息和骨骼点信息；
在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；
在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
2.根据权利要求1所述的方法，其特征在于，所述儿童的骨骼点信息包括所述待检测图像上所述儿童的M个骨骼点的位置；所述根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为，包括：
获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，所述M为大于1的正整数；
若位于所述预设攀高线上方的骨骼点数目大于或等于N，则确定所述儿童存在攀爬行为，所述N为大于或等于1且小于或等于M的正整数；
否则，确定所述儿童不存在攀爬行为。
3.根据权利要求1所述的方法，其特征在于，所述获取待检测图像上的对象的位置信息和骨骼点信息，包括：
将所述待检测图像输入至第一预设模型，得到覆盖所述对象的覆盖框和所述对象的骨骼点在所述待检测图像上的位置，所述覆盖框用于指示所述对象的位置信息；
其中，所述第一预设模型为对多组第一训练样本训练得到的，每组第一训练样本包括一张样本图像和所述样本图像上的样本对象的骨骼点在所述样本图像上的位置。
4.根据权利要求3所述的方法，其特征在于，所述在获取所述对象的位置信息后，获取所述对象的类型，包括：
根据所述对象的覆盖框，得到所述对象的位置图像，其中，所述对象的位置图像为所述待检测图像上的所述覆盖框覆盖的图像；
根据所述对象的位置图像，获取所述对象的类型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述对象的位置图像，获取所述对象的类型，包括：
将所述位置图像输入至第二预设模型，得到所述对象的类型；
其中，所述第二预设模型为对多组第二训练样本训练得到的，每组第二训练样本包括一张样本位置图像和所述样本位置图像上的样本对象的类型，所述样本对象的类型为儿童或非儿童。
6.根据权利要求2所述的方法，其特征在于，获取所述待检测图像上所述儿童的M个骨骼点中位于预设攀高线上方的骨骼点数目，包括：
针对任意骨骼点i，根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，其中，所述骨骼点i与所述预设攀高线的关系包括所述骨骼点i位于所述预设攀高线上方，或，所述骨骼点i位于所述预设攀高线下方；
根据所述儿童的M个骨骼点中的每个骨骼点与所述预设攀高线的关系，得到位于所述预设攀高线上方的骨骼点数目。
7.根据权利要求6所述的方法，其特征在于，所述根据所述骨骼点i的第一横坐标和第一纵坐标、以及所述预设攀高线，确定所述骨骼点i与所述预设攀高线的关系，包括：
获取所述预设攀高线上横坐标为所述第一横坐标的点对应的第二纵坐标；
若所述第一纵坐标大于或等于所述第二纵坐标，则确定所述骨骼点i位于所述预设攀高线上方；
否则，确定所述骨骼点i位于所述预设攀高线下方。
8.根据权利要求1-7任一项所述的方法，其特征在于，在确定所述儿童存在攀爬行为后，所述方法还包括：
向客户端发送报警信息。
9.一种攀爬识别装置，其特征在于，包括：
获取模块，用于获取待检测图像上的对象的位置信息和骨骼点信息；
处理模块，用于在获取所述对象的位置信息后，获取所述对象的类型，所述对象的类型包括儿童和非儿童；
识别模块，用于在所述对象的类型为儿童时，根据所述待检测图像上所述儿童的骨骼点信息判断所述儿童是否存在攀爬行为。
10.一种摄像机，其特征在于，包括摄像头和处理器，其中：
所述摄像头用于获取待检测图像，并向所述处理器发送所述待检测图像；
所述处理器用于获取所述待检测图像，并根据权利要求1-8任一项所述的攀爬识别方法对所述待检测图像进行处理。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的攀爬识别方法。
CN202010439693.XA 2020-05-22 2020-05-22 攀爬识别方法、装置及摄像机 Pending CN113705284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439693.XA CN113705284A (zh) 2020-05-22 2020-05-22 攀爬识别方法、装置及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439693.XA CN113705284A (zh) 2020-05-22 2020-05-22 攀爬识别方法、装置及摄像机

Publications (1)

Publication Number Publication Date
CN113705284A true CN113705284A (zh) 2021-11-26

Family

ID=78646074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439693.XA Pending CN113705284A (zh) 2020-05-22 2020-05-22 攀爬识别方法、装置及摄像机

Country Status (1)

Country Link
CN (1) CN113705284A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422931A (zh) * 2023-11-16 2024-01-19 上海放放智能科技有限公司 一种婴儿翻床的检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108039008A (zh) * 2017-12-29 2018-05-15 英华达（南京）科技有限公司 智能视频监控方法、装置及***
CN108921907A (zh) * 2018-07-26 2018-11-30 上海慧子视听科技有限公司 一种运动测试评分的方法、装置、设备及存储介质
CN109934881A (zh) * 2017-12-19 2019-06-25 华为技术有限公司 图像编码方法、动作识别的方法及计算机设备
CN110197501A (zh) * 2019-05-29 2019-09-03 海信集团有限公司 图像处理方法和设备
CN110309784A (zh) * 2019-07-02 2019-10-08 北京百度网讯科技有限公司 动作识别处理方法、装置、设备和存储介质
CN110327053A (zh) * 2019-07-12 2019-10-15 广东工业大学 一种基于电梯空间的人体行为安全监测方法、设备及***
CN110472613A (zh) * 2019-08-22 2019-11-19 海信集团有限公司 对象行为识别方法和装置
CN110517338A (zh) * 2019-07-11 2019-11-29 北京电影学院 一种基于两足角色实体特征构建可复用动作库的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934881A (zh) * 2017-12-19 2019-06-25 华为技术有限公司 图像编码方法、动作识别的方法及计算机设备
CN108039008A (zh) * 2017-12-29 2018-05-15 英华达（南京）科技有限公司 智能视频监控方法、装置及***
CN108921907A (zh) * 2018-07-26 2018-11-30 上海慧子视听科技有限公司 一种运动测试评分的方法、装置、设备及存储介质
CN110197501A (zh) * 2019-05-29 2019-09-03 海信集团有限公司 图像处理方法和设备
CN110309784A (zh) * 2019-07-02 2019-10-08 北京百度网讯科技有限公司 动作识别处理方法、装置、设备和存储介质
CN110517338A (zh) * 2019-07-11 2019-11-29 北京电影学院 一种基于两足角色实体特征构建可复用动作库的方法
CN110327053A (zh) * 2019-07-12 2019-10-15 广东工业大学 一种基于电梯空间的人体行为安全监测方法、设备及***
CN110472613A (zh) * 2019-08-22 2019-11-19 海信集团有限公司 对象行为识别方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422931A (zh) * 2023-11-16 2024-01-19 上海放放智能科技有限公司 一种婴儿翻床的检测方法

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN108090458B (zh) 人体跌倒检测方法和装置
US11080434B2 (en) Protecting content on a display device from a field-of-view of a person or device
US7986828B2 (en) People detection in video and image data
CN108446669B (zh) 运动识别方法、装置及存储介质
CN109299646B (zh) 人群异常事件检测方法、装置、***和存储介质
CN108171158B (zh) 活体检测方法、装置、电子设备及存储介质
CN108009466B (zh) 行人检测方法和装置
JP5106356B2 (ja) 画像監視装置
WO2015058381A1 (zh) 从连拍图像中选择图像的方法和终端
US20150262068A1 (en) Event detection apparatus and event detection method
CN112712020B (zh) 睡眠监测方法、装置及***
CN106648418B (zh) 手写笔迹校正方法和装置
CN111899470B (zh) 人体跌倒检测方法、装置、设备及存储介质
KR102550964B1 (ko) 개인화 모델을 이용한 집중도 측정 장치 및 방법
CN109543607A (zh) 目标物异常状态检测方法、***、监护***及存储介质
JP2020535499A (ja) 映像アライメント方法及びその装置
JP5618295B2 (ja) 認証システム及び認証の信頼度の判定方法
CN114463725A (zh) 驾驶员行为检测方法及装置、安全驾驶提醒方法及装置
CN115471916A (zh) 吸烟检测方法、装置、设备及存储介质
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
CN114698399A (zh) 人脸识别方法、装置及可读存储介质
EP3783563B1 (en) Recognition device, recognition method, and recognition program
CN113705284A (zh) 攀爬识别方法、装置及摄像机
CN110505438B (zh) 一种排队数据的获取方法和摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination