CN111832434A - 一种保护隐私下的校园抽烟行为识别方法及处理终端 - Google Patents

一种保护隐私下的校园抽烟行为识别方法及处理终端 Download PDF

Info

Publication number
CN111832434A
CN111832434A CN202010585186.7A CN202010585186A CN111832434A CN 111832434 A CN111832434 A CN 111832434A CN 202010585186 A CN202010585186 A CN 202010585186A CN 111832434 A CN111832434 A CN 111832434A
Authority
CN
China
Prior art keywords
image
campus
head
neural network
smoking behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010585186.7A
Other languages
English (en)
Other versions
CN111832434B (zh
Inventor
张常华
朱正辉
赵定金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Baolun Electronics Co ltd
Original Assignee
Guangzhou Baolun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baolun Electronics Co Ltd filed Critical Guangzhou Baolun Electronics Co Ltd
Priority to CN202010585186.7A priority Critical patent/CN111832434B/zh
Publication of CN111832434A publication Critical patent/CN111832434A/zh
Application granted granted Critical
Publication of CN111832434B publication Critical patent/CN111832434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种保护隐私下的校园抽烟行为识别方法及处理终端，所述方法包括如下步骤：步骤1：获得无法识别人物信息的红外图像；步骤2：对红外图像进行目标分类处理，得到人体在红外图像中的坐标；步骤3：根据人体在红外图像中的坐标，对处理后的图像进行裁剪；步骤4：将裁剪后的图像转换成只含骨骼关键点的骨骼图像；步骤5：将骨骼图像输入神经网络进行识别，确定手和头部的位置关系，从而判断是否有抽烟行为。本发明能够有效识别校园厕所等场所是否有抽烟行为，并且在识别的同时进行隐私保护，提高用户体验。

Description

一种保护隐私下的校园抽烟行为识别方法及处理终端
技术领域
本发明涉及行为识别技术领域，具体是一种保护隐私下的校园抽烟行为识别方法及处理终端。
背景技术
某些特定场合下，需要对大众或特定人群进行监控，以识别其行为。如果是在公共场合下对人群的行为识别，通常不需要考虑隐私，但在一些非公共场合或某些特定人群的行为识别，往往需要保护其隐私。现有保护隐私方法，往往直接拍摄人(包括人脸或全身等)等具体个人身份信息，然后对这些拍摄到的含个人身份数据从制度上进行管理，以防止拍摄的视频或图像泄漏出去，但这种保护隐私的行为识别方法治标不治本，无法从源头上保护隐私，并且这种方法只对外人有效，对于内部人员(进行识别的操作等管理人员)是无效的。所拍摄到的行为识别数据由于可直接可识别个人身份信息，往往会被别有用心的内部人员利用，或者内部人员有可能直接将这些隐私数据泄露出去。
针对某些特定场合，需要采用保护隐私的方式来识别人群的行为，例如校园厕所，需要在厕所的这种特定场合下，针对学生人群来识别气行为，以识别其是否在厕所内吸烟。由于在厕所这类场合，更加需要保护其隐私，通常不允许直接拍摄人员(包括人脸、全身等)等可直接识别身份信息的视频或图像，以保护学生的隐私。但目前校园厕所吸烟又是一种常见现象，急需对其是否存在吸烟进行精准识别，以判断是否有人员吸烟。而目前并没有针对校园抽烟行为识别的技术方案，特别是没有保护隐私下对校园(厕所)抽烟行为识别的技术方案。
发明内容
针对现有技术的不足，本发明的目的之一提供一种保护隐私下的校园抽烟行为识别方法，其能够解决保护隐私下的抽烟行为识别的问题；
本发明的目的之二提供一种处理终端，其能够解决抠像过程中计算量复杂的问题。
实现本发明的目的之一的技术方案为：一种保护隐私下的校园抽烟行为识别方法，包括如下步骤：
步骤1：获得含人体但无法识别人物信息的若干张红外图像；
步骤2：将所有的红外图像输入至目标检测神经网络模型，得到处理后的图像，处理后的图像包括二分类处理结果：包含人物图像和无人物图像，还包括确定人体在红外图像中的坐标；
步骤3：根据人体在红外图像中的坐标，对处理后的图像进行裁剪，以使得裁剪分割后的每张图片仅含有一个人；
步骤4：采用关节点估计将裁剪分割后的图像转成只含骨骼关节点的图像，从而得到骨骼图像；
步骤5：将骨骼图像输入至训练后的卷积神经网络进行识别分类，以识别出每个分类中的每个骨骼图像中手和头部的位置关系，得到二分类结果：人手靠近头部和人手远离头部；
根据手和头部的位置关系判断是否有校园抽烟行为。
进一步地，采用红外摄像头对目标人物进行拍摄，在红外摄像头和目标人物之间设置遮挡物，以得到所述红外图像。
进一步地，将红外图像压缩到预设尺寸后再输入至目标检测神经网络模型。
进一步地，红外图像压缩到448*448后再输入至目标检测神经网络模型。
进一步地，卷积神经网络按如下步骤进行训练，得到训练后的卷积神经网络：
卷积神经网络包括五层卷积层，每个卷积层后接一个池化层，池化层后连接两个全连接层，
卷积神经网络采用softmax损失函数，并采用梯度下降方法以优化卷积神经网络的各项参数，得到训练后的卷积神经网络。
进一步地，所述根据手和头部的位置关系判断是否有校园抽烟行为，具体实现过程为：
分别识别同类中的多个骨骼图像，人手靠近头部又远离头部视为一次变化，若当前累计的变化数量≥预设阈值时，视为人手反复靠近头部后又远离头部，判断有人抽烟，反之，则判断当前无人抽烟。
进一步地，所述判断是否手不断靠近头部，包括如下步骤：
当识别到骨骼图像中的手离头部在预设范围内，视为手靠近头部，反之，则视为手远离头部。
进一步地，执行完所述步骤5之后，还包括，
当认定当前时间有人在测试抽烟，及时发送警报。
进一步地，采用opencv对处理后的图像进行裁剪。
实现本发明的目的之二的技术方案为：一种处理终端，其包括：
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行所述的保护隐私下的校园抽烟行为识别方法的步骤。
本发明的有益效果为：本发明能够有效识别校园厕所等场所是否有抽烟行为，并且在识别的同时进行隐私保护，提高用户体验。
附图说明
图1为本发明较佳实施例的流程示意图；
图2为处理终端的示意图。
具体实施方案
下面，结合附图以及具体实施方案，对本发明做进一步描述：
如图1所示，一种保护隐私下的校园抽烟行为识别方法，包括如下步骤：
步骤1：获得含人体但无法识别人物信息的若干张红外图像。无法识别人物信息是指根据图像无法识别人物的具体身份信息，也即图像中没有可以唯一对应某个特定人员的人体特征信息，例如，具有清晰的人脸信息从而可以识别出特定人员。通常采用红外阵列传感器的摄像头(也即是红外摄像头)拍摄到的红外图像不具有可以唯一确定某个特定人员的人体特征信息，因此，红外图像符合要求。
优选地，为了获得更难以识别人物信息的红外图像，可以在红外摄像头和目标人物之间采用遮挡物进行遮挡，拍摄到的红外图像含有遮挡物，但遮挡物不会遮盖红外图像的人体，例如采用布匹或纸张等在红外摄像头和目标之间进行遮挡，红外摄像头透过这些遮挡物对人体进行拍摄，从而能够得到不含具体人物信息的红外图像。
步骤2：将所有的红外图像输入至目标检测神经网络模型，得到处理后的图像，处理后的图像包括二分类处理结果：包含人物图像和无人物图像，还包括确定人体在红外图像中的坐标，也即确定出人体在红外图像中的位置。
优选地，将红外图像压缩到预设尺寸后再输入至目标检测神经网络模型，以减少目标检测神经网络模型的计算量。其中，可将红外图像压缩到448*448后再输入至目标检测神经网络模型。
目标检测神经网络模型采用卷积池化后最后连接全连接层的卷积神经网络，以使得能够不断对红外图像进行分类。
步骤3：根据人体在红外图像中的坐标，采用opencv对处理后的图像进行裁剪，从而将每张图片进行裁剪分割，以使得裁剪分割后的每张图片仅含有一个人。例如，某张处理后的图像中含有两个人，两个人各自在图像中的坐标是明确的，则可采用opencv根据人体在图像中的坐标，对该图像进行裁剪分割，从而将两个人分别裁剪分割出对应的一张图像。其中，OpenCV由Intel于1999年建立，是一个基于BSD许可发行的跨平台计算机视觉库，可以运行在Windows、Mac、Linux操作***上。它由一系列C函数和少量C++类构成，轻量且高效，同时提供了Python、Ruby、MATLAB等语言的接口，可以实现计算机视觉及图像处理的大多数算法。
步骤4：采用关节点估计将裁剪分割后的图像转成只含骨骼关节点的图像，也即是得到骨骼图像。其中，关节点估计技术为现有技术，其能够对图片中的人体的骨骼(也即骨架)提取出来，从而能够将含有人体的图像转换成只含骨骼的图像。例如，公开号为CN108805141A的中国申请专利，其利用关节点估计确定出人体关节点，进而确定人体骨架，也即确定出人体骨骼。因此，采用关节点估计可以得到骨骼图像。
步骤5：将骨骼图像输入至训练后的卷积神经网络进行识别分类，得到二分类处理结果：人手靠近头部和人手远离头部，也即识别出每个分类中的每个骨骼图像中手和头部的位置关系。
其中，卷积神经网络按如下步骤进行训练，以得到训练后的卷积神经网络：
卷积神经网络包括五层卷积层，每个卷积层后接一个池化层，池化层后连接两个全连接层。通过这样的神经网络结构将输入数据处理得到一个一维数组。
卷积神经网络采用softmax损失函数，并采用梯度下降方法以优化卷积神经网络的各项参数，得到训练后的卷积神经网络。
依次分别识别同类中的多个骨骼图像，当相邻的两个骨骼图像的识别结果为人手靠近头部又远离头部视为一次变化，连续识别多个骨骼图像，可以识别出人手反复靠近头部又远离头部或者人手位置没有变化或变化很少，只是偶尔远离或靠近头部，若当前累计的变化数量≥预设阈值时，视为人手反复靠近头部后又远离头部，判断有人抽烟，反之，则判断当前无人抽烟。其中，当识别到骨骼图像中的手离头部在预设范围内，视为手靠近头部，当手离头部在预设范围之外，视为手未靠近头部。
当认定当前时间有人在测试抽烟，及时向校方发送警报。
如图2所示，本发明还提供一种处理终端100，其包括：
存储器101，用于存储程序指令；
处理器102，用于运行所述程序指令，以执行所述的保护隐私下的校园抽烟行为识别方法的步骤。
本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种保护隐私下的校园抽烟行为识别方法，其特征在于，包括如下步骤：
步骤1：获得含人体但无法识别人物信息的若干张红外图像；
步骤2：将所有的红外图像输入至目标检测神经网络模型，得到处理后的图像，处理后的图像包括二分类处理结果：包含人物图像和无人物图像，还包括确定人体在红外图像中的坐标；
步骤3：根据人体在红外图像中的坐标，对处理后的图像进行裁剪，以使得裁剪分割后的每张图片仅含有一个人；
步骤4：采用关节点估计将裁剪分割后的图像转成只含骨骼关节点的图像，从而得到骨骼图像；
步骤5：将骨骼图像输入至训练后的卷积神经网络进行识别分类，以识别出每个分类中的每个骨骼图像中手和头部的位置关系，得到二分类结果：人手靠近头部和人手远离头部；
根据手和头部的位置关系判断是否有校园抽烟行为。
2.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，采用红外摄像头对目标人物进行拍摄，在红外摄像头和目标人物之间设置遮挡物，以得到所述红外图像。
3.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，将红外图像压缩到预设尺寸后再输入至目标检测神经网络模型。
4.根据权利要求3所述的保护隐私下的校园抽烟行为识别方法，其特征在于，红外图像压缩到448*448后再输入至目标检测神经网络模型。
5.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，卷积神经网络按如下步骤进行训练，得到训练后的卷积神经网络：
卷积神经网络包括五层卷积层，每个卷积层后接一个池化层，池化层后连接两个全连接层，
卷积神经网络采用softmax损失函数，并采用梯度下降方法以优化卷积神经网络的各项参数，得到训练后的卷积神经网络。
6.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，所述根据手和头部的位置关系判断是否有校园抽烟行为，具体实现过程为：
分别识别同类中的多个骨骼图像，人手靠近头部又远离头部视为一次变化，若当前累计的变化数量≥预设阈值时，视为人手反复靠近头部后又远离头部，判断有人抽烟，反之，则判断当前无人抽烟。
7.根据权利要求6所述的保护隐私下的校园抽烟行为识别方法，其特征在于，所述判断是否手不断靠近头部，包括如下步骤：
当识别到骨骼图像中的手离头部在预设范围内，视为手靠近头部，反之，则视为手远离头部。
8.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，执行完所述步骤5之后，还包括，
当认定当前时间有人在测试抽烟，及时发送警报。
9.根据权利要求1所述的保护隐私下的校园抽烟行为识别方法，其特征在于，采用opencv对处理后的图像进行裁剪。
10.一种处理终端，其特征在于，其包括：
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行如权利要求1-9任一项所述的保护隐私下的校园抽烟行为识别方法的步骤。
CN202010585186.7A 2020-06-23 2020-06-23 一种保护隐私下的校园抽烟行为识别方法及处理终端 Active CN111832434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585186.7A CN111832434B (zh) 2020-06-23 2020-06-23 一种保护隐私下的校园抽烟行为识别方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585186.7A CN111832434B (zh) 2020-06-23 2020-06-23 一种保护隐私下的校园抽烟行为识别方法及处理终端

Publications (2)

Publication Number Publication Date
CN111832434A true CN111832434A (zh) 2020-10-27
CN111832434B CN111832434B (zh) 2022-12-13

Family

ID=72897905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585186.7A Active CN111832434B (zh) 2020-06-23 2020-06-23 一种保护隐私下的校园抽烟行为识别方法及处理终端

Country Status (1)

Country Link
CN (1) CN111832434B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及***
CN115457661A (zh) * 2022-10-08 2022-12-09 广州市保伦电子有限公司 特定场合的行为识别方法、装置、设备及存储介质
GB2618857A (en) * 2022-05-13 2023-11-22 Man Chee Liu Cigarette smoke alarm device for non-smoking space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN109543627A (zh) * 2018-11-27 2019-03-29 西安电子科技大学 一种判断驾驶行为类别的方法、装置、及计算机设备
US20190197296A1 (en) * 2011-01-12 2019-06-27 Gary S. Shuster Video and still image data alteration to enhance privacy
CN110532999A (zh) * 2019-09-06 2019-12-03 北京觅视科技有限公司 抽烟行为识别方法、装置及设备
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197296A1 (en) * 2011-01-12 2019-06-27 Gary S. Shuster Video and still image data alteration to enhance privacy
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN109543627A (zh) * 2018-11-27 2019-03-29 西安电子科技大学 一种判断驾驶行为类别的方法、装置、及计算机设备
CN110532999A (zh) * 2019-09-06 2019-12-03 北京觅视科技有限公司 抽烟行为识别方法、装置及设备
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及***
GB2618857A (en) * 2022-05-13 2023-11-22 Man Chee Liu Cigarette smoke alarm device for non-smoking space
CN115457661A (zh) * 2022-10-08 2022-12-09 广州市保伦电子有限公司 特定场合的行为识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111832434B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN111832434B (zh) 一种保护隐私下的校园抽烟行为识别方法及处理终端
CN109743541B (zh) 智能监控方法、装置、计算机设备及存储介质
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Ko et al. Background subtraction on distributions
US20070174272A1 (en) Facial Recognition in Groups
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
US20200211348A1 (en) Privacy Preserving Camera
Yimyam et al. Face detection criminals through CCTV cameras
Chen et al. Protecting personal identification in video
US9378406B2 (en) System for estimating gender from fingerprints
CN114359976B (zh) 一种基于人物识别的智能安防方法与装置
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
KR20180001356A (ko) 지능형 영상 보안 시스템
CN115620398A (zh) 一种目标动作检测方法及装置
Zhang et al. Coupled ensemble graph cuts and object verification for animal segmentation from highly cluttered videos
CN108090473B (zh) 多相机下人脸识别的方法及装置
CN110765874A (zh) 基于无人机的监控方法及相关产品
Vajhala et al. Weapon detection in surveillance camera images
CN115359539A (zh) 办公场所信息安全检测方法、装置、设备和存储介质
Ohki et al. Efficient spoofing attack detection against unknown sample using end-to-end anomaly detection
CN111898564B (zh) 一种时序卷积网络模型、模型训练和目标识别方法、装置
Shrestha et al. Attendance and security assurance using image processing
CN112699745A (zh) 一种用于火灾现场的被困人员定位方法
Nautiyal et al. An automated technique for criminal face identification using biometric approach
Kulkarni et al. Automated System for Detection of Suspicious Activity in Examination Hall

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 56 Nanli East Road, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province, 510000

Patentee after: Guangdong Baolun Electronics Co.,Ltd.

Address before: 510000 Building 1, industrial zone B, Zhongcun street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU ITC ELECTRONIC TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address