CN111414781A - 一种联合人员识别和行为识别的多人实时处理方法 - Google Patents
一种联合人员识别和行为识别的多人实时处理方法 Download PDFInfo
- Publication number
- CN111414781A CN111414781A CN201910008480.9A CN201910008480A CN111414781A CN 111414781 A CN111414781 A CN 111414781A CN 201910008480 A CN201910008480 A CN 201910008480A CN 111414781 A CN111414781 A CN 111414781A
- Authority
- CN
- China
- Prior art keywords
- identification
- person
- target
- behavior
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 230000010365 information processing Effects 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 abstract description 37
- 238000012545 processing Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种联合人员识别和行为识别的多人实时处理方法，图像处理领域，所述方法包括S1：获取教室内课堂监控图像；S2：利用基础神经网络模型进行特征图提取；S3：在特征图提取的基础上进行目标检测和提取，并进行人员身份识别和行为识别；S4：针对每个目标利用ROI‑Pooling操作进行特征图抽取和重排列，选取概率最大的目标；S5：将概率最大的目标输入时序信息处理LSTM网络，结合时序信息进行人员身份识别和行为识别优化。本发明在有大量人员遮挡、移动的教室场景内，对所有人员的身份信息和行为信息进行实时联合检测识别。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种联合人员识别和行为识别的多人实时处理方法。
背景技术
目前，学生课堂行为监控统计是指让机器检测并理解教室内部每个学生的身份信息和行为信息，进一步对每个学员的行为进行统计分析，为其学习情况进行量化分析指导。群体行为检测分析监控在K12教育领域内具有较大的应用潜力，监控教室内每个学生的学习定量分析情况，并及时反馈给教师、家长，是目前K12教育中的热点研究问题。
基于监控视频同时识别教室内每个学生的身份信息和行为信息，在当前图像处理领域属于相对较为困难的问题，特别是面对教室场景内：人员数量较多、遮挡较为严重、环境较为复杂，目前还没有能够同时进行人员识别和行为识别的处理方法。
发明内容
鉴于K12教育中的学生课堂行为监控统计实际应用问题，本发明的目的在于提供一种联合人员识别和行为识别的多人实时处理方法，在有大量人员遮挡、移动的教室场景内，对所有人员的身份信息和行为信息进行实时联合检测识别。
本发明提供一种联合人员识别和行为识别的多人实时处理方法，所述方法包括以下步骤：
S1：获取教室内课堂监控图像；
S2：利用基础神经网络模型进行特征图提取；
S3：在特征图提取的基础上进行目标检测和提取，并进行人员身份识别和行为识别；
S4：针对每个目标利用ROI-Pooling操作进行特征图抽取和重排列，选取概率最大的目标；
S5：将概率最大的目标输入时序信息处理LSTM网络，结合时序信息进行人员身份识别和行为识别优化。
进一步的，所述特征图提取是采用Yolo-v3基础神经网络模型，使用卷积层对监控图像进行特征图提取。
进一步的，所述人员身份识别和行为识别步骤如下：
S3.1：对不同尺度的特征图进行目标检测，并进行目标提取；
S3.2：利用人员识别模型和行为识别模型对目标进行人员身份识别和行为识别。
进一步的，所述概率最大的目标选取步骤如下：
S4.1：对前后帧图像的目标的人员身份识别和行为识别信息，进行特征抽取和重排列；
S4.2：选取重排列后概率最大的目标输出。
如上所述，本发明的一种联合人员识别和行为识别的多人实时处理方法，具有以下有益效果：
1、本发明中，联合人员识别和行为识别任务，融合、精简、加速多识别任务处理流程，对所有人员的身份信息和行为信息能够进行联合检测识别；且结合时序人员跟踪处理技术能够应对人员遮挡、移动等复杂应用场景。
2、本发明中，将处理算法嵌入到摄像机前端处理硬件内部，可在像机端进行实时识别信息处理，减少服务器的处理压力，提升整体方案的处理速度。
3、本发明中，将处理获得的行为信息按照身份信息进行数据统计，并根据人员身份信息为其对应家长进行课堂信息投送，可为教师、家长提供辅助教学手段，提高课堂教育质量。
附图说明
图1显示为本发明实施例中公开单帧图像处理流程示意图；
图2显示为本发明实施例中公开单帧图像处理流程图；
图3显示为本发明实施例中公开时序图像识别处理流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供一种联合人员识别和行为识别的多人实时处理方法，所述方法包括以下步骤：
S1：获取教室内课堂监控图像；
S2：利用基础神经网络模型进行特征图提取；
S3：在特征图提取的基础上进行目标检测和提取，并进行人员身份识别和行为识别；
其中，基础神经网络模型采用Yolo-v3基础神经网络模型。
如图1和图2所示，首先使用多个重复卷积层对监控图像进行特征图提取；然后在不同尺度的特征图上进行目标检测，对不同大小的目标进行目标提取；在每个目标位置预测框的后续增加行为识别模型和人员识别模型分支，进行人员身份识别和行为识别。
人员身份识别和行为识别过程是对单帧图像进行处理的，与大部分的人员识别模型不同，现有的人员识别框架都需要先对图像中的人员进行特征图提取，再做图像修正，进而利用人员识别模型进行人员识别，本发明对整幅图像中的人员进行同步识别，速度快，而且可以利用不同人员之间的差异信息进行多人识别，识别率高。
步骤3：针对每个目标利用ROI-Pooling操作进行特征图抽取和重排列，选取概率最大的目标；
如图3所示，利用RoI-pooling操作对每个目标抽取固定大小图像特征，每个检测获取的目标框可以获取固定尺寸s×s的特征描述，可设定s＝7；在特征抽取后增加归一化操作，使得不同尺度的特征归一化到单位空间。
通过特征提取，针对每个目标框，抽取s×s个描述特征值，将所有目标的特征描述连接在一起，从而对每帧图像形成N×D大小的二维描述矩阵，其中D＝s×s，N为教室人数，当检测获得目标小于N时，用0填充剩余部分，如果目标大于N时，则选择概率最大的N目标，获得的N×D大小的二位矩阵用来输入到LSTM网络中；
利用ROI-Pooling操作进行特征图抽取和重排列，是对时序图像进行处理，即对前后帧图像中识别获得的人员身份和行为信息，进行特征的抽取及重排列(Stackedtensor)。
步骤4：将概率最大的目标输入时序信息处理LSTM网络，结合时序信息进行人员身份识别和行为识别优化。
其中，行为识别优化是采用Softmax损失函数进行计算，人员身份识别优化是采用三阶损失函数计算，三阶损失函数具体为：
其中，θji∈0,1，1表示t-1时刻的第i个目标同t时刻的第j个目标是同一人员，为了训练时序信息处理LSTM网络，将前后帧图像中同一人员的特征描述进行关联，并设定同一人员的特征描述尽量相似。
综上，本发明在单帧图像处理的基础上，结合前后帧图像之间的时序信息，因此能够识别处于遮挡、移动中的人员身份信息和行为信息，具体步骤如下：
前后帧图像按照单帧图像处理流程，分别进行人员身份识别和行为识别；
对前后帧图像中识别获得的人员身份和行为信息，进行特征的抽取及重排列(Stacked tensor)；
将抽取和重排列的特征输入时序信息处理LSTM网络，结合时序信息进行人员身份识别和行为识别优化；
本发明将处理方法对应算法嵌入摄像机前端处理硬件中，使得算法能够在摄像机采集图像的同时进行处理，减少服务器处理压力，其中，应用的嵌入式硬件采用JetsonTx2。
Claims (4)
1.一种联合人员识别和行为识别的多人实时处理方法，其特征在于，所述方法包括以下步骤：
S1：获取教室内课堂监控图像；
S2：利用基础神经网络模型进行特征图提取；
S3：在特征图提取的基础上进行目标检测和提取，并进行人员身份识别和行为识别；
S4：针对每个目标利用ROI-Pooling操作进行特征图抽取和重排列，选取概率最大的目标；
S5：将概率最大的目标输入时序信息处理LSTM网络，结合时序信息进行人员身份识别和行为识别优化。
2.根据权利要求1所述的联合人员识别和行为识别的多人实时处理方法，其特征在于：所述特征图提取是采用Yolo-v3基础神经网络模型，使用卷积层对监控图像进行特征图提取。
3.根据权利要求1所述的联合人员识别和行为识别的多人实时处理方法，其特征在于，所述人员身份识别和行为识别步骤如下：
S3.1：对不同尺度的特征图进行目标检测，并进行目标提取；
S3.2：利用人员识别模型和行为识别模型对目标进行人员身份识别和行为识别。
4.根据权利要求1所述的联合人员识别和行为识别的多人实时处理方法，其特征在于，所述概率最大的目标选取步骤如下：
S4.1：对前后帧图像的目标的人员身份识别和行为识别信息，进行特征抽取和重排列；
S4.2：选取重排列后概率最大的目标输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008480.9A CN111414781A (zh) | 2019-01-04 | 2019-01-04 | 一种联合人员识别和行为识别的多人实时处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008480.9A CN111414781A (zh) | 2019-01-04 | 2019-01-04 | 一种联合人员识别和行为识别的多人实时处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111414781A true CN111414781A (zh) | 2020-07-14 |
Family
ID=71490697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910008480.9A Pending CN111414781A (zh) | 2019-01-04 | 2019-01-04 | 一种联合人员识别和行为识别的多人实时处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414781A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644190A (zh) * | 2016-07-20 | 2018-01-30 | 北京旷视科技有限公司 | 行人监控方法和装置 |
-
2019
- 2019-01-04 CN CN201910008480.9A patent/CN111414781A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644190A (zh) * | 2016-07-20 | 2018-01-30 | 北京旷视科技有限公司 | 行人监控方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| YONGYI LU等: "Online Video Object Detection using Association LSTM", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 2363 - 2371 * |
| 王晓青等: "应用于嵌入式 GPU计算平台的实时目标检测方法", 《光学学报》, vol. 39, no. 03, pages 1 - 8 * |
| 陈嫣: "两级融合***中目标身份与行为识别技术", 《火力与指挥控制》, vol. 36, no. 9, pages 153 - 156 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135319B (zh) | 一种异常行为检测方法及其*** | |
| CN109961051B (zh) | 一种基于聚类和分块特征提取的行人重识别方法 | |
| CN111814661B (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| CN104063883B (zh) | 一种基于对象和关键帧相结合的监控视频摘要生成方法 | |
| CN111259850A (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
| Chen et al. | Door recognition and deep learning algorithm for visual based robot navigation | |
| CN109978893A (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| CN109583315B (zh) | 一种面向智能视频监控的多通道快速人体姿态识别方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| CN109255284A (zh) | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 | |
| CN108921038A (zh) | 一种基于深度学习人脸识别技术的课堂快速点名签到方法 | |
| CN115240121B (zh) | 一种用于增强行人局部特征的联合建模方法和装置 | |
| CN113378675A (zh) | 一种同时检测和特征提取的人脸识别方法 | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| CN108345835B (zh) | 一种基于仿复眼感知的目标识别方法 | |
| CN114022837A (zh) | 车站遗留物品检测方法、装置、电子设备及存储介质 | |
| WO2022205329A1 (zh) | 对象检测方法、对象检测装置及对象检测*** | |
| CN116824641A (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN116152747A (zh) | 一种基于外观辨识和动作建模的人类行为意图识别方法 | |
| CN111414781A (zh) | 一种联合人员识别和行为识别的多人实时处理方法 | |
| CN115018886A (zh) | 运动轨迹识别方法、装置、设备及介质 | |
| CN114782860A (zh) | 一种监控视频中暴力行为检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |