CN111401149A - 基于长短期时域建模算法的轻量级视频行为识别方法 - Google Patents
基于长短期时域建模算法的轻量级视频行为识别方法 Download PDFInfo
- Publication number
- CN111401149A CN111401149A CN202010124065.2A CN202010124065A CN111401149A CN 111401149 A CN111401149 A CN 111401149A CN 202010124065 A CN202010124065 A CN 202010124065A CN 111401149 A CN111401149 A CN 111401149A
- Authority
- CN
- China
- Prior art keywords
- term
- short
- video
- long
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于长短期时域建模算法的轻量级视频行为识别方法。利用部分通道互换法构建了短期特征互换模块,利用图卷积构建了长期特征融合模块,分别实现视频短期和长期时间特征的有效提取,并通过将两个模块***到二维深度残差网络的不同位置,提取了不同阶段的时间特征,从而有效解决了当前视频行为识别技术结果不准确、计算资源消耗大的问题。
Description
技术领域
本发明属于计算机视觉、视频分类技术领域,具体涉及一种基于长短期时域建模算法的轻量级视频行为识别方法,可以应用于智能监控、人群分析、人机交互等。
背景技术
随着抖音、快手等短视频软件和一些直播平台的出现,几乎每时每刻都有大量新的视频产生并被分享到互联网上。为了应对这种信息***,分析和理解应用于各种场景的视频信息变得愈发重要。视频行为识别,是指对视频中人的行为动作进行识别和判断,在现实生活中具有广泛的应用,但由于资源消耗大、时域信息提取不充分等因素影响,视频行为识别在视频分析领域仍是一项极具挑战性的任务。
视频行为识别技术可以对视频中当前的行为进行分类,也可以对视频中将要发生的动作做出预测,因此,视频行为识别技术已经应用于许多领域,包括智能监控***、手势识别、姿态识别等。对监控***中人的行为实施检测,并根据一定的规则对行为实施分析和判断,能及时对异常行为报警。而通过对姿态和手势的识别,视频行为识别技术也能被应用于人群分析和人机交互当中。
目前,大多数行为识别技术可以分为两类:一类是基于双流结构的方法,另一类是基于三维卷积神经网络的方法。基于双流结构的方法将视频中帧与帧之间的密集光流分别输入到双流结构的两个支路中进行处理,最后对两个支路的结果进行融合得到最终结果。这种方法的缺点是:1)需要额外提取视频的光流特征,对时间和内存消耗比较高;2)由于双流结构本质上仍是基于二维卷积神经网络,无法有效的捕获视频中复杂的时域信息,识别准确率较低。基于三维卷积神经网络的方法通过使用三维卷积同时提取视频中的时间特征和空间特征,这种方法的主要缺点是:1)相比于二维卷积神经网络,参数数量呈指数级增长;2)模型预训练时所需计算成本高,模型不易训练,容易发生过拟合现象;3)在模型的单个层上,只能获取短期的时域信息,而无法对视频中长期的时域信息实施有效提取。
所以,目前视频行为识别技术普遍存在计算资源消耗多、时间特征提取不充分等缺点,需要提出精度高、计算资源消耗少、能有效提取时间特征的视频行为识别方法。
发明内容
为了克服现有技术的不足,本发明提供一种基于长短期时域建模算法的轻量级视频行为识别方法。基于二维深度残差网络和图卷积,对视频的短期和长期的时间特征实施了有效的提取。相较于双流算法和三维卷积神经网络算法,本发明在不需要额外训练图模型和提取光流特征的前提下,有效解决了当前视频行为识别技术识别结果不准确、计算资源消耗多的问题。
一种基于长短期时域建模算法的轻量级视频行为识别方法,其特征在于如下步骤:
步骤1:采用均匀采样的方法从视频数据集的每一个视频中提取8帧视频片段,并对提取的视频片段进行多尺度裁剪,使其尺寸相同,所有裁剪后的视频片段和其所属视频标签共同构成新的视频片段数据集,并将其按4:1的比例划分为训练数据集和测试数据集;
步骤2:构建长短期时域行为识别网络模型,包括空间特征提取模块、短期特征互换模块、长期特征融合模块和行为预测模块;所述的空间特征提取模块由50层的ResNet网络构成,包含16个Bottleneck模块,其中4个Bottleneck模块含有下采样层,ResNet网络的第一个卷积层和不同Bottleneck模块提取输入视频片段不同阶段的空间特征,ResNet网络的最后一层输出每一帧相对于所有类别的得分;在每一个Bottleneck模块前都***一个短期特征互换模块,将每一帧部分通道上的特征与其前后相邻两帧中对应通道上的特征进行互换,并将交换后的特征与原特征叠加,得到不同阶段的短期时间特征;在最后两个包含下采样层的Bottleneck模块前分别加入一个长期特征融合模块,所述的长期特征融合模块置于所***的短期特征互换模块之前,以输入特征图中提取的特征作为全连接图的结点,采用图卷积方法对结点上的信息进行融合,并通过映射使融合得到的长期时间特征与输入特征图保持结构相同;所述的行为预测模块对特征提取模块得到的所有帧的类别得分按照类别进行平均,得到视频片段对于每一个类别的平均得分,并将得分最高的类别作为视频片段的最终行为识别结果;
步骤3:将步骤1得到的训练数据集输入到步骤2构建的网络模型中进行训练,设定网络的损失函数为均方误差损失函数,采用随机梯度下降法优化训练网络,批量大小为16,训练的学习率为0.01,学习率每10个训练轮回降低10倍,共训练30个训练轮回,训练好的网络即为最终的行为识别网络模型;
步骤4:将测试数据集中的视频输入到步骤3训练好的长短期时域行为识别网络模型中,得到测试集中每个视频的行为识别结果。
本发明的有益效果是:由于利用部分特征互换和图卷积进行短期和长期时域范围的模块构建,并将两种模块穿插到深度残差网络(ResNet50)的多个位置中,能够有效地提取不同阶段的时间特征,获得更高的行为识别准确率;同时不需要额外训练图模型和提取光流特征,计算量小。
附图说明
图1是本发明的长短期时域行为识别网络模型示意图;
图2是短期特征互换模块示意图;
图3是长期特征融合模块示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明提供了一种基于长短期时域建模算法的轻量级视频行为识别方法,其实现步骤如下:
1、视频预处理
将数据集中的视频,先通过均匀采样的方法从每一个视频中提取出8帧的视频片段,然后对视频片段进行多尺度裁剪(如中心裁剪等),将每一帧的尺寸转化为224×224,从而每一个视频都转化成一个尺寸为8×3×224×224的视频片段。所有视频片段构成新的视频片段数据集,并将原数据集中视频的标签作为新的视频片段数据集中的对应视频片段的标签。最后将新的视频片段数据集按4:1的比例划分为训练数据集和测试数据集。
2、构建长短期时域行为识别网络模型
为了从视频片段中提取出各种有用的特征,本发明分别利用空间特征提取模块实现了对视频片段中每一帧不同阶段空间特征的提取,利用短期特征互换模块沿着时间维度对提取的特征实施部分通道互换获得了短期的时间特征,利用长期特征融合模块将提取特征在长期时间范围内传播和融合,获得长期的时间特征,最后利用行为预测模块对视频片段的行为类别做出最终判断。因此,构建了包括空间特征提取模块、短期特征互换模块、长期特征融合模块和行为预测模块的长短期时域行为识别网络模型。
(1)空间特征提取模块
空间特征提取模块由50层的ResNet网络构成,包含16个Bottleneck模块,其中4个Bottleneck模块含有下采样层,ResNet网络的不同Bottleneck模块提取输入视频片段不同阶段的空间特征,ResNet网络的最后一层输出每一帧相对于所有类别的得分。
(2)短期特征互换模块
在每一个Bottleneck模块前都***一个短期特征互换模块。如图2所示,短期特征互换模块沿着时间维度将每一帧的特征与前后相邻两帧的特征互换。由于每一帧的特征由多个通道构成,为了较少计算量,采取互换部分通道,前1/8通道上的特征与前一帧交换,与之相邻的1/8通道上的特征与后一帧互换,剩余的6/8通道保持不变。为了防止特征互换后,损害了每一帧原有的空间特征,本发明采用残差的思想,将互换后的特征与输入的原始特征叠加,既得到了短期的时间特征,也保留了原有的空间特征。整个过程可以用公式表示为:
F2 s=Stm(F1,F2,F3)+F2 (1)
其中,Stm(·,·,·)代表短期特征互换操作,帧I2通过与相邻的两帧I1、I3交换部分通道得到短期的时间特征,然后加上其原始特征F2,从而获得经过短期特征互换模块处理后的特征F2 s,F1表示前一帧I1的原始特征,F2表示当前帧I2的原始特征,F3表示后一帧I3的原始特征。整个过程既没有引入额外的参数,也不需要消耗很多的计算资源。
(3)长期特征融合模块
在最后两个包含下采样层的Bottleneck模块之前分别加入一个长期特征融合模块,长期特征融合模块置于所***的短期特征互换模块之前。
长期特征融合模块以输入的特征图中提取的特征作为全连接图的结点。首先,将输入的特征图F∈RC×T×H×W“拉直”,形成一个新的特征图F'∈RC×L,L=T×H×W,C表示通道的数量,T表示视频片段的帧数,H表示每一帧特征的高度,W表示每一帧特征的宽度,之后通过一个一维卷积操作从特征图F'中提取出多个特征f1,f2...fn,其中,fk表示一维卷积提取的第k个特征,k=1,…,n,n表示提取的特征的数量。
然后,构建单层的全连接图,将提取的特征f1,f2...fn作为全连接图的结点。接着,采用图卷积方法对结点上的信息在长期时间范围内传播和融合。图卷积操作如下:
Y=AlVWl (2)
其中,V是全连接图的结点,它是由提取的多个特征f1,f2...fn构成,Al和Wl分别代表长期特征融合模块中的邻接矩阵和权重矩阵,Y为在长期时间范围内传播和融合获得的长期时间特征。在图卷积中,首先邻接矩阵Al学习结点之间边的权重,进行信息传播,之后通过权重矩阵Wl更新结点的状态。同时为了防止优化困难和退化问题,在更新结点的状态步骤之前(右乘权重矩阵Wl之前)和整个图卷积操作之后,分别添加了恒等映射。因而图卷积操作优化成如下方式:
Y=(V+AlV)Wl+V (3)
最后,通过反卷积操作把图卷积操作获得的长期时间特征Y转化为与此模块的输入特征图F具有相同结构的特征图,从而使经过长期特征融合模块处理的特征与空间特征提取模块的特征结构适配,此过程是模块输入特征图转化为全连接图的结点的逆过程。
(4)行为预测模块
行为预测模块用平均法将空间特征提取模块得到的视频片段所有的帧相对于所有类别的得分按照类别进行平均,得分最高的类别作为视频片段的最终行为识别结果,同时也作为未预处理的原始视频的行为识别结果。
3、网络模型训练
设定网络训练参数,网络的损失函数为均方误差损失函数,训练网络的方法为随机梯度下降法,批量大小为16,训练的学习率为0.01,学习率每10个训练轮回降低10倍,总共训练30个训练轮回。然后利用步骤1得到的训练数据集对构建好的长短期时域行为识别网络模型进行训练,训练好的网络即为最终的行为识别网络模型;
4、将测试数据集中的视频输入到训练好的长短期时域行为识别网络模型中,得到测试集中每个视频的行为识别结果。同时如果将任意视频输入到网络中,也都能得到其对应的行为识别结果。
为了验证本发明方法的有效性,在i7-6800K、NVIDIA GeForce GTX 1080GPU、Ubuntu16.04操作***,OpenCV3.2.0、cuda9.2.148、cudann7.3.1以及PyToch1.0.0深度学***衡,需要的计算资源较少且准确率高,更具实用性。
表1
方法 | 输入帧数 | 运算量(ms) | 准确率(%) |
TSN | 8 | 16G | 19.5 |
Multi-Scale TRN | 8 | 16G | 34.4 |
ECO | 8 | 32G | 39.6 |
I3D | 32×2clips | 153G×2 | 41.6 |
本发明 | 8 | 33G | 40.6 |
Claims (1)
1.一种基于长短期时域建模算法的轻量级视频行为识别方法,其特征在于如下步骤:
步骤1:采用均匀采样的方法从视频数据集的每一个视频中提取8帧视频片段,并对提取的视频片段进行多尺度裁剪,使其尺寸相同,所有裁剪后的视频片段和其所属视频标签共同构成新的视频片段数据集,并将其按4:1的比例划分为训练数据集和测试数据集;
步骤2:构建长短期时域行为识别网络模型,包括空间特征提取模块、短期特征互换模块、长期特征融合模块和行为预测模块;所述的空间特征提取模块由50层的ResNet网络构成,包含16个Bottleneck模块,其中4个Bottleneck模块含有下采样层,ResNet网络的第一个卷积层和不同Bottleneck模块提取输入视频片段不同阶段的空间特征,ResNet网络的最后一层输出每一帧相对于所有类别的得分;在每一个Bottleneck模块前都***一个短期特征互换模块,将每一帧部分通道上的特征与其前后相邻两帧中对应通道上的特征进行互换,并将交换后的特征与原特征叠加,得到不同阶段的短期时间特征;在最后两个包含下采样层的Bottleneck模块前分别加入一个长期特征融合模块,所述的长期特征融合模块置于所***的短期特征互换模块之前,以输入特征图中提取的特征作为全连接图的结点,采用图卷积方法对结点上的信息进行融合,并通过映射使融合得到的长期时间特征与输入特征图保持结构相同;所述的行为预测模块对特征提取模块得到的所有帧的类别得分按照类别进行平均,得到视频片段对于每一个类别的平均得分,并将得分最高的类别作为视频片段的最终行为识别结果;
步骤3:将步骤1得到的训练数据集输入到步骤2构建的网络模型中进行训练,设定网络的损失函数为均方误差损失函数,采用随机梯度下降法优化训练网络,批量大小为16,训练的学习率为0.01,学习率每10个训练轮回降低10倍,共训练30个训练轮回,训练好的网络即为最终的行为识别网络模型;
步骤4:将测试数据集中的视频输入到步骤3训练好的长短期时域行为识别网络模型中,得到测试集中每个视频的行为识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010124065.2A CN111401149B (zh) | 2020-02-27 | 2020-02-27 | 基于长短期时域建模算法的轻量级视频行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010124065.2A CN111401149B (zh) | 2020-02-27 | 2020-02-27 | 基于长短期时域建模算法的轻量级视频行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401149A true CN111401149A (zh) | 2020-07-10 |
CN111401149B CN111401149B (zh) | 2022-05-13 |
Family
ID=71432113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010124065.2A Active CN111401149B (zh) | 2020-02-27 | 2020-02-27 | 基于长短期时域建模算法的轻量级视频行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401149B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112464831A (zh) * | 2020-12-01 | 2021-03-09 | 马上消费金融股份有限公司 | 视频分类方法、视频分类模型的训练方法及相关设备 |
CN112712695A (zh) * | 2020-12-30 | 2021-04-27 | 桂林电子科技大学 | 一种交通流预测方法、装置及存储介质 |
CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
WO2022228325A1 (zh) * | 2021-04-27 | 2022-11-03 | 中兴通讯股份有限公司 | 行为检测方法、电子设备以及计算机可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845351A (zh) * | 2016-05-13 | 2017-06-13 | 苏州大学 | 一种用于视频的基于双向长短时记忆单元的行为识别方法 |
CN107506712A (zh) * | 2017-08-15 | 2017-12-22 | 成都考拉悠然科技有限公司 | 一种基于3d深度卷积网络的人类行为识别的方法 |
US20180268222A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
CN108764009A (zh) * | 2018-03-21 | 2018-11-06 | 苏州大学 | 基于深度残差长短时记忆网络的视频事件识别方法 |
CN109214285A (zh) * | 2018-08-01 | 2019-01-15 | 浙江深眸科技有限公司 | 基于深度卷积神经网络与长短期记忆网络的摔倒检测方法 |
CN109359519A (zh) * | 2018-09-04 | 2019-02-19 | 杭州电子科技大学 | 一种基于深度学习的视频异常行为检测方法 |
CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
CN109753897A (zh) * | 2018-12-21 | 2019-05-14 | 西北工业大学 | 基于记忆单元强化-时序动态学习的行为识别方法 |
CN109886358A (zh) * | 2019-03-21 | 2019-06-14 | 上海理工大学 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
CN109919031A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种基于深度神经网络的人体行为识别方法 |
CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
CN110188653A (zh) * | 2019-05-27 | 2019-08-30 | 东南大学 | 基于局部特征聚合编码和长短期记忆网络的行为识别方法 |
US20190294881A1 (en) * | 2018-03-22 | 2019-09-26 | Viisights Solutions Ltd. | Behavior recognition |
CN110378208A (zh) * | 2019-06-11 | 2019-10-25 | 杭州电子科技大学 | 一种基于深度残差网络的行为识别方法 |
-
2020
- 2020-02-27 CN CN202010124065.2A patent/CN111401149B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845351A (zh) * | 2016-05-13 | 2017-06-13 | 苏州大学 | 一种用于视频的基于双向长短时记忆单元的行为识别方法 |
US20180268222A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
CN107506712A (zh) * | 2017-08-15 | 2017-12-22 | 成都考拉悠然科技有限公司 | 一种基于3d深度卷积网络的人类行为识别的方法 |
CN108764009A (zh) * | 2018-03-21 | 2018-11-06 | 苏州大学 | 基于深度残差长短时记忆网络的视频事件识别方法 |
US20190294881A1 (en) * | 2018-03-22 | 2019-09-26 | Viisights Solutions Ltd. | Behavior recognition |
CN109214285A (zh) * | 2018-08-01 | 2019-01-15 | 浙江深眸科技有限公司 | 基于深度卷积神经网络与长短期记忆网络的摔倒检测方法 |
CN109359519A (zh) * | 2018-09-04 | 2019-02-19 | 杭州电子科技大学 | 一种基于深度学习的视频异常行为检测方法 |
CN109753897A (zh) * | 2018-12-21 | 2019-05-14 | 西北工业大学 | 基于记忆单元强化-时序动态学习的行为识别方法 |
CN109753906A (zh) * | 2018-12-25 | 2019-05-14 | 西北工业大学 | 基于域迁移的公共场所异常行为检测方法 |
CN109919031A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种基于深度神经网络的人体行为识别方法 |
CN109886358A (zh) * | 2019-03-21 | 2019-06-14 | 上海理工大学 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
CN110188653A (zh) * | 2019-05-27 | 2019-08-30 | 东南大学 | 基于局部特征聚合编码和长短期记忆网络的行为识别方法 |
CN110378208A (zh) * | 2019-06-11 | 2019-10-25 | 杭州电子科技大学 | 一种基于深度残差网络的行为识别方法 |
Non-Patent Citations (7)
Title |
---|
ALEXANDER KOZLOV 等: "Lightweight Network Architecture for Real-Time Action Recognition", 《ARXIV:1905.08711V1》 * |
RUNHAO ZENG 等: "Graph Convolutional Networks for Temporal Action Localization", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
TOBY PERRETT 等: "DDLSTM: Dual-Domain LSTM for Cross-Dataset Action Recognition", 《ARXIV:1904.08634V1》 * |
XI OUYANG 等: "A 3D-CNN and LSTM Based Multi-Task Learning Architecture for Action Recognition", 《DIGITAL OBJECT IDENTIFIER》 * |
张颖 等: "基于3D卷积神经网络的人体行为识别方法", 《软件导刊》 * |
李庆辉 等: "结合有序光流图和双流卷积网络的行为识别", 《光学学报》 * |
王萍 等: "基于视频分段的空时双通道卷积神经网络的行为识别", 《计算机应用》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112464831A (zh) * | 2020-12-01 | 2021-03-09 | 马上消费金融股份有限公司 | 视频分类方法、视频分类模型的训练方法及相关设备 |
CN112464831B (zh) * | 2020-12-01 | 2021-07-30 | 马上消费金融股份有限公司 | 视频分类方法、视频分类模型的训练方法及相关设备 |
CN112712695A (zh) * | 2020-12-30 | 2021-04-27 | 桂林电子科技大学 | 一种交通流预测方法、装置及存储介质 |
CN112712695B (zh) * | 2020-12-30 | 2021-11-26 | 桂林电子科技大学 | 一种交通流预测方法、装置及存储介质 |
WO2022228325A1 (zh) * | 2021-04-27 | 2022-11-03 | 中兴通讯股份有限公司 | 行为检测方法、电子设备以及计算机可读存储介质 |
CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111401149B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401149B (zh) | 基于长短期时域建模算法的轻量级视频行为识别方法 | |
CN110084151B (zh) | 基于非局部网络深度学习的视频异常行为判别方法 | |
CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
CN107506722A (zh) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 | |
CN106203395A (zh) | 基于多任务深度学习的人脸属性识别方法 | |
CN109214263A (zh) | 一种基于特征复用的人脸识别方法 | |
CN108256482A (zh) | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 | |
CN112085072B (zh) | 基于时空特征信息的草图检索三维模型的跨模态检索方法 | |
CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
CN106778851B (zh) | 基于手机取证数据的社交关系预测***及其方法 | |
KR102593835B1 (ko) | 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술 | |
CN112750129A (zh) | 一种基于特征增强位置注意力机制的图像语义分割模型 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN111666852A (zh) | 一种基于卷积神经网络的微表情双流网络识别方法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN113343760A (zh) | 一种基于多尺度特征神经网络的人体行为识别方法 | |
CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
CN113869285B (zh) | 一种人群密度估计装置、方法和存储介质 | |
CN104598898A (zh) | 一种基于多任务拓扑学习的航拍图像快速识别***及其快速识别方法 | |
CN111914600A (zh) | 一种基于空间注意力模型的群组情绪识别方法 | |
CN113688856A (zh) | 基于多视角特征融合的行人重识别方法 | |
CN105354591A (zh) | 基于高阶类别相关先验知识的三维室外场景语义分割*** | |
CN111159411B (zh) | 一种融合知识图谱的文本立场分析方法、***及存储介质 | |
CN117576038A (zh) | 基于YOLOv8网络的织物瑕疵检测方法及*** | |
Chen et al. | Intelligent teaching evaluation system integrating facial expression and behavior recognition in teaching video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |