CN109800717A - 基于强化学习的行为识别视频帧采样方法及*** - Google Patents
基于强化学习的行为识别视频帧采样方法及*** Download PDFInfo
- Publication number
- CN109800717A CN109800717A CN201910060129.4A CN201910060129A CN109800717A CN 109800717 A CN109800717 A CN 109800717A CN 201910060129 A CN201910060129 A CN 201910060129A CN 109800717 A CN109800717 A CN 109800717A
- Authority
- CN
- China
- Prior art keywords
- measured
- frame
- video
- behavior prediction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 52
- 230000000694 effects Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 113
- 238000012360 testing method Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 12
- 239000003795 chemical substances by application Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000029087 digestion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于强化学习的行为识别视频帧采样方法及***,所述行为识别视频帧采样方法包括:从待测试视频提取待测视频帧序列,并从待测视频帧序列中均匀采样T帧待测图像;基于行为识别的基础模型及各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;针对每帧待测图像,将待测特征向量和待测行为预测级联,得到待测状态序列;根据基于长短时记忆网络的智能体及待测状态序列,确定每帧待测图像的待测重要性得分;按照待测重要性得分的大小,从各帧待测图像中选取多帧待测视频的关键帧;根据各关键帧的待测行为预测,得到待测视频的行为预测;根据待测视频的行为预测,确定识别结果,从而降低无关帧带来的负面影响,降低噪声。
Description
技术领域
本发明涉及计算机视觉和模式识别技术领域,特别涉及一种基于强化学习的行为识别视频帧采样方法及***。
背景技术
由于深度学习在图像识别领域取得的巨大成功,近年来,行为识别方法主要通过设计深度网络来从大量有标签的视频数据中学习视频的深度特征表达。
这些工作主要分为以下几类:基于双流模型的方法,基于循环神经网络的方法,基于3D卷积神经网络的方法以及他们之间的结合。在这些方法中,由于能够高效的利用视频信息,基于双流模型的方法起到了最重要的推动作用。为了高效的对视频中的行为进行识别,这些方法首先对视频均匀地、稀疏地采样,然后对采样得到的每一帧进行识别,最后将所有帧的行为预测融合得到整个视频的行为预测,输出行为类别。
然而在一段视频中,由于行为显著性、图像质量的原因,具有判别力的行为可能只稀疏地分布在视频的少数帧中,并且其他的帧大多与行为无关,其引入的噪声甚至可能导致行为识别的结果出现错误。
发明内容
为了解决现有技术中的上述问题,即为了准确确定关键帧,降低噪声,本发明提供了一种基于强化学习的行为识别视频帧采样方法及***。
为解决上述技术问题,本发明提供了如下方案:
一种基于强化学习的行为识别视频帧采样方法,所述行为识别视频帧采样方法包括:
从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像;
基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;
针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列;
根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分;
按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧;
根据各关键帧的待测行为预测,得到所述待测视频的行为预测;
根据所述待测视频的行为预测,确定识别结果。
可选的,所述基于长短时记忆网络的智能体通过策略梯度进行训练得到。
可选的,所述基于长短时记忆网络的智能体通过策略梯度进行训练,具体包括:
从训练集中提取任意训练视频,并从所述训练视频中均匀采样T帧训练图像;
基于行为识别的基础模型,根据各帧训练图像,确定对应帧训练图像的训练特征向量和训练行为预测,计算所有训练图像的训练行为预测取平均值得到视频的初始行为预测p0:
其中,为第t帧训练图像的训练行为预测,C为数据集的行为类别总数,T表示训练图像的帧数;
针对每帧训练图像,将所述训练特征向量与训练行为预测级联,组成训练状态序列;
根据所述训练状态序列及基于深度神经网络的智能体,确定该训练图像的动作的概率分布,基于深度神经网络的智能体对每帧训练图像的采用的动作有两种:丢弃和保留;
根据该训练图像的动作的概率分布进行采样,组成动作序列,对动作的采样过程可以形式化为:
其中,at∈{0,1}为基于深度神经网络的智能体对第t帧采取的动作,0表示丢弃动作,1表示保留动作;为基于深度神经网络的智能体对第t帧采取保留动作的概率;
根据动作序列挑选关键帧,并将关键帧的行为预测取平均值得到新行为预测:
根据所述初始行为预测和新行为预测,计算智能体获得的奖励;
根据各训练图像的动作序列和奖励,计算目标函数和基于深度神经网络的智能体参数的梯度,并更新基于深度神经网络的智能体的参数;
重复根据所述基于深度神经网络的智能体的参数,直至所述基于深度神经网络的智能体所获得的期望奖励最大或达到迭代次数,以得到所述基于长短时记忆网络的智能体。
可选的,所述根据所述初始行为预测和新行为预测,计算智能体获得的奖励,具体包括:
若初始视频行为预测p0和新视频行为预测p1对视频中行为类别判断相同,则奖励其中,和分别为p0和p1的第c维,c为视频的正确标签;
若两次预测对视频行为类别的判断不同,且如果初始判断是错误的,智能体执行动作后,判断是正确的,则智能体获得较大奖励R=10;反之,智能体获得较大惩罚R=-10。
可选的,所述目标函数包括期望奖励损失函数J(θ)和采样损失函数Lsampling,θ为基于深度神经网络的智能体的参数;
其中,根据以下公式,计算期望奖励损失函数:
其中,pθ(a1:T)为可能的动作序列的概率分布;
根据以下公式确定θ的梯度为:
其中,是J(θ)关于θ的偏导数,πθ(at|ht)表示智能体对第t帧执行动作at的概率,ht为深度神经网络的隐藏状态,Rn为智能体对同一视频执行第n次动作时获得的奖励;
根据以下公式,计算采样损失函数:
其中,m为智能体在测试阶段从视频中挑选的帧数,β为其权重系数,关于θ的梯度为
可选的,所述行为识别的基础模型为任意基于视频帧的行为识别模型。
可选的,所述按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧,具体包括:
将各待测重要性得分按照从大到小的顺序排列;
提取前m的待测重要性得分对应的待测图像为关键帧,得到m帧关键帧。
可选的,m=12。
可选的,所述根据各关键帧的待测行为预测,得到所述待测视频的行为预测,具体包括:
计算各关键帧的待测行为预测的平均值,所述平均值为所述待测视频的行为预测。
为解决上述技术问题,本发明提供了如下方案:
一种基于强化学习的行为识别视频帧采样***,所述行为识别视频帧采样***包括:
提取单元,用于从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像;
确定单元,用于基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;
级联单元,用于针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列;
得分单元,用于根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分;
选取单元,用于按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧;
预测单元,用于根据各关键帧的待测行为预测,得到所述待测视频的行为预测;
识别单元,用于根据所述待测视频的行为预测,确定识别结果。
根据本发明的实施例,本发明公开了以下技术效果:
本发明基于行为识别的基础模型,确定待测图像的待测特征向量和待测行为预测,进而得到待测状态序列,进一步根据基于长短时记忆网络的智能体待测状态序列,确定每帧待测图像的待测重要性得分,并以此为根据选取关键帧,从而降低无关帧带来的负面影响,降低噪声。
附图说明
图1是本发明基于强化学习的行为识别视频帧采样方法的流程图;
图2是本发明基于强化学习的行为识别视频帧采样***的模块结构示意图。
符号说明:
提取单元—1,确定单元—2,级联单元—3,得分单元—4,选取单元—5,预测单元—6,识别单元—7。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明提供一种基于强化学习的行为识别视频帧采样方法,基于行为识别的基础模型,确定待测图像的待测特征向量和待测行为预测,进而得到待测状态序列,进一步根据基于长短时记忆网络的智能体待测状态序列,确定每帧待测图像的待测重要性得分,并以此为根据选取关键帧,从而降低无关帧带来的负面影响,降低噪声。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明一种基于强化学习的行为识别视频帧采样方法包括:
步骤100:从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像。
在本实施例中,T=25。
步骤200:基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测。
其中,所述行为识别的基础模型为任意基于视频帧的行为识别模型。
步骤300:针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列。
步骤400:根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分。
步骤500:按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧。
步骤600:根据各关键帧的待测行为预测,得到所述待测视频的行为预测。
步骤700:根据所述待测视频的行为预测,确定识别结果。
其中,所述基于长短时记忆网络的智能体通过策略梯度进行训练得到。
进一步地,所述基于长短时记忆网络的智能体通过策略梯度进行训练,具体包括:
步骤401:从训练集中提取任意训练视频,并从所述训练视频中均匀采样T帧训练图像。
步骤402:基于行为识别的基础模型,根据各帧训练图像,确定对应帧训练图像的训练特征向量和训练行为预测,计算所有训练图像的训练行为预测取平均值得到视频的初始行为预测p0:
其中,为第t帧训练图像的训练行为预测,C为数据集的行为类别总数,T表示训练图像的帧数。
步骤402:针对每帧训练图像,将所述训练特征向量与训练行为预测级联,组成训练状态序列。
步骤403:根据所述训练状态序列及基于深度神经网络的智能体,确定该训练图像的动作的概率分布,基于深度神经网络的智能体对每帧训练图像的采用的动作有两种:丢弃和保留。
步骤404:根据该训练图像的动作的概率分布进行采样,组成动作序列,对动作的采样过程可以形式化为:
其中,at∈{0,1}为基于深度神经网络的智能体对第t帧采取的动作,0表示丢弃动作,1表示保留动作;为基于深度神经网络的智能体对第t帧采取保留动作的概率。
步骤405:根据动作序列挑选关键帧,并将关键帧的行为预测取平均值得到新行为预测:
步骤406:根据所述初始行为预测和新行为预测,计算智能体获得的奖励。
所述根据所述初始行为预测和新行为预测,计算智能体获得的奖励,具体包括:
若初始视频行为预测p0和新视频行为预测p1对视频中行为类别判断相同,则奖励其中,和分别为p0和p1的第c维,c为视频的正确标签;
若两次预测对视频行为类别的判断不同,且如果初始判断是错误的,智能体执行动作后,判断是正确的,则智能体获得较大奖励R=10;反之,智能体获得较大惩罚R=-10
步骤407:根据各训练图像的动作序列和奖励,计算目标函数和基于深度神经网络的智能体参数的梯度,并更新基于深度神经网络的智能体的参数。
所述目标函数包括期望奖励损失函数J(θ)和采样损失函数Lsampling,θ为基于深度神经网络的智能体的参数;
其中,根据以下公式,计算期望奖励损失函数:
其中,pθ(a1:T)为可能的动作序列的概率分布;
根据以下公式确定θ的梯度为:
其中,是J(θ)关于θ的偏导数,πθ(at|ht)表示智能体对第t帧执行动作at的概率,ht为深度神经网络的隐藏状态,Rn为智能体对同一视频执行第n次动作时获得的奖励;
根据以下公式,计算采样损失函数:
其中,m为智能体在测试阶段从视频中挑选的帧数,β为其权重系数,关于θ的梯度为
步骤408:重复根据所述基于深度神经网络的智能体的参数,直至所述基于深度神经网络的智能体所获得的期望奖励最大或达到迭代次数,以得到所述基于长短时记忆网络的智能体。
在步骤500中,所述按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧,具体包括:
步骤501:将各待测重要性得分按照从大到小的顺序排列;
步骤502:提取前m的待测重要性得分对应的待测图像为关键帧,得到m帧关键帧。
优选地,m=12。
在步骤600中,所述根据各关键帧的待测行为预测,得到所述待测视频的行为预测,具体包括:
计算各关键帧的待测行为预测的平均值,所述平均值为所述待测视频的行为预测。
本发明基于强化学习的行为识别视频帧采样方法将挖掘视频中关键帧的过程形式化为马尔可夫决策过程,在不利用额外标签的条件下,利用一个经过训练的行为识别的基础模型提取训练视频序列的特征序列以及帧测试序列,并以此作为智能体的输入,通过强化学习训练智能体;在测试阶段,智能体以测试视频序列的特征序列及帧预测序列为输入,对测试视频的每一帧进行重要性评分,并以此为根据挑选视频中的关键帧,从而降低无关帧带来的负面影响。
此外,本发明还提供一种基于强化学习的行为识别视频帧采样***,准确确定关键帧,降低噪声。
如图2所示,本发明基于强化学习的行为识别视频帧采样***包括提取单元1、确定单元2、级联单元3、得分单元4、选取单元5、预测单元6及识别单元7。
具体地,所述提取单元1用于从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像。
所述确定单元2用于基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测。
所述级联单元3用于针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列。
所述得分单元4用于根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分。
所述选取单元5用于按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧。
所述预测单元6用于根据各关键帧的待测行为预测,得到所述待测视频的行为预测。
所述识别单元7用于根据所述待测视频的行为预测,确定识别结果。
相对于现有技术被,本发明基于强化学习的行为识别视频帧采样***与上述基于强化学习的行为识别视频帧采样方法的有益效果相同,在此不再赘述。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于强化学习的行为识别视频帧采样方法,其特征在于,所述行为识别视频帧采样方法包括:
从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像;
基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;
针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列;
根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分;
按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧;
根据各关键帧的待测行为预测,得到所述待测视频的行为预测;
根据所述待测视频的行为预测,确定识别结果。
2.根据权利要求1所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述基于长短时记忆网络的智能体通过策略梯度进行训练得到。
3.根据权利要求2所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述基于长短时记忆网络的智能体通过策略梯度进行训练,具体包括:
从训练集中提取任意训练视频,并从所述训练视频中均匀采样T帧训练图像;
基于行为识别的基础模型,根据各帧训练图像,确定对应帧训练图像的训练特征向量和训练行为预测,计算所有训练图像的训练行为预测取平均值得到视频的初始行为预测p0:
其中,为第t帧训练图像的训练行为预测,C为数据集的行为类别总数,T表示训练图像的帧数;
针对每帧训练图像,将所述训练特征向量与训练行为预测级联,组成训练状态序列;
根据所述训练状态序列及基于深度神经网络的智能体,确定该训练图像的动作的概率分布,基于深度神经网络的智能体对每帧训练图像的采用的动作有两种:丢弃和保留;
根据该训练图像的动作的概率分布进行采样,组成动作序列,对动作的采样过程可以形式化为:
其中,at∈{0,1}为基于深度神经网络的智能体对第t帧采取的动作,0表示丢弃动作,1表示保留动作;为基于深度神经网络的智能体对第t帧采取保留动作的概率;
根据动作序列挑选关键帧,并将关键帧的行为预测取平均值得到新行为预测:
根据所述初始行为预测和新行为预测,计算智能体获得的奖励;
根据各训练图像的动作序列和奖励,计算目标函数和基于深度神经网络的智能体参数的梯度,并更新基于深度神经网络的智能体的参数;
重复根据所述基于深度神经网络的智能体的参数,直至所述基于深度神经网络的智能体所获得的期望奖励最大或达到迭代次数,以得到所述基于长短时记忆网络的智能体。
4.根据权利要求3所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述根据所述初始行为预测和新行为预测,计算智能体获得的奖励,具体包括:
若初始视频行为预测p0和新视频行为预测p1对视频中行为类别判断相同,则奖励其中,和分别为p0和p1的第c维,c为视频的正确标签;
若两次预测对视频行为类别的判断不同,且如果初始判断是错误的,智能体执行动作后,判断是正确的,则智能体获得较大奖励R=10;反之,智能体获得较大惩罚R=-10。
5.根据权利要求3所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述目标函数包括期望奖励损失函数J(θ)和采样损失函数Lsampling,θ为基于深度神经网络的智能体的参数;
其中,根据以下公式,计算期望奖励损失函数:
其中,pθ(a1:T)为可能的动作序列的概率分布;
根据以下公式确定θ的梯度为:
其中,是J(θ)关于θ的偏导数,πθ(at|ht)表示智能体对第t帧执行动作at的概率,ht为深度神经网络的隐藏状态,Rn为智能体对同一视频执行第n次动作时获得的奖励;
根据以下公式,计算采样损失函数:
其中,m为智能体在测试阶段从视频中挑选的帧数,β为其权重系数,关于θ的梯度为
6.根据权利要求1-5中任一项所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述行为识别的基础模型为任意基于视频帧的行为识别模型。
7.根据权利要求1所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧,具体包括:
将各待测重要性得分按照从大到小的顺序排列;
提取前m的待测重要性得分对应的待测图像为关键帧,得到m帧关键帧。
8.根据权利要求7所述的基于强化学习的行为识别视频帧采样方法,其特征在于,m=12。
9.根据权利要求1所述的基于强化学习的行为识别视频帧采样方法,其特征在于,所述根据各关键帧的待测行为预测,得到所述待测视频的行为预测,具体包括:
计算各关键帧的待测行为预测的平均值,所述平均值为所述待测视频的行为预测。
10.一种基于强化学习的行为识别视频帧采样***,其特征在于,所述行为识别视频帧采样***包括:
提取单元,用于从待测试视频提取待测视频帧序列,并从所述待测视频帧序列中均匀采样T帧待测图像;
确定单元,用于基于行为识别的基础模型,根据各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;
级联单元,用于针对每帧待测图像,将所述待测特征向量和待测行为预测级联,得到待测状态序列;
得分单元,用于根据基于长短时记忆网络的智能体及所述待测状态序列,确定每帧待测图像的待测重要性得分;
选取单元,用于按照待测重要性得分的大小,从各所述帧待测图像中选取多帧待测视频的关键帧;
预测单元,用于根据各关键帧的待测行为预测,得到所述待测视频的行为预测;
识别单元,用于根据所述待测视频的行为预测,确定识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060129.4A CN109800717B (zh) | 2019-01-22 | 2019-01-22 | 基于强化学习的行为识别视频帧采样方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060129.4A CN109800717B (zh) | 2019-01-22 | 2019-01-22 | 基于强化学习的行为识别视频帧采样方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109800717A true CN109800717A (zh) | 2019-05-24 |
CN109800717B CN109800717B (zh) | 2021-02-02 |
Family
ID=66560031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910060129.4A Active CN109800717B (zh) | 2019-01-22 | 2019-01-22 | 基于强化学习的行为识别视频帧采样方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109800717B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110418163A (zh) * | 2019-08-27 | 2019-11-05 | 北京百度网讯科技有限公司 | 视频帧采样方法、装置、电子设备及存储介质 |
CN111079717A (zh) * | 2020-01-09 | 2020-04-28 | 西安理工大学 | 一种基于强化学习的人脸识别方法 |
CN111177460A (zh) * | 2019-12-20 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 提取关键帧的方法及装置 |
CN111242007A (zh) * | 2020-01-10 | 2020-06-05 | 上海市崇明区生态农业科创中心 | 一种农事行为监管方法 |
CN112121439A (zh) * | 2020-08-21 | 2020-12-25 | 林瑞杰 | 一种基于强化学习的云游戏引擎智能优化方法及装置 |
CN112906435A (zh) * | 2019-12-03 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 视频帧优选方法及装置 |
CN113377651A (zh) * | 2021-06-10 | 2021-09-10 | 中国矿业大学 | 一种基于强化学习的类集成测试序列生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130202210A1 (en) * | 2012-02-08 | 2013-08-08 | Electronics And Telecommunications Research Institute | Method for human activity prediction from streaming videos |
CN108304795A (zh) * | 2018-01-29 | 2018-07-20 | 清华大学 | 基于深度强化学习的人体骨架行为识别方法及装置 |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
CN109213896A (zh) * | 2018-08-06 | 2019-01-15 | 杭州电子科技大学 | 基于长短期记忆网络强化学习的水下视频摘要生成方法 |
-
2019
- 2019-01-22 CN CN201910060129.4A patent/CN109800717B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130202210A1 (en) * | 2012-02-08 | 2013-08-08 | Electronics And Telecommunications Research Institute | Method for human activity prediction from streaming videos |
CN108304795A (zh) * | 2018-01-29 | 2018-07-20 | 清华大学 | 基于深度强化学习的人体骨架行为识别方法及装置 |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
CN109213896A (zh) * | 2018-08-06 | 2019-01-15 | 杭州电子科技大学 | 基于长短期记忆网络强化学习的水下视频摘要生成方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110418163A (zh) * | 2019-08-27 | 2019-11-05 | 北京百度网讯科技有限公司 | 视频帧采样方法、装置、电子设备及存储介质 |
CN112906435A (zh) * | 2019-12-03 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 视频帧优选方法及装置 |
CN112906435B (zh) * | 2019-12-03 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 视频帧优选方法及装置 |
CN111177460A (zh) * | 2019-12-20 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 提取关键帧的方法及装置 |
CN111177460B (zh) * | 2019-12-20 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 提取关键帧的方法及装置 |
CN111079717A (zh) * | 2020-01-09 | 2020-04-28 | 西安理工大学 | 一种基于强化学习的人脸识别方法 |
CN111079717B (zh) * | 2020-01-09 | 2022-02-22 | 西安理工大学 | 一种基于强化学习的人脸识别方法 |
CN111242007A (zh) * | 2020-01-10 | 2020-06-05 | 上海市崇明区生态农业科创中心 | 一种农事行为监管方法 |
CN112121439A (zh) * | 2020-08-21 | 2020-12-25 | 林瑞杰 | 一种基于强化学习的云游戏引擎智能优化方法及装置 |
CN112121439B (zh) * | 2020-08-21 | 2023-07-14 | 林瑞杰 | 一种基于强化学习的云游戏引擎智能优化方法及装置 |
CN113377651A (zh) * | 2021-06-10 | 2021-09-10 | 中国矿业大学 | 一种基于强化学习的类集成测试序列生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109800717B (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109800717A (zh) | 基于强化学习的行为识别视频帧采样方法及*** | |
CN109948447B (zh) | 基于视频图像识别的人物网络关系发现及演化呈现方法 | |
CN111179675B (zh) | 个性化练习题推荐方法、***、计算机设备以及存储介质 | |
CN108229267A (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
CN111797771B (zh) | 一种基于迭代学习的弱监督视频行为检测方法及*** | |
CN108509976A (zh) | 动物的识别装置和方法 | |
CN105512640A (zh) | 一种基于视频序列的人流量统计方法 | |
CN109977971A (zh) | 基于均值偏移与核相关滤波的尺度自适应目标跟踪*** | |
CN105303179A (zh) | 指纹识别方法、装置 | |
CN110085075A (zh) | 学习状况管理方法、装置和*** | |
CN107274020A (zh) | 一种基于协同过滤思想的学习者学科总测成绩预测***及方法 | |
CN112312541A (zh) | 一种无线定位方法及*** | |
CN109886356A (zh) | 一种基于三分支神经网络的目标追踪方法 | |
CN106528417A (zh) | 软件缺陷智能检测方法和*** | |
CN110263979A (zh) | 基于强化学习模型预测样本标签的方法及装置 | |
CN114579760A (zh) | 一种基于学生错题知识点自适应阶段学习*** | |
CN109886337A (zh) | 基于自适应采样的深度度量学习方法及*** | |
CN115187772A (zh) | 目标检测网络的训练及目标检测方法、装置及设备 | |
CN110175657A (zh) | 一种图像多标签标记方法、装置、设备及可读存储介质 | |
CN104077571B (zh) | 一种采用单类序列化模型的人群异常行为检测方法 | |
CN116994320A (zh) | 一种列车司机在途疲劳驾驶检测方法、***及设备 | |
CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
CN114971425A (zh) | 数据库信息监控方法、装置、设备及存储介质 | |
KR102329611B1 (ko) | 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법 | |
CN114581819A (zh) | 一种视频行为识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |