CN111914639A - 轻量级卷积时空简单循环单元模型的驾驶动作识别方法 - Google Patents
轻量级卷积时空简单循环单元模型的驾驶动作识别方法 Download PDFInfo
- Publication number
- CN111914639A CN111914639A CN202010607207.0A CN202010607207A CN111914639A CN 111914639 A CN111914639 A CN 111914639A CN 202010607207 A CN202010607207 A CN 202010607207A CN 111914639 A CN111914639 A CN 111914639A
- Authority
- CN
- China
- Prior art keywords
- model
- sru
- space
- time
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其对单目摄像头采集的RGB图像序列,采用基于MobileNetV3网络的人体姿态估计算法,逐帧提取驾驶员上肢的关节点坐标,得到与图像序列对应的骨架序列;构建时空域SRU简单循环单元ST‑SRU模型,针对同一帧中不同关节点的时间和空间依赖关系,建立ST‑SRU模型;采用ST‑SRU模型对骨架序列进行分类,实现对多类驾驶动作的识别,并针对步骤一获取的驾驶员上肢关节点的骨架序列,采用步骤二建立的ST‑SRU模型,对骨架序列进行分类。由此,采用基于MobileNetV3的轻量级卷积神经网络获取驾驶员关节点坐标,相对于现有的深层的CNN模型,所提方法大大降低了参数数量,提高了算法的运行速度。计算效率高,提升了驾驶动作识别的准确率。
Description
技术领域
本发明涉及一种驾驶动作识别方法,尤其涉及一种轻量级卷积时空简单循 环单元模型的驾驶动作识别方法。
背景技术
驾驶员在驾驶过程中普遍存在的危险驾驶行为,是引发交通事故的一个重 要原因。例如,在驾驶过程中看手机、打电话、喝水、吃东西等行为大大增加 了发生交通事故的风险。每年美国发生近1100万起交通事故,据估计,如果驾 驶员不存在危险驾驶行为,则可以避免其中近36%的交通事故发生,为了最大程 度地减少交通事故的发生,危险驾驶行为识别***已成为各国专家研究的热点。
目前,在对驾驶行为识别方法的研究中,采集驾驶员数据的设备主要有单 目摄像头和Kinect深度相机。在基于单目摄像头的研究中,能够被应用于实际场 景中的方法大多数集中于对驾驶员头部的监控,没有关注到驾驶员的肢体运动 情况。基于Kinect深度相机的研究方法,虽然能够通过三维骨骼数据很好的关注 驾驶员的肢体运动情况,并且对多类危险驾驶行为也具有很好的性能。
然而,Kinect深度相机价格昂贵、体积大,不能满足实际应用中嵌入式设备 或***的低成本、小尺寸的要求。因此,基于Kinect的方法难以普及,实用性和 市场推广性较差。目前将驾驶行为识别算法运行在低成本、小尺寸的嵌入式设 备上,并且要求较高的准确性、实时性、鲁棒性,并不是一件容易的事,这仍 然是一个需要继续深入研究的问题。
同时,人体姿态估计技术是一种能够替代Kinect相机来获取人体关节点坐标 的方法,通过人体姿态估计技术对RGB图像提取出驾驶员的上肢关节点坐标并 进行分析,可以弥补目前基于单目摄像头的方法中很少能识别驾驶员肢体运动 情况的不足。基于卷积神经网络的姿态估计算法能够取得很好的效果并且也是 目前的主流方法。然而,为了到达很好的性能,用于姿态估计的CNN模型通常 具有复杂的网络结构和很深的深度,由于网络层数深、参数多、计算量大,往 往需要通过GPU加速才能够实时运行,这对硬件配置有较高要求。
因此,研究用于计算能力较低的嵌入式设备上的轻量级姿态估计算法,也 是当前发展的方向之一。
近年来,深度学习技术发展迅猛,尤其是深度学习在移动端和嵌入式设备 上的应用已经取得了突破性进展,涌现处理许多具有实用性的算法。MobileNet 是一种针对移动端设备执行图像分类任务而设计的CNN模型,并且经过两年的 优化和改进,2019年发展到了最新的MobileNetV3模型。Tao等于2018年提出的 简单循环单元(Simple RecurrentUnits,SRU)是一种计算效率高、推理速度快的循 环网络,可以在许多序列处理任务替换LSTM模型,被广泛应用在机器翻译、语 音识别、动作识别等领域。
有鉴于上述的缺陷,本设计人,积极加以研究创新,以期创设一种轻量级 卷积时空简单循环单元模型的驾驶动作识别方法,使其更具有产业上的利用价 值。
发明内容
为解决上述技术问题,本发明的目的是提供一种轻量级卷积时空简单循环 单元模型的驾驶动作识别方法。
本发明的轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其特征 在于包括以下步骤:
步骤一,对单目摄像头采集的RGB图像序列,采用基于MobileNetV3网络 的人体姿态估计算法,逐帧提取驾驶员上肢的关节点坐标,得到与图像序列对 应的骨架序列;
步骤二,构建时空域SRU简单循环单元ST-SRU模型,针对同一帧中不同 关节点的时间和空间依赖关系,建立ST-SRU模型;
步骤三,采用ST-SRU模型对骨架序列进行分类,实现对多类驾驶动作的识 别,并针对步骤一获取的驾驶员上肢关节点的骨架序列,采用步骤二建立的 ST-SRU模型,对骨架序列进行分类。
进一步地,上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法, 其中,所述步骤一中,首先,定义输入是长宽为224×224的三通道RGB图片,通 过基于MobileNetV3网络的人体姿态估计算法,输出一个大小为224×224×3J的张 量;然后,该张量按照第3个维度,分为3J个224×224的图,分别为J个热力图, J个X方向偏移量图和J个Y方向偏移量图;最后,从热力图、X方向偏移量 图和Y方向偏移量图计算出J个关节点坐标的预测值,对于第j个关节点的预测 位置,计算公式如下:
pxj=mxj+oxj(mxj,myj); (2)
pyj=myj+oyj(mxj,myj); (3)
其中,hj是第j张热力图,(mxj,myj)是hj的像素值最大的位置,表示最有可 能在第j个关节点附近的位置,oxj表示第j张X方向上的偏移量图,oyj表示第j 张Y方向上的偏移量图,由于(mxj,myj)是一个粗略的预测位置,如式(2)和(3)所 示,在给(mxj,myj)加上预测的偏移量后,得到相对精确的第j个关节点的预测位 置(pxj,pyj)。
更进一步地,上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方 法,其中,所述步骤二中,
用j∈{1,2,...,J}和t∈{1,2,...,T}分别表示骨架序列和同一个骨架中关节点的下标,
ST-SRU模型在时空步(j,t)接收了三种输入数据,包括对应于第t个骨架与第 j个节点的特征信息Ij,t、前一个空间步的内部状态cj-1,t和前一个时间步的内部状 态cj,t-1,
ST-SRU模型涉及的计算公式如下:
rj,t=sigmoid(WrIj,t+br); (7)
hj,t=rj,t e tanh(Cj,t)+(1-rj,t)e Ij,t; (9)
所述矩阵的大小都为d×d,其中,d是ST-SRU模型内部状态的尺寸大小, e表示矩阵的点积运算;
所述ST-SRU模型拥有两个遗忘门,分别用来忘记时间域和空间域上过去的 上下文信息:对应于空间域,对应于时间域,hj,t表示在该时空步对应的输 出状态,并通过重置门rj,t进行调节,所述sigmoid和tanh是激活函数。
再进一步地,上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方 法,其中,所述步骤三中,对于一个长度为T的骨架序列,步骤一获得的第t个 骨架的特征表示为xt,t∈{1,2,…,T},通过3层叠加的ST-SRU模型,上一层ST-SRU 模型层的输出作为下一层ST-SRU模型层的输入,在逐步处理完骨架序列后,将 最后一层的输出状态hi,t输入到Softmax分类器,计算出驾驶动作的分类结果向 量yp,
yp=softmax(wh3,T+b); (10)
其中,softmax是归一化指数函数,w是全连接层的权重矩阵,b是偏置向量, 它们用于调整h3,T的大小,当ST-SRU模型内部状态的尺寸大小为d时,对于k个 类别的驾驶动作,则w的大小为k×d,b的大小为1×b。
借由上述方案,本发明至少具有以下优点:
1、采用基于MobileNetV3的轻量级卷积神经网络获取驾驶员关节点坐标, 相对于现有的深层的CNN模型,所提方法大大降低了参数数量,提高了算法的 运行速度。
2、使用ST-SRU模型对二维关节点坐标序列进行分类,利用ST-SRU模型 综合考虑同一帧中不同关节点的时间和空间依赖关系,具有计算效率高、推理 速度快的优势,用于对获得的关节点坐标序列进行分类,能够克服LSTM、GRU 等循环网络由于存在计算顺序依赖导致推理速度缓慢的问题。
3、本发明使用ST-SRU模型进行动作分类,提升了驾驶动作识别的准确率和 速度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术 手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附 图详细说明如后。
附图说明
图1是轻量级卷积时空简单循环单元模型的驾驶动作识别方法的实施构示 意图。
图2是MobileNetV3模型的基本构建块的结构示意图。
图3是ST-SRU模型的内部结构示意图。
图4是基于ST-SRU模型的动作分类流程示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以 下实施例用于说明本发明,但不用来限制本发明的范围。
如图1至4的轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其 与众不同之处在于包括以下步骤:
步骤一,对(常规普通的)单目摄像头采集的RGB图像序列,采用基于 MobileNetV3网络的人体姿态估计算法,逐帧提取驾驶员上肢的关节点坐标,得 到与图像序列对应的骨架序列。
具体来说,首先,定义输入是长宽为224×224的三通道RGB图片,通过基于MobileNetV3网络的人体姿态估计算法,输出一个大小为224×224×3J的张量。
然后,该张量按照第3个维度,分为3J个224×224的图,分别为J个热力图, J个X方向偏移量图和J个Y方向偏移量图。
最后,从热力图、X方向偏移量图和Y方向偏移量图计算出J个关节点坐 标的预测值,对于第j个关节点的预测位置,计算公式如下:
pxj=mxj+oxj(mxj,myj); (2)
pyj=myj+oyj(mxj,myj); (3)
其中,hj是第j张热力图,(mxj,myj)是hj的像素值最大的位置,表示最有可 能在第j个关节点附近的位置。oxj表示第j张X方向上的偏移量图,oyj表示第j 张Y方向上的偏移量图。
结合实际实施来看,由于(mxj,myj)是一个粗略的预测位置,结合公式(2)和(3) 来看,在给(mxj,myj)加上预测的偏移量后,得到相对精确的第j个关节点的预测 位置(pxj,pyj)。
本发明基于MobileNetV3的轻量级卷积神经网络模型的结构如表1所示。
同时,基本构建块的结构如图2所示,NL表示非线性激活函数,Dwise表 示深度可分离卷积操作,Pool表示池化层,FC表示全连接层。
步骤二,构建时空域SRU简单循环单元ST-SRU模型,针对同一帧中不同 关节点的时间和空间依赖关系,建立ST-SRU模型。ST-SRU模型的循环计算过 程如图3所示,其中每个圆圈表示在时空步(j,t)的内部状态cj,t,并且cj,t同时依 赖于同一帧的前一个关节点的内部状态cj-1,t和前一帧的同一个关节点的内部状 态cj,t-1。
结合实际实施来看,在步骤二中,可用j∈{1,2,...,J}和t∈{1,2,...,T}分别表示骨 架序列和同一个骨架中关节点的下标。ST-SRU模型在时空步(j,t)接收了三种输 入数据,包括对应于第t个骨架与第j个节点的特征信息Ij,t、前一个空间步的内 部状态cj-1,t和前一个时间步的内部状态cj,t-1。具体来说,ST-SRU模型涉及的计算 公式如下:
rj,t=sigmoid(WrIj,t+br); (7)
hj,t=rj,te tanh(Cj,t)+(1-rj,t)e Ij,t; (9)
本发明所采用的矩阵的大小都为d×d,其中,d是ST-SRU模型内部状态的 尺寸大小,e表示矩阵的点积运算。配置的时候,ST-SRU模型拥有两个遗忘门, 分别用来忘记时间域和空间域上过去的上下文信息:对应于空间域,对应 于时间域,hj,t表示在该时空步对应的输出状态,并通过重置门rj,t进行调节。并 且,公式中采用sigmoid和tanh是激活函数。式(8)中cj-1,t的循环计算部分通过相 对轻量级的点积运算替代了矩阵乘法,具有快速的推理速度。
步骤三,采用ST-SRU模型对骨架序列进行分类,实现对多类驾驶动作的识 别,并针对步骤一获取的驾驶员上肢关节点的骨架序列,采用步骤二建立的 ST-SRU模型,对骨架序列进行分类。
具体来说,对于一个长度为T的骨架序列,设步骤一获得的第t个骨架的特 征表示为xt,t∈{1,2,...,T}。这样,通过三层叠加的ST-SRU模型,上一层ST-SRU 模型层的输出作为下一层ST-SRU模型层的输入,在逐步处理完骨架序列后,将 最后一层的输出状态hi,t输入到Softmax分类器,计算出驾驶动作的分类结果向 量yp。
在此期间,可以利用公式一下的公式:
yp=softmax(wh3,T+b); (10)
其中,softmax是归一化指数函数,w是全连接层的权重矩阵,b是偏置向量, 它们可用于调整h3,T的大小。当ST-SRU模型内部状态的尺寸大小为d时,对于k 个类别的驾驶动作,则w的大小为k×d,b的大小为1×b。
简单来说,发明的研究思路是综合考虑MobileNetV3和ST-SRU分类模型的 优点,首先采用MobileNetV3卷积网络提取人体关节点的特征,其次同时考虑 同一帧中不同关节点的时间和空间依赖关系,建立时空简单循环单元 (Spatio-Temporal SRU,ST-SRU)模型,进而对骨架序列特征进行分类。
本发明的工作原理如下:
假设要识别J个骨节点,本发明采用改进的MobilenetV3倒数第三层滤波器 个数为3J的1×1卷积层,作用是将上一层输出的特征图的通道数从576调整为3J, 此时特征图的大小为72×3J,分辨率仍然很低。
接着,我们添加了一个转置卷积层(Transpose Convolution Layer)来提升特征图的大小,我们将经过转置卷积层后的特征图大小设计为562×3J,是因为224 正好是56的4倍。
最后一层是双线性插值层,它通过双线性插值(Bilinear Interpolation)将特征图的大小调整为2242×3J并作为输出值。
最终得到的MobilenetV3的可训练参数数量为2863360,相比于其他姿态估 计结构,参数量有了很大减少。
通过上述的文字表述并结合附图可以看出,采用本发明后,拥有如下优点:
1、采用基于MobileNetV3的轻量级卷积神经网络获取驾驶员关节点坐标, 相对于现有的深层的CNN模型,所提方法大大降低了参数数量,提高了算法的 运行速度。
2、使用ST-SRU模型对二维关节点坐标序列进行分类,利用ST-SRU模型 综合考虑同一帧中不同关节点的时间和空间依赖关系,具有计算效率高、推理 速度快的优势,用于对获得的关节点坐标序列进行分类,能够克服LSTM、GRU 等循环网络由于存在计算顺序依赖导致推理速度缓慢的问题。
3、本发明使用ST-SRU模型进行动作分类,提升了驾驶动作识别的准确率 和速度。
此外,本发明所描述的指示方位或位置关系,均为基于附图所示的方位或 位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装 置或构造必须具有特定的方位,或是以特定的方位构造来进行操作,因此不能 理解为对本发明的限制。
同样,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗 示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、 “第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的 描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出, 对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还 可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (4)
1.轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其特征在于包括以下步骤:
步骤一,对单目摄像头采集的RGB图像序列,采用基于MobileNetV3网络的人体姿态估计算法,逐帧提取驾驶员上肢的关节点坐标,得到与图像序列对应的骨架序列;
步骤二,构建时空域SRU简单循环单元ST-SRU模型,针对同一帧中不同关节点的时间和空间依赖关系,建立ST-SRU模型;
步骤三,采用ST-SRU模型对骨架序列进行分类,实现对多类驾驶动作的识别,并针对步骤一获取的驾驶员上肢关节点的骨架序列,采用步骤二建立的ST-SRU模型,对骨架序列进行分类。
2.根据权利要求1所述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其特征在于:所述步骤一中,
首先,定义输入是长宽为224×224的三通道RGB图片,通过基于MobileNetV3网络的人体姿态估计算法,输出一个大小为224×224×3J的张量;
然后,该张量按照第3个维度,分为3J个224×224的图,分别为J个热力图,J个X方向偏移量图和J个Y方向偏移量图;
最后,从热力图、X方向偏移量图和Y方向偏移量图计算出J个关节点坐标的预测值,对于第j个关节点的预测位置,计算公式如下:
pxj=mxj+oxj(mxj,myj); (2)
pyj=myj+oyj(mxj,myj); (3)
其中,hj是第j张热力图,(mxj,myj)是hj的像素值最大的位置,表示最有可能在第j个关节点附近的位置,oxj表示第j张X方向上的偏移量图,oyj表示第j张Y方向上的偏移量图,由于(mxj,myj)是一个粗略的预测位置,如式(2)和(3)所示,在给(mxj,myj)加上预测的偏移量后,得到相对精确的第j个关节点的预测位置(pxj,pyj)。
3.根据权利要求1所述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其特征在于:所述步骤二中,
用j∈{1,2,...,J}和t∈{1,2,...,T}分别表示骨架序列和同一个骨架中关节点的下标,
ST-SRU模型在时空步(j,t)接收了三种输入数据,包括对应于第t个骨架与第j个节点的特征信息Ij,t、前一个空间步的内部状态cj-1,t和前一个时间步的内部状态cj,t-1,
ST-SRU模型涉及的计算公式如下:
rj,t=sigmoid(WrIj,t+br); (7)
hj,t=rj,tetanh(Cj,t)+(1-rj,t)eIj,t; (9)
所述矩阵的大小都为d×d,其中,d是ST-SRU模型内部状态的尺寸大小,e表示矩阵的点积运算;
所述sigmoid和tanh是激活函数。
4.根据权利要求1所述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法,其特征在于:所述步骤三中,对于一个长度为T的骨架序列,步骤一获得的第t个骨架的特征表示为xt,t∈{1,2,…,T},通过3层叠加的ST-SRU模型,上一层ST-SRU模型层的输出作为下一层ST-SRU模型层的输入,在逐步处理完骨架序列后,将最后一层的输出状态hi,t输入到Softmax分类器,计算出驾驶动作的分类结果向量yp,
yp=softmax(wh3,T+b); (10)
其中,softmax是归一化指数函数,w是全连接层的权重矩阵,b是偏置向量,它们用于调整h3,T的大小,当ST-SRU模型内部状态的尺寸大小为d时,对于k个类别的驾驶动作,则w的大小为k×d,b的大小为1×b。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010607207.0A CN111914639A (zh) | 2020-06-30 | 2020-06-30 | 轻量级卷积时空简单循环单元模型的驾驶动作识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010607207.0A CN111914639A (zh) | 2020-06-30 | 2020-06-30 | 轻量级卷积时空简单循环单元模型的驾驶动作识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111914639A true CN111914639A (zh) | 2020-11-10 |
Family
ID=73226913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010607207.0A Pending CN111914639A (zh) | 2020-06-30 | 2020-06-30 | 轻量级卷积时空简单循环单元模型的驾驶动作识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111914639A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906545A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及*** |
CN113642522A (zh) * | 2021-09-01 | 2021-11-12 | 中国科学院自动化研究所 | 基于音视频的疲劳状态检测方法和装置 |
CN114529889A (zh) * | 2022-01-28 | 2022-05-24 | 燕山大学 | 一种分心驾驶行为识别方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
CN109376720A (zh) * | 2018-12-19 | 2019-02-22 | 杭州电子科技大学 | 基于关节点时空简单循环网络和注意力机制的动作分类方法 |
CN109543549A (zh) * | 2018-10-26 | 2019-03-29 | 北京陌上花科技有限公司 | 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器 |
CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
CN110647817A (zh) * | 2019-08-27 | 2020-01-03 | 江南大学 | 基于MobileNet V3的实时人脸检测方法 |
CN110909630A (zh) * | 2019-11-06 | 2020-03-24 | 腾讯科技(深圳)有限公司 | 一种异常游戏视频检测方法和装置 |
CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、***及存储介质 |
-
2020
- 2020-06-30 CN CN202010607207.0A patent/CN111914639A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
CN109543549A (zh) * | 2018-10-26 | 2019-03-29 | 北京陌上花科技有限公司 | 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器 |
CN109376720A (zh) * | 2018-12-19 | 2019-02-22 | 杭州电子科技大学 | 基于关节点时空简单循环网络和注意力机制的动作分类方法 |
CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
CN110647817A (zh) * | 2019-08-27 | 2020-01-03 | 江南大学 | 基于MobileNet V3的实时人脸检测方法 |
CN110909630A (zh) * | 2019-11-06 | 2020-03-24 | 腾讯科技(深圳)有限公司 | 一种异常游戏视频检测方法和装置 |
CN111191622A (zh) * | 2020-01-03 | 2020-05-22 | 华南师范大学 | 基于热力图和偏移向量的姿态识别方法、***及存储介质 |
Non-Patent Citations (1)
Title |
---|
ANDREW HOWARD等: "Searching for MobileNetV3", 《2019IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》, pages 1314 - 1324 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906545A (zh) * | 2021-02-07 | 2021-06-04 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及*** |
CN112906545B (zh) * | 2021-02-07 | 2023-05-05 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及*** |
CN113642522A (zh) * | 2021-09-01 | 2021-11-12 | 中国科学院自动化研究所 | 基于音视频的疲劳状态检测方法和装置 |
CN114529889A (zh) * | 2022-01-28 | 2022-05-24 | 燕山大学 | 一种分心驾驶行为识别方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107492121B (zh) | 一种单目深度视频的二维人体骨骼点定位方法 | |
CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
CN111914639A (zh) | 轻量级卷积时空简单循环单元模型的驾驶动作识别方法 | |
CN111985343A (zh) | 一种行为识别深度网络模型的构建方法及行为识别方法 | |
CN114120439B (zh) | 一种智能汽车自车视角下的行人意图多任务识别及轨迹预测方法 | |
CN112560865B (zh) | 一种室外大场景下点云的语义分割方法 | |
CN111401207B (zh) | 基于mars深度特征提取与增强的人体动作识别方法 | |
US20220215617A1 (en) | Viewpoint image processing method and related device | |
CN113221647A (zh) | 一种融合点云局部特征的6d位姿估计方法 | |
CN114581502A (zh) | 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质 | |
CN116030537B (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
CN111833400B (zh) | 一种相机位姿定位方法 | |
CN113359820A (zh) | 一种基于dqn的无人机路径规划方法 | |
CN116258757A (zh) | 一种基于多尺度交叉注意力的单目图像深度估计方法 | |
CN117058456A (zh) | 一种基于多相注意力机制的视觉目标跟踪方法 | |
CN114972805A (zh) | 一种基于无锚的联合检测和嵌入的多目标跟踪方法 | |
CN114724185A (zh) | 一种轻量型的多人姿态跟踪方法 | |
CN115147488A (zh) | 一种基于密集预测的工件位姿估计方法与抓取*** | |
CN116189306A (zh) | 基于联合注意力机制的人体行为识别方法 | |
CN112417991B (zh) | 基于沙漏胶囊网络的双注意力人脸对齐方法 | |
CN112288812A (zh) | 一种基于视觉特征的移动机器人实时定位方法 | |
CN114882493A (zh) | 一种基于图像序列的三维手部姿态估计与识别方法 | |
CN117115911A (zh) | 一种基于注意力机制的超图学习动作识别*** | |
CN116977631A (zh) | 一种基于DeepLabV3+的街景语义分割方法 | |
CN116246338A (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |