CN113191242A - 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 - Google Patents
一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 Download PDFInfo
- Publication number
- CN113191242A CN113191242A CN202110447563.5A CN202110447563A CN113191242A CN 113191242 A CN113191242 A CN 113191242A CN 202110447563 A CN202110447563 A CN 202110447563A CN 113191242 A CN113191242 A CN 113191242A
- Authority
- CN
- China
- Prior art keywords
- driver
- leg
- openpose
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006872 improvement Effects 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 210000002414 leg Anatomy 0.000 claims description 83
- 238000013527 convolutional neural network Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 19
- 210000003414 extremity Anatomy 0.000 claims description 12
- 210000003423 ankle Anatomy 0.000 claims description 7
- 210000003127 knee Anatomy 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000001255 hallux Anatomy 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 210000001624 hip Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 102100025508 Cytoplasmic tRNA 2-thiolation protein 2 Human genes 0.000 abstract 1
- 101000856509 Homo sapiens Cytoplasmic tRNA 2-thiolation protein 2 Proteins 0.000 abstract 1
- 230000001133 acceleration Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 49
- 238000005286 illumination Methods 0.000 description 8
- 208000009144 Pure autonomic failure Diseases 0.000 description 6
- 210000002683 foot Anatomy 0.000 description 6
- 239000013312 porous aromatic framework Substances 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 101100293720 Caenorhabditis elegans ncs-2 gene Proteins 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 2
- 235000011034 Rubus glaucus Nutrition 0.000 description 2
- 235000009122 Rubus idaeus Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，尤其涉及一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，具体包括以下步骤：使用轻量化网络MobileNetV1进行特征提取得到图像特征，将图像特征输入到双分支并行神经网络结构中获取姿态的关节点热图以及部分亲和场，利用贪婪解析算法进行关节点热图和部分亲和场的拼接，并可视化输出。本发明当输入目标图像只包括驾驶员腿部信息时，可以完成较为精确的腿部姿态估计，同时使用了轻量化网络结构，并采用仅包含2个阶段的分支并行神经网络结构，在保证检测精度的前提下极大的减少了网络参数以及计算量，训练好的腿部姿态检测模型还能够迁移到嵌入式设备并利用NCS2进行推理加速，实现了在便携式设备上的部署应用。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法。
背景技术
智能汽车的发展分为手动驾驶、辅助驾驶、部分自动化、有条件自动化、高度自动化和完全自动化6个级别，虽然不同层次、不同功能的汽车智能化技术正迅猛发展，但是真正意义上的全工况自动驾驶在短期内很难实现。因此，在未来很长一段时期内，智能汽车都将处于人机共驾的状态。在人机共驾的状态下，需要对驾驶员驾驶状态进行检测，当计算机发出接管请求时，人类需要接管进行驾驶操作，那么实现安全驾驶的一个关键步骤就是监控驾驶员手臂，以确认驾驶员是否做好接管请求；此外，在一些危急情况下，需要监控驾驶员是否做好踩踏刹车的准备；也有通过驾驶员动作的检测进行驾驶行为的获取的研究。
在自动驾驶辅助研究中，关于驾驶员的动作检测与估计大致分为以下几个类型：头部的检测、手臂、上半身、下半身以及全身的检测。通常为了对关键信息进行分析，往往在检测时会做一些类型的取舍。本文为了对驾驶员腿部和脚部的动作进行检测和判断，所以主要进行驾驶员下半身肢体的姿态估计。
在已有的研究中，光流计算法曾用于检测驾驶员的足部运动状态，通过光流法可以计算出驾驶员的足部光流矢量，进而判断驾驶员的驾驶状态。光流计算法是利用图像序列中像素的变化以及相邻帧之间相关性确定当前帧与前一帧之间的对应关系，进而计算出相邻帧之间目标的运动信息。然而，由于光流法自身的属性，其对变化的光线比较敏感，光线的改变会影响识别结果，且其对实时性要求较高的场景并不适用。由美国***梅隆大学(CMU)提出的开源OpenPose算法，可以进行人体的姿态估计，无论是检测精度还是实时性方面都是当前最受欢迎的自底向上人体姿态检测算法之一。所以可以使用OpenPose算法进行驾驶员腿部运动的检测，但是由于在车厢内拍摄驾驶员很难拍到驾驶员的整体轮廓，因此若拍摄的图像中只包括驾驶员的下半身，直接使用OpenPose将检测不到腿部信息或者存在很大的误检率，因为OpenPose训练的模型是包括人体整体轮廓的一个模型；此外，若只对腿部及脚部进行检测，检测关键点较少，若使用OpenPose的多层卷积网络进行训练，参数太多会导致腿部检测效率较低。
发明内容
本发明提出一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，以解决现有的驾驶员腿部姿态估计方法存在检测效率较低的问题。
本发明解决上述问题的技术方案是：一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，包括以下步骤：
构建基于OpenPose改进的腿部姿态检测模型，其中：所述基于OpenPose改进的腿部姿态检测模型包括依次连接的MobileNetV1网络和双分支卷积神经网络结构；
获取至少一幅包含驾驶员腿部肢体的目标图像并对目标图像中的目标点进行标注；其中，所述目标点包括驾驶员的髋部、膝盖、脚踝和大脚趾；
预处理经过标注后的目标图像以得到目标图像训练集；
利用目标图像训练集对基于OpenPose改进的腿部姿态检测模型进行训练，得到训练好的基于OpenPose改进的腿部姿态检测模型；
将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像。
优选的是，所述将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像的步骤具体包括：
将待检测图像输入MobileNetV1网络中进行图像的特征提取，得到图像特征；
将所述图像特征输入到双分支卷积神经网络结构获取腿部姿态的关节点热图以及部分亲和场；
利用贪婪解析算法对关节点热图以及部分亲和场所对应的关节点和肢体进行拼接，得到驾驶员腿部的姿态估计，输出包含驾驶员的腿部姿态估计结果的图像。
优选的是，所述的双分支卷积神经网络结构包括：并行设置的第一分支卷积神经网络和第二分支卷积神经网络，其中，第一分支卷积神经网络用于获取关节点热图，第二分支卷积神经网络用于获取部分亲和场PAF；所述第一分支卷积神经网络和第二分支卷积神经网络均包括两个阶段。
优选的是，所述预处理包括：对输入目标图像进行缩放以及归一化处理。
优选的是，所述目标图像为在某一光线情况下拍摄到的驾驶员在某一驾驶状态时或向所述驾驶状态移动的过程的图片；其中，所述驾驶状态包括踩踏油门、踩踏刹车和空闲状态。
优选的是，所述目标图像的顶部覆盖有云状纹理图像。
优选的是，还包括以下步骤：将基于OpenPose改进的腿部姿态检测模型迁移到嵌入式设备上进行推理运算，得到驾驶员的腿部姿态的检测结果。
优选的是，所述推理运算的方法为多线程异步方法。
相比于现有技术，本发明的有益效果在于：本发明基于OpenPose算法进行轻量化改进，在特征提取阶段使用轻量化网络MobileNetV1得到初始特征F，由于检测的人体关节点较少，因此得到F之后将其输入到并行的双分支网络结构中，既可以达到与多阶段神经网络相似的检测精度和效率，同时也大大降低参数数量。之后利用贪婪解析算法进行关节点与肢体的拼接，最终得到腿部姿态，并进行可视化输出。使用仅含有两个阶段的卷积神经网络结构，减少了计算量；本发明实现了网络设计的轻量化，减少网络参数，降低计算量，并实现基于OpenPose改进的腿部姿态检测模型在神经计算棒NCS2上进行推理运算，以及可以部署在便携式设备上进行应用。
附图说明
图1为本发明腿部姿态估计方法的流程示意图；
图2为本发明双分支卷积神经网络的结构示意图；
图3为实施例2进行嵌入式运算的整体流程示意图；
图4为实施例1中驾驶员腿部检测结果示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。
一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，包括以下步骤：
构建基于OpenPose改进的腿部姿态检测模型，其中：基于OpenPose改进的腿部姿态检测模型包括依次连接的MobileNetV1网络和双分支卷积神经网络结构；
获取至少一幅包含驾驶员腿部肢体的目标图像并对目标图像中的目标点进行标注，其中，所述目标点包括驾驶员的髋部、膝盖、脚踝和大脚趾；
预处理经过标注后的目标图像以得到目标图像训练集；
利用目标图像训练集对基于OpenPose改进的腿部姿态检测模型进行训练，得到训练好的基于OpenPose改进的腿部姿态检测模型；
将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像。实现了网络设计的轻量化，能够在保证检测精度的前提下极大的减少网络参数，降低计算量。
作为本发明一个优选的实施例，将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像的步骤具体包括：
将待检测图像输入MobileNetV1网络中进行图像的特征提取，得到图像特征；
将图像特征输入到双分支卷积神经网络结构获取腿部姿态的关节点热图以及部分亲和场；由于检测的关节点数量较少，且在车厢内拍摄的角度较为固定，图像的可变性较小，使用仅包含2个阶段的双分支卷积神经网络，双分支卷积神经网络的两个分支分别用于获取姿态的关节点热图以及部分亲和场PAF。根据关节点热图以及部分亲和场PAF确定关节点和肢体。
利用贪婪解析算法对关节点热图以及部分亲和场所对应的关节点和肢体进行拼接，得到驾驶员腿部的姿态估计，输出包含驾驶员的腿部姿态估计结果的图像。
作为本发明一个优选的实施例，双分支卷积神经网络结构包括：并行设置的第一分支卷积神经网络和第二分支卷积神经网络，其中，第一分支卷积神经网络用于获取关节点热图，第二分支卷积神经网络用于获取部分亲和场PAF；第一分支卷积神经网络和第二分支卷积神经网络的结构相同；双分支卷积神经网络结构中的第一阶段使用3个3×3的卷积核，第二阶段使用5组卷积核，每组卷积核均由3个连续的3×3卷积核构成。
作为本发明一个优选的实施例，预处理包括：对输入目标图像进行缩放以及归一化处理。
作为本发明一个优选的实施例，目标图像为在某一光线情况下拍摄到的驾驶员在某一驾驶状态时或向驾驶状态移动的过程的图片；其中，驾驶状态包括踩踏油门、踩踏刹车和空闲状态。从而增强图像光照效果，使用不同光照下的图像训练网络，用以增强检测方法对光照的鲁棒性。
作为本发明一个优选的实施例，目标图像的顶部覆盖有云状纹理图像，减小了光照及灯光的亮度对拍摄的图像产生影响。
作为本发明一个优选的实施例，还包括以下步骤：将基于OpenPose改进的腿部姿态检测模型迁移到嵌入式设备上进行推理运算，得到驾驶员的腿部姿态的检测结果。将训练的驾驶员腿部检测模型转换为可以在神经计算棒NCS2(Nerual Compute Stick 2)上运行的统一模型，在NCS2上进行推理引擎，并通过NCS2实现在树莓派这类便携式计算机上进行姿态检测的应用。
作为本发明一个优选的实施例，推理运算的方法为多线程异步方法，极大的提高检测效率。
实施例1：如图1所示是基于OpenPose改进的轻量化驾驶员腿部姿态估计方法流程图，具体包括：
步骤1：采集2000幅驾驶员腿部肢体图片，其中包括不同驾驶员、不同服装、以及不同光线下的拍摄情况，以及驾驶员踩踏油门、踩踏刹车、空闲状态以及向这些状态移动的过程图片。考虑到光照及灯光的亮度会对拍摄的图像产生影响，通过生成云状纹理图像，覆盖在图像顶部，从而增强图像光照效果，使用不同光照下的图像训练网络，用以增强检测方法对光照的鲁棒性。
对采集的图片进行标注，对驾驶员的髋部、膝盖、脚踝、大脚趾4个关节点使用Labelme工具进行标注，以指示驾驶员腿部及脚部的位置，以此建立自然驾驶数据集用以训练驾驶员腿部姿态模型。
步骤2：对步骤1中经过标注后得到的图像训练集进行预处理
对输入图像进行缩放标准化预处理。首先设置图像高度height为260像素，之后按比例缩放图像宽度为width＝(img_width/img_height)*height，其中img_width和img_height分别是原图像的宽度和高度。
步骤3：构建基于OpenPose改进的腿部姿态检测模型并利用图像训练集进行训练，基于OpenPose改进的腿部姿态检测模型包括MobileNetV1网络和双分支卷积神经网络结构。
步骤4：将待检测图像输入训练好的基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像。
步骤401：将待检测图像输入至轻量级的MobileNetV1网络中提取图像特征；
步骤402：将图像特征输入至双分支卷积神经网络结构中，如图2所示，包括并行设置的第一分支卷积神经网络和第二分支卷积神经网络，其中，第一分支卷积神经网络用于获取关节点热图，第二分支卷积神经网络用于获取部分亲和场PAF；第一分支卷积神经网络和第二分支卷积神经网络的结构相同。
且由于检测的关节点数量较少，且在车厢内拍摄的角度较为固定，图像的可变性较小，因此本申请仅使用包含2个阶段的双分支卷积神经网络，双分支卷积神经网络由并行设置的第一分支卷积神经网络和第二分支卷积神经网络构成。第一分支卷积神经网络和第二分支卷积神经网络中的第一阶段使用3个3×3的卷积核，第二阶段使用5组卷积核，每组卷积核均由3个连续的3×3卷积核构成。
网络输出4个零件置信度图、6个相似性场图，4个零件置信度图分别是驾驶员髋部、膝盖、脚踝、大脚趾。每2个关节点之间都有2个连接关节点的部分相似场图像，一个是包含相似向量的x分量，一个是包含指向关系的y分量。
步骤403：利用贪婪解析算法对关节点热图以及部分亲和场进行拼接，在进行拼接时，先从肢体部分出发，去找肢体两端连接的关键点，例如从小腿出发，小腿两端连接的是膝盖和脚踝，则在所有检测到的关键点中搜索膝盖和脚踝，并且借助PAFs信息的支撑，就可以很快找到某个人大腿和小腿。并对检测结果进行可视化输出。输出结果如图4所示。
本实施例首先采集了2000幅驾驶员腿部肢体图片，并对这些图片进行标注，以指示驾驶员腿部及脚部的位置以此建立自然驾驶数据集用以训练驾驶员腿部姿态模型；之后基于OpenPose开源库进行了部分轻量化改造，并使用训练数据集进行训练，得到了驾驶员腿部姿态模型。经过实验验证，改造之后的网络对驾驶员腿部检测精度较高，且计算速度有显著提升。
实施例2：将实施1中的腿部姿态检测模型迁移到嵌入式设备上进行推理运算。整体流程如图3所示。具体的步骤如下：
将驾驶员腿部姿态检测模型转换为可以在神经计算棒NCS2(Nerual ComputeStick 2)上运行的统一模型，转换为.xml文件和.bin文件，在NCS2上进行推理引擎，并通过NCS2实现在树莓派这类便携式计算机上进行姿态检测的应用。利用NCS2进行推理运算时，使用多线程异步方法进行推理运算，可以极大的提高检测效率。实验检测结果如图4所示。经过测试，在定位误差是平均腿部长度的10％的情况下，4个关节点的定位检测精度可以达到95％，平均运行速度可以达到16FPS。
以上所述仅为本发明的实施例，并非以此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的***领域，均同理包括在本发明的保护范围内。
Claims (8)
1.一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，包括以下步骤：
构建基于OpenPose改进的腿部姿态检测模型，其中：所述基于OpenPose改进的腿部姿态检测模型包括依次连接的MobileNetV1网络和双分支卷积神经网络结构；
获取至少一幅包含驾驶员腿部肢体的目标图像并对目标图像中的目标点进行标注；其中，所述目标点包括驾驶员的髋部、膝盖、脚踝和大脚趾；
预处理经过标注后的目标图像以得到目标图像训练集；
利用目标图像训练集对基于OpenPose改进的腿部姿态检测模型进行训练，得到训练好的基于OpenPose改进的腿部姿态检测模型；
将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像。
2.根据权利要求1所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述将待检测图像输入基于OpenPose改进的腿部姿态检测模型中，得到包含驾驶员的腿部姿态估计结果的图像的步骤具体包括：
将待检测图像输入MobileNetV1网络中进行图像的特征提取，得到图像特征；
将所述图像特征输入到双分支卷积神经网络结构中获取腿部姿态的关节点热图以及部分亲和场；
利用贪婪解析算法对关节点热图以及部分亲和场所对应的关节点和肢体进行拼接，得到驾驶员腿部的姿态估计，输出包含驾驶员的腿部姿态估计结果的图像。
3.根据权利要求2所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述的双分支卷积神经网络结构包括：并行设置的第一分支卷积神经网络和第二分支卷积神经网络，其中，第一分支卷积神经网络用于获取关节点热图，第二分支卷积神经网络用于获取部分亲和场PAF；所述第一分支卷积神经网络和第二分支卷积神经网络均包括两个阶段。
4.根据权利要求1所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述预处理包括：对输入目标图像进行缩放以及归一化处理。
5.根据权利要求1所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述目标图像为在某一光线情况下拍摄到的驾驶员在某一驾驶状态时或向所述驾驶状态移动的过程的图片；其中，所述驾驶状态包括踩踏油门、踩踏刹车和空闲状态。
6.根据权利要求5所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述目标图像的顶部覆盖有云状纹理图像。
7.根据权利要求1所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，还包括以下步骤：将基于OpenPose改进的腿部姿态检测模型迁移到嵌入式设备上进行推理运算，得到驾驶员的腿部姿态的检测结果。
8.根据权利要求7所述的一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，其特征在于，所述推理运算的方法为多线程异步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110447563.5A CN113191242A (zh) | 2021-04-25 | 2021-04-25 | 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110447563.5A CN113191242A (zh) | 2021-04-25 | 2021-04-25 | 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113191242A true CN113191242A (zh) | 2021-07-30 |
Family
ID=76978708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110447563.5A Pending CN113191242A (zh) | 2021-04-25 | 2021-04-25 | 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191242A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113693590A (zh) * | 2021-09-27 | 2021-11-26 | 江苏凤凰智慧教育研究院有限公司 | 坐位体前屈监测装置和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740485A (zh) * | 2018-12-27 | 2019-05-10 | 中国水利水电科学研究院 | 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 |
| CN110766746A (zh) * | 2019-09-05 | 2020-02-07 | 南京理工大学 | 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法 |
| CN111325750A (zh) * | 2020-02-25 | 2020-06-23 | 西安交通大学 | 一种基于多尺度融合u型链神经网络的医学图像分割方法 |
| CN111723731A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 |
| CN112131985A (zh) * | 2020-09-11 | 2020-12-25 | 同济人工智能研究院(苏州)有限公司 | 一种基于OpenPose改进的实时轻量人体姿态估计方法 |
-
2021
- 2021-04-25 CN CN202110447563.5A patent/CN113191242A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740485A (zh) * | 2018-12-27 | 2019-05-10 | 中国水利水电科学研究院 | 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 |
| CN110766746A (zh) * | 2019-09-05 | 2020-02-07 | 南京理工大学 | 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法 |
| CN111325750A (zh) * | 2020-02-25 | 2020-06-23 | 西安交通大学 | 一种基于多尺度融合u型链神经网络的医学图像分割方法 |
| CN111723731A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 |
| CN112131985A (zh) * | 2020-09-11 | 2020-12-25 | 同济人工智能研究院(苏州)有限公司 | 一种基于OpenPose改进的实时轻量人体姿态估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 祁晓峰等: "《photoshop CS6 从入门到精通》", 《天津科学技术出版社》, pages: 498 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113693590A (zh) * | 2021-09-27 | 2021-11-26 | 江苏凤凰智慧教育研究院有限公司 | 坐位体前屈监测装置和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827342B (zh) | 三维人体模型重建方法及存储设备、控制设备 | |
| CN107767419A (zh) | 一种人体骨骼关键点检测方法及装置 | |
| CN111414797B (zh) | 用于估计对象的姿势和姿态信息的***和方法 | |
| CN112131985B (zh) | 一种基于OpenPose改进的实时轻量人体姿态估计方法 | |
| CN110765906A (zh) | 一种基于关键点的行人检测算法 | |
| CN109815816B (zh) | 一种基于深度学习的考生考场异常行为分析方法 | |
| CN113516005B (zh) | 一种基于深度学习和姿态估计的舞蹈动作评价*** | |
| CN114998934B (zh) | 基于多模态智能感知和融合的换衣行人重识别和检索方法 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别*** | |
| CN111582154A (zh) | 基于多任务骨架姿态划分部件的行人重识别方法 | |
| CN111476089A (zh) | 一种图像中多模态信息融合的行人检测方法、***及终端 | |
| CN112381045A (zh) | 一种面向物联网移动端设备的轻量级人体姿态识别方法 | |
| CN110543817A (zh) | 基于姿势指导特征学习的行人再识别方法 | |
| Getahun et al. | A deep learning approach for lane detection | |
| CN113229807A (zh) | 人体康复评估装置、方法、电子设备及存储介质 | |
| CN113191242A (zh) | 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法 | |
| CN113255429B (zh) | 一种视频中人体姿态估计与跟踪方法及*** | |
| CN113947810A (zh) | 基于姿态识别的太极拳评估方法及*** | |
| CN113658265A (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| CN114792401A (zh) | 行为识别模型的训练方法、装置、设备及存储介质 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
| CN113221604B (zh) | 目标识别方法、装置、存储介质及电子设备 | |
| CN114359892A (zh) | 三维目标检测方法、装置及计算机可读存储介质 | |
| Ren et al. | Parallel deep learning ensembles for human pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |