CN110688921A - 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 - Google Patents
一种基于人体动作识别技术的驾驶员抽烟行为检测方法 Download PDFInfo
- Publication number
- CN110688921A CN110688921A CN201910875018.9A CN201910875018A CN110688921A CN 110688921 A CN110688921 A CN 110688921A CN 201910875018 A CN201910875018 A CN 201910875018A CN 110688921 A CN110688921 A CN 110688921A
- Authority
- CN
- China
- Prior art keywords
- joint point
- driver
- point
- joint
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000391 smoking effect Effects 0.000 title claims abstract description 88
- 230000006399 behavior Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000012706 support-vector machine Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 210000002478 hand joint Anatomy 0.000 claims description 65
- 210000002310 elbow joint Anatomy 0.000 claims description 53
- 210000003414 extremity Anatomy 0.000 claims description 34
- 210000003857 wrist joint Anatomy 0.000 claims description 34
- 210000000323 shoulder joint Anatomy 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 abstract description 2
- 235000019504 cigarettes Nutrition 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人体动作识别技术的驾驶员抽烟行为检测方法,步骤如下:S1:采集驾驶员的上半身深度图像;S2:从视频图像中提取驾驶员抽烟检测的关键帧图像;S3:提取驾驶员上半身关节点坐标向量组成的角度特征;S4:建立驾驶员上半身肢体角度特征集;S5:构建支持向量机训练模型,获取训练好的模型;S6:从实时采集的驾驶员上半身深度图像中,提取驾驶员上半身肢体角度特征集,并判断驾驶员是否存在抽烟行为,若存在抽烟行为,则对抽烟行为进行记录,若不存在抽烟行为,则对下一时刻的驾驶员上半身深度图像进行判断。本发明提取驾驶员做抽烟动作时上半身的肢体角度特点,对抽烟动作进行识别,从而实时全面的检测驾驶员的吸烟行为。
Description
技术领域
本发明涉及人体动作识别技术领域,尤其涉及一种基于人体动作识别技术的驾驶员抽烟行为检测方法。
背景技术
驾驶员在行车过程中吸烟会造成注意力分散,从而影响肢体的协调能力、工作效率和行车安全,甚至会引发交通事故。
传统上检测驾驶员抽烟行为的方法有两种:一、利用气体检测传感器检测抽烟时产生的烟雾;二、利用红外温度传感器检测点燃的香烟的温度。但是这两种方法均存在有较大的局限性,由于抽烟时产生的烟雾量有限,且烟火面积较小,从而在驾驶室通风良好或存在其他发热源的条件下,传感器的灵敏度会降低,进而会造成检验过程中的漏检和误检。
为了克服传统中基于传感器设备检测抽烟行为过程中存在的缺点,在基于计算机视觉、图像处理等技术的持续发展下,通过视频图像检测驾驶员抽烟行为是否存在抽烟行为的方法逐渐得到了研究和发展。其中包括:识别标定的人脸周围是否存在烟头高亮区以及嘴巴周围是否存在香烟直线边缘等。然而大量观察结果表明:驾驶员在行驶过程中为了避免检查出抽烟行为,通常会采取用手部遮挡香烟的行为,从而降低了抽烟行为检测结果的准确性。
发明内容
发明目的:针对现有驾驶员抽烟行为识别过程中的漏检、误检的问题,本发明提出一种基于人体动作识别技术的驾驶员抽烟行为检测方法。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:
一种基于人体动作识别技术的驾驶员抽烟行为检测方法,所述驾驶员抽烟行为检测方法具体包括如下步骤:
S1:采集驾驶区域中驾驶员的上半身深度图像;
S2:根据所述驾驶员的上半身深度图像,从获取的视频图像中提取所述驾驶员抽烟检测的关键帧图像;
S3:从所述关键帧图像中提取驾驶员上半身关节点坐标向量组成的角度特征;
S4:根据所述关节点角度特征建立驾驶员上半身肢体角度特征集;
S5:通过所述驾驶员上半身肢体角度特征集构建支持向量机训练模型,对所述支持向量机训练模型进行训练,获取训练好的支持向量机训练模型;
S6:从实时采集的驾驶员上半身深度图像中,提取所述驾驶员上半身肢体角度特征集,并将所述驾驶员上半身肢体角度特征集输入训练好的支持向量机训练模型中,通过所述训练好的支持向量机训练模型判断所述驾驶员是否存在抽烟行为,若存在抽烟行为,则对所述抽烟行为进行记录,若不存在抽烟行为,则对下一时刻实时采集的驾驶员上半身深度图像进行判断。
进一步地讲,所述驾驶员的上半身深度图像包括有驾驶员上半身的10个关节点以及10个关节点在三维空间中的坐标信息,所述驾驶员上半身的10个关节点分别为:头部关节点、两肩中心关节点、左肩关节点、左肘关节点、左腕关节点、左手部关节、右肩关节点、右肘关节点、右腕关节点和右手部关节点,每个所述关节点在三维空间中的坐标为:Pi(pix,piy,piz)i=1,2,3,…,10,其中pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,i表示关节点的序号。
进一步地讲,在所述步骤S2中,从获取的视频图像中提取所述驾驶员抽烟检测的关键帧图像,具体如下:
S2.1:根据欧式距离公式,获取所述驾驶员头部关节点分别与左手部关节点、右手部关节点之间的距离,具体为:
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,p1x为头部关节点在三维空间中x轴上的坐标,p1y为头部关节点在三维空间中y轴上的坐标,p1z为头部关节点在三维空间中z轴上的坐标,p6x为左手部关节点在三维空间中x轴上的坐标,p6y为左手部关节点在三维空间中y轴上的坐标,p6z为左手部关节点在三维空间中z轴上的坐标,p10x为右手部关节点在三维空间中x轴上的坐标,p10y为右手部关节点在三维空间中y轴上的坐标,p10z为右手部关节点在三维空间中z轴上的坐标;
S2.2:判断所述驾驶员头部关节点分别与左手部关节点、右手部关节点之间的距离是否满足下列公式,在所述获取的视频图像中,满足下列公式的图像均为所述驾驶员抽烟检测的关键帧图像,下列公式具体为:
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,A1为驾驶员左手部关节点和头部关节点之间距离的实验值,A2为驾驶员右手部关节点和头部关节点之间距离的实验值,T为实验值不小于驾驶员左、右手部关节点和头部关节点之间的距离时所持续的时间,B为实验值不小于驾驶员左手部关节点、右手部关节点和头部关节点之间的距离时所持续的理论时间。
进一步地讲,在所述步骤S3中,从所述关键帧图像中提取驾驶员上半身关节点坐标向量组成的角度特征,具体如下:
S3.1:从所述关键帧图像中提取驾驶员上半身深度图像,根据所述驾驶员上半身深度图像,获取所述驾驶员上半身关节点坐标向量,具体为:
其中:为第i个关节点为起点第j个关节点为终点的关节点坐标向量,pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,pjx为第j个关节点在三维空间中x轴上的坐标,pjy为第j个关节点在三维空间中y轴上的坐标,pjz为第j个关节点在三维空间中z轴上的坐标,i和j为关节点的序号;
S3.2:通过所述驾驶员上半身关节点坐标向量提取关节点角度特征,所述关节点角度特征,具体为:
其中:θk为第i1个关节点、第j1个关节点、第i2个关节点和第j2个关节点共同组成的夹角,为第i1个关节点为起点第j1个关节点为终点的关节点坐标向量,为第i2个关节点为起点第j2个关节点为终点的关节点坐标向量,i和j为关节点的序号。
进一步地讲,所述驾驶员上半身肢体角度特征集包括判断右手抽烟的肢体角度特征集和判断左手抽烟的肢体角度特征集,所述判断右手抽烟的肢体角度特征集为:(θ1,θ2,θ3,θ4),所述判断左手抽烟的肢体角度特征集为:(θ5,θ6,θ7,θ8);
其中:θ1为右肘关节点、右肩关节点和右腕关节点组成的夹角,θ2为右肘关节点、右腕关节点和右手部关节点组成的夹角,θ3为头部关节点、两肩中心关节点、右肘关节点和右手部关节点组成的夹角,θ4为头部关节点、两肩中心关节点、右肘关节点和右肩关节点组成的夹角,θ5为左肩关节点、左肘关节点和左腕关节点组成的夹角,θ6为左肘关节点、左腕关节点和左手部关节点组成的夹角,θ7为头部关节点、两肩中心关节点、左肘关节点和左手部关节点组成的夹角,θ8为头部关节点、两肩中心关节点、左肘关节点和左肩关节点组成的夹角。
进一步地讲,在所述步骤S5中,获取所述训练好的支持向量机训练模型,具体如下:
S5.1:采集驾驶员驾驶状态的图像流,并将所述图像流根据驾驶员动作的骨骼图像分为正样本和负样本;
S5.2:根据所述正样本和负样本的骨骼图像,重复步骤S3-步骤S4,获取所述正样本和负样本分别对应的驾驶员上半身肢体角度特征集;
S5.3:将所述正样本和负样本分别对应的驾驶员上半身肢体角度特征集分别分为训练集和测试集;
S5.4:构建基于线性核函数的支持向量机训练模型,通过所述训练集对支持向量机训练模型进行训练,并根据所述测试集对训练的支持向量机训练模型进行检测,当所述支持向量机训练模型的识别率至少为90%时,所述支持向量机训练模型即为训练好的支持向量机训练模型,反之则对所述支持向量机训练模型继续进行训练,直至所述支持向量机训练模型的识别率至少为90%。
进一步地讲,所述正样本由图像流中包含有抽烟动作的驾驶员骨骼图像组成,所述负样本由图像流中未包含有抽烟动作的驾驶员骨骼图像组成。
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
(1)本发明基于Kinect设备提取驾驶员做抽烟动作时上半身的肢体角度特点,对抽烟动作进行识别,从而实时全面的检测驾驶员的吸烟行为,同时在对抽烟动作进行分析的过程中,可以利用驾驶员在做不同的动作时人体各个关节点之间的角度差异进行抽烟动作判断;
(2)本发明克服了基于气体检测传感器、红外温度传感器这类传统抽烟行为检测方法的局限性,在驾驶室通风良好或驾驶室存在其他发热源的条件下也能有效地识别驾驶员的抽烟行为,同时还解决了视频图像识别检测技术中驾驶员用手部遮挡香烟,不配合检测的现象,从而提高了抽烟行为检测结果的准确性。
附图说明
图1是本发明的驾驶员抽烟行为检测方法的流程示意图;
图2是本发明利用Kinect设备追踪驾驶员上半身关节点的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本发明一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
实施例1
参考图1,本实施例提供了一种基于人体动作识别技术的驾驶员抽烟行为检测方法,具体包括如下步骤:
步骤S1:参考图2,利用Kinect设备采集驾驶区域中驾驶员的上半身深度图像,其中包括有驾驶员上半身的10个关节点以及10个关节点在三维空间中的坐标信息,每个关节点在三维空间中的坐标为:Pi(pix,piy,piz)i=1,2,3,…,10,其中pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,i表示关节点的序号。
具体地讲,第一个关节点为头部关节点,坐标为:P1-head(p1x,p1y,p1z),第二个关节点为两肩中心关节点,坐标为:P2-shoulder_center(p2x,p2y,p2z),第三个关节点为左肩关节点,坐标为:P3-shoulder_left(p3x,p3y,p3z),第四个关节点为左肘关节点,坐标为:P4-elbow_left(p4x,p4y,p4z),第五个关节点为左腕关节点,坐标为:P5-wrist_left(p5x,p5y,p5z),第六个关节点为左手部关节点,坐标为:P6-hand_left(p6x,p6y,p6z),第七个关节点为右肩关节点坐标为:P7-shoulder_right(p7x,p7y,p7z),第八个关节点为右肘关节点,坐标为:P8-elbow_right(p8x,p8y,p8z),第九个关节点为右腕关节点,坐标为:P9-wrist_right(p9x,p9y,p9z),第十个关节点为右手部关节点,坐标为:P10-hand_right(p10x,p10y,p10z)。
步骤S2:根据步骤S1中各关节点在三维空间中的坐标信息,从Kinect设备获取的驾驶区域中驾驶员的视频图像中,提取出该驾驶员抽烟检测的关键帧图像。具体如下:
步骤S2.1:利用Kinect设备跟踪驾驶区域中驾驶员的手部关节点,同时根据欧式距离公式分别计算驾驶员头部关节点P1-head和左手部关节点P6-hand_left之间的距离d1,驾驶员头部关节点P1-head和右手部关节点P10-hand_right之间的距离d2,具体为:
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,p1x为头部关节点在三维空间中x轴上的坐标,p1y为头部关节点在三维空间中y轴上的坐标,p1z为头部关节点在三维空间中z轴上的坐标,p6x为左手部关节点在三维空间中x轴上的坐标,p6y为左手部关节点在三维空间中y轴上的坐标,p6z为左手部关节点在三维空间中z轴上的坐标,p10x为右手部关节点在三维空间中x轴上的坐标,p10y为右手部关节点在三维空间中y轴上的坐标,p10z为右手部关节点在三维空间中z轴上的坐标。
具体地讲,头部关节点和左手部关节点之间的距离d1作为驾驶员左手抽烟的判定指标,头部关节点和右手部关节点d2作为驾驶员右手抽烟的判定指标。
步骤S2.2:选定抽烟动作下驾驶员左手部关节点、右手部关节点和头部关节点之间距离的实验值,判断选定的实验值是否小于驾驶员左手部关节点、右手部关节点和头部关节点之间的距离,具体为:
d1≤A1或d2≤A2
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,A1为驾驶员左手部关节点和头部关节点之间距离的实验值,A2为驾驶员右手部关节点和头部关节点之间距离的实验值。
在选定的实验值不小于驾驶员左手部关节点、右手部关节点和头部关节点之间的距离的条件下,确定出该条件成立的时间,并判断该条件成立的时间是否大于该条件成立的理论时间,具体为:
T≤B
其中:T为实验值不小于驾驶员左、右手部关节点和头部关节点之间的距离时所持续的时间,B为实验值不小于驾驶员左手部关节点、右手部关节点和头部关节点之间的距离时所持续的理论时间。
在本实施例中,驾驶员左手部关节点和头部关节点之间距离的实验值A1和驾驶员右手部关节点和头部关节点之间距离的实验值A2均设置为0.1m,实验值不小于驾驶员左、右手部关节点和头部关节点之间的距离时所持续的理论时间B设置为0.8s。
同时,在Kinect设备获取的驾驶区域中驾驶员的视频图像中,满足上述两个关系式的图像均为该驾驶员抽烟检测的关键帧图像。
步骤S3:从步骤S2获取的关键帧图像中,先获取驾驶员上半身的10个关节点在三维空间中的坐标信息,通过该坐标信息确定出驾驶员上半身的关节点坐标向量,之后通过关节点坐标向量获取关节点角度特征。具体如下:
步骤S3.1:在步骤S2获取的关键帧图像中,获取驾驶员上半身的10个关节点在三维空间中的坐标信息,将该10个关节点在三维空间中的坐标信息进行处理,得到11个关节点坐标向量,每个关节点坐标向量具体为:
其中:为第i个关节点为起点第j个关节点为终点的关节点坐标向量,pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,pjx为第j个关节点在三维空间中x轴上的坐标,pjy为第j个关节点在三维空间中y轴上的坐标,pjz为第j个关节点在三维空间中z轴上的坐标,i和j为关节点的序号。
在本实施例中,11个关节点坐标向量具体为:
其中:为右肘关节点为起点右肩关节点为终点的关节点坐标向量,为右肘关节点为起点右腕关节点为终点的关节点坐标向量,为右腕关节点为起点右肘关节点为终点的关节点坐标向量,为右腕关节点为起点右手部关节点为终点的关节点坐标向量,为两肩中心关节点为起点头部关节点为终点的关节点坐标向量,为右肘关节点为起点右手部关节点为终点的关节点坐标向量,为左肘关节点为起点左肩关节点为终点的关节点坐标向量,为左肘关节点为起点左腕关节点为终点的关节点坐标向量,为左腕关节点为起点左肘关节点为终点的关节点坐标向量,为左腕关节点为起点左手部关节点为终点的关节点坐标向量,为左肘关节点为起点左手部关节点为终点的关节点坐标向量。
步骤S3.2:通过11个关节点坐标向量提取8个关节点角度特征,每个关节点角度特征,具体为:
其中:θk为第i1个关节点、第j1个关节点、第i2个关节点和第j2个关节点共同组成的夹角,为第i1个关节点为起点第j1个关节点为终点的关节点坐标向量,为第i2个关节点为起点第j2个关节点为终点的关节点坐标向量,i和j为关节点的序号。
在本实施例中,8个关节点角度特征具体为:
其中:θ1为右肘关节点、右肩关节点和右腕关节点组成的夹角,θ2为右肘关节点、右腕关节点和右手部关节点组成的夹角,θ3为头部关节点、两肩中心关节点、右肘关节点和右手部关节点组成的夹角,θ4为头部关节点、两肩中心关节点、右肘关节点和右肩关节点组成的夹角,θ5为左肩关节点、左肘关节点和左腕关节点组成的夹角,θ6为左肘关节点、左腕关节点和左手部关节点组成的夹角,θ7为头部关节点、两肩中心关节点、左肘关节点和左手部关节点组成的夹角,θ8为头部关节点、两肩中心关节点、左肘关节点和左肩关节点组成的夹角,为右肘关节点为起点右肩关节点为终点的关节点坐标向量,为右肘关节点为起点右腕关节点为终点的关节点坐标向量,为右腕关节点为起点右肘关节点为终点的关节点坐标向量,为右腕关节点为起点右手部关节点为终点的关节点坐标向量,为两肩中心关节点为起点头部关节点为终点的关节点坐标向量,为右肘关节点为起点右手部关节点为终点的关节点坐标向量,为左肘关节点为起点左肩关节点为终点的关节点坐标向量,为左肘关节点为起点左腕关节点为终点的关节点坐标向量,为左腕关节点为起点左肘关节点为终点的关节点坐标向量,为左腕关节点为起点左手部关节点为终点的关节点坐标向量,为左肘关节点为起点左手部关节点为终点的关节点坐标向量。
步骤S4:在区分驾驶员左手抽烟和右手抽烟的两种情况下,根据步骤S3.2中8个关节点角度特征建立驾驶员上半身肢体角度特征集,同时该建立的上半身肢体角度特征集可以作为判断驾驶员是否在驾驶过程中抽烟的依据。从而该驾驶员上半身肢体角度特征集分为判断右手抽烟的肢体角度特征集、判断左手抽烟的肢体角度特征集。
具体地讲,判断右手抽烟的肢体角度特征集为:(θ1,θ2,θ3,θ4),判断左手抽烟的肢体角度特征集为:(θ5,θ6,θ7,θ8)。其中:θ1为右肘关节点、右肩关节点和右腕关节点组成的夹角,θ2为右肘关节点、右腕关节点和右手部关节点组成的夹角,θ3为头部关节点、两肩中心关节点、右肘关节点和右手部关节点组成的夹角,θ4为头部关节点、两肩中心关节点、右肘关节点和右肩关节点组成的夹角,θ5为左肩关节点、左肘关节点和左腕关节点组成的夹角,θ6为左肘关节点、左腕关节点和左手部关节点组成的夹角,θ7为头部关节点、两肩中心关节点、左肘关节点和左手部关节点组成的夹角,θ8为头部关节点、两肩中心关节点、左肘关节点和左肩关节点组成的夹角。
步骤S5:通过判断右手抽烟的肢体角度特征集、判断左手抽烟的肢体角度特征集构建支持向量机训练模型,用于判断驾驶员抽烟、未抽烟两种情形,具体如下:
步骤S5.1:利用Kinect设备采集驾驶员驾驶状态的图像流,并将采集到的图像流分为两类,一类为正样本,一类为负样本,其中正样本由图像流中包含有抽烟动作的驾驶员骨骼图像组成,负样本由图像流中未包含有抽烟动作的驾驶员骨骼图像组成,根据正样本和负样本中的驾驶员骨骼图像,创建驾驶员驾驶状态的上半身骨骼图像数据库。
在本实施例中,未包含有抽烟动作的驾驶员骨骼图像包括打电话动作的驾驶员骨骼图像、饮食动作的驾驶员骨骼图像,同样地,也包括其他一些动作的驾驶员骨骼图像。
步骤S5.2:在正样本的驾驶员骨骼图像和负样本的驾驶员骨骼图像中,提取各驾驶员骨骼图像对应的驾驶员上半身肢体角度特征集。即在正样本的驾驶员骨骼图像和负样本的驾驶员骨骼图像中,重复步骤S3-步骤S4,从而得到各驾驶员骨骼图像对应的驾驶员上半身肢体角度特征集。
步骤S5.3:将正样本的驾驶员骨骼图像对应的驾驶员上半身肢体角度特征集、负样本的驾驶员骨骼图像对应的驾驶员上半身肢体角度特征集均分为训练集和测试集。
具体地讲,在每个样本的驾驶员上半身肢体角度特征集中,其中80%的样本组合成训练集,20%的样本组合成测试集。
步骤S5.4:构建基于线性核函数的支持向量机训练模型,并通过步骤S5.3中训练集中的样本训练支持向量机。在训练结束后,利用测试集中的样本测试支持向量机训练模型对抽烟行为检测效果。当识别率至少为90%时,则表明该支持向量机训练模型是符合抽烟行为识别的精度要求的,即该支持向量机训练模型是训练好的支持向量机训练模型。当识别率未达到90%时,则需要对支持向量机训练模型继续进行训练,直至该支持向量机训练模型的识别率至少为90%。
步骤S6:实时采集驾驶员的上半身深度图像,并从实时采集的驾驶员上半身深度图像中,提取该驾驶员上半身肢体角度特征集,同时将该驾驶员上半身肢体角度特征集输入训练好的支持向量机训练模型中。通过训练好的支持向量机训练模型判断该驾驶员是否存在抽烟行为,若存在有抽烟行为,则对该驾驶员的抽烟行为进行记录,若不存在有抽烟行为,则对该驾驶员下一时刻的上半身深度图像进行采集,并继续进行判断。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构和方法并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均属于本发明的保护范围。
Claims (7)
1.一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,所述驾驶员抽烟行为检测方法具体包括如下步骤:
S1:采集驾驶区域中驾驶员的上半身深度图像;
S2:根据所述驾驶员的上半身深度图像,从获取的视频图像中提取所述驾驶员抽烟检测的关键帧图像;
S3:从所述关键帧图像中提取驾驶员上半身关节点坐标向量组成的角度特征;
S4:根据所述关节点角度特征建立驾驶员上半身肢体角度特征集;
S5:通过所述驾驶员上半身肢体角度特征集构建支持向量机训练模型,对所述支持向量机训练模型进行训练,获取训练好的支持向量机训练模型;
S6:从实时采集的驾驶员上半身深度图像中,提取所述驾驶员上半身肢体角度特征集,并将所述驾驶员上半身肢体角度特征集输入训练好的支持向量机训练模型中,通过所述训练好的支持向量机训练模型判断所述驾驶员是否存在抽烟行为,若存在抽烟行为,则对所述抽烟行为进行记录,若不存在抽烟行为,则对下一时刻实时采集的驾驶员上半身深度图像进行判断。
2.根据权利要求1所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,所述驾驶员的上半身深度图像包括有驾驶员上半身的10个关节点以及10个关节点在三维空间中的坐标信息,所述驾驶员上半身的10个关节点分别为:头部关节点、两肩中心关节点、左肩关节点、左肘关节点、左腕关节点、左手部关节、右肩关节点、右肘关节点、右腕关节点和右手部关节点,每个所述关节点在三维空间中的坐标为:Pi(pix,piy,piz)i=1,2,3,…,10,其中pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,i表示关节点的序号。
3.根据权利要求1或2所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,在所述步骤S2中,从获取的视频图像中提取所述驾驶员抽烟检测的关键帧图像,具体如下:
S2.1:根据欧式距离公式,获取所述驾驶员头部关节点分别与左手部关节点、右手部关节点之间的距离,具体为:
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,p1x为头部关节点在三维空间中x轴上的坐标,p1y为头部关节点在三维空间中y轴上的坐标,p1z为头部关节点在三维空间中z轴上的坐标,p6x为左手部关节点在三维空间中x轴上的坐标,p6y为左手部关节点在三维空间中y轴上的坐标,p6z为左手部关节点在三维空间中z轴上的坐标,p10x为右手部关节点在三维空间中x轴上的坐标,p10y为右手部关节点在三维空间中y轴上的坐标,p10z为右手部关节点在三维空间中z轴上的坐标;
S2.2:判断所述驾驶员头部关节点分别与左手部关节点、右手部关节点之间的距离是否满足下列公式,在所述获取的视频图像中,满足下列公式的图像均为所述驾驶员抽烟检测的关键帧图像,下列公式具体为:
其中:d1为头部关节点和左手部关节点之间的距离,d2为头部关节点和右手部关节点,A1为驾驶员左手部关节点和头部关节点之间距离的实验值,A2为驾驶员右手部关节点和头部关节点之间距离的实验值,T为实验值不小于驾驶员左、右手部关节点和头部关节点之间的距离时所持续的时间,B为实验值不小于驾驶员左手部关节点、右手部关节点和头部关节点之间的距离时所持续的理论时间。
4.根据权利要求3所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,在所述步骤S3中,从所述关键帧图像中提取驾驶员上半身关节点坐标向量组成的角度特征,具体如下:
S3.1:从所述关键帧图像中提取驾驶员上半身深度图像,根据所述驾驶员上半身深度图像,获取所述驾驶员上半身关节点坐标向量,具体为:
其中:为第i个关节点为起点第j个关节点为终点的关节点坐标向量,pix为第i个关节点在三维空间中x轴上的坐标,piy为第i个关节点在三维空间中y轴上的坐标,piz为第i个关节点在三维空间中z轴上的坐标,pjx为第j个关节点在三维空间中x轴上的坐标,pjy为第j个关节点在三维空间中y轴上的坐标,pjz为第j个关节点在三维空间中z轴上的坐标,i和j为关节点的序号;
S3.2:通过所述驾驶员上半身关节点坐标向量提取关节点角度特征,所述关节点角度特征,具体为:
5.根据权利要求4所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,所述驾驶员上半身肢体角度特征集包括判断右手抽烟的肢体角度特征集和判断左手抽烟的肢体角度特征集,所述判断右手抽烟的肢体角度特征集为:(θ1,θ2,θ3,θ4),所述判断左手抽烟的肢体角度特征集为:(θ5,θ6,θ7,θ8);
其中:θ1为右肘关节点、右肩关节点和右腕关节点组成的夹角,θ2为右肘关节点、右腕关节点和右手部关节点组成的夹角,θ3为头部关节点、两肩中心关节点、右肘关节点和右手部关节点组成的夹角,θ4为头部关节点、两肩中心关节点、右肘关节点和右肩关节点组成的夹角,θ5为左肩关节点、左肘关节点和左腕关节点组成的夹角,θ6为左肘关节点、左腕关节点和左手部关节点组成的夹角,θ7为头部关节点、两肩中心关节点、左肘关节点和左手部关节点组成的夹角,θ8为头部关节点、两肩中心关节点、左肘关节点和左肩关节点组成的夹角。
6.根据权利要求4所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,在所述步骤S5中,获取所述训练好的支持向量机训练模型,具体如下:
S5.1:采集驾驶员驾驶状态的图像流,并将所述图像流根据驾驶员动作的骨骼图像分为正样本和负样本;
S5.2:根据所述正样本和负样本的骨骼图像,重复步骤S3-步骤S4,获取所述正样本和负样本分别对应的驾驶员上半身肢体角度特征集;
S5.3:将所述正样本和负样本分别对应的驾驶员上半身肢体角度特征集分别分为训练集和测试集;
S5.4:构建基于线性核函数的支持向量机训练模型,通过所述训练集对支持向量机训练模型进行训练,并根据所述测试集对训练的支持向量机训练模型进行检测,当所述支持向量机训练模型的识别率至少为90%时,所述支持向量机训练模型即为训练好的支持向量机训练模型,反之则对所述支持向量机训练模型继续进行训练,直至所述支持向量机训练模型的识别率至少为90%。
7.根据权利要求6所述的一种基于人体动作识别技术的驾驶员抽烟行为检测方法,其特征在于,所述正样本由图像流中包含有抽烟动作的驾驶员骨骼图像组成,所述负样本由图像流中未包含有抽烟动作的驾驶员骨骼图像组成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910875018.9A CN110688921A (zh) | 2019-09-17 | 2019-09-17 | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910875018.9A CN110688921A (zh) | 2019-09-17 | 2019-09-17 | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110688921A true CN110688921A (zh) | 2020-01-14 |
Family
ID=69109485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910875018.9A Pending CN110688921A (zh) | 2019-09-17 | 2019-09-17 | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110688921A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553190A (zh) * | 2020-03-30 | 2020-08-18 | 浙江工业大学 | 一种基于图像的驾驶员注意力检测方法 |
CN111611912A (zh) * | 2020-05-19 | 2020-09-01 | 北京交通大学 | 一种基于人体关节点的行人低头异常行为的检测方法 |
CN111611868A (zh) * | 2020-04-24 | 2020-09-01 | 上海大学 | 面向哑语体系的头部动作语义识别***与方法 |
CN111611971A (zh) * | 2020-06-01 | 2020-09-01 | 城云科技(中国)有限公司 | 一种基于卷积神经网络的行为检测方法及*** |
CN111626101A (zh) * | 2020-04-13 | 2020-09-04 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于adas的吸烟监测方法及*** |
CN111639632A (zh) * | 2020-07-31 | 2020-09-08 | 南京浦和数据有限公司 | 一种基于支持向量机的地铁驾驶员动作序列识别方法 |
CN111832526A (zh) * | 2020-07-23 | 2020-10-27 | 浙江蓝卓工业互联网信息技术有限公司 | 一种行为检测方法及装置 |
CN111832434A (zh) * | 2020-06-23 | 2020-10-27 | 广州市保伦电子有限公司 | 一种保护隐私下的校园抽烟行为识别方法及处理终端 |
CN111898571A (zh) * | 2020-08-05 | 2020-11-06 | 北京华捷艾米科技有限公司 | 动作识别***及方法 |
CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
CN112668387A (zh) * | 2020-09-24 | 2021-04-16 | 上海荷福人工智能科技(集团)有限公司 | 基于AlphaPose实现的违规抽烟识别方法 |
CN113158914A (zh) * | 2021-04-25 | 2021-07-23 | 胡勇 | 一种舞蹈动作姿态、节奏和表情的智能评估方法 |
CN113609963A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种实时多人体角度的抽烟行为检测方法 |
WO2022142786A1 (zh) * | 2020-12-30 | 2022-07-07 | 中兴通讯股份有限公司 | 驾驶行为识别方法、设备和存储介质 |
CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
CN116965781A (zh) * | 2023-04-28 | 2023-10-31 | 南京晓庄学院 | 一种驾驶员生命体征和驾驶行为监控方法及*** |
CN117409484A (zh) * | 2023-12-14 | 2024-01-16 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的客户违规行为检测方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469073A (zh) * | 2015-12-16 | 2016-04-06 | 安徽创世科技有限公司 | 一种基于Kinect的驾驶员接打***控方法 |
CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
-
2019
- 2019-09-17 CN CN201910875018.9A patent/CN110688921A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469073A (zh) * | 2015-12-16 | 2016-04-06 | 安徽创世科技有限公司 | 一种基于Kinect的驾驶员接打***控方法 |
CN107180235A (zh) * | 2017-06-01 | 2017-09-19 | 陕西科技大学 | 基于Kinect的人体动作识别算法 |
CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553190A (zh) * | 2020-03-30 | 2020-08-18 | 浙江工业大学 | 一种基于图像的驾驶员注意力检测方法 |
CN111626101A (zh) * | 2020-04-13 | 2020-09-04 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于adas的吸烟监测方法及*** |
CN111611868A (zh) * | 2020-04-24 | 2020-09-01 | 上海大学 | 面向哑语体系的头部动作语义识别***与方法 |
CN111611912A (zh) * | 2020-05-19 | 2020-09-01 | 北京交通大学 | 一种基于人体关节点的行人低头异常行为的检测方法 |
CN111611912B (zh) * | 2020-05-19 | 2024-03-19 | 北京交通大学 | 一种基于人体关节点的行人低头异常行为的检测方法 |
CN111611971A (zh) * | 2020-06-01 | 2020-09-01 | 城云科技(中国)有限公司 | 一种基于卷积神经网络的行为检测方法及*** |
CN111611971B (zh) * | 2020-06-01 | 2023-06-30 | 城云科技(中国)有限公司 | 一种基于卷积神经网络的行为检测方法及*** |
CN111832434A (zh) * | 2020-06-23 | 2020-10-27 | 广州市保伦电子有限公司 | 一种保护隐私下的校园抽烟行为识别方法及处理终端 |
CN111832526A (zh) * | 2020-07-23 | 2020-10-27 | 浙江蓝卓工业互联网信息技术有限公司 | 一种行为检测方法及装置 |
CN111832526B (zh) * | 2020-07-23 | 2024-06-11 | 浙江蓝卓工业互联网信息技术有限公司 | 一种行为检测方法及装置 |
CN111639632A (zh) * | 2020-07-31 | 2020-09-08 | 南京浦和数据有限公司 | 一种基于支持向量机的地铁驾驶员动作序列识别方法 |
CN111898571A (zh) * | 2020-08-05 | 2020-11-06 | 北京华捷艾米科技有限公司 | 动作识别***及方法 |
CN111931653B (zh) * | 2020-08-11 | 2024-06-11 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
CN112668387B (zh) * | 2020-09-24 | 2023-06-27 | 上海荷福人工智能科技(集团)有限公司 | 基于AlphaPose实现的违规抽烟识别方法 |
CN112668387A (zh) * | 2020-09-24 | 2021-04-16 | 上海荷福人工智能科技(集团)有限公司 | 基于AlphaPose实现的违规抽烟识别方法 |
WO2022142786A1 (zh) * | 2020-12-30 | 2022-07-07 | 中兴通讯股份有限公司 | 驾驶行为识别方法、设备和存储介质 |
CN113158914A (zh) * | 2021-04-25 | 2021-07-23 | 胡勇 | 一种舞蹈动作姿态、节奏和表情的智能评估方法 |
CN113158914B (zh) * | 2021-04-25 | 2022-01-18 | 胡勇 | 一种舞蹈动作姿态、节奏和表情的智能评估方法 |
CN113609963A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种实时多人体角度的抽烟行为检测方法 |
CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
CN116965781B (zh) * | 2023-04-28 | 2024-01-05 | 南京晓庄学院 | 一种驾驶员生命体征和驾驶行为监控方法及*** |
CN116965781A (zh) * | 2023-04-28 | 2023-10-31 | 南京晓庄学院 | 一种驾驶员生命体征和驾驶行为监控方法及*** |
CN117409484A (zh) * | 2023-12-14 | 2024-01-16 | 四川汉唐云分布式存储技术有限公司 | 基于云值守的客户违规行为检测方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110688921A (zh) | 一种基于人体动作识别技术的驾驶员抽烟行为检测方法 | |
CN108734125B (zh) | 一种开放空间的吸烟行为识别方法 | |
CN109597485B (zh) | 一种基于双指角域特征的手势交互***及其工作方法 | |
CN110889455B (zh) | 一种化工园巡检机器人的故障检测定位及安全评估方法 | |
CN110711374A (zh) | 多模态舞蹈动作评价方法 | |
CN111931804B (zh) | 一种基于rgbd摄像机的人体动作自动评分方法 | |
CN107194361B (zh) | 二维姿势检测方法及装置 | |
WO2021147905A1 (zh) | 三维空间内注视行为的识别方法、装置及存储介质 | |
CN111553229B (zh) | 基于三维骨骼与lstm的工人动作识别方法及装置 | |
WO2022228252A1 (zh) | 人体行为检测方法、装置、电子设备以及存储介质 | |
CN113856186B (zh) | 一种引体向上动作判定与计数的方法、***及装置 | |
CN112185514A (zh) | 一种基于动作识别的康复训练效果评估*** | |
CN112818883B (zh) | 基于眼动信号的感兴趣目标深度学习检测与定位方法 | |
CN111931869A (zh) | 一种人机自然交互的用户注意力检测方法及*** | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
CN110189362A (zh) | 基于多分支自编码对抗网络的高效目标跟踪方法 | |
CN113609963B (zh) | 一种实时多人体角度的抽烟行为检测方法 | |
CN114998986A (zh) | 基于计算机视觉的引体向上动作规范智能识别方法及*** | |
CN111626135A (zh) | 基于深度图的三维手势识别*** | |
CN114894337A (zh) | 一种用于室外人脸识别测温方法及装置 | |
CN103150022B (zh) | 手势识别方法及装置 | |
CN114913598A (zh) | 一种基于计算机视觉的吸烟行为识别方法 | |
CN103198297B (zh) | 基于相关性几何特征的运动相似性评估方法 | |
CN107527356A (zh) | 一种基于懒交互方式的视频跟踪方法 | |
CN116502923B (zh) | 虚拟仿真教学实训平台的仿真方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |