CN113602287B - 一种面向低驾龄驾驶员的人机共驾*** - Google Patents

一种面向低驾龄驾驶员的人机共驾*** Download PDF

Info

Publication number
CN113602287B
CN113602287B CN202110929730.XA CN202110929730A CN113602287B CN 113602287 B CN113602287 B CN 113602287B CN 202110929730 A CN202110929730 A CN 202110929730A CN 113602287 B CN113602287 B CN 113602287B
Authority
CN
China
Prior art keywords
driver
information
vehicle
driving
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110929730.XA
Other languages
English (en)
Other versions
CN113602287A (zh
Inventor
潘之瑶
郑宏宇
李明
郭中阳
吴竟启
束磊
束琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Jiangsu Chaoli Electric Inc
Original Assignee
Jilin University
Jiangsu Chaoli Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University, Jiangsu Chaoli Electric Inc filed Critical Jilin University
Priority to CN202110929730.XA priority Critical patent/CN113602287B/zh
Publication of CN113602287A publication Critical patent/CN113602287A/zh
Application granted granted Critical
Publication of CN113602287B publication Critical patent/CN113602287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/20—Sideslip angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/10—Weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种面向低驾龄女性驾驶员的人机共驾***，包括：驾驶员信息采集***，用于采集驾驶员信息；车辆道路信息采集***，用于采集车辆状态信息和道路类型信息；驾驶员身份确认***，用于确认驾驶员身份；正常和异常状态心率范围采集***，用于采集驾驶员正常状态和异常状态的心率范围；驾驶模式决策***，用于根据心率判断驾驶员状态，选择相应驾驶模式；异常状态下自动驾驶***控制权计算***，结合驾驶员信息和道路类型信息通过神经网络即时计算期望自动驾驶***控制权；信息存储管理***，用于存储上述所有***输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯。

Description

一种面向低驾龄驾驶员的人机共驾***
技术领域
本发明涉及图像处理和智能驾驶领域，特别提供一种面向低驾龄驾驶员的人机共驾***。
背景技术
目前，在大众的普遍印象中，大部分低驾龄驾驶员更容易在道路上出现交通事故，对交通安全造成了极大的威胁。其中，大部分交通事故是由于在异常状态下低驾龄驾驶员不能准确地控制车辆转向、甚至分不清油门和刹车造成的。因此，实时监测驾驶员状态信息并选择相应驾驶模式至关重要。
监测驾驶员状态信息的设备有许多种，目前多使用头戴式脑电检测设备或手环类检测器，尽管这些方式能够监测驾驶员的状态信息，但还是存在一些问题，比如驾驶员随时佩戴头戴式脑电检测设备并不舒适，且易引起反感和抗拒心理；对于手环类检测器，驾驶员易忘记佩戴，并且驾驶员可能在手腕上佩戴饰品，而且夏天手腕易出汗，使用手环类检测器影响驾驶体验。部分测试者因不习惯佩戴上述束缚式传感器，从而产生紧张焦虑情绪，影响测量结果的准确性。
因此，如何根据低驾龄驾驶员的需求，设计一种非接触式驾驶员状态信息检测方法，并且根据驾驶员状态选择相应的驾驶模式，尽可能地保证驾驶员的控制权，使驾驶员参与并熟悉驾驶过程，同时降低事故发生的可能性，减少事故造成的危害，成为本领域亟需解决的技术问题。
发明内容
本发明的目的在于提供一种面向低驾龄驾驶员的人机共驾***来解决上述技术问题。
本发明通过如下技术方案实现：
一种面向低驾龄驾驶员的人机共驾***，包括驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***。
驾驶员信息采集***，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集。
车辆道路信息采集***，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***。
驾驶员身份确认***，其用于判断驾驶员信息采集***输出的驾驶员状态信息和信息存储管理***中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测。
正常和异常状态心率范围采集***，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策***提供驾驶员状态判断依据。
驾驶模式决策***，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程。
异常状态下自动驾驶***控制权计算***，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶***控制权，并将所述期望自动驾驶***控制权输出给驾驶模式决策***和信息存储管理***。
信息存储管理***，其用于存储驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、异常状态下自动驾驶***控制权计算***输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员身份确认***、驾驶模式决策***和异常状态下自动驾驶***控制权计算***。
所述驾驶员身份确认***包括面部识别模块、虹膜识别模块、潜在肇事驾驶员判断模块和新面孔预警模块。所述面部识别模块用于对比分析从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息，判断从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息，判断从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理***中属于同一用户信息，则输出匹配信息到所述驾驶员信息存储管理***。
所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员。对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆。
若从驾驶员信息采集***获取的面部图像信息和虹膜信息与信息存储管理***中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集***，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。
所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：
步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；
步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置。RGB颜色空间以R(Red:红色)、G(Green:绿色)、B(Blue:蓝色)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。YCbCr颜色空间是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影***中。
由RGB颜色空间转换到YCbCr颜色空间的公式为：
其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；
由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；
步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；
步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：
其中，fc为小波函数的中心频率，fd为带宽参数。
所述正常和异常状态心率范围采集***有以下两种采集模式：
模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；
模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复：是，处于异常状态回复：否；驾驶员也可在中控屏幕上根据驾驶过程中录制的视频将认为自己处于异常状态时的视频设置为异常状态视频，视频中的心率则被正常和异常状态心率范围采集***自动设置为异常状态心率；采集完异常状态心率范围后，将采集过程中得到的所有心率去掉异常状态心率后的心率范围设置为正常状态心率。
所述驾驶模式决策***包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块。
所述车辆和道路数学模型模块具体如下：
车辆模型可表示为以下状态方程式：
其中，vx和vy分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，Kf和Kr分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，Iz为以车辆质心为圆心的转动惯量，δsw为转向盘角度，nfsw为转向盘角度与前轮转角的传动比；
车身框架中的侧向轮胎受力被建模为：
Fyf＝-Kfαf
Fyr＝-Krαr
其中，Fyf和Fyr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，αf和αr分别为前轮和后轮的侧偏角；
车辆和道路模型可描述如下：
其中，ey为纵向速度误差，为纵向速度误差的变化率，eψ为航向角速度误差，/>为航向角速度误差变化率，/>为航向角速度，/>为期望角速度，R为转向半径；
基于上述公式得到的车辆和道路模型可表述为：
其中，x＝[vy ω ey eψ]T为车辆和道路状态向量，参数矩阵如下：
所述的基于模型预测控制的辅助控制模块，具体如下：
为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集***采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，
x(k+1)＝Ax(k)+Bu(k)+B'w(k)
y(k)＝Cx(k)
如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；
求解以下函数，可以得到最优控制命令，
x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···Np-1 (b)
umin≤u(k+i)≤umax, i＝0···Np-1 (c)
Δu(k+i)＝u(k+i)-u(k+i-1) (d)
Δumin≤Δu(k+i)≤Δumax, i＝0···Np-1 (e)
Δu(k+i)＝0, i＝NC···NP (f)
emin≤ey≤emax (g)
eψmin≤eψ≤eψmax (h)
其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，NC为控制范围，NP为预测范围，a1和a2分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令。
所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶***共同控制车辆，具体如下：
用参数λ表示自动驾驶***控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：
h＝λhA+(1-λ)hD
其中，h为最终等效输入，hA为自动驾驶***的期望输入，hD为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶***对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶***对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。
所述异常状态下自动驾驶***控制权计算***中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶***控制权信息；自动驾驶***控制权为0时，自动驾驶***不参与驾驶，由驾驶员全权负责车辆；自动驾驶***控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入。
所述控制权计算神经网络是三层的误差反向传播神经网络；
所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶***控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集***和车辆道路信息采集***；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶***控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶***控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。
本发明的有益效果为：
1.将一种基于视频分析的非接触式人体心率检测方法与人机共驾***结合，相对于使用束缚式驾驶员状态信息检测方法更加安全、卫生和简便，降低驾驶员抵触心理；
2.当驾驶员处于异常状态时，结合驾驶员信息和道路类型信息利用误差反向传播神经网络即时计算期望的自动驾驶***控制权，然后通过驾驶模式决策***实现人机控制权的分配与管理，从而自动实现适合不同驾驶员在不同类型道路上行驶所需要的人机协同共享控制；
3.检测数据留存于本地数据服务器中，同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；
4.可通过驾驶员的面部图像信息、虹膜信息确认驾驶员身份，实现远程预防性、实时性检测，对于潜在肇事驾驶员，还可以通过对其历史视频图像的检测分析进行追溯。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明的一种面向低驾龄驾驶员的人机共驾***的***框架图；
图2为本发明的车辆和道路模型示意图；
图3为本发明的基于模型预测控制的辅助控制模块方框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述，以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，一种面向低驾龄驾驶员的人机共驾***，包括驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***。
驾驶员信息采集***，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集。
车辆道路信息采集***，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***。
驾驶员身份确认***，其用于判断驾驶员信息采集***输出的驾驶员状态信息和信息存储管理***中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测。
正常和异常状态心率范围采集***，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策***提供驾驶员状态判断依据。
驾驶模式决策***，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程。
异常状态下自动驾驶***控制权计算***，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶***控制权，并将所述期望自动驾驶***控制权输出给驾驶模式决策***和信息存储管理***。
信息存储管理***，其用于存储驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、异常状态下自动驾驶***控制权计算***输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***和异常状态下自动驾驶***控制权计算***。
所述驾驶员身份确认***包括面部识别模块、虹膜识别模块和新面孔预警模块。所述面部识别模块用于对比分析从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息，判断从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息，判断从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理***中属于同一用户信息，则输出匹配信息到所述驾驶员信息存储管理***。
所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员。对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆。
若从驾驶员信息采集***获取的面部图像信息和虹膜信息与信息存储管理***中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集***，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。
所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：
步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；
步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置，由RGB颜色空间转换到YCbCr颜色空间的公式为：
其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；
由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；
步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG(Image Photoplethysmography)信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；
步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：
其中，fc为小波函数的中心频率，fd为带宽参数。
所述正常和异常状态心率范围采集***有以下两种采集模式：
模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；
模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复：是，处于异常状态回复：否；驾驶员也可在中控屏幕上根据驾驶过程中录制的视频将认为自己处于异常状态时的视频设置为异常状态视频，视频中的心率则被正常和异常状态心率范围采集***自动设置为异常状态心率；采集完异常状态心率范围后，将采集过程中得到的所有心率去掉异常状态心率后的心率范围设置为正常状态心率。
所述驾驶模式决策***包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块。
如图2所示，车辆和道路数学模型模块具体如下：
车辆模型可表示为以下状态方程式：
其中，vx和vy分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，Kf和Kr分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，Iz为以车辆质心为圆心的转动惯量，δsw为转向盘角度，δf为前轮转向角，nfsw为转向盘角度与前轮转角的传动比。
车身框架中的侧向轮胎受力被建模为：
Fyf＝-Kfαf
Fyr＝-Krαr
其中，Fyf和Fyr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，αf和αr分别为前轮和后轮的侧偏角；
车辆和道路模型可描述如下：
/>
其中，ey为纵向速度误差，为纵向速度误差的变化率，eψ为航向角速度误差，/>为航向角速度误差变化率，/>为航向角速度，/>为期望角速度，R为转向半径；
基于上述公式得到的车辆和道路模型可表述为：
其中，x＝[vy ω ey eψ]T为车辆和道路状态向量，参数矩阵如下：
如图3所示，基于模型预测控制的辅助控制模块，具体如下：
为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集***采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，
x(k+1)＝Ax(k)+Bu(k)+B'w(k)
y(k)＝Cx(k)
如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；
求解以下函数，可以得到最优控制命令，
x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···Np-1 (b)
umin≤u(k+i)≤umax, i＝0···Np-1 (c)
Δu(k+i)＝u(k+i)-u(k+i-1) (d)
Δumin≤Δu(k+i)≤Δumax, i＝0···Np-1 (e)
Δu(k+i)＝0, i＝NC···NP (f)
emin≤ey≤emax (g)
eψmin≤eψ≤eψmax (h)
其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，NC为控制范围，NP为预测范围，a1和a2分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令。
所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶***共同控制车辆，具体如下：
用参数λ表示自动驾驶***控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：
h＝λhA+(1-λ)hD
其中，h为最终等效输入，hA为自动驾驶***的期望输入，hD为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶***对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶***对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。
驾驶员在异常状态下驾驶车辆时，自动驾驶***控制权λ由异常状态下自动驾驶***控制权计算***求出。
所述异常状态下自动驾驶***控制权计算***中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶***控制权信息；自动驾驶***控制权是一个常数，取值范围为0到100％，自动驾驶***控制权为0时，自动驾驶***不参与驾驶，由驾驶员全权负责车辆；自动驾驶***控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入。
所述控制权计算神经网络是三层的误差反向传播神经网络；
所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶***控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集***和车辆道路信息采集***；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶***控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶***控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (6)

1.一种面向低驾龄驾驶员的人机共驾***，其特征在于，包括驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***：
驾驶员信息采集***，其用于采集驾驶员的面部图像信息、虹膜信息、年龄信息、驾龄信息和肤色信息，并实时检测驾驶员生理信息；输出信息给驾驶员身份确认***、正常和异常状态心率范围采集***、驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***；所述生理信息为心率参数，其通过一种基于视频分析的非接触式人体心率检测方法采集；
车辆道路信息采集***，其用于采集车辆状态信息和道路类型信息；用于采集车辆的状态信息，所述车辆的状态信息包括：整车质量、以车辆质心为圆心的转动惯量、质心到前轴和后轴的距离、纵向速度、侧向速度、转向盘角度、前轮转向角、转向盘角度与前轮转角的传动比、前轮和后轮的侧偏刚度、前轮和后轮的侧偏角、航向角误差、转向半径和航向角速度；道路类型信息取值范围包括：十字路口、环岛、城市普通道路、快速路和高速公路；输出所述车辆状态信息和道路类型信息给驾驶模式决策***、异常状态下自动驾驶***控制权计算***和信息存储管理***；
驾驶员身份确认***，其用于判断驾驶员信息采集***输出的驾驶员状态信息和信息存储管理***中存在的驾驶员状态信息是否匹配，进而确认驾驶员身份，并且能够判断当前驾驶员是否为潜在肇事驾驶员，实现远程预防性、实时性检测；
正常和异常状态心率范围采集***，其用于采集驾驶员正常状态和异常状态的心率范围，为驾驶模式决策***提供驾驶员状态判断依据；
驾驶模式决策***，其用于根据驾驶员的生理信息判断驾驶员的状态，选择相应的驾驶模式，以使低驾龄驾驶员尽可能地负责驾驶车辆，参与并熟悉驾驶过程；所述驾驶模式决策***包括车辆和道路数学模型模块、基于模型预测控制的辅助控制模块和共享控制模块；车辆和道路数学模型用作设计基于模型预测控制的辅助控制器的预测模型，基于模型预测控制的辅助控制模块将驾驶员意图和车辆安全结合为优化问题，以使低驾龄驾驶员在安全时尽可能地负责驾驶车辆；当驾驶员处于正常状态时，继续当前基于模型预测控制的辅助控制驾驶模式；当驾驶员进入异常状态5秒后，启用共享控制模块；
所述车辆和道路数学模型模块具体如下：
车辆模型可表示为以下状态方程式：
其中，vx和vy分别代表车体坐标系下质心的纵向速度和侧向速度，ω为横摆角速度，Kf和Kr分别为前轮和后轮的侧偏刚度，a和b分别为车辆质心到前轴和后轴的距离，m为车辆质量，Iz为以车辆质心为圆心的转动惯量，δsw为转向盘角度，nfsw为转向盘角度与前轮转角的传动比；
车身框架中的侧向轮胎受力被建模为：
Fyf＝-Kfαf
Fyr＝-Krαr
其中，Fyf和Fyr分别为作用在车辆前轴和后轴上的轮胎侧向力的合力，αf和αr分别为前轮和后轮的侧偏角；
车辆和道路模型可描述如下：
其中，ey为纵向速度误差，为纵向速度误差的变化率，eψ为航向角速度误差，/>为航向角速度误差变化率，/>为航向角速度，/>为期望角速度，R为转向半径；
基于上述公式得到的车辆和道路模型可表述为：
其中，x＝[vyωey eψ]T为车辆和道路状态向量，参数矩阵如下：
所述的基于模型预测控制的辅助控制模块，具体如下：
为保证车辆在安全区域，在驾驶员输入和车辆之间加入一个模型预测控制器，之后，根据车辆道路信息采集***采集的车辆状态信息和道路类型信息，根据测量和对车辆状态和道路信息的估计，模型预测控制器通过使用以下预测模型来评估车辆离开安全区域的风险，
x(k+1)＝Ax(k)+Bu(k)+B'w(k)
y(k)＝Cx(k)
如果驾驶员的输出命令能够使车辆在安全区域内行驶，则控制器跟踪此命令，或者在公式(b)至(h)的约束下优化控制信号；
求解以下函数，可以得到最优控制命令，
x(k+1+i)＝Ax(k+i)+Bu(k+i)+B'w(k+i),i＝0···Np-1
(b)
umin≤u(k+i)≤umax, i＝0···Np-1 (c)
Δu(k+i)＝u(k+i)-u(k+i-1) (d)
Δumin≤Δu(k+i)≤Δumax, i＝0···Np-1 (e)
Δu(k+i)＝0, i＝NC···NP (f)
emin≤ey≤emax (g)
eψmin≤eψ≤eψmax (h)
其中k表示当前时间瞬间，u(k)为控制信号(即转向角)，u'(k+1)表示接口模型的输出，x(k+1+i)为预测状态，NC为控制范围，NP为预测范围，a1和a2分别是惩罚控制行为的权重和控制的变化率；为了使车辆在每个预测状态下都处于安全区域，将该要求表示为公式(g)和(h)；为了尽可能地尊重驾驶员的意图，我们使用接口输出的命令作为控制器的参考信号，如公式(a)所示；控制器在约束条件，即公式(b)至(h)下解决成本函数，获得一系列最优控制命令；
异常状态下自动驾驶***控制权计算***，其用于根据驾驶员信息和道路类型信息来计算异常状态下的期望自动驾驶***控制权，并将所述期望自动驾驶***控制权输出给驾驶模式决策***和信息存储管理***；
信息存储管理***，其用于存储驾驶员信息采集***、车辆道路信息采集***、驾驶员身份确认***、正常和异常状态心率范围采集***、异常状态下自动驾驶***控制权计算***输出的信息，将以上信息同步上传至云端综合服务器，实现所有检测驾驶员和车辆的数据追溯；并管理驾驶员身份确认***、驾驶模式决策***和异常状态下自动驾驶***控制权计算***。
2.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾***，其特征在于，所述驾驶员身份确认***包括面部识别模块、虹膜识别模块、潜在肇事驾驶员判断模块和新面孔预警模块，所述面部识别模块用于对比分析从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息，判断从驾驶员信息采集***获取的面部图像信息与信息存储管理***中已存在的面部图像信息是否匹配；所述虹膜识别模块用于对比分析从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息，判断从驾驶员信息采集***获取的虹膜信息与信息存储管理***中已存在的虹膜信息是否匹配；若所述面部识别模块和虹膜识别模块的对比结果都为匹配，且匹配的面部图像信息和虹膜信息在信息存储管理***中属于同一用户信息，则输出匹配信息到所述信息存储管理***；所述的潜在肇事驾驶员判断模块用于判断当前驾驶员是否为潜在肇事驾驶员，潜在肇事驾驶员的判断标准为：平均每个月发生2次及以上交通肇事行为；最近三个月发生过7次及以上交通肇事行为；在不必连续的3个小时驾驶工况内，平均每小时内使用手机、闭眼超过1秒以及头部转向乘员方向与其交流的总次数超过10次，满足以上任何一条则判断该用户为潜在肇事驾驶员，对于潜在肇事驾驶员，要求在安全员的陪同下驾驶车辆；若从驾驶员信息采集***获取的面部图像信息和虹膜信息与信息存储管理***中已存在的面部图像信息和虹膜信息均不匹配，则认为当前驾驶员为数据库中无存档的陌生面孔，启动所述新面孔预警模块，通过车联网向车主发送当前驾驶员照片，确认车主是否知情、是否允许驾驶以及是否需要报警，若车主知情且允许驾驶则建档保存新用户信息，随即启动驾驶员信息采集***，由当前驾驶员将自己的年龄信息、驾龄信息和肤色信息输入到该新用户信息中。
3.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾***，其特征在于，所述的一种基于视频分析的非接触式人体心率检测方法，包括如下步骤：
步骤一、将摄像头采集的包含驾驶员面部的视频图像转换为帧图片，然后基于AdaBoost算法和Cascade结构构建驾驶员面部位置识别检测器提取第一帧摄像头图像中驾驶员面部位置特征点，考虑到若对后续每一帧图像重新进行驾驶员面部识别会导致计算量太大、耗时过长，从而影响车辆行驶的安全性，故使用特征点跟踪算法对第一帧图像中驾驶员面部的特征点进行跟踪，确定后续读入的摄像头图像中的驾驶员面部位置；为了使驾驶员面部检测结果具有鲁棒性，对于没有检测出驾驶员面部的某一帧图像，沿用上一帧图像的驾驶员面部检测结果；
步骤二、通过肤色色值检测方法将识别跟踪到的驾驶员面部图像由RGB颜色空间转换到YCbCr颜色空间，通过设置各个位置通道的色值范围来确定驾驶员面部皮肤位置，由RGB颜色空间转换到YCbCr颜色空间的公式为：
其中，Y为像素亮度，Cb为蓝色浓度偏移量，Cr为红色浓度偏移量，Cg为绿色浓度偏移量，Y′＝Kr·R′+Kg·G′+Kb·B′，R′、G′、B′表示红色、绿色、蓝色三个原始通道由[0，255]范围转换到[0，1]范围的像素强度，Kr、Kb、Kg为相应的权重因子；
由于不同肤色信息人的肤色色值不同，将肤色比较接近的白种人和黄种人的肤色色值设置为：Y∈(60,230)，Cb∈(75,130)，Cr∈(130,180)；将肤色比较接近的棕色人种和黑色人种的肤色色值设置为：Y∈(40,190)，Cb∈(80,130)，Cr∈(130,170)；
步骤三、由于使用510nm至590nm波长范围内的光更容易检测到皮肤组织的血容量变化，考虑到Cg颜色通道的光谱段较为接近该波长范围，将识别跟踪到的驾驶员面部图像转换到Cg颜色通道，来提取信噪比较高的IPPG信号；将驾驶员面部视频每一帧中提取到的驾驶员面部图像转换到Cg颜色通道后，将其与检测到的驾驶员面部皮肤位置进行叠加操作，提取Cg颜色通道中驾驶员面部皮肤位置对应点的像素强度；只考虑Cg颜色通道中有效反应血液容积变化的交流分量，即去除基础值128；对每一帧中处理转换后的值进行平均处理后得到IPPG信号；
步骤四、在步骤三提取到IPPG信号的基础上，利用CMOR5-3小波生成IPPG信号的能量谱矩阵，生成的二维能量谱矩阵中能量值最大点处就是对应的心率参数；CMOR母小波的表达式为：
其中，fc为小波函数的中心频率，fd为带宽参数。
4.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾***，其特征在于，所述正常和异常状态心率范围采集***有两种采集模式：
模式一：由驾驶员根据自身情况输入处于正常状态的心率范围和处于异常状态的心率范围；
模式二：开始采集后，使用所述的一种基于视频分析的非接触式人体心率检测方法检测驾驶员心率，每当检测到当前心率与到目前为止平均心率差值的绝对值超过平均心率的20％时，通过扬声器和中控屏幕向驾驶员询问是否处于正常状态，可直接声控或点击中控屏幕进行回复，驾驶员处于正常状态回复“是”，处于异常状态回复“否”；驾驶员也可将认为自己处于异常状态时的时间段的心率全部设置为异常状态心率；若测得的正常状态心率范围与异常状态心率范围的边界值发生交叉，则将交叉部分的心率显示在中控屏幕上，由驾驶员结合自身情况为正常状态心率范围与异常状态心率范围选取合适的边界值。
5.根据权利要求1所述的一种面向低驾龄驾驶员的人机共驾***，其特征在于，所述的共享控制模块，使用基于线性加权法则的共享控制融合律，驾驶员与自动驾驶***共同控制车辆，具体如下：
用参数λ表示自动驾驶***控制权，通过调节参数λ可方便地对人机控制权进行分配与管理，如下所示：
h＝λhA+(1-λ)hD
其中，h为最终等效输入，hA为自动驾驶***的期望输入，hD为驾驶员的输入，λ取值范围为0到100％，λ越大代表自动驾驶***对车辆的控制权越大，驾驶员自身对车辆的控制权越小，车辆的自动化程度越高，λ＝100％意味着车辆进入自动驾驶模式；λ越小代表驾驶员对车辆的控制权越大，自动驾驶***对车辆的控制权越小，驾驶员的控制自由度越高，λ＝0表示车辆退化为人工驾驶模式。
6.根据权利要求5所述的一种面向低驾龄驾驶员的人机共驾***，其特征在于，所述异常状态下自动驾驶***控制权计算***中，包括控制权计算神经网络；所述控制权计算神经网络用于根据所述年龄信息、驾龄信息、肤色信息和道路类型信息输出期望自动驾驶***控制权信息；自动驾驶***控制权是一个常数，取值范围为0到100％，自动驾驶***控制权为0时，自动驾驶***不参与驾驶，由驾驶员全权负责车辆；自动驾驶***控制权为100％时，车辆进入自动驾驶模式，不再考虑驾驶员的输入；
所述控制权计算神经网络是三层的误差反向传播神经网络；
所述控制权计算神经网络的训练通过实车试验完成，所述实车试验的试验平台的搭建方法是，基于自动驾驶***控制权大小可调的人机共驾车辆，并在所述人机共驾车辆上安装好所述驾驶员信息采集***和车辆道路信息采集***；令具有不同年龄信息、驾龄信息和肤色信息的驾驶员分别在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶所述试验平台，然后驾驶员通过自身情况分别选择在十字路口、环岛、城市普通道路、快速路和高速公路上驾驶中处于异常状态时最符合需求的自动驾驶***控制权大小；使用多组有年龄信息、驾龄信息、肤色信息和道路类型信息作为输入标签以及自动驾驶***控制权信息值作为输出标签的数据完成控制权计算神经网络的训练。
CN202110929730.XA 2021-08-13 2021-08-13 一种面向低驾龄驾驶员的人机共驾*** Active CN113602287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110929730.XA CN113602287B (zh) 2021-08-13 2021-08-13 一种面向低驾龄驾驶员的人机共驾***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110929730.XA CN113602287B (zh) 2021-08-13 2021-08-13 一种面向低驾龄驾驶员的人机共驾***

Publications (2)

Publication Number Publication Date
CN113602287A CN113602287A (zh) 2021-11-05
CN113602287B true CN113602287B (zh) 2024-01-26

Family

ID=78340631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110929730.XA Active CN113602287B (zh) 2021-08-13 2021-08-13 一种面向低驾龄驾驶员的人机共驾***

Country Status (1)

Country Link
CN (1) CN113602287B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114291109B (zh) * 2021-12-17 2023-07-21 广东机电职业技术学院 一种共享驾驶冲突解决方法、***和计算机设备
CN114047003B (zh) * 2021-12-22 2023-07-14 吉林大学 一种基于动态时间规整算法的人车差异性数据触发记录控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与***
CN108725453A (zh) * 2018-06-11 2018-11-02 南京航空航天大学 基于驾驶员模型和操纵逆动力学的人机共驾控制***及其切换模式
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN110745136A (zh) * 2019-09-20 2020-02-04 中国科学技术大学 一种驾驶自适应控制方法
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及***
JP2021034035A (ja) * 2019-08-28 2021-03-01 潘文橋 人面識別に基づいた智能化車載疲労検出システム、方法および装置
CN113076856A (zh) * 2021-03-30 2021-07-06 华录智达科技股份有限公司 基于人脸识别的公交车安全保障***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107126224A (zh) * 2017-06-20 2017-09-05 中南大学 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与***
CN108725453A (zh) * 2018-06-11 2018-11-02 南京航空航天大学 基于驾驶员模型和操纵逆动力学的人机共驾控制***及其切换模式
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
JP2021034035A (ja) * 2019-08-28 2021-03-01 潘文橋 人面識別に基づいた智能化車載疲労検出システム、方法および装置
CN110745136A (zh) * 2019-09-20 2020-02-04 中国科学技术大学 一种驾驶自适应控制方法
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及***
CN113076856A (zh) * 2021-03-30 2021-07-06 华录智达科技股份有限公司 基于人脸识别的公交车安全保障***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Personalized Human-Like Lane-Changing Trajectory Planning Method for Automated Driving System;yang shuo;ELECTRICAL ELECTRONICS ENGINEERS INC;6339-6414 *
人机共驾智能车驾驶模式决策属性析取研究;严利鑫;吴超仲;贺宜;黄珍;朱敦尧;;中国公路学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113602287A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113602287B (zh) 一种面向低驾龄驾驶员的人机共驾***
CN108791299B (zh) 一种基于视觉的驾驶疲劳检测及预警***及方法
CN103871242B (zh) 一种驾驶行为综合评价***与方法
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN110509983A (zh) 一种适用于不同驾驶需求的线控转向路感反馈装置
CN113743471B (zh) 一种驾驶评估方法及其***
CN113378771B (zh) 驾驶员状态确定方法、装置、驾驶员监控***、车辆
CN105769120A (zh) 疲劳驾驶检测方法和装置
WO2021016873A1 (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
Shirazi et al. Detection of intoxicated drivers using online system identification of steering behavior
DE102020215667A1 (de) System und verfahren zum überwachen eines kognitiven zustands eines fahrers eines fahrzeugs
CN108009463A (zh) 一种身份识别的方法及装置
CN110490139A (zh) 基于人脸识别的夜间疲劳驾驶判断方法
Yang et al. Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion
CN104182995B (zh) 一种基于驾驶疲劳的高速公路路侧景观色彩评价方法
Ribeiro et al. Driver gaze zone dataset with depth data
Cai et al. A driving fingerprint map method of driving characteristic representation for driver identification
CN109567832A (zh) 一种基于智能手环的检测愤怒驾驶状态的方法及***
CN116331221A (zh) 辅助驾驶方法、装置、电子设备及存储介质
CN114299473A (zh) 一种基于多源信息融合的驾驶员行为识别方法
CN109866686A (zh) 基于视频实时分析的智能主动安全辅助驾驶***及方法
CN116238544B (zh) 一种自动驾驶车辆的行驶控制方法及控制***
CN113276867A (zh) 一种自动驾驶情景下的脑电波紧急控制***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant