CN115320626B - 基于人车状态的危险感知能力预测方法、装置及电子设备 - Google Patents
基于人车状态的危险感知能力预测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115320626B CN115320626B CN202211237709.4A CN202211237709A CN115320626B CN 115320626 B CN115320626 B CN 115320626B CN 202211237709 A CN202211237709 A CN 202211237709A CN 115320626 B CN115320626 B CN 115320626B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- time
- driver
- danger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本申请提供一种基于人车状态的危险感知能力预测方法、装置及电子设备,通过获取测量时段内的车辆状态信息和驾驶员图像,利用预设的危险感知能力预测模型,可以确定出驾驶员危险感知能力参数,并在低于阈值时生成提示信息以提示驾驶员。由于驾驶员的危险感知能力不仅与驾驶员的状态相关,还与当前的行车状态相关(例如,在连续纵坡路段,特别是连续下坡路段,由于属于事故高发区,不仅与道路本身的因素相关,在这种路段上,驾驶员注意力容易分散也是一个重要原因,导致危险感知能力下降),这样的方式能够考虑到人车状态的因素,而预设的危险感知能力预测模型可以进行危险感知能力的预测,实时检测驾驶员的危险感知能力。
Description
技术领域
本申请涉及辅助驾驶技术领域,具体而言,涉及一种基于人车状态的危险感知能力预测方法、装置及电子设备。
背景技术
危险感知是人的一种客观存在的能力,只要能正确地认识和评价这种能力,并经过科学的训练,就可以得到改善和提高。危险感知能力定义为:驾驶员对交通危险场景中危险源的识别、判断决策与驾驶操作。这里的危险源指的是在交通场景中所有对驾驶员可能造成伤害的物体,包括一些路面障碍物、突然启动的车辆、突然刹车的车辆以及突然蹿出的行人等。
驾驶员通过视觉认知—判断决策—驾驶操作三个阶段的过程对危险源信息进行处理。视觉认知阶段主要依靠驾驶员的视觉器官,同时结合听觉、触觉等感知器官。判断决策阶段借助于驾驶员脑部的神经***来进行道路交通信息的输入、整合和输出。最后通过协调动作完成对车辆的控制,避开危险源。
驾驶员的危险感知能力会随着驾驶员在驾车过程中诸多因素时时变化, 如何对驾驶员的危险感知能力进行监测,并在即将下降时对驾驶员进行提醒,以有效降低事故发生的概率,是需要解决的一个问题。
发明内容
本申请实施例的目的在于提供一种基于人车状态的危险感知能力预测方法、装置及电子设备,以对驾驶员的危险感知能力进行预测,并在低于阈值时进行提示,以有效降低事故发生的概率。
为了实现上述目的,本申请的实施例通过如下方式实现:
第一方面,本申请实施例提供一种基于人车状态的危险感知能力预测方法,包括:获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态;基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数;在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员。
在本申请实施例中,通过获取测量时段内的车辆状态信息和驾驶员图像,利用预设的危险感知能力预测模型,可以确定出驾驶员危险感知能力参数,并在低于阈值时生成提示信息以提示驾驶员。由于驾驶员的危险感知能力不仅与驾驶员的状态相关,还与当前的行车状态相关(例如,在连续纵坡路段,特别是连续下坡路段,由于属于事故高发区,不仅与道路本身的因素相关,在这种路段上,驾驶员注意力容易分散也是一个重要原因,导致危险感知能力下降),这样的方式能够考虑到人车状态的因素,而预设的危险感知能力预测模型可以进行危险感知能力的预测,实时检测驾驶员的危险感知能力。
结合第一方面,在第一方面的第一种可能的实现方式中,所述车辆状态信息包括车辆定位信息、实时车速信息和车辆坐标系下测量的车身姿态测量数据,基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数,包括:对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据;将所述车身姿态精确数据转换到导航坐标系下,得到车身姿态信息;对所述驾驶员图像进行图像识别,确定出反映驾驶员实时状态的身体姿态信息和面部状态信息;将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型;获取所述危险感知能力预测模型输出的驾驶员危险感知能力参数。
在该实现方式中,可以利用对车身姿态测量数据进行滤波处理得到的车身姿态精确数据,转换为导航坐标系下的车身姿态信息,这样可以有效抑制噪声,获取精确的车身姿态信息。而车身姿态信息通常能够反映行车的状态,是否属于驾驶员容易松懈、注意力下降的情况。因此,精准的车身姿态信息,有利于对驾驶员的危险感知能力的有效预测。而驾驶员的身体姿态信息和面部状态信息,可以有效反映驾驶员的实时状态,判断驾驶员是否处于松懈、疲惫等导致危险感知能力下降的状态。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据,包括:
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述改进卡尔曼滤波方程为:
其中,为单位矩阵,为的转置,为第时刻不相关设备的噪声协方差,为零均值白噪声的协方差,和为第时刻的先验、后验协方差矩阵,为第时刻的状态矩阵,为第时刻的后验协方差矩阵,为更新后的估计误差,为第时刻更新后的估计误差。
在该实现方式中,采用改进卡尔曼算法对车身姿态测量数据进行滤波处理,可以有效抑制噪声。
在该实现方式中,使用卡尔曼滤波时,不相关设备噪声的协方差和零均值白噪声的协方差往往需要根据实际经验选取,因此很难取到接近的近似值,导致滤波精度降低。此种方式对不相关设备噪声的协方差和零均值白噪声的协方差这两个参数构造一个适应度函数,可以有效减小稳态误差,从而提高滤波精度。
在该实现方式中,通过此种方式可以快速准确地将车身姿态精确数据转换到导航坐标系下的车身姿态信息。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型后,所述危险感知能力预测模型进行如下处理:
基于所述车辆定位信息和所述实时车速信息,确定车辆是否行驶于连续纵坡路段;
在该实现方式中,由于连续纵坡路段属于事故高发路段,除了道路本身的危险因素外,驾驶员在连续纵坡路段上驾驶时,相较于其他驾驶场景,更容易松懈和疲惫,从而导致危险感知能力下降。通过车辆定位信息和实时车速信息,确定车辆是否行驶于连续纵坡路段,并基于判断结果给出不同的危险感知能力函数,以便对两种情况进行差异化的危险感知能力数值计算,能够更有效地预测驾驶员的危险感知能力是否属于下降或者是否将要下降的情况。对于连续纵坡路段,模型采取相对更敏感的计算方式,例如,对于驾驶员的身体姿态信息、面部状态信息赋予更高的权重,从而在这些信息对应的数值属于低数值时,能够更多地反映到模型预测的危险感知能力数值中。
第二方面,本申请实施例提供一种基于人车状态的危险感知能力预测装置,包括:信息获取单元,用于获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态;参数计算单元,用于基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数;危险提示单元,用于在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员。
第三方面,本申请实施例提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行第一方面或第一方面的可能的实现方式中任一项所述的基于人车状态的危险感知能力预测方法。
第四方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任一项所述的基于人车状态的危险感知能力预测方法。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于人车状态的危险感知能力预测方法的应用场景图。
图2为本申请实施例提供的一种电子设备的结构框图。
图3为本申请实施例提供的基于人车状态的危险感知能力预测方法的流程图。
图4为本申请实施例提供的基于人车状态的危险感知能力预测装置的结构框图。
图标:10-电子设备;11-存储器;12-通信模块;13-总线;14-处理器;110-摄像头;120-GPS;130-车速传感器;141-三轴陀螺仪;142-三轴加速计;143-三轴磁力计;150-智能终端。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
请参阅图1,图1为本申请实施例提供的基于人车状态的危险感知能力预测方法的应用场景图。
在本实施例中,为了实现基于人车状态的危险感知能力预测方法,需要进行相应的配置:可以利用车辆本身搭载的车载电脑,配合车辆上设置的三轴加速计142、三轴陀螺仪141和三轴磁力计143(为了便于说明,简化数据处理过程,本实施例中以三轴加速计142、三轴陀螺仪141和三轴磁力计143安装于车辆的同一位置为例进行说明),可以实时获取车身姿态测量数据(此车身姿态测量数据在车辆坐标系下);以及,车载电脑还可以通过其定位装置(例如GPS120)获取车辆定位信息,通过车辆上安装的车速传感器130获取实时车速信息。而驾驶舱内设有摄像头110(需要能够拍摄到座椅上驾驶员的上身和面部的位置,例如方向盘、挡风玻璃中上方等),主要用于拍摄驾驶员图像,以便后续分析驾驶员的身体姿态信息和面部状态信息。同时,驾驶舱内还需要设置一个智能终端150(区别于车载电脑),这个智能终端150可以是智能手机,最为方便。
基于人车状态的危险感知能力预测方法,可以通过电子设备10来运行。而这个电子设备10,既可以是服务器,也可以是智能终端150,但不管是服务器运行基于人车状态的危险感知能力预测方法,还是智能终端150运行智能终端150基于人车状态的危险感知能力预测方法,驾驶舱内都需要放置一个智能终端150(例如智能手机),用来对驾驶员进行提醒(此提醒区别于车载电脑给出的提示)。
需要说明的是,如果电子设备10是服务器,那么车载电脑、摄像头110与服务器建立通信连接,而服务器又与智能终端150(例如智能手机)连接,从而可以将实时检测的车辆定位信息、实时车速信息、车身姿态测量数据、驾驶员图像等数据传输给服务器,而服务器通过这些信息运行基于人车状态的危险感知能力预测方法可以得到驾驶员危险感知能力参数,并在驾驶员危险感知能力参数低于阈值时,生成提示信息发送给智能终端150以使智能终端150提示驾驶员(例如进行语音、报警声等方式进行提示)。而如果电子设备10是智能终端150(例如智能手机),那么车载电脑、摄像头110可以与此智能终端150建立通信连接,从而可以将实时检测的车辆定位信息、实时车速信息、车身姿态测量数据、驾驶员图像等数据传输给智能终端150,而智能终端150通过这些信息运行基于人车状态的危险感知能力预测方法可以得到驾驶员危险感知能力参数,并在驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员(例如进行语音、报警声等方式进行提示)。
请参阅图2,图2为本申请实施例提供的一种电子设备10的结构框图。
示例性的,电子设备10可以包括:通过网络与外界连接的通信模块12、用于执行程序指令的一个或多个处理器14、总线13和不同形式的存储器11,例如,磁盘、ROM、或RAM,或其任意组合。以及,电子设备10还具有显示屏,可以展示卡片。存储器11、通信模块12、处理器14之间可以通过总线13连接。
示例性的,存储器11中存储有程序。处理器14可以从存储器11调用并运行这些程序,从而便可以通过运行程序而实现基于人车状态的危险感知能力预测方法。
为了实现对驾驶人员的危险感知能力预测,可以利用电子设备10运行基于人车状态的危险感知能力预测方法。
请参阅图3,图3为本申请实施例提供的一种基于人车状态的危险感知能力预测方法的流程图。基于人车状态的危险感知能力预测方法可以包括步骤S10、步骤S20和步骤S30。
首先,电子设备10可以执行步骤S10。
步骤S10:获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态。
在本实施例中,电子设备10可以获取测量时段内的车辆状态信息和驾驶员图像,车辆状态信息可以包含车辆定位信息(可以通过GPS120实现定位,得到车辆定位信息,再由车载电脑发送给电子设备10)、实时车速信息(可以由设置在传动轴、发动机等处的传感器检测后处理得到实时车速信息,并通过车载电脑发送给电子设备10)、车身姿态测量数据(可以由三轴加速计142、三轴陀螺仪141和三轴磁力计143检测后通过车载电脑发送给电子设备10的方式得到)。车辆状态信息可以有效反映车辆位置和车辆状态。而驾驶员图像则可以由摄像头110拍摄后发送给电子设备10(可以是拍摄一张驾驶员图像后传送一张,也可以是拍摄多张后传送)。
获取测量时段内的车辆状态信息和驾驶员图像后,电子设备10可以执行步骤S20。
步骤S20:基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数。
在本实施例中,电子设备10可以基于车辆状态信息、驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数。
精准的车身姿态信息,有利于对驾驶员的危险感知能力的有效预测。而在选择传感器时由于需要考虑成本因素,因此选择的传感器往往会出现一些误差特性,在传感器自身输出信息中随机噪声易受外界环境影响导致噪声统计特性不准确等问题。因此,此处可以先对车身姿态测量数据进行滤波处理:
在本实施例中,可以定义车辆坐标系,以车辆中心,即长、宽的中点为原点,轴指向车头,轴指向车辆右方,垂直水平面指向地面。由于传感器(三轴加速计142、三轴陀螺仪141和三轴磁力计143)都安装于车辆同一位置,且三轴加速度、三轴角速度和三轴磁感应强度与传感器在车辆坐标系下的位置相关,有:
其中,为单位矩阵,为的转置,为第时刻不相关设备的噪声协方差,为零均值白噪声的协方差,和为第时刻的先验、后验协方差矩阵,为第时刻的状态矩阵,为第时刻的后验协方差矩阵,为更新后的估计误差,为第时刻更新后的估计误差。
使用卡尔曼滤波时,不相关设备噪声的协方差和零均值白噪声的协方差往往需要根据实际经验选取,因此很难取到接近的近似值,导致滤波精度降低。因此,为了克服这个缺陷,可以对这两个参数(不相关设备噪声的协方差和零均值白噪声的协方差)构造如下适应度函数:
此种方式采用改进卡尔曼算法对车身姿态测量数据进行滤波处理,可以有效抑制噪声,且不依赖于人为的经验。
得到车身姿态精确数据后,可以将车身姿态精确数据转换到导航坐标系下,得到车身姿态信息。
电子设备10还可以对驾驶员图像进行图像识别,确定出反映驾驶员实时状态的身体姿态信息和面部状态信息。
例如,电子设备10可以利用姿态识别算法和面部识别算法,由于现有的方式已经可以非常准确地识别驾驶员的身体姿态信息(例如采用基于随机森林的姿态识别算法、基于深度学的姿态识别算法等)和提取驾驶员的面部状态信息(例如表情识别算法,可以利用其中提取的面部特征,如:测量时段内发生的眼球动作、眨眼次数、眉毛,鼻子及嘴部微动作等),因此,通过驾驶员图像获取身体姿态信息和面部状态信息的具体过程,此处不再赘述。
得到车辆定位信息、实时车速信息、车身姿态信息,以及身体姿态信息和面部状态信息后,可以将这些信息输入至预设的危险感知能力预测模型(训练好的危险感知能力预测模型预设于电子设备10中)。
示例性的,危险感知能力预测模型在接收到输入的车辆定位信息、实时车速信息、车身姿态信息,以及身体姿态信息和面部状态信息后,可以进行如下处理:
由于连续纵坡路段属于事故高发路段,除了道路本身的危险因素外,驾驶员在连续纵坡路段上驾驶时,相较于其他驾驶场景,更容易松懈和疲惫,从而导致危险感知能力下降。
因此,危险感知能力预测模型可以基于车辆定位信息和实时车速信息,确定车辆是否行驶于连续纵坡路段。其中,车辆定位信息可以确定车辆所处的位置是否属于连续纵坡路段,而实时车速信息则可以判断车辆是否处于行驶状态。
通过车辆定位信息和实时车速信息,确定车辆是否行驶于连续纵坡路段,并基于判断结果给出不同的危险感知能力函数,以便对两种情况进行差异化的危险感知能力数值计算,能够更有效地预测驾驶员的危险感知能力是否属于下降或者是否将要下降的情况。对于连续纵坡路段,模型采取相对更敏感的计算方式,例如,对于驾驶员的身体姿态信息、面部状态信息赋予更高的权重,从而在这些信息对应的数值属于低数值时,能够更多地反映到模型预测的危险感知能力数值中。
本方案所设计的危险感知能力预测模型相对简单,可以有效地应用于智能终端150中,且能够保证实时性。模型的训练过程可以简述如下:随机选取志愿者驾驶员(最好是各个年龄段均有分布),使用驾驶模拟器模拟驾驶来获取数据集;分别在模拟器上设置不同的危险源,进行连续纵坡路段的模拟驾驶,以及进行非连续纵坡路段的模拟驾驶,车辆信息通过模拟器直接获得,驾驶员姿态和面部状态信息由模拟器方向盘上方安装摄像头来获取。通过对获取的数据在计算机上使用机器学习算法进行训练,即可得到训练好的危险感知能力预测模型。当然,为了进一步提升模型的精度,还可以对驾驶员进行分组,将驾驶员志愿者按年龄、性别等进行区分,在进行驾驶员危险感知能力预测时,也考虑年龄、性别等因素,有利于进一步提升预测精度。
确定出驾驶员危险感知能力参数后,电子设备10可以执行步骤S30。
步骤S30:在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员。
在本实施例中,电子设备10获取危险感知能力预测模型输出的驾驶员危险感知能力参数后,可以对驾驶员危险感知能力参数进行判断,确定驾驶员危险感知能力参数是否低于阈值。在驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员。
通过获取测量时段内的车辆状态信息和驾驶员图像,利用预设的危险感知能力预测模型,可以确定出驾驶员危险感知能力参数,并在低于阈值时生成提示信息以提示驾驶员。由于驾驶员的危险感知能力不仅与驾驶员的状态相关,还与当前的行车状态相关(例如,在连续纵坡路段,特别是连续下坡路段,由于属于事故高发区,不仅与道路本身的因素相关,在这种路段上,驾驶员注意力容易分散也是一个重要原因,导致危险感知能力下降),这样的方式能够考虑到人车状态的因素,而预设的危险感知能力预测模型可以进行危险感知能力的预测,实时检测驾驶员的危险感知能力。
请参阅图4,基于同一发明构思,本申请实施例中还提供一种基于人车状态的危险感知能力预测装置20。在本实施例中,危险感知能力预测装置20可以包括:
信息获取单元21,用于获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态。
参数计算单元22,用于基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数。
危险提示单元23,用于在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示所述驾驶员。
在本实施例中,所述车辆状态信息包括车辆定位信息、实时车速信息和车辆坐标系下测量的车身姿态测量数据,所述参数计算单元22,具体用于:对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据;将所述车身姿态精确数据转换到导航坐标系下,得到车身姿态信息;对所述驾驶员图像进行图像识别,确定出反映驾驶员实时状态的身体姿态信息和面部状态信息;将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型;获取所述危险感知能力预测模型输出的驾驶员危险感知能力参数。
在本实施例中,所述参数计算单元22,具体用于:
在本实施例中,所述改进卡尔曼滤波方程为:
其中,为单位矩阵,为的转置,为第时刻不相关设备的噪声协方差,为零均值白噪声的协方差,和为第时刻的先验、后验协方差矩阵,为第时刻的状态矩阵,为第时刻的后验协方差矩阵,为更新后的估计误差,为第时刻更新后的估计误差。
在本实施例中,所述参数计算单元22将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型后,所述危险感知能力预测模型进行如下处理:
基于所述车辆定位信息和所述实时车速信息,确定车辆是否行驶于连续纵坡路段;
本申请实施例提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行本实施例中的基于人车状态的危险感知能力预测方法。
综上所述,本申请实施例提供一种基于人车状态的危险感知能力预测方法、装置及电子设备,通过获取测量时段内的车辆状态信息和驾驶员图像,利用预设的危险感知能力预测模型,可以确定出驾驶员危险感知能力参数,并在低于阈值时生成提示信息以提示驾驶员。由于驾驶员的危险感知能力不仅与驾驶员的状态相关,还与当前的行车状态相关(例如,在连续纵坡路段,特别是连续下坡路段,由于属于事故高发区,不仅与道路本身的因素相关,在这种路段上,驾驶员注意力容易分散也是一个重要原因,导致危险感知能力下降),这样的方式能够考虑到人车状态的因素,而预设的危险感知能力预测模型可以进行危险感知能力的预测,实时检测驾驶员的危险感知能力。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于人车状态的危险感知能力预测方法,其特征在于,包括:
获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态;
基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数;
在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员;
所述车辆状态信息包括车辆定位信息、实时车速信息和车辆坐标系下测量的车身姿态测量数据,基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数,包括:
对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据;将所述车身姿态精确数据转换到导航坐标系下,得到车身姿态信息;对所述驾驶员图像进行图像识别,确定出反映驾驶员实时状态的身体姿态信息和面部状态信息;将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型;获取所述危险感知能力预测模型输出的驾驶员危险感知能力参数;
对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据,包括:
所述改进卡尔曼滤波方程为:
其中,为单位矩阵,为的转置,为第时刻不相关设备的噪声协方差,为零均值白噪声的协方差,和为第时刻的先验、后验协方差矩阵,为第时刻的状态矩阵,为第时刻的后验协方差矩阵,为更新后的估计误差,为第时刻更新后的估计误差;
3.根据权利要求2所述的基于人车状态的危险感知能力预测方法,其特征在于,将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型后,所述危险感知能力预测模型进行如下处理:
基于所述车辆定位信息和所述实时车速信息,确定车辆是否行驶于连续纵坡路段;
4.一种基于人车状态的危险感知能力预测装置,其特征在于,包括:
信息获取单元,用于获取测量时段内的车辆状态信息和驾驶员图像,其中,所述车辆状态信息用于反映车辆位置和车辆状态;
参数计算单元,用于基于所述车辆状态信息、所述驾驶员图像和预设的危险感知能力预测模型,确定出驾驶员危险感知能力参数;
危险提示单元,用于在所述驾驶员危险感知能力参数低于阈值时,生成提示信息以提示驾驶员;
所述车辆状态信息包括车辆定位信息、实时车速信息和车辆坐标系下测量的车身姿态测量数据,所述参数计算单元,具体用于:对所述车身姿态测量数据进行滤波处理,得到车身姿态精确数据;将所述车身姿态精确数据转换到导航坐标系下,得到车身姿态信息;对所述驾驶员图像进行图像识别,确定出反映驾驶员实时状态的身体姿态信息和面部状态信息;将所述车辆定位信息、所述实时车速信息、所述车身姿态信息,以及所述身体姿态信息和所述面部状态信息,输入所述危险感知能力预测模型;获取所述危险感知能力预测模型输出的驾驶员危险感知能力参数;
所述参数计算单元,具体用于:
所述改进卡尔曼滤波方程为:
其中,为单位矩阵,为的转置,为第时刻不相关设备的噪声协方差,为零均值白噪声的协方差,和为第时刻的先验、后验协方差矩阵,为第时刻的状态矩阵,为第时刻的后验协方差矩阵,为更新后的估计误差,为第时刻更新后的估计误差;
5.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至3中任一项所述的基于人车状态的危险感知能力预测方法。
6.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现权利要求1至3中任一项所述的基于人车状态的危险感知能力预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211237709.4A CN115320626B (zh) | 2022-10-11 | 2022-10-11 | 基于人车状态的危险感知能力预测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211237709.4A CN115320626B (zh) | 2022-10-11 | 2022-10-11 | 基于人车状态的危险感知能力预测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115320626A CN115320626A (zh) | 2022-11-11 |
CN115320626B true CN115320626B (zh) | 2022-12-30 |
Family
ID=83913171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211237709.4A Active CN115320626B (zh) | 2022-10-11 | 2022-10-11 | 基于人车状态的危险感知能力预测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115320626B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109397294A (zh) * | 2018-12-05 | 2019-03-01 | 南京邮电大学 | 一种基于ba-abc融合通信算法的机器人协作定位方法 |
CN109471439A (zh) * | 2018-11-23 | 2019-03-15 | 广州小鹏汽车科技有限公司 | 车辆控制方法、装置、设备、存储介质及汽车 |
CN112883834A (zh) * | 2021-01-29 | 2021-06-01 | 重庆长安汽车股份有限公司 | Dms***注意力分散的检测方法、***、车辆及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10129373A (ja) * | 1996-10-30 | 1998-05-19 | Kansei Corp | 危険度評価装置 |
US7609150B2 (en) * | 2006-08-18 | 2009-10-27 | Motorola, Inc. | User adaptive vehicle hazard warning apparatuses and method |
US20080042814A1 (en) * | 2006-08-18 | 2008-02-21 | Motorola, Inc. | Mode sensitive vehicle hazard warning apparatuses and method |
JP6241235B2 (ja) * | 2013-12-04 | 2017-12-06 | 三菱電機株式会社 | 車両用運転支援装置 |
CN108407815A (zh) * | 2018-03-31 | 2018-08-17 | 四川攸亮科技有限公司 | 一种智能行车辅助*** |
JP6811743B2 (ja) * | 2018-05-15 | 2021-01-13 | 三菱電機株式会社 | 安全運転支援装置 |
CN109272775B (zh) * | 2018-10-22 | 2021-07-16 | 华南理工大学 | 一种高速公路弯道安全监测预警方法、***及介质 |
CN111137284B (zh) * | 2020-01-04 | 2021-07-23 | 长安大学 | 一种基于驾驶分心状态的预警方法及预警装置 |
KR20210129913A (ko) * | 2020-04-21 | 2021-10-29 | 주식회사 만도모빌리티솔루션즈 | 운전자 보조 시스템 |
CN113888890A (zh) * | 2021-09-29 | 2022-01-04 | 四川奇石缘科技股份有限公司 | 高速公路防事故电子警示*** |
CN114239423A (zh) * | 2022-02-25 | 2022-03-25 | 四川省公路规划勘察设计研究院有限公司 | 长大连续纵坡路段驾驶员危险感知能力预测模型构建方法 |
-
2022
- 2022-10-11 CN CN202211237709.4A patent/CN115320626B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109471439A (zh) * | 2018-11-23 | 2019-03-15 | 广州小鹏汽车科技有限公司 | 车辆控制方法、装置、设备、存储介质及汽车 |
CN109397294A (zh) * | 2018-12-05 | 2019-03-01 | 南京邮电大学 | 一种基于ba-abc融合通信算法的机器人协作定位方法 |
CN112883834A (zh) * | 2021-01-29 | 2021-06-01 | 重庆长安汽车股份有限公司 | Dms***注意力分散的检测方法、***、车辆及存储介质 |
Non-Patent Citations (2)
Title |
---|
An Extended Kalman Filter for Low-Cost Positioning System in Agricultural Vehicles;Nenavath Ravi Kumar ET AL;《2016 International Conference on Wireless Communications》;20160915;151-157 * |
基于改进粒子滤波器的移动机器人同时定位与建图方法;潘薇等;《模式识别与人工智能》;20081215(第06期);133-138 * |
Also Published As
Publication number | Publication date |
---|---|
CN115320626A (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10748446B1 (en) | Real-time driver observation and progress monitoring | |
JP6832963B2 (ja) | 危険運転行動を識別するためのシステムおよび方法 | |
US20220286811A1 (en) | Method for smartphone-based accident detection | |
TWI754068B (zh) | 用於基於運動資料識別駕駛行為的裝置和方法 | |
US9275552B1 (en) | Real-time driver observation and scoring for driver'S education | |
KR20190031951A (ko) | 운송 장치에 구비된 전자 장치 및 이의 제어 방법 | |
JPWO2017038166A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP2021155032A (ja) | 運転者の技能水準及び信頼水準の自動推定 | |
Sun et al. | An integrated solution for lane level irregular driving detection on highways | |
CN112489425A (zh) | 车辆防撞预警方法、装置、车载终端设备和存储介质 | |
US20180204078A1 (en) | System for monitoring the state of vigilance of an operator | |
JP2022033805A (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
CN117058730A (zh) | 用于机器学习模型的数据集生成和增强 | |
KR102051136B1 (ko) | 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템 | |
CN114764912A (zh) | 驾驶行为识别方法、设备和存储介质 | |
JP7114953B2 (ja) | 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム | |
JP2019195376A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
CN115320626B (zh) | 基于人车状态的危险感知能力预测方法、装置及电子设备 | |
Saeed et al. | A novel extension for e-Safety initiative based on developed fusion of biometric traits | |
Parasana et al. | A health perspective smartphone application for the safety of road accident victims | |
JP6772775B2 (ja) | 運転支援装置および運転支援方法 | |
CN114926896A (zh) | 一种自动驾驶车的控制方法 | |
CN108446644A (zh) | 一种用于新能源电动汽车的虚拟显示*** | |
JP2021015320A (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |