CN113525402B - 高级辅助驾驶及无人驾驶视场智能响应方法及*** - Google Patents

高级辅助驾驶及无人驾驶视场智能响应方法及*** Download PDF

Info

Publication number
CN113525402B
CN113525402B CN202110816488.5A CN202110816488A CN113525402B CN 113525402 B CN113525402 B CN 113525402B CN 202110816488 A CN202110816488 A CN 202110816488A CN 113525402 B CN113525402 B CN 113525402B
Authority
CN
China
Prior art keywords
driver
camera
viewer
face
projection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110816488.5A
Other languages
English (en)
Other versions
CN113525402A (zh
Inventor
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110816488.5A priority Critical patent/CN113525402B/zh
Publication of CN113525402A publication Critical patent/CN113525402A/zh
Application granted granted Critical
Publication of CN113525402B publication Critical patent/CN113525402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

高级辅助驾驶及无人驾驶视场智能响应方法及***，应用在高级辅助驾驶及无人驾驶领域，解决高级辅助驾驶中驾驶者观测反光镜场景时的低效问题，解决无人驾驶中安全员察看反光镜画面时的低效问题。本发明设计了高级辅助驾驶及无人驾驶视场智能响应方法及***，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机***相应程序，并通过操控台前面板屏幕及音响予以提示。

Description

高级辅助驾驶及无人驾驶视场智能响应方法及***
技术领域
高级辅助驾驶及无人驾驶视场智能响应方法及***，应用在高级辅助驾驶及无人驾驶领域，解决高级辅助驾驶中驾驶者观测反光镜场景时的低效问题，解决无人驾驶中安全员察看反光镜画面时的低效率问题；同时，适用于智慧城市应急指挥屏幕多窗口场景切换控制领域，解决智慧城市应急指挥中心屏幕多窗口场景手动切换操作时的繁琐问题。
背景技术
目前，当汽车在驾驶中驾驶者通过反光镜或显示器观看后方情况，或通过直视方式观察侧面情况，通过显示器观察时需要提前设置显示的固定场景；同样，对于无人驾驶，驾驶座的安全员也采用上述方式观察道路情况并采取应急措施。显然，现有汽车驾驶中观察周围车辆情况的方式效率低下，并存在行驶安全隐患。
发明内容
为解决上述问题，本发明设计了高级辅助驾驶及无人驾驶视场智能响应方法及***，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机***相应程序，并通过操控台前面板屏幕及音响予以提示。
***包括软件、硬件，其中硬件由摄像头(分为判断视角投射区域的摄像头、采集车身周围环境的外置摄像头)、计算机、屏幕、音响组成(支持计算机、屏幕、摄像头、音响中的任意两个为一体，或三个以上为一体；同时支持计算机、屏幕、摄像头、音响相互分离)。方法分为视角投射区域判断方法、基于视角投射区域的响应方法。基于摄像头及屏幕前方(左前方、正前方、右前方)观看者的视角判断对焦区域，摄像头采集观看者的面部、眼部图像，计算机软件基于图像中的面部及眼部特征判断观看者在屏幕中的视角投射区域，进而触发计算机软件中的控件，控件实现视角投射区域的图像显示、切换以及大小调整操作，同时实现对应视角投射区域图像的音响播放。具体方法为：
一、视角投射区域判断方法，分为角度模型判断方法、机器学习判断方法，其中：
1、角度模型判断方法
第一步，计算观看者与摄像头的距离。根据摄像头焦距、观看者面部图像的大小计算距离，即
Figure BSA0000247687960000011
D是观看者与摄像头的距离，W是观看者面部的宽度，P是观看者面部的像素宽度，F是摄像头焦距，W、P、F为已知。
设定屏幕中心点坐标、摄像头(镜头中心点)坐标、反光镜(镜面中心点)坐标，设观看者面部坐标U(X0，Y0，Z0)，基于观看者面部在摄像头拍摄画面中的左右(相对于画面中心点的左右距离Crl)、上下(相对于画面中心点的上下距离Cud)位置、摄像头角度(摄像头感光元件所在平面与观看者的角度W，即将观看者面部正面看作平面R，平面R与感光元件所在平面的角度即为W，平面R与基准平面B平行)计算X0、Y0，观看者面部到基准面的距离即
Figure BSA0000247687960000021
Figure BSA0000247687960000022
基于d0及设定已知的基准面Z轴坐标(假设基准面Z轴坐标全部为0)计算Z0。假设摄像头感光元件也在基准面上，即感光元件与基准面平行且与基准面重叠。若感光元件与基准面不平行，则上述计算需要参考感光元件与基准面的夹角。基准面是虚拟的平面，例如在高级辅助驾驶领域，取车厢内驾驶与副驾驶前部的面板区域为基准面；在智慧城市应急指挥中心应用领域，取屏幕所在平面为基准面。
第二步，基于摄像头感光元件相对基准面的位置、摄像头的感光元件所在平面(假设感光元件在镜头后端，且镜头中心线与感光元件垂直，垂点是感光元件的中心点)相对于屏幕所在平面的夹角、摄像头镜头畸变、观看者在摄像头成像画面中的位置判断观看者面部在基准面上的投影位置即投影点坐标M(X1，Y1)。
第三步，计算观看者面部(设面部为一平面)相对于基准面的倾斜角α以及观看者眼部瞳孔距离眼眶中心点的相对位置。
第四步，结合第一步、第二步、第三步计算观看者在基准面上的视角投射区域的中心点坐标A(X2，Y2)。基于线段UM、AM的距离以及线段UA与UM的夹角计算UA距离，根据两点坐标距离公式，进而计算A点坐标。
第五步，确定视角投射区域。将基准面分为多个虚拟窗口，A点坐标所在的虚拟窗口区域即为视角投射区域窗口；采用模糊靠近(误差宽松)原则，A点坐标最靠近的虚拟窗口为视角投射区域虚拟窗口。
2、机器学习判断方法
第一步，建立特征学习数据库。摄像头采集车辆驾驶座操控者的面部及眼部图像数据、车道变化数据，计算机分析学习面部、眼部图像数据，具体过程：1)采集驾驶者面部特征，识别驾驶者。人脸识别驾驶者的面部骨骼轮廓、皱纹线以及眼睛、鼻子、眉毛、嘴巴、眼镜的大小与形状，唯一确定驾驶者身份面部信息，并与乘坐者区分，计算机默认驾驶者为唯一观看者。2)采集驾驶者视角信息，建立模拟数据。驾驶者模拟真实驾驶车辆时的观察反光镜习惯，包括面部倾斜角度以及眼部看向反光镜时的状态。计算机通过摄像头采集驾驶者(即观看者)看向反光镜时的图像数据，并记录面部倾斜图像信息、瞳孔在眼眶中的相对位置图像信息。3)在真实驾驶环境中，计算机采集学习驾驶者视角信息。计算机、摄像头实时记录驾驶者的面部角度及瞳孔位置特征，同时计算机通过外置摄像头采集车身前后车道线及周围车辆图像数据，通过车道线及追踪周围车辆相对于本车的位置变化识别变道超车、归位(返回行驶车道)行为，计算机提取并学习变道超车、归位前的驾驶者面部角度、眼部瞳孔位置变化数据，该变化数据假设为驾驶者观看左、右反光镜时的面部及眼部特征，该特征数据对上述2)中的模拟数据进行纠正。除上述变道超车、归位行为外，也包括减速、加速、刹车行为，在此统称为变道、变速行为。
与此同时，并基于变道、变速前的驾驶者面部角度、眼部瞳孔位置变化数据，查询行车过程中无变道、变速行为但驾驶者有相似(设定相似度)或相同的面部角度、眼部瞳孔位置的图像数据。将面部角度、眼部瞳孔位置、持续时间(保持相同面部角度、眼部瞳孔位置的连续时间)数据分类，计算相同面部角度与眼部瞳孔位置以及相同持续时间特征时的变道、变速细分行为概率。如表1所示，机器学习输入输出对应表。
表1
Figure BSA0000247687960000031
第二步，分析预测，基于驾驶者面部及眼部特征数据预测观看行为。基于机器学习判断方法第一步中的特征学习数据库以及当前驾驶环境中的驾驶者面部角度、瞳孔位置(眼部虹膜瞳孔与眼眶中心点的距离)、持续时间实时数据计算当前驾驶者查看车身侧面及后面的具体行为概率。表2是机器学习预测模型输入输出对应表，输入设定概率、面部角度与眼部瞳孔位置、持续时间特征组合决定输出结果，表2中输入数据中面部角度、瞳孔位置、持续时间为实时数据，概率P0为预先设定值。
表2
Figure BSA0000247687960000032
二、基于视角投射区域的响应方法
第一种方法，基于上述1、角度模型判断方法，假设车辆反光镜也在基准面内，当视角投射中心点坐标位于车辆反光镜所在的虚拟网格内时，判断结果为视角投射区域是反光镜，并区分左、右反光镜。通过设定观看者的坐标(X0，Y0，Z0)范围确定驾驶者，基于驾驶者的视角投射区域及持续时间响应相关触发事件，触发事件包括图像显示与音响播放。例如，当视角投射区域为右侧反光镜且大于设定持续时间时，则计算机通过屏幕显示外置摄像头采集到的车身右侧尾部周围道路及车辆图像信息，该图像信息模拟仿真右反光镜图像信息。与此同时，与图像显示关联对应，计算机通过音响播放车身右侧尾部周围的车辆情况(如：右后方5米处有车辆行驶，或不同频率、幅度、长度的鸣笛声代替危险警示级别)。同样原理，当视角投射区域为左反光镜时，显示器将模拟显示左后方的图像信息；当视角投射区域为中反光镜(正后方的镜像)时，显示器模拟显示正后方的图像信息。支持右反光镜、左反光镜、中反光镜虚拟存在，假设其均位于基准面上的某一虚拟窗口，以投射区域所属的具体虚拟窗口作为事件响应触发点，事件响应包括显示器显示内容、音响播放音频。
第二种方法，基于上述2、机器学习判断方法，当驾驶者观察反光镜时，基于表2中的输入值输出(预测)结果Ou，根据超车、归位、减速、加速中的具体一个输出结果，响应对应的触发事件，具体为：当判断结果为超车时，显示器显示车辆左后方(或右后方，根据交通法则)超车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为归位时，显示器显示车辆右后方(或左后方，根据交通法则)行驶车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为减速(非变道)时，显示器显示车辆正后方车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号；当判断结果为行驶车道加速(非超车)时，显示器显示车辆左侧(或右侧，根据交通法则)超车道的视频(或模拟动画)画面，同时音响播放特定频率及幅度音频信号。
附图说明
图1是高级辅助驾驶及无人驾驶视场智能响应方法及***实施示意图，符号释义如下：
abcd：基准面(显示器、音响包含于基准面内)；
ageo：虚拟窗口1，对应图1中的数字1；
cheo：虚拟窗口2，对应图1中的数字2；
gobf：虚拟窗口3，对应图1中的数字3；
ohfd：虚拟窗口4，对应图1中的数字4；
U：观看者的面部及眼部；
M：驾驶者(观看者)在基准面的视角投影点；
A：驾驶者(观看者)在基准面的视角投射区域中心点；
V：摄像头；
5：计算机。
虚线为观看者的面部及眼部U、观看者在基准面的视角投影点M、观看者在基准面的视角投射区域中心点A的连接线，U、M、A三点组成直角三角形ΔUMA，UM⊥AM。
图2是高级辅助驾驶及无人驾驶车辆超车示意图，图中的两个V代表车辆V在两个时刻的不同位置，示意车辆V完成一次超车，V2是被超越车辆；黑线B1、B2是道路两侧边界线，虚线L1、L2是车道分界线，B1与L1之间是超车道，L1与L2之间是行车道，L2与B2之间是应急停车道。
具体实施方式
如图1所示，假设左反光镜所在区域为虚拟窗口1，摄像头V采集观看者的面部及眼部U的图像信息并将数据传向计算机5，计算机5控制显示器的显示内容及音响的播放内容，具体基于观看者的面部及眼部U在基准面的视角投射区域中心点A坐标及持续时间，当A点坐标位于虚拟窗口1时，则计算机5通过显示器及音响提示车辆左后方车道车辆信息。
如图2所示，车辆V在超车过程中，通过机器学习算法学习驾驶者(或驾驶位乘客)的面部角度、瞳孔位置、持续时间与变道、变速具体行为之间的联系，进而基于行驶中驾驶者的面部角度、瞳孔位置、持续时间数据预测具体行为，并通过显示器、音响智能提示与驾驶者行为相关联的必要信息。具体机器学习算法为：
应用机器学习方法中的感知机学习算法，即：
输入：训练数据集T＝{(x1，y1)，(x2，y2)，(x3，y3)，...，(xN，yN)}，其中xi∈X＝Rn，y∈Y＝{-1，+1}，i＝1，2，...，N；学习率η(0＜η≤1)；
输出：w，b；感知机模型f(x)＝sign(w.x+b)。
①选取初值w0，b0
②在训练集中选取数据(xi，yi)
③如果yi(w.xi+b)≤0
w←w+ηyixi
b←b+ηyi
④转至②，直至训练集中没有误分类点。
通过学习历史数据构建最优化问题，即：min L(w，b)＝-∑yi(w.xi+b)
按照上述感知机学习算法求解w、b，η＝1。yi是输出分类值，即确定驾驶者看向哪个区域(虚拟窗口)及驾驶者的操控行为，xi是输入指标的值，有两种方法确定xi，其一：xi是系数倍的面部角度与系数倍的瞳孔位置的和，即xi＝ωiHi+βiEi；其二：xi是面部角度，b是系数倍的瞳孔位置即b＝βiEi。基于已知的面部角度与瞳孔位置数据、驾驶者视线投射区域及操控行为，最终确定w、b、ωi、βi的最优值。视线投射区域持续时间作为限定指标，即大于某一值有效，小于某一值则无效，学习过程中持续时间TS与预测时的触发持续时间TR关系为TR＝μTS。μ是配置系数，0＜μ＜1。
基于上述学习模型及实时的面部角度与瞳孔位置数据，预测驾驶者看向区域及操控行为，并基于看向区域及操控行为执行计算机对应程序，最终通过显示器、音响提示，以帮助驾驶者安全高效驾驶。
对于公交车及出租车等公共用车，基于多个驾驶者操控习惯与面部及眼部特征之间的对应关系概率，预测当前驾驶者视线聚焦点。

Claims (2)

1.一种高级辅助驾驶及无人驾驶视场智能响应方法，其特征在于，首先基于驾驶者的面部角度与眼部瞳孔位置计算视线投射点及区域，或通过机器学习方法结合历史数据及实时的面部角度与瞳孔位置预测视线投射区域及操控行为；其次，基于驾驶者视线投射区域，触发汽车计算机***相应程序，并通过操控台前面板屏幕及音响予以提示；包括软件、硬件，其中硬件由摄像头、计算机、屏幕、音响组成；
所述方法分为视角投射区域判断方法以及基于视角投射区域的响应方法，基于摄像头及屏幕前方观看者的视角判断对焦区域，摄像头采集观看者的面部、眼部图像，计算机软件基于图像中的面部及眼部特征判断观看者在屏幕中的视角投射区域，进而触发计算机软件中的控件，控件实现视角投射区域的图像显示、切换以及大小调整操作，同时实现对应视角投射区域图像的音响播放；所述视角投射区域判断方法分为角度模型判断方法、机器学习判断方法，所述基于视角投射区域的响应方法分为两种，其一是基于角度模型判断方法，即假设车辆反光镜也在基准面内，当视角投射中心点坐标位于车辆反光镜所在的虚拟网格内时，判断结果为视角投射区域是反光镜，并区分左、右反光镜，通过设定观看者的坐标范围确定驾驶者，基于驾驶者的视角投射区域及持续时间响应相关触发事件，所述触发事件包括图像显示与音响播放，当视角投射区域为左反光镜时，显示器将模拟显示左后方的图像信息，当视角投射区域为中反光镜时，显示器模拟显示正后方的图像信息，支持右反光镜、左反光镜、中反光镜虚拟存在，假设其均位于基准面上的某一虚拟窗口，以投射区域所属的具体虚拟窗口作为事件响应触发点，事件响应包括显示器显示内容、音响播放音频；其二是基于机器学习判断方法，当驾驶者观察反光镜时，基于输入值输出结果，根据超车、归位、减速、加速中的具体一个输出结果，响应对应的触发事件，当判断结果为超车时，显示器显示车辆左后方超车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为归位时，显示器显示车辆右后方行驶车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为减速时，显示器显示车辆正后方车道的视频画面，同时音响播放特定频率及幅度音频信号，当判断结果为行驶车道加速时，显示器显示车辆左侧超车道的视频画面，同时音响播放特定频率及幅度音频信号；其角度模型判断方法步骤：
第一步，计算观看者与摄像头的距离，根据摄像头焦距、观看者面部图像的大小计算距离，即
Figure FSB0000204297610000011
D是观看者与摄像头的距离，W是观看者面部的宽度，P是观看者面部的像素宽度，F是摄像头焦距，W、P、F为已知，设定屏幕中心点坐标、摄像头坐标、反光镜坐标，设观看者面部坐标，基于观看者面部在摄像头拍摄画面中的左右、上下位置、摄像头角度计算X0、Y0，观看者面部到基准面的距离即/>
Figure FSB0000204297610000012
基于d0及设定已知的基准面Z轴坐标计算Z0，假设摄像头感光元件也在基准面上，即感光元件与基准面平行且与基准面重叠，若感光元件与基准面不平行，则上述计算需要参考感光元件与基准面的夹角，基准面是虚拟的平面，例如在高级辅助驾驶领域，取车厢内驾驶与副驾驶前部的面板区域为基准面，在智慧城市应急指挥中心应用领域，取屏幕所在平面为基准面；
第二步，基于摄像头感光元件相对基准面的位置、摄像头的感光元件所在平面相对于屏幕所在平面的夹角、摄像头镜头畸变、观看者在摄像头成像画面中的位置判断观看者面部在基准面上的投影位置即投影点坐标；
第三步，计算观看者面部相对于基准面的倾斜角α以及观看者眼部瞳孔距离眼眶中心点的相对位置；
第四步，结合第一步、第二步、第三步计算观看者在基准面上的视角投射区域的中心点坐标A，基于线段UM、AM的距离以及线段UA与UM的夹角计算UA距离，根据两点坐标距离公式，进而计算A点坐标；
第五步，确定视角投射区域，将基准面分为多个虚拟窗口，A点坐标所在的虚拟窗口区域即为视角投射区域窗口；采用模糊靠近原则，A点坐标最靠近的虚拟窗口为视角投射区域虚拟窗口。
2.根据权利要求1所述的一种高级辅助驾驶及无人驾驶视场智能响应方法，其特征在于，其机器学习判断方法包括：
第一步，建立特征学习数据库，摄像头采集车辆驾驶座操控者的面部及眼部图像数据、车道变化数据，计算机分析学习面部、眼部图像数据，具体过程：1)采集驾驶者面部特征，识别驾驶者，人脸识别驾驶者的面部骨骼轮廓、皱纹线以及眼睛、鼻子、眉毛、嘴巴、眼镜的大小与形状，唯一确定驾驶者身份面部信息，并与乘坐者区分，计算机默认驾驶者为唯一观看者；2)采集驾驶者视角信息，建立模拟数据，驾驶者模拟真实驾驶车辆时的观察反光镜习惯，包括面部倾斜角度以及眼部看向反光镜时的状态，计算机通过摄像头采集驾驶者看向反光镜时的图像数据，并记录面部倾斜图像信息、瞳孔在眼眶中的相对位置图像信息；3)在真实驾驶环境中，计算机采集学习驾驶者视角信息，计算机、摄像头实时记录驾驶者的面部角度及瞳孔位置特征，同时计算机通过外置摄像头采集车身前后车道线及周围车辆图像数据，通过车道线及追踪周围车辆相对于本车的位置变化识别变道超车、归位行为，计算机提取并学习变道超车、归位前的驾驶者面部角度、眼部瞳孔位置变化数据，查询行车过程中无变道、变速行为但驾驶者有相似或相同的面部角度、眼部瞳孔位置的图像数据，将面部角度、眼部瞳孔位置、持续时间数据分类，计算相同面部角度与眼部瞳孔位置以及相同持续时间特征时的变道、变速细分行为概率；
第二步，分析预测，基于驾驶者面部及眼部特征数据预测观看行为，基于机器学习判断方法第一步中的特征学习数据库以及当前驾驶环境中的驾驶者面部角度、瞳孔位置、持续时间实时数据计算当前驾驶者查看车身侧面及后面的具体行为概率；对于公共用车，基于多个驾驶者操控习惯与面部及眼部特征之间的对应关系概率，预测当前驾驶者视线聚焦点。
CN202110816488.5A 2021-07-20 2021-07-20 高级辅助驾驶及无人驾驶视场智能响应方法及*** Active CN113525402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816488.5A CN113525402B (zh) 2021-07-20 2021-07-20 高级辅助驾驶及无人驾驶视场智能响应方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816488.5A CN113525402B (zh) 2021-07-20 2021-07-20 高级辅助驾驶及无人驾驶视场智能响应方法及***

Publications (2)

Publication Number Publication Date
CN113525402A CN113525402A (zh) 2021-10-22
CN113525402B true CN113525402B (zh) 2023-06-02

Family

ID=78100297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816488.5A Active CN113525402B (zh) 2021-07-20 2021-07-20 高级辅助驾驶及无人驾驶视场智能响应方法及***

Country Status (1)

Country Link
CN (1) CN113525402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527990B (zh) * 2023-07-05 2023-09-26 深圳市康意数码科技有限公司 一种电视机播放智能控制方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
GB2532457B (en) * 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
CN105835888A (zh) * 2016-04-07 2016-08-10 乐视控股（北京）有限公司 一种转向提示方法及装置
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
CN106585629B (zh) * 2016-12-06 2019-07-12 广东泓睿科技有限公司 一种车辆控制方法和装置
CN109501807B (zh) * 2018-08-15 2021-02-26 初速度（苏州）科技有限公司 自动驾驶注意力检测***及方法
CN111709264A (zh) * 2019-03-18 2020-09-25 北京市商汤科技开发有限公司 驾驶员注意力监测方法和装置及电子设备
KR102385874B1 (ko) * 2019-06-17 2022-04-12 구글 엘엘씨 3차원 시선 벡터를 이용한 차량 탑승자 참여
CN111931579B (zh) * 2020-07-09 2023-10-31 上海交通大学 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法

Also Published As

Publication number Publication date
CN113525402A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
CN111931579B (zh) 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法
US20210357670A1 (en) Driver Attention Detection Method
US11731558B2 (en) Rearview device simulation
US20200223361A1 (en) Rear-view Mirror Simulation
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实***
WO2020186883A1 (zh) 注视区域检测及神经网络训练的方法、装置和设备
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
CN110703904A (zh) 一种基于视线跟踪的增强虚拟现实投影方法及***
WO2008029802A1 (fr) Dispositif fournissant des informations de voyage
CN109849788B (zh) 信息提供方法、装置及***
CN113635833A (zh) 基于汽车a柱的车载显示装置、方法、***及存储介质
CN113785263A (zh) 用于在自动驾驶车辆与外部观察者之间的通信的虚拟模型
CN113525402B (zh) 高级辅助驾驶及无人驾驶视场智能响应方法及***
CN113386775B (zh) 一种考虑人-车-路特性的驾驶员意图识别方法
JP2021130389A (ja) 運転者状態推定装置
JP2022047580A (ja) 情報処理装置
CN108073274A (zh) 基于深度值的手势操作方法及其***
Liu et al. Saliency difference based objective evaluation method for a superimposed screen of the HUD with various background
JP2021130390A (ja) 運転者状態推定装置
CN111267865B (zh) 基于视觉的安全驾驶预警方法、***及存储介质
CN114842618A (zh) 一种嵌入式司机行为状态预警方法、装置、车辆及介质
JP6739682B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
Smith et al. Augmented mirrors: depth judgments when augmenting video displays to replace automotive mirrors
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant