具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1为本申请实施例提供的一种车载***的结构示意图,车载***100包括设置于车辆上的第一摄像头110(内置)、设置于车辆上的第二摄像头120(外置)、设置于车辆上的平视显示器130(Head Up Display,HUD)和车载装置140,其中:
当车载装置140确定车辆行驶在预设道路(例如,高速公路)上时,控制第一摄像头110获取驾驶员的第一面部图像,车载装置140根据该第一面部图像对所述驾驶员进行疲劳驾驶的识别,在识别出该驾驶员处于疲劳驾驶时,控制HUD130按照预设的投影间隔向车辆的前挡风玻璃上的多个目标区域投影目标图像,即依次向多个目标区域进行动态投影,该目标图像可以为第二摄像头120拍摄到的该车辆周围的图像,也可以为用户预置的图像。
可以看出,在本申请实施方案中,当确定出驾驶员处于疲劳驾驶时,控制HUD向前挡风玻璃上的多个目标区域进行动态投影,通过动态投影来转移驾驶员的视觉注意力,缓解驾驶员的视觉疲劳,进而提高用户的驾驶体验,提升交通安全。
参阅图2,图2为本申请实施例提供的一种驾驶方法的流程示意图,本实施例的方法包括以下步骤:
201:获取驾驶员的第一面部图像。
通过安装在车辆的第一摄像头获取该驾驶员的第一面部图像。
202:根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别。
可选的,对该第一面部图像进行特征提取,得到特征图像,根据该特征图像对该驾驶员进行疲劳识别,得到识别结果。其中,对特征提取可以通过神经网络进行提取,该神经网络可以为卷积神经网络、循环神经网络,等等。
举例来说,可获取该驾驶员的上下眼皮之间的距离,将该距离作为特征信息,当该距离小于阈值时,则确定该驾驶员处理疲劳驾驶状态。
203:在识别出所述驾驶员处于疲劳驾驶时,获取多个目标区域中每个所述目标区域对应的预设投影时长,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
其中,可以通过HUD投影目标图像,也可以通过投影仪或者其他投影设备进行投影,本申请以通过HUD投影为例说明,但不对投影方式做唯一限定。
当然,驾驶员也可以通过手动操作,控制车载装置按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像,无需进行疲劳驾驶的识别。本申请对投影目标图像的启动条件不做限定。
可选的,相对驾驶员的驾驶位置来说将前挡风玻璃划分为三个区域,即左侧区域、中间区域和右侧区域。然后,向三个区域依次循环投影目标图像。
需要说明的是,本申请提及的目标区域即投影目标图像时在该三个区域上的具体投影区域。如,左侧区域的目标区域可以为左侧区域的中间部分,等等。
其中,该目标区域可以是由用户提前设定好的固定区域,也可以是根据驾驶员的驾驶高度实时确定出的区域,本申请对此不做限定。
其中,该目标图像包括一张或多张图像。例如,目标图像可以为用户提前设定好的图像或者图像集;也可以为实时获取到的图像或者图像集;还可以是用户设备实时上传的图像或者图像集。本申请对此不做限定。
其中,多个目标区域之间对应的投影时长可以相同,也可以不同。例如,每个目标区域对应的投影时长均为5s,即向一个目标区域投影5s,然后切换,向另外一个目标区域投影5s。再如,由于距离驾驶员较远的目标区域驾驶员的视觉效果差,故可按照与该驾驶员距离由近及远的顺序,依次降低每个目标区域的投影时长,如左侧区域对应的投影时长为8s、中间区域对应的投影时长为6s、右侧区域为4s,等等。本申请对投影时长的设置方式不做限定。
可以看出,在本申请实施方案中,当确定出驾驶员处于疲劳驾驶时,向前挡风玻璃的多个目标区域进行动态投影,通过动态投影目标图像来转移驾驶员的视觉注意力,缓解驾驶员的视觉疲劳,提高用户的驾驶体验,提升交通安全。
在一些可能的实施方式中,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,所述方法还包括:
获取车辆的行驶参数;
根据该行驶参数确定车辆的行驶状态;
当控制车辆变道时,接收外置摄像头采集的周围图像,根据该周围图像确定变道路线,生成与该变道路线对应的导航图,将该导航图作为该目标图像。
通过HUD显示变道路线对应的导航图,可以解决驾驶员因视野盲区而造成的变道安全问题,提高驾驶员的变道效率以及安全性。
在一些可能的实施方式中,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,所述方法还包括:
获取车辆周围的环境亮度;
获取与所述环境亮度对应的显示亮度,所述显示亮度为HUD对每个目标区域进行投影时,目标图像的显示亮度;
获取与所述显示亮度对应的工作功率;
控制HUD按照每个目标区域的投影时长,以及与所述显示亮度对应的工作功率依次向每个目标区域循环投影目标图像。
获取与环境亮度对应的显示亮度,并控制HUD与该显示亮度对应的工作功率投影目标图像,从而保证投影后的目标图像显示亮度与该环境亮度匹配,进而提高驾驶的观看效果,提高用户体验。
参阅图3,图3为本申请实施例提供的另一种驾驶方法的流程示意图。该实施例中与图2所示的实施例相同的内容,此处不再重复描述。本实施例的方法包括以下步骤:
301:获取驾驶员的第一面部图像。
302:根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别。
303:在识别出所述驾驶员处于疲劳驾驶时,根据所述面部图像、摄像头的拍摄角度以及所述摄像头的安装高度确定多个目标区域。
该摄像头为深度摄像头,如图4所示,则可根据该面部图像中的深度信息确定驾驶员与摄像头的相对距离d,其确定距离的方式为现有技术;根据该相对距离以及该摄像头的拍摄角度α,确定驾驶员与所述摄像头的第一相对高度h1,即先确定(h1+h2)=d*tanα/2,然后,获取该第一面部图像的长度L,故可确定出缩放比例K=2(h1+h2)/L,又可以获取驾驶员所在区域的长度为L1(图像中的高度),故可确定出h2=L1*K,则h1=(d*tanα/2)-h2=(d*tanα/2)-L1*2(h1+h2)/L;根据该第一相对高度h1以及所述摄像头的安装高度H,确定驾驶员与车辆的前挡风玻璃的第二相对高度(h2+h),即驾驶员此时的高度,(h2+h)=H-h1=H-(d*tanα/2)+L1*2(h1+h2)/L。
进一步地,在得到该第二相对高度后,可知道该驾驶员平视前防风玻璃时的高度,故可将该前挡风玻璃与该第二相对高度对应的区域为该多个目标区域。
进一步地,驾驶员在车辆的左侧,因此可将该前挡风玻璃的左侧区域对应的目标区域,以及中间区域对应的目标区域作为最终的目标区域,在该两个目标区域上动态投影目标图像,以便驾驶员直接观察到该目标图像,无需视线的偏移,影响驾驶安全。当然,如该两个目标区域中某个目标区域由于外在因素的影响不适合投影时,例如,太阳光直射到该目标区域时,则可将右侧区域对应的目标区域替换该目标区域进行投影。
304:控制HUD按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
可以看出,在本申请实施方案中,当确定出驾驶员处于疲劳驾驶时,向前挡风玻璃上的多个目标区域进行动态投影,通过动态投影目标图像以转移驾驶员的视觉注意力,缓解驾驶员的视觉疲劳,进而提高用户的驾驶体验,提升交通安全;另外,该目标区域是根据驾驶员的高度确定出来的,无论什么样身高的驾驶员驾驶该车辆时,均可直视到投影到前挡风玻璃上的目标图像,从而可适应各个驾驶员,进而提高每个驾驶员的视觉体验。
在一些可能的实施方式中,HUD的数量为一个。一般来说,在该HUD的数量为一个时,将HUD设置于前挡风玻璃的中心区域,则确定该HUD投影到每个目标区域所需的投影角度,即基于每个目标区域对应的高度以及方向确定该HUD投影到每个目标区域所需的投影角度,该投影角度包括仰角和偏移角度。如图5所示,x方向为该HUD投影方向的正前方,β为仰角,γ为偏移角度,当该HUD投影到左侧区域的目标区域时,则γ为左偏移角度,当该HUD投影右侧区域的目标区域时,则β为右偏移角度。
在一些可能的实施方式中,HUD的数量为多个。例如,可以在前挡风玻璃的左侧区域、中间区域以及右侧区域各设置一个对应的HUD,左侧的HUD用于将目标图像投影到前挡风玻璃的左侧区域的目标区域、右侧的HUD用于将目标图像投影到前挡风玻璃的右侧区域的目标区域。因此,在确定出每个区域的目标区域后,并根据每个目标区域的高度确定该目标区域的HUD所需的投影角度。由于该目标区域的HUD能投影的区域范围包括该目标区域所在的整个区域,故该投影角度为仰角,即仅调整该目标区域的HUD的投影仰角即可将目标图像投影到该目标区域。然后,在每个目标区域的预设投影时长内,控制每个目标区域的HUD向该目标区域投影目标图像,从而实现动态投影。
参阅图6,图6为本申请实施例提供的另一种驾驶方法的流程示意图该实施例中与图2、图3所示的实施例相同的内容,此处不再重复描述。本实施例的方法包括以下步骤:
601:获取车辆当前的位置信息。
602:根据所述当前的位置信息确定所述车辆当前所行驶的道路的类型。
其中,道路的类型包括包括:城市道路类型、公路类型、景观类型和地理地形类型。
城市道路类型可以包括:快速路、主干路和支路中的一种或多种。公路类型可以包括:高速公路、一级公路、二级公路和三级公路中的一种或多种。景观类型可以包括:乡村道路、郊区道路、城市道路和都市道路中的一种或多种。地理地形类型可以包括:高原、山地、平原、盆地和丘陵中的一种或多种。
由于每种道路两边的风景不同,所以,驾驶员在不同的道路上驾驶车辆时,产生视觉疲劳所需的时间不同。故对每种道路设置各自的时间阈值,可对每种道路上的驾驶员的视觉疲劳作出精准判断,进而提高驾驶疲劳识别的准确度。
603:获取与所述类型对应的时长阈值。
604:在所述当前所行驶的道路的行驶时长大于所述时长阈值时,获取驾驶员的第一面部图像。
605:根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别。
606:在识别出所述驾驶员处于疲劳驾驶时,获取多个目标区域中每个所述目标区域对应的预设投影时长,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
可以看出,在本申请实施方案中,当确定出驾驶员处于疲劳驾驶时,向前挡风玻璃上动态投影目标图像,以转移驾驶员的视觉注意力,缓解驾驶员的视觉疲劳,进而提高用户的驾驶体验,提升交通安全;另外,对每种道路设置各自的时间阈值,可提高驾驶疲劳识别的准确度。
参阅图7,图7为本申请实施例提供的另一种驾驶方法的流程示意图该实施例中与图2、图3、图6所示的实施例相同的内容,此处不再重复描述。本实施例的方法包括以下步骤:
701:获取驾驶员的第一面部图像。
702:根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别。
703:在识别出所述驾驶员处于疲劳驾驶时,获取多个目标区域中每个所述目标区域对应的预设投影时长,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
704:获取所述驾驶员的第二面部图像。
705:对所述第二面部图像进行识别,得到所述驾驶员的瞳孔中心点。
具体来说,对该第二面部图像进行处理,得到该第二面部图像中的眼睛区域;然后,对该第二面部图像区域进行灰度区域,得到灰度图像;基于该灰度图像对该眼睛区域进行边缘分割,得到瞳孔边缘对应的若干个像素点;对该若干个进行拟合,得到类椭圆曲线,将该类椭圆曲线的中心点作为该瞳孔中心点。
706:根据所述瞳孔中心点确定所述驾驶员的视线角度,所述视线角度为所述驾驶员的视线方向与水平方向的夹角。
根据该瞳孔中心点可确定出该驾驶员的视线方向,由该视线方向与水平方向的夹角,得到该驾驶员的视线角度。
707:如所述视线角度大于预设角度时,停止向所述目标区域投影所述目标图像。
可以看出,在本申请实施方案中,当确定出驾驶员处于疲劳驾驶时,向前挡风玻璃动态投影目标图像,以转移驾驶员的视觉注意力,缓解驾驶员的视觉疲劳,进而提高用户的驾驶体验,提升交通安全;另外,在投放目标图像后,当驾驶员的注意力过多的投放到该目标图像上时,会影响驾驶安全,因此,为了保证驾驶安全,实时检测驾驶员的瞳孔中心点,在视线角度大于阈值时,即驾驶员的视线大部分集中在目标图像上时,停止向前挡风动态投影目标图像,进而保证驾驶安全。
图8为本申请实施例提供的一种车载装置800的结构示意图。如图8所示,车载装置800包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序不同于上述一个或多个应用程序,且上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
获取驾驶员的第一面部图像;
根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别;
在识别出所述驾驶员处于疲劳驾驶时,获取多个目标区域中每个所述目标区域对应的预设投影时长,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像,每个所述目标区域为前挡风玻璃上的区域。
在一些可能的实施方式中,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,上述程序还用于执行以下步骤的指令:
根据所述面部图像确定所述驾驶员与摄像头的相对距离;
根据所述相对距离以及所述摄像头的拍摄角度,确定所述驾驶员与所述摄像头的第一相对高度;
根据所述第一相对高度以及所述摄像头的安装高度,确定所述驾驶员与车辆的前挡风玻璃的第二相对高度;
根据所述第二相对高度确定所述前挡风玻璃上的所述多个目标区域。
在一些可能的实施方式中,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像方面,上述程序具体用于执行以下步骤的指令:
控制平视显示器HUD,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
在一些可能的实施方式中,在控制平视显示器HUD,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像方面,上述程序具体用于执行以下步骤的指令:
在所述HUD的数量为一个时,获取所述HUD投影至每个所述目标区域所需的投影角度,在每个所述目标区域对应的投影时长内,控制所述HUD按照所述投影角度向每个所述目标区域投影所述目标图像;
在所述HUD的数量为多个,且每个HUD对应一个所述目标区域时,获取每个所述目标区域对应的HUD投影至该目标区域所需的投影角度,在该目标区域对应的投影时长内,控制该目标区域对应的HUD按照该投影角度向该目标区域投影所述目标图像。
在一些可能的实施方式中,在获取驾驶员的第一面部图像之前,上述程序还用于执行以下步骤的指令:
获取车辆当前的位置信息;
根据所述当前的位置信息确定所述车辆当前所行驶的道路的类型;
获取与所述类型对应的时长阈值;
在所述当前所行驶的道路的行驶时长大于所述时长阈值时,获取所述驾驶员的第一面部图像。
在一些可能的实施方式中,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,上述程序还用于执行以下步骤的指令:
获取车辆周围的道路图像,将所述道路图像作为所述目标图像;
和/或,接收用户设备上传的图像,将所述图像作为所述目标图像。
在一些可能的实施方式中,上述程序还用于执行以下步骤的指令:
获取所述驾驶员的第二面部图像;
对所述第二面部图像进行识别,得到所述驾驶员的瞳孔中心点;
根据所述瞳孔中心点确定所述驾驶员的视线角度,所述视线角度为所述驾驶员的视线方向与水平方向的夹角;
如所述视线角度大于预设角度时,停止向每个所述目标区域投影目标图像。
参阅图9,图9示出了上述实施例中所涉及的车载装置900的一种可能的功能单元组成框图,车载装置900包括:获取单元910、识别单元920和投影单元930,其中:
获取单元910,用于获取驾驶员的第一面部图像;
识别单元920,用于根据所述第一面部图像对所述驾驶员进行疲劳驾驶识别;
投影单元930,用于在识别出所述驾驶员处于疲劳驾驶时,获取多个目标区域中每个所述目标区域对应的预设投影时长,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像,每个所述目标区域为前挡风玻璃上的区域。
在一些可能的实施方式中,车载装置900还包括确定单元940,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,确定单元940,用于:
根据所述面部图像确定所述驾驶员与摄像头的相对距离;
根据所述相对距离以及所述摄像头的拍摄角度,确定所述驾驶员与所述摄像头的第一相对高度;
根据所述第一相对高度以及所述摄像头的安装高度,确定所述驾驶员与车辆的前挡风玻璃的第二相对高度;
根据所述第二相对高度确定所述前挡风玻璃上的所述多个目标区域。
在一些可能的实施方式中,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像方面,投影单元930,具体用于:
控制平视显示器HUD,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像。
在一些可能的实施方式中,在控制平视显示器HUD,按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像方面,投影单元930,具体用于:
在所述HUD的数量为一个时,获取所述HUD投影至每个所述目标区域所需的投影角度,在每个所述目标区域对应的投影时长内,控制所述HUD按照所述投影角度向每个所述目标区域投影所述目标图像;
在所述HUD的数量为多个,且每个HUD对应一个所述目标区域时,获取每个所述目标区域对应的HUD投影至该目标区域所需的投影角度,在该目标区域对应的投影时长内,控制该目标区域对应的HUD按照该投影角度向该目标区域投影所述目标图像。
在一些可能的实施方式中,在获取驾驶员的第一面部图像之前,获取单元910,还用于,:
获取车辆当前的位置信息;
根据所述当前的位置信息确定所述车辆当前所行驶的道路的类型;
获取与所述类型对应的时长阈值;
在所述当前所行驶的道路的行驶时长大于所述时长阈值时,获取所述驾驶员的第一面部图像。
在一些可能的实施方式中,在按照每个所述目标区域对应的预设投影时长依次向每个所述目标区域投影目标图像之前,投影单元930,还用于:
获取车辆周围的道路图像,将所述道路图像作为所述目标图像;
和/或,接收用户设备上传的图像,将所述图像作为所述目标图像。
在一些可能的实施方式中,获取单元910,还用于获取所述驾驶员的第二面部图像;
识别单元920,还用于对所述第二面部图像进行识别,得到所述驾驶员的瞳孔中心点;
确定单元940,还用于根据所述瞳孔中心点确定所述驾驶员的视线角度,所述视线角度为所述驾驶员的视线方向与水平方向的夹角;
如所述视线角度大于预设角度时,投影单元930,用于停止向每个所述目标区域投影目标图像。
本申请实施例还提供一种计算机存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种驾驶方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种驾驶方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。