CN109849788B - 信息提供方法、装置及*** - Google Patents

信息提供方法、装置及*** Download PDF

Info

Publication number
CN109849788B
CN109849788B CN201811634111.2A CN201811634111A CN109849788B CN 109849788 B CN109849788 B CN 109849788B CN 201811634111 A CN201811634111 A CN 201811634111A CN 109849788 B CN109849788 B CN 109849788B
Authority
CN
China
Prior art keywords
user
information
driving environment
target object
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811634111.2A
Other languages
English (en)
Other versions
CN109849788A (zh
Inventor
严海
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201811634111.2A priority Critical patent/CN109849788B/zh
Publication of CN109849788A publication Critical patent/CN109849788A/zh
Application granted granted Critical
Publication of CN109849788B publication Critical patent/CN109849788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例提供了信息提供方法、装置及***,获取驾驶环境图像;获取用户第一注视信息;基于预设规则将所述用户第一注视信息转换成用户第二注视信息;基于用户第二注视信息确定目标物体,目标物体为用户关注所述驾驶环境图像中对应位置的物体;控制控件的至少部分区域提供目标物体的关联信息。利用本申请实施例提供的信息提供方法可以使得用户在控件的至少部分区域获取到自己关注的物体的关联信息,增加了车载控件设备的功能,使得车载控件设备的功能不单一。

Description

信息提供方法、装置及***
技术领域
本发明涉及车载显示技术领域,更具体的说,是涉及信息提供方法、装置及***。
背景技术
随着车辆智能化的发展,车载控件设备越来越多,例如,HUD(Head Up Display,抬头显示),用于将多功能仪表盘或导航等重要的行车信息投影到车辆的前挡风玻璃上,使得驾驶员在不低头、不转头的情况下,就能看到时速或导航等重要的驾驶信息。
目前,车载控件设备的功能较为单一。
发明内容
有鉴于此,本发明提供了一种信息提供方法、装置及***。本发明提供如下技术方案:
一种信息提供方法,包括:
获取驾驶环境图像;
获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息;
基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
基于所述用户第二注视信息确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;
控制显示区域的至少部分区域显示所述目标物体的关联信息。
一种信息显示装置,包括:
第一获取模块,用于获取驾驶环境图像;
第二获取模块,用于获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息;
转换模块,基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
确定模块,用于基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;
控制模块,用于控制显示区域的至少部分区域显示所述目标物体的关联信息。
一种信息提供***,包括:
第一摄像头,用于获取驾驶环境图像;
眼控追踪装置,用于获取用户第一注视信息;
显示器;
处理装置,用于:
基于预设规则将所述用户第一注视信息转换成用户第二注视信息,基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体,控制所述显示器的至少部分区域显示所述目标物体的关联信息。
经由上述的技术方案可知,与现有技术相比,本申请实施例提供的信息提供方法,获取驾驶环境图像;获取用于用户第一注视信息;基于预设规则将所述用户第一注视信息转换成用户第二注视信息;基于用户第二注视信息确定目标物体,目标物体为用户关注所述驾驶环境图像中对应位置的物体;控制控件的至少部分区域提供目标物体的关联信息,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。利用本申请实施例提供的信息提供方法可以使得用户在控件的至少部分区域获取到自己关注的物体的关联信息,增加了车载控件设备的功能,使得车载控件设备的功能不单一。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的信息提供***的一种实现方式的结构图;
图2为本申请实施例提供的与图1对应的信息提供***的一种具体示例图;
图3为本申请实施例提供的信息提供***的另一种实现方式的结构图;
图4为本申请实施例提供的与图3对应的信息提供***的具体示例图;
图5为本申请实施例提供的信息提供方法的一种实现方式的流程图;
图6为本申请实施例提供的一种坐标系转换示意图;
图7为本申请实施例提供的信息提供方法的一种实现方式的流程图;
图8a至8d为本申请实施例提供的车辆在移动过程中驾驶环境变化的一种应用场景的示意图;
图9为本申请实施例提供的信息显示装置的一种实现方式的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着车辆智能化的发展,车载控件设备越来越多,例如,HUD(Head Up Display,抬头显示),HUD用于将多功能仪表盘或导航等重要的行车信息投影到车辆的前挡风玻璃上,使得驾驶员在不低头、不转头的情况下,就能看到时速或导航等重要的驾驶信息。
目前车载控件设备只能展示多功能仪表盘或导航等驾驶信息,例如HUD,目前的车载控件设备功能单一,例如,目前的车载控件设备并不能展示真实的驾驶环境。
有鉴于此,本申请实施例提供了一种信息提供方法,增加车载控件设备的功能,使得车载控件设备功能不单一,该信息提供方法可以应用于信息提供***,如图1所示,为本申请实施例提供的信息提供***的一种实现方式的结构图,该信息提供***包括:
头戴式显示设备11、第一摄像头12以及处理装置13,其中:
第一摄像头12用于获取驾驶环境图像。
可选的,第一摄像头可以采集车辆的周边驾驶环境以得到驾驶环境图像。
在一可选实施例中,第一摄像头12可以为360°全景摄像头;或,第一摄像头12可以包括多个位于车辆的不同位置的摄像头,以使得第一摄像头12可以采集到车辆所在位置的周边驾驶环境。
在一可选实施例中,第一摄像头12可以包括一个或多个3D摄像头,3D摄像头可以采集周边驾驶环境包含的物体相对于车辆的距离,以得到三维立体的驾驶环境图像,本申请实施例中可以称三维立体的驾驶环境图像为具有深度的驾驶环境图像。
在一可选实施例中,驾驶环境图像可以为二维图像。
头戴式显示设备11用于获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息。
在一可选实施例中,头戴式显示设备11包括眼控追踪装置;
眼控追踪装置包括至少一个第二摄像头,所述至少一个第二摄像头用于获取用户第一注视信息。
在一可选实施例中,眼控追踪装置可以包括至少一个红外光源,所述至少一个红外光源用于将红外光线投射至所述用户的至少眼部区域。相应的,至少一个第二摄像头用于在红外光线投射至所述用户的至少眼部区域下,获取所述用户眼部图像,以得到用户第一注视信息。
可以利用人眼在红外光作用下的特点提高获取用户眼部图像的准确度。因为用户的瞳孔在红外光的照射下,反射的光线比较多。
在一可选实施例中,所述至少一个第二摄像头包括一个或多个3D摄像头,和/或,一个或多个2D摄像头。
可选的,3D摄像头可以获取表征用户的眼睛与眼控追踪装置31之间的相对位置的用户眼部图像。
处理装置13,用于基于预设规则将所述用户第一注视信息转换成用户第二注视信息;基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;控制控件的至少部分区域提供所述目标物体的关联信息,其中,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。
在一可选实施例中,处理装置13属于头戴式显示设备11,在另一可选实施例中,处理装置13与头戴式显示设备11相互独立。
在一可选实施例中,控件可以属于头戴式显示设备11,例如,控件可以为头戴式显示设备11中的显示器;在另一可选实施例中,控件独立于头戴式显示设备11,例如为前挡风玻璃的至少局部区域。
综上,由于控件的至少部分区域提供所述目标物体的关联信息,增加了车载控件设备的功能,使得车载控件设备的功能不单一。
其中,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。
为了更加形象的说明图1所示的信息提供***,如图2所示,为本申请实施例提供的与图1对应的信息提供***的一种具体示例图。
图2中第一摄像头12和处理装置13在车辆中的安装位置仅为示意,本申请实施例并不对第一摄像头12和处理装置13在车辆中的安装位置进行限制。
图2中第一摄像头12位于车顶,本申请实施例并不对第一摄像头12在车辆中的位置进行限定,例如,第一摄像头12还可以位于左侧车门的车灯,和/或,右侧车门的车灯,和/或,后备箱外壳任意位置等等。
在一可选实施例中,处理装置13可以位于图2所示的位置,即在前挡风玻璃下方;本申请实施例对此并不进行限定,处理装置13可以位于车辆中其他任意位置。
从图2中可以看出用户可以携带头戴式显示设备11。第一摄像头12与头戴式显示设备11可以分别与处理装置13进行交互,从而实现了用户通过显示区域可以看到用户在关注的目标物体的关联信息。
如图3所示,为本申请实施例提供的信息提供***的另一种实现方式的结构图,该信息提供***包括:
第一摄像头12、眼控追踪装置31、处理装置32以及显示区域(未在图中示出),其中:
第一摄像头12的功能与图1所示的第一摄像头12的功能相同,这里不在进行说明。
眼控追踪装置31,用于获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息。
在一可选实施例中,眼控追踪装置13包括至少一个第二摄像头,所述至少一个第二摄像头用于获取用户第一注视信息。
在一可选实施例中,眼控追踪装置可以包括至少一个红外光源,所述至少一个红外光源用于将红外光线投射至所述用户的至少眼部区域。相应的,至少一个第二摄像头用于在红外光线投射至所述用户的至少眼部区域下,获取所述用户眼部图像,以得到用户第一注视信息。
可以利用人眼在红外光作用下的特点提高获取用户眼部图像的准确度。因为用户的瞳孔在红外光的照射下,发射的光线比较多。
在一可选实施例中,所述至少一个第二摄像头包括一个或多个3D摄像头,和/或,一个或多个2D摄像头。
可选的,3D摄像头可以获取表征用户的眼睛与眼控追踪装置31之间的相对位置的用户眼部图像。
在一可选实施例中,显示区域可以为前挡风玻璃的至少局部区域。
处理装置32用于基于预设规则将所述用户第一注视信息转换成用户第二注视信息,基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;控制控件的至少部分区域提供所述目标物体的关联信息。
其中,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。
综上,由于控件可以提供用户当前关注的目标物体的关联信息,增加了车载控件设备的功能,使得车载控件设备的功能不单一。
为了更加形象的说明图3所示的信息提供***,如图4所示,为本申请实施例提供的与图3对应的信息提供***的具体示例图。
图3中眼控追踪装置31和处理装置32在车辆中的安装位置仅为示意,本申请实施例并不对眼控追踪装置31和处理装置32在车辆中的安装位置进行限制。
图3中示出的眼控追踪装置31与处理装置32为相互独立的装置,可选的,眼控追踪装置31和处理装置32可以集成在一起作为一个装置。
在一可选实施例中,控件为前挡风玻璃的至少局部区域,图3中处理装置32可以在前挡风玻璃上投影的目标物体的关联信息;或者,控件为显示器,即前挡风玻璃至少包含显示器,该控件提供的信息对应的光线的反射光线可以投射至用户的眼睛,例如,图3中所示虚线为光线投影至前挡风玻璃的路径以及光线的反射光线传输至用户眼睛的路径,使得用户可以看到目标物体的关联信息。
在一可选实施例中,图1和图3所示信息提供***中的控件可以为车载多媒体播放控件,控件可以播放目标物体相关联的立体景观或相关介绍;或者,如果用户在驾驶时不便于观看可以控制车载多媒体播放控件播放目标物体相关联的有节奏、旋律或和声的人声提示信息。在一可选实施例中,图1和图3所示的信息提供***中的控件可以为显示屏,控件可以显示目标物体的关联信息。
结合图1至图4,下面对本申请实施例提供的信息提供方法进行说明,如图5所示,为本申请实施例提供的信息提供方法的一种实现方式的流程图,该方法包括:
步骤S501:获取驾驶环境图像。
可选的,可以利用图1或图3中的第一摄像头12采集驾驶环境图像。
在一可选实施例中,驾驶环境图像可以为全景图像;在另一可选实施例中驾驶环境图像不是全景图像。
在一可选实施例中,驾驶环境图像仅包括用户视力范围内的图像;在另一可选实施例中,驾驶环境图像包括用户视力范围内的图像以及用户不能观测到的图像。用户不能观测到的图像例如可以为用户后脑勺方向的图像。
步骤S502:获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息。
可选的,此处不限定检测用户的第一注视信息的具体手段。如,可以通过电容、肌电、微机电***(Micro-Electro-Mechanical System,MEMS)、视线追踪装置(如眼动仪)或图像确定第一注视信息。此处的图像是指,通过图像采集设备获取的用户图像,用户图像可以理解为包含用户眼睛的图像。图像采集设备可以获取用户脸部图像、全身图像或眼部图像作为用户图像。
可选的,可以利用图1中头戴式显示设备11或图3中眼控追踪装置31获取包含用户眼部图像的用户图像。
步骤S501与步骤S502可以同时执行,或,步骤S501先于步骤S502执行,或,步骤S502限于步骤S501执行。
在一可选实施例中,步骤S502之前可以包括:步骤一,获取用户眼部图像;步骤二,根据所述用户眼部图像,获取用户眼部特征信息;步骤三,根据所述用户眼部特征信息确定在第一坐标系下所述用户第一注视信息。根据所述用户眼部图像确定眼部特征信息,所述眼部特征信息包括:瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等的一种或几种。所述用户第一注视信息可以包括:注视矢量、注视点坐标以及注视深度的一种或几种。
可选的,注视矢量包括:用户视线方向参数以及用户的瞳孔坐标;可选的,用户的瞳孔坐标包括用户两个瞳孔的中心点坐标以及用户两个瞳孔的坐标中一种或多种。
可选的,注视点坐标包括:用户注视驾驶环境的注视位置区域的坐标。
可选的,注视点坐标包括一个或多个点的坐标,多个点可以组成一个区域。
可选的,注视点深度包括:用户视线方向参数,以及,用户视线深度。
可选的,若驾驶环境图像为三维立体图像,用户视线深度是指从用户的眼睛到用户注视驾驶环境图像中相应位置的长度。
下面对用户视线方向参数获取方法进行说明,本申请实施例提供但不限于以下几种方法。
第一种方法,可以利用眼球追踪方法获得用户视线方向参数,具体方法包括:对至少一个第二摄像头采集到的用户眼部图像做图像分析,计算用户双眼瞳孔中心点坐标。然后使用视线估计算法根据双眼瞳孔中心点坐标计算用户视线方向参数。
第二种方法,信息提供***可以包括近红外传感器NIR Sensor,可选的,近红外传感器NIR Sensor可以位于头戴式显示设备11;可选的,近红外传感器NIR Sensor与头戴式显示设备11相互独立。
近红外传感器NIR Sensor发出的红外光会照亮用户的眼睛,此时,眼睛的虹膜会对红外光产生光线的反射,通过近红外传感器检测反射的光线,即可确定用户眼球的视线方向参数。
步骤S503:基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息。
在一可选的实施例中,基于预设规则将第一坐标系下的所述用户第一注视信息转换成位于第二坐标系下的所述用户第二注视信息,步骤可以包括:
基于预设转换规则将位于所述第一坐标系下的所述第一注视信息,转换成位于第二坐标系下的第二注视信息;基于位于所述第二坐标系下的第二注视信息,得到所述用户注视所述驾驶环境图像中的位置区域。
将第一坐标系下的第一注视信息,转换成位于第二坐标系下的第二注视信息的实现方式有多种,本申请实施例提供但不限于以下几种方式。
第一种:确定第一坐标系下的第一注视信息;确定第二坐标系下驾驶环境图像包含的物体分别对应的坐标;基于第一坐标系中第一物体与第二坐标系中第二物体之间的预设固定相对位置,将在第一坐标系下的第一注视信息转换成第二坐标系下的第二注视信息。
上述预设转换规则包括:基于第一物体与第二物体之间的预设固定相对位置,以及,第一坐标系下第一物体的坐标以及第二坐标系下第一物体的坐标之间的关系。
可选的,第一坐标系可以为第一物体所在位置为坐标原点建立的坐标系。第二坐标系可以第二物体所在位置为坐标原点建立的坐标系。
可选的,第一物体为眼控追踪装置,第二物体为第一摄像头。
第二种:确定第一坐标系下的第一注视信息。确定在第三坐标系下的驾驶环境图像包含的物体分别对应的坐标位置。基于第一物体在第一坐标系的预设固定位置、第二物体在第三坐标系的预设固定位置,以及第一物体与第二物体分别在第二坐标系中的预设固定位置,确定在第二坐标系下的驾驶环境图像包含的物体的坐标位置,以及,在第二坐标系下的第二注视信息。
可选的,第二坐标系为与第一坐标系和第三坐标系不同的坐标系。可选的,第二坐标系为GPS坐标系。
其中,GPS坐标系是真实世界的坐标系,是用于确定地物在地球上位置的坐标系。
可选的,在上述两种实现方式中,第一物体在第一坐标系中的位置是固定不变的,第二物体在第三坐标系中的位置是固定不变的;或者,第二物体在第三坐标系中的位置是固定不变的,第一物体在第一坐标系中的位置在预设范围内变化。
可选的,在图3或图4所示的应用场景中,第三坐标系是以相对于车辆位置固定不变的一点或多点(例如第一摄像头12)建立的坐标系。第一坐标系可以是相对于车辆位置固定不变的一点(例如,眼控追踪装置)建立的坐标系。
从图3或图4可以看出第一摄像头12和眼控追踪装置31安装好后,位置是固定不变的,若第二物体为第一摄像头12,第一物体为眼控追踪装置31,那么,第一物体与第二物体之间的相对位置是固定的,所以上述称为预设固定位置。
若第一物体在第一坐标系中的位置是在预设范围内变化的,也不会对后续从驾驶环境图像中确定目标物体产生影响,下面进行说明。
可选的,在图1或图2所示的应用场景中,第三坐标系是以相对于车辆位置固定不变的一点(例如,第一摄像头12)为原点建立的坐标系。第一坐标系可以是相对于车辆位置在预设范围内变化的一点(例如,眼控追踪装置31)为原点建立的坐标系。
可以理解的是,用户在携带图2所示的头戴式显示设备的过程中,用户的头部会运动,例如,向坐看或向右看或向前看或向后看或向下看等等,在用户的头部移动的过程中,头戴式显示设备也会产生相应的移动(若眼控追踪装置31位于头戴式显示设备内),使得头戴式显示设备上的眼控追踪装置31也会随头戴式显示设备的移动而移动,即上述第一物体在第一坐标系中的位置是在预设范围。
可以理解的是,用户在开车过程中为了保证安全性头部的运动范围并不大;也就是图1或图2所示的头戴式显示设备中眼控追踪装置31在预设范围内移动,并不会使得用户关注的驾驶环境图像的位置区域发生改变。为了本领域技术人员更加理解下面举一具体例子进行说明。
如图6所示,为本申请实施例提供的一种坐标系转换示意图。
图6包括:第三坐标系61、第一坐标系62以及转换坐标系63;可选的,需要得到在转换坐标系63下的驾驶环境图像包含的物体分别对应的位置坐标,以及,在转换坐标系63下的注视信息。
可选的,转换坐标系63可以为第一坐标系或第二坐标系或第三坐标系。
假设驾驶环境图像包括:物体1、物体2以及物体3,驾驶环境图像包含的三个物体在第三坐标系中的坐标如图6所示。
可选的,第三坐标系61的原点O可以为第一摄像头12所在位置;若第一摄像头12包括多个摄像头,第三坐标系的原点O可以为任一摄像头所在位置。
第一坐标系62中用点划线表示第一注信息(假设眼睛特征信息包括注视矢量和/或注视点深度)。
仍以图6为例,假设,第三坐标系61的原点位置为第一摄像头12所在位置,第一坐标系62的原点位置为眼控追踪装置31所在位置,第一物体为第一摄像头12,第二物体为眼控追踪装置31,那么图6中第三坐标系61和第一坐标系62原点之间的虚线表示第一摄像头12与眼控追踪装置31之间的预设固定相对位置。
由于预设固定相对位置是固定不变的,所以在转换坐标系中转换后的坐标都很准确。
以图1或图2所示场景为例,假设转换坐标系63中双点划线箭头表征真实的注视信息,单点划线箭头表征基于眼控追踪装置31与第一摄像头12之间小范围变化的预设固定位置得到的注视信息,从图6中可以看到:双点划线箭头以及单点划线箭头都指向同一物体,如图6所示的物体2。
综上,无论是上述两种方式的哪一种,都是将第一坐标系中驾驶环境图像包含的物体的坐标位置与第三坐标系中注视信息的坐标位置进行转换,以得在同一坐标系下的驾驶环境图像包含的物体的坐标位置与注视信息。
S504:基于所述用户第二注视信息确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体。
目标物体可以包括一个或多个物体。
可选的,驾驶环境图像中的物体可以包括:人,和/或,动物,和/或,住宅,和/或,商场,和/或,报刊亭,和/或,车辆,和/或,树木,和/或,道路,和/或,道路指示牌,和/或,道路限速标识,和/或,道路违章拍摄装置等等。
可选的,可以利用图1或图3所示的处理装置基于用户第二注视信息确定目标物体。可选的,图1或图3所示的处理装置还可以对驾驶环境图像包含的物体进行检测和识别。可选的,图1或图3所示的处理装置可以利用物体识别模型对驾驶环境图像包含的物体进行检测和识别。
可选的,物体识别模型是利用神经网络训练得到的。物体识别模型的输入为待测图像(例如,驾驶环境图像),输出可以包括下列任一种:待测图像不包括任何物体,或,待测图像包含的物体所属类别,或,待测图像包含的物体所属类别以及包含的物体在待测图像中的位置区域。
待测图像可以包括多种类别的物体,此时物体识别模型可以输出待测图像包含的各物体所属类别。
一个物体所属类别可以为:人,或,动物,或,住宅,或,商场,或,报刊亭,或,车辆,或,树木,或,道路,或,道路指示牌,或,道路限速标识,或,道路违章拍摄装置等等。
在一可选实施例中,基于所述用户第二注视信息确定目标物体包括:
基于所述用户第二注视信息,获取所述用户注视所述驾驶环境图像中的位置区域;获取所述驾驶环境图像中所述位置区域包含的所述目标物体。
步骤S502提及第一注视信息可以包括:注视矢量、注视点坐标以及注视深度的一种或几种。
在一可选实施例中,第一注视信息表示注视矢量,将第一坐标系下的注视矢量转换成第二坐标系下的注视矢量,在第二坐标系下,可以基于注视矢量,获取以瞳孔坐标为起始位置,沿着用户视线方向参数表征的视线方向作一条直线,该直线与驾驶环境图像的交点,该交点对应用户关注驾驶环境图像中的位置区域。该位置区域包括该交点。
在一可选实施例中,若第一注视信息表示注视点坐标,将第一坐标系下的注视点坐标转换成第二坐标系下的注视点坐标,在第二坐标系下,可以基于注视点坐标,得到用户关注驾驶环境图像中的位置区域。可选的,该位置区域包括注视点坐标。
在一可选实施例中,若第一注视信息表示注视点深度,将第一坐标系下的注视点深度转换成第二坐标系下的注视点深度,在第二坐标系下,若驾驶环境图像为三维立体图像,那么驾驶环境图像与表征用户视线方向的直线相交的点有一个或多个,例如,A栋楼后面还有B栋楼,那么仅仅基于用户视线方向,可以确定用户注视的是A栋楼所在方向,但是并不能确定用户注视的是A栋楼还是B栋楼。
可选的,可以用具有方向的向量表示注视点深度,若该向量与驾驶环境图像的交点在A栋楼的位置,那么用户在注视A栋楼,若该向量与驾驶环境图像的交点在B栋楼的位置,那么用户在注视B栋楼。
在一可选实施例中,可以基于注视矢量、注视点坐标以及注视点深度中的一种或几种,确定所述用户注视所述驾驶环境图像中的位置区域。
步骤S505:控制控件的至少部分区域提供所述目标物体的关联信息,其中,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。
在一可选实施例中,所述部分区域包括用户位于驾驶环境内的第四区域,所述第四区域能播放所述目标物体的对应的描述数据和/或多媒体数据。
可选的,控件为车载多媒体播放控件,可以在车载多媒体播放控件加载在预存的数据库中该目标物体的关联信息,关联信息可以为目标物体的描述数据和/或多媒体数据。
可选的,在车载多媒体播放控件中播放目标物体相关联的立体景观或相关介绍;可选的,如果用户在驾驶时不便于观看可以控制车载多媒体播放控件播放目标物体相关联的有节奏、旋律或和声的人声提示信息。
在一可选实施例中,控件为显示屏,控件可以显示目标物体的关联信息。
该关联信息是驾驶环境中不存在的信息,即不是真实环境中的信息,而是虚拟信息,即本申请实施例利用了增强现实技术。
该关联信息是用于对目标物体进行说明的信息,例如,若目标物体为商店,则关联信息可以为商店正在特价的物品,或,商店包含的商品种类;若,目标物体为报刊亭,则关联信息可以为报刊亭包含的报刊种类;若目标物体为正在行驶的汽车,则关联信息可以为该汽车相对于本车辆的相对运动趋势信息;若目标物体为道路违章拍摄装置,则关联信息可以为道路违章拍摄装置与本车辆的距离,以及道路违章拍摄装置拍摄违章的类型。
可选的,相对运动趋势信息包括相对运动速度,和/或,是否会发生相撞的信息,和/或,相对位置信息;以使得驾驶员做出判断,从而避免交通事故的发生。
如图6所示,假设物体2为加油站,则显示区域的至少部分区域可以提供“中国石化加油站;92#7.8元/L;周五优惠价格7元/L;当前车辆剩余油量20L;基于以往经验可以坚持到周五再加油”等关联信息。
可选的,本申请实施例提及的显示区域可以为图1或图2所示的头戴式显示设备中的显示区域;或,显示区域可以为图4所示的前挡风玻璃的局部区域或全部区域。
综上,本申请实施例提供的信息提供方法中,获取驾驶环境图像;获取用于用户第一注视信息;基于预设规则将所述用户第一注视信息转换成用户第二注视信息;基于用户第二注视信息确定目标物体,目标物体为用户关注所述驾驶环境图像中对应位置的物体;控制控件的至少部分区域提供目标物体的关联信息,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息。利用本申请实施例提供的信息提供方法可以使得用户在控件的至少部分区域获取到自己关注的物体的关联信息,增加了车载控件设备的功能,使得车载控件设备的功能不单一。
综上,由于控件的至少局部区域可以提供用户当前关注的目标物体的关联信息,用户可以获得该关联信息,从而做出相应的决定,例如,若用户想要买财经报刊,若看到一个报刊亭,但是报刊亭对应的关联信息表明报刊亭仅销售漫画类报刊,则用户不需要停车,若没有关联信息,则用户还需要停车下去询问,本申请避免了停车和询问的消耗时间;若用户想要向左变道,用户通过后视镜看到左后方的车辆,但是该车辆的关联信息表明该车辆正在处于加速状态且与自身车辆的相对距离较小,则用户可以放弃变更车道,避免了交通事故的发生。
可以理解的是,用户在驾驶车辆的过程中,随着车辆的移动,车辆所在位置的驾驶环境是不断发生变化的,车辆在移动过程中,不同时刻周边驾驶环境不同。可选的,驾驶环境图像包括多帧驾驶环境子图像。可选的,多帧驾驶环境子图像为多帧连续的驾驶环境子图像或多帧不连续的驾驶环境子图像。
如图7所示,为本申请实施例提供的信息提供方法的一种实现方式的流程图,该方法包括:
步骤S701:获取至少两帧驾驶环境子图像。
步骤S501提及的驾驶环境图像包括一帧或多帧驾驶环境子图像。多帧连驾驶环境子图像中,相邻驾驶环境子图像可能包含相同的物体,但是同一物体在不同驾驶环境子图像中的位置和/或占据范围不同。
可选的,如图8a至8d所示,为本申请实施例提供的车辆在移动过程中驾驶环境变化的一种应用场景的示意图。
图8a至图8d示出四个不同时刻分别对应的驾驶环境子图像。假设车辆81为安装有本申请实施例提供的信息提供***的车辆,图8a至图8d所示一群奔跑的小孩、静止站立的大人、行驶的车辆、加油站以及道路为车辆81的驾驶环境子图像包含的物体。从图8a至图8d可以看出,在车辆不断的行驶过程中,车辆的驾驶环境发生变化。
驾驶环境发生变化包括但不限于以下几种变化:驾驶环境包含的同一物体与车辆81的相对位置发生变化(例如,图8a至图8d中一群小孩与车辆81的相对位置发生变化),和/或,相对速度发生变化等等。
在车辆移动过程中驾驶环境发生变化,不同驾驶环境子图像不同。
驾驶环境子图像不同包括但不限于以下几种不同:包含的同一物体在不同的驾驶环境子图像中的位置不同(例如,图8a至图8d中一群小孩的位置不同),和/或,包含的同一物体在不同的驾驶环境子图像中占据的范围不同(例如,图8a至图8d中汽车占据的范围不同),和/或,不同的驾驶环境子图像包含不同的物体。
步骤S702:针对每一时刻的驾驶环境子图像,获取用户第一注视信息;基于预设规则将所述用户第一注视信息转换成用户第二注视信息;基于所述用户第二注视信息确定该驾驶环境子图像中用户关注的物体。
步骤S703:将所述多帧驾驶环境子图像分别对应的物体中至少部分相同物体,确定为所述目标物体。
步骤S704:控制显示区域的至少部分区域显示所述目标物体的关联信息。
下面对本申请实施例提及的关联信息的获取方法进行说明,该关联信息的获取方法可以应用于上述任一信息提供方法实施例。
本申请实施例提供但不限于以下几种关联信息获取方法。
第一种:针对驾驶环境包含的目标物体相对于地面而言是位置固定的物体,即位置不能相对于地面发生变化的物体,例如,超市或加油站或报刊亭或道路等等均为相对于地面而言位置不能发生变化的物体,例如,静止的汽车或静止的行人是位置能够相对于地面发生变化的物体,只是当前未发生变化而已。
步骤一:获取所述目标物体的目标属性标识。
可选的,获取所述目标物体的目标属性标识包括:
识别所述目标物体所属类型;基于车辆当前所在位置、所述目标物体与所述车辆的相对位置以及所述目标物体所属类型,确定所述目标物体的目标属性标识。
目标物体所属类型可以为:住宅,或,商场,或,报刊亭,或,树木,或,道路,或,道路指示牌,或,道路限速标识,或,道路违章拍摄装置,或,桥等等。
可选的,所述车辆当前所在的位置可以为车辆的GPS坐标,可选的,可以利用车辆的GPS(全球定位***,Global Positioning System)装置获得车辆当前所在位置。
可选的,“基于所述车辆当前所在位置、所述目标物体与所述车辆的相对位置以及所述目标物体所属类型,确定所述目标物体的目标属性标识”包括:基于车辆的GPS坐标、目标物体与车辆的相对位置,得到目标物体的GPS坐标;基于目标物体的GPS坐标以及所属类型,确定所述目标物体的目标属性标识。
可选的,可以预先设置物体的GPS坐标以及所属类型—属性标识—关联信息的对应关系。
可以理解的是,可选的,车辆的驾驶环境图像包含的不同类型的物体的距离可能较近,仅基于GPS坐标确定物体的属性标识,可能会产生错误操作,基于物体的GPS坐标以及物体所属类别可以降低错误概率;可以理解的是,车辆的驾驶环境图像可能包含属于同一类型的不同物体,属于同一类型的不同物体一般GPS坐标不同,若仅基于物体所属类型确定物体的属性标识,可能会产生错误操作,基于物体的GPS坐标以及物体所述类型可以降低错误概率。
可选的,本申请实施例提及的“获取所述目标物体的目标属性标识”可以包括:基于车辆当前所在位置、所述目标物体与所述车辆的相对位置,确定所述目标物体的目标属性标识;或,基于所述目标物体所属类型,确定所述目标物体的目标属性标识。
步骤二:从预先存储的各属性标识分别对应的关联信息中,获取所述目标属性标识对应的关联信息。
可以理解的是,不同物体对应的属性标识不同,不同物体对应的关联信息不同。关联信息可以是人为预先设置的,和/或,自动更新的。
第二种:针对驾驶环境包含的目标物体相对于地面而言位置能够移动的物体,例如,车辆或行人或动物等等。所述驾驶环境图像包括多帧驾驶环境子图像。
步骤一:基于所述至少两帧驾驶环境子图像,确定所述目标物体相对于所述车辆的相对运动趋势信息。
将所述相对运动趋势信息作为该目标物体的关联信息。
其中,所述至少两帧驾驶环境子图像均包括所述目标物体。
若目标物体是相对于地面位置能够移动的物体,将相对运动趋势作为关联信息,可选的,可以提示用户发生交通事故的可能性,使得用户可以及时作出反应,降低交通事故。
第三种:针对驾驶环境包含的目标物体相对于地面而言位置不能够移动的物体,所述驾驶环境图像包括多帧驾驶环境子图像。
步骤一:基于所述至少两帧驾驶环境子图像,确定所述目标物体相对于所述车辆的相对运动趋势信息。
将所述相对运动趋势信息作为该目标物体的关联信息。
其中,所述至少两帧驾驶环境子图像均包括所述目标物体。
若目标物体是相对于地面位置不能够移动的物体,将相对运动趋势作为关联信息,可选的,可以提示用户撞击目标物体的可能性,使得用户可以及时作出反应,降低交通事故。
上述任一信息提供方法实施例中,控件的至少部分区域提供所述目标物体的关联信息和/或提供目标物体。
在一可选实施例中,控件为车辆中固定位置的显示区域,例如前挡风玻璃,显示区域的至少部分区域显示目标物体的关联信息和/或显示目标物体,包括以下情况,本申请实施例提供但不限于以下场景。
第一种:所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛。
可选的,第一区域可以不显示目标物体,而显示目标物体的关联信息;或者,可选的,第一区域显示目标物体以及目标物体的关联信息。
若显示区域不显示目标物体,仅显示目标物体的关联信息,可选的,为了不使用户感到违和感,显示区域的显示内容的透明度为预设值,至少使得目标物体的光线能够透过所述显示区域的至少部分区域投射至用户的眼睛。
可选的,预设值可以为大于0小于1的任一数值。即显示区域具有一定的透明度。
在一可选实施例中,显示区域可以为车辆的前挡风玻璃的至少局部区域。
综上,尽管显示区域并不显示目标物体,但是真实驾驶环境中的目标物体的光线仍可以透过显示区域投射至用户的眼睛,使得用户看到目标物体。
第二种:所述部分区域包括驾驶时面向所述用户眼部的第二区域,所述第二区域显示所述目标物体。
可选的,第二区域可以不显示关联信息,而显示目标物体;或,可选的,第二区域可以显示关联信息以及目标物体。
若第二区域不显示关联信息,可选的,可以在部分区域的其他区域显示关联信息。
第三种:所述部分区域包括:驾驶时面向所述用户眼部的第一区域以及驾驶时面向所述用户眼部的第二区域。
可选的,第一区域可以为第二区域的局部区域,或,第二区域可以为第一区域的局部区域,或,第一区域与第二区域相互独立。
可选的,若第一区域与第二区域相互独立,为了不让用户产生为违和感,第一区域与第二区域相邻。或,第一区域与第二区域不相邻,可以利用“指示标识符”指示出目标物体与其对应的关联信息之间的关系,如图6所示的指示标识符(用箭头表示的指示标识符)。
可选的,指示标识符的表现形式有多种,并不限定图6所示的箭头,例如还可以为气泡图标。
可以理解的是,若用户不期望看到目标物体,而期望看到目标物体的关联信息,若第一区域与第二区域相互独立,那么用户看向第一区域即可;若用户不期望看到关联信息,而期望看到目标物体,若第一区域与第二区域相互独立,那么用户看向第二区域即可。若用户既期望看到目标物体又期望看到关联信息,那么可以分别依次看或同时看第一区域和第二区域。
可以理解的是,若显示区域为前挡风玻璃的至少局部区域,由于用户还需要通过前挡风玻璃查看前方的路况信息,若前挡风玻璃的局部区域或全部区域为显示区域,为了避免在显示区域显示目标物体的关联信息时遮挡用户通过前挡风玻璃查看路况信息的视线,可选的,显示区域显示内容的透明度为预设值,使得驾驶环境的光线能够透过显示区域投射至用户的眼睛。
预设值可以为大于0小于1的任一数值。
可以理解的是,若显示区域为前挡风玻璃的至少局部区域,若眼控追踪装置位于前挡风玻璃下方,在用户的眼睛朝向车尾方向,或车左后方,或车右后方时,眼控追踪装置不能采集到用户眼部图像,从而不能确定用户关注的目标物体,此时,前挡风玻璃可以不显示任何图像。
若眼控追踪装置位于前挡风玻璃下方,以及,后挡风玻璃下方(或车左后方,和/或,车右后方),在用户朝向车尾时,眼控追踪装置也可以采集到用户眼部图像,从而能确定用户关注的目标物体,此时,前挡风玻璃可以显示相应的目标物体的关联信息,此时车辆上的乘客可以查看关联信息。
可选的,显示区域可以为全透明光栅。
在一可选实施例中,控件为位置不固定的显示区域,例如显示区域属于头戴式显示设备,如头戴式眼镜。显示区域的至少部分区域显示目标物体的关联信息和/或显示目标物体,包括以下情况,本申请实施例提供但不限于以下场景。
第一种:所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛。
可选的,第一区域可以不显示目标物体,而显示目标物体的关联信息;或者,可选的,第一区域显示目标物体以及目标物体的关联信息。
可选的,第一区域可以随用户头部的活动而移动。
若显示区域不显示目标物体,仅显示目标物体的关联信息,可选的,为了不使用户感到违和感,显示区域的显示内容的透明度为预设值,至少使得目标物体的光线能够透过所述显示区域的至少部分区域投射至用户的眼睛。
可选的,预设值可以为大于0小于1的任一数值。即显示区域具有一定的透明度。
综上,尽管显示区域并不显示目标物体,但是真实驾驶环境中的目标物体的光线仍可以透过显示区域投射至用户的眼睛,使得用户看到目标物体。
第二种:所述部分区域包括能跟随所述用户头部活动的第三区域,所述第三区域显示所述目标物体。
可选的,第三区域可以不显示关联信息,而显示目标物体;或,可选的,第三区域可以显示关联信息以及目标物体。
若第三区域不显示关联信息,可选的,可以在部分区域的其他区域显示关联信息。
第三种:所述部分区域包括驾驶时面向所述用户眼部的第一区域以及能跟随所述用户头部活动的第三区域。
可选的,第一区域为第三区域的子区域,或,第三区域为第一区域的子区域,或,第一区域与第三区域相互独立。
可选的,若第一区域与第三区域相互独立,为了不让用户产生为违和感,第一区域与第三区域相邻。或,第一区域与第三区域不相邻,可以利用“指示标识符”指示出目标物体与其对应的关联信息之间的关系,如图6所示的指示标识符(用箭头表示的指示标识符)。
可选的,指示标识符的表现形式有多种,并不限定图6所示的箭头,例如还可以为气泡图标。
可以理解的是,若用户不期望看到目标物体,而期望看到目标物体的关联信息,若第一区域与第三区域相互独立,那么用户看向第一区域即可;若用户不期望看到关联信息,而期望看到目标物体,若第一区域与第三区域相互独立,那么用户看向第三区域即可。若用户既期望看到目标物体又期望看到关联信息,那么可以分别依次看或同时看第一区域和第三区域。
可以理解的是,若显示区域为头戴式显示设备的显示区域中至少局部区域,由于用户还需要通过头戴式显示设备的显示区域观察前方的路况信息,可选的,可以将驾驶环境图像包含的至少车辆前方的路况信息传输至头戴式显示设备,使得用户可以通过头戴式显示设备的显示区域观察前方的路况信息。或者,可选的,头戴式显示设备的显示区域显示的内容的透明度为预设值,使得驾驶环境的光线能够透过头戴式显示设备的显示区域投射至用户的眼睛。可选的,头戴式显示设备的显示区域可以为全透明光栅。
预设值可以为大于0小于1的任一数值。
可以理解的是,若显示区域属于头戴式显示设备的显示区域中至少部分区域,若眼控追踪装置不属于头戴式显示设备,且位于前挡风玻璃下方,在用户的眼睛朝向车尾方向,或车左后方,或车右后方时,眼控追踪装置不能采集到用户眼部图像,从而不能确定用户关注的目标物体,此时,头戴式显示设备的显示区域可以不显示任何图像。
若眼控追踪装置位于前挡风玻璃下方,以及,后挡风玻璃下方(或车左后方,和/或,车右后方),在用户朝向车尾时,眼控追踪装置也可以采集到用户眼部图像,从而能确定用户关注的目标物体,此时,头戴式显示设备的显示区域可以显示相应的目标物体的关联信息。
若眼球追踪装置属于头戴式显示设备,那么眼球追踪装置可以跟随用户的头部活动,能够实时采集到用户眼部图像,从而能够确定用户关注的目标物体,所以头戴式显示设备的显示区域可以实时显示目标物体的关联信息。
上述本发明公开的实施例中详细描述了方法,对于本发明的方法可采用多种形式的装置实现,因此本发明还公开了一种装置,下面给出具体的实施例进行详细说明。
如图9所示,为本申请实施例提供的信息显示装置的一种实现方式的结构图,该信息显示装置包括:
第一获取模块91,用于获取驾驶环境图像;
第二获取模块92,用于获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息;
转换模块93,基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
确定模块94,用于基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;
控制模块95,用于控制显示区域的至少部分区域显示所述目标物体的关联信息。
在一可选实施例中,所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛;
和/或,
所述部分区域包括驾驶时面向所述用户眼部的第二区域,所述第二区域显示所述目标物体。
在一可选实施例中,包括:
所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛;
和/或,
所述部分区域包括能跟随所述用户头部活动的第三区域,所述第三区域显示所述目标物体。
在一可选实施例中,确定模块94包括:
第一确定单元,用于根据所述用户眼部图像确定眼部特征信息,所述眼部特征信息用于确定所述用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息,所述注视信息包括注视矢量、注视点坐标以及注视点深度中的一种或几种;
第一转换单元,用于将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
第一获取单元,用于基于所述第二注视信息,获取所述用户注视所述驾驶环境图像中的位置区域;
第二获取单元,用于获取所述驾驶环境图像中所述位置区域包含的所述目标物体。
在一可选实施例中,所述驾驶环境图像包括至少两帧驾驶环境子图像;
所述目标物体为所述至少两帧驾驶环境子图像分别对应的位置区域包含的相同的至少部分物体;
其中,一帧驾驶环境子图像中的位置区域为获取该驾驶环境子图像时,所述用户注视该驾驶环境子图像的位置区域。
在一可选实施例中,所述目标物体为位置相对于地面不能产生移动的物体,控制模块95包括:
第三获取单元,用于获取所述目标物体的目标属性标识;
第四获取单元,用于从预先存储的各属性标识分别对应的关联信息中,获取所述目标属性标识对应的关联信息;
第一加载单元,用于在所述显示区域的至少部分区域至少加载所述目标属性标识对应的关联信息。
在一可选实施例中,第三获取单元包括:
识别子单元,用于识别所述目标物体所属类型;
确定子单元,用于基于车辆当前所在位置、所述目标物体与所述车辆的相对位置以及所述目标物体所属类型,确定所述目标物体的目标属性标识。
在一可选实施例中,所述驾驶环境图像包括至少两帧驾驶环境子图像,控制模块包括:
第二确定单元,用于基于所述至少两帧周边驾驶环境子图像,确定所述目标物体相对于所述车辆的相对运动趋势信息;
第二加载单元,用于在所述显示区域的至少部分区域至少加载所述相对运动趋势信息。
本申请实施例还提供了一种信息提供***,该信息提供***包括:摄像头,用于采集包含车辆的周边驾驶环境的驾驶环境图像;
第一摄像头,用于获取驾驶环境图像;
眼控追踪装置,用于获取用户第一注视信息;
显示器;
处理装置,用于:
基于预设规则将所述用户第一注视信息转换成用户第二注视信息,基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体,控制所述显示器的至少部分区域显示所述目标物体的关联信息。
上述信息提供***中所述眼控追踪装置能够跟随所述用户头部活动;或,所述眼控追踪装置不能够跟随所述用户头部活动;或,所述显示器能够跟随所述用户头部活动;或,所述显示器不能够跟随所述用户头部活动。
其中,显示器可以集成于图1或图2中头戴式显示设备;或者,显示器可以集成于图3或图4中的处理装置。
本申请实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一所述的信息提供方法包含的各个步骤。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置或***类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种信息提供方法,其特征在于,包括:
获取驾驶环境图像;所述驾驶环境图像为采集到的车辆周边驾驶环境的图像;
获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息;
基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
基于所述用户第二注视信息确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;
控制控件的至少部分区域提供所述目标物体的关联信息,其中,提供所述目标物体的关联信息包括播放或显示所述目标物体的关联信息;
所述基于所述用户第二注视信息确定目标物体,包括:
若所述第一注视信息表示注视矢量,将第一坐标系下的注视矢量转换成第二坐标系下的注视矢量,在第二坐标系下,基于注视矢量,获取以瞳孔坐标为起始位置,沿着用户视线方向参数表征的视线方向作一条直线,该直线与驾驶环境图像的交点对应用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点坐标,将第一坐标系下的注视点坐标转换成第二坐标系下的注视点坐标,在第二坐标系下,基于注视点坐标,得到用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点深度,将第一坐标系下的注视点深度转换成第二坐标系下的注视点深度,在第二坐标系下,若驾驶环境图像为三维立体图像,该驾驶环境图像与表征用户视线方向的直线相交的点对应用户关注驾驶环境图像中的位置。
2.根据权利要求1所述信息提供方法,其特征在于,包括:
所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛;
和/或,
所述部分区域包括驾驶时面向所述用户眼部的第二区域,所述第二区域显示所述目标物体。
3.根据权利要求1所述信息提供方法,其特征在于,包括:
所述部分区域包括驾驶时面向所述用户眼部的第一区域,所述第一区域显示内容的透明度为预设值,所述第一区域不显示所述目标物体,所述目标物体的光线能够透过所述第一区域投射至所述用户眼睛;
和/或,
所述部分区域包括能跟随所述用户头部活动的第三区域,所述第三区域显示所述目标物体。
4.根据权利要求1所述信息提供方法,其特征在于,所述部分区域包括用户位于驾驶环境内的第四区域,所述第四区域能播放所述目标物体的对应的描述数据和/或多媒体数据。
5.根据权利要求1所述信息提供方法,其特征在于,获取用户第一注视信息之前,还包括:
获取用户眼部图像;
根据所述用户眼部图像,确定用户眼部特征信息;
根据所述用户眼部特征信息确定在第一坐标系下所述用户第一注视信息。
6.根据权利要求1所述信息提供方法,其特征在于,基于预设规则将所述用户第一注视信息转换成用户第二注视信息,包括:
基于预设规则将第一坐标系下的所述用户第一注视信息转换成位于第二坐标系下的所述用户第二注视信息。
7.根据权利要求1所述信息提供方法,其特征在于,所述基于所述用户第二注视信息,确定目标物体包括:
基于所述用户第二注视信息,获取所述用户注视所述驾驶环境图像中的位置区域;
获取所述驾驶环境图像中所述位置区域包含的所述目标物体。
8.根据权利要求1所述信息提供方法,其特征在于,所述驾驶环境图像包括至少两帧驾驶环境子图像;
所述目标物体为所述至少两帧驾驶环境子图像分别对应的位置区域包含的相同的至少部分物体;
其中,一帧驾驶环境子图像中的位置区域为获取该驾驶环境子图像时,所述用户注视该驾驶环境子图像的位置区域。
9.根据权利要求1所述信息提供方法,其特征在于,所述目标物体为位置相对于地面不能产生移动的物体,所述控制控件的至少部分区域显示所述目标物体的关联信息包括:
获取所述目标物体的目标属性标识;
从预先存储的各属性标识分别对应的关联信息中,获取所述目标属性标识对应的关联信息;
在所述控件的至少部分区域至少加载所述目标属性标识对应的关联信息。
10.根据权利要求9所述信息提供方法,其特征在于,所述获取所述目标物体的目标属性标识包括:
识别所述目标物体所属类型;
基于车辆当前所在位置、所述目标物体与所述车辆的相对位置以及所述目标物体所属类型,确定所述目标物体的目标属性标识。
11.根据权利要求1或9或10所述信息提供方法,其特征在于,所述驾驶环境图像包括至少两帧驾驶环境子图像,所述控制控件区域的至少部分区域提供所述目标物体的关联信息包括:
基于所述至少两帧驾驶环境子图像,确定所述目标物体相对于所述车辆的相对运动趋势信息;
在所述控件的至少部分区域至少加载所述相对运动趋势信息。
12.一种信息提供装置,其特征在于,包括:
第一获取模块,用于获取驾驶环境图像;所述驾驶环境图像为采集到的车辆周边驾驶环境的图像;
第二获取模块,用于获取用户第一注视信息,所述用户第一注视信息为所述用户在第一坐标系下确定的注视信息;
转换模块,基于预设规则将所述用户第一注视信息转换成用户第二注视信息,所述第二注视信息为所述用户在第二坐标系下确定的注视信息;
确定模块,用于基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体;
控制模块,用于控制控件的至少部分区域提供所述目标物体的关联信息;
所述基于所述用户第二注视信息确定目标物体,包括:
若所述第一注视信息表示注视矢量,将第一坐标系下的注视矢量转换成第二坐标系下的注视矢量,在第二坐标系下,基于注视矢量,获取以瞳孔坐标为起始位置,沿着用户视线方向参数表征的视线方向作一条直线,该直线与驾驶环境图像的交点对应用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点坐标,将第一坐标系下的注视点坐标转换成第二坐标系下的注视点坐标,在第二坐标系下,基于注视点坐标,得到用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点深度,将第一坐标系下的注视点深度转换成第二坐标系下的注视点深度,在第二坐标系下,若驾驶环境图像为三维立体图像,该驾驶环境图像与表征用户视线方向的直线相交的点对应用户关注驾驶环境图像中的位置。
13.一种信息提供***,其特征在于,包括:
第一摄像头,用于获取驾驶环境图像;所述驾驶环境图像为采集到的车辆周边驾驶环境的图像;
眼控追踪装置,用于获取用户第一注视信息;
显示器;
处理装置,用于:
基于预设规则将所述用户第一注视信息转换成用户第二注视信息,基于所述用户第二注视信息,确定目标物体,所述目标物体为所述用户关注所述驾驶环境图像中对应位置的物体,控制控件的至少部分区域提供所述目标物体的关联信息;
所述基于所述用户第二注视信息确定目标物体,包括:
若所述第一注视信息表示注视矢量,将第一坐标系下的注视矢量转换成第二坐标系下的注视矢量,在第二坐标系下,基于注视矢量,获取以瞳孔坐标为起始位置,沿着用户视线方向参数表征的视线方向作一条直线,该直线与驾驶环境图像的交点对应用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点坐标,将第一坐标系下的注视点坐标转换成第二坐标系下的注视点坐标,在第二坐标系下,基于注视点坐标,得到用户关注驾驶环境图像中的位置;
若第一注视信息表示注视点深度,将第一坐标系下的注视点深度转换成第二坐标系下的注视点深度,在第二坐标系下,若驾驶环境图像为三维立体图像,该驾驶环境图像与表征用户视线方向的直线相交的点对应用户关注驾驶环境图像中的位置。
14.根据权利要求13所述信息提供***,其特征在于,所述眼控追踪装置还包括:
至少一个红外光源,用于将红外光线投射至所述用户的至少眼部区域;
至少一个第二摄像头,用于在红外光线投射至所述用户的至少眼部区域下,获取所述用户眼部图像。
15.根据权利要求13或14所述信息提供***,其特征在于,包括下列任一种:
所述眼控追踪装置能够跟随所述用户头部活动;
或,
所述眼控追踪装置不能够跟随所述用户头部活动;
或,
所述显示器能够跟随所述用户头部活动;
或,
所述显示器不能够跟随所述用户头部活动。
CN201811634111.2A 2018-12-29 2018-12-29 信息提供方法、装置及*** Active CN109849788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811634111.2A CN109849788B (zh) 2018-12-29 2018-12-29 信息提供方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811634111.2A CN109849788B (zh) 2018-12-29 2018-12-29 信息提供方法、装置及***

Publications (2)

Publication Number Publication Date
CN109849788A CN109849788A (zh) 2019-06-07
CN109849788B true CN109849788B (zh) 2021-07-27

Family

ID=66893301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811634111.2A Active CN109849788B (zh) 2018-12-29 2018-12-29 信息提供方法、装置及***

Country Status (1)

Country Link
CN (1) CN109849788B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
CN111263133B (zh) * 2020-02-26 2021-10-01 中国联合网络通信集团有限公司 信息处理方法及***
CN114222189A (zh) * 2020-09-04 2022-03-22 奥迪股份公司 内容定制方法、装置、计算机设备和存储介质
WO2023272453A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 视线校准方法及装置、设备、计算机可读存储介质、***、车辆
CN113692371A (zh) * 2021-06-30 2021-11-23 华为技术有限公司 一种目标位置的确定方法、确定装置及确定***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制***
JP2017161750A (ja) * 2016-03-10 2017-09-14 アルプス電気株式会社 ヘッドアップディスプレイ装置
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
CN108725323A (zh) * 2017-04-21 2018-11-02 梅克朗有限两合公司 用于车辆的摄像***、包括该摄像***的视镜替代***以及包括该***的驾驶员辅助***
CN108762492A (zh) * 2018-05-14 2018-11-06 歌尔科技有限公司 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN109089074A (zh) * 2017-06-14 2018-12-25 现代摩比斯株式会社 用于环视监控***的摄像头角度估计方法
CN109102734A (zh) * 2018-09-04 2018-12-28 北京精英智通科技股份有限公司 模拟驾驶训练***及方法
EP3630522A1 (de) * 2017-05-24 2020-04-08 Audi AG Externe darstellung von bildaufnahmen eines fahrzeuginnenraums in einer vr-brille

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
CN1858551B (zh) * 2006-05-26 2010-05-12 浙江工业大学 基于全方位计算机视觉的工程车防盗报警***
CN1987357B (zh) * 2006-12-26 2010-05-19 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
EP2602761A4 (en) * 2010-08-03 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Object detection device, object detection method, and program
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
KR20160047917A (ko) * 2014-10-23 2016-05-03 신상욱 경로 안내 서비스 장치 및 방법
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
CN106274686A (zh) * 2016-08-05 2017-01-04 北京智芯微电子科技有限公司 一种汽车盲区呈现方法及装置
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
CN107948516A (zh) * 2017-11-30 2018-04-20 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108833795B (zh) * 2018-08-29 2020-06-19 北京七鑫易维信息技术有限公司 一种图像获取设备的对焦方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169993A (zh) * 2012-03-14 2014-11-26 株式会社电装 驾驶辅助装置及驾驶辅助方法
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制***
JP2017161750A (ja) * 2016-03-10 2017-09-14 アルプス電気株式会社 ヘッドアップディスプレイ装置
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
CN108725323A (zh) * 2017-04-21 2018-11-02 梅克朗有限两合公司 用于车辆的摄像***、包括该摄像***的视镜替代***以及包括该***的驾驶员辅助***
EP3630522A1 (de) * 2017-05-24 2020-04-08 Audi AG Externe darstellung von bildaufnahmen eines fahrzeuginnenraums in einer vr-brille
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN109089074A (zh) * 2017-06-14 2018-12-25 现代摩比斯株式会社 用于环视监控***的摄像头角度估计方法
CN108762492A (zh) * 2018-05-14 2018-11-06 歌尔科技有限公司 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN109102734A (zh) * 2018-09-04 2018-12-28 北京精英智通科技股份有限公司 模拟驾驶训练***及方法

Also Published As

Publication number Publication date
CN109849788A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109849788B (zh) 信息提供方法、装置及***
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
US20210357670A1 (en) Driver Attention Detection Method
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
EP2936240B1 (en) Infotainment system
EP1968006B1 (en) Image processing apparatus
CN110419063A (zh) Ar显示装置和ar显示方法
JP2017111469A (ja) 道路標識視認判定システム、道路標識視認判定方法、及びプログラム
CN112750206A (zh) 用于车辆乘员的增强现实可穿戴***
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
US20200249044A1 (en) Superimposed-image display device and computer program
US20140152697A1 (en) Method and apparatus for providing augmented reality
CN107380064B (zh) 一种基于增强现实技术的车载视线追踪装置
JP7014205B2 (ja) 表示制御装置および表示制御プログラム
US20170001522A1 (en) Display control device, projection device, and non-transitory storage medium
US20200064912A1 (en) Eye gaze tracking of a vehicle passenger
JP4604597B2 (ja) 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
KR20200067866A (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
US11815679B2 (en) Method, processing device, and display system for information display
JP2020035437A (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JPWO2018158950A1 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
CN111263133B (zh) 信息处理方法及***
CN113767026A (zh) 用于运行机动车的方法
WO2021065735A1 (ja) 表示制御装置、および表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant