CN113119862B - 一种用于辅助驾驶的抬头显示设备 - Google Patents
一种用于辅助驾驶的抬头显示设备 Download PDFInfo
- Publication number
- CN113119862B CN113119862B CN202010039954.9A CN202010039954A CN113119862B CN 113119862 B CN113119862 B CN 113119862B CN 202010039954 A CN202010039954 A CN 202010039954A CN 113119862 B CN113119862 B CN 113119862B
- Authority
- CN
- China
- Prior art keywords
- information
- warning
- prompt
- reflecting
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 75
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 239000006185 dispersion Substances 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000004399 eye closure Effects 0.000 claims description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 18
- 210000003128 head Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000003380 Passiflora rubra Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
Abstract
本发明提供了一种用于辅助驾驶的抬头显示设备,包括:投影像源、光线控制装置和辅助驾驶控制器;光线控制装置设置在反射装置的一侧,光线控制装置包括主光轴控制元件和弥散元件;辅助驾驶控制器与投影像源相连,用于确定需要显示的提示内容,并控制投影像源显示提示内容。通过本发明实施例提供的抬头显示设备,可以将不同入射角度的成像光线汇聚至同一个观察范围,并弥散至眼盒范围内,从而能够提高成像光线的亮度,且可以保证成像范围;且可以实现大范围设置,从而在反射装置表面形成较大面积的成像区域,实现大范围成像,驾驶员可以在更大范围的反射装置表面观看到提示内容,能够提高反射装置的显示效果。
Description
技术领域
本发明涉及安全驾驶技术领域,具体而言,涉及一种用于辅助驾驶的抬头显示设备。
背景技术
近年来,随着汽车智能化、车联网、自动驾驶等技术的不断发展,移动车载终端接收到的信息及扩展的各类应用层出不穷,人们对将汽车内所有显示屏联通,灵活显示各类信息的需求越来越大,但驾驶员在进行相关操作时视线容易偏离,有潜在的安全风险。
而HUD(head up display)技术可以避免驾驶员在驾驶过程中低头看仪表盘或其他显示屏所导致的分心,提高驾驶安全系数,同时也能带来更好的驾驶体验,近些年正受到越来越多的关注,在车载智能显示方面拥有巨大的应用潜力。然而,目前HUD的设计大部分是基于自由曲面反射镜,像源经过平面镜、自由曲面镜反射后,光线到达挡风玻璃,反射后进入人眼。所以FOV往往很小,一般在10度以内,这导致HUD画像的显示尺寸很小;且由于显示画幅较小无法将显示的动画贴合到实际的环境中难以达到增强现实的效果。现有的HUD显示画面有限显示效果差,难以对驾驶员起到好的展示效果,进而难以扩展更多的应用。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种用于辅助驾驶的抬头显示设备。
本发明实施例提供了一种用于辅助驾驶的抬头显示设备,包括:投影像源、光线控制装置和辅助驾驶控制器;所述光线控制装置设置在反射装置的一侧,所述光线控制装置包括主光轴控制元件和弥散元件;
所述投影像源用于发出入射至所述光线控制装置的成像光线,所述主光轴控制元件用于将多路所述成像光线反射至所述反射装置,并经所述反射装置将多路所述成像光线反射至相同的观察范围,所述观察范围为眼盒范围内的一个位置或区域;
所述弥散元件设置在所述主光轴控制元件靠近所述投影像源的一侧,并设置在所述主光轴控制元件与所述投影像源之间,所述弥散元件用于将所述主光轴控制元件反射的所述成像光线弥散开、并形成覆盖所述眼盒范围的光斑;
所述辅助驾驶控制器与所述投影像源相连,用于确定需要显示的提示内容,并控制所述投影像源显示所述提示内容。
本发明实施例上述提供的方案中,投影像源向光线控制装置发送成像光线,且光线控制装置可以将不同入射角度的成像光线汇聚至同一个观察范围,并弥散至眼盒范围内,从而能够提高成像光线的亮度,且可以保证成像范围;该光线控制装置可以实现大范围设置,从而在反射装置表面形成较大面积的成像区域,实现大范围成像。辅助驾驶控制器确定需要显示的提示内容,并控制投影像源在反射装置表面显示该提示内容,使得反射装置可以显示较大范围的像,驾驶员可以在更大范围的反射装置表面观看到提示内容,能够提高反射装置的显示效果。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的抬头显示设备的成像原理示意图;
图2示出了本发明实施例所提供的抬头显示设备的结构示意图;
图3示出了本发明实施例所提供的抬头显示设备中,非连续型的第一反射结构成像原理示意图;
图4示出了本发明实施例所提供的抬头显示设备中,连续型的第二反射结构成像原理示意图;
图5示出了本发明实施例所提供的抬头显示设备中,具有第二反射结构的主光轴控制元件的结构示意图;
图6示出了本发明实施例所提供的抬头显示设备的电气结构示意图;
图7示出了本发明实施例中,在车距较近时反射装置显示画面的一种示意图;
图8示出了本发明实施例中,在驾驶员疲劳驾驶时反射装置显示画面的一种示意图;
图9示出了本发明实施例中,在驾驶员操纵不规范时反射装置显示画面的一种示意图;
图10示出了本发明实施例中,对向来车靠近时反射装置显示画面的一种示意图;
图11示出了本发明实施例中,反射装置显示部分导航信息的一种示意图;
图12示出了本发明实施例中,当存在公共对象时反射装置显示报警信息的一种示意图。
图标:
10-投影像源、20-光线控制装置、30-反射装置、21-主光轴控制元件、211-第一反射结构、212-第二反射结构、22-弥散元件、501-文字、502-矩形框、503-鸟瞰图、504-箭头、505-运动路径、61-观察范围、62-眼盒范围、71-前方车辆、72-本地车辆、73-对向车辆、74-救护车、75-当前行驶车道。
具体实施方式
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种用于辅助驾驶的抬头显示设备,通过在驾驶员的观察范围内显示相关的信息,实现辅助驾驶员驾驶本地车辆。参见图1所示,该抬头显示设备包括:投影像源10、光线控制装置20和辅助驾驶控制器;该光线控制装置20设置在反射装置30的一侧,该反射装置30具体可以为交通工具的挡风玻璃,或者是挡风玻璃内侧的反射膜等,该反射膜能够反射成像光线,且不影响驾驶员透过该反射膜观察交通工具外部的事物或场景;相应的,光线控制装置20和投影像源10可以均位于交通工具之内,即位于反射装置30的内侧。具体的,本实施例中的光线控制装置20具体可以设置在反射装置30的下方,例如汽车的IP(Instrument Panel,仪表板)台处等。该投影像源10具体为可以投射图像的设备或视频投射的设备,具体可采用CRT(Cathode Ray Tube)投影,LCD(liquid crystal display)投影,DLP(Digital Light Procession)投影、LCOS(Liquid Crystal on Silicon)、激光投影等不同类型。
参见图2所示,光线控制装置20包括主光轴控制元件21和弥散元件22;投影像源10用于发出入射至光线控制装置20的成像光线,主光轴控制元件21用于将多路成像光线反射至该反射装置30,并经反射装置30将多路成像光线反射至相同的观察范围61,该观察范围61为眼盒范围62内的一个位置或区域。弥散元件22设置在主光轴控制元件21靠近投影像源10的一侧,并设置在主光轴控制元件21与投影像源之间,弥散元件22用于将主光轴控制元件21反射的成像光线弥散开、并形成覆盖眼盒范围62的光斑。
本实施例中,投影像源10发出的成像光线经光线控制装置20反射后可以入射至反射装置30处,并被反射装置30反射至眼盒范围62内,使得驾驶员在眼盒范围62内可以观察到投影像源10所成的像。本实施例中的眼盒(eyebox)范围62是指驾驶员可以观察到成像光线所呈现图像的区域范围,即是供驾驶员可以在反射装置30上观看到像的范围,大约对应驾驶员头部所在的位置;驾驶员的眼睛位于该眼盒范围62时,可以观看到投影像源10所成的像,该像具体为图1中的虚像,且该眼盒范围62的大小具体可基于实际情况而定。
此外,参见图2所示,投影像源10发出的成像光线经过光线控制装置20的处理后也可以入射至反射装置30处,并经反射装置30的反射作用将成像光线反射至眼盒范围62内,使得驾驶员可以观看到在反射装置30外部所成的虚像。如图1所示,反射装置30可以在外侧形成投影像源10的像。
具体的,参见图2所示,投影像源10发出的成像光线A经过弥散元件22后射向主光轴控制元件21;弥散元件22会对成像光线A进行第一次弥散,为了方便描述,图2中未示意该第一次弥散的过程。之后主光轴控制元件21将入射的成像光线A进行反射;如图2所示,在不存在弥散元件22时,成像光线A可以沿着光路a射向观察范围61;当在主光轴控制元件21外部设置弥散元件22后,弥散元件22对成像光线A进行第二次弥散,将成像光线A弥散成多个光线(包括光线A1、光线A2等)并分散至一个范围内并形成光斑,该光斑即可作为眼盒范围62,使得驾驶员在眼盒范围62内均可以查看到投影像源10的成像。弥散元件22将光线弥散开、并形成光斑,具体是指弥散元件22可以改变经过其的光线的传播方向和/或扩散角度,可以将经过其的光线扩散为圆形、矩形等形状的光斑。
可选的,光斑的预设形状包括但不限于圆形、椭圆形、正方形、长方形、蝙蝠翼形状。而本实施例中,光斑的大小由两次弥散决定,光斑的形状由弥散元件22的形状决定,图2以矩形光斑为例说明。观察范围61可以为一个点,也可以为一个区域范围,即主光轴控制元件21将投影像源10发出的成像光线汇聚至该观察范围61内即可。此外,弥散后的光斑在侧视方向的弥散角可以为10度,优选为5度;在正视方向的弥散角可以为50度,优选为30度。其中,该弥散元件22包括但不限于衍射光学元件(Diffractive Optical Elements,DOE),例如光束整形片(Beam Shaper),光线经过衍射光学元件之后,会弥散开来并且形成一个特定几何形状的光斑,光斑的大小和形状由衍射光学元件的微观结构所决定。该弥散元件22用于控制光线的弥散程度,将经过主光轴控制元件21后的光线以一定角度进行弥散,可以覆盖所需要眼盒范围62。光线弥散后的传播角度和光斑尺寸决定了最终成像的亮度及可视角,弥散角度越小,成像亮度越高,可视角也越小;反之亦然。
本实施例中,主光轴控制元件21可以将不同入射角度的成像光线汇聚至同一个观察范围61内,从而可以提高成像光线的亮度;同时,通过弥散元件22将光线弥散开,方便驾驶员在光斑范围内观看到投影像源10所成的像,在提高光线亮度的同时,还可以扩大成像范围。本实施例中,由于光线控制装置20可以对成像光线进行汇聚,不需要投影像源10具有特别高的亮度即可使得驾驶员观察到反射装置30所成的虚像;且光线控制装置20可以具有较大的面积,使得光线控制装置20可以将成像光线反射至反射装置30表面的较大面积处,该光线控制装置20具体可以铺设在车辆的IP台表面,使得在反射装置30表面的较大面积均可以反射成像,即反射装置30表面存在较大面积的成像区域可以用于成像,从而方便驾驶员观看投影像源10所投出的信息。
需要说明的是,由于散射等原因,投影像源10发出的光线可能覆盖全部的反射装置30,但是由于该光线只有经反射装置30反射后到达眼盒范围62内才会被驾驶员观看到,故本实施例中的“成像光线”指的是投影像源发出的、并能在眼盒范围62内成像的光线。即,在反射装置30表面,只有被能够在眼盒范围62内成像的成像光线入射的射装置30表面区域才会作为成像区域。
此外,本实施例中的辅助驾驶控制器与投影像源10相连,用于确定需要显示的提示内容,并控制投影像源10显示该提示内容,进而可以在反射装置20的成像区域内显示提示内容。例如,当前需要在在反射装置30表面显示车速,即此时可以将车速作为提示内容,投影像源10显示车速,并通过光线控制装置20和反射装置30的作用在反射装置30外侧形成包含车速的虚像,使得眼盒范围62处的驾驶员透过反射装置30可以看到该虚像,且看起来是反射装置30的成像区域显示了车速。
需要说明的是,本实施例中的“在成像区域内显示提示内容”指的是驾驶员可以通过该成像区域观看到提示内容,使得从驾驶员的角度看起来是在成像区域内显示了该提示内容,但该提示内容所对应的虚像实质上位于反射装置30的外部,例如图1中的虚像所在位置。本实施例中与“在成像区域内显示提示内容”相同或相似的描述(例如“在发射装置30上显示提示内容”等)均只为了方便描述,并不用于限定成像区域等本身可以显示提示内容。
本发明实施例提供的一种抬头显示设备,投影像源向光线控制装置发送成像光线,且光线控制装置可以将不同入射角度的成像光线汇聚至同一个观察范围,并弥散至眼盒范围内,从而能够提高成像光线的亮度,且可以保证成像范围;该光线控制装置可以实现大范围设置,从而在反射装置表面形成较大面积的成像区域,实现大范围成像。辅助驾驶控制器确定需要显示的提示内容,并控制投影像源在反射装置表面显示该提示内容,使得反射装置可以显示较大范围的像,驾驶员可以在更大范围的反射装置表面观看到提示内容,能够提高反射装置的显示效果。
在上述实施例的基础上,该光线控制装置的主光轴控制元件21表面设有多个反射结构,基于该反射结构将多路成像光线汇聚到同一个观察范围61。具体的,主光轴控制元件21可以包括多个非连续的第一反射结构211,第一反射结构211用于将一路成像光线反射至观察范围61;其中,每个第一反射结构211类似于一个微型镜面,可以将投影像源10发出的一路成像光线反射至观察范围61。本实施例中,一路光线指的是入射角度相同或入射角度在预设范围内的光线。
本实施中,第一反射结构211上的点(x,y,z)满足以下方程:
其中,P1为投影像源10所在位置的坐标,P2为观察范围61的坐标,M0(x0,y0,z0)为第一反射结构211上的一个已知点的坐标,表示第一反射结构211的法向量。
本发明实施例中,每个第一反射结构211所在平面由投影像源10所在位置、成像光线反射至的观察范围61、以及第一反射结构211自身所在位置三者共同决定。具体的,图3以主光轴控制元件21中的一个第一反射结构211为例说明。图3中,投影像源10的所在位置为P1,观察范围61所在的点为P2。对于第一反射结构211,其法线(即图3中的虚线)垂直于第一反射结构211所在的平面,即法线是第一反射结构211所在平面的垂直向量。在空间坐标系中,该垂直向量为:
同时,第一反射结构211的入射光线(即成像光线)的入射角与出射角相同,设图3中的M0(x0,y0,z0)为第一反射结构211上的一个已知点,则该垂直向量位于向量和的角平分线上,故:
同时,由于M0是第一反射结构211上已知坐标的点,则对于第一反射结构211上的任意一点M(x,y,z),向量垂直于向量/>则/>即:
P⊥,x(x-x0)+P⊥,y(y-y0)+P⊥,z(z-z0)=0
因此,对于非连续的第一反射结构211而言,第一反射结构211的反射面(即第一反射结构211所在平面)可以由法向量和该反射面上一个已知点M0来确定。同时,该第一反射结构211是微型结构,即只需要在很小的取值范围内确定第一反射结构211的点(x,y,z)即可,即,第一反射结构211上的点(x,y,z)在相应的取值范围内满足以下方程:
其中,P1为投影像源10所在位置的坐标,P2为观察范围61的坐标,M0(x0,y0,z0)为第一反射结构211上的一个已知点的坐标,表示第一反射结构211的法向量,P⊥,x、P⊥,y、P⊥,z分别表示法向量/>在x轴、y轴和z轴上的分量。
对于主光轴控制元件21的每一个第一反射结构211,均可以确定每个第一反射结构211上的一个已知点,进而结合投影像源10的位置P1和观察范围61P2可以确定每个第一反射结构211的法向量,从而确定每个第一反射结构211的反射面。其中,该已知点M0可以为第一反射结构211的中心点,也可以为第一反射结构211与主光轴控制元件21所在平面交线上的一个点,也可以为第一反射结构211上其他预先设置的点,本实施例对此不做限定。
同时,点(x,y,z)的取值范围具体可以为:
其中的x1,x2,y1,y2,z1,z2是根据第一反射结构211摆放位置而确定的预设的数值,且不同的第一反射结构211所对应的x1,x2,y1,y2,z1,z2的数值不完全相同。例如,对于x轴,若一个第一反射结构211所在位置的x分量位于1至1.5之间,则对于该第一反射结构211来说,x1=1,x2=1.5;若另一个第一反射结构211所在位置的x分量位于1.5至1.9之间,则对于该另一个第一反射结构211来说,x1=1.5,x2=1.9。其中,数值不完全相同的含义是:对于六个数值x1,x2,y1,y2,z1,z2,两个不同的第一反射结构211所对应的六个数值不会完全相同,即六个数值中至少存在1个甚至全部是不相同的。
或者,主光轴控制元件21包括多个连续的第二反射结构212,第二反射结构212用于将多路成像光线反射至观察范围61;
第二反射结构212与主光轴控制元件21所在平面之间的夹角为θ:
其中,表示主光轴控制元件21所在平面的法向量;P1为投影像源10所在位置的坐标,P2为观察范围61的坐标,M0(x0,y0,z0)为第二反射结构212与主光轴控制元件21所在平面交线上的一个已知点的坐标,/>表示第二反射结构212在点M0处的法向量;
第二反射结构212与主光轴控制元件21所在平面交线上的点M(x,y,z)满足以下方程:
其中,表示第二反射结构212在点M处的法向量。
本实施例中,第二反射结构212为连续的结构,即主光轴控制元件21包括多个连续的第二反射结构212,每个第二反射结构212用于将投影像源10发出的多路成像光线反射至观察范围61。
具体的,该第二反射结构212为一段连续型的自由曲面,该自由曲面与主光轴控制元件21整体所在平面之间的夹角为某个固定值θ。参见图4所示,图4中的上半部分表示该光线控制装置主视图的一种示意图,下半部分表示该光线控制装置俯视图的示意图。其中,第二反射结构212与主光轴控制元件21相交,交线为一段自由曲线,即图4下半部分中点M和点M0所在的曲线。
本实施例中,首先预设第二反射结构212与主光轴控制元件21所在平面交线上的一个已知点M0,且M0的坐标为(x0,y0,z0)。与图3所对应的实施例相似,投影像源10的所在位置为P1,观察范围61所在的点为P2。对于第二反射结构212,由于第二反射结构212为一个自由曲面,其没有唯一的法线,但是在已知点M0处,第二反射结构212的法线为:
同时,对于主光轴控制元件21所在平面,设该平面的法向量为(A,B,C),即A、B、C分别表示法向量/>在x轴、y轴和z轴上的分量。根据几何关系可知,法向量/>与法线/>之间的夹角即为第二反射结构212与主光轴控制元件21所在平面之间的夹角θ。故根据主光轴控制元件21所在平面的法向量/>以及第二反射结构212在点M0处的法线即可确定夹角θ。即,/>
根据向量数量积公式可知:
故,第二反射结构212与主光轴控制元件21所在平面之间的夹角θ满足:
其中,表示主光轴控制元件21所在平面的法向量;P1为投影像源10所在位置的坐标,P2为观察范围61的坐标,M0(x0,y0,z0)为第二反射结构212与主光轴控制元件21所在平面交线上的一个已知点的坐标,/>表示第二反射结构212在点M0处的法向量。
在确定夹角θ之后,基于第二反射结构212与主光轴控制元件21所在平面的交线(即图4下半部分中点M和点M0所在的曲线)即可确定第二反射结构212的自由曲面。
具体的,参见图4所示,对于第二反射结构212与主光轴控制元件21所在平面的交线上的任意一点M(x,y,z),该点M位于主光轴控制元件21所在平面内,故:
A(x-x0)+B(y-y0)+C(z-z0)=0
同时,该第二反射结构212在点M处的法向量为/>且该法向量/>与主光轴控制元件21所在平面的法向量/>之间的夹角也为θ,故
另,主光轴控制元件21所在平面存在一个预设取值范围,因此,第二反射结构212与主光轴控制元件21所在平面交线上的点M(x,y,z)在预设取值范围内满足以下方程:
其中,表示第二反射结构212在点M处的法向量。该点M(x,y,z)的预设取值范围具体可以为:
其中,xv,xu,yv,yu,zv,zu分别为主光轴控制元件21尺寸的边界值。
本实施例中,第二反射结构212为一段连续的自由曲面,利用第二反射结构212与主光轴控制元件21之间的固定夹角θ以及二者之间的交线,从而可以准确确定该第二反射结构212的自由曲面。同时,对于其他的第二反射结构212,可以重新确定另一个已知点M0,进而确定相应的夹角θ以及交线。不同的第二反射结构212具有不同的夹角θ,则第二反射结构212与主光轴控制元件21之间的交线也不同。对于主光轴控制元件21,其平面上分布不同形式的交线。参见图5所示,两个第二反射结构212对应不同的夹角θ1和θ2,且两个夹角对应不同的交线的轨迹L1和L2。
同时,在确定该连续型第二反射结构212的夹角和交线后,在制造加工该主光轴控制元件21上的第二反射结构212时,加工机器可以固定夹角,之后沿着该交线的轨迹进行加工即可,加工工艺简单;同时,若第二反射结构212的加工深度(或第二反射结构212的高度)相同,由于第二反射结构212的夹角θ固定,故两条相邻的交线之间的间距也是固定值,第二反射结构212的分布更加均匀。
在上述实施例的基础上,参见图6所示,该抬头显示设备还包括信息采集装置200,该信息采集装置200与辅助驾驶控制器100通信相连;信息采集装置200用于采集当前信息,并将采集到的当前信息发送至辅助驾驶控制器100。该辅助驾驶控制器100具体用于:根据该当前信息生成提示内容。
本发明实施例中,信息采集装置200可以采集能够表征交通工具当前状态的车辆状态信息、位于交通工具外侧的外部对象信息、与驾驶员自身相关的驾驶员信息、驾驶员操纵交通工具过程中可以被采集到的操纵信息、表示该交通工具当前运动趋势的本地运动路径、导航信息、公共对象的相应信息等。其中,该车辆状态信息具体可以包括车速、横摆角速度、制动踏板位移、加速踏板位移等,外部对象信息包括外部对象的当前位置、与外部对象之间的当前距离、外部对象的运动速度等,驾驶员信息包括眨眼频率、闭眼时长、当前注视方向、视线集中时长、低头时长、低头频率等,驾驶员的操纵信息表示驾驶员在驾驶车辆过程中的动作,例如变道前是否观察车道情况、拐弯时是否开启转向灯等,导航信息可以包括起始位置、终点位置、当前与终点的距离、到达终点的时间、一个或多个行驶路径等。
其中,该信息采集装置200具体可以包括图像采集设备、车载雷达、红外传感器、激光传感器、超声波传感器、速度传感器、转速传感器、角速度传感器、位移传感器、GPS(Global Positioning System,全球定位***)、V2X(Vehicle to X,表示车对外界的信息交换)***、ADAS(Advanced Driving Assistant System,高级驾驶辅助***)中的一种或多种。本实施例中,不同的信息采集装置基于其需求可以安装在不同的位置,例如转速传感器可以设置在车轮处,在车辆内侧和外侧均可以设置图像采集设备,此处不做赘述。
在上述实施例的基础上,信息采集装置200可以包括速度传感器、角速度传感器、位移传感器等,该速度传感器可以采集车速,角速度传感器可以采集车辆的横摆角速度,位移传感器可以采集制动踏板和加速踏板的位移,即基于该信息采集装置200可以采集到车速、横摆角速度、制动踏板位移、加速踏板位移等车辆状态信息,进而将车辆状态信息发送至辅助驾驶控制器100。或者,辅助驾驶控制器100可以与车辆的OBD(On BoardDiagnostics,车载自动诊断***)接口相连,基于OBD接口获取车速等车辆状态信息。辅助驾驶控制器100在获取到车辆状态信息之后,即可判断该车辆状态信息是否超出了预设的安全范围,若车辆状态信息是否超出了预设的安全范围,则可以将相应的第一警示信息作为提示内容,第一警示信息包括第一警示文字、第一警示图像、第一警示视频中的一项或多项。
本实施例中,预先设置车辆状态信息的安全范围,若当前的车辆状态信息超出了该安全范围,则说明当前可能存在风险或违规操作,此时可以将能够警示驾驶员的第一警示信息作为提示内容显示在反射装置30上。例如,预先设置车速的安全范围为0~60km/h,则当驾驶员操作的交通工具超速(即车速大于60km/h)或倒车(即车速为负)时,确定当前需要警示驾驶员,则可以相应的第一警示文字、第一警示图像或第一警示视频作为提示内容进行显示。例如,该第一警示文字可以为“您已超速”,第一警示图像可以为叹号图形,第一警示视频可以为两车相撞的动画等。
具体的,当驾校的学员作为驾驶员学习驾驶车辆时,可以基于采集到的车辆状态信息提醒驾驶员当前操作是否合适。例如,学员踩下加速踏板的力度过大,即加速踏板位移超过了相应的安全范围,则可以将“请轻踩加速踏板”等第一警示信息作为提示内容,辅助驾驶控制器100控制投影像源10显示该提示内容,并通过光线控制装置20和反射装置30的作用在反射装置30外侧形成虚像,使得学员可以透过反射装置30(如教练车前方的挡风玻璃)观看到该提示内容,不需要学员低头查看仪表等,可以提高学员在学习驾车的过程中的安全性,且能够对学员进行实时提醒,使得学员可以及时得知不足之处或操作错误的地方,进而方便及时纠正,提高学习效果和效率。
可选的,该信息采集装置200可以包括图像采集设备、距离传感器等,基于该信息采集装置200确定本地车辆与外部对象之间的当前距离,并将该当前距离作为一项外部对象信息发送至辅助驾驶控制器100;辅助驾驶控制器100获取到外部对象信息之后,判断该当前距离是否小于预设的安全距离;在当前距离小于预设的安全距离时,将相应的第二警示信息作为提示内容,第二警示信息包括第二警示文字、第二警示图像、第二警示视频中的一项或多项。
本发明实施例中,可以预先设置安全距离,该安全距离为一般情况下能够保证车辆安全的一个阈值;该安全距离可以为统计得到的固定值,也可以是与当前车速相关的数值,车速越大,该安全距离越大。若当前距离大于该安全距离,则说明外部对象与本地车辆距离较远,二者相撞的可能性不大;相反的,若当前距离小于预设的安全距离,则说明二者具有较高的相撞风险,此时可以将相应的第二警示信息作为提示内容显示在反射装置30上,从而提醒驾驶员当前存在较高的相撞风险。例如,该第二警示信息可以包括第二警示文字,例如“与前方车辆距离太近,请减速”;第二警示信息也可以包括第二警示图像,例如,显示红色叹号的图形,或者在与该外界对象相对应的位置处突出显示与外界对象相匹配的图形,实现AR(Augmented Reality,增强现实)贴合显示;第二警示信息也可以包括第二警示视频,例如显示两车相撞的动画等。此外,本实施例中的外界对象可以包括交通工具外部的其他车辆、行人、动物、非机动车等,也可以包括道路、指示标等静止的物体。对于不同的外界对象,可以采用不同的对应关系确定安全距离。
可选的,信息采集装置200可以包括图像采集设备,基于该图像采集设备采集车内的驾驶员信息,例如眨眼频率、低头时长等,且基于眼球追踪技术可以确定驾驶员的当前注视方向等,具体的,信息采集装置200可以采集包含眨眼频率、闭眼时长、当前注视方向、视线集中时长、低头时长、低头频率等的驾驶员信息,并将采集到的驾驶员信息发送至辅助驾驶控制器100;辅助驾驶控制器100获取到驾驶员信息之后,判断该驾驶员信息是否符合异常驾驶条件;在驾驶员信息满足异常驾驶条件时,将相应的第三警示信息作为提示内容,第三警示信息包括第三警示文字、第三警示图像、第三警示视频中的一项或多项。其中,异常驾驶条件包括:眨眼频率大于预设的眨眼频率阈值、闭眼时长大于预设的闭眼时长阈值、当前注视方向偏离道路方向且偏离时长大于预设的偏离时长阈值、视线集中时长大于预设的视线集中时长阈值、低头时长大于预设的低头时长阈值、低头频率大于预设的低头频率阈值中的一种或多种。
本发明实施例中,基于采集到的驾驶员信息可以判断该驾驶员是否为疲劳驾驶、酒驾等异常驾驶的情况。具体的,若驾驶员的眨眼频率大于预设的眨眼频率阈值、闭眼时长大于预设的闭眼时长阈值、当前注视方向偏离道路方向且偏离时长大于预设的偏离时长阈值、视线集中时长大于预设的视线集中时长阈值,则说明驾驶员极有可能疲劳驾驶;或者,驾驶员低头时长大于预设的低头时长阈值、低头频率大于预设的低头频率阈值,也可说明驾驶员可能处于疲劳驾驶状态。其中,可以结合多种条件来综合判断驾驶员是否疲劳驾驶,例如若驾驶员当前注视方向偏离道路方向且偏离时长大于预设的偏离时长阈值,并且视线集中时长大于预设的视线集中时长阈值,此时认定驾驶员疲劳驾驶。
本实施例中,若驾驶员当前有可能是疲劳驾驶,则将当前作为一种异常状态,并通过显示第三警示信息来提醒驾驶员。其中,该第三警示信息包括第三警示文字,如“您已疲劳驾驶,请注意休息”,也可以包括第三警示图像,例如,显示红色叹号的图形;也可以包括第三警示视频,例如显示两车相撞的动画等。
相应的,若驾驶信息不满足上述的异常驾驶条件,则可以确定当前为正常状态,即驾驶员没有疲劳驾驶、酒驾等,则该抬头显示设备可以正常显示驾驶过程中所需的信息,例如当前的车速、导航信息等;或者,在正常状态下,若当前为拐弯等不适合显示信息的时刻,也可以不显示信息,即显示信息为空集,以避免以显示信息导致驾驶员分心。
可选的,信息采集装置200中的图像采集设备还可以采集车内驾驶员的操纵信息,例如驾驶员是否观察周围环境、驾驶员手部动作等,并将采集到的操纵信息发送至辅助驾驶控制器100。辅助驾驶控制器100基于该驾驶员的操纵信息判断驾驶员的操纵过程是否规范;具体的,在操纵信息与标准操纵信息不匹配时,将相应的第四警示信息和/或标准操纵信息作为提示内容,第四警示信息包括第四警示文字、第四警示图像、第四警示视频中的一项或多项。
本发明实施例中,图像采集设备可以采集车内驾驶员操纵车辆过程中的视频,基于图像识别技术可以提取出相应的操纵信息,若该操纵信息与标准操纵信息不匹配,则说明驾驶员当前的操纵过程不规范,此时通过将第四警示信息作为提示内容进行显示,可以对驾驶员起到提醒作用,纠正驾驶员的错误操作;同时,若将标准操作信息为提示内容显示在反射装置30上,可以进一步辅助驾驶员,提高驾驶员的操作水平。本实施例中,本地车辆可以为教练车,驾驶员可以为学车的学员,通过在教练车内设置图像采集设备可以实时采集学员的操纵信息,进而确定该学员操纵过程是否规范。
在上述实施例的基础上,在不需要显示警示信息(如第一警示信息、第二警示信息、第三警示信息、第四警示信息等)时,可以将正常的标识信息作为提示内容进行显示,例如将车速实时显示在前挡风玻璃上,避免驾驶员驾驶过程中低头查看车速仪表盘。在需要显示警示信息时,根据相应的情况将相应的警示信息作为提示内容进行显示。
本实施例中,为了提高警示效果,辅助驾驶控制器100可以控制投影像源10以突出显示方式显示提示内容,该突出显示方式包括滚动显示、跳动显示、闪烁显示、高亮显示、以警示颜色(例如红色等)显示、在预设位置(例如驾驶员视线的正前方等)显示中的一种或多种。若当前不需要显示警示信息,则可以以正常方式、或其他颜色显示车速等标识信息。例如,若当前车辆超速,此时可以以红色显示“请减速”的提示内容;之后驾驶员通过减速等方式调整了车速之后,本地车辆恢复为正常状态,这时即可再以绿色显示“当前行车安全”等提示内容。图7以外界对象为车辆为例,示意性示出了距离本地车辆过近时的一种显示方式。如图7所示,抬头显示设备检测到前方车辆71距离本地车辆的当前距离为50m,而当前的安全距离为60m,即此时为告警状态,抬头显示设备可以在反射装置30(即本地车辆的挡风玻璃)上显示的提示内容包括告警文字501,即“请减速!”,该提示内容还可以包括框选出前方车辆501的矩形框502,该矩形框502具体可以是红色显示或高亮显示等,以加强提醒效果。此外,也可以同时显示与前方车辆71之间的距离,图7中将该距离“50.0m”显示在了矩形框502下方。当本地车辆与该前方车辆71之间的当前距离大于安全距离时,可以以绿色的矩形框502框出该前方车辆71。同样的,图7中可以以红色显示该告警文字501“请减速”,在间距大于安全距离时,可以以绿色显示文字“当前安全,请继续保持”。
同理,为了提高警示效果,在驾驶员异常驾驶时,也可突出显示相应的第三警示信息。例如,反射装置30上显示提示内容的一种示意图参见图8所示,抬头显示设备检测到驾驶员当前为疲劳驾驶,此时可以在反射装置30上显示告警文字501,即“您已疲劳驾驶!”,该告警文字501可以是红色显示或高亮显示等,以加强提醒效果。
或者,若驾驶员驾驶本地车辆时,当前为向左变道;若驾驶员当前未开启左转向灯,即驾驶员的操纵信息不合规,该驾驶员当前在违规变道,此时参见图9所示,可以在反射装置30上显示告警文字501“请开左转灯”,以提醒驾驶员开启左转向灯;同时,还可以用箭头504表示车辆当前的行驶方向,提醒驾驶员当前正在向左偏移。
此外,该抬头显示设备可以以AR显示方式直观地标识出外界对象的位置。具体的,辅助驾驶控制器100也可以确定外界对象投影至反射装置30上的投影位置,将投影位置或者投影位置的边缘作为提示位置,并指示投影像源10在该提示位置处显示提示内容。本实施例中,通过将外界对象的投影位置设为提示位置,即可在反射装置30的相应位置处显示与外界对象一致的提示内容,从而可以直观地向驾驶员标出外界对象。如图7所示,若外界对象为前方车辆71,此时可以在挡风玻璃(即反射装置30)相应位置处显示一个矩形框502,该矩形框502可以框出该车辆,从而直观地提醒驾驶员前方车辆71的位置。
本实施例中,在当前处于告警状态需要警示驾驶员时,还可以采用其他提醒方式进行辅助提醒。具体的,辅助驾驶控制器100还可以用于:向发声装置发送告警语音,并指示发声装置播放告警语音;或者,向振动装置发送振动指令,指示振动装置振动;振动装置为能够接触到用户的装置。本实施例中,可以在抬头显示设备中加装扬声器、或者借助交通工具上的扬声器进行语音提醒,该告警语音可以为没有具体含义的告警铃声,也可以是具体的语音,如“注意!保持车距!”等。此外,可以在交通工具的方向盘或者座椅等驾驶员会直接接触的位置设置机械式振动装置,从而在告警状态下能够以振动的方式提醒驾驶员。
在上述实施例的基础上,该抬头显示设备可以与外界对象实现AR贴合显示,还可以主动显示不存在的对象。具体的,在驾驶教学路段等环境相对固定的场景下,可以根据教师教学环境增设相应的虚拟教学对象,以使得学员可以体验更多的驾驶场景。本实施例中,辅助驾驶控制器100可以用于根据当前场景确定需要显示的虚拟教学对象,并将虚拟教学对象作为提示内容;确定需要显示虚拟教学对象的实际位置,将实际位置和眼盒范围62的连线与反射装置30之间的相交位置作为提示位置,并控制投影像源10在提示位置处显示提示内容。
本发明实施例中,该虚拟教学对象可以为虚拟的指示牌,也可以为虚拟的行人、车辆等,根据学员驾驶本地车辆所处的当前场景确定相应的虚拟教学对象。例如,当前需要左拐,则可以将左转弯的虚拟指示牌作为虚拟教学对象;若当前需要模拟对向车道会车的场景,则可以将对向车辆作为虚拟教学对象。同时,对于不同的虚拟教学对象,需要结合当前场景确定显示该虚拟教学对象的实际位置,基于该实际位置确定反射装置30的何处位置显示该虚拟教学对象。具体的,本实施例中将实际位置和眼盒范围62的连线与反射装置30之间的相交位置作为提示位置,即实际位置、提示位置、眼盒范围62三者共线,当投影像源10在该提示位置处显示虚拟教学对象时,眼盒范围62处的学员可以观看到该提示位置处的虚拟教学对象,使得从学员的视角看起来是在该实际位置处存在虚拟教学对象。例如,若需要学员学会避让障碍物,则可以在当前行驶车道中显示虚拟的障碍物。此外,由于该虚拟教学对象一般为静止的对象,故抬头显示设备显示该虚拟教学对象时,需要实时确定并调整提示位置,以使得在学员看来该虚拟教学对象是静止不动的。
本实施例中,驾驶教学路段等环境相对固定的场景,根据当前的教学环境可以在不同的拐弯设定虚拟的AR操作提示,或者,还可以在个别路段增设特殊场景,例如AR增设行人,或者前方车道增设事故、或者在停让标志附近出现突发情况、或者模拟对向车道会车场景等,通过模拟特殊场景实现在特殊场景下的操作考核,可以提高学员的应变和驾驶能力,也可以提高驾驶教学水平和考核难度。
可选的,辅助驾驶控制器100确定需要显示的提示内容包括:确定需要显示的目标信息,根据目标信息的参数值生成具有相应特征值的提示内容,特征值包括颜色、大小、形状中的一项或多项。
本发明实施例中,抬头显示设备显示某些目标信息时,由于该目标信息具有参数值等属性,此时可以基于该参数值来适应性地生成相应颜色、大小或形状的提示内容。例如,目标信息为车速,此时可以根据车速值(即车速的参数值)的大小以不同的颜色显示该车速;此外,还可以以发动机的形状示意性表示车速,比如低速时显示绿色的发动机,转速增加时依次显示黄色发送机、红色发动机等,从而可以更加直观地显示目标信息。
在上述实施例的基础上,辅助驾驶控制器100确定需要显示的提示内容时,若本地车辆外侧存在外部对象,则辅助驾驶控制器100可以用于确定外部对象信息,根据外部对象信息生成当前需要显示的提示内容,并确定提示位置;之后控制投影像源10在提示位置处显示提示内容;其中,提示位置为预先设置的用于显示提示内容的位置;或者,提示位置为外部对象的当前位置和眼盒范围62的连线与反射装置30之间的相交位置。
本发明实施例中,每个提示内容均具可以设有相对应的提示位置,该提示位置可以为预先设置的,也可以是基于当前的实际场景而确定的位置。例如,若该提示内容为车速,且预先设置在反射装置30的左下方显示车速,则可以直接将反射装置30左下方的相应位置作为提示位置;或者,当前外界存在行人(即外部对象为行人),此时需要形成与该行人位置相对应的图形来提醒驾驶员,则该图形即为提示内容,反射装置30上需要显示该提示内容的位置即为提示位置。具体的,可以确定行人的当前位置和眼盒范围62的连线,将该连线与反射装置30之间的相交位置作为提示位置,投影像源10在该提示位置处显示相应的图形即可。本实施例中,该提示位置可以为一个位置点,也可以为一个位置范围,具体可基于实际情况而定。
在上述实施例的基础上,外部对象信息包括外部对象的当前位置、与外部对象之间的当前距离、外部对象的运动速度中的一项或多项;辅助驾驶控制器100根据外部对象信息生成当前需要显示的提示内容,并确定提示位置,包括:
根据外部对象信息与标准值之间的差值生成具有相应特征值的提示内容,特征值包括颜色、大小、形状中的一项或多项;将外部对象的当前位置和眼盒范围62的连线与反射装置30之间的相交位置作为提示位置。
本发明实施例中,外部对象也可以具有相应的参数值,该外部对象信息中可以包含外部对象的参数值。例如,外部对象为车辆A时,可以将该车辆A的车速、与本地车辆之间的距离等作为该车辆A的参数值。同时,可以预先设置外部对象的标准值,该标准值为外部对象的一个标准参数值,通过比较外部对象的参数值与该标准值,可以确定以何种特征值显示该提示内容更合适。其中,该标准值可以是预先设置的固定值,例如,若该标准值为与速度相关的标准值,则可以将当前车道所允许的最大速度作为标准值,若侧边车辆的速度大于该标准值,则说明该侧边车辆超速,此时可以生成红色的提示内容(即特征值为红色),若侧边车辆未超速,则可以生成绿色的提示内容(即特征值为绿色)。或者,该标准值也可以是基于外部对象信息实时确定的数值,例如若标准值为与距离相关的标准值,则可以根据车辆的车速确定安全距离,并将该安全距离作为标准值;若其他车辆A距离本地车辆较远,即外部对象的当前距离与该标准值之间的差值较大,此时可以生成绿色的提示内容;若当前距离与该标准值之间的差值一般大,则此时可以生成黄色的提示内容;若当前距离与该标准值之间的差值很小,则可以生成红色的提示内容。
此外,由于该抬头显示设备可以在反射装置30表面的大范围成像,当外部存在不同类的外部对象,或者同一类但不同的外部对象,可以基于实际情况确定提示内容的特征值。具体的,当存在多个外部对象时,辅助驾驶控制器100根据每个外部对象的外部对象信息与标准值之间的差值生成具有相应特征值的提示内容,且不同的外部对象或不同类的外部对象对应具有不同特征值的提示内容。
本发明实施例中,对于不同的外部对象或不同类的外部对象,可以分配相应不同的特征值。例如,对于车辆和行人两类外部对象,可以采用不同的形状、大小等特征值;或者,若当前存在多个车辆,可以对不同的车辆也分配不同的形状、颜色等特征值,以区分多个外部对象。具体的,对于需要标记的外部对象,可以用不同颜色的线条轮廓表示外部对象的尺寸信息,在轮廓周围用图形文字记录该外部对象运动信息,或者用箭头或轨迹线条表示该外部对象运动的方向等。基于该抬头显示设备可以迅速显示本地车辆周围的行人的轮廓以及该行人运动的方向速度,便于驾驶员判断是否跟本地车辆行驶发生冲突。
本实施例中,由于该抬头显示设备的显示面积非常大,所显示的提示内容可以一直跟随行人直至行人消失在驾驶员视野内。当驾驶员视野内出现多个运动物体时,也可以通过该抬头显示设备同时框选所有运动的物体,不同物体可以用不同的图形代替,如车辆、行人、动物、道路边界以及障碍物。
在上述实施例的基础上,辅助驾驶控制器100还可以显示外部对象的运动趋势,进一步直观地表示出外部对象与本地车辆是否可能相撞。具体的,该辅助驾驶控制器100还用于:
确定本地运动路径,并根据外部对象信息的变化值确定外部对象的运动路径;将本地运动路径和/或外部对象的运动路径作为提示内容;和/或,在外部对象的运动路径与本地的运动路径相交时,将相应的告警消息作为提示内容,告警消息包括告警文字、告警图像、告警视频中的一项或多项。
本发明实施例中,辅助驾驶控制器100根据本地车辆的状态参数(例如车速、朝向、车轮转向角等)可以预测确定本地车辆的运动路径,即本地运动路径;同时,基于外部对象的当前位置等外部对象信息的变化值可以预测确定该外部对象的运动路径,辅助驾驶控制器100可以将本地运动路径和外部对象的运动路径显示在反射装置30上,使得驾驶员可以直观地预测外部对象与本地车辆是否可能相撞。此外,辅助驾驶控制器100也可以基于外部对象的运动路径与本地的运动路径是否相交来判断是否有相撞的风险,若外部对象的运动路径与本地的运动路径相交,则说明有相撞的风险,此时可以将相应的告警消息作为提示内容,例如将告警文字“请避让”等作为提示内容显示在反射装置30上。
参见图10所示,外界对象为对向车辆73,若该对向车辆73的运动趋势为朝向本地车辆,则可以在反射装置30上显示出该对向车辆73的运动路径505,同时显示文字501“请避让!”,以提醒本地车辆的驾驶员小心对向车辆73;此外,也可以用矩形框502标出该对向车辆73,进一步提高提醒效果。
可选的,若当前为无人驾驶的情况,外部对象接近本地车辆到一定范围内,则可以快速的显示该物体的运动的速度、尺寸轮廓、运动路径等,并判断接近的物体是否有危险;当判断接近的物体可能出现危险时,可以通过该抬头显示设备显示物体的轮廓闪烁变化以及颜色的变化,如由绿色变化为红色等,以提醒驾驶员可以接管无人驾驶。
在上述实施例的基础上,辅助驾驶控制器100还可以确定导航信息,根据导航信息生成需要显示的提示内容。本实施例中,该导航信息可以包括起始位置、终点位置、当前与终点的距离、到达终点的时间、一个或多个行驶路径等,当驾驶员需要显示导航时,可以在反射装置30上显示导航信息,方便驾驶员实时查看导航信息。
具体的,辅助驾驶控制器100确定导航信息可以包括:
获取服务器下发的导航信息;
或者,获取用户输入的行驶需求,根据行驶需求生成导航信息;
或者,生成一个或多个行驶路径并在反射装置30上显示,在接收到用户输入的选择指令时,根据选择指令所指向的行驶路径生成导航信息。
本实施例中,当驾驶员需要导航时,可以借助服务器生成导航信息,并将该导航信息发送至本地的抬头显示设备,使得抬头显示设备可以在反射装置30上显示该导航信息;其中,该服务器可以为预设的上位机,也可以为驾驶员所用的智能手机等,只需要该服务器具有生成导航信息的功能即可。或者,驾驶员可以向该抬头显示设备输入行驶需求,例如输入目的地等,该抬头显示设备基于该行驶需求可以自动生成导航信息。此外,从起始位置到终点位置可能有多个行驶路径,抬头显示设备可以将所确定的一个或多个行驶路径均显示在反射装置30上供用户选择,在接收到用户输入的选择指令之后,再唯一显示用户选择的行驶路径。其中,驾驶员可通过手势、语音、按键等方式进行选择,选择偏好的行驶路径。
本实施例中,该抬头显示设备可以安装在物流车辆中,从而可以对物流车辆司机显示导航。其中,可以结合物流车辆本身信息生成导航信息,该物流车辆本身信息具体可以包括货物信息,配送点位置、货物件数、货物投送地址、货物投递次序、货物体积/重量、送货要求、收货用户的需求信息等,根据本身信息分析得到运输总距离最短的推荐路径、运输总时长最短的推荐路径、或者优先配送大件货物的推荐路径等,将该推荐路径作为导航信息显示在物流车辆前方的挡风玻璃上。同时,还可以显示配送情况,如显示总派件数、已派件数、未派件数;或者,可以在货厢内设置摄像头,通过该摄像头实时采集货箱内情况,并显示在挡风玻璃上。此外,根据实时的交通情况、派送情况等,或驾驶员自行操作等,可重新规划推荐路径并显示。
可选的,辅助驾驶控制器100根据导航信息生成需要显示的提示内容包括:
将导航信息中的重点信息作为需要显示的提示内容,重点信息包括起点位置、终点位置、与终点的距离、到达终点的时间、行程进度中的一项或多项;
和/或,根据本地当前所在位置和导航信息确定相应的操纵提示信息,并将操纵提示信息作为提示内容。
本发明实施例中,可以将导航信息中的所有信息均作为重点信息予以显示,也可以从中选择出部分信息作为重点信息进行显示。此外,根据本地当前所在位置和导航信息确定相应的操纵提示信息,并将操纵提示信息显示在反射装置30上,使得驾驶员可以基于看到的操纵提示信息进行合理驾驶操作。如图11所示,抬头显示设备确定本地车辆当前位于当前行驶车道75,且根据导航信息得知在该位置处需要右拐行驶,则此时即可在反射装置30上显示告警文字501,即“请右转”,同时可以显示与该当前行驶车道75贴合的箭头504,从而可以直观地提醒驾驶员进行右转。
可选的,该抬头显示设备还可以收集公共对象的相关信息,避免本地的导航信息与公共对象冲突。具体的,该辅助驾驶控制器100还用于:
步骤A1:获取公共对象的相应信息,公共对象包括公共交通、紧急车辆。
步骤A2:根据公共对象的相应信息确定公共对象的位置和/或行驶路径,并将公共对象的位置和/或行驶路径作为提示内容。
本发明实施例中,抬头显示设备可以基于公共信息平台(如市政信息***或民营导航服务***)的获取公共对象的相应信息,其中,该公共对象可以为公共汽车等公共交通,也可以是救护车、消防车、警车、道路救援车辆等紧急车辆。该公共对象的相应信息可以包括任务执行的时间、出发地、目的地、紧急程度等。
本实施例中,该公共信息平台可以将该紧急车辆的任务执行安排下发给不同的抬头显示设备的服务商、或下发给导航***、或下发给用户的手机等,使得本地车辆的抬头显示设备可以直接或间接地获取到公共对象的相应信息,进而就可以进行定位和位置信息计算,或者由其他服务器进行定位和位置信息计算后,将距离、位置、行驶路径等计算结果传递给本地的抬头显示设备,使得本地的抬头显示设备可以显示公共对象的位置和/或行驶路径,方便驾驶员提前避让。例如,可以在基于原规划导航信息的基础上增加紧急车辆的地图显示,呈现紧急车辆与当前车辆之间的位置关系,且二者的进行路线可以以不同的颜色区别显示。
可选的,在本地的导航信息与公共对象的位置或行驶路径之间存在交集时,辅助驾驶控制器100还用于:生成报警信息,或更新导航信息,且更新后的导航信息与公共对象的位置或行驶路径之间不存在交集。例如,参见图12所示,本地车辆在当前行驶车道75上行驶时,若后方500米处有救护车在执行任务,则可以把鸟瞰图503作为报警信息,通过鸟瞰图503通知驾驶员;其中,鸟瞰图503中以俯视的角度显示本地车辆72,同时在本地车辆72的后方显示救护车74,并标出二者之间的方位距离,即“后方500m”。同时,也可显示文字501“避让救护车”以进一步提醒驾驶员。
本发明实施例中,当公共对象的位置或行驶路径与本地的运动路径或者本地的导航信息不存在交集时,则说明本地车辆的行车线路与公共对象的行车线路不冲突,此时可以把该公共对象的位置或行驶路径作为一种次要信息显示在反射装置30上,即主要起到通知驾驶员的作用。例如,在不改变抬头显示设备主界面的信息显示基础上,可以在抬头显示设备显示界面的边缘部分用小气泡或箭头方式呈现,标记紧急车辆的来车方向及距离远近。
当本地的导航信息与公共对象的位置或行驶路径之间存在交集时,则说明本地车辆的行车路线可能影响公共对象,且由于公共对象的存在也可能影响本地车辆到达目的地的时间,此时可以生成报警信息以提醒驾驶员是否更改线路;或者,可以直接更新导航信息,向驾驶员提供与公共对象的位置或行驶路径不冲突的导航线路。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换的技术方案,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种用于辅助驾驶的抬头显示设备,其特征在于,包括:投影像源、光线控制装置和辅助驾驶控制器;所述光线控制装置设置在反射装置的一侧,所述光线控制装置包括主光轴控制元件和弥散元件;所述光线控制装置铺设在IP台表面;
所述投影像源用于发出入射至所述光线控制装置的成像光线,且所述投影像源发出的成像光线经过所述弥散元件后射向所述主光轴控制元件;所述主光轴控制元件用于将多路所述成像光线反射至所述反射装置,并经所述反射装置将多路所述成像光线反射至相同的观察范围,所述观察范围为眼盒范围内的一个位置或区域;其中,所述主光轴控制元件用于将所述投影像源发出的所述成像光线汇聚至所述观察范围;
所述弥散元件设置在所述主光轴控制元件靠近所述投影像源的一侧,并设置在所述主光轴控制元件与所述投影像源之间,所述弥散元件用于将所述主光轴控制元件反射的所述成像光线弥散开、并形成覆盖所述眼盒范围的光斑;
所述辅助驾驶控制器与所述投影像源相连,用于确定需要显示的提示内容,并控制所述投影像源显示所述提示内容。
2.根据权利要求1所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定需要显示的提示内容包括:
所述辅助驾驶控制器获取车辆状态信息,所述车辆状态信息包括车速、横摆角速度、制动踏板位移、加速踏板位移中的一项或多项;在所述车辆状态信息超出预设安全范围时,将相应的第一警示信息作为所述提示内容,所述第一警示信息包括第一警示文字、第一警示图像、第一警示视频中的一项或多项;
或者,所述辅助驾驶控制器获取外部对象信息,所述外部对象信息包括与外部对象的当前距离;在所述当前距离小于预设的安全距离时,将相应的第二警示信息作为所述提示内容,所述第二警示信息包括第二警示文字、第二警示图像、第二警示视频中的一项或多项;
或者,所述辅助驾驶控制器获取驾驶员信息,所述驾驶员信息包括眨眼频率、闭眼时长、当前注视方向、视线集中时长、低头时长、低头频率中的一项或多项;在所述驾驶员信息满足异常驾驶条件时,将相应的第三警示信息作为所述提示内容,所述第三警示信息包括第三警示文字、第三警示图像、第三警示视频中的一项或多项;其中,所述异常驾驶条件包括:所述眨眼频率大于预设的眨眼频率阈值、所述闭眼时长大于预设的闭眼时长阈值、所述当前注视方向偏离道路方向且偏离时长大于预设的偏离时长阈值、所述视线集中时长大于预设的视线集中时长阈值、所述低头时长大于预设的低头时长阈值、所述低头频率大于预设的低头频率阈值中的一种或多种;
或者,所述辅助驾驶控制器获取驾驶员的操纵信息,在所述操纵信息与标准操纵信息不匹配时,将相应的第四警示信息和/或所述标准操纵信息作为所述提示内容,所述第四警示信息包括第四警示文字、第四警示图像、第四警示视频中的一项或多项。
3.根据权利要求1所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定需要显示的提示内容包括:
所述辅助驾驶控制器用于根据当前场景确定需要显示的虚拟教学对象,并将所述虚拟教学对象作为所述提示内容;
确定需要显示所述虚拟教学对象的实际位置,将所述实际位置和所述眼盒范围的连线与所述反射装置之间的相交位置作为提示位置,并控制所述投影像源在所述提示位置处显示所述提示内容。
4.根据权利要求3所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定需要显示的提示内容包括:
确定需要显示的目标信息,根据所述目标信息的参数值生成具有相应特征值的提示内容,所述特征值包括颜色、大小、形状中的一项或多项。
5.根据权利要求1所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定需要显示的提示内容包括:
所述辅助驾驶控制器确定外部对象信息,根据所述外部对象信息生成当前需要显示的提示内容,并确定提示位置;之后控制所述投影像源在所述提示位置处显示所述提示内容;
其中,所述提示位置为预先设置的用于显示所述提示内容的位置;或者,所述提示位置为所述外部对象的当前位置和所述眼盒范围的连线与所述反射装置之间的相交位置。
6.根据权利要求5所述的抬头显示设备,其特征在于,所述外部对象信息包括外部对象的当前位置、与外部对象之间的当前距离、外部对象的运动速度中的一项或多项;
所述辅助驾驶控制器根据所述外部对象信息生成当前需要显示的提示内容,并确定提示位置,包括:
根据所述外部对象信息与标准值之间的差值生成具有相应特征值的提示内容,所述特征值包括颜色、大小、形状中的一项或多项;将所述外部对象的当前位置和所述眼盒范围的连线与所述反射装置之间的相交位置作为提示位置。
7.根据权利要求6所述的抬头显示设备,其特征在于,当存在多个外部对象时,所述辅助驾驶控制器根据每个所述外部对象的所述外部对象信息与标准值之间的差值生成具有相应特征值的提示内容,且不同的外部对象或不同类的外部对象对应具有不同特征值的提示内容。
8.根据权利要求6所述的抬头显示设备,其特征在于,所述辅助驾驶控制器还用于:
确定本地运动路径,并根据所述外部对象信息的变化值确定所述外部对象的运动路径;
将所述本地运动路径和/或所述外部对象的运动路径作为提示内容;和/或,在所述外部对象的运动路径与本地的运动路径相交时,将相应的告警消息作为所述提示内容,所述告警消息包括告警文字、告警图像、告警视频中的一项或多项。
9.根据权利要求1所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定需要显示的提示内容包括:
确定导航信息,根据所述导航信息生成需要显示的提示内容。
10.根据权利要求9所述的抬头显示设备,其特征在于,所述辅助驾驶控制器确定导航信息包括:
获取服务器下发的导航信息;
或者,获取用户输入的行驶需求,根据所述行驶需求生成导航信息;
或者,生成一个或多个行驶路径并在所述反射装置上显示,在接收到用户输入的选择指令时,根据所述选择指令所指向的行驶路径生成导航信息。
11.根据权利要求9所述的抬头显示设备,其特征在于,所述辅助驾驶控制器根据所述导航信息生成需要显示的提示内容包括:
将所述导航信息中的重点信息作为需要显示的提示内容,所述重点信息包括起点位置、终点位置、与终点的距离、到达终点的时间、行程进度中的一项或多项;
和/或,根据本地当前所在位置和所述导航信息确定相应的操纵提示信息,并将所述操纵提示信息作为提示内容。
12.根据权利要求9所述的抬头显示设备,其特征在于,所述辅助驾驶控制器还用于:
获取公共对象的相应信息,所述公共对象包括公共交通、紧急车辆;
根据所述公共对象的相应信息确定所述公共对象的位置和/或行驶路径,并将所述公共对象的位置和/或行驶路径作为提示内容。
13.根据权利要求12所述的抬头显示设备,其特征在于,所述辅助驾驶控制器还用于:
在所述导航信息与所述公共对象的位置或行驶路径之间存在交集时,生成报警信息,或更新所述导航信息,且更新后的所述导航信息与所述公共对象的位置或行驶路径之间不存在交集。
14.根据权利要求1所述的抬头显示设备,其特征在于,所述辅助驾驶控制器还用于:
向发声装置发送提醒语音,并指示所述发声装置播放所述提醒语音;
或者,向振动装置发送振动信号,指示所述振动装置振动;所述振动装置为能够接触到用户的装置。
15.根据权利要求1-14任意一项所述的抬头显示设备,其特征在于,还包括信息采集装置,所述信息采集装置与所述辅助驾驶控制器通信相连;所述信息采集装置包括图像采集设备、车载雷达、红外传感器、激光传感器、超声波传感器、速度传感器、转速传感器、角速度传感器、位移传感器、GPS、V2X***、ADAS中的一种或多种;
所述信息采集装置用于采集当前信息,并将采集到的所述当前信息发送至所述辅助驾驶控制器;所述当前信息包括车辆状态信息、外部对象信息、驾驶员信息、驾驶员的操纵信息、本地运动路径、导航信息、公共对象的相应信息中的一项或多项;
所述辅助驾驶控制器用于:根据所述当前信息生成所述提示内容。
16.根据权利要求1所述的抬头显示设备,其特征在于,
所述主光轴控制元件包括多个非连续的第一反射结构,所述第一反射结构用于将一路所述成像光线反射至所述观察范围;
所述第一反射结构上的点(x,y,z)满足以下方程:
其中,P1为所述投影像源所在位置的坐标,P2为所述观察范围的坐标,M0(x0,y0,z0)为第一反射结构上的一个已知点的坐标,表示所述第一反射结构的法向量;
或者,
所述主光轴控制元件包括多个连续的第二反射结构,所述第二反射结构用于将多路所述成像光线反射至所述观察范围;
所述第二反射结构与所述主光轴控制元件所在平面之间的夹角为θ:
其中,表示所述主光轴控制元件所在平面的法向量;P1为所述投影像源所在位置的坐标,P2为所述观察范围的坐标,M0(x0,y0,z0)为第二反射结构与主光轴控制元件所在平面交线上的一个已知点的坐标,/>表示所述第二反射结构在点M0处的法向量;
所述第二反射结构与主光轴控制元件所在平面交线上的点M(x,y,z)满足以下方程:
其中,表示所述第二反射结构在点M处的法向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010039954.9A CN113119862B (zh) | 2020-01-15 | 2020-01-15 | 一种用于辅助驾驶的抬头显示设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010039954.9A CN113119862B (zh) | 2020-01-15 | 2020-01-15 | 一种用于辅助驾驶的抬头显示设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113119862A CN113119862A (zh) | 2021-07-16 |
CN113119862B true CN113119862B (zh) | 2023-09-12 |
Family
ID=76771232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010039954.9A Active CN113119862B (zh) | 2020-01-15 | 2020-01-15 | 一种用于辅助驾驶的抬头显示设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113119862B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114034310B (zh) * | 2021-10-28 | 2023-09-29 | 东风汽车集团股份有限公司 | 基于ar-hud与手势交互的自动导航辅助驾驶*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334530A (zh) * | 2007-06-27 | 2008-12-31 | 先进微***科技股份有限公司 | 抬头显示*** |
CN101866049A (zh) * | 2009-04-02 | 2010-10-20 | 通用汽车环球科技运作公司 | 挡风玻璃平视显示器上的行驶车道 |
CN106101667A (zh) * | 2016-06-30 | 2016-11-09 | 京东方科技集团股份有限公司 | 抬头显示器及抬头显示器显示方法、行驶装置 |
CN107076991A (zh) * | 2014-07-22 | 2017-08-18 | 诺迪公司 | 紧凑型抬头显示器*** |
CN107521411A (zh) * | 2017-07-18 | 2017-12-29 | 吉林大学 | 一种辅助驾驶员的车道级导航增强现实装置 |
CN108128246A (zh) * | 2017-12-19 | 2018-06-08 | 深圳大学 | 一种车辆偏航警示与控制方法及*** |
CN108237980A (zh) * | 2016-12-27 | 2018-07-03 | 大众汽车有限公司 | 驾驶员辅助***、程序产品、信号序列、行驶装置和方法 |
CN109462750A (zh) * | 2018-12-29 | 2019-03-12 | 上海玮舟微电子科技有限公司 | 一种抬头显示***、信息显示方法、装置及介质 |
CN109946838A (zh) * | 2017-11-02 | 2019-06-28 | 矢崎总业株式会社 | 平视显示器装置 |
CN110214107A (zh) * | 2017-01-26 | 2019-09-06 | 福特全球技术公司 | 提供驾驶员教育的自主车辆 |
WO2019225572A1 (ja) * | 2018-05-25 | 2019-11-28 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180252915A1 (en) * | 2017-03-01 | 2018-09-06 | E-Lead Electronic Co., Ltd. | Head-up display device with narrow angle diffusion sheet |
-
2020
- 2020-01-15 CN CN202010039954.9A patent/CN113119862B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334530A (zh) * | 2007-06-27 | 2008-12-31 | 先进微***科技股份有限公司 | 抬头显示*** |
CN101866049A (zh) * | 2009-04-02 | 2010-10-20 | 通用汽车环球科技运作公司 | 挡风玻璃平视显示器上的行驶车道 |
CN107076991A (zh) * | 2014-07-22 | 2017-08-18 | 诺迪公司 | 紧凑型抬头显示器*** |
CN106101667A (zh) * | 2016-06-30 | 2016-11-09 | 京东方科技集团股份有限公司 | 抬头显示器及抬头显示器显示方法、行驶装置 |
CN108237980A (zh) * | 2016-12-27 | 2018-07-03 | 大众汽车有限公司 | 驾驶员辅助***、程序产品、信号序列、行驶装置和方法 |
CN110214107A (zh) * | 2017-01-26 | 2019-09-06 | 福特全球技术公司 | 提供驾驶员教育的自主车辆 |
CN107521411A (zh) * | 2017-07-18 | 2017-12-29 | 吉林大学 | 一种辅助驾驶员的车道级导航增强现实装置 |
CN109946838A (zh) * | 2017-11-02 | 2019-06-28 | 矢崎总业株式会社 | 平视显示器装置 |
CN108128246A (zh) * | 2017-12-19 | 2018-06-08 | 深圳大学 | 一种车辆偏航警示与控制方法及*** |
WO2019225572A1 (ja) * | 2018-05-25 | 2019-11-28 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
CN109462750A (zh) * | 2018-12-29 | 2019-03-12 | 上海玮舟微电子科技有限公司 | 一种抬头显示***、信息显示方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113119862A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6861375B2 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
JP6485732B2 (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
US8536995B2 (en) | Information display apparatus and information display method | |
US20170161009A1 (en) | Vehicular display device | |
US6919866B2 (en) | Vehicular navigation system | |
WO2020261781A1 (ja) | 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体 | |
JP6883759B2 (ja) | 表示システム、表示システムの制御方法、プログラム、及び移動体 | |
JP2015068831A (ja) | 機能拡張された3次元(3−d)ナビゲーション | |
CN105523041B (zh) | 车道偏离警告***和用于控制该***的方法 | |
JP6443716B2 (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
JP7310560B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP2017092678A (ja) | 自動車用画像表示システム | |
JP7300112B2 (ja) | 制御装置、画像表示方法及びプログラム | |
JP6796806B2 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
US20230046484A1 (en) | Head up display system and control method thereof, and vehicle | |
JP2016109645A (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
JP2016107947A (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
JP2020071415A (ja) | ヘッドアップディスプレイシステム | |
JP2019040634A (ja) | 画像表示装置、画像表示方法及び画像表示制御プログラム | |
CN113126295A (zh) | 一种基于环境显示的抬头显示设备 | |
CN113119862B (zh) | 一种用于辅助驾驶的抬头显示设备 | |
JP2019202589A (ja) | 表示装置 | |
JP2021006805A (ja) | 表示制御装置及び表示制御プログラム | |
JP7318431B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP2022138173A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |