CN102568231A - 全挡风玻璃平视显示器上的道路情况警报 - Google Patents
全挡风玻璃平视显示器上的道路情况警报 Download PDFInfo
- Publication number
- CN102568231A CN102568231A CN2011104496731A CN201110449673A CN102568231A CN 102568231 A CN102568231 A CN 102568231A CN 2011104496731 A CN2011104496731 A CN 2011104496731A CN 201110449673 A CN201110449673 A CN 201110449673A CN 102568231 A CN102568231 A CN 102568231A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- display
- monitoring
- road hazard
- substantially transparent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 40
- 239000002245 particle Substances 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 15
- 241000287181 Sturnus vulgaris Species 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 10
- 230000004927 fusion Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002411 adverse Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000010267 cellular communication Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Abstract
本发明涉及全挡风玻璃平视显示器上的道路情况警报。基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。一种利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法包括:监测道路情况;基于道路情况识别潜在道路危险;确定识别出潜在道路危险的图形;对应于所述车辆的驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置;以及在所述基本透明挡风屏平视显示器上显示所述图形。
Description
技术领域
本公开涉及在机动车辆内的挡风屏上呈现对于潜在道路危险的识别的图形成像。
背景技术
这部分中的陈述仅提供与本公开有关的背景信息并且可能不构成现有技术。
在车辆沿道路行驶时,当车辆操作者知道道路上具有潜在危险的情况时会提升驾驶能力。车辆的操作者能越早地识别潜在道路危险,则操作者就能够越早地进行预防从而避免潜在道路危险。
沿道路的诸如冰和凹坑的情况可能是潜在危险的并且不会被车辆的操作者注意到。早期识别潜在的道路危险可以使得车辆的操作者能够采取适当预防措施来避免潜在的道路危险。
平视显示器将光投射在屏上并且光被转换成屏上的可视显示。已知平视显示器通过减少操作者的疲劳且同时允许操作者保持关注于驾驶从而以有效方式向车辆的操作者呈现信息。
发明内容
基本透明挡风屏平视显示器包括在挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法包括:监测道路情况;基于道路情况识别出潜在道路危险;确定识别出潜在道路危险的图形;在基本透明挡风屏平视显示器上对应于车辆的驾驶场景动态地标示图形的位置;以及在基本透明挡风屏平视显示器上显示图形。
本发明还提供了以下技术方案。
方案1. 一种利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法,包括:
监测道路情况;
基于所述道路情况识别潜在道路危险;
确定识别出所述潜在道路危险的所述图形;
对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置;以及
在所述基本透明挡风屏平视显示器上显示所述图形;
其中所述基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
方案2. 根据方案1所述的方法,还包括监测占用者眼睛位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置是基于所述占用者眼睛位置。
方案3. 根据方案2所述的方法,还包括监测所述车辆的当前取向和监测被识别潜在道路危险的当前位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还基于所述车辆的当前取向和所述被识别潜在道路危险的当前位置。
方案4. 根据方案3所述的方法,还包括监测操作者凝视位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还包括基于所述操作者凝视位置和所述被识别潜在道路危险的当前位置之间的距离增加来增加对所述图形的强调。
方案5. 根据方案3所述的方法,还包括监测所述车辆的当前位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还包括基于所述车辆的当前位置和所述被识别潜在道路危险的当前位置之间的距离减少来增加对所述图形的强调。
方案6. 根据方案1所述的方法,还包括监测车辆-车辆通信;并且
其中所述监测道路情况是基于所述车辆-车辆通信。
方案7. 根据方案6所述的方法,还包括对于所述车辆前方的潜在道路危险的请求;
其中所述车辆-车辆通信包括:
向所述车辆前方的第二车辆传达对潜在道路危险的请求;以及
将所述潜在道路危险的位置和特性从所述第二车辆传递到所述车辆。
方案8. 根据方案6所述的方法,其中所述监测道路情况包括:
分析所述第二车辆的驾驶性状态,所述驾驶性状态在所述车辆-车辆信息中被传输;
基于所分析的所述第二车辆的驾驶状态来检测不良驾驶状态;
识别检测到的不良驾驶状态的位置,该位置在所述车辆-车辆信息中被传输;以及
其中基于所述不良驾驶状态的位置来识别所述潜在道路危险。
方案9. 根据方案1所述的方法,还包括监测来自距离传感器的距离数据;
其中所述监测道路情况是基于来自所述距离传感器的所述距离数据;并且
其中识别所述潜在道路危险利用来自所述距离传感器的所述距离数据来识别所述潜在道路危险。
方案10. 根据方案1所述的方法,还包括监测图像数据;
其中所述监测道路情况是基于所述图像数据;并且
其中识别所述潜在道路危险利用所述图像数据来识别所述潜在道路危险。
方案11. 根据方案1所述的方法,还包括监测来自无线通信的数据;
其中所述监测道路情况是基于来自所述无线通信的所述数据;并且
其中识别所述潜在道路危险利用来自所述无线通信的所述数据来识别所述潜在道路危险。
方案12. 根据方案1所述的方法,还包括监测车辆行驶历史,包括:
监测所述车辆行驶的当前路线;
监测沿所述车辆先前行驶的基本上相似路线的记录的危险;以及
将所述车辆行驶的所述当前路线与沿所述车辆先前行驶的所述基本上相似路线所记录的危险相比较并且互相参照;
其中所述监测道路情况是基于所述车辆行驶历史。
方案13. 根据方案1所述的方法,其中所述监测道路情况包括:
监测所述车辆的计划路线;以及
监测沿所述车辆的所述计划路线的天气情况;
其中基于监测的道路情况来识别所述潜在道路危险包括当监测的天气情况是不良天气情况时将沿所述车辆的所述计划路线易受潜在危险情况影响的路段识别为所述潜在道路危险。
方案14. 根据方案13所述的方法,其中确定识别出所述潜在道路危险的所述图形包括利用叠覆于被识别为所述潜在道路危险的所述路段的突出图形。
方案15. 根据方案1所述的方法,其中确定识别出所述潜在道路危险的图形包括利用框住被识别潜在道路危险的突出框。
方案16. 一种利用基本透明挡风屏平视显示器将突出轮廓的图形动态地标示到车辆的驾驶场景上的方法,包括:
监测道路情况;
基于监测的道路情况识别潜在道路危险;
监测占用者眼睛位置;
监测占用者凝视位置;
监测所述车辆的当前取向;
监测被识别潜在道路危险的当前位置;
基于所述占用者眼睛位置、所述占用者凝视位置、所述车辆的当前取向和检测到的潜在道路危险的当前位置来对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述突出轮廓的图形的位置;
在所述基本透明挡风屏平视显示器上显示所述突出轮廓的图形;以及
其中所述基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
方案17. 根据方案16所述的方法,还包括:
确定所述被识别潜在道路危险所呈现的威胁程度;
监测所述车辆和所述被识别潜在道路危险之间的距离;以及
基于所述威胁程度以及所述车辆和所述被识别潜在道路危险之间的所述距离来动态地加强所述突出轮廓的图形。
附图说明
现在将参考附图通过示例方式描述一种或更多种实施例,附图中:
图1示出了根据本公开装备有EVS***的示例性车辆;
图2示出了根据本公开的基本透明显示器;
图3示出了根据本公开的示例性目标跟踪***,其中传感器输入被融合以便连续地确定被跟踪的远程或目标物体的当前位置;
图4示出了根据本公开在相对于车辆的车辆环境中识别并定位针对该车辆的潜在道路危险的示例性控制方案400;以及
图5示出了根据本公开的驾驶场景,其包括被动态标示在车辆的基本透明挡风屏平视显示器上的图形。
具体实施方式
现在参考附图,其中这些图示仅为了示出某些示例性实施例的目的且不是为了限制性目的,公开了在车辆的挡风屏上呈现识别出潜在道路危险的图形图像的方法和视觉增强***(EVS)。图形图像来源于识别潜在道路危险的传感器和/或数据输入,通过对所述输入的处理以便将识别出的潜在道路危险传送给车辆的操作者或占用者。将在挡风屏上显示的图形图像对应于车辆的驾驶场景被动态地标示(register)到挡风屏上的某一位置,使得车辆的预期操作者或占用者可以看到其他车辆和作为单个可辨别输入的识别潜在道路危险的被标示图形图像。类似地,能够以与识别潜在道路危险的被标示图形图像相同的方式动态地标示呈现潜在道路危险的图形图像。
图1示出了根据本公开装备有EVS***的示例性车辆。示例性EVS***被公开于共同未决的美国申请号12/417,077,其并入本文以供参考。车辆100包括:EVS***管理器110;车辆传感器***,包括摄像机***120、激光雷达***127、红外(IR)成像装置137和雷达***125;车辆操作传感器,包括车辆速度传感器130;信息***,包括GPS装置140和无线通信***145;平视显示器(HUD)150;人机接口(HMI)151;EVS图形***155;图形投影***158;以及占用者眼睛位置感测***(occupant eye location sensing system)160。EVS***管理器110包括可编程处理器,其包括程序以监测各种输入并且识别车辆100的潜在道路危险以显示在HUD 150上。EVS***管理器110能够直接与各种***和部件通信,或者EVS***管理器110能够可替代地或附加地在LAN/CAN***115上通信。EVS***管理器110利用来源于大量输入的、与车辆100的操作环境有关的信息。摄像机***120包括摄像机或图像捕获装置,其获取呈现车辆视野的周期性或次序性图像。摄像机***120的摄像机或图像捕获装置优选地包括360度的覆盖度。激光雷达***127包括本领域已知的利用散射光来测定位于该车辆附近的其他车辆的距离和/或其他信息的装置。IR成像装置137包括本领域已知的利用热成像摄像机来检测电磁波谱的红外区域内的辐射并且产生与其他车辆对应的该辐射的图像的装置。来自IR成像装置137和摄像机***120的图像可被称为图像数据。雷达***125包括本领域已知的利用电磁辐射来检测位于车辆附近的其他车辆或物体的装置。雷达***125和激光雷达***127可被称为距离传感器。本领域中的大量已知车载传感器被用于车辆中以便监测车辆速度、发动机速度、车轮滑移和代表车辆操作的其他参数。车辆速度传感器130代表了一种传感器,不过本公开的范围包括供EVS使用的任意这样的传感器。GPS装置140和无线通信***145与车辆外部的资源通信,例如卫星***180和蜂窝通信塔190。来自互联网的数据能够从无线通信***145获得。GPS装置140可以与3D地图数据库结合使用,该3D地图数据库包括与GPS装置140接收的全局坐标相关的关于车辆的当前位置的详细信息。来自车辆传感器***和车辆操作传感器的信息能够被EVS***管理器110用来监测车辆的当前位置和取向。HUD 150包括挡风屏,该挡风屏装备有能够显示投影在其上的图像且同时保持透明或基本透明以使得车辆的占用者能够通过挡风屏清楚地观察车辆外部的特征。应该意识到虽然HUD 150包括在车辆前部的挡风屏,不过车辆内的其他表面也可以用于投影,包括侧窗和后窗。此外,在前挡风屏上的景象可以在车辆前“A-柱”上连续并且连续到侧窗上以作为连续图像。HMI 151包括计算装置,其中车辆的操作者能够输入命令以便与HMI 151信号通信地控制车辆的各种***并且接收所需信息。例如,利用HMI 151,操作者能够向其他车辆输入请求(即,车辆-车辆通信)以有助于识别沿道路在前方的潜在道路危险。EVS图形引擎155包括显示软件或程序以便翻译请求从而以信息的图形图示的方式来显示来自EVS***管理器110的信息。EVS图形引擎155包括程序以便补偿挡风屏的弯曲和倾斜的表面以及图形将在其上投影的任意其他表面。EVS图形引擎155控制图形投影***158,该图形投影***158包括产生激发光以便投射图形图示的激光器或投影机装置。占用者眼睛位置感测***160包括本领域已知的估测占用者的头部位置且进一步估测占用者的眼睛的取向或凝视位置的传感器。基于占用者眼睛位置感测***160的输出、车辆100的当前取向以及跟踪与车辆周围环境(例如被识别的潜在道路危险)相关的位置信息的输入数据,EVS***管理器110能够准确地将图形图示动态地标示到HUD,使得占用者通过挡风屏看到叠覆有可视图像的图像。
上述EVS包括眼睛感测和头部感测装置,其允许估计眼睛位置、允许在HUD上动态标示图像以使得图像对应于操作者的视野。不过,将意识到,能够通过大量方法来实现对于头和眼睛位置的估计。例如,在与调节后视镜类似的过程中,操作者能够在进入车辆时使用校准例程将图形对齐于被检测目标。在另一实施例中,在车辆中的纵向就坐位置能够被用于估计驾驶员头部的位置。在另一实施例中,对一个或多个后视镜的手动调节能够被用于估计操作者的眼睛位置。应该意识到,各方法的结合(例如就坐位置和镜调节角度的结合)能够被用于以改善的准确度估计操作者头部位置。可以想到实现在HUD上准确标示图形的许多方法,并且本公开不旨在受限于这里描述的具体实施例。
示例性EVS包括:宽视野全挡风屏HUD,即基本透明屏,其包括显示投影在其上的图形图像的功能;HUD图像引擎,其包括能够在挡风屏上投影图像的一个或多个激光器;输入源,其获得与车辆的操作环境有关的数据;以及EVS***管理器,其包括程序以便监测来自输入装置的输入、处理所述输入并且确定与操作环境相关的关键信息,并且产生针对要被HUD图像引擎产生的图形图像的请求。不过,将意识到这种示例性EVS仅是EVS能够采取的大量构造中的一种。例如,视觉或摄像机***可用于将要讨论的各种EVS应用。不过,应该意识到示例性EVS***能够在没有视觉***的情况下运转,例如提供仅来自于GPS装置、3D地图数据库和车载传感器的可用信息。在替代方案中,应该意识到示例性EVS***能够在不访问GPS装置或无线网络而是仅利用来自视觉***和雷达***的输入的情况下运转。许多不同的构造可以用于所公开的***和方法,并且本公开不旨在受限于这里描述的示例性实施例。
为了用作相关特征可以通过其被观察的介质且同时用作可以在其上显示图形图像的显示装置,车辆的挡风屏必须既透明又能够显示激发光源所投影的图像。图2示出了根据本公开的基本透明显示器。观察者10能够通过基体14看到任意物体(例如立方体12)。基体14可以是透明的或基本透明的。虽然观察者10通过基体14看到任意物体12,不过观察者也能够看到产生于基体14的图像(例如圆15和三角16)。基体14可以是车辆挡风玻璃、玻璃基体、塑料基体、聚合物基体或者本领域技术人员能意识到的其他透明(或基本透明)介质的一部分。其他基体可以补充基体14来提供着色、基体保护、滤光(例如过滤外部紫外光)以及其他功能。
图2示出了对基体14的照射,该基体14被来自由装置20示出的光源(例如投影机或激光器)的激发光(例如紫外光或红外光)照射。接收到的激发光可以被基体14处的发光材料吸收。当发光材料接收到激发光时,发光材料可以发出可见光。因此,可以通过使用激发光选择性地照射基体14在基体14处产生图像(例如圆15和三角16)。
在一种实施例中,激发光由包括投影机的装置20输出。投影机可以是数字投影机。投影机可以是微镜阵列(MMA)投影机(例如数字光处理(DLP)投影机)。输出紫外光的MMA投影机可类似于输出可见光的MMA投影机,只是色轮具有适合于紫外光谱的滤光器。投影机是液晶显示(LCD)投影机。投影机可以是硅基液晶显示(LCOS)投影机。投影机可以是模拟投影机(例如幻灯胶片投影机或电影胶片投影机)。本领域的技术人员将意识到可以用于将紫外光投射在基体14上的其他类型投影机。
在另一实施例中,激发光由装置20输出,该装置20包括激光器。从装置20输出的激光束的强度和/或运动可以被调制成在基体14中产生图像。在降频转换实施例中,来自激光器的输出可以是紫外光。在升频转换实施例中,来自激光器的输出可以是红外光。
图2示出了分布在基本透明基体内的发光材料(例如发光颗粒22)。当激发光被发光颗粒22吸收时,发光颗粒发出可见光。因此,在降频转换实施例中,当紫外光被发光颗粒22吸收时,可见光从发光颗粒发出。类似地,在升频转换实施例中,当红外光被发光颗粒22吸收时,可见光从发光颗粒发出。
图2示出了包括被分布在基本透明基体内的发光颗粒22的发光材料。这些发光颗粒22能够自始至终是基本类似的颗粒,或者如图2所示,颗粒的成分可以变化。当激发光被发光颗粒22吸收时,颗粒发出可见光。因此,在降频转换实施例中,当紫外光被发光颗粒吸收时,从发光颗粒发出可见光。类似地,在升频转换实施例中,当红外光被发光颗粒吸收时,从发光颗粒发出可见光。每个发光颗粒均可以是不同类型的发光材料,其响应不同波长范围的激发光(例如紫外或红外光)而发出不同波长范围的可见光。
发光颗粒22可以遍布于基体14。在替代方案中,如图2所示,颗粒可以被置于基体14的表面上。发光颗粒22可以通过被涂覆在基体14上而被整合到基体14中。发光材料可以是荧光材料,其响应于对电磁辐射(例如可见光、紫外光或红外光)的吸收而发出可见光,该电磁辐射具有与发出的可见光不同的波长。颗粒的尺寸可以小于可见光的波长,这可以减少或消除由颗粒散射的可见光。比可见光的波长小的颗粒的示例是纳米颗粒或分子。每种发光颗粒可具有小于大约400纳米的直径。根据实施例,每种发光颗粒可具有小于大约300纳米、小于大约200纳米、小于大约100纳米或者小于大约50纳米的直径。发光颗粒可以是单个分子。
图3示意性示出了示例性目标跟踪***300,其中传感器输入被融合以便连续地确定被跟踪的远程或目标物体的当前位置303。与车辆周围环境中的目标物体相关的输入被数据融合模块302监测。数据融合模块302根据各种输入的可靠性来分析、过滤或优先化所述输入,并且被优先化或加权的输入被求和从而确定目标物体的当前位置。
数据融合模块302可用于整合来自各种感测装置的输入并且产生目标物体的融合行踪以确定目标物体的当前位置。融合行踪包括相对于车辆对于目标物体的相对位置和轨迹的数据评估。这种基于距离传感器306(包括雷达、激光雷达和其他测距传感器)输入的数据评估是有用的,不过包括了用于产生行踪的传感器装置的不准确性和不精确性。如上所述,不同传感器输入能够被结合使用以便提高确定目标物体(例如潜在道路危险)的当前位置时所涉及的评估的准确性。
视觉***提供了在目标跟踪***300中使用的传感器输入的附加来源或替代性来源。模式识别、角落检测、竖直边缘检测、竖直物体识别和其他方法可以用于分析视觉信息。不过,应该意识到,对于车辆前方视场的以高速率刷新(体察实时运动所必须的)的高分辨率视觉图示包括所要分析的非常大量的信息。因此,期望将来自视觉***308的输入与距离传感器306相融合从而将视觉分析集中在最可能确定目标物体的当前位置的一部分视觉信息上。
其他车载传感器312能够与目标跟踪***300的数据融合模块302一同使用来确定目标物体的当前位置303,所述其他车载传感器312包括提供例如红外和超声信息。
此外,车辆-车辆信息(vehicle-to-vehicle information)310能够被用于在目标物体是另一车辆时确定目标物体的当前位置303。当目标物体是第二车辆时,第二车辆将其当前位置传达给第一车辆(例如所述车辆)的控制***(例如EVS***管理器110)。由第二车辆传达的当前位置能够包括第二车辆向第一车辆提供与3D地图数据相结合的GPS坐标。车辆-车辆信息310能够被单独使用或者能够与各种感测装置一起用于融合模块302中以便产生目标物体的融合行踪从而确定目标物体的当前位置303。
还应该意识到,图3的数据融合模块302能够被用于使用其距离传感器(例如雷达和激光雷达)、摄像机、IR成像装置和车辆-车辆通信来连续地监测周围环境,从而通过评估来自感测装置的输入而采取适当对策以便避免造成碰撞的意外或情况。公开于美国专利序列号7,460,951且并入本文以供参考的示例性轨迹融合过程允许确定目标物体在相对于车辆的XY坐标系中的位置。类似地,目标行踪能够被用于各种目的,包括自适应巡航控制,其中车辆调节速度来保持距当前路径中的车辆的最小距离。能够利用目标行踪的另一类似***是碰撞预警***(CPS),其中被识别的目标行踪被分析以便基于相对于车辆的行踪运动识别出可能的即将发生或迫近的碰撞。CPS警告驾驶员即将发生的碰撞,并且如果碰撞被认为是不可避免的则通过自动刹车来降低碰撞严重性。
所有上述输入均能被示例性EVS***管理器110利用。此外,应该意识到EVS***管理器110可以采用与目标跟踪有关的上述方法以便确定目标物体的当前位置,其中目标物体能够是被识别的潜在道路危险。
可以利用基本透明挡风屏HUD将图形动态地标示到车辆的驾驶场景上,其中该图形识别出潜在道路危险。将图形动态地标示到车辆的驾驶场景上需要监测与占用者眼睛位置(和/或头部位置)相关的数据、监测车辆的当前取向、监测车辆的当前位置以及监测目标物体(例如被识别的潜在道路危险)的当前位置。参考图1和图3,占用者眼睛位置感测***160包括本领域已知的用于估测占用者头部位置且进一步估测占用者眼睛取向或凝视位置的传感器。占用者可以是车辆的操作者或者车辆内的乘客。头部和眼睛感测装置是本领域已知的并且在此不作更详细的讨论。为了本公开的目的,基于摄像机的装置与图像识别软件结合使用以便基于图像识别程序来估计能够与车辆坐标系相协调的车辆内的三维头部位置和占用者的凝视方向。
能够通过本领域已知的方法来确定车辆的当前取向,该方法例如但不限于监测与3D地图数据库和数字罗盘结合的GPS装置140,所述3D地图数据库和数字罗盘包括与GPS装置140接收到的全局坐标相关的关于车辆当前取向的详细信息。当前取向还能够由车辆运动学确定,其包括至少车辆速度和偏航速率,这可通过监测车辆运转和/或监测加速表读数的传感器来获得。
能够通过分析由上文所述的目标跟踪***300所获得的数据来监测目标物体的当前位置,其中一个或多个传感器彼此结合使用以便监测目标物体的当前位置。例如,包括摄像机***120和雷达***125的车辆传感器***能够融合收集到的信息以监测目标物体的当前位置。类似地,能够使用车辆-车辆通信,其中目标物体是将其当前位置持续地传送回所述车辆(例如传送与3D地图数据结合的GPS信息)的第二车辆。
基于占用者眼睛位置、车辆的当前取向和目标物体(例如被识别的社会网络用户)的当前位置,被跟踪物体(例如,被识别的潜在道路危险)和操作者眼睛之间的估计交点能够在挡风屏上被确定,从而使得图形图像能够被动态地标示到挡风屏上对应于车辆的驾驶场景的位置,使得车辆的占用者可以看到被识别的潜在道路危险和将潜在道路危险识别成单个可分辨输入的被标示的图形图像。
还应该意识到,被动态标示的图形能够基于占用者的凝视位置而被更新。如下文将参考具体示例被更详细描述的,能够基于在占用者的凝视位置和驾驶场景上被识别的潜在道路危险之间的距离来增强或减弱对于被标示图形的强调。例如,当占用者的凝视位置距被动态标示的图形变远时,能够对图形增加强调以便获得占用者的注意,原因在于明显地占用者将目光从图形移开。不过,如果占用者凝视位置距所述图形变近,则可以减弱对于图形的强调,原因在于明显地占用者正在观察图形或图形附近。类似地,如果图形实际上是文本的,则当占用者的凝视位置变近时能够增加对文本图形的强调从而使得文本清晰,因为明显地占用者正在看所述图形且试图阅读文本。强调可以包括增加或减弱图形的照明度和/或使得图形闪烁或跳动。另外,能够通过基于在车辆的当前位置和被识别的潜在道路危险的当前位置之间的距离减小来增强或减弱对于图形的强调,从而动态地更新图形的位置。例如,当车辆接近被识别为潜在道路危险的黑冰时,识别并且定位该黑冰的图形可以在车辆与黑冰之间的当前位置变近时被增强。
参考图4,示出了根据本公开在相对于车辆的车辆环境中识别并定位针对该车辆的潜在道路危险的示例性控制方案400的图示。与EVS***管理器110相关联的潜在道路危险模块(PRHM)450分析PRHM 450所利用的传感器和数据输入402来识别和定位潜在道路危险420。PRHM 450利用来自多个车辆传感器和数据模块406的传感器和数据输入402来监测车辆环境。应该意识到多个车辆传感器和数据模块406中的每一个均能够被单独使用或者与其他传感器和数据模块结合使用,这取决于监测车辆环境来产生由PRHM 450所利用的传感器和数据输入402从而识别潜在道路危险420的应用。多个车辆传感器和数据模块406能够包括来自激光雷达模块450的数据、来自雷达模块452的数据、来自IR成像模块454的数据、车辆-车辆信息456、来自能够以360度旋转来捕获图像的摄像机模块458的数据、来自无线通信模块460的数据以及来自车辆历史模块(VHM)462的数据。雷达和激光雷达数据能够被称为分别来自图1的雷达***125和激光雷达***127的距离数据。类似地,IR成像数据和摄像机数据能够被称为分别来自图1的IR成像装置137和摄像机***120的图像数据。无线通信模块460能够包括来自包含互联网的无线通信***145、与3D地图数据结合的GPS数据、蜂窝通信190和卫星***180的数据。不过,本公开不限于这些传感器和数据模块。车辆-车辆信息456,也被称为车辆-车辆通信,包括利用GPS和3D地图数据、无线通信***145、卫星***180和蜂窝通信塔190。VHM 462包括车辆先前行驶的路线以及沿先前行驶的路线识别的潜在道路危险,其中潜在道路危险的特性和位置被记录且存储在存储器中。
控制***400还包括:EVS***管理器110,其监测来自PRHM 450的信息并且基于PRHM 450产生的被识别潜在道路危险420来产生显示需求430;EVS图形***155,其监测来自EVS***管理器110的显示需求430并且产生图形命令440;以及图形投影***158,其将光投射在平视显示器150上。
潜在道路危险420能够包括可能对沿着道路行驶的车辆构成潜在危险的任何物体、障碍物或情况。例如,潜在道路危险能够包括凹坑、黑冰、冰、砂砾、湿滑路段、在不良天气条件期间易受潜在危险情况影响的路段、道路上的物品、损坏的车辆以及隐藏于行车道中的车辆。然而,潜在道路危险不限于这些危险,并且应意识到包括能够导致对沿道路行驶的车辆的潜在危害或者威胁车辆的操作者安全的任何情况或危险。
想到的实施例包括利用多种车辆传感器和数据模块406来监测相对于车辆的车辆环境。基于传感器和数据输入402,PRHM 450能够识别出潜在道路危险420,其中EVS图形***155确定识别出道路危险的图形,并且该图形的位置对应于驾驶场景被动态地标示在基本透明挡风屏平视显示器上。图形投影***158利用平视显示器将图形显示到车辆的驾驶场景上。
监测道路情况能够基于车辆-车辆信息456(即,车辆-车辆通信)。例如,对于道路前方的潜在道路危险的请求能够由所述车辆向道路前方的第二车辆请求。所述请求能够由所述车辆的操作者利用HMI 141做出并且利用上文讨论的***中的任何***来传达。潜在道路危险的位置和特性能够从所述第二车辆传递到所述车辆。应当意识到,所述第二车辆响应于所述车辆的请求来识别潜在道路危险并且将该潜在道路危险的特性传递到所述车辆。还应当意识到,所述车辆的操作者能够将车辆-车辆信息456设置成自动地且连续地向道路前方的其他车辆(例如第二车辆)进行请求以识别和定位潜在道路危险。当其他传感器和数据模块可能不可用、超出范围或者不太优选时,车辆-车辆信息有利地在早期识别潜在道路危险。基于车辆-车辆信息,PRHM 450能够识别潜在道路危险420,其中EVS图形***155确定识别出潜在道路危险的图形,并且该图形的位置对应于驾驶场景被动态地标示在基本透明挡风屏平视显示器上。另外,所述第二车辆能够传输识别出潜在道路危险的消息,其中EVS图形***155确定解释识别出潜在道路危险的消息的文本图形。
监测车辆-车辆信息模块456的车辆-车辆信息还能够包括分析在车辆-车辆信息中传输的第二车辆的驾驶性状态。例如,车辆-车辆信息模块456能够监测第二车辆是否滑移,其中,第二车辆的车载传感器确定该第二车辆滑移。能够基于对第二车辆的驾驶状态(即,车辆正在滑移)的分析来检测不良驾驶状态。检测到的不良驾驶状态的位置能够被识别,其中该位置能够在车辆-车辆信息中被传输。PRHM 450因而能够基于检测到的不良驾驶状态的被识别位置来识别潜在道路危险420。在非限制性示例中,车辆-车辆信息能够确定第二车辆由于路上的黑冰而滑移,其中第二车辆滑移的位置被PRHM 450识别为由于黑冰所导致的被识别潜在道路危险的位置。EVS图形***155能够确定将黑冰识别为潜在道路危险的被标示图形,其中被标示图形的位置能够对应于车辆的驾驶场景被动态地标示在基本透明挡风屏平视显示器上。在非限制性示例性中,被标示图形能够包括诸如惊叹号的警报。另外,EVS图形***155能够确定将黑冰识别为潜在道路危险的文本图形。
在另一示例性实施例中,能够利用来自距离传感器的数据来监测道路情况,所述数据能够包括来自激光雷达模块450的数据和来自雷达模块452的数据,其中PRHM 450能够基于来自距离传感器的数据来识别潜在道路危险。例如,图1的雷达***125能够被用于检测可能是潜在危险的物体。例如,能够确定:沿道路的车辆由于距离传感器确定距离正在急剧减小而是不可操作的。类似地,在另一非限制示例中,距离传感器能够识别出使用来自摄像机***120的图像数据不可识别的隐藏于行车道中的车辆。EVS图形***155能够确定将隐藏车辆识别为潜在道路危险的图形,其中该图形的位置能够对应于车辆的驾驶场景被动态地标示在基本透明挡风屏平视显示器上。在非限制性示例中,图形能够包括包围隐藏车辆的突出轮廓的图形。
在另一个示例性实施例中,能够通过PRHM 450利用传感器和数据输入402来识别潜在道路危险,所述传感器和数据输入402能够包括来自IR成像模块454的图像数据和来自摄像机模块458的数据。例如,摄像机模块458能够包括由摄像机***120监测的数据,该数据包括被识别为沿着道路的凹坑的图像,其中PRHM 450能够将凹坑识别为潜在道路危险。还应当意识到,PRHM 450能够包括监测额外的数据,例如车辆行驶的车道和由摄像机模块458监测的凹坑所处的车道,其中凹坑所呈现的威胁程度基于与车辆行驶的车道和凹坑的被监测车道的关系而增加/减少。
在另一个示例性实施例中,能够通过PRHM 450利用来自无线通信模块460的数据来识别潜在道路危险。如前所述,来自无线通信模块460的数据能够包括监测来自包含互联网的无线通信***145、与3D地图数据结合的GPS数据、蜂窝通信190和卫星***180的数据。在非限制性示例中,卫星***180可以确定来自塌方的岩屑并且将该信息经由无线通信模块460无线地传送到PRHM 450以将该岩屑识别为潜在道路危险。
在另一个非限制性示例中,能够监测车辆的计划路线,其中利用与3D地图数据结合的GPS数据和互联网经由无线通信模块460来监测沿计划路线的天气情况。PRHM 450能够被设置成监测不良天气情况期间沿计划路线易受潜在危险情况影响的路段,其中当监测的天气情况不利时这种路段被识别为潜在道路危险。在非限制性示例中,当很冷时,立交桥可以被识别为潜在危险情况,因为在立交桥上形成冰的危险性增大,但是在其他情况下,立交桥不被识别为潜在危险情况。在另一个非限制性示例中,当下雪时,山区道路上的陡峭路段能够被识别为潜在道路危险。当下雪时,EVS图形***155能够确定将山区道路上的陡峭路段识别为潜在道路危险的图形,其中该图形的位置能够对应于车辆的驾驶场景被动态地标示在基本透明挡风屏平视显示器上。在非限制性示例中,所述图形能够包括利用叠覆被识别为潜在道路危险的陡峭路段的突出(高亮)图形。
在另一个示例性实施例中,能够通过PRHM 450利用来自VHM 462的数据来识别潜在道路危险。如前所述,VHM 462包括监测车辆先前行驶的路线和记录的沿先前行驶的路线所识别的危险,其中所记录的危险的特性和位置被存储在存储器中。具体地,车辆行驶的当前路线被监测。能够基于为了导航目的而输入HMI 151的感兴趣输入点来监测当前路线。另外,能够基于结合3D地图数据的当前GPS信息来监测当前路线。沿车辆先前行驶的基本上相似路线的先前记录的危险被监测。车辆行驶的当前路线与沿车辆先前行驶的基本上相似路线所记录的危险相比较并且互相参照。从而基于当前路线与基本上相似路线的比较和互相参照,当先前记录的危险沿车辆行驶的当前路线正在接近或者即将接近时,PRHM 450识别出潜在道路危险。在非限制性示例中,前去工作的乘车者可能会在前往工作的驾乘途中识别出十字路口处的砂砾。砂砾能够是存储在存储器或数据库中的被记录的危险。在下一天的早晨,基于与存储在存储器或数据库中的被记录的危险的比较和互相参照,十字路口处的砂砾能够在乘车者接近该砂砾之前被识别为潜在道路危险。
参考图5,通过车辆的基本透明挡风屏平视显示器150示出了驾驶场景500。能够通过挡风屏平视显示器150观察到SUV 502,其中所述车辆和SUV 502能够经由车辆-车辆信息(即车辆-车辆通信)来通信。文本图形510被动态地标示在平视显示器150上并且翻译来自SUV 502的识别出黑冰的消息,该SUV 502正在行驶经过该黑冰并且该黑冰可能是潜在道路危险。突出框图形512框住可能被图4的PRHM 450识别为潜在道路危险的固定车辆504。被标示的图形514将车辆的行驶车道中的凹坑识别和描述为潜在道路危险。突出的图形516叠覆于被识别为潜在道路危险的路段。应当意识到,所述路段是仅在不良天气情况(例如雨或雪)被监测时可能是易受危险情况影响的急转弯。
想到的另外的实施例包括:基于潜在道路危险的威胁程度和车辆与被识别潜在道路危险之间的距离来动态地更新和加强识别出潜在道路危险的图形。潜在道路危险的威胁程度能够基于潜在道路危险与阈值条件的比较而定。例如,识别出凹坑的被标示图形514可以与阈值条件比较,其中超出阈值直径的任何凹坑都呈现比未超出阈值直径的凹坑更高的威胁程度。因此,在车辆接近凹坑时,被标示图形514可以被动态地加强以改变颜色或者光照强度,因为威胁程度高至足以干扰车辆的操作。在另一非限制性示例中,在车辆和固定车辆之间的距离减小时,框住固定车辆504的突出框图形512能够被动态地加强而跳动。换句话说,可以基于车辆的当前位置和被识别潜在道路危险(例如固定车辆)的当前位置之间的距离减小来动态地更新突出框图形512。类似地,如果确定车辆没有行驶在与固定车辆504相同的车道中,那么固定车辆504的威胁程度可以不如车辆行驶在与固定车辆504相同的车道中时的威胁程度高。如前所述,能够基于在占用者的凝视位置和驾驶场景上被识别的潜在道路危险之间的距离来额外地增强或减弱对图形的强调。
上述公开内容描述了能够全屏显示的基本透明平视显示器。将意识到能够在利用基本全挡风屏显示器、部分挡风屏显示器(例如但不限于驾驶员的半个挡风屏)或者聚焦于或限制于操作者视野的大致笔直向前的中心的显示器的挡风屏上使用类似的方法。公开内容不限于挡风屏,还能够包括包含车辆的侧窗或后窗的基本透明平视显示器。图形还能够被投影在车辆的立柱上。可以想到许多显示器实施例,本公开内容不试图被限于这里描述的具体示例性实施例。
本公开内容已经描述了特定优选实施例及其变型。当阅读并理解说明书时可以意识到其他变型和改变。因此,本公开内容不旨在限于被公开作为构想成实现本公开内容的最佳模式的具体实施例,而是本公开内容将包括落入所附权利要求范围内的所有实施例。
Claims (10)
1.一种利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法,包括:
监测道路情况;
基于所述道路情况识别潜在道路危险;
确定识别出所述潜在道路危险的所述图形;
对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置;以及
在所述基本透明挡风屏平视显示器上显示所述图形;
其中所述基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
2.根据权利要求1所述的方法,还包括监测占用者眼睛位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置是基于所述占用者眼睛位置。
3.根据权利要求2所述的方法,还包括监测所述车辆的当前取向和监测被识别潜在道路危险的当前位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还基于所述车辆的当前取向和所述被识别潜在道路危险的当前位置。
4.根据权利要求3所述的方法,还包括监测操作者凝视位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还包括基于所述操作者凝视位置和所述被识别潜在道路危险的当前位置之间的距离增加来增加对所述图形的强调。
5.根据权利要求3所述的方法,还包括监测所述车辆的当前位置;并且
其中对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述图形的位置还包括基于所述车辆的当前位置和所述被识别潜在道路危险的当前位置之间的距离减少来增加对所述图形的强调。
6.根据权利要求1所述的方法,还包括监测车辆-车辆通信;并且
其中所述监测道路情况是基于所述车辆-车辆通信。
7.根据权利要求6所述的方法,还包括对于所述车辆前方的潜在道路危险的请求;
其中所述车辆-车辆通信包括:
向所述车辆前方的第二车辆传达对潜在道路危险的请求;以及
将所述潜在道路危险的位置和特性从所述第二车辆传递到所述车辆。
8.根据权利要求6所述的方法,其中所述监测道路情况包括:
分析所述第二车辆的驾驶性状态,所述驾驶性状态在所述车辆-车辆信息中被传输;
基于所分析的所述第二车辆的驾驶状态来检测不良驾驶状态;
识别检测到的不良驾驶状态的位置,该位置在所述车辆-车辆信息中被传输;以及
其中基于所述不良驾驶状态的位置来识别所述潜在道路危险。
9.根据权利要求1所述的方法,还包括监测来自距离传感器的距离数据;
其中所述监测道路情况是基于来自所述距离传感器的所述距离数据;并且
其中识别所述潜在道路危险利用来自所述距离传感器的所述距离数据来识别所述潜在道路危险。
10.一种利用基本透明挡风屏平视显示器将突出轮廓的图形动态地标示到车辆的驾驶场景上的方法,包括:
监测道路情况;
基于监测的道路情况识别潜在道路危险;
监测占用者眼睛位置;
监测占用者凝视位置;
监测所述车辆的当前取向;
监测被识别潜在道路危险的当前位置;
基于所述占用者眼睛位置、所述占用者凝视位置、所述车辆的当前取向和检测到的潜在道路危险的当前位置来对应于所述车辆的所述驾驶场景在所述基本透明挡风屏平视显示器上动态地标示所述突出轮廓的图形的位置;
在所述基本透明挡风屏平视显示器上显示所述突出轮廓的图形;以及
其中所述基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/980,503 US8686872B2 (en) | 2010-12-29 | 2010-12-29 | Roadway condition warning on full windshield head-up display |
US12/980,503 | 2010-12-29 | ||
US12/980503 | 2010-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102568231A true CN102568231A (zh) | 2012-07-11 |
CN102568231B CN102568231B (zh) | 2015-05-06 |
Family
ID=46380280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110449673.1A Active CN102568231B (zh) | 2010-12-29 | 2011-12-29 | 利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8686872B2 (zh) |
CN (1) | CN102568231B (zh) |
DE (1) | DE102011121847B4 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104685550A (zh) * | 2012-10-08 | 2015-06-03 | 微软公司 | 环境危险的指示 |
CN106405835A (zh) * | 2015-08-03 | 2017-02-15 | 丰田自动车株式会社 | 显示装置 |
CN107438872A (zh) * | 2016-05-29 | 2017-12-05 | 深圳市欸阿技术有限公司 | 车载智能终端及其处理车辆信息的方法 |
CN107851393A (zh) * | 2015-07-10 | 2018-03-27 | 田山修 | 车辆用图像显示***及方法 |
CN108701229A (zh) * | 2018-04-25 | 2018-10-23 | 深圳市元征软件开发有限公司 | 驾驶行为分析方法及驾驶行为分析装置 |
CN109795415A (zh) * | 2019-02-19 | 2019-05-24 | 上海理工大学 | 一种智能夜视抬头显示设备 |
CN109923019A (zh) * | 2016-11-09 | 2019-06-21 | Lg电子株式会社 | 车辆上安装的车辆控制装置和车辆的控制方法 |
CN110015247A (zh) * | 2017-12-28 | 2019-07-16 | 丰田自动车株式会社 | 显示控制装置和显示控制方法 |
CN111373461A (zh) * | 2017-11-27 | 2020-07-03 | 大众汽车有限公司 | 利用显示单元显示车辆或对象前方的安全区域的走向的方法、执行该方法的设备及机动车辆和计算机程序 |
CN113256981A (zh) * | 2021-06-09 | 2021-08-13 | 天津所托瑞安汽车科技有限公司 | 基于车辆行驶数据的报警分析方法、装置、设备和介质 |
US11458986B2 (en) | 2015-09-17 | 2022-10-04 | Sony Corporation | System and method for providing driving assistance to safely overtake a vehicle |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8330673B2 (en) * | 2009-04-02 | 2012-12-11 | GM Global Technology Operations LLC | Scan loop optimization of vector projection display |
US8629784B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
US8606430B2 (en) | 2010-10-08 | 2013-12-10 | GM Global Technology Operations LLC | External presentation of information on full glass display |
US8686872B2 (en) | 2010-12-29 | 2014-04-01 | GM Global Technology Operations LLC | Roadway condition warning on full windshield head-up display |
US8924150B2 (en) | 2010-12-29 | 2014-12-30 | GM Global Technology Operations LLC | Vehicle operation and control system for autonomous vehicles on full windshield display |
US8605011B2 (en) | 2010-12-29 | 2013-12-10 | GM Global Technology Operations LLC | Virtual viewfinder on full windshield head-up display |
US8633979B2 (en) | 2010-12-29 | 2014-01-21 | GM Global Technology Operations LLC | Augmented road scene illustrator system on full windshield head-up display |
US9008904B2 (en) | 2010-12-30 | 2015-04-14 | GM Global Technology Operations LLC | Graphical vehicle command system for autonomous vehicles on full windshield head-up display |
US9057874B2 (en) | 2010-12-30 | 2015-06-16 | GM Global Technology Operations LLC | Virtual cursor for road scene object selection on full windshield head-up display |
US8818708B2 (en) | 2011-12-02 | 2014-08-26 | GM Global Technology Operations LLC | Optimum driving path on full windshield display |
US8781170B2 (en) | 2011-12-06 | 2014-07-15 | GM Global Technology Operations LLC | Vehicle ghosting on full windshield display |
US9443429B2 (en) | 2012-01-24 | 2016-09-13 | GM Global Technology Operations LLC | Optimum gaze location on full windscreen display |
DE102012001951A1 (de) * | 2012-02-02 | 2013-08-08 | Daimler Ag | Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung |
US8694224B2 (en) * | 2012-03-01 | 2014-04-08 | Magna Electronics Inc. | Vehicle yaw rate correction |
US9476970B1 (en) * | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
US10360636B1 (en) | 2012-08-01 | 2019-07-23 | Allstate Insurance Company | System for capturing passenger and trip data for a taxi vehicle |
DE102012219721A1 (de) * | 2012-10-29 | 2014-04-30 | Robert Bosch Gmbh | Fahrassistenzverfahren und Fahrassistenzsystem zur Erhöhung des Fahrkomforts |
US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
US10215583B2 (en) | 2013-03-15 | 2019-02-26 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
US9747898B2 (en) | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
US9378644B2 (en) | 2013-03-15 | 2016-06-28 | Honda Motor Co., Ltd. | System and method for warning a driver of a potential rear end collision |
US9251715B2 (en) | 2013-03-15 | 2016-02-02 | Honda Motor Co., Ltd. | Driver training system using heads-up display augmented reality graphics elements |
US9393870B2 (en) | 2013-03-15 | 2016-07-19 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
US10339711B2 (en) | 2013-03-15 | 2019-07-02 | Honda Motor Co., Ltd. | System and method for providing augmented reality based directions based on verbal and gestural cues |
CN105612083B (zh) * | 2013-10-09 | 2018-10-23 | 麦格纳覆盖件有限公司 | 对车窗显示的控制的***和方法 |
US9613459B2 (en) * | 2013-12-19 | 2017-04-04 | Honda Motor Co., Ltd. | System and method for in-vehicle interaction |
GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US9387844B2 (en) | 2014-11-24 | 2016-07-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Environment-based anti-lock braking system |
US10189405B2 (en) | 2015-01-14 | 2019-01-29 | Yazaki North America, Inc. | Vehicular multi-purpose warning head-up display |
WO2016125001A1 (en) * | 2015-02-05 | 2016-08-11 | Grey Orange Pte, Ltd. | Apparatus and method for navigation path compensation |
JP6661883B2 (ja) * | 2015-02-09 | 2020-03-11 | 株式会社デンソー | 車両用表示制御装置及び車両用表示制御方法 |
US9713956B2 (en) * | 2015-03-05 | 2017-07-25 | Honda Motor Co., Ltd. | Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof |
JP6569249B2 (ja) * | 2015-03-11 | 2019-09-04 | トヨタ自動車株式会社 | 車両間通信システム |
US11307042B2 (en) | 2015-09-24 | 2022-04-19 | Allstate Insurance Company | Three-dimensional risk maps |
US9581457B1 (en) | 2015-12-03 | 2017-02-28 | At&T Intellectual Property I, L.P. | System and method for displaying points of interest on a heads-up display |
US10699347B1 (en) | 2016-02-24 | 2020-06-30 | Allstate Insurance Company | Polynomial risk maps |
DE102016003060A1 (de) | 2016-03-11 | 2016-09-29 | Daimler Ag | Verfahren zur hochpräzisen Makierung von vorausfahrenden Fahrzeugen bei Augmented Reality |
KR101866728B1 (ko) * | 2016-04-25 | 2018-06-15 | 현대자동차주식회사 | 네비게이션 장치, 차량 및 차량의 제어방법 |
FR3054889B1 (fr) * | 2016-08-03 | 2019-11-01 | Valeo Comfort And Driving Assistance | Systeme d'aide visuelle a la conduite |
US9845047B1 (en) | 2016-08-08 | 2017-12-19 | Ford Global Technologies, Llc | Light system |
US9979813B2 (en) | 2016-10-04 | 2018-05-22 | Allstate Solutions Private Limited | Mobile device communication access and hands-free device activation |
US10264111B2 (en) | 2016-10-04 | 2019-04-16 | Allstate Solutions Private Limited | Mobile device communication access and hands-free device activation |
US11295218B2 (en) | 2016-10-17 | 2022-04-05 | Allstate Solutions Private Limited | Partitioning sensor based data to generate driving pattern map |
US11046242B2 (en) * | 2017-02-09 | 2021-06-29 | Ford Global Technologies, Llc | Display for rear lamp of a vehicle |
NL2019774B1 (en) * | 2017-10-20 | 2019-04-29 | Daf Trucks Nv | Method and system for alerting a truck driver |
US10157539B1 (en) * | 2017-11-01 | 2018-12-18 | Qualcomm Incorporated | Techniques and apparatuses for prioritizing vehicle-to-everything (V2X) communication messages based on threat level estimation |
US11194043B2 (en) | 2018-01-18 | 2021-12-07 | Analog Devices International Unlimited Company | Radar for weather detection and dynamic control and actuation of vehicle systems |
US10933807B2 (en) * | 2018-11-28 | 2021-03-02 | International Business Machines Corporation | Visual hazard avoidance through an on-road projection system for vehicles |
US10926798B2 (en) | 2019-01-28 | 2021-02-23 | Ford Global Technologies, Llc | Pothole display |
DE102019202578A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202581B4 (de) | 2019-02-26 | 2021-09-02 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202587A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202591A1 (de) * | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202588A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202592A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
US11373527B2 (en) | 2019-03-25 | 2022-06-28 | Micron Technology, Inc. | Driver assistance for non-autonomous vehicle in an autonomous environment |
US11454813B2 (en) | 2019-11-07 | 2022-09-27 | GM Global Technology Operations LLC | Holographic display systems with polarization correction and distortion reduction providing enhanced image quality |
DE102020102107A1 (de) * | 2020-01-29 | 2021-07-29 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zur zeitaktuellen Ermittlung von Gefahrenstellen im Straßenverkehr |
US11880036B2 (en) | 2021-07-19 | 2024-01-23 | GM Global Technology Operations LLC | Control of ambient light reflected from pupil replicator |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001045080A1 (en) * | 1999-12-15 | 2001-06-21 | Automotive Technologies International, Inc. | Interactive vehicle display system |
US20050231652A1 (en) * | 2004-04-19 | 2005-10-20 | Superimaging, Inc. | Emission of visible light in response to absorption of excitation light |
US20080238723A1 (en) * | 2007-03-28 | 2008-10-02 | Fein Gene S | Digital Windshield Information System Employing a Recommendation Engine Keyed to a Map Database System |
CN101872068A (zh) * | 2009-04-02 | 2010-10-27 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的日间行人检测 |
CN101876751A (zh) * | 2009-04-02 | 2010-11-03 | 通用汽车环球科技运作公司 | 在全挡风玻璃平视显示器上的车辆间通讯装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19941957C2 (de) * | 1999-09-03 | 2003-08-14 | Volkswagen Ag | Verfahren und Vorrichtung zur Darstellung von Warnmeldungen und Interaktionsaufforderungen |
US8686922B2 (en) * | 1999-12-15 | 2014-04-01 | American Vehicular Sciences Llc | Eye-location dependent vehicular heads-up display system |
US7090355B2 (en) | 2003-05-19 | 2006-08-15 | Superimaging, Inc. | System and method for a transparent color image display utilizing fluorescence conversion of nano particles and molecules |
WO2005043232A2 (en) | 2003-11-03 | 2005-05-12 | Superimaging, Inc. | Light emitting material integrated into a substantially transparent substrate |
US7182467B2 (en) | 2003-11-03 | 2007-02-27 | Superimaging, Inc. | Microstructures integrated into a transparent substrate which scatter incident light to display an image |
WO2005098781A1 (en) * | 2004-04-01 | 2005-10-20 | Dana Corporation | Intelligent transportation system |
US7460951B2 (en) | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
US20080158510A1 (en) | 2007-01-02 | 2008-07-03 | Gm Global Technology Operations, Inc. | Apparatus And Method For Displaying Information Within A Vehicle Interior |
US8917904B2 (en) | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
US20100253595A1 (en) | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Virtual controls and displays by laser projection |
US8350724B2 (en) | 2009-04-02 | 2013-01-08 | GM Global Technology Operations LLC | Rear parking assist on full rear-window head-up display |
US8395529B2 (en) | 2009-04-02 | 2013-03-12 | GM Global Technology Operations LLC | Traffic infrastructure indicator on head-up display |
US8817090B2 (en) | 2009-04-02 | 2014-08-26 | GM Global Technology Operations LLC | Luminance uniformity compensation of vector projection display |
US8704653B2 (en) | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
US8358224B2 (en) | 2009-04-02 | 2013-01-22 | GM Global Technology Operations LLC | Point of interest location marking on full windshield head-up display |
US8547298B2 (en) | 2009-04-02 | 2013-10-01 | GM Global Technology Operations LLC | Continuation of exterior view on interior pillars and surfaces |
US8482486B2 (en) | 2009-04-02 | 2013-07-09 | GM Global Technology Operations LLC | Rear view mirror on full-windshield head-up display |
US8317329B2 (en) | 2009-04-02 | 2012-11-27 | GM Global Technology Operations LLC | Infotainment display on full-windshield head-up display |
US8072686B2 (en) | 2009-04-02 | 2011-12-06 | GM Global Technology Operations LLC | UV laser beamlett on full-windshield head-up display |
US8344894B2 (en) | 2009-04-02 | 2013-01-01 | GM Global Technology Operations LLC | Driver drowsy alert on full-windshield head-up display |
US8384531B2 (en) | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Recommended following distance on full-windshield head-up display |
US8629903B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
US8427395B2 (en) | 2009-04-02 | 2013-04-23 | GM Global Technology Operations LLC | Full-windshield hud enhancement: pixelated field of view limited architecture |
US8564502B2 (en) | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
US8629784B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
US8384532B2 (en) | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Lane of travel on windshield head-up display |
US8912978B2 (en) | 2009-04-02 | 2014-12-16 | GM Global Technology Operations LLC | Dynamic vehicle system information on full windshield head-up display |
US8330673B2 (en) | 2009-04-02 | 2012-12-11 | GM Global Technology Operations LLC | Scan loop optimization of vector projection display |
US8830141B2 (en) | 2009-04-02 | 2014-09-09 | GM Global Technology Operations LLC | Full-windshield head-up display enhancement: anti-reflective glass hard coat |
US8977489B2 (en) | 2009-05-18 | 2015-03-10 | GM Global Technology Operations LLC | Turn by turn graphical navigation on full windshield head-up display |
US8164543B2 (en) | 2009-05-18 | 2012-04-24 | GM Global Technology Operations LLC | Night vision on full windshield head-up display |
US8606430B2 (en) | 2010-10-08 | 2013-12-10 | GM Global Technology Operations LLC | External presentation of information on full glass display |
US8098170B1 (en) | 2010-10-08 | 2012-01-17 | GM Global Technology Operations LLC | Full-windshield head-up display interface for social networking |
US8098171B1 (en) | 2010-12-28 | 2012-01-17 | GM Global Technology Operations LLC | Traffic visibility in poor viewing conditions on full windshield head-up display |
US8633979B2 (en) | 2010-12-29 | 2014-01-21 | GM Global Technology Operations LLC | Augmented road scene illustrator system on full windshield head-up display |
US8924150B2 (en) | 2010-12-29 | 2014-12-30 | GM Global Technology Operations LLC | Vehicle operation and control system for autonomous vehicles on full windshield display |
US8605011B2 (en) | 2010-12-29 | 2013-12-10 | GM Global Technology Operations LLC | Virtual viewfinder on full windshield head-up display |
US8686872B2 (en) | 2010-12-29 | 2014-04-01 | GM Global Technology Operations LLC | Roadway condition warning on full windshield head-up display |
US9057874B2 (en) | 2010-12-30 | 2015-06-16 | GM Global Technology Operations LLC | Virtual cursor for road scene object selection on full windshield head-up display |
US9008904B2 (en) | 2010-12-30 | 2015-04-14 | GM Global Technology Operations LLC | Graphical vehicle command system for autonomous vehicles on full windshield head-up display |
-
2010
- 2010-12-29 US US12/980,503 patent/US8686872B2/en active Active
-
2011
- 2011-12-21 DE DE102011121847.9A patent/DE102011121847B4/de active Active
- 2011-12-29 CN CN201110449673.1A patent/CN102568231B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001045080A1 (en) * | 1999-12-15 | 2001-06-21 | Automotive Technologies International, Inc. | Interactive vehicle display system |
US20050231652A1 (en) * | 2004-04-19 | 2005-10-20 | Superimaging, Inc. | Emission of visible light in response to absorption of excitation light |
US20080238723A1 (en) * | 2007-03-28 | 2008-10-02 | Fein Gene S | Digital Windshield Information System Employing a Recommendation Engine Keyed to a Map Database System |
CN101872068A (zh) * | 2009-04-02 | 2010-10-27 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的日间行人检测 |
CN101876751A (zh) * | 2009-04-02 | 2010-11-03 | 通用汽车环球科技运作公司 | 在全挡风玻璃平视显示器上的车辆间通讯装置 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9583004B2 (en) | 2012-10-08 | 2017-02-28 | Microsoft Technology Licensing, Llc | Vehicle surface tinting for visual indication of external conditions |
CN104685550A (zh) * | 2012-10-08 | 2015-06-03 | 微软公司 | 环境危险的指示 |
CN107851393A (zh) * | 2015-07-10 | 2018-03-27 | 田山修 | 车辆用图像显示***及方法 |
CN106405835A (zh) * | 2015-08-03 | 2017-02-15 | 丰田自动车株式会社 | 显示装置 |
US11780457B2 (en) | 2015-09-17 | 2023-10-10 | Sony Group Corporation | System and method for providing driving assistance to safely overtake a vehicle |
US11458986B2 (en) | 2015-09-17 | 2022-10-04 | Sony Corporation | System and method for providing driving assistance to safely overtake a vehicle |
CN107438872A (zh) * | 2016-05-29 | 2017-12-05 | 深圳市欸阿技术有限公司 | 车载智能终端及其处理车辆信息的方法 |
CN109923019B (zh) * | 2016-11-09 | 2022-04-08 | Lg电子株式会社 | 车辆上安装的车辆控制装置和车辆的控制方法 |
CN109923019A (zh) * | 2016-11-09 | 2019-06-21 | Lg电子株式会社 | 车辆上安装的车辆控制装置和车辆的控制方法 |
CN111373461A (zh) * | 2017-11-27 | 2020-07-03 | 大众汽车有限公司 | 利用显示单元显示车辆或对象前方的安全区域的走向的方法、执行该方法的设备及机动车辆和计算机程序 |
US11325471B2 (en) | 2017-11-27 | 2022-05-10 | Volkswagen Aktiengesellschaft | Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program |
CN110015247A (zh) * | 2017-12-28 | 2019-07-16 | 丰田自动车株式会社 | 显示控制装置和显示控制方法 |
CN108701229B (zh) * | 2018-04-25 | 2022-01-11 | 深圳市元征软件开发有限公司 | 驾驶行为分析方法及驾驶行为分析装置 |
CN108701229A (zh) * | 2018-04-25 | 2018-10-23 | 深圳市元征软件开发有限公司 | 驾驶行为分析方法及驾驶行为分析装置 |
CN109795415A (zh) * | 2019-02-19 | 2019-05-24 | 上海理工大学 | 一种智能夜视抬头显示设备 |
CN113256981B (zh) * | 2021-06-09 | 2021-09-21 | 天津所托瑞安汽车科技有限公司 | 基于车辆行驶数据的报警分析方法、装置、设备和介质 |
CN113256981A (zh) * | 2021-06-09 | 2021-08-13 | 天津所托瑞安汽车科技有限公司 | 基于车辆行驶数据的报警分析方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
DE102011121847A1 (de) | 2012-07-05 |
CN102568231B (zh) | 2015-05-06 |
DE102011121847B4 (de) | 2021-04-22 |
US8686872B2 (en) | 2014-04-01 |
US20120169513A1 (en) | 2012-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102568231B (zh) | 利用基本透明挡风屏平视显示器在车辆的驾驶场景上动态地标示图形的方法 | |
CN102556071B (zh) | 全挡风玻璃平视显示器上的车辆威胁识别 | |
CN102447731B (zh) | 用于社会化网络的全挡风屏平视显示界面 | |
CN102555908B (zh) | 全挡风玻璃平视显示器上在恶劣观察条件中的交通可见性 | |
CN103010099B (zh) | 在全风挡平视显示器上的动态信息显示 | |
US9443429B2 (en) | Optimum gaze location on full windscreen display | |
US10595176B1 (en) | Virtual lane lines for connected vehicles | |
US9507345B2 (en) | Vehicle control system and method | |
CN102589565B (zh) | 全挡风玻璃显示器上自主式车辆的车辆操作和控制*** | |
US10067506B2 (en) | Control device of vehicle | |
US8350686B2 (en) | Vehicle information display system | |
US9434382B1 (en) | Vehicle operation in environments with second order objects | |
US20070016372A1 (en) | Remote Perspective Vehicle Environment Observation System | |
US10732420B2 (en) | Head up display with symbols positioned to augment reality | |
US20100131197A1 (en) | Visual guidance for vehicle navigation system | |
WO2004027451A2 (en) | Vehicular situational awareness system | |
US20190135169A1 (en) | Vehicle communication system using projected light | |
US20090153662A1 (en) | Night vision system for recording and displaying a surrounding area | |
KR20190078944A (ko) | 철도차량용 증강현실 헤드업 디스플레이 시스템 | |
JP7079747B2 (ja) | 表示装置、表示制御方法、およびプログラム | |
US20230314157A1 (en) | Parking assist in augmented reality head-up display system | |
CN113448097B (zh) | 车辆用显示装置 | |
US10268907B2 (en) | Methods and systems for providing notifications on camera displays for vehicles | |
WO2021076734A1 (en) | Method for aligning camera and sensor data for augmented reality data visualization | |
KR20230067799A (ko) | 환경 조건에 따라 적어도 하나 이상의 가상 차선을 표시하는 장치의 제어 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |