CN108583434A - 辅助驾驶方法、装置及*** - Google Patents
辅助驾驶方法、装置及*** Download PDFInfo
- Publication number
- CN108583434A CN108583434A CN201810344499.6A CN201810344499A CN108583434A CN 108583434 A CN108583434 A CN 108583434A CN 201810344499 A CN201810344499 A CN 201810344499A CN 108583434 A CN108583434 A CN 108583434A
- Authority
- CN
- China
- Prior art keywords
- distance
- vehicle
- contour
- heat source
- scheme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010586 diagram Methods 0.000 claims abstract description 62
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 37
- 230000035807 sensation Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Abstract
本公开的实施例公开了一种辅助驾驶方法、装置及***，涉及汽车技术领域，能够解决现有技术中因天气等原因导致前方视野模糊，而使得驾驶员无法准确判断前方交通情况的问题。本公开的实施例的方法主要包括：获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。本公开的实施例主要适用于辅助驾驶员驾驶车辆的场景中。
Description
技术领域
本公开的实施例涉及汽车技术领域，特别是涉及一种辅助驾驶方法、装置及***。
背景技术
随着社会的进步，汽车几乎成为每家每户所必须的交通工具，使得人们的生活越来越便捷。然而，随着道路上的汽车越来越多，交通安全越来越受到关注。尤其在大雾、雨雪或可视情况比较差的情况下，驾驶员的前方视野模糊，无法准确判断前方交通情况，从而很容易发生交通事故，造成汽车损坏，甚至人员伤亡。因此，如何在前方视野模糊的情况下，也能够让驾驶员准确判断前方交通情况是目前需要攻克的一大难题。
发明内容
本公开的实施例主要提供如下技术方案：
第一方面，本公开的实施例提供了一种辅助驾驶方法，所述方法包括：
获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
第二方面，本公开的实施例提供了一种辅助驾驶装置，所述装置包括：
获取单元，用于获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
生成单元，用于根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
发送单元，用于将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
第三方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的辅助驾驶方法。
第四方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的辅助驾驶方法。
第五方面，本公开的实施例提供了一种辅助驾驶***，包括人机交互装置、激光雷达、热感摄像头和平视显示器；其中，所述人机交互装置分别与所述激光雷达、所述热感摄像头和所述平视显示器相连接；
所述激光雷达，用于测量车辆与视野前方特定范围内的物体的距离并生成所述物体的三维模型图，将所述距离和所述三维模型图发送给所述人机交互装置；
所述热感摄像头，用于生成所述物体的热源二维图，并将所述热源二维图发送给所述人机交互装置；
所述人机交互装置，用于获取激光雷达发送的所述距离、所述三维模型图和所述热感摄像头发送的所述热源二维图，并根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图，将所述物体轮廓图发送给平视显示器；
所述平视显示器，用于接收所述人机交互装置发送的所述物理轮廓图，并将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本公开的实施例提供的一种辅助驾驶方法的流程图；
图2示出了本公开的实施例提供的一种辅助驾驶示例图；
图3示出了本公开的实施例提供的另一种辅助驾驶方法的流程图；
图4示出了本公开的实施例提供的一种辅助驾驶装置的组成框图；
图5示出了本公开的实施例提供的另一种辅助驾驶装置的组成框图；
图6示出了本公开的实施例提供的一种辅助驾驶***的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面，本公开的实施例提供了一种辅助驾驶方法，如图1所示，所述方法主要包括：
101、获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图。
其中，所述物体包括车道、人、车辆、动物、房屋、其他固定物体和其他可移动物体。当所述物体包括车道时，车辆与车道的距离可以为车辆与车道两边的距离，也可以为车辆与车道端口的距离。
由于在实际生活中，道路两旁、商店门口放置雕像、塑料模型等物体的现象越来越多，而这些雕像、塑料模型往往是人或者动物的形状，所以单凭物体的三维模型图是无法准确判断物体的种类的，从而无法准确判断物体的可移动性。因此，为了后续准确识别出物体的种类，除了需要获取物体的三维模型图外，还需要获取物体的热源二维图，通过将两者结合来识别一个物体。其中，测量车辆与物体距离、生成物体三维模型图的设备可以是激光雷达，生成物体热源二维图的设备可以是热感摄像头。其具体设备，在此不做限定。并且激光雷达和热感摄像头可以实时工作，也可以由用户来控制工作时间。
另外，视野前方特定范围可以为视野前方120度范围，也可以是其他范围，具体可以根据实际需求而定。
102、根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图。
在人机交互装置(如HMI)获取到车辆与前方各个物体的距离，各个物体的三维模型图和热源二维图后，可以先根据三维模型图和热源二维图识别物体种类，然后再根据物体种类和与物体的距离，来生成标注有距离且能指示物体种类的物体轮廓图。例如，可以在每个物体轮廓图的右上角标注出距离，左上方标注出种类；又如，可以在每个物体轮廓图的右上角标注出距离，用不同的轮廓样式来指示不同种类，如人和动物是红色轮廓，车辆是绿色轮廓，房屋、雕像等不动物体是灰色轮廓。
103、将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
在获得每个物体的物体轮廓图后，为了让驾驶员在不低头的情况下，就可以看到这些物体轮廓图的相关信息，从而避免低头造成驾驶安全隐患，可以将物体轮廓图发送给平视显示器(Head Up Display，简称HUD)，由HUD将物体轮廓图投影到车辆的挡风玻璃上进行显示。由此，无论是什么天气导致前方可视性差，驾驶员都可以在挡风玻璃上清楚地看到前方物体的轮廓图、与物体的距离、物体的种类，并根据这些信息安全驾驶。
需要说明的是，显示的物体轮廓图实际上是一个前方视野二维图，其不单纯包括每个个体的轮廓，还具有相对位置关系，实现将前方真实画面展示在挡风玻璃上的效果。
如图2所示，在车辆的挡风玻璃上能够看见前方7m处有个行人要过马路，12m处有辆汽车要过十字路口，15m处有座建筑，正在行驶的道路宽度是5m，驾驶员可以根据这些信息进行减速行驶。
本公开的实施例提供的辅助驾驶方法，能够先获取车辆与视野前方特定范围内的物体的距离、物体的三维模型图和热源二维图，然后根据距离、三维模型图和热源二维图，标注有距离且能指示物体种类的物体轮廓图，最后将该物体轮廓图发送给平视显示器，以便平视显示器将物体轮廓图投影到车辆的挡风玻璃上进行显示，从而无论是什么天气导致前方可视性差，驾驶员都可以在挡风玻璃上清楚地看到前方物体的轮廓图、与物体的距离、物体的种类，进而准确判断前方交通情况，避免因前方视野模糊造成交通事故。
第二方面，依据第一方面所述的方法，本公开的另一个实施例还提供了一种辅助驾驶方法，如图3所示，所述方法主要包括：
201、在接收到用户的启动指令后，触发激光雷达和热感摄像头开始工作。
在上述实施例的步骤101中指出，激光雷达可以测量距离并生成物体的三维模型图，热感摄像头可以生成物体的热源二维图，并且激光雷达和热感摄像头可以实时工作，也可以受控于用户(如驾驶员)。当由驾驶员控制激光雷达和热感摄像头的工作时，可以节省资源消耗，延长设备使用寿命。
其中，由驾驶员控制激光雷达和热感摄像头的工作情况的具体实现方式可以为：驾驶员可以在人机交互装置的界面上点击启动按钮，使得人机交互装置接收到启动指令，然后触发激光雷达和热感摄像头开始工作；当驾驶员不需要这项功能时，可以在人机交互装置的界面上点击关闭按钮，使得人机交互装置触发激光雷达和热感摄像头停止工作。
202、获取所述激光雷达测量的车辆与视野前方特定范围内的物体的距离、所述激光雷达生成的所述物体的三维模型图，以及所述热感摄像头生成的所述物体的热源二维图。
当人机交互装置触发激光雷达和热感摄像头开始工作后，激光雷达的激光发射器旋转，同时发出多束单线激光，车辆周边物体遇到激光以后产生反射，激光雷达的激光接收器收到反射光子，通过时间计算激光发射器到物体的距离，并通过多束单线激光的反射，生成周边物体的三维模型图，最后将与物体的距离和物体的三维模型图发送给人机交互装置；热感摄像头探测前方物体热源，生成所探测物体的热源二维图，并将物体的热源二维图发送给人机交互装置。
203、根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图。
具体的，人机交互装置可以先根据同一物体的三维模型图和热源二维图，识别所述物体的种类；然后生成能指示所述物体种类的物体轮廓图；最后在所述物体轮廓图周围的特定位置处标注出所述车辆与所述物体的距离，获得标注有距离且能指示物体种类的物体轮廓图。
其中，生成能指示物体种类的物体轮廓图的具体实现方法可以为：根据物体的种类，生成所述物体的物体轮廓图，以使得不同种类的物体的轮廓样式不同；和/或，生成标注有物体种类的物体轮廓图。
示例性的，可以将人的轮廓设置为红色，将动物的轮廓设置为粉色，将车辆的轮廓设置为绿色，将其他固定物体的轮廓设置为灰色；或者，直接在物体轮廓周围特定位置处标注出物体种类；或者，在样式不同的同时，标注出物体种类。
此外，距离车辆越近的物体，越是值得驾驶员关注。为了让驾驶员更直观快速地找到距离较近的物体，可以将该物体的轮廓进行独特设置，和/或，发出语音报警提示。也就是说，当物体与所述车辆的距离小于预设阈值时，将对应物体的轮廓设置成闪烁状态；和/或，当物体与所述车辆的距离小于预设阈值时，发出语音报警提示。其中，语音报警提示包括物体的种类、与物体的距离和物体的方向等。
204、将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
205、在接收到用户的停止指令后，触发所述激光雷达和所述热感摄像头停止工作。
本公开的实施例提供的辅助驾驶方法，不仅能够在挡风玻璃上显示前方物体的相关信息，从而让驾驶员无需低头、无需关心外面天气的情况下，就能够清楚获知前方交通情况，还可以让驾驶员来控制这一功能的开启和结束，进而节省设备资源。
第三方面，依据图1或图3所示的方法，本公开的另一个实施例还提供了一种辅助驾驶装置，如图4所示，所述装置主要包括：
获取单元31，用于获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
生成单元32，用于根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
发送单元33，用于将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
在一些实施例中，所述获取单元31，用于获取激光雷达测量的所述车辆与视野前方特定范围内的物体的距离、所述激光雷达生成的所述物体的三维模型图，以及热感摄像头生成的所述物体的热源二维图。
在一些实施例中，如图5所示，所述装置还包括：
触发单元34，用于在接收到用户的启动指令后，触发所述激光雷达和所述热感摄像头开始工作；和/或，在接收到用户的停止指令后，触发所述激光雷达和所述热感摄像头停止工作。
在一些实施例中，如图5所示，所述生成单元32包括：
识别模块321，用于根据同一物体的三维模型图和热源二维图，识别所述物体的种类；
生成模块322，用于生成能指示所述物体种类的物体轮廓图；
标注模块323，用于在所述物体轮廓图周围的特定位置处标注出所述车辆与所述物体的距离。
在一些实施例中，如图5所示，所述生成模块322，用于根据物体的种类，生成所述物体的物体轮廓图，以使得不同种类的物体的轮廓样式不同；和/或，生成标注有物体种类的物体轮廓图。
在一些实施例中，报警单元35，用于当物体与所述车辆的距离小于预设阈值时，将对应物体的轮廓设置成闪烁状态；和/或，当物体与所述车辆的距离小于预设阈值时，发出语音报警提示。
在一些实施例中，所述物体包括车道、人、车辆、动物、房屋、其他固定物体和其他可移动物体。
在一些实施例中，所述生成单元32，还用于当所述物体包括车道时，所述车辆与所述车道的距离包括所述车辆与所述车道两边的距离。
所述装置包括处理器和存储介质，上述获取单元、生成单元、发送单元、触发单元和报警单元等均作为程序单元存储在存储介质中，由处理器执行存储在存储介质中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储介质中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来辅助驾驶员驾驶车辆，从而减少因前方视野模糊而造成的交通事故数量。
本公开的实施例提供的辅助驾驶装置，能够先获取车辆与视野前方特定范围内的物体的距离、物体的三维模型图和热源二维图，然后根据距离、三维模型图和热源二维图，标注有距离且能指示物体种类的物体轮廓图，最后将该物体轮廓图发送给平视显示器，以便平视显示器将物体轮廓图投影到车辆的挡风玻璃上进行显示，从而无论是什么天气导致前方可视性差，驾驶员都可以在挡风玻璃上清楚地看到前方物体的轮廓图、与物体的距离、物体的种类，进而准确判断前方交通情况，避免因前方视野模糊造成交通事故。此外，还可以让驾驶员来控制这一功能的开启和结束，进而节省设备资源。
第三方面的实施例提供的辅助驾驶装置，可以用以执行第一方面或第二方面的实施例所提供的辅助驾驶方法，相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述，在此不再详细说明。
第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第二方面所述的辅助驾驶方法。
存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面或第二方面所述的辅助驾驶方法。
第六方面，本公开的实施例提供了一种辅助驾驶***，如图6所示，包括人机交互装置41、激光雷达42、热感摄像头43和平视显示器44；其中，所述人机交互装置41分别与所述激光雷达42、所述热感摄像头43和所述平视显示器44相连接；
所述激光雷达42，用于测量车辆与视野前方特定范围内的物体的距离并生成所述物体的三维模型图，将所述距离和所述三维模型图发送给所述人机交互装置41；
所述热感摄像头43，用于生成所述物体的热源二维图，并将所述热源二维图发送给所述人机交互装置41；
所述人机交互装置41，用于获取激光雷达42发送的所述距离、所述三维模型图和所述热感摄像头43发送的所述热源二维图，并根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图，将所述物体轮廓图发送给平视显示器44；
所述平视显示器44，用于接收所述人机交互装置41发送的所述物理轮廓图，并将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
在一些实施例中，所述人机交互装置41，还用于在接收到用户的启动指令后，触发所述激光雷达42和所述热感摄像头43开始工作；
和/或，在接收到用户的停止指令后，触发所述激光雷达42和所述热感摄像头43停止工作。
在一些实施例中，所述人机交互装置41，用于根据同一物体的三维模型图和热源二维图，识别所述物体的种类；生成能指示所述物体种类的物体轮廓图；在所述物体轮廓图周围的特定位置处标注出所述车辆与所述物体的距离。
在一些实施例中，所述人机交互装置41，用于根据物体的种类，生成所述物体的物体轮廓图，以使得不同种类的物体的轮廓样式不同；和/或，生成标注有物体种类的物体轮廓图。
在一些实施例中，所述人机交互装置41，用于当物体与所述车辆的距离小于预设阈值时，将对应物体的轮廓设置成闪烁状态；和/或，当物体与所述车辆的距离小于预设阈值时，发出语音报警提示。
在一些实施例中，所述物体包括车道、人、车辆、动物、房屋、其他固定物体和其他可移动物体。
在一些实施例中，当所述物体包括车道时，所述车辆与所述车道的距离包括所述车辆与所述车道两边的距离。
本公开的实施例提供的辅助驾驶***，能够由人机交互装置先获取激光雷达测量的车辆与视野前方特定范围内的物体的距离、物体的三维模型图和热感摄像头生成的热源二维图，然后根据距离、三维模型图和热源二维图，标注有距离且能指示物体种类的物体轮廓图，最后将该物体轮廓图发送给平视显示器，以便平视显示器将物体轮廓图投影到车辆的挡风玻璃上进行显示，从而无论是什么天气导致前方可视性差，驾驶员都可以在挡风玻璃上清楚地看到前方物体的轮廓图、与物体的距离、物体的种类，进而准确判断前方交通情况，避免因前方视野模糊造成交通事故。此外，还可以让驾驶员来控制这一功能的开启和结束，进而节省设备资源。
本公开的实施例还提供了一种计算机程序产品，当在人机交互装置上执行时，适于执行初始化有如下方法步骤的程序代码：
获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本公开的实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本公开的实施例可提供为方法、***或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (18)
1.一种辅助驾驶方法，其特征在于，所述方法包括：
获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
2.根据权利要求1所述的方法，其特征在于，获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图包括：
获取激光雷达测量的所述车辆与视野前方特定范围内的物体的距离、所述激光雷达生成的所述物体的三维模型图，以及热感摄像头生成的所述物体的热源二维图。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在接收到用户的启动指令后，触发所述激光雷达和所述热感摄像头开始工作；
和/或，在接收到用户的停止指令后，触发所述激光雷达和所述热感摄像头停止工作。
4.根据权利要求1所述的方法，其特征在于，根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图包括：
根据同一物体的三维模型图和热源二维图，识别所述物体的种类；
生成能指示所述物体种类的物体轮廓图；
在所述物体轮廓图周围的特定位置处标注出所述车辆与所述物体的距离。
5.根据权利要求4所述的方法，其特征在于，生成能指示所述物体种类的物体轮廓图包括：
根据物体的种类，生成所述物体的物体轮廓图，以使得不同种类的物体的轮廓样式不同；
和/或，生成标注有物体种类的物体轮廓图。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当物体与所述车辆的距离小于预设阈值时，将对应物体的轮廓设置成闪烁状态；
和/或，当物体与所述车辆的距离小于预设阈值时，发出语音报警提示。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述物体包括车道、人、车辆、动物、房屋、其他固定物体和其他可移动物体。
8.根据权利要求7所述的方法，其特征在于，当所述物体包括车道时，所述车辆与所述车道的距离包括所述车辆与所述车道两边的距离。
9.一种辅助驾驶装置，其特征在于，所述装置包括：
获取单元，用于获取车辆与视野前方特定范围内的物体的距离、所述物体的三维模型图和热源二维图；
生成单元，用于根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图；
发送单元，用于将所述物体轮廓图发送给平视显示器，以便所述平视显示器将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任一项所述的辅助驾驶方法。
11.一种人机交互装置，其特征在于，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至8中任一项所述的辅助驾驶方法。
12.一种辅助驾驶***，其特征在于，包括人机交互装置、激光雷达、热感摄像头和平视显示器；其中，所述人机交互装置分别与所述激光雷达、所述热感摄像头和所述平视显示器相连接；
所述激光雷达，用于测量车辆与视野前方特定范围内的物体的距离并生成所述物体的三维模型图，将所述距离和所述三维模型图发送给所述人机交互装置；
所述热感摄像头，用于生成所述物体的热源二维图，并将所述热源二维图发送给所述人机交互装置；
所述人机交互装置，用于获取激光雷达发送的所述距离、所述三维模型图和所述热感摄像头发送的所述热源二维图，并根据所述距离、所述三维模型图和所述热源二维图，生成标注有距离且能指示物体种类的物体轮廓图，将所述物体轮廓图发送给平视显示器；
所述平视显示器，用于接收所述人机交互装置发送的所述物理轮廓图，并将所述物体轮廓图投影到所述车辆的挡风玻璃上进行显示。
13.根据权利要求12所述的***，其特征在于，所述人机交互装置，还用于在接收到用户的启动指令后，触发所述激光雷达和所述热感摄像头开始工作；
和/或，在接收到用户的停止指令后，触发所述激光雷达和所述热感摄像头停止工作。
14.根据权利要求12所述的***，其特征在于，所述人机交互装置，用于根据同一物体的三维模型图和热源二维图，识别所述物体的种类；生成能指示所述物体种类的物体轮廓图；在所述物体轮廓图周围的特定位置处标注出所述车辆与所述物体的距离。
15.根据权利要求14所述的***，其特征在于，所述人机交互装置，用于根据物体的种类，生成所述物体的物体轮廓图，以使得不同种类的物体的轮廓样式不同；和/或，生成标注有物体种类的物体轮廓图。
16.根据权利要求12所述的***，其特征在于，所述人机交互装置，用于当物体与所述车辆的距离小于预设阈值时，将对应物体的轮廓设置成闪烁状态；和/或，当物体与所述车辆的距离小于预设阈值时，发出语音报警提示。
17.根据权利要求12至16中任一项所述的***，其特征在于，所述物体包括车道、人、车辆、动物、房屋、其他固定物体和其他可移动物体。
18.根据权利要求17所述的***，其特征在于，当所述物体包括车道时，所述车辆与所述车道的距离包括所述车辆与所述车道两边的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810344499.6A CN108583434B (zh) | 2018-04-17 | 2018-04-17 | 辅助驾驶方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810344499.6A CN108583434B (zh) | 2018-04-17 | 2018-04-17 | 辅助驾驶方法、装置及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108583434A true CN108583434A (zh) | 2018-09-28 |
| CN108583434B CN108583434B (zh) | 2020-05-15 |
Family
ID=63611252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810344499.6A Active CN108583434B (zh) | 2018-04-17 | 2018-04-17 | 辅助驾驶方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108583434B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069643A (zh) * | 2019-05-24 | 2020-12-11 | 北京车和家信息技术有限公司 | 一种自动驾驶仿真场景生成方法及装置 |
| CN112114582A (zh) * | 2019-06-19 | 2020-12-22 | 北京车和家信息技术有限公司 | 无人驾驶方法及装置 |
| WO2021196398A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市三巨电机有限公司 | 一种温判有物提示装置及车载*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080197284A1 (en) * | 2007-02-16 | 2008-08-21 | Ford Global Technologies, Llc | Method and system for detecting objects using far infrared images |
| CN101269635A (zh) * | 2007-03-23 | 2008-09-24 | 株式会社电装 | 视场监视设备 |
| CN103523011A (zh) * | 2012-07-05 | 2014-01-22 | 现代摩比斯株式会社 | 安全驾驶支持装置及方法 |
| CN104802708A (zh) * | 2014-01-23 | 2015-07-29 | 致伸科技股份有限公司 | 行车影像辅助*** |
| US20150210216A1 (en) * | 2012-11-10 | 2015-07-30 | Audi Ag | Motor vehicle and method for operating a motor vehicle |
| WO2017123477A1 (en) * | 2016-01-11 | 2017-07-20 | Flir Systems, Inc. | Vehicle based radar upsampling |
| CN107284379A (zh) * | 2017-07-28 | 2017-10-24 | 合肥芯福传感器技术有限公司 | 用于车辆安全行驶的ar投影***及投影方法 |
| CN207059896U (zh) * | 2017-07-28 | 2018-03-02 | 合肥芯福传感器技术有限公司 | 用于车辆安全倒车的ar投影*** |
-
2018
- 2018-04-17 CN CN201810344499.6A patent/CN108583434B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080197284A1 (en) * | 2007-02-16 | 2008-08-21 | Ford Global Technologies, Llc | Method and system for detecting objects using far infrared images |
| CN101269635A (zh) * | 2007-03-23 | 2008-09-24 | 株式会社电装 | 视场监视设备 |
| CN103523011A (zh) * | 2012-07-05 | 2014-01-22 | 现代摩比斯株式会社 | 安全驾驶支持装置及方法 |
| US20150210216A1 (en) * | 2012-11-10 | 2015-07-30 | Audi Ag | Motor vehicle and method for operating a motor vehicle |
| CN104802708A (zh) * | 2014-01-23 | 2015-07-29 | 致伸科技股份有限公司 | 行车影像辅助*** |
| WO2017123477A1 (en) * | 2016-01-11 | 2017-07-20 | Flir Systems, Inc. | Vehicle based radar upsampling |
| CN107284379A (zh) * | 2017-07-28 | 2017-10-24 | 合肥芯福传感器技术有限公司 | 用于车辆安全行驶的ar投影***及投影方法 |
| CN207059896U (zh) * | 2017-07-28 | 2018-03-02 | 合肥芯福传感器技术有限公司 | 用于车辆安全倒车的ar投影*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069643A (zh) * | 2019-05-24 | 2020-12-11 | 北京车和家信息技术有限公司 | 一种自动驾驶仿真场景生成方法及装置 |
| CN112069643B (zh) * | 2019-05-24 | 2023-10-10 | 北京车和家信息技术有限公司 | 一种自动驾驶仿真场景生成方法及装置 |
| CN112114582A (zh) * | 2019-06-19 | 2020-12-22 | 北京车和家信息技术有限公司 | 无人驾驶方法及装置 |
| CN112114582B (zh) * | 2019-06-19 | 2023-12-19 | 北京车和家信息技术有限公司 | 无人驾驶方法及装置 |
| WO2021196398A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳市三巨电机有限公司 | 一种温判有物提示装置及车载*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108583434B (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12024196B2 (en) | Simulation test method for autonomous driving vehicle, computer equipment and medium | |
| CN109557904B (zh) | 一种测试方法、装置、设备和介质 | |
| US10755007B2 (en) | Mixed reality simulation system for testing vehicle control system designs | |
| CN106323308B (zh) | 预处理道路数据的方法、自驾驶道路车辆及其控制方法 | |
| CN105793730B (zh) | 对象运动的基于激光雷达的分类 | |
| US10139832B2 (en) | Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis | |
| CN109101690A (zh) | 用于渲染车辆自动驾驶模拟器中的场景的方法和装置 | |
| JP2022058952A (ja) | 路面凹凸領域の検出方法、装置、電子デバイス、記憶媒体、プログラム、及び車両 | |
| JP2018032402A (ja) | 車載拡張現実システム向けの遮蔽調整システム | |
| CN108583434A (zh) | 辅助驾驶方法、装置及*** | |
| CN109949594A (zh) | 实时的交通灯识别方法 | |
| Nentwig et al. | Hardware-in-the-loop testing of computer vision based driver assistance systems | |
| CN110298933A (zh) | 车辆传感器的高光溢出去除 | |
| CN111881245B (zh) | 能见度动态地图的产生方法、装置、设备及存储介质 | |
| CN116783462A (zh) | 一种自动驾驶***的性能测试方法 | |
| CN117056153A (zh) | 校准和验证驾驶员辅助***和/或自动驾驶***的方法、***和计算机程序产品 | |
| CN113246930B (zh) | 一种监控车辆周围状态的方法及设备 | |
| CN111338232A (zh) | 自动驾驶仿真方法及装置 | |
| CN110239553A (zh) | 电动汽车的虚拟加速踏板开度的计算方法及装置 | |
| CN116167255B (zh) | 一种基于vtd的车路协同闭环仿真测试方法及*** | |
| US12050661B2 (en) | Systems and methods for object detection using stereovision information | |
| CN112885132A (zh) | 一种基于ai无人驾驶智能调度***及自动驾驶方法 | |
| US20220309693A1 (en) | Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation | |
| JP2023528353A (ja) | 高解像度のデジタルマップを提供するための方法及び装置 | |
| JP7479856B2 (ja) | ドライブチャート作成装置及びその方法並びにドライブチャートを利用する領域特性特定装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211118 Address after: Room 103, building 1, yard 4, Hengxing Road, Gaoliying Town, Shunyi District, Beijing Patentee after: Beijing Rockwell Technology Co.,Ltd. Address before: Room 801, 8 / F, building 3, No.10 courtyard, Wangjing street, Chaoyang District, Beijing 100102 Patentee before: BEIJING CHJ AUTOMOTIVE TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |