CN114626472A - 基于机器学习的辅助驾驶方法、装置和计算机可读介质 - Google Patents
基于机器学习的辅助驾驶方法、装置和计算机可读介质 Download PDFInfo
- Publication number
- CN114626472A CN114626472A CN202210273214.0A CN202210273214A CN114626472A CN 114626472 A CN114626472 A CN 114626472A CN 202210273214 A CN202210273214 A CN 202210273214A CN 114626472 A CN114626472 A CN 114626472A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- visibility
- machine learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于机器学习的辅助驾驶方法、装置和计算机可读介质。该方法包括：获取训练数据，所述训练数据包括目标路段在不同天气状况下的多张图像，每张所述图像具有一能见度；构建机器学习模型，将所述训练数据输入所述机器学习模型，所述机器学习模型的输出结果包括每张所述图像的能见度；获取所述目标路段的第一图像，将所述第一图像输入经训练的所述机器学习模型，经训练的所述机器学习模型的第一输出结果包括所述第一图像的当前能见度；根据所述当前能见度对所述第一图像进行去雾处理，获得第二图像；以及根据所述第二图像在车载显示设备上提供可视化信息。
Description
技术领域
本发明主要涉及智能汽车领域，具体地涉及一种基于机器学习的辅助驾驶方法、装置和计算机可读介质。
背景技术
随着新能源汽车和智能汽车的快速发展，汽车在传统的行驶功能之外，具备了越来越多的自动驾驶、计算机辅助驾驶等功能，不仅为驾驶员提供了多种辅助功能，更重要的是，提高了驾驶的安全性。大自然天气变幻万千，在如雾天、雨天、雪天等恶劣天气下，能见度下降、地面湿滑、环境复杂等因素会影响驾驶员的观察和判断，容易发生交通事故。目前，还没有一种行之有效的方案能够帮助驾驶员在恶劣天气下排除环境的影响。
发明内容
本发明所要解决的技术问题是提供一种提高恶劣天气驾驶安全性的基于机器学习的辅助驾驶方法、装置和计算机可读介质。
本发明为解决上述技术问题而采用的技术方案是一种基于机器学习的辅助驾驶方法，包括：获取训练数据，所述训练数据包括目标路段在不同天气状况下的多张图像，每张所述图像具有一能见度；构建机器学习模型，将所述训练数据输入所述机器学习模型，所述机器学习模型的输出结果包括每张所述图像的能见度；获取所述目标路段的第一图像，将所述第一图像输入经训练的所述机器学习模型，经训练的所述机器学习模型的第一输出结果包括所述第一图像的当前能见度；根据所述当前能见度对所述第一图像进行去雾处理，获得第二图像；以及根据所述第二图像在车载显示设备上提供可视化信息。
在本申请的一实施例中，还包括：获取所述多张图像的同时获取车辆的多组雷达数据，所述雷达数据用于提供车辆周围的障碍物分布，所述多组雷达数据和所述多张图像一一对应；根据所述障碍物分布和所述能见度确定驾驶员的可视范围；所述训练数据包括所述多组雷达数据和所述可视范围；所述机器学习模型的输出结果还包括每张所述图像对应的可视范围；获取所述目标路段的第一图像的同时获取所述车辆的第一雷达数据，将所述第一图像和所述第一雷达数据输入经训练的所述机器学习模型，经训练的所述机器学习模型的第二输出结果包括当前可视范围；根据所述第二图像和所述当前可视范围生成第三图像；以及根据所述第三图像在车载显示设备上提供可视化信息。
在本申请的一实施例中，根据所述当前能见度对所述第一图像进行去雾处理的步骤包括：获取所述目标路段在晴天的清晰图像；根据所述能见度对所述训练数据中的每张所述图像进行分组，同一个能见度组中的所述图像的所述能见度处于对应的预设范围之内，每个能见度组中包括至少2张所述图像；分别计算每个能见度组中的多张所述图像和所述清晰图像的相似度，获取每个组中具有最大相似度的目标图像；根据所述目标图像和所述清晰图像提取相似特征参数，每个所述能见度组具有一个所述相似特征参数；根据所述相似特征参数处理所述能见度组中的所有图像，获得所述第二图像。
在本申请的一实施例中，所述多张图像的来源包括：车载摄像头、路载摄像头、移动终端中一个或多个。
在本申请的一实施例中，所述车载显示设备包括车载大屏，根据所述第二图像在车载显示设备上提供可视化信息的步骤包括：在所述车载大屏上显示所述第二图像。
在本申请的一实施例中，所述车载显示设备包括车载大屏，根据所述第三图像在车载显示设备上提供可视化信息的步骤包括：在所述车载大屏显示所述第三图像。
在本申请的一实施例中，所述第三图像包括所述车辆的模拟图像和所述车辆周围的可视化的第一雷达数据。
在本申请的一实施例中，所述不同天气状况包括晴天、雨天、雪天、雾天中的至少一个。
本申请为解决上述技术问题还提出一种基于机器学习的辅助驾驶装置，其特征在于，包括：图像获取单元、机器学习模型、去雾处理单元和车载显示设备，
所述图像获取单元用于获取目标路段的第一图像；所述机器学习模型用于根据输入的所述第一图像输出所述第一图像的当前能见度；所述去雾处理单元用于根据所述当前能见度对所述第一图像进行去雾处理，获得第二图像；所述车载显示设备用于根据所述第二图像在车载显示设备上提供可视化信息。
在本申请的一实施例中，还包括：雷达数据获取单元，用于在所述图像获取单元获取所述第一图像的同时获取车辆的第一雷达数据；所述机器学习模型还用于根据所述第一图像和所述第一雷达数据输出驾驶员的当前可视范围。
本申请为解决上述技术问题还提出一种基于机器学习的辅助驾驶装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如上所述的方法。
本申请为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
本申请的基于机器学习的辅助驾驶方法通过机器学习模型可以获取车辆实时获取的第一图像的能见度，并根据该能见度对第一图像进行去雾处理，获得相对清晰的第二图像，并通过车载显示设备直观地显示给驾驶员，可以为驾驶员提供一个清晰安全的驾驶信息。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是本申请一实施例的基于机器学习的辅助驾驶方法的示例性流程图；
图2是本申请一实施例的辅助驾驶方法中根据当前能见度对第一图像进行去雾处理的示例性流程图；
图3是本申请一实施例的基于机器学习的辅助驾驶装置的框图；
图4是本发明一实施例的基于机器学习的辅助驾驶装置的***框图。
具体实施方式
为让本申请的上述目的、特征和优点能更明显易懂，以下结合附图对本申请的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，因此本申请不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请的基于机器学习的辅助驾驶方法、装置和计算机可读介质适用于在诸如雾天、雨天、雪天等能见度降低的恶劣天气下的安全驾驶。
图1是本申请一实施例的基于机器学习的辅助驾驶方法的示例性流程图。参考图1所示，该实施例的辅助驾驶方法包括以下步骤：
步骤S110：获取训练数据，所述训练数据包括目标路段在不同天气状况下的多张图像，每张所述图像具有一能见度；
步骤S120：构建机器学习模型，将训练数据输入机器学习模型，机器学习模型的输出结果包括每张图像的能见度；
步骤S130：获取目标路段的第一图像，将第一图像输入经训练的机器学习模型，经训练的机器学习模型的第一输出结果包括第一图像的当前能见度；
步骤S140：根据当前能见度对第一图像进行去雾处理，获得第二图像；以及
步骤S150：根据第二图像在车载显示设备上提供可视化信息。
以下结合附图对上述步骤S110-S150进行说明。
在步骤S110，训练数据指用于训练机器学习模型的数据。目标路段用于明确所要拍摄图像的位置。本申请对目标路段的位置、特征等不做限制。可以是感兴趣的路段、或者是事故多发地段，例如十字路口、弯道等地方。
本申请对如何获取作为训练数据的多张图像的方式不做限制。
在一些实施例中，多张图像的来源包括：车载摄像头、路载摄像头、移动终端中一个或多个。
在一些实施例中，通过车载摄像装置获得目标路段在不同天气状况下的多张图像。在这些实施例中，可以通过多辆不同的车辆上的车载摄像装置获得同一个目标路段的多张图像。可以理解，由于车速、环境等的差异，不同车辆所获得的同一个目标路段的多张图像也存在一些差异。这里的环境指车辆周围的环境，包括其他车辆、行人、非机动车等。然而，由于都是在目标路段所获得的图像，这些图像具有一定的相关性。
在一些实施例中，通过路载摄像设备获得目标路段在不同天气状况下的多张图像。在这些实施例中，路载摄像设备可以是例如固定在路边的摄像头，例如安装在交通灯上的摄像头，或者专门的交通摄像头等。对于这些实施例，由于路载摄像设备的位置通常是固定不变的，则所获得的图像相对于车载摄像头来说具有更高的相关性。路载摄像设备所获得的目标路段的多张图像同样也会受到上述的环境的影响，从而使不同图像产生一定的差异。
在一些实施例中，多张图像来源于移动终端。该移动终端包括但不限于驾驶员或车内成员的移动终端，或车载移动终端。
在一些实施例中，步骤S110中的不同天气状况包括晴天、雨天、雪天、雾天中的至少一个。
在步骤S110中，每张图像具有一能见度。该能见度是指视力正常的人能将目标物从背景中识别出来的最大距离。即白天以靠近地平线的天空为背景，能清楚看出视角大于20度的地面灰暗目标物的轮廓并辨认出它是什么物体，夜间能清楚看见目标灯的发光点。以m(米)为单位。能见度的大小，主要由两个因素决定：①目标物与衬托它的背景之间的亮度差异。差异愈大(小)，能见距离愈大(小)。但这种亮度差异通常变化不大。②大气透明度。观测者与目标物间的气层能减弱前述的亮度差异。大气透明度愈差(好)，能见距离愈小(大)。
在恶劣天气下，尤其是雾天，大气透明度与晴天相比具有较大的降低，导致能见度低，使驾驶员难以对周围的环境做出判断，造成驾驶困难，并且容易发生交通事故。
能见度的测量一般采用目测的方法，也可以使用仪器测量，例如大气投射仪、激光能见度自动测量仪等仪器。
本申请对能见度的获得方式不做限制。
在一些实施例中，在获取训练数据时，在目标路段同时设置能见度测量仪器，将图像的获取时刻和能见度测量仪器的测量时刻对应起来，可以使每张图像具有对应的能见度。
在一些实施例中，能见度数据由气象中心集中获得，可以根据所获得的图像的时刻、位置，从气象中心的数据库中获取该图像对应的能见度。
在步骤S120，本申请对机器学习模型的具体实时方式不做限制。机器学习模型可以是传统神经网络模型，还可以采用例如支持向量机、逻辑回归、决策树、贝叶斯等原理来构建。也可以采用深度学习模型，利用多种不同的算法和方法共同实现本申请的机器学习模型。
在步骤S120，将步骤S110中所获取的训练数据输入至该机器学习模型中，该机器学习模型的输出结果包括训练数据中的每张图像的能见度。
在一些实施例中，步骤S120还包括对该机器学习模型进行测试。在测试时，可以选择一部分数据作为测试数据，这些测试数据是与步骤S110中的训练数据类似地，是目标路段在不同天气状况下的多张图像。但是测试数据并不是训练数据。经过测试数据的测试，可以根据测试结果来优化机器学习模型，使其能够根据图像的能见度进行分类，从而获得图像的能见度。
在步骤S130，获取目标路段的第一图像。
在一些实施例中，该第一图像是由车载摄像装置获得，而不是路载摄像设备。
本申请对车载摄像装置在车辆上的具体设置方式不做限制。例如，车载摄像装置可以设置在车身内或车身外，根据其设置角度，车载摄像装置可以获得车前、车后、车侧方等各个不同方位、不同角度的图像。
将第一图像输入至由步骤S120训练过的机器学习模型中，该机器学习模型输出第一输出结果，该第一输出结果包括第一图像的当前能见度。
根据步骤S130，可以对输入至机器学习模型的目标路段的任意第一图像进行处理，并获得该第一图像所对应的当前能见度。可以理解，如果第一图像是在晴天获取的，则该当前能见度较高；如果第一图像是在雾天获取的，则该当前能见度较低。
在步骤S140，根据所获得的当前能见度对第一图像进行去雾处理，获得第二图像。
本申请对于如何对第一图像进行去雾处理不做限制。可以采用图像处理领域中的图像增强、分割、锐化等各种图像处理手段对第一图像进行处理，使具有较低能见度的第一图像的能见度得以提高，提高第一图像中特征图像的识别度。在本申请的实施例中，特征图像指对于驾驶过程具有影响力的图像内容，包括：红绿灯、行人、各种车辆、路障等。
图2是本申请一实施例的辅助驾驶方法中根据当前能见度对第一图像进行去雾处理的示例性流程图。参考图2所示，在该实施例中，步骤S140中的根据当前能见度对第一图像进行去雾处理的步骤包括：
步骤S141：获取目标路段在晴天的清晰图像；
步骤S142：根据能见度对训练数据中的每张图像进行分组，同一个能见度组中的图像的能见度处于对应的预设范围之内，每个能见度组中包括至少2张图像；
步骤S143：分别计算每个能见度组中的多张图像和清晰图像的相似度，获取每个组中具有最大相似度的目标图像；
步骤S144：根据目标图像和清晰图像提取相似特征参数，每个能见度组具有一个相似特征参数；
步骤S145：根据相似特征参数处理能见度组中的所有图像，获得第二图像。
以下分别对上述步骤S141-S145进行说明。
在步骤S141，可以从训练数据中获取该清晰图像。可以根据图像获取时的天气情况来判断一幅图像是否为清晰图像。例如，图像获取时刻的天气情况是晴天，则该图像是清晰图像；图像获取时刻的天气情况是雨雪天，则该图像不是清晰图像。
在一些实施例中，可以根据图像的能见度来判断图像是否为清晰图像。例如设置一能见度阈值S，若图像的能见度大于S，该图像为清晰图像，若该图像的能见度小于S，该图像不是清晰图像。
在步骤S142，对训练数据中的每张图像进行分组，例如使能见度处于第一预设范围F1中的图像为F1组，使能见度处于第二预设范围F2中的图像为F2组，依此类推。
本申请对该能见度的预设范围的具体数值不做限制。例如，第一预设范围F1为0-10米，第二预设范围为10-30米等。
根据步骤S142，可以将具有类似能见度的图像放在同一个能见度组中。
在步骤S143，分别计算每个能见度组中的多张图像和清晰图像的相似度。本申请对相似度的计算方法不做限制。例如一个能见度组中具有n张图像，则在步骤S143，分别计算该n张图像和一张清晰图像之间的相似度，可以获得n个相似度。当具有m张清晰图像时，则分别计算n张图像和m张清晰图像之间的相似度，可以获得n*m个相似度。
在一些实施例中，相似度的计算方法是计算每个能见度组中的多张图像和清晰图像的互信息或模糊互信息。关于模糊互信息的计算如下：
设图像EA、EB的灰度取值范围为{a1,a2,…,ak}{b1,b2,…,bJ}，联合概率分布为{P(ak,bj)}，k＝1,2,…,K；j＝1,2,…,J，
为其灰度配准关系，则定义图像EA、EB的模糊互信息为：
(1)
(2)
当
时，
公式(2)表示，互信息I(A，B)是模糊互信息fI(A；B)的灰度配准相关函数取值为1时的特殊情况，即：模糊互信息fI(A；B)更具有普遍性。
在图像配准领域中，待配准图像的空间位置与目标图像完全一致时，图像之间表达的信息最大，同时灰度序偶的灰度配准相关度达到最大，这时模糊互信息达到最大值。因此模糊互信息可以作为图像配准的配准测度，模糊互信息最大的位置就是图像的配准位置。
根据模糊互信息的上述特性，在步骤S142计算多张图像和清晰图像之间的模糊互信息，将所获得的结果作为对该多张图像和清晰图像的相似度考量。获取每个组中具有最大相似度的目标图像，可以是获取每个组中具有最大的模糊互信息的目标图像。
延续前例，在一个具有n张图像的能见度组中，目标图像是n个模糊互信息中具有最大模糊互信息的图像。当具有m张清晰图像时，可以获得n行*m列的模糊互信息矩阵，其中，第i行对应于第i张图像，i＝1：n。获取第i行的m个模糊互信息的平均值或最大值，作为该第i行的相似度值。比较n个相似度值，可以确定具有最大相似度值的目标图像。
在步骤S144，可以比较目标图像和清晰图像的灰度值，从中提取相似特征参数。例如，采用下面的方式建立目标图像和清晰图像之间的灰度值关系：
f(x)＝a0+a1*g(x) (3)
其中，f(x)用于表示清晰图像在位置x的灰度值，g(x)用于表示目标图像在位置x的灰度值，a0和a1都是相似特征参数。其中位置x可以是从图像的左上角开始先行后列进行编号，表示每个像素点的位置。
将f(x)、g(x)的具体数值代入上式(3)可以获得相似特征参数a0和a1。
需要说明，公式(3)仅为示例。在其他的实施例中，还可以采用其他的线性或非线性形式的公式来获得相应的相似特征参数。
在步骤S145，根据相似特征参数处理每个能见度组中的所有图像。
例如，延续公式(3)所示的示例，根据所获得的相似特征参数a0和a1，将一个组中的所有图像的灰度值代入公式(3)，可以反向获得每个图像对应的第二图像，该第二图像相对于原来的图像来说，更加清晰，去除了原来图像中不清晰的因素。
根据上述的步骤S142-S145，对于每个第一图像可以获得相应地清晰的第二图像。
这样，在步骤S150，根据第二图像在车载显示设备上提供可视化信息。
在一些实施例中，步骤S150的根据第二图像指将第二图像直接显示在车载显示设备上。
在一些实施例中，步骤S150的根据第二图像指对第二图像再进行一些处理，之后再显示在车载显示设备上。
在一些实施例中，车载显示设备包括车载大屏，根据第二图像在车载显示设备上提供可视化信息的步骤包括：在车载大屏上显示第二图像。
在一些实施例中，本申请的辅助驾驶方法还包括根据能见度控制车辆自动打开雾灯。
在一些实施例中，本申请的辅助驾驶方法还包括根据能见度自动降低车速。
在一些实施例中，本申请的辅助驾驶方法还包括根据能见度提供报警和提醒。
根据本申请的基于机器学习的辅助驾驶方法，通过机器学习模型可以获取车辆实时获取的第一图像的能见度，并根据该能见度对第一图像进行去雾处理，获得相对清晰的第二图像，并通过车载显示设备直观地显示给驾驶员，可以为驾驶员提供一个清晰安全的驾驶信息。
在一些实施例中，本申请的基于机器学习的辅助驾驶方法，还包括：获取多张图像的同时获取车辆的多组雷达数据，雷达数据用于提供车辆周围的障碍物分布，多组雷达数据和多张图像一一对应；根据障碍物分布和能见度确定驾驶员的可视范围；训练数据包括多组雷达数据和可视范围；机器学习模型的输出结果还包括每张图像对应的可视范围；获取目标路段的第一图像的同时获取车辆的第一雷达数据，将第一图像和第一雷达数据输入经训练的所述机器学习模型，经训练的机器学习模型的第二输出结果包括当前可视范围。
该方法还包括下面的步骤：
步骤S160：根据第二图像和当前可视范围生成第三图像；以及
步骤S170：根据第三图像在车载显示设备上提供可视化信息。
具体地，在该些实施例中，雷达数据可以来源于车载雷达装置，用于提供车辆周围包括但不限于前后左右的障碍物分布信息。并且，该雷达数据和步骤S110中的图像一一对应。
在一些情况下，通过车载摄像装置获取图像或第一图像的同时，通过相同车辆的车载雷达装置获得雷达数据。
根据障碍物分布和能见度确定驾驶员的可视范围。对于图像来说，能见度仅考虑了恶劣天气对空气能见度的影响，但是并未考虑车辆周围环境对驾驶员的可视范围的影响。在包括雷达数据的实施例中，同时考虑能见度和雷达数据，有助于为驾驶员提供复杂环境信息，辅助驾驶员做出安全判断。
根据上述的实施例，在机器学习模型的训练数据同时包括多组雷达数据和可视范围，机器学习模型的输出结果除了每张图像的能见度之外，还包括每张图像的可视范围。
将车辆实时获取的目标路段的第一图像和第一雷达数据输入至经训练的机器学习模型，可以获得该第一图像和第一雷达数据所对应的可视范围。
在上述的步骤S160，根据经过去雾处理的第二图像和该可视范围生成第三图像。可以理解，第三图像中包括了障碍物分布信息，相比于第二图像来说，具有更多的复杂环境信息。
在上述的步骤S170，根据步骤S160所获得的第三图像在车载显示设备上提供可视化信息。
在一些实施例中，车载显示设备包括车载大屏，根据第三图像在车载显示设备上提供可视化信息的步骤包括：在车载大屏上显示第三图像。
需要说明，本申请对车载显示设备的具体设置位置、数量、显示方式不做限制。在一些实施例中，该车载显示设备是液晶屏。
在一些实施例中，第三图像包括车辆的模拟图像和车辆周围的可视化的第一雷达数据。根据这些实施例，可以向驾驶员显示车辆和周围环境之间的相对位置关系，有助于帮助驾驶员进行安全驾驶。
根据上述实施例的辅助驾驶方法，通过机器学习模型可以根据车辆实时地第一图像和第一雷达信息获取第一图像的能见度和驾驶员的可视范围，并通过车载显示设备直观地显示给驾驶员，可以为驾驶员提供一个清晰安全的驾驶信息。
图3是本申请一实施例的基于机器学习的辅助驾驶装置的框图。参考图3所示，该辅助驾驶装置300包括图像获取单元310、机器学习模型320、去雾处理单元330和车载显示设备340。其中，图像获取单元310用于获取目标路段的第一图像；机器学习模型320用于根据输入的第一图像输出第一图像的当前能见度；去雾处理单元330用于根据当前能见度对第一图像进行去雾处理，获得第二图像；车载显示设备340用于根据第二图像在车载显示设备上提供可视化信息。
图3所示的辅助驾驶装置300可以用于执行前文所述的辅助驾驶方法，因此，图1、图2和前文的说明内容都可以用于说明本申请的辅助驾驶装置300。
在一些实施例中，如图3所示，该辅助驾驶装置300还包括雷达数据获取单元350，用于在图像获取单元310获取第一图像的同时获取车辆的雷达数据；在该实施例中，机器学习模型320还用于根据第一图像和第一雷达数据输出驾驶员的当前可视范围。
包括雷达数据获取单元350的辅助驾驶装置300可以用于执行前文包括获取多组雷达数据的辅助驾驶方法，前文相关的说明内容都可以用于说明该辅助驾驶装置300，不再展开。
本发明还包括一种基于机器学习的辅助驾驶装置，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的基于机器学习的辅助驾驶方法。
图4是本发明一实施例的基于机器学习的辅助驾驶装置的***框图。参考图4所示，该辅助驾驶装置400可包括内部通信总线401、处理器402、只读存储器(ROM)403、随机存取存储器(RAM)404以及通信端口405。当应用在个人计算机上时，该辅助驾驶装置400还可以包括硬盘406。内部通信总线401可以实现该辅助驾驶装置400组件间的数据通信。处理器402可以进行判断和发出提示。在一些实施例中，处理器402可以由一个或多个处理器组成。通信端口405可以实现该辅助驾驶装置400与外部的数据通信。在一些实施例中，该辅助驾驶装置400可以通过通信端口405从网络发送和接受信息及数据。该辅助驾驶装置400还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘406，只读存储器(ROM)403和随机存取存储器(RAM)404，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。
上述的基于机器学习的辅助驾驶方法可以实施为计算机程序，保存在硬盘406中，并可加载到处理器402中执行，以实施本申请的基于机器学习的辅助驾驶方法。
本发明还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文所述的基于机器学习的辅助驾驶方法。
基于机器学习的辅助驾驶方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
Claims (12)
1.一种基于机器学习的辅助驾驶方法，包括：
获取训练数据，所述训练数据包括目标路段在不同天气状况下的多张图像，每张所述图像具有一能见度；
构建机器学习模型，将所述训练数据输入所述机器学习模型，所述机器学习模型的输出结果包括每张所述图像的能见度；
获取所述目标路段的第一图像，将所述第一图像输入经训练的所述机器学习模型，经训练的所述机器学习模型的第一输出结果包括所述第一图像的当前能见度；
根据所述当前能见度对所述第一图像进行去雾处理，获得第二图像；以及
根据所述第二图像在车载显示设备上提供可视化信息。
2.如权利要求1所述的辅助驾驶方法，其特征在于，还包括：获取所述多张图像的同时获取车辆的多组雷达数据，所述雷达数据用于提供车辆周围的障碍物分布，所述多组雷达数据和所述多张图像一一对应；根据所述障碍物分布和所述能见度确定驾驶员的可视范围；所述训练数据包括所述多组雷达数据和所述可视范围；所述机器学习模型的输出结果还包括每张所述图像对应的可视范围；
获取所述目标路段的第一图像的同时获取所述车辆的第一雷达数据，将所述第一图像和所述第一雷达数据输入经训练的所述机器学习模型，经训练的所述机器学习模型的第二输出结果包括当前可视范围；
根据所述第二图像和所述当前可视范围生成第三图像；以及
根据所述第三图像在车载显示设备上提供可视化信息。
3.如权利要求1所述的辅助驾驶方法，其特征在于，根据所述当前能见度对所述第一图像进行去雾处理的步骤包括：
获取所述目标路段在晴天的清晰图像；
根据所述能见度对所述训练数据中的每张所述图像进行分组，同一个能见度组中的所述图像的所述能见度处于对应的预设范围之内，每个能见度组中包括至少2张所述图像；
分别计算每个能见度组中的多张所述图像和所述清晰图像的相似度，获取每个组中具有最大相似度的目标图像；
根据所述目标图像和所述清晰图像提取相似特征参数，每个所述能见度组具有一个所述相似特征参数；
根据所述相似特征参数处理所述能见度组中的所有图像，获得所述第二图像。
4.如权利要求1所述的辅助驾驶方法，其特征在于，所述多张图像的来源包括：车载摄像头、路载摄像头、移动终端中一个或多个。
5.如权利要求1所述的辅助驾驶方法，其特征在于，所述车载显示设备包括车载大屏，根据所述第二图像在车载显示设备上提供可视化信息的步骤包括：在所述车载大屏上显示所述第二图像。
6.如权利要求2所述的辅助驾驶方法，其特征在于，所述车载显示设备包括车载大屏，根据所述第三图像在车载显示设备上提供可视化信息的步骤包括：在所述车载大屏显示所述第三图像。
7.如权利要求6所述的辅助驾驶方法，其特征在于，所述第三图像包括所述车辆的模拟图像和所述车辆周围的可视化的第一雷达数据。
8.如权利要求1所述的辅助驾驶方法，其特征在于，所述不同天气状况包括晴天、雨天、雪天、雾天中的至少一个。
9.一种基于机器学习的辅助驾驶装置，其特征在于，包括：图像获取单元、机器学习模型、去雾处理单元和车载显示设备，
所述图像获取单元用于获取目标路段的第一图像；
所述机器学习模型用于根据输入的所述第一图像输出所述第一图像的当前能见度；
所述去雾处理单元用于根据所述当前能见度对所述第一图像进行去雾处理，获得第二图像；
所述车载显示设备用于根据所述第二图像在车载显示设备上提供可视化信息。
10.如权利要求9所述的辅助驾驶装置，其特征在于，还包括：雷达数据获取单元，用于在所述图像获取单元获取所述第一图像的同时获取车辆的第一雷达数据；所述机器学习模型还用于根据所述第一图像和所述第一雷达数据输出驾驶员的当前可视范围。
11.一种基于机器学习的辅助驾驶装置，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如1-8任一项所述的方法。
12.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如1-8任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210273214.0A CN114626472A (zh) | 2022-03-18 | 2022-03-18 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
| PCT/CN2022/116658 WO2023173699A1 (zh) | 2022-03-18 | 2022-09-02 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210273214.0A CN114626472A (zh) | 2022-03-18 | 2022-03-18 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114626472A true CN114626472A (zh) | 2022-06-14 |
Family
ID=81902654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210273214.0A Pending CN114626472A (zh) | 2022-03-18 | 2022-03-18 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114626472A (zh) |
| WO (1) | WO2023173699A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023173699A1 (zh) * | 2022-03-18 | 2023-09-21 | 合众新能源汽车股份有限公司 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001283394A (ja) * | 2000-03-30 | 2001-10-12 | Toshiba Corp | 車両運転視程支援装置 |
| US20170135621A1 (en) * | 2015-11-16 | 2017-05-18 | Samsung Electronics Co., Ltd. | Apparatus and method to train autonomous driving model, and autonomous driving apparatus |
| CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
| US10803324B1 (en) * | 2017-01-03 | 2020-10-13 | Waylens, Inc. | Adaptive, self-evolving learning and testing platform for self-driving and real-time map construction |
| US20210390847A1 (en) * | 2018-07-31 | 2021-12-16 | Nippon Telegraph And Telephone Corporation | Driving assistance device and method, and storage medium in which program is stored |
| CN114037630A (zh) * | 2021-11-05 | 2022-02-11 | 北京百度网讯科技有限公司 | 一种模型训练及图像去雾方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7970178B2 (en) * | 2007-12-21 | 2011-06-28 | Caterpillar Inc. | Visibility range estimation method and system |
| CN109117691A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 可行驶区域检测方法、装置、设备及存储介质 |
| CN109829386B (zh) * | 2019-01-04 | 2020-12-11 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
| CN110097519B (zh) * | 2019-04-28 | 2021-03-19 | 暨南大学 | 基于深度学习的双监督图像去雾方法、***、介质和设备 |
| WO2021229458A1 (en) * | 2020-05-12 | 2021-11-18 | C.R.F. Societa' Consortile Per Azioni | Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog |
| CN114626472A (zh) * | 2022-03-18 | 2022-06-14 | 合众新能源汽车有限公司 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
-
2022
- 2022-03-18 CN CN202210273214.0A patent/CN114626472A/zh active Pending
- 2022-09-02 WO PCT/CN2022/116658 patent/WO2023173699A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001283394A (ja) * | 2000-03-30 | 2001-10-12 | Toshiba Corp | 車両運転視程支援装置 |
| US20170135621A1 (en) * | 2015-11-16 | 2017-05-18 | Samsung Electronics Co., Ltd. | Apparatus and method to train autonomous driving model, and autonomous driving apparatus |
| US10803324B1 (en) * | 2017-01-03 | 2020-10-13 | Waylens, Inc. | Adaptive, self-evolving learning and testing platform for self-driving and real-time map construction |
| US20210390847A1 (en) * | 2018-07-31 | 2021-12-16 | Nippon Telegraph And Telephone Corporation | Driving assistance device and method, and storage medium in which program is stored |
| CN111259957A (zh) * | 2020-01-15 | 2020-06-09 | 上海眼控科技股份有限公司 | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 |
| CN114037630A (zh) * | 2021-11-05 | 2022-02-11 | 北京百度网讯科技有限公司 | 一种模型训练及图像去雾方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023173699A1 (zh) * | 2022-03-18 | 2023-09-21 | 合众新能源汽车股份有限公司 | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023173699A1 (zh) | 2023-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106980813B (zh) | 机器学习的注视生成 | |
| CN109308816B (zh) | 一种确定道路交通风险的方法、装置及车载*** | |
| CN104011737B (zh) | 用于探测雾的方法 | |
| Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
| JP2022537143A (ja) | ヒートマップを使用したドライバーの注目の検出 | |
| US20170300763A1 (en) | Road feature detection using a vehicle camera system | |
| US9576489B2 (en) | Apparatus and method for providing safe driving information | |
| CN103847640B (zh) | 提供增强现实的方法和设备 | |
| CN112750323A (zh) | 用于车辆安全的管理方法、装置和计算机存储介质 | |
| US20190141310A1 (en) | Real-time, three-dimensional vehicle display | |
| CN104881661A (zh) | 基于结构相似度的车辆检测方法 | |
| CN110188687A (zh) | 汽车的地形识别方法、***、设备及存储介质 | |
| CN113635833A (zh) | 基于汽车a柱的车载显示装置、方法、***及存储介质 | |
| CN113673403B (zh) | 行驶环境检测方法、***、装置、计算机设备、计算机可读存储介质及汽车 | |
| CN114626472A (zh) | 基于机器学习的辅助驾驶方法、装置和计算机可读介质 | |
| CN115273003A (zh) | 一种结合字符定位的交通标志识别及导航决策方法和*** | |
| CN116142186A (zh) | 不良环境下车辆安全行驶预警方法、装置、介质和设备 | |
| CN116012822B (zh) | 一种疲劳驾驶的识别方法、装置及电子设备 | |
| Negru et al. | Assisting navigation in homogenous fog | |
| CN116503825A (zh) | 自动驾驶场景下基于图像与点云融合的语义场景补全方法 | |
| CN113752940B (zh) | 进出隧道车灯控制方法、设备、存储介质及装置 | |
| CN111433779A (zh) | 用于识别道路特征的***和方法 | |
| CN113727071A (zh) | 路况显示方法和*** | |
| CN108428356B (zh) | 一种基于流体密度场的路况图展示及辅助驾驶应用方法 | |
| Rani et al. | Traffic sign detection and recognition using deep learning-based approach with haze removal for autonomous vehicle navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: United New Energy Automobile Co.,Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. |
|
| CB02 | Change of applicant information |