CN113538357A - 一种抗阴影干扰的路面状态在线检测方法 - Google Patents

一种抗阴影干扰的路面状态在线检测方法 Download PDF

Info

Publication number
CN113538357A
CN113538357A CN202110777999.0A CN202110777999A CN113538357A CN 113538357 A CN113538357 A CN 113538357A CN 202110777999 A CN202110777999 A CN 202110777999A CN 113538357 A CN113538357 A CN 113538357A
Authority
CN
China
Prior art keywords
road surface
shadow
state
pavement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110777999.0A
Other languages
English (en)
Other versions
CN113538357B (zh
Inventor
田成
冷搏
金达
熊璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110777999.0A priority Critical patent/CN113538357B/zh
Publication of CN113538357A publication Critical patent/CN113538357A/zh
Application granted granted Critical
Publication of CN113538357B publication Critical patent/CN113538357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种抗阴影干扰的路面状态在线检测方法,包括:收集不同场景工况下的路面图像及路面阴影图像历史数据,通过离线训练,分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型;获取实际路面图像,基于路面区域分割模型、路面阴影检测模型和路面状态分类模型,得到该实际路面图像对应的路面状态检测结果。与现有技术相比,本发明不依赖车辆激励状态,且不受路面阴影干扰,能够对车辆当前行驶道路的路面状态进行准确可靠的检测。

Description

一种抗阴影干扰的路面状态在线检测方法
技术领域
本发明涉及智能车辆安全控制技术领域,尤其是涉及一种抗阴影干扰的路面状态在线检测方法。
背景技术
道路检测是智能车辆环境感知的重要内容,也是实现自动驾驶的基础,无论是在结构化还是在非结构化的道路上,道路上环境都是复杂多变的,这也使得车辆对路面状态的检测面临严峻考验。
路面状态的变化不仅会直接影响智能车辆运动控制***的性能,还会影响决策与规划***,因此,路面状态类型的准确辨识对车辆主动安全***在雨雪等恶劣天气的性能表现至关重要。现有的路面状态检测方法主要包括基于车辆动力学响应的方法以及基于机器视觉的方法,其中,基于车辆动力学响应的方法具有成本低廉、鲁棒性强、不易受其他环境因素干扰的优点,但是此类方法获得准确辨识结果的前提是需要足够的激励条件,这容易使车辆失稳;而基于机器视觉的方法不依赖于车辆动力学模型,辨识快速,无需满足一定的激励条件,且辨识结果具有预测性,然而大多数该类方法仅考虑理想环境条件下的辨识,极大地限制了在真实驾驶场景中的应用,此外,阴影是路面图像的常见干扰因素之一,路面阴影会改变路面图像特征,这容易导致基于机器视觉的方法辨识错误。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种抗阴影干扰的路面状态在线检测方法,以实现一种不依赖车辆激励状态、同时不受路面阴影干扰的检测方法,从而保证路面状态检测结果的准确性。
本发明的目的可以通过以下技术方案来实现:一种抗阴影干扰的路面状态在线检测方法,包括以下步骤:
S1、收集不同场景工况下的路面图像及路面阴影图像历史数据,通过离线训练,分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型;
S2、获取实际路面图像,基于路面区域分割模型、路面阴影检测模型和路面状态分类模型,得到该实际路面图像对应的路面状态检测结果。
进一步地,所述步骤S1具体包括以下步骤:
S11、收集不同场景工况下的路面图像,并在各路面图像上对应标注路面区域和非路面区域,以建立路面区域分割训练数据集,利用路面区域分割训练数据集对第一神经网络进行端到端的训练,得到训练完成的路面区域分割模型;
S12、收集不同场景工况下的路面阴影图像,并在各阴影图像上标注阴影区域和非阴影区域,以建立阴影检测训练数据集,利用阴影检测训练数据集对第二神经网络进行端到端的训练,得到训练完成的路面阴影检测模型;
S13、对收集的路面图像标注真实路面类型,将已标注路面类型的路面图像依次输入训练完成的路面区域分割模型与路面阴影检测模型,得到无阴影覆盖的路面区域图像;
从无阴影覆盖的路面区域图像中提取出路面区域,以建立路面状态分类训练数据集,利用路面状态分类训练数据集对第三神经网络进行端到端的训练,得到训练完成的路面状态分类模型。
进一步地,所述步骤S11在各路面图像上对应标注路面区域和非路面区域的具体过程为:将路面图像中非路面区域像素点的值设置为0、路面区域像素点的值设置为255,并对非路面区域和路面区域进行图像二值化处理,以区分标注。
进一步地,所述步骤S12在各阴影图像上标注阴影区域和非阴影区域的具体过程为:将非阴影区域像素点的值设置为0、阴影区域像素点的值设置为255。
进一步地,所述步骤S2具体包括以下步骤:
S21、获取车辆行驶过程中前方的实际路面图像;
S22、将获取的实际路面图像输入路面区域分割模型与路面阴影检测模型,并融合输出结果,将该实际路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域;
S23、提取分割完成路面图像中的候选路面区域网格,得到路面分类数据集,将路面分类数据集输入路面状态分类模型,得到每个网格的路面状态类型置信度;
S24、将每个网格的路面状态类型置信度进行融合,得到不同路面状态类型融合后的置信度,选取数值最大的融合置信度对应的路面状态类型,并根据延迟时间进行时空同步处理,以得到当前车辆即将历经的路面状态类型。
进一步地,所述步骤S23中提取分割完成路面图像中候选路面区域网格的具体过程为:
S231:利用网格对分割完成的路面图像进行划分,其中,网格的初始尺寸为m1,a<m1<b,a和b均小于路面图像的最小尺寸;
S232:若每个网格四个角点处的像素值均为255,则判断该网格为候选路面区域,否则判断该网格为非候选路面区域;
S233:统计被判定为路面区域的网格个数,若统计的网格个数大于设定阈值个数,则结束当前提取路面区域网格的处理过程,否则按照预设的步长减小网格尺寸,返回执行步骤S231,直至网格尺寸被调整为a。
进一步地,所述路面状态类型包括干燥路面、湿滑路面和冰雪路面。
进一步地,所述步骤S24中将每个网格的路面状态类型执行度进行融合的具体过程为:
S241、将当前干燥路面、湿滑路面和冰雪路面各路面状态类型的证据权重分别设置为wdry、wwet、wsnow,其中,wdry、wwet、wsnow的取值范围均为0~1,并根据权重更新策略进行更新;
S242、基于更新后的各路面状态类型权重,构造每个候选区域网格的路面状态类型基本概率分配函数;
S243、融合每个候选区域网格的路面状态类型基本概率分配函数,分别得到干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型的融合置信度。
进一步地,所述权重更新策略具体为:
α=k·n
Figure BDA0003156520130000041
Figure BDA0003156520130000042
Figure BDA0003156520130000043
Figure BDA0003156520130000044
其中,α为权重更新因子,k为权重更新速率常数,n为分割出的候选路面区域总网格数,nr为分类所得最大置信度为第r种路面类型的网格数,
Figure BDA0003156520130000045
为当前帧第r种路面状态类型的第一中间变量,
Figure BDA0003156520130000046
为上一帧第r种路面状态类型的第一中间变量,
Figure BDA0003156520130000047
为当前帧第r种路面状态类型的第二中间变量,
Figure BDA0003156520130000048
为上一帧的第r种路面状态类型权重,e为自然常数,
Figure BDA0003156520130000049
为更新后的第r种状态类型权重;
所述基本概率分配函数具体为:
Figure BDA00031565201300000410
Figure BDA00031565201300000411
其中,wdry、wwet、wsnow分别为干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型权重,
Figure BDA00031565201300000412
为分类所得最大置信度为干燥沥青路面的网格中第r种路面状态类型对应的置信度,
Figure BDA00031565201300000413
为分类所得最大置信度为湿滑沥青路面的网格中第r种路面状态类型对应的置信度,
Figure BDA00031565201300000414
为步骤分类所得最大置信度为冰雪沥青路面的网格中第r种路面状态类型对应的置信度,ndry、nwet、nsnow分类所得最大置信度为干燥沥青路面、湿滑沥青路面、冰雪沥青路面对应的网格数,
Figure BDA00031565201300000415
为第r种路面状态类型的基本分配函数临时中间变量,
Figure BDA00031565201300000416
为构造的第r种路面状态类型的基本概率分配函数;
所述融合策略具体为:
Figure BDA0003156520130000051
Figure BDA0003156520130000052
其中,mn(rn)为第n个网格中第r种路面状态类型的基本概率分配函数,m(r)为融合后的第r种路面状态类型的基本概率分配函数。
进一步地,所述步骤S24中延迟时间具体为:
Figure BDA0003156520130000053
Figure BDA0003156520130000054
其中,l0为车辆轴距,l1和l2为预瞄距离,其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离,车速vx在估计过程中随距离变化,Δt1、Δt2为图像处理时间,t1为前车轮获得路面状态检测结果的延迟时间,t2为后车轮获得路面状态检测结果的延迟时间。
与现有技术相比,本发明具有以下优点:
一、本发明基于不同场景工况下的历史路面图像以及路面阴影图像,通过神经网络训练,以得到路面区域分割模型、路面阴影检测模型和路面状态分类模型,利用这三个训练得到的神经网络模型,即可实现对当前采集路面图像的路面状态分类检测,不再依赖于车辆动力学模型,同时充分考虑了路面阴影的干扰影响,实现了抗阴影干扰的路面状态检测过程,从而保证了对真实驾驶场景下路面状态检测的准确性。
二、本发明利用路面区域分割模型和路面阴影检测模型对当前采集路面图像进行处理后,采用网格划分的方式提取出候选路面区域、再利用路面状态分类模型输出得到每个网格的路面状态类型置信度、之后将每个网格的路面状态类型置信度进行融合、最后根据延迟时间进行时空同步处理,由此进一步实现路面状态类型的实时在线可靠检测,即使在路面状态发生突变的路段,也能灵敏地提前检测出路面状态。
附图说明
图1为本发明的方法流程示意图;
图2为实施例的应用过程示意图;
图3为实施例在线检测流程示意图;
图4为预瞄距离l1和l2的示意图;
图5为实施例的路面状态在线检测***结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种抗阴影干扰的路面状态在线检测方法,包括以下步骤:
S1、收集不同场景工况下的路面图像及路面阴影图像历史数据,通过离线训练,分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型,具体的:
S11、收集不同场景工况下的路面图像,并在各路面图像上对应标注路面区域和非路面区域(将路面图像中非路面区域像素点的值设置为0、路面区域像素点的值设置为255,并对非路面区域和路面区域进行图像二值化处理,以区分标注),以建立路面区域分割训练数据集,利用路面区域分割训练数据集对第一神经网络进行端到端的训练,得到训练完成的路面区域分割模型;
S12、收集不同场景工况下的路面阴影图像,并在各阴影图像上标注阴影区域和非阴影区域(将非阴影区域像素点的值设置为0、阴影区域像素点的值设置为255),以建立阴影检测训练数据集,利用阴影检测训练数据集对第二神经网络进行端到端的训练,得到训练完成的路面阴影检测模型;
S13、对收集的路面图像标注真实路面类型,将已标注路面类型的路面图像依次输入训练完成的路面区域分割模型与路面阴影检测模型,得到无阴影覆盖的路面区域图像;
从无阴影覆盖的路面区域图像中提取出路面区域,以建立路面状态分类训练数据集,利用路面状态分类训练数据集对第三神经网络进行端到端的训练,得到训练完成的路面状态分类模型;
S2、获取实际路面图像,基于路面区域分割模型、路面阴影检测模型和路面状态分类模型,得到该实际路面图像对应的路面状态检测结果,具体的:
S21、获取车辆行驶过程中前方的实际路面图像;
S22、将获取的实际路面图像输入路面区域分割模型与路面阴影检测模型,并融合输出结果,将该实际路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域;
S23、提取分割完成路面图像中的候选路面区域网格,得到路面分类数据集,将路面分类数据集输入路面状态分类模型,得到每个网格的路面状态类型置信度,其中,提取分割完成路面图像中候选路面区域网格的过程包括:
首先利用网格对分割完成的路面图像进行划分,设定网格的初始尺寸为m1,a<m1<b,a和b均小于路面图像的最小尺寸;
若每个网格四个角点处的像素值均为255,则判断该网格为候选路面区域,否则判断该网格为非候选路面区域;
之后统计被判定为路面区域的网格个数,若统计的网格个数大于设定阈值个数,则结束当前提取路面区域网格的处理过程,否则按照预设的步长减小网格尺寸,返回执行步骤S231,直至网格尺寸被调整为a;
S24、将每个网格的路面状态类型置信度进行融合,得到不同路面状态类型融合后的置信度,选取数值最大的融合置信度对应的路面状态类型,并根据延迟时间进行时空同步处理,以得到当前车辆即将历经的路面状态类型,其中,路面状态类型包括干燥路面、湿滑路面和冰雪路面,本技术方案考虑这三种常见的结构化道路路面状态类型,以满足绝大多数行驶工况需求;
在将每个网格的路面状态类型执行度进行融合时,首先将当前干燥路面、湿滑路面和冰雪路面各路面状态类型的证据权重分别设置为wdry、wwet、wsnow,其中,wdry、wwet、wsnow的取值范围均为0~1,并根据以下的权重更新策略进行更新:
α=k·n
Figure BDA0003156520130000071
Figure BDA0003156520130000072
Figure BDA0003156520130000073
Figure BDA0003156520130000074
其中,α为权重更新因子,k为权重更新速率常数,n为分割出的候选路面区域总网格数,nr为分类所得最大置信度为第r种路面类型的网格数,
Figure BDA0003156520130000081
为当前帧第r种路面状态类型的第一中间变量,
Figure BDA0003156520130000082
为上一帧第r种路面状态类型的第一中间变量,
Figure BDA0003156520130000083
为当前帧第r种路面状态类型的第二中间变量,
Figure BDA0003156520130000084
为上一帧的第r种路面状态类型权重,e为自然常数,
Figure BDA0003156520130000085
为更新后的第r种状态类型权重;
之后基于更新后的各路面状态类型权重,构造每个候选区域网格的路面状态类型基本概率分配函数:
Figure BDA0003156520130000086
Figure BDA0003156520130000087
其中,wdry、wwet、wsnow分别为干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型权重,
Figure BDA0003156520130000088
为分类所得最大置信度为干燥沥青路面的网格中第r种路面状态类型对应的置信度,
Figure BDA0003156520130000089
为分类所得最大置信度为湿滑沥青路面的网格中第r种路面状态类型对应的置信度,
Figure BDA00031565201300000810
为步骤分类所得最大置信度为冰雪沥青路面的网格中第r种路面状态类型对应的置信度,ndry、nwet、nsnow分类所得最大置信度为干燥沥青路面、湿滑沥青路面、冰雪沥青路面对应的网格数,
Figure BDA00031565201300000811
为第r种路面状态类型的基本分配函数临时中间变量,
Figure BDA00031565201300000812
为构造的第r种路面状态类型的基本概率分配函数;
最后融合每个候选区域网格的路面状态类型基本概率分配函数,分别得到干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型的融合置信度,融合策略具体为:
Figure BDA00031565201300000813
Figure BDA00031565201300000814
其中,mn(rn)为第n个网格中第r种路面状态类型的基本概率分配函数,m(r)为融合后的第r种路面状态类型的基本概率分配函数;
在基于延迟时间进行时空同步处理时,延迟时间具体为:
Figure BDA00031565201300000815
Figure BDA0003156520130000091
其中,l0为车辆轴距,l1和l2为预瞄距离,其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离,车速vx在估计过程中随距离变化,Δt1、Δt2为图像处理时间,t1为前车轮获得路面状态检测结果的延迟时间,t2为后车轮获得路面状态检测结果的延迟时间。
本实施例应用上述技术方案,其具体过程如图2所示:
A1:离线训练,具体包括:
A11:收集不同场景工况下的路面图像,在图像上标注路面区域和非路面区域,建立路面区域分割训练数据集,利用路面区域分割训练数据集对第一神经网络进行端到端的训练,得到训练完成的路面区域分割模型;
A12:收集不同场景工况下的路面阴影图像,标注阴影区域和非阴影区域,建立阴影检测训练数据集,利用阴影检测训练数据集对第二神经网络进行端到端的训练,得到训练完成的路面阴影检测模型;
A13:对获取的路面图像标注真实路面类型,将已标注路面类型的路面图像输入训练完成的路面区域分割模型与路面阴影检测模型,得到无阴影覆盖的路面区域图像,提取分割完成的路面图像中的路面区域,建立路面状态分类训练数据集,利用路面状态分类训练数据集对第三神经网络进行端到端的训练,得到训练完成的路面状态分类模型;
A2:在线辨识,具体包括:
A21:利用安装于车辆中央后视镜处的摄像头获取车辆行驶过程中前方的路面图像;
A22:将路面图像输入训练完成的路面区域分割模型与训练完成的路面阴影检测模型,并融合输出结果,将路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域;
A23:提取分割完成路面图像中的候选路面区域,得到路面分类数据集,将路面分类数据集输入训练完成的路面状态分类模型,得到每个网格的路面状态类型置信度;
A24:将每个网格的路面状态类型置信度进行融合,根据延迟时间进行时空同步处理,得到融合后的最大置信度对应的路面状态类型即为当前车辆即将历经的路面状态类型。
本实施例中,步骤A11中采集的路面图像包括大于等于2000张干燥路面图像、大于等于2000张湿滑路面图像和大于等于2000张冰雪路面图像,步骤A12中采集的路面阴影图像包括大于等于2000张带有路面阴影的干燥路面图像和大于等于2000张带有路面阴影的冰雪路面图像。
本实施例中,第一神经网络为深度卷积神经网络,所基于的深度学习框架包括但不限于Pytorch、Tensorflow或Caffe;第二神经网络为深度卷积神经网络,所基于的深度学习框架包括但不限于Pytorch、Tensorflow或Caffe;第三神经网络为深度卷积神经网络,所基于的深度学习框架包括但不限于Pytorch、Tensorflow或Caffe。
如图3所示,在实际进行离线训练时,首先通过车载摄像头分别采集干燥、阴雨和冰雪天气下车辆前方道路的路面图像,分别对应干燥沥青路面图像、湿滑沥青路面图像和冰雪沥青路面图像,将采集的路面图像标注为路面区域和非路面区域,生成路面区域分割训练数据集,利用路面区域分割数据集对网络A(即第一神经网络)进行端到端的训练,得到路面区域分割模型,其中,车载摄像头可安装在车辆中央后视镜处,其技术参数要求为:分辨率不低于640×480像素,帧率不低于30fps。采集的光线环境包括但不限于早晨、正午、黄昏等;采集的样本图片数量要求为:干燥路面图像数量不少于2000张,湿滑路面图像数量不少于2000张,冰雪路面图像数量不少于2000张,带有路面阴影的干燥路面图像不少于2000张,带有路面阴影的冰雪路面图像不少于2000张;路面区域和非路面区域的标注方法具体包括:将非路面区域像素点的值设置为0,将路面区域像素点的值设置为255;
之后将采集的带有路面阴影的路面图像标注为阴影区域和非阴影区域,生成路面阴影训练数据集,利用路面阴影数据集对网络B(即第二神经网络)进行端到端的训练,得到路面阴影检测模型,其中,阴影区域和非阴影区域的标注方法具体包括:将非阴影区域像素点的值设置为0,将阴影区域像素点的值设置为255;
再将采集的路面图像分别标注为干燥沥青路面、湿滑沥青路面或冰雪沥青路面,并基于路面区域分割模型生成路面状态分类训练数据集,利用路面状态分类训练数据集对网络C(即第三神经网络)进行端到端的训练,得到路面状态分类模型,其中,路面状态分类数据集的生成过程具体包括:首先将路面图像按照路面的真实状态划分为干燥沥青、湿滑沥青和冰雪沥青等路面状态类型;然后利用路面区域分割模型输出的路面区域分割图像,在此基础上对输出的分割图像以c×c的固定网格尺寸进行划分;最后判断每个网格四个角点处的像素值,当四个像素值均为255时,判断此网格为候选路面区域,将其路面类型标签标注为原始路面状态类型标签,放入路面状态分类训练数据集;第三神经网络为深度卷积神经网络,所基于的深度学习框架包括但不限于Pytorch或Tensorflow或Caffe;
在实际进行在线辨识检测时,在车辆行驶过程中,根据车载摄像头传输的路面图像,利用训练完成的路面区域分割模型、路面阴影检测模型与路面状态分类模型,按照步骤A21-步骤A24的流程,输出当前车辆历经的路面状态类型,其中,考虑到车载摄像头当前所拍摄得到的路面是车辆未来将要历经的路面,因此需要对辨识结果进行时空同步处理,延迟时间为:
Figure BDA0003156520130000111
Figure BDA0003156520130000112
其中,l0为车辆轴距,l1和l2为预瞄距离,其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离(如图4所示),车速vx在估计过程中随距离变化,Δt1、Δt2为图像处理时间,通过实时计算得知,t1为前轮获得辨识结果的延迟时间,t2为后轮获得辨识结果的延迟时间。
如图5所示,本实施例还提供一种基于路面状态类型在线检测方法的主动安全控制***,包括车载摄像头、工控机和整车控制器,车载摄像头安装于车辆中央后视镜处,用于采集车辆行驶过程中的前方路面图像,并通过USB数据线与工控机连接,进行路面图像数据的传输,工控机用于执行路面状态类型在线辨识方法,得到路面状态类型预测值,并通过CAN协议将路面状态类型预测值传输至整车控制器,车载摄像头的分辨率大于等于640×480像素,帧率大于等于30fps。
本实施例中,***的硬件设置包括车载摄像头、工控机和量产的电动汽车整车控制器。摄像头通过USB数据线与工控机实现图像数据的传输,工控机用于进行处理图像数据,并以CAN协议传输路面状态类型预测值至整车控制器。通过车载摄像头拍摄车辆行驶过程中前方的路面图像,利用工控机对路面图像进行处理,无需满足激励条件,不依赖车辆动力学与轮胎模型,能实现在常规行驶工况下的辨识;
本发明的路面状态类型检测方法不论是在较多路面阴影的复杂行驶场景中,还是在常规行驶场景中,都能得到精准、稳定的辨识结果,鲁棒性强,抗干扰性好,有利于车辆主动安全控制***稳定执行器控制功率,延长执行器使用寿命;
本发明的路面状态类型检测算法基于延迟时间,能实现路面状态类型的实时在线可靠辨识,对于路面状态类型突变的路段也具有较好的灵敏性,有利于车辆主动安全***及时调整控制参数。

Claims (10)

1.一种抗阴影干扰的路面状态在线检测方法,其特征在于,包括以下步骤:
S1、收集不同场景工况下的路面图像及路面阴影图像历史数据,通过离线训练,分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型;
S2、获取实际路面图像,基于路面区域分割模型、路面阴影检测模型和路面状态分类模型,得到该实际路面图像对应的路面状态检测结果。
2.根据权利要求1所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、收集不同场景工况下的路面图像,并在各路面图像上对应标注路面区域和非路面区域,以建立路面区域分割训练数据集,利用路面区域分割训练数据集对第一神经网络进行端到端的训练,得到训练完成的路面区域分割模型;
S12、收集不同场景工况下的路面阴影图像,并在各阴影图像上标注阴影区域和非阴影区域,以建立阴影检测训练数据集,利用阴影检测训练数据集对第二神经网络进行端到端的训练,得到训练完成的路面阴影检测模型;
S13、对收集的路面图像标注真实的路面状态类型,将已标注路面状态类型的路面图像依次输入训练完成的路面区域分割模型与路面阴影检测模型,得到无阴影覆盖的路面区域图像;
从无阴影覆盖的路面区域图像中提取出路面区域,以建立路面状态分类训练数据集,利用路面状态分类训练数据集对第三神经网络进行端到端的训练,得到训练完成的路面状态分类模型。
3.根据权利要求2所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S11在各路面图像上对应标注路面区域和非路面区域的具体过程为:将路面图像中非路面区域像素点的值设置为0、路面区域像素点的值设置为255,并对非路面区域和路面区域进行图像二值化处理,以区分标注。
4.根据权利要求2所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S12在各阴影图像上标注阴影区域和非阴影区域的具体过程为:将非阴影区域像素点的值设置为0、阴影区域像素点的值设置为255。
5.根据权利要求1所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、获取车辆行驶过程中前方的实际路面图像;
S22、将获取的实际路面图像输入路面区域分割模型与路面阴影检测模型,并融合输出结果,将该实际路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域;
S23、提取分割完成路面图像中的候选路面区域网格,得到路面分类数据集,将路面分类数据集输入路面状态分类模型,得到每个网格的路面状态类型置信度;
S24、将每个网格的路面状态类型置信度进行融合,得到不同路面状态类型融合后的置信度,选取数值最大的融合置信度对应的路面状态类型,并根据延迟时间进行时空同步处理,以得到当前车辆即将历经的路面状态类型。
6.根据权利要求5所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S23中提取分割完成路面图像中候选路面区域网格的具体过程为:
S231:利用网格对分割完成的路面图像进行划分,其中,网格的初始尺寸为m1,a<m1<b,a和b均小于路面图像的最小尺寸;
S232:若每个网格四个角点处的像素值均为255,则判断该网格为候选路面区域,否则判断该网格为非候选路面区域;
S233:统计被判定为路面区域的网格个数,若统计的网格个数大于设定阈值个数,则结束当前提取路面区域网格的处理过程,否则按照预设的步长减小网格尺寸,返回执行步骤S231,直至网格尺寸被调整为a。
7.根据权利要求1~6任一所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述路面状态类型包括干燥路面、湿滑路面和冰雪路面。
8.根据权利要求7所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S24中将每个网格的路面状态类型执行度进行融合的具体过程为:
S241、将当前干燥路面、湿滑路面和冰雪路面各路面状态类型的证据权重分别设置为wdry、wwet、wsnow,其中,wdry、wwet、wsnow的取值范围均为0~1,并根据权重更新策略进行更新;
S242、基于更新后的各路面状态类型权重,构造每个候选区域网格的路面状态类型基本概率分配函数;
S243、融合每个候选区域网格的路面状态类型基本概率分配函数,分别得到干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型的融合置信度。
9.根据权利要求8所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述权重更新策略具体为:
α=k·n
Figure FDA0003156520120000031
Figure FDA0003156520120000032
Figure FDA0003156520120000033
Figure FDA0003156520120000034
其中,α为权重更新因子,k为权重更新速率常数,n为分割出的候选路面区域总网格数,nr为分类所得最大置信度为第r种路面类型的网格数,
Figure FDA0003156520120000035
为当前帧第r种路面状态类型的第一中间变量,
Figure FDA0003156520120000036
为上一帧第r种路面状态类型的第一中间变量,
Figure FDA0003156520120000037
为当前帧第r种路面状态类型的第二中间变量,
Figure FDA0003156520120000038
为上一帧的第r种路面状态类型权重,e为自然常数,
Figure FDA0003156520120000039
为更新后的第r种状态类型权重;
所述基本概率分配函数具体为:
Figure FDA00031565201200000310
Figure FDA00031565201200000311
其中,wdry、wwet、wsnow分别为干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型权重,Pi r为分类所得最大置信度为干燥沥青路面的网格中第r种路面状态类型对应的置信度,
Figure FDA00031565201200000312
为分类所得最大置信度为湿滑沥青路面的网格中第r种路面状态类型对应的置信度,
Figure FDA00031565201200000313
为步骤分类所得最大置信度为冰雪沥青路面的网格中第r种路面状态类型对应的置信度,ndry、nwet、nsnow分类所得最大置信度为干燥沥青路面、湿滑沥青路面、冰雪沥青路面对应的网格数,
Figure FDA00031565201200000314
为第r种路面状态类型的基本分配函数临时中间变量,
Figure FDA00031565201200000315
为构造的第r种路面状态类型的基本概率分配函数;
所述融合策略具体为:
Figure FDA0003156520120000041
Figure FDA0003156520120000042
其中,mn(rn)为第n个网格中第r种路面状态类型的基本概率分配函数,m(r)为融合后的第r种路面状态类型的基本概率分配函数。
10.根据权利要求5所述的一种抗阴影干扰的路面状态在线检测方法,其特征在于,所述步骤S24中延迟时间具体为:
Figure FDA0003156520120000043
Figure FDA0003156520120000044
其中,l0为车辆轴距,l1和l2为预瞄距离,其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离,车速vx在估计过程中随距离变化,Δt1、Δt2为图像处理时间,t1为前车轮获得路面状态检测结果的延迟时间,t2为后车轮获得路面状态检测结果的延迟时间。
CN202110777999.0A 2021-07-09 2021-07-09 一种抗阴影干扰的路面状态在线检测方法 Active CN113538357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110777999.0A CN113538357B (zh) 2021-07-09 2021-07-09 一种抗阴影干扰的路面状态在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110777999.0A CN113538357B (zh) 2021-07-09 2021-07-09 一种抗阴影干扰的路面状态在线检测方法

Publications (2)

Publication Number Publication Date
CN113538357A true CN113538357A (zh) 2021-10-22
CN113538357B CN113538357B (zh) 2022-10-25

Family

ID=78098217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110777999.0A Active CN113538357B (zh) 2021-07-09 2021-07-09 一种抗阴影干扰的路面状态在线检测方法

Country Status (1)

Country Link
CN (1) CN113538357B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147412A (zh) * 2022-08-31 2022-10-04 武汉大学 一种内存传递的长时序网络及视频阴影检测方法
CN115273039A (zh) * 2022-09-29 2022-11-01 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
US20100259609A1 (en) * 2007-12-05 2010-10-14 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
CN103984936A (zh) * 2014-05-29 2014-08-13 中国航空无线电电子研究所 用于三维动态目标识别的多传感器多特征融合识别方法
CN106548135A (zh) * 2016-10-17 2017-03-29 北海益生源农贸有限责任公司 一种路面障碍检测方法
CN109766824A (zh) * 2019-01-08 2019-05-17 河南理工大学 基于模糊证据理论的主被动遥感数据融合分类方法
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测***及方法
CN111723849A (zh) * 2020-05-26 2020-09-29 同济大学 一种基于车载摄像头的路面附着系数在线估计方法和***
CN111860322A (zh) * 2020-07-20 2020-10-30 吉林大学 一种基于多源传感器信息融合的非结构化路面类型识别方法
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN112800911A (zh) * 2021-01-20 2021-05-14 同济大学 一种路面损伤快速检测及自然数据集构建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259609A1 (en) * 2007-12-05 2010-10-14 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN103984936A (zh) * 2014-05-29 2014-08-13 中国航空无线电电子研究所 用于三维动态目标识别的多传感器多特征融合识别方法
CN106548135A (zh) * 2016-10-17 2017-03-29 北海益生源农贸有限责任公司 一种路面障碍检测方法
CN109766824A (zh) * 2019-01-08 2019-05-17 河南理工大学 基于模糊证据理论的主被动遥感数据融合分类方法
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测***及方法
CN111723849A (zh) * 2020-05-26 2020-09-29 同济大学 一种基于车载摄像头的路面附着系数在线估计方法和***
CN111860322A (zh) * 2020-07-20 2020-10-30 吉林大学 一种基于多源传感器信息融合的非结构化路面类型识别方法
CN111967394A (zh) * 2020-08-18 2020-11-20 北京林业大学 一种基于动静态网格融合策略的森林火灾烟雾根节点检测方法
CN112800911A (zh) * 2021-01-20 2021-05-14 同济大学 一种路面损伤快速检测及自然数据集构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANJIA LIU 等: "Research on Lane Detection Method with Shadow Interference", 《2019 CHINESE CONTROL CONFERENCE(CCC)》 *
吴哲成: "基于视觉信息的高速路面状态检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147412A (zh) * 2022-08-31 2022-10-04 武汉大学 一种内存传递的长时序网络及视频阴影检测方法
CN115273039A (zh) * 2022-09-29 2022-11-01 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法
CN115273039B (zh) * 2022-09-29 2023-01-10 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法

Also Published As

Publication number Publication date
CN113538357B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN108983219B (zh) 一种交通场景的图像信息和雷达信息的融合方法及***
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN113538357B (zh) 一种抗阴影干扰的路面状态在线检测方法
CN109147331B (zh) 一种基于计算机视觉的道路拥堵状态检测方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN111723849A (zh) 一种基于车载摄像头的路面附着系数在线估计方法和***
CN108572648B (zh) 一种无人驾驶车辆电源多源融合预测方法及***
CN108508372B (zh) 一种基于环境视觉融合的无人驾驶电量计算和预警方法与***
CN112464773B (zh) 一种道路类型识别方法、装置及***
CN102393901B (zh) 基于混杂特征的交通流信息感知方法及***
CN112257522B (zh) 基于环境特征的多传感器融合环境感知方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN111688706A (zh) 一种基于视觉与动力学的路面附着系数交互式估计方法
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
CN111223320B (zh) 基于v2i的低附路面智能驾驶安全控制方法
CN111688707A (zh) 一种视觉与动力学融合的路面附着系数估计方法
CN110956146B (zh) 一种道路背景建模方法、装置、电子设备和存储介质
CN110378416A (zh) 一种基于视觉的路面附着系数估计方法
CN114332722A (zh) 基于视频数据的混合冰雪路面附着系数实时估计方法
CN112258850A (zh) 一种车路协同***边缘侧多传感器数据融合***
CN112633120A (zh) 一种基于半监督学习的智能路侧感知***及模型训练方法
CN116738211A (zh) 一种基于多源异构数据融合的道路状况识别方法
Vosahlik et al. Self-supervised learning of camera-based drivable surface friction
Jin et al. Road friction estimation method based on fusion of machine vision and vehicle dynamics
CN116486359A (zh) 一种面向全天候的智能车环境感知网络自适应选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant